CN117809792B - 一种跨病种迁移时病种数据结构化的方法及系统 - Google Patents

一种跨病种迁移时病种数据结构化的方法及系统 Download PDF

Info

Publication number
CN117809792B
CN117809792B CN202410221624.XA CN202410221624A CN117809792B CN 117809792 B CN117809792 B CN 117809792B CN 202410221624 A CN202410221624 A CN 202410221624A CN 117809792 B CN117809792 B CN 117809792B
Authority
CN
China
Prior art keywords
target disease
disease
text
training
medical record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410221624.XA
Other languages
English (en)
Other versions
CN117809792A (zh
Inventor
白焜太
杨雅婷
宋佳祥
刘硕
许娟
史文钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Health China Technologies Co Ltd
Original Assignee
Digital Health China Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Health China Technologies Co Ltd filed Critical Digital Health China Technologies Co Ltd
Priority to CN202410221624.XA priority Critical patent/CN117809792B/zh
Publication of CN117809792A publication Critical patent/CN117809792A/zh
Application granted granted Critical
Publication of CN117809792B publication Critical patent/CN117809792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及一种跨病种迁移时病种数据结构化的方法及系统;该方法包括:S1、构建问题库;S2、输出目标病种BERT语言模型和其它病种BERT语言模型;S3、过滤出目标病种句;S4、将目标病种句输入至目标病种BERT语言模型中,输出目标病种句向量;S5、得到目标病种已标注语料;S6、构造训练数据,将训练数据输入至初始分类模型中进行训练,得到训练分类模型;S7、得到目标病种结构化数据。本发明通过设置问题库,将病历和问题库结合输入至训练分类模型中,根据训练分类模型中的预测结果来提供结构化信息,从而得到较为精确和一致的病历数据整合结果,通过小批量样本标注以实现大批量样本标注的技术效果,能够满足跨病种迁移时的需求。

Description

一种跨病种迁移时病种数据结构化的方法及系统
技术领域
本发明涉及数据结构化技术领域,尤其涉及一种跨病种迁移时病种数据结构化的方法及系统。
背景技术
随着医疗技术的不断发展和医疗信息的快速增长,跨病种迁移已成为医疗机构中常见的现象。由于不同病种之间的数据格式和标准存在差异,病历数据的结构化和整合变得困难且复杂,而新的病种则需要新的大量的人工标注,给医生和医疗机构带来了较大的挑战。
近年来出现了一些自动化的病种数据结构化方法。这些方法主要基于自然语言处理(NLP)和机器学习技术,通过分析和理解文本中的语义和语法信息来实现数据的结构化。然而,现有的方法仍然存在一些局限性和挑战。一方面这些方法需要依托对每个病种都进行大量的标注,而且对于不同病种数据差异性处理能力有限,导致结构化结果的准确性和一致性不高。
为此,本发明提供了一种跨病种迁移时病种数据结构化的方法及系统。
发明内容
基于此,有必要针对上述技术问题,提供一种跨病种迁移时病种数据结构化的方法及系统。
根据本发明的第一方面,提供了一种跨病种迁移时病种数据结构化的方法,该方法包括:
S1、获取原始病历文本集,将原始病历文本集中包含的原始病历文本进行拆分和标注,得到是/否型的标注数据,基于标注数据,构建问题库;
S2、从原始病历文本集中获取目标病种原始病历文本集和其它病种原始病历文本集,将目标病种原始病历文本集和其它病种原始病历文本集分别进行预处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集,采用目标病种原始文本训练集和其它病种原始文本训练集分别对BERT语言模型进行训练,分别输出目标病种BERT语言模型和其它病种BERT语言模型;
S3、获取目标病种病历文本,将目标病种病历文本进行预处理,得到预处理后的目标病种文本,将目标病种文本进行拆分,得到拆分子句,将拆分子句作为输入值分别输入至目标病种BERT语言模型和其它病种BERT语言模型中计算PPL,得到目标病种PPL和其它病种PPL,计算目标病种PPL和其它病种PPL之间的PPL差值,并与预设的PPL差值阈值进行比较,过滤出目标病种句;
S4、将目标病种句输入至目标病种BERT语言模型中,输出目标病种句向量;
S5、将目标病种句向量进行文本聚类,得到不同类别的目标病种待标注语料集,在每个类别中随机抽取预设数量的目标病种待标注语料,对目标病种待标注语料进行标注,得到目标病种已标注语料;
S6、基于目标病种已标注语料以及利用权重样本比算法筛选出的其它病种的标注数据,构造训练数据,将训练数据输入至初始分类模型中进行训练,得到训练分类模型;
S7、将目标病种文本和问题库中的标注数据分别输入至训练分类模型中,分别得到目标病种文本向量和问题向量,将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值的问题,并将问题输入至训练分类模型中进行判断并输出0/1型的结构化结果,根据预设格式进行格式化输出,得到目标病种结构化数据。
在一些实施例的一些可选的实现方式中,所述S1步骤,具体包括:获取原始病历文本集,根据句号符号,将原始病历文本集中包含的原始病历文本按照句粒度进行拆分,得到若干拆分句,根据是/否型的预设标注格式对拆分句进行标注,得到是/否型的标注数据,基于标注数据,构建问题库。
在一些实施例的一些可选的实现方式中,所述S2步骤中,将目标病种原始病历文本集和其它病种原始病历文本集分别进行预处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集,具体包括:
将目标病种原始病历文本集和其它病种原始病历文本集分别进行文本清洗处理、大小写转换处理以及数据归一化处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集。
在一些实施例的一些可选的实现方式中,所述S3步骤中,将目标病种病历文本进行预处理,得到预处理后的目标病种文本,将目标病种文本进行拆分,得到拆分子句,具体包括:
将目标病种病历文本进行文本清洗处理、大小写转换处理以及数据归一化处理,得到预处理后的目标病种文本,根据句号符号,将目标病种文本按照句粒度进行拆分,得到拆分子句。
在一些实施例的一些可选的实现方式中,所述S5步骤中,具体包括:
将目标病种句向量进行文本聚类,将含义相同的目标病种句向量聚类到一类,得到不同类别的目标病种待标注语料集,在每个类别中随机抽取1/10的目标病种待标注语料,对目标病种待标注语料进行标注,得到目标病种已标注语料。
在一些实施例的一些可选的实现方式中,所述S6步骤中,基于目标病种已标注语料以及利用权重样本比算法筛选出的其它病种的标注数据,构造训练数据,将训练数据输入至初始分类模型中进行训练,得到训练分类模型,具体包括:
将目标病种已标注语料和其它病种的标注数据进行余弦相似度计算,得到目标病种与其它病种的相似度权重,根据相似度权重的比例随机抽取对应数量的其它病种的标注数据,以及目标病种已标注语料,构造训练数据,将训练数据输入至Sentence-BERT双塔模型进行训练,得到训练分类模型。
在一些实施例的一些可选的实现方式中,所述S7步骤中,将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值的问题,具体包括:
将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值0.8的问题。
根据本发明的第二方面,提供了一种跨病种迁移时病种数据结构化的系统,该系统包括:
问题库构建模块,用于获取原始病历文本集,将原始病历文本集中包含的原始病历文本进行拆分和标注,得到是/否型的标注数据,基于标注数据,构建问题库;
BERT语言模型训练模块,用于从原始病历文本集中获取目标病种原始病历文本集和其它病种原始病历文本集,将目标病种原始病历文本集和其它病种原始病历文本集分别进行预处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集,采用目标病种原始文本训练集和其它病种原始文本训练集分别对BERT语言模型进行训练,分别输出目标病种BERT语言模型和其它病种BERT语言模型;
目标病种句过滤模块,用于获取目标病种病历文本,将目标病种病历文本进行预处理,得到预处理后的目标病种文本,将目标病种文本进行拆分,得到拆分子句,将拆分子句作为输入值分别输入至目标病种BERT语言模型和其它病种BERT语言模型中计算PPL,得到目标病种PPL和其它病种PPL,计算目标病种PPL和其它病种PPL之间的PPL差值,并与预设的PPL差值阈值进行比较,过滤出目标病种句;
目标病种句向量输出模块,用于将目标病种句输入至目标病种BERT语言模型中,输出目标病种句向量;
目标病种已标注语料输出模块,用于将目标病种句向量进行文本聚类,得到不同类别的目标病种待标注语料集,在每个类别中随机抽取预设数量的目标病种待标注语料,对目标病种待标注语料进行标注,得到目标病种已标注语料;
分类模型训练模块,用于基于目标病种已标注语料以及利用权重样本比算法筛选出的其它病种的标注数据,构造训练数据,将训练数据输入至初始分类模型中进行训练,得到训练分类模型;
目标病种结构化数据输出模块,用于将目标病种文本和问题库中的标注数据分别输入至训练分类模型中,分别得到目标病种文本向量和问题向量,将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值的问题,并将问题输入至训练分类模型中进行判断并输出0/1型的结构化结果,根据预设格式进行格式化输出,得到目标病种结构化数据。
根据本发明的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述方法的步骤。
根据本发明的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述方法的步骤。
本发明的优点及有益效果在于:
本发明提供的一种跨病种迁移时病种数据结构化的方法及系统,该方法通过设置问题库,将病历和问题库结合输入至训练分类模型中,根据训练分类模型中的预测结果来提供结构化信息,从而得到较为精确和一致的病历数据整合结果,同时,通过小批量样本标注以实现大批量样本标注的技术效果,能够满足跨病种迁移时的需求,能够为医生和医疗机构提供更好的决策支持和临床实践指导。
附图说明
图1为一种跨病种迁移时病种数据结构化的方法的流程图;
图2为Sentence-BERT双塔模型结构的示意图;
图3为一种跨病种迁移时病种数据结构化的系统的结构示意图;
图4为电子设备的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下面通过具体实施方式结合附图对本发明做进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例一
一种跨病种迁移时病种数据结构化的方法,如图1所示,包括以下步骤:
S1、获取原始病历文本集,将原始病历文本集中包含的原始病历文本进行拆分和标注,得到是/否型的标注数据,基于标注数据,构建问题库。
在本实施例中,S1步骤,具体包括:获取原始病历文本集,根据句号符号,将原始病历文本集中包含的原始病历文本按照句粒度进行拆分,得到若干拆分句,根据是/否型的预设标注格式对拆分句进行标注,得到是/否型的标注数据,基于标注数据,构建问题库。
进一步的,在构建问题库过程中,根据句号符号,对原始病历文本按照句粒度进行拆分,得到若干拆分句,并根据是/否型的预设标注格式对拆分句进行逐条标注,得到是/否型的标注数据,其中,是/否型的标注数据,与后续利用训练分类模型进行判断并输出0/1型的结构化结果相对应,便于输出0/1型的结构化结果,将是/否型的标注数据集合起来,以便构建问题库。
进一步的,针对原始病历文本细分到句粒度并按照是/否型的预设标注格式(病历文本 是/否型的问题)进行标注,例如:
咽喉痛3天。咳嗽发热1天 咽喉是否疼痛/触痛
咽喉痛3天。咳嗽发热1天 是否咳嗽
咽喉痛3天。咳嗽发热1天 是否发热
咽喉痛3天。咳嗽发热1天 是否提及咳嗽
咽喉痛3天。咳嗽发热1天 是否提及疼痛/触痛
咽喉痛3天。咳嗽发热1天 是否提及一般病症
咽喉痛3天。咳嗽发热1天 是否提及发热一般情况
S2、从原始病历文本集中获取目标病种原始病历文本集和其它病种原始病历文本集,将目标病种原始病历文本集和其它病种原始病历文本集分别进行预处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集,采用目标病种原始文本训练集和其它病种原始文本训练集分别对BERT语言模型进行训练,分别输出目标病种BERT语言模型和其它病种BERT语言模型。
在本实施例中,S2步骤中,将目标病种原始病历文本集和其它病种原始病历文本集分别进行预处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集,具体包括:
将目标病种原始病历文本集和其它病种原始病历文本集分别进行文本清洗处理、大小写转换处理以及数据归一化处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集。
应当理解的是,S2步骤中的预处理步骤以及S3步骤中的预处理步骤均相同,都采用文本清洗步骤、大小写转换处理以及数据归一化处理,其中,文本清洗步骤,用于去除文本中的特殊字符、HTML标签,以及无意义字符等无关信息;大小写转换处理,用于将文本中的字母统一转换为大写或小写,以消除大小写的差异;数据归一化处理,用于对文本中的数值进行归一化处理,以消除不同特征之间的量纲差异。
应当理解的是,原始病历文本集中包含目标病种原始病历文本集和多个其它病种原始病历文本集,其中,其它病种原始病历文本集的数量可以不止一个,即不同种类的其它病种原始病历文本集,而目标病种原始病历文本集则为本申请中需要去训练的目标病种。
另外,采用目标病种原始文本训练集和其它病种原始文本训练集分别对BERT语言模型进行训练,分别输出目标病种BERT语言模型和其它病种BERT语言模型,其中,分别输入不同病种原始文本训练集堆对BERT语言模型进行训练,以便输出不同类型病种的BERT语言模型。
S3、获取目标病种病历文本,将目标病种病历文本进行预处理,得到预处理后的目标病种文本,将目标病种文本进行拆分,得到拆分子句,将拆分子句作为输入值分别输入至目标病种BERT语言模型和其它病种BERT语言模型中计算PPL,得到目标病种PPL和其它病种PPL,计算目标病种PPL和其它病种PPL之间的PPL差值,并与预设的PPL差值阈值进行比较,过滤出目标病种句。
在本实施例中,S3步骤中,将目标病种病历文本进行预处理,得到预处理后的目标病种文本,将目标病种文本进行拆分,得到拆分子句,具体包括:
将目标病种病历文本进行文本清洗处理、大小写转换处理以及数据归一化处理,得到预处理后的目标病种文本,根据句号符号,将目标病种文本按照句粒度进行拆分,得到拆分子句。
在本实施例中,对预处理后的目标病种文本按照句粒度进行拆分,得到拆分子句的步骤与S1步骤中对原始病历文本按照句粒度进行拆分,得到若干拆分句的步骤相同,不同之处在于拆分对象不同。
应当理解的是,本发明涉及的PPL为困惑度,是评价语义模型好坏的指标之一,可以用于验证已经训练好的模型面对未知数据的理解程度高低,其中,PPL(困惑度)越高,则说明对新的未知数据越不了解,越需要训练。
在本实施例中,计算目标病种PPL和其它病种PPL之间的PPL差值,并与预设的PPL差值阈值进行比较,过滤出目标病种句,用于筛选目标病种PPL较低且其它病种PPL较高的差值较大的句子,通过二者之间的差值与预设的PPL差值阈值(例如:10)进行比较,即一条拆分子句在其它病种BERT语言模型的PPL(较高)与目标病种BERT语言模型的PPL(较低)的差值≥10,则输出该拆分子句。
S4、将目标病种句输入至目标病种BERT语言模型中,输出目标病种句向量。
在本实施例中,为了实现对目标病种句转换为句向量,以便进行计算和应用,通过将目标病种句输入至目标病种BERT语言模型中,进而完成句向量的转换。
S5、将目标病种句向量进行文本聚类,得到不同类别的目标病种待标注语料集,在每个类别中随机抽取预设数量的目标病种待标注语料,对目标病种待标注语料进行标注,得到目标病种已标注语料。
在本实施例中,S5步骤中,具体包括:
将目标病种句向量进行文本聚类,将含义相同的目标病种句向量聚类到一类,得到不同类别的目标病种待标注语料集,在每个类别中随机抽取1/10的目标病种待标注语料,对目标病种待标注语料进行标注,得到目标病种已标注语料。
进一步的,将S4步骤中生成的目标病种句向量进行文本聚类,将含义相同的句向量聚到一类,每个类别下随机筛选1/10(例如:每个类不超过50条)供医生标注,医生在对目标病种待标注语料进行人工标注时,采用(病历文本 对应问题 是/否)的预设标注格式,得到目标病种已标注语料,例如:
咳嗽发热三天,无气喘 是否发热 1
咳嗽发热三天,无气喘 是否咳嗽 1
咳嗽发热三天,无气喘 是否气喘 0
S6、基于目标病种已标注语料以及利用权重样本比算法筛选出的其它病种的标注数据,构造训练数据,将训练数据输入至初始分类模型中进行训练,得到训练分类模型。
在本实施例中,S6步骤中,基于目标病种已标注语料以及利用权重样本比算法筛选出的其它病种的标注数据,构造训练数据,将训练数据输入至初始分类模型中进行训练,得到训练分类模型,具体包括:
将目标病种已标注语料和其它病种的标注数据进行余弦相似度计算,得到目标病种与其它病种的相似度权重,根据相似度权重的比例随机抽取对应数量的其它病种的标注数据,以及目标病种已标注语料,构造训练数据,将训练数据输入至Sentence-BERT双塔模型进行训练,得到训练分类模型。
在本实施例中,本发明采用权重样本比算法筛选出的其它病种的标注数据,具体步骤为:将S5步骤中生成的目标病种已标注语料,与问题库中已有的其它病种的标注数据进行相似度计算,此处计算时采用的向量来自Sentence-BERT双塔模型结构中倒数第二层(对应附图2中pooling向量化完成后的u、v),以便得到目标病种与其它病种的相似度权重,随后根据相似度权重的比例随机抽取对应数量的其它病种的标注数据,以及S5步骤中生成的目标病种已标注语料,对Sentence-BERT双塔模型进行训练,得到训练分类模型。
应当理解的是,在将人类认知中的文字转换为电脑代码能理解的数字时,存在一个数据流转的过程,把字符转换成最后的数字,从附图2中BERT模型开始,每个部分都会有对原始文本不同的数字表达,本发明选取Sentence-BERT双塔模型结构中倒数第二层(对应附图2中pooling向量化完成后的u、v),获得的数字作为文字的向量,然后计算向量之间的余弦相似度。
例如:通过S5步骤中生成的目标病种A已标注语料数量为100条,经过相似度计算后,与其它病种B、其它病种C、其它病种D的相似度权重分别为0.5、0.1以及0.2,则最终的训练数据为:目标病种A已标注语料数量(100条)、其它病种B的标注数据数量(50条)、其它病种C的标注数据数量(10条)、其它病种D的标注数据数量(20条)。
进一步的,本发明采用权重样本比算法筛选出的其它病种的标注数据,可以有效地减少目标病种的样本量,同时能够合理利用已有的对目标病种训练有效的其他病种的标注数据。
在本实施例中,本发明采用的分类模型为Sentence-BERT双塔模型,参考附图,该模型文本Encoder部分用同一个BERT模型进行处理,分别输入“病历文本”(Sentence A)和“问题”(Sentence B),通过不同的池化方式(Avg-Pooling平均池化、Mean-Pooling均值池化),对Bert模型输出的句向量进行特征提取和压缩,得到目标病种文本向量(u)和问题向量(v),针对当前的分类任务,对u和v进行拼接,随后接入全连接网络,经Softmaxclassifier分类输出预测结果。
应当理解的是,对u和v进行拼接,即代码层面的拼接,把二者向量化后的多维数字在指定维度上进行concat(拼接),|u-v|为在代码层面上进行的某个维度的数值相减。
应当理解的是,Softmax是一种常用的激活函数,主要用于分类问题;其输入值为向量,输出值为概率分布,而本发明的目标是二分类,因此Softmax classifier分类的输出结果是一个总和为1的两个数,并且将概率高的那个类作为输出结果,例如:Softmaxclassifier分类输出0/1型的概率分别为(0.3,0.7),则最后结果输出为1。
S7、将目标病种文本和问题库中的标注数据分别输入至训练分类模型中,分别得到目标病种文本向量和问题向量,将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值的问题,并将问题输入至训练分类模型中进行判断并输出0/1型的结构化结果,根据预设格式进行格式化输出,得到目标病种结构化数据。
在本实施例中,S7步骤中,将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值的问题,具体包括:
将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值0.8的问题。
应当理解的是,本发明采用的余弦相似度为一种现有的向量相似度计算方法,其计算公式包括但不限于参考,在此不再进行赘述。
在本实施例中,当目标病种文本和问题库中的标注数据分别输入至训练分类模型中,会以句粒度获得相应的目标病种文本向量和问题向量,对目标病种文本向量和问题向量进行余弦相似度计算,召回分数(即余弦相似度分数)超过阈值0.8的问题,然后利用训练分类模型进行判断并输出0/10/1型的结构化结果,最后以(病历文本 对应问题 0/1)的预设格式进行格式化输出,得到目标病种结构化数据。
实施例二
本实施例在上述实施例一的基础上,提供一种跨病种迁移时病种数据结构化的系统200,请参见图3,用于实现上述实施例一所述的一种跨病种迁移时病种数据结构化的方法的步骤,该系统200主要包括:问题库构建模块210、BERT语言模型训练模块220、目标病种句过滤模块230、目标病种句向量输出模块240、目标病种已标注语料输出模块250、分类模型训练模块260以及目标病种结构化数据输出模块270,其中,
问题库构建模块210,用于获取原始病历文本集,将原始病历文本集中包含的原始病历文本进行拆分和标注,得到是/否型的标注数据,基于标注数据,构建问题库;
BERT语言模型训练模块220,用于从原始病历文本集中获取目标病种原始病历文本集和其它病种原始病历文本集,将目标病种原始病历文本集和其它病种原始病历文本集分别进行预处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集,采用目标病种原始文本训练集和其它病种原始文本训练集分别对BERT语言模型进行训练,分别输出目标病种BERT语言模型和其它病种BERT语言模型;
目标病种句过滤模块230,用于获取目标病种病历文本,将目标病种病历文本进行预处理,得到预处理后的目标病种文本,将目标病种文本进行拆分,得到拆分子句,将拆分子句作为输入值分别输入至目标病种BERT语言模型和其它病种BERT语言模型中计算PPL,得到目标病种PPL和其它病种PPL,计算目标病种PPL和其它病种PPL之间的PPL差值,并与预设的PPL差值阈值进行比较,过滤出目标病种句;
目标病种句向量输出模块240,用于将目标病种句输入至目标病种BERT语言模型中,输出目标病种句向量;
目标病种已标注语料输出模块250,用于将目标病种句向量进行文本聚类,得到不同类别的目标病种待标注语料集,在每个类别中随机抽取预设数量的目标病种待标注语料,对目标病种待标注语料进行标注,得到目标病种已标注语料;
分类模型训练模块260,用于基于目标病种已标注语料以及利用权重样本比算法筛选出的其它病种的标注数据,构造训练数据,将训练数据输入至初始分类模型中进行训练,得到训练分类模型;
目标病种结构化数据输出模块270,用于将目标病种文本和问题库中的标注数据分别输入至训练分类模型中,分别得到目标病种文本向量和问题向量,将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值的问题,并将问题输入至训练分类模型中进行判断并输出0/1型的结构化结果,根据预设格式进行格式化输出,得到目标病种结构化数据。
实施例三
本实施例在上述实施例一的基础上,还提供一种电子设备,请参见附图4,图4示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图4所示,电子设备可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头等的输入装置306,包括例如液晶显示器(LCD)、扬声器等的输出装置307,包括例如磁带、硬盘等的存储装置308,以及通信装置309。通信装置309可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图4中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开的一些实施例的方法中限定的上述功能。
实施例四
本实施例在上述实施例一的基础上,还提供计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在本实施例中,客户端、服务器可以利用诸如HTTP(HyperTextTransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述装置中所包含的,也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取训练数据,将上述训练数据进行转化得到初始数据;基于上述初始数据确定初始规则库,并对上述初始规则库进行参数优化得到目标规则库;根据预设激活权重计算公式对上述目标规则库中的规则进行计算得到激活权重;根据测试数据和上述激活权重,确定异常信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括数据获取单元、规则确定单元权重计算单元和异常确定单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,数据获取单元还可以被描述为“获取训练数据的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上内容是结合具体的实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
显然,本领域的技术人员应该明白,上述本发明的各步骤实施方式可以以不同于本发明的方式执行,模拟方法及实验设备包括但不限于上述说明。上述本发明的各步骤在某些情况下可以以不同于此处的顺序执行,上述所示或描述的步骤,可将它们分开执行。所以,本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (5)

1.一种跨病种迁移时病种数据结构化的方法,其特征在于,包括:
S1、获取原始病历文本集,将原始病历文本集中包含的原始病历文本进行拆分和标注,得到是/否型的标注数据,基于标注数据,构建问题库;
S2、从原始病历文本集中获取目标病种原始病历文本集和其它病种原始病历文本集,将目标病种原始病历文本集和其它病种原始病历文本集分别进行预处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集,采用目标病种原始文本训练集和其它病种原始文本训练集分别对BERT语言模型进行训练,分别输出目标病种BERT语言模型和其它病种BERT语言模型;
S3、获取目标病种病历文本,将目标病种病历文本进行预处理,得到预处理后的目标病种文本,将目标病种文本进行拆分,得到拆分子句,将拆分子句作为输入值分别输入至目标病种BERT语言模型和其它病种BERT语言模型中计算PPL,得到目标病种PPL和其它病种PPL,计算目标病种PPL和其它病种PPL之间的PPL差值,并与预设的PPL差值阈值进行比较,过滤出目标病种句;
S4、将目标病种句输入至目标病种BERT语言模型中,输出目标病种句向量;
S5、将目标病种句向量进行文本聚类,得到不同类别的目标病种待标注语料集,在每个类别中随机抽取预设数量的目标病种待标注语料,对目标病种待标注语料进行标注,得到目标病种已标注语料;
S6、基于目标病种已标注语料以及利用权重样本比算法筛选出的其它病种的标注数据,构造训练数据,将训练数据输入至初始分类模型中进行训练,得到训练分类模型;
S7、将目标病种文本和问题库中的标注数据分别输入至训练分类模型中,分别得到目标病种文本向量和问题向量,将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值的问题,并将问题输入至训练分类模型中进行判断并输出0/1型的结构化结果,根据预设格式进行格式化输出,得到目标病种结构化数据;
所述S1步骤,具体包括:
获取原始病历文本集,根据句号符号,将原始病历文本集中包含的原始病历文本按照句粒度进行拆分,得到若干拆分句,根据是/否型的预设标注格式对拆分句进行标注,得到是/否型的标注数据,基于标注数据,构建问题库;
是/否型的预设标注格式为[病历文本 是/否型的问题];
所述S2步骤中,将目标病种原始病历文本集和其它病种原始病历文本集分别进行预处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集,具体包括:
将目标病种原始病历文本集和其它病种原始病历文本集分别进行文本清洗处理、大小写转换处理以及数据归一化处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集;
所述S3步骤中,将目标病种病历文本进行预处理,得到预处理后的目标病种文本,将目标病种文本进行拆分,得到拆分子句,具体包括:
将目标病种病历文本进行文本清洗处理、大小写转换处理以及数据归一化处理,得到预处理后的目标病种文本,根据句号符号,将目标病种文本按照句粒度进行拆分,得到拆分子句;
其中,文本清洗步骤,用于去除文本中的特殊字符、HTML标签以及无意义字符的无关信息;大小写转换处理,用于将文本中的字母统一转换为大写或小写;数据归一化处理,用于对文本中的数值进行归一化处理;
所述S6步骤中,基于目标病种已标注语料以及利用权重样本比算法筛选出的其它病种的标注数据,构造训练数据,将训练数据输入至初始分类模型中进行训练,得到训练分类模型,具体包括:
将目标病种已标注语料和其它病种的标注数据进行余弦相似度计算,得到目标病种与其它病种的相似度权重,根据相似度权重的比例随机抽取对应数量的其它病种的标注数据,以及目标病种已标注语料,构造训练数据,将训练数据输入至Sentence-BERT双塔模型进行训练,得到训练分类模型;
其中,Sentence-BERT双塔模型的文本Encoder部分用同一个BERT模型进行处理,将包含病历文本和问题的训练数据输入至Sentence-BERT双塔模型进行训练,分别通过对应的Avg-Pooling平均池化和Mean-Pooling均值池化,对BERT模型输出的句向量进行特征提取和压缩,得到目标病种文本向量和问题向量,针对当前的分类任务,对目标病种文本向量和问题向量进行拼接,随后接入全连接网络,经Softmax classifier分类输出预测结果;
所述S7步骤中,将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值的问题,具体包括:
将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值0.8的问题。
2.根据权利要求1所述的一种跨病种迁移时病种数据结构化的方法,其特征在于,所述S5步骤中,具体包括:
将目标病种句向量进行文本聚类,将含义相同的目标病种句向量聚类到一类,得到不同类别的目标病种待标注语料集,在每个类别中随机抽取1/10的目标病种待标注语料,对目标病种待标注语料进行标注,得到目标病种已标注语料。
3.一种跨病种迁移时病种数据结构化的系统,其特征在于,包括:
问题库构建模块,用于获取原始病历文本集,将原始病历文本集中包含的原始病历文本进行拆分和标注,得到是/否型的标注数据,基于标注数据,构建问题库;
BERT语言模型训练模块,用于从原始病历文本集中获取目标病种原始病历文本集和其它病种原始病历文本集,将目标病种原始病历文本集和其它病种原始病历文本集分别进行预处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集,采用目标病种原始文本训练集和其它病种原始文本训练集分别对BERT语言模型进行训练,分别输出目标病种BERT语言模型和其它病种BERT语言模型;
目标病种句过滤模块,用于获取目标病种病历文本,将目标病种病历文本进行预处理,得到预处理后的目标病种文本,将目标病种文本进行拆分,得到拆分子句,将拆分子句作为输入值分别输入至目标病种BERT语言模型和其它病种BERT语言模型中计算PPL,得到目标病种PPL和其它病种PPL,计算目标病种PPL和其它病种PPL之间的PPL差值,并与预设的PPL差值阈值进行比较,过滤出目标病种句;
目标病种句向量输出模块,用于将目标病种句输入至目标病种BERT语言模型中,输出目标病种句向量;
目标病种已标注语料输出模块,用于将目标病种句向量进行文本聚类,得到不同类别的目标病种待标注语料集,在每个类别中随机抽取预设数量的目标病种待标注语料,对目标病种待标注语料进行标注,得到目标病种已标注语料;
分类模型训练模块,用于基于目标病种已标注语料以及利用权重样本比算法筛选出的其它病种的标注数据,构造训练数据,将训练数据输入至初始分类模型中进行训练,得到训练分类模型;
目标病种结构化数据输出模块,用于将目标病种文本和问题库中的标注数据分别输入至训练分类模型中,分别得到目标病种文本向量和问题向量,将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值的问题,并将问题输入至训练分类模型中进行判断并输出0/1型的结构化结果,根据预设格式进行格式化输出,得到目标病种结构化数据;
获取原始病历文本集,将原始病历文本集中包含的原始病历文本进行拆分和标注,得到是/否型的标注数据,基于标注数据,构建问题库,具体包括:
获取原始病历文本集,根据句号符号,将原始病历文本集中包含的原始病历文本按照句粒度进行拆分,得到若干拆分句,根据是/否型的预设标注格式对拆分句进行标注,得到是/否型的标注数据,基于标注数据,构建问题库;
是/否型的预设标注格式为[病历文本 是/否型的问题];
将目标病种原始病历文本集和其它病种原始病历文本集分别进行预处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集,具体包括:
将目标病种原始病历文本集和其它病种原始病历文本集分别进行文本清洗处理、大小写转换处理以及数据归一化处理,分别得到目标病种原始文本训练集和其它病种原始文本训练集;
将目标病种病历文本进行预处理,得到预处理后的目标病种文本,将目标病种文本进行拆分,得到拆分子句,具体包括:
将目标病种病历文本进行文本清洗处理、大小写转换处理以及数据归一化处理,得到预处理后的目标病种文本,根据句号符号,将目标病种文本按照句粒度进行拆分,得到拆分子句;
其中,文本清洗步骤,用于去除文本中的特殊字符、HTML标签以及无意义字符的无关信息;大小写转换处理,用于将文本中的字母统一转换为大写或小写;数据归一化处理,用于对文本中的数值进行归一化处理;
基于目标病种已标注语料以及利用权重样本比算法筛选出的其它病种的标注数据,构造训练数据,将训练数据输入至初始分类模型中进行训练,得到训练分类模型,具体包括:
将目标病种已标注语料和其它病种的标注数据进行余弦相似度计算,得到目标病种与其它病种的相似度权重,根据相似度权重的比例随机抽取对应数量的其它病种的标注数据,以及目标病种已标注语料,构造训练数据,将训练数据输入至Sentence-BERT双塔模型进行训练,得到训练分类模型;
其中,Sentence-BERT双塔模型的文本Encoder部分用同一个BERT模型进行处理,将包含病历文本和问题的训练数据输入至Sentence-BERT双塔模型进行训练,分别通过对应的Avg-Pooling平均池化和Mean-Pooling均值池化,对BERT模型输出的句向量进行特征提取和压缩,得到目标病种文本向量和问题向量,针对当前的分类任务,对目标病种文本向量和问题向量进行拼接,随后接入全连接网络,经Softmax classifier分类输出预测结果;
将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值的问题,具体包括:
将目标病种文本向量和问题向量进行余弦相似度计算,召回分数超过预设阈值0.8的问题。
4.一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述方法的步骤。
5.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至2中任一项所述方法的步骤。
CN202410221624.XA 2024-02-28 2024-02-28 一种跨病种迁移时病种数据结构化的方法及系统 Active CN117809792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410221624.XA CN117809792B (zh) 2024-02-28 2024-02-28 一种跨病种迁移时病种数据结构化的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410221624.XA CN117809792B (zh) 2024-02-28 2024-02-28 一种跨病种迁移时病种数据结构化的方法及系统

Publications (2)

Publication Number Publication Date
CN117809792A CN117809792A (zh) 2024-04-02
CN117809792B true CN117809792B (zh) 2024-05-03

Family

ID=90430240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410221624.XA Active CN117809792B (zh) 2024-02-28 2024-02-28 一种跨病种迁移时病种数据结构化的方法及系统

Country Status (1)

Country Link
CN (1) CN117809792B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365976A (zh) * 2020-11-14 2021-02-12 南昌大学第二附属医院 一种基于迁移学习的复合病种临床路径构建方法及系统
CN112685561A (zh) * 2020-12-26 2021-04-20 广州知汇云科技有限公司 一种跨病种的小样本临床医疗文本后结构化处理方法
CN114218370A (zh) * 2021-12-16 2022-03-22 云知声智能科技股份有限公司 确定单病种上报问题答案的方法、装置、设备和存储介质
US11657307B1 (en) * 2019-11-27 2023-05-23 Amazon Technologies, Inc. Data lake-based text generation and data augmentation for machine learning training
CN117577254A (zh) * 2023-11-17 2024-02-20 上海交通大学医学院附属瑞金医院 医疗领域语言模型构建及电子病历文本结构化方法、系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11657307B1 (en) * 2019-11-27 2023-05-23 Amazon Technologies, Inc. Data lake-based text generation and data augmentation for machine learning training
CN112365976A (zh) * 2020-11-14 2021-02-12 南昌大学第二附属医院 一种基于迁移学习的复合病种临床路径构建方法及系统
CN112685561A (zh) * 2020-12-26 2021-04-20 广州知汇云科技有限公司 一种跨病种的小样本临床医疗文本后结构化处理方法
CN114218370A (zh) * 2021-12-16 2022-03-22 云知声智能科技股份有限公司 确定单病种上报问题答案的方法、装置、设备和存储介质
CN117577254A (zh) * 2023-11-17 2024-02-20 上海交通大学医学院附属瑞金医院 医疗领域语言模型构建及电子病历文本结构化方法、系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于单病种数据库的临床科研系统的设计与研发;高宇;王奕;;中国肿瘤;20170831(第09期);全文 *
基于深度学习的心理咨询机器人软件系统的设计与实现;闫笑;《中国优秀硕士学位论文全文数据库 哲学与人文科学辑》;20230915(第9期);F102-117 *

Also Published As

Publication number Publication date
CN117809792A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN111090987B (zh) 用于输出信息的方法和装置
CN111444340A (zh) 文本分类和推荐方法、装置、设备及存储介质
CN112015859A (zh) 文本的知识层次抽取方法及装置、计算机设备及可读介质
CN110532398B (zh) 基于多任务联合神经网络模型的家族图谱自动构建方法
CN111477320B (zh) 治疗效果预测模型的构建系统、治疗效果预测系统及终端
CN111666500A (zh) 文本分类模型的训练方法及相关设备
CN113392197B (zh) 问答推理方法、装置、存储介质及电子设备
CN113707299A (zh) 基于问诊会话的辅助诊断方法、装置及计算机设备
CN111145903A (zh) 获取眩晕症问诊文本的方法、装置、电子设备及问诊系统
CN115359799A (zh) 语音识别方法、训练方法、装置、电子设备及存储介质
CN117235243A (zh) 民用机场大语言模型训练优化方法及综合服务平台
CN117422074A (zh) 一种临床信息文本标准化的方法、装置、设备及介质
CN112599211A (zh) 一种医疗实体关系抽取方法及装置
CN116415593B (zh) 一种研究前沿识别方法、系统、电子设备及存储介质
CN117809792B (zh) 一种跨病种迁移时病种数据结构化的方法及系统
CN116864128A (zh) 基于身体活动行为模式监测的心理状态评估系统及其方法
CN116844731A (zh) 疾病分类方法、疾病分类装置、电子设备及存储介质
CN116164822A (zh) 基于知识图谱的流量计故障诊断方法、装置、介质
CN111063446B (zh) 用于标准化医疗文本数据的方法、装置、设备及存储介质
CN112199954B (zh) 基于语音语义的疾病实体匹配方法、装置及计算机设备
CN111341404B (zh) 一种基于ernie模型的电子病历数据组解析方法及系统
CN111723188A (zh) 用于问答系统的基于人工智能的语句显示方法、电子设备
CN116719955B (zh) 标签标注信息生成方法、装置、电子设备和可读介质
CN113537372B (zh) 一种地址识别方法、装置、设备及存储介质
CN116453702B (zh) 孤独症行为特征集的数据处理方法、设备、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant