CN116386800A - 基于预训练语言模型的医疗病历数据分割方法和系统 - Google Patents
基于预训练语言模型的医疗病历数据分割方法和系统 Download PDFInfo
- Publication number
- CN116386800A CN116386800A CN202310658805.4A CN202310658805A CN116386800A CN 116386800 A CN116386800 A CN 116386800A CN 202310658805 A CN202310658805 A CN 202310658805A CN 116386800 A CN116386800 A CN 116386800A
- Authority
- CN
- China
- Prior art keywords
- medical record
- data
- layer
- word vector
- vector set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 57
- 230000011218 segmentation Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000013598 vector Substances 0.000 claims abstract description 232
- 201000010099 disease Diseases 0.000 claims abstract description 21
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 53
- 230000007246 mechanism Effects 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000010276 construction Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 208000000059 Dyspnea Diseases 0.000 description 2
- 206010013975 Dyspnoeas Diseases 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000011132 hemopoiesis Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 208000004998 Abdominal Pain Diseases 0.000 description 1
- 208000019838 Blood disease Diseases 0.000 description 1
- 206010008479 Chest Pain Diseases 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 206010011703 Cyanosis Diseases 0.000 description 1
- 208000011897 Deaf-Blind disease Diseases 0.000 description 1
- 206010012735 Diarrhoea Diseases 0.000 description 1
- 206010016100 Faeces discoloured Diseases 0.000 description 1
- 208000034507 Haematemesis Diseases 0.000 description 1
- 208000000616 Hemoptysis Diseases 0.000 description 1
- 206010023126 Jaundice Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 206010068319 Oropharyngeal pain Diseases 0.000 description 1
- 206010033557 Palpitations Diseases 0.000 description 1
- 208000004327 Paroxysmal Dyspnea Diseases 0.000 description 1
- 201000007100 Pharyngitis Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 208000013116 chronic cough Diseases 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 201000005787 hematologic cancer Diseases 0.000 description 1
- 208000014951 hematologic disease Diseases 0.000 description 1
- 208000024200 hematopoietic and lymphoid system neoplasm Diseases 0.000 description 1
- 208000018706 hematopoietic system disease Diseases 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 208000023482 precordial pain Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 208000013220 shortness of breath Diseases 0.000 description 1
- 208000004371 toothache Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了基于预训练语言模型的医疗病历数据分割方法和系统，通过预构建的预训练语言模型生成原始病历文本数据，基于N‑gram模型按照1~n gram对原始病历文本数据进行划分组合，得到病历划分数据，并通过预构建的bert模型得到病历词向量集合，再用预设的医疗领域所有的标准词通过bert模型得到标准词向量集合，通过相似度得分计算病历词与标准词的相似度得分，根据预设阈值将符合的病历词标识为疾病实体，从而实现病历文本的快速精确分割识别操作，解决了基于传统序列标注的分割方法中效率低且准确率不达标的问题。
Description
技术领域
本发明医疗数据处理技术领域，具体涉及基于预训练语言模型的医疗病历数据分割方法和系统。
背景技术
随着医疗信息化的高速发展，医疗数据的类型和规模快速增长，利用多家医疗数据中心的医疗数据进行数据分析挖掘，进而为临床决策、医疗管理服务、科学研究提供支持成为必然趋势。
其中，文本分割，即将一段整体的文本根据其内部逻辑关系，将其分割成多个线性序列的主题块，用于信息索引或者文本总结，对于不同的应用场景和任务需要，可以是医疗病程文本场景下的主诉、病史、检查和治疗方案等，在传统的文本分割模型中，模型的任务是只需找到文本之间的边界，确保文本内部逻辑的连贯和一致，因而整体多为无监督学习，以上都没有使用任何机器学习，仅仅依靠语言学上的概念(如词共现、线索词、词的转移与变换等)进行文本分割，再到基于LDA等主题模型进行分割，该任务的解决方案更新和效果优化一直推进，传统的分割文本的方法一般采用传统的序列标注方法实现，这种分割方法效率低且准确率不达标。
基于此，针对医学病历的原始文本数据，我们需要提取出其中的关键医学信息，随着预训练模型的发展，我们提出了基于N-gram和相似度匹配来实现文本分割。
发明内容
针对上述现有技术的不足，本申请提供基于预训练语言模型的医疗病历数据分割方法及装置。
第一方面本申请提出了基于预训练语言模型的医疗病历数据分割方法，包括以下步骤：
构建预训练语言模型，对所述预训练语言模型输入原始提示数据生成原始病历文本数据；
基于N-gram模型按照1~n gram对所述原始病历文本数据进行划分组合，得到病历文本划分数据；
将所述病历文本划分数据经过bert模型进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
将预设的医疗领域的所有标准词分别经过所述bert模型进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合；
将所述病历词向量集合中的向量和所述标准词向量集合中的向量进行一次矩阵乘法运算，得到病历词和标准词的相似度得分，基于预设相似度阈值和所述相似度得分进行疾病实体标识，完成病历文本分割。
在一些实施例中，所述构建预训练语言模型，对所述预训练语言模型输入原始提示数据生成原始病历文本数据，所述构建预训练语言模型包括embedding层、多头注意力机制层和前向计算层：
所述embedding层，通过embedding权重矩阵和输入数据映射的id进行矩阵相称，得出embedding词向量作为输入数据的embedding矩阵表示，向量维度为768维；
所述多头注意力机制层，对embedding层输出的768维特征向量分别经过三个线性层做矩阵特征提取，经过矩阵乘法计算得出每个输入数据融合了注意力信息的768维向量表示；
所述前向计算层，将多头注意力机制层每个输入经过两层线性层，并经过激活层激活后输出每个数据最终的768维向量表示；
将所述原始提示数据作为提示词输入所述预训练语言模型汇总，所述提示词作为encoder部分的输入，经过所述embedding层、多头注意力机制层和前向计算层进行计算并输出结果，得到原始病历文本数据。
在一些实施例中，所述基于N-gram模型按照1~n gram对所述原始病历文本数据进行划分组合，得到病历文本划分数据，包括；
通过N-gram模型中的Bi-gram和Tri-gram机制将所述原始病历文本数据中的句子进行分解，并通过滑动窗口法按照1~ngram获取分解后的句子中所有的相邻文本组合，得到病历文本划分数据。
在一些实施例中，所述bert模型的模型结构与所述预训练语言模型结构一致，包括所述embedding层、多头注意力机制层和前向计算层；
将所述病历文本划分数据经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
将预设的医疗领域的所有标准词分别经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合。
在一些实施例中，所述将所述病历词向量集合中的向量和所述标准词向量集合中的向量进行一次矩阵乘法运算，得到病历词和标准词的相似度得分，基于预设相似度阈值和所述相似度得分进行疾病实体标识，完成病历文本分割，包括：计算相似度得分公式为：
其中，A为病历词向量集合中所有病历词的768维度的向量表示，B为标准词向量集合中所有标准词的768维度的向量表示；
经过所述相似度得分公式计算获取了病历词和所有标准词的相似度得分，当相似度得分的结果超过所述预设相似度阈值时，把当前病历词从原始病历文本数据中标识为一个疾病实体，当相似度得分的结果不大于所述预设相似度阈值时，则把当前病历词舍去，从而实现对原始病历文本数据的分割操作。
第二方面本申请提出了基于预训练语言模型的医疗病历数据分割系统，包括原始病历文本生成模块、文本划分模块、病历词向量集合构建模块、标准词向量集合构建模块和病历文本分割模块。
所述原始病历文本生成模块，用于构建预训练语言模型，对所述预训练语言模型输入原始提示数据生成原始病历文本数据；
所述文本划分模块，用于基于N-gram模型按照1~n gram对所述原始病历文本数据进行划分组合，得到病历文本划分数据；
所述病历词向量集合构建模块，用于将所述病历文本划分数据经过bert模型进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
所述标准词向量集合构建模块，用于将预设的医疗领域的所有标准词分别经过所述bert模型进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合；
所述病历文本分割模块，用于将所述病历词向量集合中的向量和所述标准词向量集合中的向量进行一次矩阵乘法运算，得到病历词和标准词的相似度得分，基于预设相似度阈值和所述相似度得分进行疾病实体标识，完成病历文本分割。
在一些实施例中，所述原始病历文本生成模块包括预训练语言模型构建单元和原始病历文本数据生成单元；
所述预训练语言模型构建单元，用于基于所述embedding层、多头注意力机制层和前向计算层构建预训练语言模型；
所述原始病历文本数据生成单元，用于将所述原始提示数据作为提示词输入所述预训练语言模型汇总，所述提示词作为encoder部分的输入，经过所述embedding层、多头注意力机制层和前向计算层进行计算并输出结果，得到原始病历文本数据。
在一些实施例中，所述文本划分模块包括文本数据处理单元；
所述文本数据处理单元，用于通过N-gram模型中的Bi-gram和Tri-gram机制将所述原始病历文本数据中的句子进行分解，并通过滑动窗口法按照1~ngram获取分解后的句子中所有的相邻文本组合，得到病历文本划分数据。
在一些实施例中，所述病历词向量集合构建模块和所述标准词向量集合构建模块均包括bert模型构建单元，所述病历词向量集合构建模块还包括第一向量表示处理单元，所述标准词向量集合构建模块还包括第二向量表示处理单元；
所述bert模型构建单元，用于基于所述embedding层、多头注意力机制层和前向计算层构建bert模型；
所述第一向量表示处理单元，用于将所述病历文本划分数据经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
所述第二向量表示处理单元，用于将预设的医疗领域的所有标准词分别经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合。
在一些实施例中，所述病历文本分割模块包括相似度得分计算单元和病历文本处理分割单元；
所述相似度得分计算单元，用于根据相似度得分公式计算病历词和所有标准词的相似度得分，计算相似度得分公式为：
其中，A为病历词向量集合中所有病历词的768维度的向量表示，B为标准词向量集合中所有标准词的768维度的向量表示；
所述病历文本处理分割单元，用于当相似度得分的结果超过所述预设相似度阈值时，把当前病历词从原始病历文本数据中标识为一个疾病实体，当相似度得分的结果不大于所述预设相似度阈值时，则把当前病历词舍去，从而实现对原始病历文本数据的分割操作。
第三方面，本申请提出了一种计算机装置，计算机装置包括：
处理器，处理器用于执行存储器中存储的计算机程序时实现上述任一方法的步骤。
第四方面，本申请提出了一种计算机可读存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现上述任一方法的步骤。
本发明的有益效果：
本方案通过预构建的预训练语言模型生成原始病历文本数据，基于N-gram模型按照1~n gram对原始病历文本数据进行划分组合，得到病历划分数据，并通过预构建的bert模型得到病历词向量集合，再用预设的医疗领域所有的标准词通过bert模型得到标准词向量集合，通过相似度得分计算病历词与标准词的相似度得分，根据预设阈值将符合的病历词标识为疾病实体，从而实现病历文本的快速精确分割识别操作，解决了基于传统序列标注的分割方法中效率低且准确率不达标的问题。
附图说明
图1为本发明的总体流程图。
图2为本发明的系统原理框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制；相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
第一方面本申请提出了基于预训练语言模型的医疗病历数据分割方法，如图1所示，包括以下步骤S100-S500：
S100：构建预训练语言模型，对所述预训练语言模型输入原始提示数据生成原始病历文本数据；
在一些实施例中，所述构建预训练语言模型，对所述预训练语言模型输入原始提示数据生成原始病历文本数据，所述构建预训练语言模型包括embedding层、多头注意力机制层和前向计算层：
所述embedding层，通过embedding权重矩阵和输入数据映射的id进行矩阵相称，得出embedding词向量作为输入数据的embedding矩阵表示，向量维度为768维；
所述多头注意力机制层，对embedding层输出的768维特征向量分别经过三个线性层做矩阵特征提取，经过矩阵乘法计算得出每个输入数据融合了注意力信息的768维向量表示；
所述前向计算层，将多头注意力机制层每个输入经过两层线性层，并经过激活层激活后输出每个数据最终的768维向量表示；
将所述原始提示数据作为提示词输入所述预训练语言模型汇总，所述提示词作为encoder部分的输入，经过所述embedding层、多头注意力机制层和前向计算层进行计算并输出结果，得到原始病历文本数据。
其中，对预训练语言模型输入原始提示数据“请输出一段血液病科病历单的文本数据”，根据这个提示词作为encoder部分的输入，模型进行计算并输出结果，以下为模型输出的示例数据：
五官器：无视力、听力减退史，无鼻及外耳流脓液史，无牙痛、咽喉肿痛史。
呼吸系：无慢性咳嗽、咳痰、咯血及呼吸困难史。
循环系：无心悸、气短、发绀、夜间阵发性呼吸困难、心前区疼痛及下肢水肿史。
消化系：无慢性腹痛、腹泻、呕血、黑便及黄疸史。
血液系：血细胞生成，功能正常。
S200：基于N-gram模型按照1~n gram对所述原始病历文本数据进行划分组合，得到病历文本划分数据；
在一些实施例中，所述基于N-gram模型按照1~n gram对所述原始病历文本数据进行划分组合，得到病历文本划分数据，包括；
通过N-gram模型中的Bi-gram和Tri-gram机制将所述原始病历文本数据中的句子进行分解，并通过滑动窗口法按照1~ngram获取分解后的句子中所有的相邻文本组合，得到病历文本划分数据。
其中，根据步骤S100，我们获取了如上所述的原始病历文本数据，接下来，我们将原始病历文本数据按照1~n gram对原始病历文本数据进行划分组合，其中，N-gram 模型是一种语言模型，语言模型是一个基于概率的判别模型，它的输入是一句话（单词的顺序序列），输出是这句话的概率，即这些单词的联合概率；
N-gram 本身也指一个由N个单词组成的集合，各单词具有先后顺序，且不要求单词之间互不相同。常用的有 Bi-gram (N=2) 和 Tri-gram (N=3)，一般已经够用了。例如有一句话 ”I love deep learning“ 在这句话里，基于Bi-gram和Tri-gram机制的分解结果为：
Bi-gram : {I, love}, {love, deep}, {love, deep}, {deep, learning}
Tri-gram : {I, love, deep}, {love, deep, learning}；
进一步的，比如原始病历文本数据为上述血液系中的“血细胞生成，功能正常”，我们通过滑动窗口法按照1~ngram获取原始病历文本数据中所有的相邻文本组合：[‘血’、‘血细’、‘血细胞’、‘血细胞生成’...‘细’、‘细胞’、‘细胞生’、‘细胞生成’......],通过这种方式，我们对原始病历文本数据可以生成(n-1)n/2个数据，将这些数据作为病历文本划分数据；
S300：将所述病历文本划分数据经过bert模型进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
S400：将预设的医疗领域的所有标准词分别经过所述bert模型进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合；
在一些实施例中，所述bert模型的模型结构与所述预训练语言模型结构一致，包括所述embedding层、多头注意力机制层和前向计算层；
将所述病历文本划分数据经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
将预设的医疗领域的所有标准词分别经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合。
其中，bert模型中的预训练网络的参数包含训练总轮次num_epochs、输出向量维度hidden_size和学习率learning_rate，所述训练总轮次为所述训练集输入bert模型后的总的迭代计算的次数，所述嵌入表示向量为768维嵌入表示向量；
进一步的，我们将上述病历文本划分数据分别经过bert模型获取到768维度的第一向量表示，我们把这些向量存储为病历词向量集合；
进一步的，我们将提前准备好的医疗领域所有的标准词（标准词是指的是疾病的标准名称，比如疾病“血癌”的标准名称为“白血病”）分别经过bert模型，bert模型结构和上面的一致，获取到这些标准词的768维度的第二向量表示，存储为标准词向量集合；
S500：将所述病历词向量集合中的向量和所述标准词向量集合中的向量进行一次矩阵乘法运算，得到病历词和标准词的相似度得分，基于预设相似度阈值和所述相似度得分进行疾病实体标识，完成病历文本分割。
在一些实施例中，所述将所述病历词向量集合中的向量和所述标准词向量集合中的向量进行一次矩阵乘法运算，得到病历词和标准词的相似度得分，基于预设相似度阈值和所述相似度得分进行疾病实体标识，完成病历文本分割，包括：计算相似度得分公式为：
其中，A为病历词向量集合中所有病历词的768维度的向量表示，B为标准词向量集合中所有标准词的768维度的向量表示；
进一步的，对于已经构建完毕的所有病历词向量集合和标准词向量集合，我们假设病历词向量集合中有病历词汇的768维度的第一向量表示，我们将病历词汇的768维度的向量矩阵和标准词向量集合中标准词的向量矩阵进行一次矩阵乘法运算，即得出当前病历词汇和标准词向量集合中所有保存的标准词之间的余弦相似度，公式为：
其中，A为病历词向量集合中所有病历词汇的768维度的第一向量表示，B为标准词向量集合中所有标准词的第二向量表示。
经过所述相似度得分公式计算获取了病历词和所有标准词的相似度得分，当相似度得分的结果超过所述预设相似度阈值时，把当前病历词从原始病历文本数据中标识为一个疾病实体，当相似度得分的结果不大于所述预设相似度阈值时，则把当前病历词舍去，从而实现对原始病历文本数据的分割操作。
其中，经过计算获取了病历词汇和标准词库中所有词汇的相似度得分，范围在0~1之间，我们设定可调相似度阈值0.8，在阈值之上的病历词汇可以看做与标准词汇是代表相同含义，是一个疾病的词汇，我们把它从原始病历中标识为一个疾病实体，通过这种方式实现对病历文本的分割操作。
第二方面本申请提出了基于预训练语言模型的医疗病历数据分割系统，如图2所示，包括原始病历文本生成模块、文本划分模块、病历词向量集合构建模块、标准词向量集合构建模块和病历文本分割模块。
所述原始病历文本生成模块，用于构建预训练语言模型，对所述预训练语言模型输入原始提示数据生成原始病历文本数据；
所述文本划分模块，用于基于N-gram模型按照1~n gram对所述原始病历文本数据进行划分组合，得到病历文本划分数据；
所述病历词向量集合构建模块，用于将所述病历文本划分数据经过bert模型进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
所述标准词向量集合构建模块，用于将预设的医疗领域的所有标准词分别经过所述bert模型进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合；
所述病历文本分割模块，用于将所述病历词向量集合中的向量和所述标准词向量集合中的向量进行一次矩阵乘法运算，得到病历词和标准词的相似度得分，基于预设相似度阈值和所述相似度得分进行疾病实体标识，完成病历文本分割。
在一些实施例中，所述原始病历文本生成模块包括预训练语言模型构建单元和原始病历文本数据生成单元；
所述预训练语言模型构建单元，用于基于所述embedding层、多头注意力机制层和前向计算层构建预训练语言模型；
所述原始病历文本数据生成单元，用于将所述原始提示数据作为提示词输入所述预训练语言模型汇总，所述提示词作为encoder部分的输入，经过所述embedding层、多头注意力机制层和前向计算层进行计算并输出结果，得到原始病历文本数据。
在一些实施例中，所述文本划分模块包括文本数据处理单元；
所述文本数据处理单元，用于通过N-gram模型中的Bi-gram和Tri-gram机制将所述原始病历文本数据中的句子进行分解，并通过滑动窗口法按照1~ngram获取分解后的句子中所有的相邻文本组合，得到病历文本划分数据。
在一些实施例中，所述病历词向量集合构建模块和所述标准词向量集合构建模块均包括bert模型构建单元，所述病历词向量集合构建模块还包括第一向量表示处理单元，所述标准词向量集合构建模块还包括第二向量表示处理单元；
所述bert模型构建单元，用于基于所述embedding层、多头注意力机制层和前向计算层构建bert模型；
所述第一向量表示处理单元，用于将所述病历文本划分数据经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
所述第二向量表示处理单元，用于将预设的医疗领域的所有标准词分别经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合。
在一些实施例中，所述病历文本分割模块包括相似度得分计算单元和病历文本处理分割单元；
所述相似度得分计算单元，用于根据相似度得分公式计算病历词和所有标准词的相似度得分，计算相似度得分公式为：
其中，A为病历词向量集合中所有病历词的768维度的向量表示，B为标准词向量集合中所有标准词的768维度的向量表示；
所述病历文本处理分割单元，用于当相似度得分的结果超过所述预设相似度阈值时，把当前病历词从原始病历文本数据中标识为一个疾病实体，当相似度得分的结果不大于所述预设相似度阈值时，则把当前病历词舍去，从而实现对原始病历文本数据的分割操作。
第三方面，本申请提出了一种计算机装置，计算机装置包括：
处理器，处理器用于执行存储器中存储的计算机程序时实现上述任一方法的步骤。
第四方面，本申请提出了一种计算机可读存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现上述任一方法的步骤示例性地，计算机程序可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算机设备。计算机设备可以包括但不仅限于处理器和存储器。本领域技术人员可以理解，计算机设备可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如，计算机设备还可以包括输入输出设备、网络接入设备、总线等。
处理器可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是计算机设备的内部存储单元，例如，计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及计算机设备所需的其它程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上仅是本发明优选的实施方式，需指出的是，对于本领域技术人员在不脱离本技术方案的前提下，作出的若干变形和改进的技术方案应同样视为落入本权利要求书要求保护的范围。
Claims (10)
1.基于预训练语言模型的医疗病历数据分割方法，其特征在于：包括以下步骤：
构建预训练语言模型，对所述预训练语言模型输入原始提示数据生成原始病历文本数据；
基于N-gram模型按照1~n gram对所述原始病历文本数据进行划分组合，得到病历文本划分数据；
将所述病历文本划分数据经过bert模型进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
将预设的医疗领域的所有标准词分别经过所述bert模型进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合；
将所述病历词向量集合中的向量和所述标准词向量集合中的向量进行一次矩阵乘法运算，得到病历词和标准词的相似度得分，基于预设相似度阈值和所述相似度得分进行疾病实体标识，完成病历文本分割。
2.根据权利要求1所述的方法，其特征在于：所述构建预训练语言模型，对所述预训练语言模型输入原始提示数据生成原始病历文本数据，所述构建预训练语言模型包括embedding层、多头注意力机制层和前向计算层：
所述embedding层，通过embedding权重矩阵和输入数据映射的id进行矩阵相称，得出embedding词向量作为输入数据的embedding矩阵表示，向量维度为768维；
所述多头注意力机制层，对embedding层输出的768维特征向量分别经过三个线性层做矩阵特征提取，经过矩阵乘法计算得出每个输入数据融合了注意力信息的768维向量表示；
所述前向计算层，将多头注意力机制层每个输入经过两层线性层，并经过激活层激活后输出每个数据最终的768维向量表示；
将所述原始提示数据作为提示词输入所述预训练语言模型汇总，所述提示词作为encoder部分的输入，经过所述embedding层、多头注意力机制层和前向计算层进行计算并输出结果，得到原始病历文本数据。
3.根据权利要求2所述的方法，其特征在于：所述基于N-gram模型按照1~n gram对所述原始病历文本数据进行划分组合，得到病历文本划分数据，包括；
通过N-gram模型中的Bi-gram和Tri-gram机制将所述原始病历文本数据中的句子进行分解，并通过滑动窗口法按照1~ngram获取分解后的句子中所有的相邻文本组合，得到病历文本划分数据。
4.根据权利要求3所述的方法，其特征在于：所述bert模型的模型结构与所述预训练语言模型结构一致，包括所述embedding层、多头注意力机制层和前向计算层；
将所述病历文本划分数据经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
将预设的医疗领域的所有标准词分别经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合。
5.根据权利要求4所述的方法，其特征在于：所述将所述病历词向量集合中的向量和所述标准词向量集合中的向量进行一次矩阵乘法运算，得到病历词和标准词的相似度得分，基于预设相似度阈值和所述相似度得分进行疾病实体标识，完成病历文本分割，包括：计算相似度得分公式为：
经过所述相似度得分公式计算获取了病历词和所有标准词的相似度得分，当相似度得分的结果超过所述预设相似度阈值时，把当前病历词从原始病历文本数据中标识为一个疾病实体，当相似度得分的结果不大于所述预设相似度阈值时，则把当前病历词舍去，从而实现对原始病历文本数据的分割操作。
6.基于预训练语言模型的医疗病历数据分割系统，其特征在于：包括原始病历文本生成模块、文本划分模块、病历词向量集合构建模块、标准词向量集合构建模块和病历文本分割模块；
所述原始病历文本生成模块，用于构建预训练语言模型，对所述预训练语言模型输入原始提示数据生成原始病历文本数据；
所述文本划分模块，用于基于N-gram模型按照1~n gram对所述原始病历文本数据进行划分组合，得到病历文本划分数据；
所述病历词向量集合构建模块，用于将所述病历文本划分数据经过bert模型进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
所述标准词向量集合构建模块，用于将预设的医疗领域的所有标准词分别经过所述bert模型进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合；
所述病历文本分割模块，用于将所述病历词向量集合中的向量和所述标准词向量集合中的向量进行一次矩阵乘法运算，得到病历词和标准词的相似度得分，基于预设相似度阈值和所述相似度得分进行疾病实体标识，完成病历文本分割。
7.根据权利要求6所述的系统，其特征在于：所述原始病历文本生成模块包括预训练语言模型构建单元和原始病历文本数据生成单元；
所述预训练语言模型构建单元，用于基于所述embedding层、多头注意力机制层和前向计算层构建预训练语言模型；
所述原始病历文本数据生成单元，用于将所述原始提示数据作为提示词输入所述预训练语言模型汇总，所述提示词作为encoder部分的输入，经过所述embedding层、多头注意力机制层和前向计算层进行计算并输出结果，得到原始病历文本数据。
8.根据权利要求7所述的系统，其特征在于：所述文本划分模块包括文本数据处理单元；
所述文本数据处理单元，用于通过N-gram模型中的Bi-gram和Tri-gram机制将所述原始病历文本数据中的句子进行分解，并通过滑动窗口法按照1~ngram获取分解后的句子中所有的相邻文本组合，得到病历文本划分数据。
9.根据权利要求8所述的系统，其特征在于：所述病历词向量集合构建模块和所述标准词向量集合构建模块均包括bert模型构建单元，所述病历词向量集合构建模块还包括第一向量表示处理单元，所述标准词向量集合构建模块还包括第二向量表示处理单元；
所述bert模型构建单元，用于基于所述embedding层、多头注意力机制层和前向计算层构建bert模型；
所述第一向量表示处理单元，用于将所述病历文本划分数据经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第一向量表示，将获取的所述第一向量表示的向量存储为病历词向量集合；
所述第二向量表示处理单元，用于将预设的医疗领域的所有标准词分别经过所述bert模型的embedding层、多头注意力机制层和前向计算层进行处理，得到768维度的第二向量表示，将获取的所述第二向量表示的向量存储为标准词向量集合。
10.根据权利要求9所述的系统，其特征在于：所述病历文本分割模块包括相似度得分计算单元和病历文本处理分割单元；
所述相似度得分计算单元，用于根据相似度得分公式计算病历词和所有标准词的相似度得分，计算相似度得分公式为：
所述病历文本处理分割单元，用于当相似度得分的结果超过所述预设相似度阈值时，把当前病历词从原始病历文本数据中标识为一个疾病实体，当相似度得分的结果不大于所述预设相似度阈值时，则把当前病历词舍去，从而实现对原始病历文本数据的分割操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310658805.4A CN116386800B (zh) | 2023-06-06 | 2023-06-06 | 基于预训练语言模型的医疗病历数据分割方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310658805.4A CN116386800B (zh) | 2023-06-06 | 2023-06-06 | 基于预训练语言模型的医疗病历数据分割方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116386800A true CN116386800A (zh) | 2023-07-04 |
| CN116386800B CN116386800B (zh) | 2023-08-18 |
Family
ID=86975456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310658805.4A Active CN116386800B (zh) | 2023-06-06 | 2023-06-06 | 基于预训练语言模型的医疗病历数据分割方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116386800B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116564539A (zh) * | 2023-07-10 | 2023-08-08 | 神州医疗科技股份有限公司 | 基于信息抽取和实体归一的医学相似病例推荐方法和系统 |
| CN117574896A (zh) * | 2024-01-16 | 2024-02-20 | 之江实验室 | 基于电子病历文本的手术费用识别方法、装置及存储介质 |
| KR102686793B1 (ko) * | 2023-09-12 | 2024-07-22 | 주식회사 에비드넷 | 인공지능을 활용한 비정형 데이터의 정형화 방법 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682397A (zh) * | 2016-12-09 | 2017-05-17 | 江西中科九峰智慧医疗科技有限公司 | 一种基于知识的电子病历质控方法 |
| CN110597949A (zh) * | 2019-08-01 | 2019-12-20 | 湖北工业大学 | 一种基于词向量和词频的法院相似案件推荐模型 |
| CN110705293A (zh) * | 2019-08-23 | 2020-01-17 | 中国科学院苏州生物医学工程技术研究所 | 基于预训练语言模型的电子病历文本命名实体识别方法 |
| CN110704621A (zh) * | 2019-09-25 | 2020-01-17 | 北京大米科技有限公司 | 文本处理方法、装置及存储介质和电子设备 |
| CN110866401A (zh) * | 2019-11-18 | 2020-03-06 | 山东健康医疗大数据有限公司 | 基于注意力机制的中文电子病历命名实体识别方法及系统 |
| CN111414745A (zh) * | 2020-04-03 | 2020-07-14 | 龙马智芯（珠海横琴）科技有限公司 | 文本标点确定方法与装置、存储介质、电子设备 |
| CN111627512A (zh) * | 2020-05-29 | 2020-09-04 | 北京大恒普信医疗技术有限公司 | 一种相似病历的推荐方法、装置，电子设备及存储介质 |
| CN112016279A (zh) * | 2020-09-04 | 2020-12-01 | 平安科技（深圳）有限公司 | 电子病历结构化方法、装置、计算机设备和存储介质 |
| CN112307208A (zh) * | 2020-11-05 | 2021-02-02 | Oppo广东移动通信有限公司 | 长文本的分类方法、终端及计算机存储介质 |
| CN113672705A (zh) * | 2021-08-27 | 2021-11-19 | 工银科技有限公司 | 简历筛选方法、装置、设备、介质及程序产品 |
| US20210375479A1 (en) * | 2020-05-29 | 2021-12-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for processing electronic medical record data, device and medium |
| CN113821587A (zh) * | 2021-06-02 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 文本相关性确定方法、模型训练方法、装置及存储介质 |
| CN114417836A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于深度学习的中文电子病历文本语义分割方法 |
| CN114547230A (zh) * | 2022-02-24 | 2022-05-27 | 山东大学 | 一种智能行政执法案例信息抽取和案由认定方法 |
| CN114781382A (zh) * | 2022-04-25 | 2022-07-22 | 苏州科技大学 | 基于rwlstm模型融合的医疗命名实体识别系统及方法 |
| US20220293267A1 (en) * | 2021-03-15 | 2022-09-15 | Siemens Medical Solutions Usa, Inc. | Generating reasons for imaging studies |
| US20220292269A1 (en) * | 2021-03-15 | 2022-09-15 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and apparatus for acquiring pre-trained model |
| CN115238026A (zh) * | 2022-08-31 | 2022-10-25 | 翼方健数(北京)信息科技有限公司 | 一种基于深度学习的医疗文本主题分割方法和装置 |
| US20230040095A1 (en) * | 2021-10-28 | 2023-02-09 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for pre-training model, device, and storage medium |
| CN115859989A (zh) * | 2023-02-13 | 2023-03-28 | 神州医疗科技股份有限公司 | 基于远程监督的实体识别方法及系统 |
-
2023
- 2023-06-06 CN CN202310658805.4A patent/CN116386800B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682397A (zh) * | 2016-12-09 | 2017-05-17 | 江西中科九峰智慧医疗科技有限公司 | 一种基于知识的电子病历质控方法 |
| CN110597949A (zh) * | 2019-08-01 | 2019-12-20 | 湖北工业大学 | 一种基于词向量和词频的法院相似案件推荐模型 |
| CN110705293A (zh) * | 2019-08-23 | 2020-01-17 | 中国科学院苏州生物医学工程技术研究所 | 基于预训练语言模型的电子病历文本命名实体识别方法 |
| CN110704621A (zh) * | 2019-09-25 | 2020-01-17 | 北京大米科技有限公司 | 文本处理方法、装置及存储介质和电子设备 |
| CN110866401A (zh) * | 2019-11-18 | 2020-03-06 | 山东健康医疗大数据有限公司 | 基于注意力机制的中文电子病历命名实体识别方法及系统 |
| CN111414745A (zh) * | 2020-04-03 | 2020-07-14 | 龙马智芯（珠海横琴）科技有限公司 | 文本标点确定方法与装置、存储介质、电子设备 |
| US20210375479A1 (en) * | 2020-05-29 | 2021-12-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for processing electronic medical record data, device and medium |
| CN111627512A (zh) * | 2020-05-29 | 2020-09-04 | 北京大恒普信医疗技术有限公司 | 一种相似病历的推荐方法、装置，电子设备及存储介质 |
| CN112016279A (zh) * | 2020-09-04 | 2020-12-01 | 平安科技（深圳）有限公司 | 电子病历结构化方法、装置、计算机设备和存储介质 |
| CN112307208A (zh) * | 2020-11-05 | 2021-02-02 | Oppo广东移动通信有限公司 | 长文本的分类方法、终端及计算机存储介质 |
| US20220292269A1 (en) * | 2021-03-15 | 2022-09-15 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and apparatus for acquiring pre-trained model |
| US20220293267A1 (en) * | 2021-03-15 | 2022-09-15 | Siemens Medical Solutions Usa, Inc. | Generating reasons for imaging studies |
| CN113821587A (zh) * | 2021-06-02 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 文本相关性确定方法、模型训练方法、装置及存储介质 |
| CN113672705A (zh) * | 2021-08-27 | 2021-11-19 | 工银科技有限公司 | 简历筛选方法、装置、设备、介质及程序产品 |
| US20230040095A1 (en) * | 2021-10-28 | 2023-02-09 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for pre-training model, device, and storage medium |
| CN114417836A (zh) * | 2022-01-18 | 2022-04-29 | 北京工业大学 | 一种基于深度学习的中文电子病历文本语义分割方法 |
| CN114547230A (zh) * | 2022-02-24 | 2022-05-27 | 山东大学 | 一种智能行政执法案例信息抽取和案由认定方法 |
| CN114781382A (zh) * | 2022-04-25 | 2022-07-22 | 苏州科技大学 | 基于rwlstm模型融合的医疗命名实体识别系统及方法 |
| CN115238026A (zh) * | 2022-08-31 | 2022-10-25 | 翼方健数(北京)信息科技有限公司 | 一种基于深度学习的医疗文本主题分割方法和装置 |
| CN115859989A (zh) * | 2023-02-13 | 2023-03-28 | 神州医疗科技股份有限公司 | 基于远程监督的实体识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 赵璐等: "基于BERT特征的双向LSTM神经网络在中文电子病历输入推荐中的应用", 中国数字医学, pages 60 - 62 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116564539A (zh) * | 2023-07-10 | 2023-08-08 | 神州医疗科技股份有限公司 | 基于信息抽取和实体归一的医学相似病例推荐方法和系统 |
| CN116564539B (zh) * | 2023-07-10 | 2023-10-24 | 神州医疗科技股份有限公司 | 基于信息抽取和实体归一的医学相似病例推荐方法和系统 |
| KR102686793B1 (ko) * | 2023-09-12 | 2024-07-22 | 주식회사 에비드넷 | 인공지능을 활용한 비정형 데이터의 정형화 방법 |
| CN117574896A (zh) * | 2024-01-16 | 2024-02-20 | 之江实验室 | 基于电子病历文本的手术费用识别方法、装置及存储介质 |
| CN117574896B (zh) * | 2024-01-16 | 2024-04-09 | 之江实验室 | 基于电子病历文本的手术费用识别方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116386800B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116386800B (zh) | 基于预训练语言模型的医疗病历数据分割方法和系统 | |
| CN109670179B (zh) | 基于迭代膨胀卷积神经网络的病历文本命名实体识别方法 | |
| Yin et al. | Chinese clinical named entity recognition with radical-level feature and self-attention mechanism | |
| Campos et al. | Biomedical named entity recognition: a survey of machine-learning tools | |
| CN111126065B (zh) | 一种自然语言文本的信息提取方法及装置 | |
| CN109299280B (zh) | 短文本聚类分析方法、装置和终端设备 | |
| CN110427486B (zh) | 身体病况文本的分类方法、装置及设备 | |
| CN110134951B (zh) | 一种分析文本数据潜在主题短语的方法及系统 | |
| CN112885478B (zh) | 医疗文献的检索方法、装置、电子设备及存储介质 | |
| CN110162784B (zh) | 中文病历的实体识别方法、装置、设备及存储介质 | |
| CN113707307A (zh) | 病情分析方法、装置、电子设备及存储介质 | |
| Ding et al. | An attentive neural sequence labeling model for adverse drug reactions mentions extraction | |
| CN111930895B (zh) | 基于mrc的文档数据检索方法、装置、设备及存储介质 | |
| Wan et al. | A self-attention based neural architecture for Chinese medical named entity recognition | |
| CN116402166B (zh) | 一种预测模型的训练方法、装置、电子设备及存储介质 | |
| CN117787282B (zh) | 基于大语言模型的医患文本智能提取方法 | |
| CN112328735A (zh) | 热点话题确定方法、装置及终端设备 | |
| CN114912887A (zh) | 一种基于电子病历的临床数据录入方法及录入装置 | |
| CN112307754B (zh) | 语句获取方法及装置 | |
| CN118296120A (zh) | 多模态多尺度多路召回的大型语言模型检索增强生成方法 | |
| CN117292783A (zh) | 医学影像报告生成系统 | |
| CN113657086A (zh) | 词语处理方法、装置、设备及存储介质 | |
| CN113704481A (zh) | 一种文本处理方法、装置、设备及存储介质 | |
| CN110047569B (zh) | 基于胸片报告生成问答数据集的方法、装置及介质 | |
| CN115146033A (zh) | 命名实体识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |