CN112635013A - 医学影像信息的处理方法、装置、电子设备和存储介质 - Google Patents

医学影像信息的处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112635013A
CN112635013A CN202011383478.9A CN202011383478A CN112635013A CN 112635013 A CN112635013 A CN 112635013A CN 202011383478 A CN202011383478 A CN 202011383478A CN 112635013 A CN112635013 A CN 112635013A
Authority
CN
China
Prior art keywords
field
image information
training
medical image
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011383478.9A
Other languages
English (en)
Other versions
CN112635013B (zh
Inventor
闫静静
潘超
孟文宇
汤晋军
白皎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Taikang Pension Insurance Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Taikang Pension Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd, Taikang Pension Insurance Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202011383478.9A priority Critical patent/CN112635013B/zh
Publication of CN112635013A publication Critical patent/CN112635013A/zh
Application granted granted Critical
Publication of CN112635013B publication Critical patent/CN112635013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本公开提供了一种医学影像信息的处理方法、装置、电子设备和存储介质，涉及计算机技术领域。其中，处理方法包括：对用于进行训练的第一医学影像信息进行字段划分，按照预设的医学标签对字段进行多个粒度的标注，医学标签包括发病部位和病例类型组合构成的第一标签；对标注后的字段中的字进行遮挡处理，根据标注后的字段和衍生字段构成的训练集对识别模型进行训练；获取待识别的第二医学影像信息，并通过训练后的识别模型对第二医学影像信息中的字段进行分类识别；对所述分类识别后的属于同一关键字段的标注进行合并，并将合并后的标注对应的所述关键字段以键值形式输出。通过本公开的技术方案，提高了提取医学影像信息的关键信息的效率和可靠性。

Description

医学影像信息的处理方法、装置、电子设备和存储介质
技术领域
本公开涉及信息处理技术领域，尤其涉及一种医学影像信息的处理方 法、装置、电子设备和存储介质。
背景技术
随着互联网+、信息技术以及配套硬件措施的升级，医疗健康、保险 领域的数据也呈井喷式、爆炸性的增长，相比于传统场景下的数据，医疗 健康类型的“大数据”有着明显的特点：数据体量大、数据类型复杂、数据 形态众多、数据价值密度低等。但是，医疗健康作为国家和社会发展的基 础民生行业，其医疗数据中蕴含着巨大的价值，一方面，快速提取医疗健 康数据的关键信息，有利于为医生或医疗机构快速确诊，另一方面，有利 于对病例进行统计分析，以确定患病原因或传播路径，再一方面，对于商 业保险公司，可以对核保、承保、理赔等主要流程业务提供专业、高效、 实时的决策分析信息。
相关技术中，肿瘤影像是X线、CT(Computed tomography，计算机 断层扫描)、MRI(Magnetic resonance imaging，磁共振成像)、PET(Positron emission tomography，正电子发射断层扫描)和PET-CT(PET与CT的有 机结合体)等技术生成的肿瘤影像，基于肿瘤影像报告生成诊断描述报告 即为肿瘤影像报告，电子化的肿瘤影像报告作为最重要的医疗健康数据之 一，至少具有以下特点：
1.肿瘤影像报告中的所有文本描述均围绕肿瘤展开，信息冗余较多， 例如，在肿瘤影像报告开头、中间、结尾可能均会对肿瘤的原发部位、病 理类型进行描述，有些描述内容的范围重合，有些描述内容的维度不一致。
2.肿瘤影像报告中，包含了肿瘤原发部位、肿瘤大小、肿瘤转移部位、 肿瘤转移部位大小、淋巴结转移部位、大小、临床分期、病理分期、病情 变化情况、边缘/毗邻关系等多个与肿瘤诊断、后续治疗和预后关系十分紧 密的信息，另外，这些信息均是医生人为主观的描述的长文本信息，各模 块信息的位置、信息长短均无固定格式，无法直接应用，只能人工从肿瘤 影像报告中抽取。
3.肿瘤影像报告一般为长文本，本次选定的样本长度在300～1500左 右个字符。
4.肿瘤影像报告的数据结构复杂，如文本型“肺癌”、“纵膈”，数据值 型“4cm”、“2个”，方位词“7点钟”，顺序词“第7肋骨”等等。
5.肿瘤影像报告具有时序性，例如诊疗前后的肿瘤变化情况等。
6.如果病种或病情存在不同，肿瘤影像报告的文本长度和文本结构均 有很大的不同。
由此可见，肿瘤影像报告包含很多有价值的医疗信息，对此进行有价 值信息的抽取和分析，具有重要意义，由于其数据格式的复杂度高，需要 人工提取肿瘤影像报告中的关键信息，不仅浪费巨大的人力成本和时间成 本，也可能由于人工操作的疏漏存在严重的可靠性问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开 的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技 术的信息。
发明内容
本公开的目的在于提供一种医学影像信息的处理方法、装置、电子设 备和存储介质，至少在一定程度上克服由于相关技术中提取关键信息的效 率低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地 通过本公开的实践而习得。
根据本公开的一个方面，提供一种医学影像信息的处理方法，包括： 对用于进行训练的第一医学影像信息进行字段划分，按照预设的医学标签 对字段进行多个粒度的标注，医学标签包括发病部位和病例类型组合构成 的第一标签；对标注后的字段中的字进行遮挡处理，以生成衍生字段，根 据标注后的字段和衍生字段构成的训练集对识别模型进行训练；获取待识 别的第二医学影像信息，并通过训练后的识别模型对第二医学影像信息中的字段进行分类识别；对分类识别后的属于同一关键字段的标注进行合并， 并将合并后的标注对应的关键字段以键值形式输出。
在本公开的一个实施例中，医学标签还包括发病部位的第二标签和病 例类型的第三标签，对用于进行训练的第一医学影像信息进行字段划分， 按照预设的医学标签对字段进行多个粒度的标注包括：对用于进行训练的 第一医学影像信息进行字段划分，按照第一标签、第二标签和第三标签对 字段进行标注，以分别生成第一粒度的第一带标注字段、第二粒度的第二 带标注字段和第三粒度的第三带标注字段。
在本公开的一个实施例中，对用于进行训练的第一医学影像信息进行 字段划分，按照预设的医学标签对字段进行多个粒度的标注还包括：对用 于进行训练的第一医学影像信息进行字段划分，并确定字段中的数值字段； 根据数值字段的类型，对数值字段进行格式标准化。
在本公开的一个实施例中，对用于进行训练的第一医学影像信息进行 字段划分，按照预设的医学标签对字段进行多个粒度的标注还包括：对用 于进行训练的第一医学影像信息进行字段划分，确定同一个字段的多个描 述字段；确定多个描述字段中的最大范围对应的字段；按照预设的医学标 签对最大范围对应的字段进行标注。
在本公开的一个实施例中，对标注后的字段中的字进行遮挡处理，以 生成衍生字段，根据标注后的字段和衍生字段构成的训练集对识别模型进 行训练包括：按照预设比例将标注后的字段和衍生字段生成训练集、验证 集和测试集；通过训练集对BERT模型进行训练，BERT模型的参数架构 为面向中文的12层和768隐层；通过验证集生成训练后的BERT模型进 行验证，以获得BERT模型的准确率和平均损失；确定使训练集的平均损 失最小的参数；根据平均损失最小的参数和测试集对训练后的BERT模型 进行测试，以获得BERT模型的测试准确率。
在本公开的一个实施例中，对标注后的字段中的字进行遮挡处理，以 生成衍生字段，根据标注后的字段和衍生字段构成的训练集对识别模型进 行训练包括：根据标注后的字段生成训练集；通过医学专业词典确定训练 集中的样本字段中的专业词汇字段；按照预设概率对专业词汇字段中的至 少一个字进行遮挡，以生成字段的衍生字段；将包含标注的衍生字段添加 至训练集；通过训练集对识别模型进行训练，至识别模型能够识别遮挡的至少一个字为止。
在本公开的一个实施例中，对标注后的字段中的字进行遮挡处理，以 生成衍生字段，根据标注后的字段和衍生字段构成的训练集对识别模型进 行训练还包括：对识别模型的超参数进行设置，超参数包括最大序列长度、 批处理大小和学习率；将交叉熵函数作为识别模型的损失函数，并通过训 练集对设置超参数的识别模型进行训练，至损失函数收敛为止。
根据本公开的另一个方面，提供一种医学影像信息的处理装置，包括： 标注模块，用于对用于进行训练的第一医学影像信息进行字段划分，按照 预设的医学标签对字段进行多个粒度的标注，医学标签包括发病部位和病 例类型组合构成的第一标签；训练模块，用于对标注后的字段中的字进行 遮挡处理，以生成衍生字段，根据标注后的字段和衍生字段构成的训练集 对识别模型进行训练；识别模块，用于获取待识别的第二医学影像信息用于获取待识别的第二医学影像信息，并通过训练后的识别模型对第二医学 影像信息中的字段进行分类识别；所述识别模块还用于，对所述分类识别 后的属于同一关键字段的标注进行合并，并将合并后的标注对应的所述关 键字段以键值形式输出。
根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及 存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可 执行指令来执行上述任意一项的医学影像信息的处理方法。
根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储 有计算机程序，计算机程序被处理器执行时实现上述任意一项的医学影像 信息的处理方法。
本公开的实施例所提供的医学影像信息的处理方案，通过按照预设的 医学标签对字段进行多个粒度的标注，并通过标注生成的训练集对识别模 型进行训练，识别模型能够获取自动识别的医学影像信息中的诊断字段， 进而降低了人工成本和时间成本，有利于提升医学影像信息处理的效率和 可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释 性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本 公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下 面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来 讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种医学影像信息的处理方法的流程图；
图2示出本公开实施例中另一种医学影像信息的处理方法的流程图；
图3示出本公开实施例中另一种医学影像信息的处理方法的流程图；
图4示出本公开实施例中另一种医学影像信息的处理方法的流程图；
图5示出本公开实施例中另一种医学影像信息的处理方法的流程图；
图6示出本公开实施例中另一种医学影像信息的处理方法的流程图；
图7示出本公开实施例中另一种医学影像信息的处理方法的流程图；
图8示出本公开实施例中另一种医学影像信息的处理方法的流程图；
图9示出本公开实施例中另一种医学影像信息的管理平台的界面示 意图；
图10示出本公开实施例中另一种医学影像信息的处理方法的流程图；
图11示出本公开实施例中一种医学影像信息的处理装置的示意图；
图12示出本公开实施例中一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能 够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这 些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面 地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适 的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中 相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。 附图中所示的一些方框图是功能字段，不一定必须与物理或逻辑上独立的 字段相对应。可以采用软件形式来实现这些功能字段，或在一个或多个硬 件模块或集成电路中实现这些功能字段，或在不同网络和/或处理器装置 和/或微控制器装置中实现这些功能字段。
本申请提供的方案，通过按照预设的医学标签对字段进行多个粒度的 标注，并通过标注生成的训练集对识别模型进行训练，识别模型能够获取 自动识别的医学影像信息中的诊断字段，进而降低了人工成本和时间成本， 有利于提升医学影像信息处理的效率和可靠性。
本申请实施例提供的方案涉及计算机视觉技术的brat标注、BERT训 练模型和模型性能评价等技术，具体通过如下实施例进行说明。
(1)BERT(Bidirectional Encoder Representation from Transformers) 模型是GoogleAI语言研究人员研发的一个文本理解的通用模型，它可以 通过在具体任务上快速微调适用于各种类型的文本理解和文本挖掘任务， 并且在各种类型的自然语言处理任务中呈现最先进的结果，包括问答 (SQUADv1.1)，自然语言推理(MNLI)等，引起了机器学习社区的轰 动。
相比于SVM等模型，BERT可以从语义的角度建立医疗词汇和相关 描述的关联，使得即便出现不同样式的病历描述，也可以更好的提取出疾 病相关的字段。BERT的关键技术创新是将Transformer(一种流行的全局 注意力模型，可以用于学习文本中单词(或子单词)之间的上下文关系) 的双向训练应用于语言建模。这与先前从左到右查看文本序列或从左到右 和从右到左组合训练的方式形成对比。
申请人通过大量的BERT的研究工作确定，双向训练的语言模型比单 向语言模型具有更深层次的语言语境和流动感，BERT使用了一种名 MaskedLM(MLM)的新技术，该技术使得双向训练成为可能。值得一提 的是，BERT给出的句子表示在无监督的语义相似度任务上也取得了很好 的效果，这对于给无结构化的病情描述建立语义层面的联系至关重要。
(2)BRAT工具：是一个专业的文本标注工具，可以标注字段、事 件、关系、属性等，可以应用在多种NLP任务中。NLP任务包括分类、 匹配、序列标注、文本生成等。对于分类任务，目前支持多分类、多标签 分类，通过选择不同的loss即可。对于匹配任务，目前已支持交互模型和 表示模型。对于NER任务，目前已支持nn+crf，idcnn+crf以及bert+crf。
另外，BRAT具有良好的用户界面，标签字段、可视化等配置也较方 便快捷，有利于标注人员的快速使用。
BRAT需要Unix-like系统和Web server服务，因此，首先需要1.安 装虚拟机→2.配置环境、路径→3.安装BRAT。
(2.1)标注步骤：
(2.1.1)数据拆解：BRAT工具处理的文本格式是.txt格式，在对.txt 文本进行标注后，标注结果会以.ann的形式保存，.txt和.ann文件一一对 应。
本公开的实施例中的“肿瘤影像报告”文本数据是以表格形式存储的， 故需要将表格文件中的每一条“现病史”数据拆解成多个.txt文件。
(2.1.2)数据准备：拆解后的.txt文件，从电脑本地共享至虚拟机后， 复制到brat工具的数据文件夹中，然后对所导入的.txt文件生成一一对应 的.ann文件，即完成了本次标注工作的数据准备。
(2.1.3)BRAT文件配置：数据准备完成后，要根据待标注的关键字 段，在annotation.conf标记类型、visual.conf显示配置文件中进行相应的 配置。
(3)模型性能评价指标：
(3.1)精确度(precision)：判断为真的正例占所有判断为真的样例 比重。
(3.2)召回率(recall)：指实际是正类并且被预测为正类的样本占 所有实际为正类样本的比例。召回率更为关注将正样本分类为负样本的情 况，是衡量分类器对正例的识别能力。
(3.3)F1值通过调和平均结合召回率和精确率的计算表达式如下：
Figure BDA0002809081570000071
因为本方案为深度学习中的多标签分类任务，可以对每个“类”计算其 精确度、召回和F1值，如果要计算整体模型的性能，需要把所有“类”的 性能指标合并起来，取平均值来考虑，故有以下两种模型整体性能的评价 指标，Macro和Micro就是不同的求均值的方式：
(3.4)Micro averaged precision/recall/f1值：通过先计算总体的TP(真 正例)、FN(假负例)和FP(假正例)的数量，再计算precision/recall/f1 会考虑到所有类别的贡献，会考虑到各类别样本的贡献大小。
(3.5)Macro averaged precision/recall/f1值：分布计算每个类别的precision/recall/f1值，然后做平均(各类别指标的权重相同)。
申请人通过对肿瘤影像报告的文本进行提取的大量研究，发现至少存 在以下几个要点：
(1)由于中文的汉字和词语都具有语义，这不同于英文等以单词为 最小语言单位的语言，在中文自然语言处理时，不同场景下，对中文的表 征有不同需求，有的场景需要用字作为基本单位，有的场景需要以词语作 为基本单位。
(2)在肿瘤影像报告中，包含了如“肿瘤原发部位”、“病理分期”、“转 移部位”、“肿瘤病灶大小”和“淋巴结肿大部位”等大量有价值的信息，这是 肿瘤影像报告信息抽取的主要内容。由于肿瘤影像报告多为描述复杂的非 结构化自由文本，且具有很多专业领域的描述方式，如何准确的提取上述 信息，是肿瘤影像报告信息抽取的难点和关键点。
(3)仅仅识别肿瘤影像报告中的字段，还不足以满足肿瘤影像报告 信息抽取这一需求。字段的属性也具有重要的意义，如肿瘤的发病部位、 肿瘤扩散后的转移部位和肿瘤的大小等信息，如若能在肿瘤患者的电子化 影像报告中提取出类似信息，将对医生的诊断和电子病历的智能化处理带 来极大的帮助。
下面，将结合附图及实施例对本示例实施方式中的医学影像信息的处 理方案进行更详细的说明。
图1示出本公开实施例中一种医学影像信息的处理方法流程图。本公 开实施例提供的方法可以由任意具备计算处理能力的电子设备执行。在下 面的举例说明中，以终端为执行主体进行示例说明。
如图1所示，终端执行医学影像信息的处理方法，包括以下步骤：
步骤S102，对用于进行训练的第一医学影像信息进行字段划分，按 照预设的医学标签对字段进行多个粒度的标注，医学标签包括发病部位和 病例类型组合构成的第一标签。
在本公开的一个实施例中，通过对用于进行训练的第一医学影像信息 进行字段划分，按照预设的医学标签对字段进行多个粒度的标注，医学标 签包括发病部位和病例类型组合构成的第一标签，结合医学影像报告的字 段特点，通过第一标签对应的字段的训练集，对识别模型进行训练，以提 高识别的可靠性和效率。
步骤S104，对标注后的字段中的字进行遮挡处理，以生成衍生字段， 根据标注后的字段和衍生字段构成的训练集对识别模型进行训练。
在本公开的一个实施例中，通过训练集对识别模型进行训练，提供了 一种粗粒度的训练方式，即第一标签对应的数据集，有利于提高识别效率。
步骤S106，获取待识别的第二医学影像信息，并通过训练后的识别 模型对第二医学影像信息中的字段进行分类识别。
在本公开的一个实施例中，通过按照预设的医学标签对字段进行多个 粒度的标注，并通过标注生成的训练集对识别模型进行训练，识别模型能 够获取自动识别的医学影像信息中的诊断字段，进而降低了人工成本和时 间成本，有利于提升医学影像信息处理的效率和可靠性。
其中，识别模型可以采用BERT模型，标注工具可采用BRAT工具， 但不限于此。
步骤S108，对所述分类识别后的属于同一关键字段的标注进行合并， 并将合并后的标注对应的所述关键字段以键值形式输出。
在本公开的一个实施例中，给定一条医疗类详细长文本数据-肿瘤影 像报告，BERT模型会给出每个字的预测标签，对所述分类识别后的属于 同一关键字段的标注进行合并，并将合并后的标注对应的所述关键字段以 键值形式输出至客户端，以进一步地提升识别结果的可靠性和直观性。
另外，如果遇到类别未出现起始字预测，以非命名实体的结果反馈给 终端用户，即非法识别结果不可见。
可例如，在输出的键中的一个关键字段有多个值，例如，肿瘤转移部 位有多个值、转移部位有多个值，那么在输出的时候，是一一对应的，例 如上述例子中，转移部位有：“双肺、肝、脑多发”，那么转移部位大小对 应的值，要与这几个转移部位的顺序和数量保持一致，可例如输出键为： “1.7CM、0.8CM、0.7CM”。
在图1所示的步骤的前提下，如图2所示，医学标签还包括发病部位 的第二标签和病例类型的第三标签，对用于进行训练的第一医学影像信息 进行字段划分，按照预设的医学标签对字段进行多个粒度的标注包括：
步骤S2022，对用于进行训练的第一医学影像信息进行字段划分，按 照第一标签、第二标签和第三标签对字段进行标注，以分别生成第一粒度 的第一带标注字段、第二粒度的第二带标注字段和第三粒度的第三带标注 字段。
在本公开的一个实施例中，相对而言，第一粒度的第一带标注字段为 粗粒度，第二粒度的第二带标注字段和第三粒度的第三带标注字段为细粒 度，采用多种粒度对医学影像报告进行标注，并基于标注的字段进行多种 粒度的训练，有利于进一步地提高识别模型的效率和可靠性。
可例如，识别模型先进行粗粒度识别，在进行细粒度识别，或同时进 行粗粒度和细粒度的识别，但不限于此。
在图1所示的步骤的前提下，如图3所示，对用于进行训练的第一医 学影像信息进行字段划分，按照预设的医学标签对字段进行多个粒度的标 注还包括：
步骤S3022，对用于进行训练的第一医学影像信息进行字段划分，并 确定字段中的数值字段。
步骤S3024，根据数值字段的类型，对数值字段进行格式标准化。
在本公开的一个实施例中，通过根据数值字段的类型进行格式标准化， 使识别模型输出的结果标准化和规范化，这种格式标准化的训练过程也属 于本公开的识别模型的一个重要改进。
例如，医学影像报告中的肿瘤原发大小的描述结果有“2.5*3CM”、 “1.2CM×3CM”、“1.89X5CM”、“1.2CM*3CM”、“1.2*3CM”、“1.2*3CM”、 “1.2cm×3cm”、“1.2CM*3CM”等多种形式，通过格式标准化均统一为 “2.5cm×3cm”这种形式。
在图1所示的步骤的前提下，如图4所示，对用于进行训练的第一医 学影像信息进行字段划分，按照预设的医学标签对字段进行多个粒度的标 注还包括：
步骤S4022，对用于进行训练的第一医学影像信息进行字段划分，确 定同一个字段的多个描述字段。
步骤S4024，确定多个描述字段中的最大范围对应的字段。
步骤S4026，按照预设的医学标签对最大范围对应的字段进行标注。
在本公开的一个实施例中，以“淋巴结肿大直径”为例，因为淋巴结的 特殊性为全身性的结构，所以肿大部位会有很多，但是描述“淋巴结肿大 直径”有的是只给出一个最大直径结果，有的会给出两个或多个直径结果 描述，从本次标注的目的和临床意义层面考虑，标注过程中，在有多个肿 大淋巴结直径的情况下，仅标注乘积最大的那一个：例如，“两锁下、血管 前间隙、下、上气管旁、主动脉旁、隆突上及两肺门可见数个肿大淋巴结， 边界不清，部分融合，大小约36mm×37mm、29mm×31mm”，则将“两锁 下”、“血管前间隙”、“下、上气管旁”、“主动脉旁”、“隆突上”及“两肺门” 分别标注为淋巴结肿大部位，将“36mm×37mm”标注为“淋巴结肿大直径”。
在图1所示的步骤的前提下，如图5所示，对标注后的字段中的字进 行遮挡处理，以生成衍生字段，根据标注后的字段和衍生字段构成的训练 集对识别模型进行训练包括：
步骤S5042，按照预设比例将标注后的字段生成训练集、验证集和测 试集。
步骤S5044，通过训练集对BERT模型进行训练，BERT模型的参数 架构为面向中文的12层和768隐层。
步骤S5046，通过验证集生成训练后的BERT模型进行验证，以获得 BERT模型的准确率和平均损失。
步骤S5048，确定使训练集的平均损失最小的参数。
步骤S5050，根据平均损失最小的参数和测试集对训练后的BERT模 型进行测试，以获得BERT模型的测试准确率。
在本公开的一个实施例中，训练集、验证集和测试集的预设比例可以 为80％、10％和10％，或70％、20％和10％，或60％、30％和10％，但不 限于此。
在图1所示的步骤的前提下，如图6所示，对标注后的字段中的字进 行遮挡处理，以生成衍生字段，根据标注后的字段和衍生字段构成的训练 集对识别模型进行训练包括：
步骤S6042，根据标注后的字段生成训练集。
步骤S6044，通过医学专业词典确定训练集中的样本字段中的专业词 汇字段。
步骤S6046，按照预设概率对专业词汇字段中的单个字进行遮挡，以 生成字段的衍生字段。
步骤S6048，将包含标注的衍生字段添加至训练集。
步骤S6050，通过训练集对识别模型进行训练，至识别模型能够识别 遮挡的单个字为止。
在本公开的一个实施例中，由于本次的训练数据，是特定的医疗类详 细长文本数据-肿瘤影像报告，而bert模型的预训练是基于中文维基百科 的数据进行的训练，对于这个特定的、专业的细化领域的覆盖度稍显欠缺， 尤其是对于一些专有名词没有很好的预训练效果，容易在切分时出现偏差， 故本次训练标注数据前，在谷歌开源的参数基础上，利用约20万实际的 诊断、手术、诊疗业务数据进行了二次微调，微调的训练可采用以下方式 进行：
给定肿瘤类肿瘤诊断、手术、诊疗名等共约7万条相关专业词典，对 于训练数据中出现这些词汇的位置，对每个单字以30％的概率随机遮住， 训练目标为最大化BERT预测出这个单字的概率。
可例如，专业词汇字段为“右侧中心型肺癌”，则通过遮挡单个字，可 以得到衍生字段包括：“侧中心型肺癌”、“右中心型肺癌”、“右侧心型肺癌”、 “右侧中型肺癌”、“右侧中心肺癌”、“右侧中心型癌”、“右侧中心型肺”等， 但不限于此。
通过此预训练过程，再通过标注任务的训练，能大大提升肿瘤相关专 业词汇的边界划分，尤其是针对部分较长的专有名词。
在图1所示的步骤的前提下，如图7所示，对标注后的字段中的字进 行遮挡处理，以生成衍生字段，根据标注后的字段和衍生字段构成的训练 集对识别模型进行训练还包括：
步骤S7042，对识别模型的超参数进行设置，超参数包括最大序列长 度、批处理大小和学习率。
步骤S7044，将交叉熵函数作为识别模型的损失函数，并通过训练集 对设置超参数的识别模型进行训练，至损失函数收敛为止。
在本公开的一个实施例中，设置主要超参可例如，max_seq_length(最 大序列长度)＝512、train_batch_size(训练的批处理大小)＝8、learning_rate (学习率)＝2e-5。
预模型采取谷歌开源的中文预训练模型，基于上述超参数，采用交叉 熵作为损失函数Adam(Adaptive moment estimation，自适应的矩估计算 法)优化算法训练迭代3轮后，误差曲线基本平缓。基于Early Stop(提 前停止)机制验证，在验证集上也达到了收敛的情况。
下面参照图8来描述根据本公开的这种实施方式的医学影像信息的 处理方法的流程图。图8所示的医学影像信息的处理方法仅仅是一个示 例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，医学影像信息的处理方法包括以下步骤：
步骤S802，获取源数据，即电子化肿瘤影像报告。
步骤S804，确定标签，标签包括原发肿瘤部位、病理分期、原发肿瘤 部位+病理分期。
步骤S806，拆分数据集，以获得训练集、测试集和验证集。
步骤S808，模型训练，在选择算法和超参设置后，通过训练集对BERT 模型进行训练。
步骤S810，模型评估，具体参数包括精确率、召回率和F1值。
步骤S812，模型融合。
步骤S814，文件整理，文件可例如模型结构文件、模型配置文件和模 型变量文件，但不限于此。
步骤S816，上线应用训练好的BERT模型。
具体地，医学影像信息的处理方法包括以下阶段：
(1)确定标签
根据临床经验和实际业务需求，对电子化“肿瘤影像报告”数据进行标 注前，选取了以下字段为关键字段，见下表1：
表1
序号 缩写 中文名称 序号 缩写 中文缩写
1 ZD 肿瘤病理分期 11 LB-D 淋巴结肿大直径
2 YF 肿瘤原发部位 12 LB-BW 淋巴结肿大部位
3 ZY 癌症转移部位 13 SS-YF 原发部位手术
4 ZYDX 转移部位大小 14 SS-ZY 转移部位手术
5 BZDX 原发病灶大小 15 YXZD 影像报告诊断
以上字段，即为人工对“肿瘤影像报告”文本信息进行标注的字段，标 注结果即为各字段所对应的值。
(2)数据标注
对于本次文本的标注，采用的是BRAT工具，它是一个专业的文本标 注工具，可以标注字段、事件、关系、属性等，可以应用在多种NLP任务 中。另外，BRAT软件具有良好的用户界面，标签字段、可视化等配置也 较方便快捷，有利于标注人员的快速使用。
因为“肿瘤影像报告”数据，是十分专业的医学数据资料，对其标注需 要较强的临床专业知识和经验，故本次的数据标注人员是医学团队的临床 背景人员。公司非开发人员特别是医学团队，办公均是使用的Windows操 作系统。BRAT需要Unix-like系统和Webserver服务，因此，首先需要1. 安装虚拟机→2.配置环境、路径→3.安装BRAT。
(3)数据拆解
BRAT工具处理的文本格式是.txt格式，在对.txt文本进行标注后，标 注结果会以.ann的形式保存，.txt和.ann文件一一对应。
因为，本次的大量“肿瘤影像报告”文本数据是存储在以Excel中，以 一张大表的形式提供的，故需要将Excel中每一条“现病史”数据拆解成多 个.txt文件。
(4)人工标注
数据准备：拆解后的.txt文件，从电脑本地共享至虚拟机后，复制到 brat工具的数据文件夹中，然后对所导入的.txt文件生成一一对应的.ann 文件，即完成了本次标注工作的数据准备。
BRAT文件配置：数据准备完成后，要根据本次任务要标注的关键字 段，在annotation.conf标记类型、visual.conf显示配置文件中进行相应的 配置。
人工标注：上述两步操作完成后，即可进行人工标注。整个标注过程， 标注人员均为医学临床背景，标注规则统一，保证标注数据的准确性和统 一性。在数据标注过程中，加入特定的规则：
肿瘤原发部位、肿瘤病理类型、肿瘤原发部分+肿瘤病理类型：三者 均进行标注，例如：“右侧中心型肺癌”，将“右侧”标注为“肿瘤原发部位”、 将“中心型肺癌”标注为“肿瘤病理类型”，将“右侧中心型肺癌”标注为“肿瘤 原发诊断”；“右乳外上象限MT”，将“右乳外上象限”标注为“肿瘤原发部 位”，将“MT”标注为“肿瘤病理类型”，将“右乳外上象限MT”标注为“肿瘤 原发诊断”等；肿瘤转移部位、肿瘤转移病理类型、肿瘤转移部位+肿瘤转 移病理类型，以及原发肿瘤手术部位、原发肿瘤手术(名称)等均采用这 种方式；这些标注好的数据，在标注的时候采取分开(细粒度)+合并(粗 粒度)的标注，算法训练时也采取分开+合并的形式，这样可以避免模型 预测出现冗余的长文本，提高模型的精确度。
对于标注结果出现次数少且格式不统一的情况，对标注结果进行训练 前规则化，例如，肿瘤原发大小的描述结果有“2.5*3CM”、“1.2CM×3CM”、 “1.89×5CM”、“1.2CM*3CM”、“1.2*3CM”、“1.2cm×3cm”、“1.2CM*3CM” 等等形式，均统一定义为“2.5cm×3cm”这种形式。
另外，对于像“淋巴结肿大直径”，因为淋巴结的特殊性为全身性的结 构，所以肿大部位会有很多，但是描述“淋巴结肿大直径”有的是只给出一 个最大直径结果，有的会给出两个或多个直径结果描述，从本次标注的目 的和临床意义层面考虑，标注过程中，在有多个肿大淋巴结直径的情况下， 仅标注乘积最大的那一个：例如，“两锁下、血管前间隙、下、上气管旁、 主动脉旁、隆突上及两肺门可见数个肿大淋巴结，边界不清，部分融合， 大小约36mm×37mm、29mm×31mm”，则将“两锁下”、“血管前间隙”、“下、 上气管旁”、“主动脉旁”、“隆突上”及“两肺门”分别标注为淋巴结肿大部位， 将“36mm×37mm”标注为“淋巴结肿大直径”。
通过上述的操作过程以及特定的标注规则，以一条“现病史”标注结果 举例，如下所示：
【肿瘤影像报告文本信息】：
左肺癌化疗后，对比2015-05-05的医学影像：右上肺门区肿物较前稍 大，右上肺内转移瘤较前无明显变化；两锁下、两下气管旁、血管前间隙、 两上气管旁、主-肺动脉窗、主动脉旁、隆突上及两肺门多发转移淋巴结， 较前无明显变化右侧胸膜多发转移瘤，部分较前稍大；右侧胸腔积液较前 稍增多；肝内数个囊肿；肝S5肝内胆管结石。
左肺癌化疗后，对比2015-05-05的医学影像：左上肺肺门区见一团块 状肿物，大小约52mm×43mm×42mm，密度不均匀，中心见坏死低密度区， 增强扫描见不均匀强化，较前稍增大，病变内缘紧贴纵隔胸膜，包绕右上 肺各基底段支气管开口段，管腔稍狭窄。
Brat工具标注后结果.ann文件如下表2所示。
表2
Figure BDA0002809081570000141
病灶外侧肺内见双个小结节，大小约5mm×5mm及9mm×9mm，边界 清楚，较前变化不大。余两肺内未见明确病灶。两锁下、两下气管旁、血 管前间隙、两上气管旁、主-肺动脉窗、主动脉旁、隆突上及两肺门见多个 肿大淋巴结，最大者约13mm×20mm，部分互相融合，大致同前。右侧胸 膜广泛增厚，散在大量结节、团块状病灶，最大者约26mm×52mm，增强 扫描强化明显，部分较前稍大。右侧胸腔见少量积液，较前稍多。左侧胸 腔未见积液。左侧胸膜无增厚。肝脏形态正常，各叶比例在正常范围以内， 其外形轮廓光整，密度均匀。肝S3、肝S4、肝S5、肝S6、肝S8见数 个圆形低密度灶，最大约12mm×12mm，边界清楚，增强扫描未见强化。
肝S5见斑点致密灶，直径约4mm。肝内胆管正常，其内未见结石影， 胆囊大小正常，其内未见结石影，胆总管未见扩张，其内未见结石影。肝 门区正常。门静脉所见正常。脾大小正常，密度均匀。胰腺大小、形态正 常，密度均匀。两肾及两肾下腺未见异常。膈脚后、胃右、腹腔干、腹主 动脉旁未见肿大淋巴结。扫描所见骨质未见明确破坏征象。
(5)训练模型的整体流程：
(5.1)模型选择：自然语言处理技术近几年取得了飞速的发展，尤其 是2018年年底Google公布的BERT模型更是集近几年各项技术大成于 一身，成为NLP(Naturallanguage processing，自然语言处理)技术应用 的爆发点，此后，一大批基于BERT或采用类似BERT技巧的模型快速发 展。
由于NLP深度学习的训练需要大量资源，我们在此采用了Google公 布的预训练BERT模型和参数，并在此基础上使用之前标注的数据进行微 调训练，使用的具体模型参数架构为面向中文的12层、768隐层，参数量 约为1亿。
(5.2)数据预处理：关键信息抽取是典型的NER任务 (namedentityrecognition)，BERT模型支持NER功能，但是BRAT提供的 标注数据需要进行处理，使之符合BERTNER要求的数据格式，如下表3 所示。
其中，第一列是描述，第二和第三列本Case不关注，第四列是标签， 标签含义参考以上描述，其中B-开头意味着该标签的起始位，I-开头意味 着标签的非起始位，O为非标签位。
把所有的标签数据按照0.8、0.1和0.1分别分为训练、验证和测试数 据，分别用于模型的训练、验证和测试。
由于每一个brat样本的文本长度较长，而中文BERT版本只支持到 512个字符，我们开发脚本程序，按照不超过512字符的原则并以句号作 为分割点，对文本进行了分拆。当文本长度超过512字符的时候，选取前 512个字符中的最后一个句号，没有句号的情况使用其他标点符号代替(例 如，逗号、顿号等)，该字符前面的所有字符作为该次样本。以该字符的 下一个字符为起点，作为下一条样本的起点，如若仍然超过512字符，重 复此操作。
表3
Figure BDA0002809081570000161
(5.3)二次医疗数据模型预训练
由于本次的训练数据，是特定的医疗类详细长文本数据-肿瘤影像报 告，而bert模型的预训练是基于中文维基百科的数据进行的训练，对于这 个特定的、专业的细化领域的覆盖度稍显欠缺，尤其是对于一些专有名词 没有很好的预训练效果，容易在切分时出现偏差，故本次训练标注数据前， 在谷歌开源的参数基础上，利用约20万实际的诊断、手术、诊疗业务数 据进行了二次微调，微调的训练任务定义如下：
给定肿瘤类肿瘤诊断、手术、诊疗名等共约7万条相关专业词典，对 于训练数据中出现这些词汇的位置，对每个单字以30％的概率随机遮住， 训练目标为最大化BERT预测出这个单字的概率。
通过此二次预训练过程，再通过标注任务的训练，能大大提升肿瘤相 关专业词汇的边界划分，尤其是针对部分较长的专有名词。
(6)模型训练和评估
使用上述细粒度标注的数据进行训练，涉及到的主要超参是：
(6.1)max_seq_length(maxsequencelength最大序列长度)＝512。
(6.2)train_batch_size(trainbatchsize训练的批处理大小)＝8。
(6.3)learning_rate(learningrate学习率)＝2e-5。
预模型采取谷歌开源的中文预训练模型，基于上述超参数，针对上述 标签采用交叉熵作为损失函数，Adam(Adaptivemomentestimation自适应 的矩估计算法)优化算法训练迭代3轮后，误差曲线基本平缓。基于 EarlyStop(提前停止)机制验证，在验证集上也达到了收敛的情况。
表4
序号 缩写 标注字段 精确率 召回率 F1值 数量
1 ZD 肿瘤原发诊断 100.00％ 83.72％ 0.91 43
2 YF 肿瘤原发部位 92.41％ 71.57％ 0.81 102
3 ZY 癌症转移部位 99.12％ 63.84％ 0.78 177
4 ZYDX 转移部位大小 89.80％ 45.36％ 0.60 97
5 BZDX 原发病灶大小 79.63％ 81.13％ 0.80 53
6 LB-D 淋巴结肿大直径 97.94％ 94.06％ 0.96 101
7 LB-BW 淋巴结肿大部位 100.00％ 94.63％ 0.97 391
8 SS-YF 原发部位手术 100.00％ 91.01％ 0.95 89
9 YXZD 影像报告诊断 98.18％ 88.31％ 0.93 915
10 / Microaveraged 97.65％ 83.44％ 0.90 /
11 / Macroaveraged 85.71％ 71.36％ 0.77 /
最后使用训练好的模型对测试样本进行测试，准确率如下，总的来说 准确率还是比较高的，评价结果如表4所示。
(7)专有名词合并
对于较粗粒度的字段如果包括了部分其他类型字段会拆分标注，且以 上算法也建立在该数据上。最后需要对于细粒度的识别结果进行合并，给 出对于业务更有帮助的粗粒度结果。
对于该任务，我们依然采用BERT训练了单独的融合模型，对于给定 的一个候选的粗粒度词汇，以及已知的其包含的细粒度词汇和字段类型， 我们选取第四部分训练的模型输出导数第二层的输出作为向量化表示，并 将其拼接上字段类型对应的嵌入表示(随机初始化，并随着模型训练)， 优化目标为最大化候选连续词组是否能够组成一个粗粒度字段的概率(对 于能够组成的样本，预测为1的概率；对于不能够组成的样本，预测为0 的概率)。
其中，对于连续词汇不可以组成粗粒度字段的情况，我们是随机选取 了5个以内的字段或非字段词汇，并抽取其中不被标注为特定字段的样本 作为标签为0的训练样本。
在实际使用的过程中，当出现连续多个字段的情况下，我们会优先计 算整个连续的词组是一个粗粒度字段的概率，若模型判断为1，直接进行 合并，并通过字段类型直接判定为某一类；若模型判断为0，依次删减后 面的一个字段计算，直至只剩两个字段。
进一步地，参照图9、表5和表6来描述根据本公开的这种实施方式 的医学影像信息的处理方案。
如图9所示，录入的待识别的第二影像报告内容为：“1.结合临床，右乳癌，较前(2015-06-23)片基本变化不著；双肺转移，较前部分缩小，部分 变化不著，部分略增大；肝转移，较前好转；双侧腋窝、纵隔多发小淋巴 结，变化不著；右侧内乳区饱满，变化不著；脑 多发转移2.左肺胸膜局限 性增厚，局部钙化，变化不著。右侧乳腺乳头上方见不规则软组织密度肿 块影，约4.6CM×3.2CM，边缘浅分叶，局部与周围腺体及乳头区皮肤分 界不清，胸肌间脂肪间隙模糊，增强扫描见显著不均匀强化，其内见片状 低密度影。左乳未见异常密度灶。双侧腋窝见多发小淋巴结，大者短径约 0.6CM。右侧内乳区显示饱满。纵隔内左侧下肺静脉旁及下段食管旁见小 淋巴结影。双肺野散在分布大小不等结节灶，大者直径约1.7CM，边缘清 晰，局部与胸膜及纵隔关系密切，增强扫描可见强化。左肺胸膜增厚，局 部呈结节样；局部见多发钙化灶并致局部肋骨欠规则。扫描野肝实质内见 多个低密度灶，大者直径约0.8CM，边缘尚清晰，增强扫描边缘强化显著。 脑实质内示多发结节灶，大者直径约0.7CM，增强扫描可见环形强化。脑 室池无扩张。脑沟回无增宽。中线结构居中。”
参见下表5所示，BERT模型的内部预测输出格式及结果包括“淋巴 结肿大部位(LB-BW)：纵膈内”和“淋巴结肿大直径(LB-D)：16×6mm”。
例如，在慢病管理业务场景下，需要通过对患者全方位的病历信息， 为患者进行个性化的慢病风险评估和健康管理业务，而病理报告作为复杂 的长文本数据，借助“关键字段提取模型”来进行提取其中的关键字段， 如图10所示，具体流程包括：
步骤S1002，录入李某的病例报告。
步骤S1004，关键字段提取处理。
步骤S1006，病例关键字段取值，作为关键输入指标赋能业务。
步骤S1008，录入李某的其他病例数据。
步骤S1010，慢病管理风险评估以及建议。
如图9所示，两病患者管理平台900的算法引擎嵌入系统，在点击 “关键字段提取”按钮后，即出发该算法引擎，给出关键字段提取值“弹 出框”，同时给用户开放修改“弹出框”内容的权限，算法会通过记录患 者的修改操作，进一步优化算法引擎：将报告中的关键字段提取后，即按 照系统流程“①→②→③→④”实现对患者全方位病情信息的风险评估和 健康管理。
表5
纵 B-LB-BW B-LB-BW
隔 I-LB-BW I-LB-BW
内 I-LB-BW I-LB-BW
见 0 0
散 0 0
在 0 0
淋 0 0
巴 0 0
结 0 0
， 0 0
较 0 0
大 0 0
者 0 0
约 B-LB-D B-LB-D
1 I-LB-D I-LB-D
6 I-LB-D I-LB-D
× I-LB-D I-LB-D
6 I-LB-D I-LB-D
m I-LB-D I-LB-D
m I-LB-D I-LB-D
如图9所示，两病患者管理平台900的界面的标题栏的内容包括： “两病患者管理平台”、“数据采集①”、“风险评估②”、“随访计划③”、 “管理报告④”、“两病签约”、“患者建档”、“用药管理”、“慢病管理”、“患 者随访”、“随访提醒”和“随访记录”等，但不限于此。
如图9所示，两病患者管理平台900的界面显示患者的基本信息包 括：“姓名：李某性别：女年龄：64岁病种名称：糖尿病随访日期： 2020-11-30随访医生：肖随访机构：日照随访方式选择(生活史、家族 史、过敏史)”等，但不限于此。
如图9所示，两病患者管理平台900的界面显示患者的体格和生化检 查的信息包括：
“身高：159cm体重：60kg体脂指数(BMI)：23.7kg/m2
腰围：待输入臀围：待输入腰臀比(WHR)：0.0
收缩压(SBP)：待输入舒张压(DBP)：待输入静息心率：待输入
糖尿病类型：待输入糖化血红蛋白：待输入甘油三酯：待输入
总胆固醇：待输入高密度脂蛋白胆固醇：待输入
低密度脂蛋白胆固醇：待输入”，但不限于此。
如图9所示，两病患者管理平台900的界面显示患者的症状的勾选内 容包括：“无症状多饮多食多尿视力模糊感染手脚木木下肢浮肿 体重明显下降其他”，但不限于此。
如图9所示，两病患者管理平台900的界面显示患者的临床并发症的 勾选内容包括：“低血糖高血糖危象肾脏病变神经病变视网膜病变糖 尿病足周围血管病史其他”，但不限于此。
参见表5和表6所示，医学影像报告的识别模型的输出结果须满足一 些限定规则：
表6
关键字段 值
肿瘤原发诊断 右乳癌
肿瘤原发部位 右乳、右侧乳腺乳头上方
癌症转移部位 双肺、肝、脑多发
转移部位大小 1.7CM、0.8CM、0.7CM
原发病灶大小 4.6CM×3.2CM
淋巴结肿大部位 双侧腋窝、纵隔
淋巴结肿大直径 0.6CM
原发部位手术 无
影像报告诊断 无
使用时，给定一条医疗类详细长文本数据-肿瘤影像报告，bert会给出 每个字的预测标签，如B-SS-YF，O等，最终输出给终端时，通过把B-SS- YF，I-SS-YF，...，I-SS-YF这样的序列合并标注为SS-YF类别(即原发 部位手术)呈现给用户，但是如果遇到类别未出现起始字预测，即“B-某 个类别”的时候，就出现了“I-某个类别”即认为输出不合法，以非命名实体 的结果反馈给终端用户，即非法识别结果不可见。
另外，如果输出的一个关键字段有多个值，例如，肿瘤转移部位有多 个值、转移部位有多个值，那么在输出的时候，是一一对应的，例如上述 例子中，转移部位有：“双肺、肝、脑多发”，那么转移部位大小，要与 这几个转移部位保持一致分别为：“1.7CM、0.8CM、0.7CM”。
如图11所示，医学影像信息的处理装置1100以硬件模块的形式表 现。医学影像信息的处理装置1100的组件可以包括但不限于：标注模块 1102、训练模块1104和识别模块1106。
标注模块1102，用于对用于进行训练的第一医学影像信息进行字段 划分，按照预设的医学标签对字段进行多个粒度的标注，医学标签包括发 病部位和病例类型组合构成的第一标签。
训练模块1104，用于对标注后的字段中的字进行遮挡处理，以生成衍 生字段，根据标注后的字段和衍生字段构成的训练集对识别模型进行训练。
识别模块1106，用于获取待识别的第二医学影像信息用于获取待识 别的第二医学影像信息，并通过训练后的识别模型对第二医学影像信息中 的字段进行分类识别。
所述识别模块1106还用于，对所述分类识别后的属于同一关键字段 的标注进行合并，并将合并后的标注对应的所述关键字段以键值形式输出。
下面参照图12来描述根据本公开的这种实施方式的电子设备1200。 图12显示的电子设备1200仅仅是一个示例，不应对本公开实施例的功能 和使用范围带来任何限制。
如图12所示，电子设备1200以通用计算设备的形式表现。电子设备 1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少 一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元 1210)的总线1230。
其中，存储单元存储有程序代码，程序代码可以被处理单元1210执 行，使得处理单元1210执行本说明书上述“示例性方法”部分中描述的根 据本公开各种示例性实施方式的步骤。例如，处理单元1210可以执行如 本公开的医学影像信息的处理方法中限定的其他步骤。
存储单元1220可以包括易失性存储单元形式的可读介质，例如随机 存取存储单元(RAM)12201和/或高速缓存存储单元12202，还可以进一 步包括只读存储单元(ROM)12203。
存储单元1220还可以包括具有一组(至少一个)程序模块12205的 程序/实用工具12204，这样的程序模块12205包括但不限于：操作系统、 一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一 个或某种组合中可能包括网络环境的实现。
总线1230可以为表示几类总线结构中的一种或多种，包括存储单元 总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用 多种总线结构中的任意总线结构的局域总线。
电子设备1200也可以与一个或多个外部设备1240(例如键盘、指向 设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备 交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它计算 设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通 信可以通过输入/输出(I/O)接口1250进行。并且，电子设备1200还可 以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)，广 域网(WAN)和/或公共网络，例如因特网)通信。网络适配器1260通过 总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示 出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代 码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带 驱动器以及数据备份存储系统等。
基于本公开的医学影像信息的处理方案至少具备以下效果：
(1)对于长文本、数据类型繁多、结构复杂的电子化肿瘤影像报告 文本信息，提出了一种关键字段的信息提取算法模型。
(2)不依赖于大规模的训练数据和标注数据，基于BERT模型和医 学专业背景制定的关键字段以及规则等，构建高精确率、召回率和F1值 的算法模型。
(3)该深度学习模型，对于涉及到医院或个人电子化检查报告、电 子病历的文本信息，可在该模型基础上调整进行复用。
(4)对于电子化的肿瘤影像报告、电子病历等长文本信息的关键字 段提取，为保险公司多业务场景的基础数据处理需求提供了强有力的支撑， 后续可应用场景包括：医保控费审核、商保智能审核、保险核保、承保、 核赔等流程节点的数据字段需求。
(5)在保险公司开展医保经办、健康险理赔等大健康战略的同时， 对于大健康闭环中医疗电子化信息的关键字段提取的算法模型构建，是一 项重要且必不可少的前瞻性工作。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述 的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方 式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式 体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD- ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设 备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据 本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其 上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式 中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代 码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说 明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的 步骤。
根据本公开的实施方式的用于实现上述方法的程序产品，其可以采用 便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设 备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件 中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被 指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的 数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种 形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信 号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、 传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用 的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限 于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开 操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、 C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序 设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设 备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远 程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域 网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到 外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干 模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施 方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块 或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可 以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但 是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须 执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某 些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多 个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述 的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方 式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式 体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD- ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设 备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据 本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到 本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适 应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包 括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实 施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种医学影像信息的处理方法，其特征在于，包括：
对用于进行训练的第一医学影像信息进行字段划分，按照预设的医学标签对所述字段进行多个粒度的标注，所述医学标签包括发病部位和病例类型组合构成的第一标签；
对标注后的所述字段中的字进行遮挡处理，以生成衍生字段，根据标注后的所述字段和所述衍生字段构成的训练集对识别模型进行训练；
获取待识别的第二医学影像信息，并通过所述训练后的识别模型对所述第二医学影像信息中的字段进行分类识别；
对所述分类识别后的属于同一关键字段的标注进行合并，并将合并后的标注对应的所述关键字段以键值形式输出。
2.根据权利要求1所述的医学影像信息的处理方法，其特征在于，所述医学标签还包括所述发病部位的第二标签和所述病例类型的第三标签，对用于进行训练的第一医学影像信息进行字段划分，按照预设的医学标签对所述字段进行多个粒度的标注包括：
对所述第一医学影像信息进行字段划分，按照所述第一标签、所述第二标签和所述第三标签对所述字段进行标注，以分别生成第一粒度的第一带标注字段、第二粒度的第二带标注字段和第三粒度的第三带标注字段。
3.根据权利要求1所述的医学影像信息的处理方法，其特征在于，对用于进行训练的第一医学影像信息进行字段划分，按照预设的医学标签对所述字段进行多个粒度的标注还包括：
对用于进行训练的第一医学影像信息进行字段划分，并确定所述字段中的数值字段；
根据所述数值字段的类型，对所述数值字段进行格式标准化。
4.根据权利要求3所述的医学影像信息的处理方法，其特征在于，对用于进行训练的第一医学影像信息进行字段划分，按照预设的医学标签对所述字段进行多个粒度的标注还包括：
对所述第一医学影像信息进行字段划分，确定同一个字段的多个描述字段；
确定多个所述描述字段中的最大范围对应的字段；
按照预设的医学标签对所述最大范围对应的字段进行标注。
5.根据权利要求1-4中任一项所述的医学影像信息的处理方法，其特征在于，对标注后的所述字段中的字进行遮挡处理，以生成衍生字段，根据标注后的所述字段和所述衍生字段构成的训练集对识别模型进行训练包括：
按照预设比例将所述标注后的字段生成训练集、验证集和测试集；
通过所述训练集对BERT模型进行训练，所述BERT模型的参数架构为面向中文的12层和768隐层；
通过所述验证集生成所述训练后的BERT模型进行验证，以获得所述BERT模型的准确率和平均损失；
确定使所述训练集的平均损失最小的参数；
根据所述平均损失最小的参数和所述测试集对所述训练后的BERT模型进行测试，以获得所述BERT模型的测试准确率。
6.根据权利要求1-4中任一项所述的医学影像信息的处理方法，其特征在于，对标注后的所述字段中的字进行遮挡处理，以生成衍生字段，根据标注后的所述字段和所述衍生字段构成的训练集对识别模型进行训练包括：
根据标注后的所述字段生成所述训练集；
通过医学专业词典确定所述训练集中的样本字段中的专业词汇字段；
按照预设概率对所述专业词汇字段中的单个字进行遮挡，以生成所述字段的衍生字段；
将包含标注的所述衍生字段添加至所述训练集；
通过所述训练集对识别模型进行训练，至所述识别模型能够识别遮挡的单个字为止。
7.根据权利要求1-4中任一项所述的医学影像信息的处理方法，其特征在于，对标注后的所述字段中的字进行遮挡处理，以生成衍生字段，根据标注后的所述字段和所述衍生字段构成的训练集对识别模型进行训练还包括：
对所述识别模型的超参数进行设置，所述超参数包括最大序列长度、批处理大小和学习率；
将交叉熵函数作为所述识别模型的损失函数，并通过所述训练集对设置所述超参数的识别模型进行训练，至所述损失函数收敛为止。
8.一种医学影像信息的处理装置，其特征在于，包括：
标注模块，用于对用于进行训练的第一医学影像信息进行字段划分，按照预设的医学标签对所述字段进行多个粒度的标注，所述医学标签包括发病部位和病例类型组合构成的第一标签；
训练模块，用于对标注后的所述字段中的字进行遮挡处理，以生成衍生字段，根据标注后的所述字段和所述衍生字段构成的训练集对识别模型进行训练；
识别模块，获取待识别的第二医学影像信息用于获取待识别的第二医学影像信息，并通过所述训练后的识别模型对所述第二医学影像信息中的字段进行分类识别；
所述识别模块还用于，对所述分类识别后的属于同一关键字段的标注进行合并，并将合并后的标注对应的所述关键字段以键值形式输出。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7中任意一项所述的医学影像信息的处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任意一项所述的医学影像信息的处理方法。
CN202011383478.9A 2020-11-30 2020-11-30 医学影像信息的处理方法、装置、电子设备和存储介质 Active CN112635013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011383478.9A CN112635013B (zh) 2020-11-30 2020-11-30 医学影像信息的处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011383478.9A CN112635013B (zh) 2020-11-30 2020-11-30 医学影像信息的处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112635013A true CN112635013A (zh) 2021-04-09
CN112635013B CN112635013B (zh) 2023-10-27

Family

ID=75307650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011383478.9A Active CN112635013B (zh) 2020-11-30 2020-11-30 医学影像信息的处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112635013B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034500A (zh) * 2021-05-25 2021-06-25 紫东信息科技(苏州)有限公司 基于多通道结构的消化道内窥镜图片病灶识别系统
CN113299375A (zh) * 2021-07-27 2021-08-24 北京好欣晴移动医疗科技有限公司 数字文件信息实体标注和识别方法、装置和系统
CN113658159A (zh) * 2021-08-24 2021-11-16 中山仰视科技有限公司 一种基于肺部关键点的肺部整体抽取方法及系统
CN114611568A (zh) * 2022-01-18 2022-06-10 北京邮电大学 医学影像诊疗产品的跨设备泛化性的检测方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489555A (zh) * 2019-08-21 2019-11-22 创新工场(广州)人工智能研究有限公司 一种结合类词信息的语言模型预训练方法
CN110597970A (zh) * 2019-08-19 2019-12-20 华东理工大学 一种多粒度医疗实体联合识别的方法及装置
JP2020091747A (ja) * 2018-12-06 2020-06-11 キヤノンメディカルシステムズ株式会社 医用データファイル生成装置、医用データファイル生成システム、及び医用データファイル生成プログラム
CN111292821A (zh) * 2020-01-21 2020-06-16 上海联影智能医疗科技有限公司 一种医学诊疗系统
CN111444686A (zh) * 2020-03-16 2020-07-24 上海联影智能医疗科技有限公司 医学数据标注方法、装置、存储介质及计算机设备
CN111814478A (zh) * 2020-07-08 2020-10-23 泰康保险集团股份有限公司 影像学检查报告结构化方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091747A (ja) * 2018-12-06 2020-06-11 キヤノンメディカルシステムズ株式会社 医用データファイル生成装置、医用データファイル生成システム、及び医用データファイル生成プログラム
CN110597970A (zh) * 2019-08-19 2019-12-20 华东理工大学 一种多粒度医疗实体联合识别的方法及装置
CN110489555A (zh) * 2019-08-21 2019-11-22 创新工场(广州)人工智能研究有限公司 一种结合类词信息的语言模型预训练方法
CN111292821A (zh) * 2020-01-21 2020-06-16 上海联影智能医疗科技有限公司 一种医学诊疗系统
CN111444686A (zh) * 2020-03-16 2020-07-24 上海联影智能医疗科技有限公司 医学数据标注方法、装置、存储介质及计算机设备
CN111814478A (zh) * 2020-07-08 2020-10-23 泰康保险集团股份有限公司 影像学检查报告结构化方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蚁坊软件研究院, vol. 34, no. 04, pages 60 - 6 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034500A (zh) * 2021-05-25 2021-06-25 紫东信息科技(苏州)有限公司 基于多通道结构的消化道内窥镜图片病灶识别系统
CN113299375A (zh) * 2021-07-27 2021-08-24 北京好欣晴移动医疗科技有限公司 数字文件信息实体标注和识别方法、装置和系统
CN114093469A (zh) * 2021-07-27 2022-02-25 北京好欣晴移动医疗科技有限公司 互联网医疗方案推荐方法、装置和系统
CN114093468A (zh) * 2021-07-27 2022-02-25 北京好欣晴移动医疗科技有限公司 心血管疾病信息实体标注和识别方法、装置和系统
CN113658159A (zh) * 2021-08-24 2021-11-16 中山仰视科技有限公司 一种基于肺部关键点的肺部整体抽取方法及系统
CN114611568A (zh) * 2022-01-18 2022-06-10 北京邮电大学 医学影像诊疗产品的跨设备泛化性的检测方法及相关设备

Also Published As

Publication number Publication date
CN112635013B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
Monshi et al. Deep learning in generating radiology reports: A survey
Bustos et al. Padchest: A large chest x-ray image dataset with multi-label annotated reports
Yang et al. Knowledge matters: Chest radiology report generation with general and specific knowledge
Messina et al. A survey on deep learning and explainability for automatic report generation from medical images
CN112635013B (zh) 医学影像信息的处理方法、装置、电子设备和存储介质
CN108319605B (zh) 医学检查数据的结构化处理方法及系统
Beddiar et al. Automatic captioning for medical imaging (MIC): a rapid review of literature
US10565315B2 (en) Automated mapping of service codes in healthcare systems
CN106407443A (zh) 一种结构化医疗数据生成方法及装置
CN112241457A (zh) 一种融合扩展特征的事理知识图谱事件检测方法
Kaur et al. Methods for automatic generation of radiological reports of chest radiographs: a comprehensive survey
Heiliger et al. Beyond medical imaging-a review of multimodal deep learning in radiology
Banerjee et al. Automatic inference of BI-RADS final assessment categories from narrative mammography report findings
Hou et al. Multi-label learning with visual-semantic embedded knowledge graph for diagnosis of radiology imaging
Geetha et al. Evaluation based approaches for liver disease prediction using machine learning algorithms
Gu et al. Chemical-induced disease relation extraction via attention-based distant supervision
Amjoud et al. Automatic generation of chest x-ray reports using a transformer-based deep learning model
Wu et al. Structured information extraction of pathology reports with attention-based graph convolutional network
Liu et al. A systematic review of deep learning-based research on radiology report generation
Zhang et al. Comparison of chest radiograph captions based on natural language processing vs completed by radiologists
Xie et al. Factreranker: Fact-guided reranker for faithful radiology report summarization
Hu et al. Advancing medical imaging with language models: featuring a spotlight on ChatGPT
Gao et al. Simulating doctors’ thinking logic for chest X-ray report generation via Transformer-based Semantic Query learning
Pan et al. A method for extracting tumor events from clinical CT examination reports
Oniga et al. Applications of ai and hpc in the health domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant