CN111933251B - 一种医学影像标注方法及系统 - Google Patents

一种医学影像标注方法及系统 Download PDF

Info

Publication number
CN111933251B
CN111933251B CN202010586940.9A CN202010586940A CN111933251B CN 111933251 B CN111933251 B CN 111933251B CN 202010586940 A CN202010586940 A CN 202010586940A CN 111933251 B CN111933251 B CN 111933251B
Authority
CN
China
Prior art keywords
image
focus
character
medical image
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010586940.9A
Other languages
English (en)
Other versions
CN111933251A (zh
Inventor
李传富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Yinglian Yunxiang Medical Technology Co ltd
Original Assignee
Anhui Yinglian Yunxiang Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Yinglian Yunxiang Medical Technology Co ltd filed Critical Anhui Yinglian Yunxiang Medical Technology Co ltd
Priority to CN202010586940.9A priority Critical patent/CN111933251B/zh
Publication of CN111933251A publication Critical patent/CN111933251A/zh
Application granted granted Critical
Publication of CN111933251B publication Critical patent/CN111933251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种医学影像标注方法及系统，属于医学影像标注技术领域。首先获取医学影像数据；然后根据医学影像知识图谱，进行文字标注；然后利用Mask R‑CNN网络模型对图像数据进行语义分割，将肋骨和锁骨从图像中分割并隐藏；然后利用马尔科夫随机场模型对病灶位置和非病灶位置进行识别，进行图像标注，在图像中标注出病灶位置及病灶的属性信息、非病灶位置及非病灶的属性信息，并将相应的图像标注与文字标注建立关联；最后将文字标注及图像标注进行可视化，通过人机交互，对文字标注和图像标注进行确认。本发明能够对医学影像数据进行文字标注和图像标注，标注速度快，准确性高，有效地提高了医生的阅片效率，从而快速地进行疾病诊断。

Description

一种医学影像标注方法及系统
技术领域
本发明属于医学影像标注技术领域，具体涉及一种医学影像标注方法及系统。
背景技术
随着各种影像技术和设备在医院的广泛使用，每天都会产生大量的医学影像数据，形成了医学影像大数据。这些影像大数据包含了病人的基本信息以及病变的相关检查诊断信息，是诊断疾病的必要依据。而如何提取影像中的有用信息，辅助临床医师提高诊断精度和工作效率是现在急需解决的问题。为了解决该问题，现有技术中设计了一些医学影像标注方法，并开发相应的医学影像标注系统，用以辅助医师进行医学影像标注。
医学影像数据包括文字数据和图像数据，或者通俗的讲，是指在医疗检查时产生的文字报告和图像报告，例如医学诊断报告属于文字报告，X光胸片属于图像报告。然而目前多数的医学影像标注方法及系统都只是单纯的对图像进行标注，而且传统的图像标注是采用人工标注方法，但是人工标注工作量巨大，容易受到主观经验的影响，这样就会导致标注的时间长，而且效率低。为了提高标注效率，现有技术中提出了采用深度学习的方法对医学影像进行标注，例如申请号为：201710916007.1的中国专利公开了一种用于分析医学影像的方法和装置，该专利中，基于数据分类神经网络模型，将医学影像数据分类为健康影像和疾病影像；采用病灶区域识别算法识别疾病影像中的疑似病灶区域，得到附标记的疾病像；将健康影像和附标记的疾病影像发送至显示终端。
然而，现有的医学影像的标注系统中，是直接利用神经网络对病灶位置进行识别，并且忽略了文字数据，导致速度慢；同时，因为医学影像数据中，胸腔中的很多器官和组织由于骨骼的遮挡，无法进行准确地进行识别，导致无法准确地对隐藏的部位进行标注，进而导致了标注的不准确，还需要医生进行手工标注，从而增加了医生的工作量，降低了医学诊断的效率。
发明内容
技术问题：针对现有技术中进行医学影像标注时不准确和效率低的问题，本发明提供一种医学影像标注方法及系统，能够对医学影像进行文字标注和图像标注，标注准确性高，同时具有较高的标注效率。
技术方案：本发明的医学影像标注方法，包括：
S1：获取医学影像数据，所述医学影像数据包括文字数据和图像数据；
S2：根据医学影像知识图谱，对文字数据进行结构化处理，得到病灶位置及病灶的属性信息、非病灶位置及非病灶的属性信息，并生成对应的文字标注；
S3：利用Mask R-CNN网络模型对图像数据进行语义分割，将肋骨和锁骨从图像中分割并隐藏，使位于胸部的器官和其他组织完全显示；
S4：根据病灶位置和非病灶位置，利用马尔科夫随机场模型对病灶位置和非病灶位置进行识别，进行图像标注，在图像中标注出病灶位置及病灶的属性信息、非病灶位置及非病灶的属性信息，并将相应的图像标注与文字标注建立关联；
S5：将文字标注及图像标注进行可视化，通过人机交互，对文字标注和图像标注进行确认。
进一步地，所述步骤S2中，对文字数据进行结构化处理前，需构建医学影像知识图谱，构建医学影像知识图谱的方法为：
知识表示：采用框架理论表示法，通过结构化的形式对知识进行表示；
知识获取：首先进行实体获取，利用正则表达式和隐马尔科夫模型获取结构化的医学知识；然后进行属性获取，利用支持向量机从医学影像数据中采集特定的属性信息；最后进行关系获取，利用LTP工具对医学影像领域文本进行语义依存句法分析获取实体间的关系；
知识融合：利用实体消歧和共指消解将指称项链接到正确的实体对象，完成知识融合；
知识加工：对知识融合后的数据进行知识推理和质量评估，得到合格的知识；
知识更新：将新数据与原数据进行融合，对知识图谱进行更新。
进一步地，所述步骤S2中，根据知识图谱对文字数据进行结构化处理的过程为：
(1)通过正则表达式以标点符号或空格为界，对文字内容进行分句处理，并将分句存入字符串数组中；
(2)利用HanLP分词器和分词词典进行正向最大匹配分词的分词操作，并将分好的词存入字符串中；
(3)将分词完成的字符串与医学影像知识图谱进行匹配，生成结构化报告；
(4)将结构化报告可视化处理，生成树状结构的文字标注。
进一步地，所述步骤S3中，利用Mask R-CNN模型对图像数据进行语义分割的方法为：
S31：采集胸片图像样本，构建胸片图像样本数据集，对胸片图像中的肋骨和锁骨进行手动标注，标注出2根锁骨和24根肋骨；
S32：对标注好的胸片图像进行预处理，利用灰度直方图均衡化方法对胸片图像的对比度进行调整，从而增强胸片图像；
S33：将预处理后的胸片图像样本输入Mask R-CNN网络模型中，对网络模型进行训练；
S34：将待分割的胸片图像输入训练好的网络模型中，首先进行特征提取，然后生成锁骨和肋骨的预测的ROI区域，并利用ROIAlign层对预测的ROI区域进行特征池化，将肋骨和锁骨区域分割出来。
进一步地，所述步骤S34中，采用ResNet-101+FPN网络进行特征提取。
进一步地，所述步骤S5中，在对文字标注和图像标注进行可视化时，病灶位置及病灶的属性信息的文字标注与非病灶位置及非病灶的属性信息采用不同颜色显示。
本发明的医学影像标注系统，其特征在于，利用本发明的医学影像标注方法对医学影像进行标注，包括：
医学影像数据采集模块，用于采集医学影像数据；
文字标注模块，用于对文字数据进行结构化处理，生成文字标注，得到病灶位置信息以及病灶的属性信息、非病灶位置及非病灶的属性信息；
图像标注模块，用于对胸片图像进行语义分割，并根据文字标注对图像数据进行标注；
可视化模块，用于显示医学影像以及文字标注和图像标注。
进一步地，所述文字标注模块包括：
医学影像知识图谱构建模块，用于构建医学影像知识图谱；
结构化处理模块，用于对文字数据进行结构化处理，并生成文字标注。
进一步地，所述图像标注模块包括：
语义分割模块，用于对图像数据进行语义分割，将图像数据中的肋骨和锁骨分割出来；
位置识别模块，用于根据文字标注结果，识别病灶位置及非病灶位置，将病灶及病灶的属性信息标注在病灶位置上，将非病灶及非病灶的属性信息标注在非病灶位置上，并建立图像标注与对应文字标注的关联。
进一步地，所述系统还包括人工修订模块，用于对文字标注以及图像标注进行人工修订。
有益效果：本发明与现有技术相比，具有以下优点：
(1)本发明利用医学影像知识图谱，对文字数据进行结构化处理，得到病灶位置及病灶的属性信息、非病灶位置及非病灶的属性信息，并生成对应的文字标注。使得医生可以对文字报告进行快速地标注，快速地对文字报告进行阅读，从而提高了疾病诊断效率，降低了医生的工作量。
(2)本发明利用Mask R-CNN网络模型对图像数据进行语义分割，将肋骨和锁骨从图像中分割并隐藏，使位于胸部的器官和其他组织完全显示，从而能够对隐藏的器官和组织进行识别和标注，实现病灶和非病灶的准确定位，提高了标注的准确性，使得医生能够快速准确地找到病灶位置，并确定病灶的属性信息，从而快速准确地对疾病进行诊断。
(3)本发明利用文字标注得到病灶位置和非病灶位置，然后利用Mask R-CNN网络模型将锁骨和肋骨进行分割隐藏，然后利用马尔科夫随机场模型对病灶位置和非病灶位置进行识别，进行图像标注。实现了以文字标注为基础，对图像进行标注的操作，从而无需医生再对照文字报告查找病灶位置，或者根据经验查找病灶位置，有效了地提高了标注的效率，进而提高了疾病诊断效率，降低了医生的工作量。
(4)本发明通过对文字标注和图像标注进行可视化，并通过人机交互，使得医生可以对文字标注和图像标注进行修订，避免出现标注错误，从而提高了标注的准确性。
附图说明
图1为本发明的医学影像标注方法的流程图；
图2为手工标注出肋骨和锁骨的胸片图；
图3为未进行语义分割的胸片图；
图4为采用本发明的方法进行语义分割后的胸片效果图；
图5为采用本发明的方法将锁骨和肋骨隐藏后的胸片效果图。
具体实施方式
下面结合实施例和说明书附图对本发明作进一步的说明。
结合图1所示，本发明的医学影像标注方法包括文字标注和图像标注两部分，文字数据根据医学影像知识图谱，利用自然语言处理技术进行结构化处理，生成结构化报告，然后自动进行文字标注；图像数据首先进行图像分割，然后根据文字标注结果自动进行图像标注；最后基于人机交互，医生可对文字标注和图像标注进行修订。具体地，本发明的方法包括以下步骤：
S1：获取医学影像数据，所述医学影像数据包括文字数据和图像数据；
S2：根据医学影像知识图谱，对文字进行结构化处理，得到病灶位置及病灶的属性信息、非病灶位置及非病灶的属性信息，并生成对应的文字标注；
S3：利用Mask R-CNN网络模型对图像数据进行语义分割，将肋骨和锁骨从图像中分割并隐藏，使位于胸部的器官和其他组织完全显示；
S4：根据病灶位置和非病灶位置，利用马尔科夫随机场模型对病灶位置和非病灶位置进行识别，进行图像标注，在图像中标注出病灶位置及病灶的属性信息、非病灶位置及非病灶的属性信息，并将相应的图像标注与文字标注建立关联；
S5：将文字标注及图像标注进行可视化，通过人机交互，对文字标注和图像标注进行确认。
因为医学影像数据包括文字数据和图像数据，或者通俗的讲，在医疗诊断过程中，会产生文字报告和图像报告，为了更好的对疾病进行诊断，医生会结合文字报告和图像报告进行疾病诊断。因此，本发明的方法涉及了文字标注和图像标注两部分，说明的是，图像
医学影像数据中的文字报告多为非结构化数据，对于非结构化数据的医学影像报告进行文字标注时耗时费力且不易操作，因此，本发明是利用自然语言处理技术，将非结构化数据进行结构化操作，然后提取文字报告中的关键信息，并转变为机器能够识别和处理的格式。文字标注以医学影像知识图谱为基础，通过自然语言处理生成结构化报告。因此在进行文字标注前，必须建立医学影像知识图谱。
本发明中，采用自底向上的方法构建医学影像诊断知识图谱，自底向上的方法是直接从抽取到的数据中提取实体间的关系并更新到知识图谱中。自底向下构建是借助一定的技术手段，从公开采集的数据中提取出资源模式，选择其中置信度较高的信息，加入到知识库中。符合互联网数据内容知识产生的特点，是目前较常用的一种方式。
构建医学影像知识图谱的方法为：
(1)知识表示
本发明中，采用框架理论表示法，即以框架理论作为基础，通过结构化的形式对知识进行表示。
(2)知识获取
在构建医学影像知识图谱时，可以从医学影像教科书、医学影像学术期刊、医学影像报告、百科类网站等异构数据源中获取知识。在本发明的实施例中，构建医学影像知识图谱的知识来源为：安徽省影像云平台，该平台目前已实现安徽省联网医院1208家，占全省可联网医院的80％，云端存储的影像数据494.9万例，其中包括X光、DR、CT、MRI等影像检查数据。
在获取知识时，首先进行实体获取，本发明的实施例中，利用正则表达式和隐马尔科夫模型获取结构化的医学知识；然后进行属性获取，在本发明的实施例中，利用支持向量机从医学影像数据中采集特定的属性信息。医学影像属性获取的目标是从医学影像数据中采集特定的属性信息，例如针对胸廓这一部位，可以提取到胸廓的对称性和形态等信息，在医学影像诊断知识图谱中获取到的属性均为实体的属性，所以可将其视为实体和属性值之间的一种名词关系。最后进行关系获取，在本发明的实施例中，利用哈工大的LTP工具对医学影像领域文本进行语义依存句法分析获取实体间的关系。在本发明的实施例中，在LTP工具中添加了医学影像领域的胸片部位词典、胸片属性词典、影像解剖学词典。
(3)知识融合：利用实体消歧和共指消解将指称项链接到正确的实体对象，完成知识融合。
在实际语言环境中，经常会遇到某个实体指称项对应于多个命名实体对象的问题，例如“空洞”，在汉语中通常意为“空虚而无内涵”，而在医学影像中指“脏器组织中坏死或液化的病变物质排出后，在原处所遗留的凹陷或孔隙”。在构建医学影像诊断知识图谱时要进行实体消歧，根据当前的语境，准确建立实体链接。
同时对于多个指称项对应于同一实体对象的问题，例如异常密度影中“斑片状”、“条片状”、“大片状”等指称项可能指向的是同一实体对象“片状影”，故需进行共指消解，根据同义词识别和依存句法分析从原始语料中抽取实体上下文模式的信息。
(4)知识加工
在进行知识融合之后可以消除实体间的歧义，得到一系列基本的事实表达。然而，事实本身并不等于知识，为了最终能够得到结构化的医学影像知识图谱，还需经过知识加工，知识加工包括知识推理和质量评估，通过知识加工，得到合格的知识。
(5)知识更新
医学知识在不断的更新发展，知识图谱的内容也需要与时俱进，因为在本发明额实施例中，数据的来源没有改变，因此在进行知识更新时，只需将新数据与原数据进行融合，即能对知识图谱进行更新。
根据医学影像知识图谱对文字数据进行结构化处理的过程为：
(1)通过正则表达式以标点符号或空格为界，对文字内容进行分句处理，并将分句存入字符串数组中。例如可以“，”、“；”和“。”等标点或空格为界，利用TextSplit()函数进行分句处理，然后将分句存入字符串数组中。例如“胸廓对称，气管纵隔居中，两肺纹理增多”，分句之后为“胸廓对称气管纵隔居中两肺纹理增多”。
(2)利用HanLP分词器和分词词典进行正向最大匹配分词的分词操作，并将分好的词存入字符串中；其中分词词典包括胸片部位词典、胸片属性词典、胸片属性值词典。
正向最大匹配算法的基本思路是：从左到右将句子中若干连续字符与词典进行匹配，若匹配成功则切分出一个词，若匹配失败则增加一个单字进行匹配，直到取出正确的词为止，可以通过“两肺纹理增多、增粗、模糊”这句话为例：
1)待分词文本：S[]＝{“两”，“肺”，“纹”，“理”，“增”，“多”，“、”，“增”，“粗”，“、”，“模”，“糊”}；
2)分词词典：dict[]＝{…，“两肺”，“肺纹理”，“两肺纹理”，“增多”，“增粗”，“模糊”，“、”，…}(真实分词词典会包含更多分词词语)；
3)将待分词文本输入进去，然后跟分词词典进行匹配，从S[1]开始，当扫描到S[2]时，发现“两肺”存在于dict[]之中，但还需继续向后进行扫描，因为不知道后面的词语是否能组成最大匹配；
4)继续扫描S[3]，发现“两肺纹”并不是dict[]中的词，但仍不能切分出来，因为“两肺纹”是dict[2]的前缀，还需继续向后进行扫描；
5)扫描S[4]，发现“两肺纹理”是dict[]中的词，继续向后扫描；
6)扫描S[5]，发现“两肺纹理增”并不在dict[]中也不是dict[]任何元素的前缀，因此可将“两肺纹理”切分出来；
7)重复上述操作，最终可得到分词结果为“两肺纹理”，“增多”，“、”，“增粗”，“、”，“模糊”。
(3)将分词完成的字符串与医学影像知识图谱进行匹配，生成结构化报告。具体的，XML格式的医学影像知识图谱解析后可以提取其中的关键信息，通过和分词结果进行匹配生成JSON格式的结构化报告。
(4)将结构化报告可视化处理，生成树状结构的文字标注。
JSON格式作为结构化数据已经能够实现计算机的读取和处理，但另一方面却不方便标注专家的读取，故还需要将JSON数据进行可视化处理，在本发明的实施例中，生成带有树状结构、可折叠显示的文字标注。病灶位置以及病灶的属性信息、非病灶位置及非病灶位置及非病灶的属性信息通过颜色区分，便于标注专家对报告的快速阅读，另外专家对于漏标、多标、误标的结果可进行手动添加、删除和修改。
本发明中，充分利用了自然语言处理技术对非结构话的文字数据进行处理，处理的准确性高，速度快，从而能够快速准确地进行文字标注。
通过对文字进行结构化处理后，可提取到病灶位置以及病灶的属性信息、非病灶位置及非病灶位置及非病灶的属性信息。例如“胸廓对称，气管纵隔居中，两肺纹理增多”，当完成文字标注后，可得到病灶位置为“两肺”，病灶的属性信息为“纹理增多”，非病灶位置为“胸廓”，对应的属性为“对称”，以及“气管”，对应的属性为“纵膈居中”。则进行可视化显示时，将“两肺”及其属性信息“纹理增多”，与“胸廓”“对称”、“气管”“纵膈居中”的文字批注用不同的颜色表示，以便于医生快速地阅读报告。
根据医学影像知识图谱，完成对文字数据的标注，使得医师可以快速对文本报告进行阅读，从而提高了医学诊断的效率，降低了医生的工作量。
通过文字标注，得到了病灶位置及病灶的属性信息、非病灶位置及非病灶的属性信息，在进行图像标注时，可以直接根据得到的病灶位置以及非病灶位置，在图像上进行对应标注，标注出病灶及病灶的属性信息、非病灶及非病灶的属性信息。
在进行图像标注时，很重要的一点是找到病灶及非病灶的位置，然而，在医学影像中，由于骨骼的遮挡，很多器官或组织隐藏在骨骼后面，因此很难标注出隐藏的位置，因此在本发明的实施例中，利用Mask R-CNN网络模型对图像数据进行语义分割，将肋骨和和锁骨从图像中分割出来，然后隐藏，从而使得胸部的器官和组织完全显示，从而能够对隐藏在骨骼后面的器官和其他组织进行标注。
利用Mask R-CNN网络模型对图像数据进行语义分割的过程包括以下步骤：
S31：采集胸片图像样本，构建胸片图像样本数据集，对胸片图像中的肋骨和锁骨进行手动标注，标注出2根锁骨和24根肋骨。
本发明的实施例中，共采集了5000例X光胸片图像，并对每例胸片图像进行了手工标注，每张胸片图像上标注了26个对象，包括2根锁骨和24根肋骨，标注后的胸片图像如图2所示。
S32：对标注好的胸片图像进行预处理，利用灰度直方图均衡化方法对胸片图像的对比度进行调整，从而增强图像。
由于肋骨基本位于肺部的重叠部分，且前后肋互相有遮挡，所以在标注时比较困难，有些细节可能标注不是很准确。为了能够标注准确，通过调整医学图像的窗位窗宽来增加各个组织之间的对比度，但考率在实际应用当中，通过不同的仪器产生的dcm初始窗宽位窗宽差异很大，因而利用调整医学图像的窗位窗宽来增加各个组织之间的对比度的方法依然不能准确的对胸片进行标注。
为了能够对胸片图像进行准确标注，本发明的实施例中，采用灰度直方图均衡化的方法对胸片图像进行预处理，调整胸片图像的对比度，从而将胸片图像增强。当胸片图像中的有用数据的对比度非常接近的时候，或者当背景和前景都太亮或者太暗的时候使用直方图均衡化，会使得骨骼的结构更好的展示。具体的方式是通过使用累积函数对灰度值进行调整从而使对比度增强，通常也就是对原始图像的灰度直方图进行调整，使相对集中的某个灰度区间变成均匀地分布在每个灰度区间，并对图像进行非线性拉伸以及对图像像素值重新调整，使得在一定灰度范围内的像素数量大概一致，即把给定图像的直方图分布改变成＂均匀＂分布直方图分布。
S33：将预处理后胸片图像样本输入Mask R-CNN网络模型中，对网络模型进行训练。
S34：将待分割的胸片图像输入训练好的网络模型中，首先进行特征提取，然后生成锁骨和肋骨的预测的ROI区域，并利用ROIAlign层对预测的ROI区域进行特征池化，将肋骨和锁骨区域分割出来。
其中ROI区域指感兴趣区域，在机器视觉、图像处理领域，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，即ROI。
在本发明中，在利用Mask R-CNN网络模型对胸片图像进行语义分割时，利用ResNet-101+FPN网络进行特征提取，获得对应的feature map，然后利用区域建议网络(RPN)生成肋骨和锁骨的可预测的ROI区域，然后利用ROIAlign层对预测的ROI区域进行特征池化，从而完成胸片图像的语义分割。语义分割后输出各个对象的分割区域，以及每个对象的分类标注。输出的图像中，由分类标签、回归候选框以及染色区域三部分组成。对分割出的锁骨和肋骨，分别用不同的颜色染色。利用本发明的方法对图像进行语义分割的前后效果对比件图3和图4所示。
当对锁骨和肋骨分割出来后，将锁骨和肋骨从胸片图像中隐藏，然后将被骨骼遮挡住的器官和组织完全显现出来，从而在对图像进行标注时，可以将被骨骼遮挡的器官和组织标注出来，从而提高标注的准确性，使得医生能够快速准确地找到病灶位置，并确定病灶的属性信息，从而快速准确地对疾病进行诊断。图5为将锁骨和肋骨隐藏后的效果图，从图5可以看出，在锁骨和肋骨被隐藏后，胸部的器官和组织都被显示出来，因此，更便于对病灶位置及非病灶位置进行准确识别。
将锁骨和肋骨分割并隐藏后，利用马尔科夫随机场模型，对病灶位置以及非病灶位置进行识别，并将病灶及非病灶标注出来，标注出病灶的属性信息以及非病灶的属性信息。图像标注与对应的文字标注建立关联，实现文字标注与图像标注的联动。实现了以文字标注为基础，对图像进行标注的操作，从而无需医生再对照文字报告查找病灶位置，或者根据经验查找病灶位置，有效了地提高了标注的效率，进而提高了疾病诊断效率，降低了医生的工作量。
在本发明的实施例中，进行文字标注和图像标注时，对于病灶位置及病灶的属性信息、非病灶位置及非病灶的属性信息采用不同的颜色显示，例如，在本发明的实施例中，对于病灶位置及病灶的属性信息用红色显示，对于非病灶位置及非病灶的属性信息用绿色标注。并且，因为文字标注和图像标注建立了关联，当操作人员点击文字标注时，对应的图像标注也会高量显示。相反，当点击图像标注时，对应的文字标注也会亮起。
在本发明的实施例中，将文字标注以及图像标注进行可视化，并且可以进行人机交互，医生可以对标注进行检查，如果发现有标注错误，可以直接进行修改。当修改了文字标注后，与之关联的图像标注也会发生相应改变。当修改了图像标注后，与之关联的文字标注也会发生相应的修改。
将文字标注和图形标注都进行可视化，并通过人机交互，使得医生可以对文字标注可图像标注进行修订，避免出现标注错误，从而提高了标注的准确性。
进一步地，基于文字标注和图像标注的方法，本发明提供一种医学影像标注系统，该系统包括：医学影像数据采集模块、文字标注模块、图像标注模块和可视化模块。
其中医学影像数据采集模块，用于采集医学影像数据，本发明发数据采集模块能够与PACS系统对接，从而便于进行医学影像数据采集。
文字标注模块，用于对文字数据进行结构化处理，生成文字标注，同时得到病灶位置及病灶的属性信息、非病灶位置及非病灶的属性信息。
图像标注模块，用于对胸片图像进行语义分割，并根据文字标注对图像进行标注。
可视化模块，用于显示医学影像以及文字标注和图像标注，其中文字标注进行树桩结构显示。
文字标注模块包括：医学影像知识图谱构建模块，用于构建医学影像知识图谱；结构化处理模块，用于对文字数据进行结构化处理，并生成文字标注。
图像标注模块包括：语义分割模块，用于对图像数据进行语义分割，将图像数据中的肋骨和锁骨分割出来；
位置识别模块，用于根据文字标注结果，识别病灶及非病灶位置，并将病灶及病灶的属性信息标注在病灶位置上，将非病灶及非病灶的属性信息标注在非病灶位置上，并建立图像标注与对应文字标注的关联。
该系统还包括人工修订模块，用于对文字标注以及图像标注进行人工修订，从而使得医生可以对文字标注及图像标注进行修订，避免出现标注错误和漏标等情形。
可视化模块能够将文字标注和图像标注可视化，其中文字标注采用树形结构显示，当标注的文本报告中，不存在病灶时，则树状结构的文字标注折叠；当存在病灶时，则展开显示，并将病灶与非病灶的文字标注用不同颜色显示。例如肺纹理走形正常则会以绿色来显示，若肺纹理增大增粗则会以红色来显示。同时，可视化模块能够显示图像及其图像标注。
本发明提供了一种医学影像标注方法及系统，可以对医学影像进行文字标注和图像标注，有效地提高了标注效率和准确性，使得医生可以对医学影像进行快速准确地标注，提高了疾病诊断的效率，降低医生的工作量。
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (9)

1.一种医学影像标注方法，其特征在于，包括：
S1：获取医学影像数据，所述医学影像数据包括文字数据和图像数据；
S2：根据医学影像知识图谱，对文字数据进行结构化处理，得到病灶位置及病灶的属性信息、非病灶位置及非病灶的属性信息，并生成对应的文字标注；其中，根据知识图谱对文字数据进行结构化处理的过程为：
(1)通过正则表达式以标点符号或空格为界，对文字内容进行分句处理，并将分句存入字符串数组中；
(2)利用HanLP分词器和分词词典进行正向最大匹配分词的分词操作，并将分好的词存入字符串中；
(3)将分词完成的字符串与医学影像知识图谱进行匹配，生成结构化报告；
(4)将结构化报告可视化处理，生成树状结构的文字标注；S3：利用Mask R-CNN网络模型对图像数据进行语义分割，将肋骨和锁骨从图像中分割并隐藏，使位于胸部的器官和其他组织完全显示；
S4：根据病灶位置和非病灶位置，利用马尔科夫随机场模型对病灶位置和非病灶位置进行识别，进行图像标注，在图像中标注出病灶位置及病灶的属性信息、非病灶位置及非病灶的属性信息，并将相应的图像标注与文字标注建立关联；
S5：将文字标注及图像标注进行可视化，通过人机交互，对文字标注和图像标注进行确认。
2.根据权利要求1所述的一种医学影像标注的方法，其特征在于，所述步骤S2中，对文字数据进行结构化处理前，需构建医学影像知识图谱，构建医学影像知识图谱的方法为：
知识表示：采用框架理论表示法，通过结构化的形式对知识进行表示；
知识获取：首先进行实体获取，利用正则表达式和隐马尔科夫模型获取结构化的医学知识；然后进行属性获取，利用支持向量机从医学影像数据中采集特定的属性信息；最后进行关系获取，利用LTP工具对医学影像领域文本进行语义依存句法分析获取实体间的关系；
知识融合：利用实体消歧和共指消解将指称项链接到正确的实体对象，完成知识融合；
知识加工：对知识融合后的数据进行知识推理和质量评估，得到合格的知识；
知识更新：将新数据与原数据进行融合，对知识图谱进行更新。
3.根据权利要求1所述的一种医学影像标注方法，其特征在于，所述步骤S3中，利用Mask R-CNN模型对图像数据进行语义分割的方法为：
S31：采集胸片图像样本，构建胸片图像样本数据集，对胸片图像中的肋骨和锁骨进行手动标注，标注出2根锁骨和24根肋骨；
S32：对标注好的胸片图像进行预处理，利用灰度直方图均衡化方法对胸片图像的对比度进行调整，从而增强胸片图像；
S33：将预处理后的胸片图像样本输入Mask R-CNN网络模型中，对网络模型进行训练；
S34：将待分割的胸片图像输入训练好的网络模型中，首先进行特征提取，然后生成锁骨和肋骨的预测的ROI区域，并利用ROIAlign层对预测的ROI区域进行特征池化，将肋骨和锁骨区域分割出来。
4.根据权利要求3所述的一种医学影像标注方法，其特征在于，所述步骤S34中，采用ResNet-101+FPN网络进行特征提取。
5.根据权利要求1所述的一种医学影像标注的方法，其特征在于，所述步骤S5中，在对文字标注和图像标注进行可视化时，病灶位置及病灶的属性信息的文字标注与非病灶位置及非病灶的属性信息采用不同颜色显示。
6.一种医学影像标注系统，其特征在于，利用权利 要求1-5任一项所述的医学影像标注方法进行医学影像标注，包括：
医学影像数据采集模块，用于采集医学影像数据；
文字标注模块，用于对文字数据进行结构化处理，生成文字标注，得到病灶位置信息以及病灶的属性信息、非病灶位置及非病灶的属性信息；
图像标注模块，用于对胸片图像进行语义分割，并根据文字标注对图像数据进行标注；
可视化模块，用于显示医学影像以及文字标注和图像标注。
7.根据权利要求6所述的一种医学影像标注系统，其特征在于，所述文字标注模块包括：
医学影像知识图谱构建模块，用于构建医学影像知识图谱；
结构化处理模块，用于对文字数据进行结构化处理，并生成文字标注。
8.根据权利要求6所述的一种医学影像标注系统，其特征在于，所述图像标注模块包括：
语义分割模块，用于对图像数据进行语义分割，将图像数据中的肋骨和锁骨分割出来；
位置识别模块，用于根据文字标注结果，识别病灶位置及非病灶位置，将病灶及病灶的属性信息标注在病灶位置上，将非病灶及非病灶的属性信息标注在非病灶位置上，并建立图像标注与对应文字标注的关联。
9.根据权利要求6-8任一项所述的一种医学影像标注系统，其特征在于，所述系统还包括人工修订模块，用于对文字标注以及图像标注进行人工修订。
CN202010586940.9A 2020-06-24 2020-06-24 一种医学影像标注方法及系统 Active CN111933251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010586940.9A CN111933251B (zh) 2020-06-24 2020-06-24 一种医学影像标注方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010586940.9A CN111933251B (zh) 2020-06-24 2020-06-24 一种医学影像标注方法及系统

Publications (2)

Publication Number Publication Date
CN111933251A CN111933251A (zh) 2020-11-13
CN111933251B true CN111933251B (zh) 2021-04-13

Family

ID=73316663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010586940.9A Active CN111933251B (zh) 2020-06-24 2020-06-24 一种医学影像标注方法及系统

Country Status (1)

Country Link
CN (1) CN111933251B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112420150B (zh) * 2020-12-02 2023-11-14 沈阳东软智能医疗科技研究院有限公司 医学影像报告的处理方法、装置、存储介质及电子设备
CN112863649B (zh) * 2020-12-31 2022-07-19 四川大学华西医院 玻璃体内肿瘤影像结果输出系统及方法
CN113012134A (zh) * 2021-03-22 2021-06-22 中山大学中山眼科中心 一种多功能的医学影像数据标注系统
CN113256672B (zh) * 2021-05-20 2024-05-28 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备
CN113469972B (zh) * 2021-06-30 2024-04-23 沈阳东软智能医疗科技研究院有限公司 标注医学切片图像的方法、装置、存储介质及电子设备
CN113486195A (zh) * 2021-08-17 2021-10-08 深圳华声医疗技术股份有限公司 超声图像处理方法、装置、超声设备及存储介质
CN114582470B (zh) * 2022-04-29 2022-09-09 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种模型的训练方法、训练装置及医学影像报告标注方法
CN114708952B (zh) * 2022-06-02 2022-10-04 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种图像标注方法、装置、存储介质和电子设备
CN115063425B (zh) * 2022-08-18 2022-11-11 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的结构化检查所见生成方法及系统
CN115062165B (zh) * 2022-08-18 2022-12-06 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的医学影像诊断方法及装置
CN116246756B (zh) * 2023-01-06 2023-12-22 浙江医准智能科技有限公司 模型更新方法、装置、电子设备及介质
CN115862831B (zh) * 2023-03-02 2023-05-12 山东远程分子互联网医院有限公司 一种智能在线预约诊疗管理系统及方法
CN116189843B (zh) * 2023-04-23 2023-07-07 索思（苏州）医疗科技有限公司 治疗方案推荐方法、装置、系统及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842390B2 (en) * 2015-02-06 2017-12-12 International Business Machines Corporation Automatic ground truth generation for medical image collections
CN106022353B (zh) * 2016-05-05 2019-07-30 浙江大学 一种基于超像素分割的图像语义标注方法
CN107247881B (zh) * 2017-06-20 2020-04-28 北京大数医达科技有限公司 一种多模态智能分析方法及系统
CN109583440B (zh) * 2017-09-28 2021-12-17 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN110993064B (zh) * 2019-11-05 2023-03-21 北京邮电大学 面向深度学习的医学影像标注方法及装置
CN111080552B (zh) * 2019-12-16 2021-03-26 广州柏视医疗科技有限公司 基于深度学习神经网络的胸片虚拟双能去骨方法及系统

Also Published As

Publication number Publication date
CN111933251A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111933251B (zh) 一种医学影像标注方法及系统
Yun et al. Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net
CN109583440B (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
JP5128154B2 (ja) レポート作成支援装置、レポート作成支援方法およびそのプログラム
US8625867B2 (en) Medical image display apparatus, method, and program
CN107403425A (zh) 从图像自动地生成放射学报告并自动排除没有发现的图像
Laserson et al. Textray: Mining clinical reports to gain a broad understanding of chest x-rays
US20030053673A1 (en) Radiographic scoring method
US20080058611A1 (en) Medical image processing apparatus
US11847188B2 (en) Image recognition method and device based on deep convolutional neural network
CN110580948A (zh) 医学影像的显示方法及显示设备
Zhou et al. Detection and semiquantitative analysis of cardiomegaly, pneumothorax, and pleural effusion on chest radiographs
CN115713590A (zh) 一种基于ct的三维重建图像处理方法及系统
TWI738001B (zh) 醫學影像中身體部位識別方法及裝置
CN115206478A (zh) 医学报告生成方法以及装置、电子设备、可读存储介质
CN114693981A (zh) 一种膝关节特征点自动识别方法
Pham et al. Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks
WO2021072873A1 (zh) 灰度图像处理方法、系统、装置和计算机可读存储介质
CN115880266B (zh) 一种基于深度学习的肠道息肉检测系统和方法
CN116580801A (zh) 一种基于大型语言模型的超声检查方法
AU2021102129A4 (en) Automatic labeling method of emphysema in CT image based on image report
CN115661037A (zh) 一种胶囊内镜辅助检测方法、装置、系统、设备及介质
CN112037164B (zh) 医学影像中身体部位识别方法及装置
CN113822904B (zh) 一种图像标注装置、方法及可读存储介质
Zhang et al. Ultrasonic Image's Annotation Removal: A Self-supervised Noise2Noise Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant