CN113485555B - 医学影像阅片方法、电子设备和存储介质 - Google Patents
医学影像阅片方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113485555B CN113485555B CN202110795403.XA CN202110795403A CN113485555B CN 113485555 B CN113485555 B CN 113485555B CN 202110795403 A CN202110795403 A CN 202110795403A CN 113485555 B CN113485555 B CN 113485555B
- Authority
- CN
- China
- Prior art keywords
- medical image
- lesion
- information
- sample
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000003902 lesion Effects 0.000 claims abstract description 174
- 210000001508 eye Anatomy 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 18
- 201000010099 disease Diseases 0.000 claims description 14
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 6
- 239000013598 vector Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003748 differential diagnosis Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种医学影像阅片方法、电子设备和存储介质，该方法包括：采集待处理医学影像；将待处理医学影像输入至病变区域识别模型，以输出待处理医学影像对应的病变区域信息；将待处理医学影像输入至病变描述模型，以输出待处理医学影像中与病变区域信息对应的病变描述信息；将病变区域信息和/或病变描述信息输入至影像报告生成模型，以输出待处理医学影像对应的医学影像报。本发明实现在输入待处理医学影像后直接自动输出对应的影像报告，报告中包含定量描述病变的病变区域图像和定性描述病变的文字信息，整个阅片过程全自动化，无需人为干预，大大地提高了对医学影像阅片效率以及准确性。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种医学影像阅片方法、电子设备和存储介质。
背景技术
目前，医学影像阅片主要通过专业资深的影像科医生来完成，影像科医生的阅片工作主要包括对影像的鉴别诊断和医学影像报告的撰写。在影像的鉴别诊断工作中，主要存在如下痛点问题亟待解决：(1)专业影像科医生相对严重缺乏，医学影像数据的年增长率超30％，而影像科医生的年增长率不到4％，两者增长率差距对比巨大；(2)误诊漏诊率偏高，据中国医学的一份误诊报告显示，中国临床医疗总误诊率为27.8％，繁重的阅片工作导致误诊漏诊率居高不下；(3)影像诊断速度有限，在血管标记、三维显示和肿瘤勾画等工作中，医生耗费的时间从几分钟到几个小时；(4)医学影响报告的撰写基于医生手动填写完成；因此，现有的基于医生人工的阅片方式在阅片速度、阅片准确度等方面均无法满足现有的实际要求。
发明内容
本发明要解决的技术问题是为了克服现有技术中基于医生人工的阅片方式存在阅片速度、阅片准确度等方面均无法满足现有的实际要求的缺陷，提供一种医学影像阅片方法、电子设备和存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种医学影像阅片方法，所述方法包括：
采集待处理医学影像；
将所述待处理医学影像输入至病变区域识别模型，以输出所述待处理医学影像对应的病变区域信息；
将所述待处理医学影像输入至病变描述模型，以输出所述待处理医学影像中与所述病变区域信息对应的病变描述信息；
将所述病变区域信息和/或所述病变描述信息输入至影像报告生成模型，以输出所述待处理医学影像对应的医学影像报告；
其中，所述医学影像报告中包括所述待处理医学影像中与所述病变区域信息对应的病灶图像和/或与所述病变描述信息对应的文字信息。
采集若干张样本医学影像；
基于眼球跟踪设备采集设定人员对每张所述样本医学影像进行阅片时的目光聚集区域信息；其中，所述目光聚集区域信息对应发生病变区域；
将每张所述样本医学影像作为输入，对应的所述目光聚集区域信息作为输出，训练得到所述病变区域识别模型。
较佳地，所述基于眼球跟踪设备采集设定人员对每张所述样本医学影像进行阅片时的目光聚集区域信息的步骤包括：
基于所述眼球跟踪设备采集所述设定人员对每张所述样本医学影像进行阅片时目光聚集的多个子区域信息；
根据多个所述子区域信息形成所述样本医学影像对应的所述目光聚集区域信息。
较佳地，所述方法还包括：
基于所述眼球跟踪设备获取所述设定人员对每张所述样本医学影像进行阅片时目光对应的浏览轨迹；
判断所述浏览轨迹是否表征已经全面查看所述样本医学影像中的目标部位，若否，则生成提醒信息以提醒所述设定人员继续阅片，直至所述浏览轨迹表征已经全面查看所述样本医学影像中的目标部位。
较佳地，所述判断所述浏览轨迹是否表征已经全面查看所述样本医学影像中的目标部位，若否，则生成提醒信息以提醒所述设定人员继续阅片的步骤包括：
获取所述浏览轨迹形成的图像区域信息；
提取所述图像区域信息中的分析对象，并将所述分析对象与参考对象进行比较以获取比较结果；
在所述比较结果表征所述分析对象没有完整表示所述参考对象时，则生成提醒信息以提醒所述设定人员继续阅片，直至所述比较结果表征所述分析对象能够完整表示所述参考对象。
较佳地，获取所述病变描述模型的步骤包括：
获取每张所述样本医学影像对应的样本影像报告；
基于预设病变关键字信息，提取出所述样本影像报告对应的样本病变关键字信息；
其中，所述预设病变关键字信息包括疾病名称、疾病类型、疾病特征中的至少一种；
基于每张所述样本医学影像和对应的所述样本病变关键字信息，训练得到所述病变描述模型。
较佳地，所述基于预设病变关键字信息，提取出所述样本影像报告对应的样本病变关键字信息的步骤包括：
获取所述样本医学影像对应的影像特征信息；
获取所述样本病变关键字信息对应的文字特征信息；
基于所述影像特征信息和所述文字特征信息，训练得到所述病变描述模型。
较佳地，获取所述影像报告生成模型的步骤包括：
获取每个所述样本影像报告的样本报告模板信息；
将每张所述样本医学影像对应的所述目光聚集区域信息和/或所述样本病变关键字信息作为输入，对应的所述样本报告模板信息作为输出，训练得到所述影像报告生成模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现上述的医学影像阅片方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的医学影像阅片方法。
在符合本领域常识的基础上，所述各优选条件，可任意组合，即得本发明各较佳实施例。
本发明的积极进步效果在于：
(1)在病变区域识别模型建立阶段，通过配置眼球跟踪设备实现在资深医生阅片时实时跟踪眼球的位置变化，提取出医生在每张样本医学影像上的目标聚集区域，以构建能够识别待处理医学影像中病变区域信息的病变区域识别模型，仿真或模拟资深医生阅片场景，有效地提高了对医学影像中病变区域识别的效率以及准确性；(2)在病变描述模型建立阶段，通过预设病变关键字信息(金标准)和NLP等算法提取出样本影像报告对应的样本病变描述信息，以构建能够获取待处理医学影像中病变区域信息对应的病变描述信息，有效地提高了对医学影像中病变描述信息的获取效率以及准确性；(3)构建影像报告生成模型，实现在输入待处理医学影像后直接自动输出对应的影像报告，报告中包含定量描述病变的病变区域图像和定性描述病变的文字信息，整个阅片过程全自动化，无需人为干预，只基于医生眼动信息即可完成阅片工作全流程，大大地提高了对医学影像阅片效率以及准确性。
附图说明
图1为本发明实施例1的医学影像阅片方法的第一流程图。
图2为本发明实施例1的医学影像阅片方法的第二流程图。
图3为本发明实施例1的医学影像阅片方法的第三流程图。
图4为本发明实施例1的病变描述模型的训练过程示意图。
图5为本发明实施例1的医学影像阅片方法的第四流程图。
图6为本发明实施例1的医学影像阅片方法对应的模型示意图。
图7为本发明实施例2的医学影像阅片系统的模块示意图。
图8为本发明实施例3的实现医学影像阅片方法的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示，本实施例的医学影像阅片方法包括：
S101、采集待处理医学影像；
S102、将待处理医学影像输入至病变区域识别模型，以输出待处理医学影像对应的病变区域信息；
S103、将待处理医学影像输入至病变描述模型，以输出待处理医学影像中与病变区域信息对应的病变描述信息；
S104、将病变区域信息和/或病变描述信息输入至影像报告生成模型，以输出待处理医学影像对应的医学影像报告；
其中，医学影像报告中包括待处理医学影像中与病变区域信息对应的病灶图像和/或与病变描述信息对应的文字信息。
在一可实施例的方案中，如图2所示，本实施例的获取病变区域识别模型的步骤包括：
S201、采集若干张样本医学影像；
S202、基于眼球跟踪设备采集设定人员对每张样本医学影像进行阅片时的目光聚集区域信息；其中，目光聚集区域信息对应发生病变区域；
具体地，基于眼球跟踪设备采集设定人员对每张样本医学影像进行阅片时目光聚集的多个子区域信息；根据多个子区域信息形成样本医学影像对应的目光聚集区域信息。
S203、将每张样本医学影像作为输入，对应的目光聚集区域信息作为输出，训练得到病变区域识别模型。
在训练模型阶段，导入若干患者DICOM(医学数字成像和通信)数据并采用显示设备进行显示；通过在设定位置设置眼动追踪仪，在医生对样本医学影像进行阅片时自动捕获医生目光在每张样本医学影像上的目光聚焦点，这些目光聚焦点为医生目光停留时长超过设定时长的位置，表明这些关注点对应需要仔细观察分析的病变位置，从而迅速有效地建立目标聚集区域与病变区域之间的映射关系，实现仿真医生眼睛阅片的实际阅片场景，对医生看到任意一张医学影像可能会关注的区域进行预测，进而提取出发生病变的轮廓，分割出病变区域，以实现病变区域的自动获取。
在一可实施例的方案中，步骤S202之后、步骤S203之前还包括：
基于眼球跟踪设备获取设定人员对每张样本医学影像进行阅片时目光对应的浏览轨迹；
判断浏览轨迹是否表征已经全面查看样本医学影像中的目标部位，若否，则生成提醒信息以提醒设定人员继续阅片，直至浏览轨迹表征已经全面查看样本医学影像中的目标部位。具体地，该步骤包括如下：
获取浏览轨迹形成的图像区域信息；
提取图像区域信息中的分析对象，并将分析对象与参考对象进行比较以获取比较结果；
在比较结果表征分析对象没有完整表示参考对象时，则生成提醒信息以提醒设定人员继续阅片，直至比较结果表征分析对象能够完整表示参考对象。
通过获取医生在设定时间内目光的浏览轨迹，采用图像分析技术或者人工方式等，分析浏览轨迹所在区域内的对象是否能够全面查看到目标部位，若可以则提醒医生停止对当前样本医学影像进行阅片；否则，提醒医生继续阅片，从而避免了训练模型时，由于确定的目光聚集区域无法完整包括需要研究的部位，造成训练得到的模型也无法准确、可靠地输出阅片结果的情况发生，有效地保证了病变区域识别模型的可靠性。
在一可实施例的方案中，如图3所示，本实施例的获取病变描述模型的步骤包括：
S301、获取每张样本医学影像对应的样本影像报告；
S302、基于预设病变关键字信息，提取出样本影像报告对应的样本病变关键字信息；
其中，预设病变关键字信息包括但不限于疾病名称、疾病类型、疾病特征。
S303、基于每张样本医学影像和对应的样本病变关键字信息，训练得到病变描述模型。
具体地，步骤S303包括：
获取样本医学影像对应的影像特征信息；
获取样本病变关键字信息对应的文字特征信息；
基于影像特征信息和文字特征信息，训练得到病变描述模型。
参见图4，对海量的样本影像报告利用NLP神经网络模型构建文字编码器(Textencoder)，将样本影像报告中的样本病变关键字信息(文字)转化为数字并生成文字特征向量(text feature vector)；对样本医学影像利用卷积神经网络构建图像编码器，提取出样本医学影像的深度特征并生成影像特征信息(image feature vector)，利用相似性损失函数(Loss of similarity)训练这两个神经网络，为便于训练可令图像特征向量和文字特征向量大小相同，对应的影像与影像报告的相似性损失函数值最小；进一步利用分类损失函数训练图像与文字分类网络，分类网络的输出为影像报告中的关键字，例如各种疾病的名称等。
除了应用大量医生标注的影像和影像报告训练图像与文字联合神经网络模型，也可以利用无监督训练技术，学习海量的未标注的影像及影像报告，实现对分类能力的进一步提升。
在病变描述模型建立阶段，通过预设病变关键字信息(金标准)和NLP等算法提取出样本影像报告对应的样本病变描述信息，以构建能够获取待处理医学影像中病变区域信息对应的病变描述信息，建立了影像与病变描述的映射关系，有效地提高了对医学影像中病变描述信息的获取效率以及准确性。
在一可实施例的方案中，如图5所示，本实施例的获取影像报告生成模型的步骤包括：
S401、获取每个样本影像报告的样本报告模板信息；
S402、将每张样本医学影像对应的目光聚集区域信息和/或样本病变关键字信息作为输入，对应的样本报告模板信息作为输出，训练得到影像报告生成模型。
构建影像报告生成模型，实现在输入待处理医学影像后直接自动输出对应的影像报告，报告中包含定量描述病变的病变区域图像和定性描述病变的文字信息，无需医生手动撰写影像文字，大大地提高了对医学影像阅片效率以及准确性，明显地降低了医生的阅片的工作量。
参见图6，在医生浏览影像的同时，依据眼动追踪仪采集目光数据并对其进行处理以确定阅片目光聚集区域以训练病变自动检测模型，自动标注“影像征象”区域即所有检测到的疑似病变，在2D/3D视图中显示病变检测结果，标示病变区域，提醒医生关注该区域的疑似病变；进一步基于金标准病变关键字训练模型以输出影响报告对应的关键字信息并建立病变描述模型，根据检测病变的图像生成病变关键描述信息，并结合病变标注结果和关键描述信息自动生成影像报告，
本实施例中，无需医生手动撰写影像文字，实现在输入待处理医学影像后直接自动输出对应的影像报告，报告中包含定量描述病变的病变区域图像和定性描述病变的文字信息，整个阅片过程全自动化，无需人为干预，只基于医生眼动信息即可完成阅片工作全流程，大大地提高了对医学影像阅片效率以及准确性。
实施例2
如图7所示，本实施例的医学影像阅片系统包括：
影像采集模块1，用于采集待处理医学影像；
病变区域信息输出模块2，用于将待处理医学影像输入至病变区域识别模型，以输出待处理医学影像对应的病变区域信息；
病变描述信息输出模块3，用于将待处理医学影像输入至病变描述模型，以输出待处理医学影像中与病变区域信息对应的病变描述信息；
医学影像报告输出模块4，用于将病变区域信息和/或病变描述信息输入至影像报告生成模型，以输出待处理医学影像对应的医学影像报告；
其中，医学影像报告中包括待处理医学影像中与病变区域信息对应的病灶图像和/或与病变描述信息对应的文字信息。
在一可实施例的方案中，本实施例的医学影像阅片系统还包括区域识别模型获取模块5，该区域识别模型获取模块5包括：
样本影像采集单元6，用于采集若干张样本医学影像；
聚集区域信息采集单元7，用于基于眼球跟踪设备采集设定人员对每张样本医学影像进行阅片时的目光聚集区域信息；其中，目光聚集区域信息对应发生病变区域；
具体地，聚集区域信息采集单元7用于基于眼球跟踪设备采集设定人员对每张样本医学影像进行阅片时目光聚集的多个子区域信息，并根据多个子区域信息形成样本医学影像对应的目光聚集区域信息。
区域识别模型建立单元8，用于将每张样本医学影像作为输入，对应的目光聚集区域信息作为输出，训练得到病变区域识别模型。
本实施例的医学影像阅片系统还配置有数据输入接口、显示设备和眼动追踪仪等。在训练模型阶段，导入若干患者DICOM(医学数字成像和通信)数据并采用显示设备进行显示；通过在设定位置设置眼动追踪仪，在医生对样本医学影像进行阅片时自动捕获医生目光在每张样本医学影像上的目光聚焦点，这些目光聚焦点为医生目光停留时长超过设定时长的位置，表明这些关注点对应需要仔细观察分析的病变位置，从而迅速有效地建立目标聚集区域与病变区域之间的映射关系，实现仿真医生眼睛阅片的实际阅片场景，对医生看到任意一张医学影像可能会关注的区域进行预测，进而提取出发生病变的轮廓，分割出病变区域，以实现病变区域的自动获取。
在一可实施例的方案中，本实施例的医学影像阅片系统还包括浏览情况确定模块9，该浏览情况确定模块9包括：
浏览轨迹获取单元10，用于基于眼球跟踪设备获取设定人员对每张样本医学影像进行阅片时目光对应的浏览轨迹；
判断单元11，用于判断浏览轨迹是否表征已经全面查看样本医学影像中的目标部位，若否，则调用提醒单元生成提醒信息以提醒设定人员继续阅片，直至浏览轨迹表征已经全面查看样本医学影像中的目标部位。
具体地，判断单元11用于获取浏览轨迹形成的图像区域信息；提取图像区域信息中的分析对象，并将分析对象与参考对象进行比较以获取比较结果；在比较结果表征分析对象没有完整表示参考对象时，则生成提醒信息以提醒设定人员继续阅片，直至比较结果表征分析对象能够完整表示参考对象。
通过获取医生在设定时间内目光的浏览轨迹，采用图像分析技术或者人工方式等，分析浏览轨迹所在区域内的对象是否能够全面查看到目标部位，若可以则提醒医生停止对当前样本医学影像进行阅片；否则，提醒医生继续阅片，从而避免了训练模型时，由于确定的目光聚集区域无法完整包括需要研究的部位，造成训练得到的模型也无法准确、可靠地输出阅片结果的情况发生，有效地保证了病变区域识别模型的可靠性。
在一可实施例的方案中，本实施例的医学影像阅片系统还包括病变描述模型获取模块12，该病变描述模型获取模块12包括：
样本影像报告获取单元13，用于获取每张样本医学影像对应的样本影像报告；
样本信息提取模块14，用于基于预设病变关键字信息，提取出样本影像报告对应的样本病变关键字信息；
其中，预设病变关键字信息包括但不限于疾病名称、疾病类型、疾病特征。
病变描述模型训练单元15，用于基于每张样本医学影像和对应的样本病变关键字信息，训练得到病变描述模型。
具体地，病变描述模型训练单元15用于获取样本医学影像对应的影像特征信息；获取样本病变关键字信息对应的文字特征信息；基于影像特征信息和文字特征信息，训练得到病变描述模型。
具体地，参见图4，对海量的样本影像报告利用NLP神经网络模型构建文字编码器，将样本影像报告中的样本病变关键字信息(文字)转化为数字并生成文字特征向量；对样本医学影像利用卷积神经网络构建图像编码器，提取出样本医学影像的深度特征并生成影像特征信息，利用相似性损失函数训练这两个神经网络，为便于训练可令图像特征向量和文字特征向量大小相同，对应的影像与影像报告的相似性损失函数值最小；进一步利用分类损失函数训练图像与文字分类网络，分类网络的输出为影像报告中的关键字，例如各种疾病的名称等。
除了应用大量医生标注的影像和影像报告训练图像与文字联合神经网络模型，也可以利用无监督训练技术，学习海量的未标注的影像及影像报告，实现对分类能力的进一步提升。
在病变描述模型建立阶段，通过预设病变关键字信息(金标准)和NLP等算法提取出样本影像报告对应的样本病变描述信息，以构建能够获取待处理医学影像中病变区域信息对应的病变描述信息，建立了影像与病变描述的映射关系，有效地提高了对医学影像中病变描述信息的获取效率以及准确性。
在一可实施例的方案中，本实施例的医学影像阅片系统还包括报告生成模型获取模块16，该报告生成模型获取模块16包括：
模板信息获取单元17，用于获取每个样本影像报告的样本报告模板信息；
报告生成模型训练单元18，用于将每张样本医学影像对应的目光聚集区域信息和/或样本病变关键字信息作为输入，对应的样本报告模板信息作为输出，训练得到影像报告生成模型。
构建影像报告生成模型19，实现在输入待处理医学影像后直接自动输出对应的影像报告，报告中包含定量描述病变的病变区域图像和定性描述病变的文字信息，无需医生手动撰写影像文字，大大地提高了对医学影像阅片效率以及准确性，明显地降低了医生的阅片的工作量。
参见图6，在医生浏览影像的同时，依据眼动追踪仪采集目光数据并对其进行处理以确定阅片目光聚集区域以训练病变自动检测模型，自动标注“影像征象”区域即所有检测到的疑似病变，在2D/3D视图中显示病变检测结果，标示病变区域，提醒医生关注该区域的疑似病变；进一步基于金标准病变关键字训练模型以输出影响报告对应的关键字信息并建立病变描述模型，根据检测病变的图像生成病变关键描述信息，并结合病变标注结果和关键描述信息自动生成影像报告，
本实施例中，无需医生手动撰写影像文字，实现在输入待处理医学影像后直接自动输出对应的影像报告，报告中包含定量描述病变的病变区域图像和定性描述病变的文字信息，整个阅片过程全自动化，无需人为干预，只基于医生眼动信息即可完成阅片工作全流程，大大地提高了对医学影像阅片效率以及准确性。
实施例3
图8为本发明实施例3提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现实施例1中的医学影像阅片方法。图8显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1中的医学影像阅片方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现实施例1中的医学影像阅片方法中的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1中的医学影像阅片方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (9)
1.一种医学影像阅片方法，其特征在于，所述方法包括：
采集待处理医学影像；
将所述待处理医学影像输入至病变区域识别模型，以输出所述待处理医学影像对应的病变区域信息；
将所述待处理医学影像输入至病变描述模型，以输出所述待处理医学影像中与所述病变区域信息对应的病变描述信息；
将所述病变区域信息和所述病变描述信息输入至影像报告生成模型，以输出所述待处理医学影像对应的医学影像报告；
其中，所述医学影像报告中包括所述待处理医学影像中与所述病变区域信息对应的病灶图像和与所述病变描述信息对应的文字信息；
获取所述病变描述模型的步骤包括：
获取每张样本医学影像对应的样本影像报告；
基于预设病变关键字信息，提取出所述样本影像报告对应的样本病变关键字信息；
基于每张所述样本医学影像和对应的所述样本病变关键字信息，训练得到所述病变描述模型；
获取影像报告生成模型的步骤包括：
获取每个所述样本影像报告的样本报告模板信息；
将每张所述样本医学影像对应的目光聚集区域信息和所述样本病变关键字信息作为输入，对应的所述样本报告模板信息作为输出，训练得到所述影像报告生成模型；
其中，所述目光聚集区域信息基于眼球跟踪设备在设定人员对每张所述样本医学影像进行阅片时采集获得，所述目光聚集区域信息对应发生病变区域。
2.如权利要求1所述的医学影像阅片方法，其特征在于，获取所述病变区域识别模型的步骤包括：
采集若干张样本医学影像；
将每张所述样本医学影像作为输入，对应的所述目光聚集区域信息作为输出，训练得到所述病变区域识别模型。
3.如权利要求2所述的医学影像阅片方法，其特征在于，所述基于眼球跟踪设备采集设定人员对每张所述样本医学影像进行阅片时的目光聚集区域信息的步骤包括：
基于所述眼球跟踪设备采集所述设定人员对每张所述样本医学影像进行阅片时目光聚集的多个子区域信息；
根据多个所述子区域信息形成所述样本医学影像对应的所述目光聚集区域信息。
4.如权利要求3所述的医学影像阅片方法，其特征在于，所述方法还包括：
基于所述眼球跟踪设备获取所述设定人员对每张所述样本医学影像进行阅片时目光对应的浏览轨迹；
判断所述浏览轨迹是否表征已经全面查看所述样本医学影像中的目标部位，若否，则生成提醒信息以提醒所述设定人员继续阅片，直至所述浏览轨迹表征已经全面查看所述样本医学影像中的目标部位。
5.如权利要求4所述的医学影像阅片方法，其特征在于，所述判断所述浏览轨迹是否表征已经全面查看所述样本医学影像中的目标部位，若否，则生成提醒信息以提醒所述设定人员继续阅片的步骤包括：
获取所述浏览轨迹形成的图像区域信息；
提取所述图像区域信息中的分析对象，并将所述分析对象与参考对象进行比较以获取比较结果；
在所述比较结果表征所述分析对象没有完整表示所述参考对象时，则生成提醒信息以提醒所述设定人员继续阅片，直至所述比较结果表征所述分析对象能够完整表示所述参考对象。
6.如权利要求2-5中任一项所述的医学影像阅片方法，其特征在于，所述预设病变关键字信息包括疾病名称、疾病类型、疾病特征中的至少一种。
7.如权利要求6所述的医学影像阅片方法，其特征在于，所述基于预设病变关键字信息，提取出所述样本影像报告对应的样本病变关键字信息的步骤包括：
获取所述样本医学影像对应的影像特征信息；
获取所述样本病变关键字信息对应的文字特征信息；
基于所述影像特征信息和所述文字特征信息，训练得到所述病变描述模型。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1-7中任一项所述的医学影像阅片方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的医学影像阅片方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795403.XA CN113485555B (zh) | 2021-07-14 | 2021-07-14 | 医学影像阅片方法、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795403.XA CN113485555B (zh) | 2021-07-14 | 2021-07-14 | 医学影像阅片方法、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113485555A CN113485555A (zh) | 2021-10-08 |
| CN113485555B true CN113485555B (zh) | 2024-04-26 |
Family
ID=77939319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110795403.XA Active CN113485555B (zh) | 2021-07-14 | 2021-07-14 | 医学影像阅片方法、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113485555B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116822260B (zh) * | 2023-08-31 | 2023-11-17 | 天河超级计算淮海分中心 | 一种基于数值转换的眼球仿真方法、电子设备及存储介质 |
| CN117272393B (zh) * | 2023-11-21 | 2024-02-02 | 福建智康云医疗科技有限公司 | 一种区域性内网扫码跨医院查阅医学影像的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108324246A (zh) * | 2018-01-19 | 2018-07-27 | 上海联影医疗科技有限公司 | 医疗诊断辅助系统及方法 |
| CN108573490A (zh) * | 2018-04-25 | 2018-09-25 | 王成彦 | 一种针对肿瘤影像数据的智能读片系统 |
| CN109830284A (zh) * | 2017-11-23 | 2019-05-31 | 天启慧眼(北京)信息技术有限公司 | 医学影像的分析方法及装置 |
| KR20190105460A (ko) * | 2018-03-05 | 2019-09-17 | 주식회사 인공지능연구원 | 의료 진단 리포트 생성 장치 및 방법 |
| KR102140402B1 (ko) * | 2019-09-05 | 2020-08-03 | 주식회사 루닛 | 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치 |
| CN112885435A (zh) * | 2019-11-29 | 2021-06-01 | 天津拓影科技有限公司 | 图像目标区域的确定方法、装置和系统 |
| CN113079311A (zh) * | 2020-01-06 | 2021-07-06 | 北京小米移动软件有限公司 | 图像获取方法及装置、电子设备、存储介质 |
-
2021
- 2021-07-14 CN CN202110795403.XA patent/CN113485555B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109830284A (zh) * | 2017-11-23 | 2019-05-31 | 天启慧眼(北京)信息技术有限公司 | 医学影像的分析方法及装置 |
| CN108324246A (zh) * | 2018-01-19 | 2018-07-27 | 上海联影医疗科技有限公司 | 医疗诊断辅助系统及方法 |
| KR20190105460A (ko) * | 2018-03-05 | 2019-09-17 | 주식회사 인공지능연구원 | 의료 진단 리포트 생성 장치 및 방법 |
| CN108573490A (zh) * | 2018-04-25 | 2018-09-25 | 王成彦 | 一种针对肿瘤影像数据的智能读片系统 |
| KR102140402B1 (ko) * | 2019-09-05 | 2020-08-03 | 주식회사 루닛 | 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치 |
| CN112885435A (zh) * | 2019-11-29 | 2021-06-01 | 天津拓影科技有限公司 | 图像目标区域的确定方法、装置和系统 |
| CN113079311A (zh) * | 2020-01-06 | 2021-07-06 | 北京小米移动软件有限公司 | 图像获取方法及装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113485555A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11850021B2 (en) | Dynamic self-learning medical image method and system | |
| US10984674B2 (en) | System and method to teach and evaluate image grading performance using prior learned expert knowledge base | |
| CN110993064B (zh) | 面向深度学习的医学影像标注方法及装置 | |
| KR102014385B1 (ko) | 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치 | |
| US10002311B1 (en) | Generating an enriched knowledge base from annotated images | |
| US20190139642A1 (en) | System and methods for medical image analysis and reporting | |
| WO2019204520A1 (en) | Dental image feature detection | |
| US8577109B2 (en) | Systems and methods for automated extraction of measurement information in medical videos | |
| CN113485555B (zh) | 医学影像阅片方法、电子设备和存储介质 | |
| Stember et al. | Integrating eye tracking and speech recognition accurately annotates MR brain images for deep learning: proof of principle | |
| CN111986182A (zh) | 辅助诊断方法、系统、电子设备及存储介质 | |
| Alsharid et al. | Gaze-assisted automatic captioning of fetal ultrasound videos using three-way multi-modal deep neural networks | |
| US20230335261A1 (en) | Combining natural language understanding and image segmentation to intelligently populate text reports | |
| Pearce et al. | Getting seamless care right from the beginning-integrating computers into the human interaction. | |
| CN112885435B (zh) | 图像目标区域的确定方法、装置和系统 | |
| CN113842113A (zh) | 发展性阅读障碍智能识别方法、系统、设备及存储介质 | |
| CN110660479A (zh) | 一种动态医学影像ai训练诊断系统 | |
| US11705232B2 (en) | Communication system and method | |
| EP4272221B1 (en) | Method and system for facilitating reading of medical images | |
| US20240046456A1 (en) | Systems and methods for dental image analysis | |
| Moradizeyveh et al. | When Eye-Tracking Meets Machine Learning: A Systematic Review on Applications in Medical Image Analysis | |
| Anikina et al. | Recognition of radiological decision errors from eye movement during chest x-ray readings | |
| Gabaln | Effect of multimedia on medical field | |
| CN114627050A (zh) | 基于肝部病理全切片的病例分析方法及系统 | |
| CN117316387A (zh) | 一种多模态时序处理的抑郁状态数据处理方法、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |