CN109997197A - 基于对医学图像的注释更新症状的概率 - Google Patents
基于对医学图像的注释更新症状的概率 Download PDFInfo
- Publication number
- CN109997197A CN109997197A CN201780052362.7A CN201780052362A CN109997197A CN 109997197 A CN109997197 A CN 109997197A CN 201780052362 A CN201780052362 A CN 201780052362A CN 109997197 A CN109997197 A CN 109997197A
- Authority
- CN
- China
- Prior art keywords
- annotation
- image
- report
- symptom
- reader
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000024891 symptom Diseases 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 140
- 239000003814 drug Substances 0.000 claims abstract description 111
- 238000003860 storage Methods 0.000 claims description 72
- 201000010099 disease Diseases 0.000 claims description 13
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 3
- 230000003902 lesion Effects 0.000 description 122
- 210000003484 anatomy Anatomy 0.000 description 64
- 210000000481 breast Anatomy 0.000 description 39
- 238000007689 inspection Methods 0.000 description 34
- 238000003384 imaging method Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 29
- 238000013507 mapping Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 22
- 238000002224 dissection Methods 0.000 description 21
- 238000011049 filling Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 15
- 230000004044 response Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 210000001519 tissue Anatomy 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000009607 mammography Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000004185 liver Anatomy 0.000 description 5
- 210000004883 areola Anatomy 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000007920 subcutaneous administration Methods 0.000 description 4
- 238000003325 tomography Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000003760 hair shine Effects 0.000 description 3
- 238000002513 implantation Methods 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 210000002445 nipple Anatomy 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010002329 Aneurysm Diseases 0.000 description 2
- 201000008450 Intracranial aneurysm Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 210000001370 mediastinum Anatomy 0.000 description 2
- 230000002969 morbid Effects 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000013517 stratification Methods 0.000 description 2
- 210000000779 thoracic wall Anatomy 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 208000002330 Congenital Heart Defects Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000521257 Hydrops Species 0.000 description 1
- 208000008771 Lymphadenopathy Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 208000013228 adenopathy Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000005831 heart abnormality Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000505 pernicious effect Effects 0.000 description 1
- 210000004224 pleura Anatomy 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
用于检查医学图像的方法和系统。一种系统包括:电子处理器,被配置为显示电子医学图像,编译与电子医学图像相关联的临床信息,基于临床信息确定与电子医学图像相关联的患者的症状的概率,并使用医学图像显示症状的概率。电子处理器还被配置为接收电子医学图像的注释,基于临床信息和注释确定症状的更新概率,并显示症状的更新概率。
Description
技术领域
本发明的实施例涉及自动填充医学数据的结构化报告,更具体地,涉及将图像注释映射到结构化报告的数据字段。
背景技术
在过去的30年中,放射学信息系统(RIS)/图片存档和通信系统(PACS)的研究和开发集中于用户效率、数据完整性、存储和传输。在乳房成像领域,只有通过计算机辅助检测和乳房断层合成等技术进步才能最低限度地提高读者的准确性。计算机辅助设计(CAD)和乳房断层合成导致小的可测量的质量改进,代价是降低了读者效率和更高价格的技术。
报告乳房X射线照片的阅读医师表现差异很大。例如,Carney等人建立了“合理的”读者性能标准,发现对于各种指标,许多读者的表现低于他们的标准。18%的读者超出了可接受的敏感范围,47.7%超出了可接受的特异性,49.1%超出了可接受的回忆率,38.4%超出了可接受的PPV1(筛查乳房X射线照片中的阳性预测值被确定为异常或需要更多评估),34%超出了可接受的PPV2(在推荐用于活组织检查的检查中的阳性预测值),以及28.4%超出了可接受的癌症检出率。作者预测,每100000个乳房X射线照片,如果读者可以改善到可接受的范围内,将检测到14个以上的癌症,并且将发生880个以下的假阳性(Carney等人,Identify Minimally Acceptable Interpretative Performance Criteria forScreening Mammography(识别最小可接受的解释性能标准筛查乳腺摄影),Radiology(放射学)255(2),2010。)
更理想的图像呈现模式,例如成像改组,可以有意义地提高读者的速度并且在提高准确性方面显示出前景(Drew等人,Imaging Toggling Saving Time in Mammography(成像切换可节省乳腺摄影时间),Journal of Digital Imaging(数字成像杂志)3(1):011003-7,2015.Reicher,MA和Wolfe,JM。Let’s Use Cognitive Science to CreateCollaborative Workstations(让我们使用认知科学创建协作工作站),JACR 2016inpress)。
放射科医师的表现还可以通过增加读者花费查看/分析图像的相对时间,理解当今读者在获得对患者的临床状况/风险的理解,查看图像和生成报告之间的时间划分来改善。例如,医生可以点击显示乳房X射线照片的数字并让系统自动填充具有该发现的解剖位置的报告的系统可以大大减少报告时间,提高对既定报告标准(例如)的依从性并消除常见错误(例如放射科医生在左侧乳房中看到病变并错误地说明病变位于右侧乳房)。
可以通过有效地告知读者每个患者的风险分层来提高读者的性能,使得读者可以基于临床风险因素调用阅读标准转变。这种转变是有益的,因为测试的预测值受到研究人群中疾病概率的影响。
因此,本领域需要解决上述问题。
发明内容
从第一方面来看,本发明提供了一种用于检查医学图像的系统,该系统包括:电子处理器,被配置为:显示电子医学图像,编译与电子医学图像相关联的临床信息,基于所述临床信息确定与所述电子医学图像相关联的患者相关的症状的概率,使用所述电子医学图像显示症状的概率,接收对所述电子医学图像的注释,基于所述临床信息和所述注释,确定所述症状的更新概率,并显示所述症状的更新概率。
从另一方面来看,本发明提供了一种检查医学图像的方法,该方法包括:显示电子医学图像;编制与所述电子医学图像相关的临床信息;利用电子处理器,基于所述临床信息确定与所述电子医学图像相关联的患者相关的症状的概率;使用所述电子医学图像显示症状的概率;接收所述电子医学图像的注释;基于所述临床信息和所述注释,利用所述电子处理器确定所述症状的更新概率;以及显示所述症状的更新概率。
从另一方面来看,本发明提供了一种用于查看医学图像的计算机程序产品,该计算机程序产品包括可由处理电路读取的计算机可读存储介质,并存储由处理电路执行的用于执行用于执行本发明的步骤的方法的指令。
从另一方面来看,本发明提供了一种存储在计算机可读介质上并且可加载到数字计算机的内部存储器中的计算机程序,包括当所述程序在计算机上运行时用于执行本发明的步骤的软件代码部分。
阅读医师(“读者”)生成报告作为图像研究的一部分(例如,心脏病学报告、超声报告等)。结构化报告软件应用程序允许读者生成结构化报告。例如,结构化报告软件应用程序可以提供可用报告数据元素的菜单,读者可以选择该菜单,然后用值填充所选数据元素。可用数据元素或部分的菜单通常被构造为树结构,其中读者从高级报告类型向下钻取到特定数据元素。使用这样的树结构涉及许多用户与软件应用程序的交互(例如,鼠标点击),这可能会使读者中断观看他或她正在报告的数据(例如,图像)。
因此,本发明的实施例提供了用于查看医学图像并为医学图像生成报告的方法和系统。本发明的一个实施例提供了一种生成与所显示的电子医学图像相关联的电子结构化报告的方法。该方法包括接收电子医学图像的注释,利用电子处理器自动确定与注释相关联的电子医学图像内的解剖位置,并且利用电子处理器基于预定映射自动确定与解剖位置相关联的电子结构化报告内的位置。该方法还包括基于注释自动填充电子结构化报告的位置。电子结构化报告可以是解剖学结构的。此外,注释可以包括转移到电子结构化报告的位置的标签。而且,在一些实施例中,生成与注释相关联的解剖位置语法,并且其中基于注释自动填充电子结构化报告的位置包括用包括在解剖位置语法中的至少一个值填充位置。
本发明的另一个实施例提供了一种包括电子处理器的系统。电子处理器被配置为显示电子医学图像,接收电子医学图像的注释,自动确定与注释相关联的医学图像内的解剖位置,并基于预定的映射自动确定与解剖学位置相关联的电子结构化报告内的位置。电子处理器还被配置为基于注释自动填充电子结构化报告的位置,并自动将数据输出到电子医学图像的读者,通知读者电子结构化报告的位置,其中输出数据包括视觉数据和音频数据中的至少一个。
本发明的另一实施例提供了包括指令的非暂时性计算机可读介质,所述指令在由电子处理器执行时使得电子处理器执行一组功能。该组功能包括接收医学图像的第一注释,基于预定映射自动确定与第一注释相关联的电子结构化报告内的位置,并基于第一注释自动填充电子结构化报告的位置。该组功能还包括更新医学图像内显示的第一注释,以第一方式显示第一注释,该第一方式不同于用于在未映射到电子结构化报告内的任何位置的医学图像内显示第二注释的第二方式。更新第一注释可以包括更新第一注释的颜色、第一注释的大小、第一注释的动画,第一注释的图形或其组合。
本发明的另一个实施例提供了一种用于查看医学图像的系统。该系统包括:电子处理器,被配置为接收所显示的电子医学图像的注释,其中,注释包括在医学图像内表示的病变的标签,并且自动确定在与显示的电子医学图像相关联的成像检查期间,在获取的其他医学图像中病变是否被标记一次或多次。电子处理器还被配置为基于注释识别存储的规则,其中存储的规则指定是否应该在其他医学图像中标记病变,并且基于病变是否在其他医学图像被标记一次或多次来执行存储的规则。电子处理器还被配置为基于执行存储的规则自动启动至少一个自动动作。该至少一个自动动作可以包括生成警告、更新注释或执行其组合。标签可以将病变识别为肿块,并且存储的规则可以与读者、工作站、组织、应用程序、患者、图像模态、解剖结构、医学图像或其组合相关联。
本发明的又一实施例提供了包括指令的非暂时性计算机可读介质,所述指令在由电子处理器执行时使电子处理器执行一组功能。该组功能包括接收第一电子医学图像的第一注释,其中第一注释包括在第一医学图像内表示的病变的标签,以及接收第二电子医学图像的第二注释,其中第二注释包括在第一个医学图像中表示的病变标签。该组功能还包括基于第一注释和第二注释中的至少一个识别存储的规则,基于第一注释和第二注释执行存储的规则,并基于执行该存储的规则自动更新第一注释和第二注释中的至少一个。在一些实施例中,更新第一注释,第二注释或两者以将病变指定为肿块。
本发明的另一实施例提供了一种检查医学图像的方法。该方法包括接收标记第一解剖位置的第一电子医学图像的第一注释,其中第一医学图像表示来自第一视图的解剖结构,以及接收标记第二解剖位置的第二电子医学图像的第二注释,其中第二医学图像表示来自第二视图的解剖结构。该方法还包括利用电子处理器基于第一注释自动确定第二医学图像内的第三解剖位置,并利用电子处理器将第三解剖位置与第二解剖位置进行比较,响应于第二解剖位置与第三解剖位置不一致,利用电子处理器自动启动至少一个自动动作。该至少一个自动动作可以包括生成指示第三解剖位置和第二解剖位置之间的匹配程度的警告。
本发明的另一个实施例提供了一种用于查看医学图像的系统。该系统包括:电子处理器,被配置为创建用于跟踪解剖学发现的数据结构,接收标记第一电子医学图像内的第一解剖学发现的第一注释,其中在解剖结构的第一成像过程期间捕获第一电子医学图像,并将数据添加到表示第一解剖发现的第一参数的数据结构中。电子处理器还被配置为接收标记第二电子医学图像内的第二解剖学发现的第二注释,其中第二电子医学图像在解剖结构的第二成像过程期间被捕获,并且将数据添加到表示第二电子医学图像的第二个解剖学发现的第二个参数的数据结构中。电子处理器还被配置为显示数据结构的至少一部分。添加到数据结构的数据可以表示解剖学发现的大小、位置或两者。电子处理器还可以被配置为在显示的数据结构上叠加临床事件的标识符。本发明的其他实施例提供了包括指令的非暂时性计算机可读介质,所述指令在由电子处理器执行时使电子处理器执行上述功能。
本发明的另一实施例提供了一种检查医学图像的方法。该方法包括创建用于跟踪解剖学发现的数据结构,接收标记与图像研究相关联的第一解剖学发现的第一注释,并将第一解剖学发现的第一个参数添加到数据结构中。该方法还包括接收标记与图像研究相关联的第二解剖学发现的第二注释,以及将第二解剖发现的第二参数添加到数据结构。另外,该方法包括基于数据结构显示数据。所显示的数据可以指示在图像研究或图像内标记的多个病变,或者可以包括在图像研究内是否标记任何病变的指示。
本发明的又一个实施例提供了一种用于查看医学图像的系统。该系统包括电子处理器,其被配置为显示电子医学图像,编译与电子医学图像相关联的临床信息,基于临床信息确定与电子医学图像相关联的与患者相关联的症状的概率,并用医学图像显示病情的概率。电子处理器还被配置为接收电子医学图像的注释,基于临床信息和注释确定症状的更新概率,并显示症状的更新概率。在一些实施例中,电子处理器被配置为基于与从由地理位置、组织、读者、转诊医师和患者组成的组中选择的至少一个相关联的至少一个规则来确定症状的更新概率。电子处理器还可以被配置为使用从由彩色突出显示、闪烁信号和音调组成的组中选择的至少一个来显示更新的概率。本发明的另外的实施例提供了一种方法和包括指令的计算机可读介质,当由电子处理器执行指令时执行上述功能。
本发明的另一个实施例提供了一种用于手动注释医学图像的系统。该系统包括电子处理器,其被配置为通过输入机制接收标记(例如,形状)的选择,通过输入机制接收与标记相关联的注释类型的选择,并存储标记到注释类型的映射。电子处理器还被配置为接收所显示的电子医学图像的注释,其中注释包括标记,并且基于该映射,基于注释类型自动更新注释。本发明的其他实施例提供了包括指令的非暂时性计算机可读介质,所述指令在由电子处理器执行时使电子处理器执行上述功能。
本发明的另一实施例提供了一种用于注释医学图像的方法。该方法包括显示电子医学图像,接收电子医学图像的注释,以及利用电子处理器基于注释识别存储的规则,存储的规则指定是否应该为注释自动生成一个或多个值。该方法还包括利用电子处理器基于注释执行存储的规则,并基于执行存储的规则,利用电子处理器自动修改注释。可以基于分配给电子医学图像的读者、成像站点、读取站点、电子医学图像的检查类型、电子医学图像中表示的解剖结构,与注释相关联的解剖结构或其组合来识别存储的规则。可以基于电子医学图像通过自动确定注释的值来自动修改注释。
附图的简要说明
现在将仅通过示例的方式参考优选实施例描述本发明,如以下附图所示:
图1示出了根据现有技术显示给阅读医师的示例信息,并且其中可以实现本发明的优选实施例;
图2示意性地示出了根据现有技术的用于生成报告的系统;
图3是根据现有技术示出使用图2的系统执行的生成报告的方法的流程图;
图4示出了根据现有技术的以背靠背方向显示的右侧对称的侧视乳房X射线照片视图和左侧对称的侧视乳房X射线照片视图;
图5示出了右侧侧视乳房X射线照片视图和中侧斜位乳房X射线照片视图,其中深度图形将每个乳房分成前部深度,中间深度和后部深度;
图6示出了根据现有技术的右侧侧视乳房X射线照片视图和中侧斜位乳房X射线照片视图,其中深度图形将每个乳房分成前,中和后三分之一,其中倾斜图像上的划分显示为斜线;
图7示出了根据现有技术的从正视图使用时钟标准表示的位置;
图8示出了根据现有技术的使用从斜视图和头尾视图使用时钟标准表示的位置;
图9示出了根据现有技术从正视图使用标准区域表示的距离;
图10示出了根据现有技术的部分完成的乳房X射线照片报告的样本部分;
图11是根据现有技术示出使用使用图11的系统执行的存储规则来验证注释的方法的流程图2;
图12示出了根据现有技术的右侧侧视乳房X射线照片视图和具有匹配位置图形的中侧斜视乳房X射线照片视图;
图13示意性地示出了根据现有技术的表示三角测量过程的右侧乳房的侧视图,中侧斜位视图和中侧视图的图示;
图14示出了根据现有技术的基于时钟上的深度和位置的位置匹配;
图15示出了根据现有技术的基于位置和形态的病变匹配;
图16是根据现有技术说明使用图2的系统执行的说明检查一致注释的方法的流程图;
图17是根据现有技术使用图2的系统执行的说明跟踪一个或多个医学图像内识别的病变的方法的流程图;
图18是根据现有技术使用图2的系统执行的说明确定与显示的医学图像相关联的症状的概率的方法的流程图;
图19是根据现有技术使用图2的系统执行的说明定制注释的方法的流程图;
图20示出了根据现有技术的计算机断层摄影检查和相关报告;以及
图21示出了根据现有技术包括在图20的计算机断层摄影检查中的图像上的第一发现标签和第二发现标签。
具体实施方式
当阅读医师(“读者”)使用传统的计算机化阅读和报告系统读取成像检查(例如,乳房X射线照片)时,报告系统可以显示,例如,如图1所示,来自当前检查10和一个或多个相关在先检查15的电子医学图像。可选地或另外地,报告系统可以显示患者的临床信息、当前临床报告、一个或多个先前临床报告、各种电子表格、计算机辅助检测(CAD)结构化报告、以及根据乳房X线摄影质量标准法(MQSA)要求和美国放射学会(ACR)乳腺成像-报告和数据系统指南对发现进行编码、报告发现或两者的一个或多个对话框。
报告系统可以使用各种手动选择或自动选择的显示协议来显示当前检查10、相关的在先检查15或其组合。例如,如图1中所示,包括八个医学图像的当前检查10可以显示在相关的一个或多个在先检查15的左侧,其也包括八个图像。
尽管每个个体阅读医师的行为存在变化,但是评论过程通常始于读者检查患者的相关历史和风险因素。检查患者的相关历史和风险因素可能涉及多个步骤,例如打开电子文档、收集纸质文档等。在一些实施例中,如图1所示,患者的相关病史和风险因素可以自动编译并呈现在例如预处理的临床报告20中。预处理的临床报告20可以允许读者更快地理解,例如,患者的信息和患者转诊医生提供的信息。
在检查患者的相关历史和风险因素之后,读者通常继续查看患者的临床图像(例如,包括在当前检查10中的图像)。读者可以在食品和药物管理局(FDA)批准用于数字乳房X线照相术的一个或多个计算机监视器上查看患者的临床图像。在查看患者的临床图像时,读者可以多次重新排列图像以比较相同检查的图像,将来自当前检查10的图像与来自相关的一个或多个先前检查15的图像或其组合进行比较。可以通过例如个人偏好来控制图像的布置和呈现。例如,读者可以使用输入机制(例如,键盘、鼠标、麦克风等)通过一系列显示协议来进行。此外,读者可以选择放大图像、显示计算机辅助诊断(CAD)标记或其组合。替代地或另外地,读者可以选择显示图像的缩小视图(例如,图像缩略图)以便于在各种显示位置中拖放图像。
在阅读医生完成他或她对患者临床图像的评论之后,读者通过例如听写、语音识别、打字、鼠标点击一个或多个对话(例如,各种可将文本输入到报告中的用户界面,范围从听写到鼠标驱动的数据输入表单)或其组合来生成当前检查10的报告。因此,读者通常在获得对患者的临床状况和风险的理解、查看图像和生成报告之间划分时间,并且经常需要改变他们在众多界面和显示之间的焦点和交互以完成报告。这种交互可能效率低下并且可能引入错误。
因此,本发明的实施例使用图像分析、深度学习、人工智能、认知科学或其组合来改善读者的表现。例如,如下面更详细描述的,本发明的实施例允许读者点击电子显示的医学图像(例如,乳房X射线照片或其他类型的数字显示的医学图像)并自动填充报告,这可以基本上减少报告时间,提高对既定报告标准(如ACR)的依从性,并减少一些常见错误(例如,读者看到左侧乳房有病变并错误地说明病变位于右侧乳房)。
例如,图2示意性地示出了用于生成报告的系统30。如图2所示,系统30包括计算设备35,计算设备35包括电子处理器40、非暂时性计算机可读介质45和通信接口50。尽管如此,电子处理器40、计算机可读介质45和通信接口50被作为单个计算设备35(例如,诸如个人计算机或服务器)的一部分示出,但是计算设备35的组件可以分布在多个计算设备12上。类似地,计算设备35可以包括多个电子处理器、计算机可读介质模块和通信接口并且可以包括除图2中所示的组件之外的额外组件。
电子处理器40检索并执行存储在计算机可读介质45中的指令。电子处理器40还可以将数据存储到计算机可读介质45。计算机可读介质45可以包括非暂时性计算机可读介质,并且可以包括易失性存储器、非易失性存储器或其组合。在一些实施例中,计算机可读介质45包括磁盘驱动器或其他类型的大容量存储机制。
通信接口50从计算设备35外部的数据源接收信息,并将来自计算设备35的信息输出到外部数据源。例如,通信接口50可以包括网络接口,例如以太网卡或无线网卡,其允许计算设备35通过网络(例如局域网或因特网)发送和接收信息。如图2所示,在一些实施例中,通信接口50(直接或间接地)与图像数据库55和报告数据库60通信。如下面更详细描述的,图像数据库55可以存储患者信息,包括图像、患者标识符、患者历史、订单信息等。报告数据库60存储报告,例如结构化图像研究报告。在一些实施例中,图像数据库55和报告数据库60组合在单个数据库中。在其他实施例中,图像数据库55、报告数据库60或其组合分布在多个数据库上。而且,在一些实施例中,图像数据库55、报告数据库60或两者包括在计算设备35内(例如,作为计算机可读介质45的一部分)。在一些实施例中,计算设备35还包括被配置为从一个或多个外围设备(例如,输入机构和输出机构)接收数据和从一个或多个外围设备发送数据的驱动器,例如键盘、鼠标、打印机、麦克风、监视器等。
存储在计算机可读介质45中的指令在由电子处理器40执行时执行特定功能。例如,如图2所示,计算机可读介质45包括报告应用程序65。如下面更详细描述的,报告应用程序65在由电子处理器40执行时生成报告,例如用于医学图像研究的结构化报告(例如,乳房X射线照片、心脏病学报告、超声波报告等)。在一些实施例中,除了提供报告功能之外,报告应用65还提供用于查看医学图像、访问患者信息或其组合的功能。
在一些实施例中,计算设备35是由读者操作以在本地执行报告应用程序65的个人计算机。然而,在其他实施例中,计算设备35是将报告应用程序65托管为基于网络应用程序的服务器。因此,读者可以通过诸如因特网的通信网络访问报告应用程序65。因此,在一些实施例中,读者不需要在他们的工作站或个人计算机上安装报告应用程序65。而是,在一些实施例中,读者可以使用诸如Internet或的浏览器应用程序来访问报告应用程序65。
在一些实施例中,报告应用程序65与图像数据库55交互以访问图像、基于图像生成报告(例如,基于来自读者的输入)、并将生成的报告存储到报告数据库60。在一些实施例中,图像数据库55、报告数据库60或其组合包括在图片存档和通信系统(PACS)中。而且,在一些实施例中,计算设备35包括在PACS中。在其他实施例中,计算设备35可以通过通信接口50访问图像数据库55、报告数据库60和PACS的其他组件。
图3示出了由系统30执行的用于生成医学图像的报告的方法70。以下将方法70描述为由报告应用程序65执行(由电子处理器40执行)。然而,方法70或其部分可以由与报告应用65交互的一个或多个单独的软件应用程序(由电子处理器40或一个或多个其他电子处理器执行)执行(例如,作为附加功能)。
如图3中所示,当显示电子医学图像时(例如,通过报告应用程序65或单独的查看应用程序),方法70包括接收医学图像的注释(在框75)。注释表示所显示的电子医学图像内的特定位置的电子选择,并且可以与一个或多个值相关联,例如标签、测量、发现等。如在本申请中所使用的,注释也可以被称为“标记”。注释可以采用各种形状(例如,圆形、箭形、线形、矩形、球形等)、尺寸、和形式,可以是一维标记、二维标记或三维标记。在一些实施例中,报告应用程序65包括用于向显示的医学图像添加注释的一个或多个工具,例如包括与具有不同形状和大小的标记相关联的,读者可以选择(拖放)并添加到的显示的图像的图标的工具栏。
在一些实施例中,报告应用程序65还提供一个或多个工具或自动功能以帮助读者生成注释。例如,在一些实施例中,报告应用程序65自动缩放显示给读者的医学图像。作为一个例子,图4示出左侧对称的侧视乳房X射线照片视图100和右侧对称的侧视乳房X射线照片视图105。左侧对称的侧视乳房X射线照片视图100和右侧对称的侧视乳房X射线照片视图105以背靠背方向显示。右侧对称的侧视乳房X射线照片视图105位于第一显示容器110内,左侧对称的侧视乳房X射线照片视图100位于第二显示容器115内。报告应用程序65可自动将每个对称的侧视乳房X射线照片视图100和105扩展到每个显示容器110和115中。例如,如图4所示,报告应用程序65可以被配置为自动扩展对称的侧视乳房X射线照片视图100和105的每个以适合各个显示容器110和115中的每一个,而不会切断视图中表示的解剖结构的相关部分。报告应用程序65可以使用图像分析来执行这种自动缩放,图像分析是评估乳房轮廓的计算机算法,以便于自动放大和显示每个侧视乳房X射线照片视图100和105的每个,或其组合。
在一些实施例中,报告应用程序65还自动将医学图像中表示的解剖结构划分为一个或多个图像深度。例如,对于乳房X射线照片,报告应用65可以自动检测乳房轮廓并将每个乳房分成多个(例如,三个)解剖深度,例如前深度、中深度和后深度。报告应用65可以通过将从乳晕到胸壁的距离除以期望深度的数量来执行划分。例如,图5示出了右侧侧视乳房X射线照片视图120和中侧斜位乳房X射线照片视图125。每个乳房X射线照片视图120和125被分成前部深度130、中间深度135和后部深度140。在一些实施例中,可以存在基于不同解剖标志的额外的或者较少解剖深度。而且,尽管乳房X射线照片用于本申请中提供的许多示例,但是本文描述的方法和系统可以与使用不同类型的成像模态生成的各种类型的解剖结构的不同类型的医学图像一起使用,包括但不限于磁共振成像(MRI)扫描、位置发射断层扫描(PET)扫描、X射线计算机断层扫描(CT)扫描、核医学(NM)扫描、计算机X线摄影(CR)扫描、X射线血管造影(XA)扫描、乳房断层合成以及由医学数字成像和通信(DICOM)标准定义的其他模态。
可选地,报告应用65可以基于深度划分自动显示一个或多个深度图形145。例如,如图5所示,每个乳房X射线照片视图120和125包括位于前深度130和中间深度135之间的第一深度图形145A和位于中间深度135和后深度140之间的第二深度图形145B。在一些实施例中,当读者与医学图像交互时,一个或多个更深度的图形145自动出现。例如,当读者注释医学图像(例如,标记病变)时,一个或多个深度图形145可以瞬时出现。替代地或另外地,当读者激活用于指示发现的麦克风时,可以出现一个或多个深度图形145。
当乳房在倾斜平面中成像时,解剖点相对于乳晕的实际深度取决于图像的倾斜度。因此,与图5中所示的中侧斜位乳房X射线照片视图125不同,解剖学深度可以更多地在倾斜的乳房X射线照相投影上。因此,如图6中所示,可以更精确地描绘解剖深度。如图6所示,中侧斜位乳房X射线照片视图125上的一个或多个深度图形145可以被示为位于前深度130和中间深度135之间的第一斜线145C和位于中间深度135和后深度140之间的第二斜线145D。
在一些实施例中,报告应用程序65基于存储在医学数字成像和通信(DICOM)、与显示的医学图像相关的元文件中(例如,存储在图像数据库55中)的信息确定第一斜线145C的角度和第二斜线145D的角度。DICOM元文件中的信息可以指示在获得图像时成像系统的倾斜度。读者还可以手动调节第一斜线145C和第二斜线145D的位置的倾斜度。在一些实施例中,报告应用程序65评估DICOM元文件,其他图像倾斜度信息或两者以自动创建解剖图形和分割。
除了深度图形145之外或作为其替代,在一些实施例中,报告应用65自动生成并显示医学图像内的一个或多个标签。标签识别医学图像内特定解剖位置或界标的位置。例如,对于乳房X射线照片,报告应用程序65可以显示乳晕位置、表皮下位置、真皮位置、真皮下位置、皮下位置、腋窝位置、胸壁位置、植入物位置或其组合的标签。报告应用65可以使用一种或多种类型的图像分析自动生成标签,包括例如评估皮肤轮廓、密度、MRI强度、血管增强图案、图像组织的分割或其组合。在一些实施例中,报告应用程序65可以基于人工智能和深度学习来细化自动标记(例如,跟踪手动标签被定位的位置或者如何手动调整自动生成的标签)。如下所述,自动标签可以用作注释。然而,它们也可用于提供解剖位置的整体知识,这有助于读者查看和理解图像。
在一些实施例中,读者使用例如音频命令、鼠标点击、键盘快捷键或其组合来手动控制一个或多个深度图形145、标签或两者的显示。此外,读者可以交互地调整一个或多个分区、深度图形145、标签或两者的位置。例如,在一些实施例中,读者可手动调整包括在具有术后或先天性畸形的乳房图像中的深度图形145的位置。
此外,在一些实施例中,报告应用65基于可配置的规则生成并显示一个或多个深度图形145、标签或两者。规则可以基于读者偏好、站点管理员设置或两者。替代地或另外地,规则可以基于与所显示的医学图像相关联的成像模态、与所显示的医学图像相关联的一个或多个患者特征、与所显示的医学图像相关联的一个或多个读者特征,或其组合。例如,某些标签可以用于MRI扫描,而其他标签可以用于乳房X射线照片。规则还可以基于患者患有特定症状的风险、成像的身体区域(例如,身体部位)或其组合。通常,规则可以基于显示医学图像的工作站、组织、设施、位置、成像模态、患者、转诊医生、一个或多个阅读医师特征或其组合。
规则还可用于基于光标在显示图像内的位置来指定显示什么图形、什么标签或两者。例如,当观察腹部的CT扫描时,当将光标放置在肝脏上时,可以对解剖图形和与肝脏相关的标签执行访问、自动出现、使用或与其组合,其可以与当光标放在肾脏上时,对解剖图形和与肝脏相关的标签执行访问、自动出现、使用或与其组合不同。
读者可以手动提供注释。例如,读者可以在显示的图像上标记位置(例如,通过点击位置)并提供与该位置相关联的一个或多个值,例如标签、发现、测量、注释等。读者可以使用所显示的深度图形145、标签或两者来确定要标记的位置。替代地或另外地,读者可以通过选择在医学图像内显示的标签来生成注释。类似于手动标记的注释,读者可以提供注释的值,其包括标签、测量、发现、注释或其组合。而且,在一些实施例中,报告应用65可以被配置为自动生成注释的一个或多个值。例如,在一些实施例中,当读者手动标记显示图像内的病变或选择识别病变的自动生成标签时,报告应用65可以被配置为自动识别标记位置的解剖位置、表征病变、测量病变或其组合。在一些实施例中,向读者显示任何自动值以接受、拒绝或编辑。
例如,当读者使用诸如键盘、鼠标、操纵杆等的输入机构来控制光标以在显示的图像内标记病变时,报告应用程序65生成与该标记的病变位置有关的信息(例如,深度)。特别地,如图5中所示,注释150(图示为星号)标记右侧侧视乳房X射线照片视图120的后部深度140中的病变,并且报告应用65可以使用该信息来存储关于注释150的信息,包括标记的病变的位置(例如,右胸部)和深度(后部深度),如下所述,其可用于自动填充电子结构化报告的一个或多个字段。
返回图参照图3,响应于接收到注释(在框75处)(作为手动放置的注释、自动生成的注释或其组合),报告应用65自动识别与医学图像内的注释相关联的解剖位置(在框160)。在一些实施例中,报告应用程序使用先前确定的划分或深度图形145来识别解剖位置。例如,报告应用65可以识别标记的病变位于特定深度内。特别地,如图5所示,报告应用65可以识别注释150位于右侧侧视乳房X射线照片视图120的后部深度140内。
除了深度之外或作为深度的替代,与注释相关联的解剖位置可以包括可以以各种方式指定的位置。例如,在乳房X射线照片内,位置可以表示为时钟位置和距参考点,例如乳晕或乳头的径向距离。时钟位置和径向距离可以使用可用标准,其可以随时间演变。例如,图7示出了从正视图使用时钟标准表示的位置。图8示出了从斜视图和头尾视图使用时钟标准表示的相同位置。类似地,图9示出了来自正视图用于描述位置从标准区域标准中的关注点的距离。用于指定注释位置的特定标准可以通过如上针对标签和图形所描述的规则来配置。
报告应用程序65还可以使用其他类型的图像分析来识别与注释相关联的解剖结构内的特定解剖结构或特定位置。例如,报告应用65可以识别所显示的医学图像内的特定轮廓或形状以识别特定的解剖结构或位置,其可以使用人工智能和深度学习来开发和改进。类似地,报告应用65可以使用与显示的图像相关联的信息,例如患者信息、订单信息等,来识别特定解剖结构或解剖结构的特定位置。
返回图3,响应于使用上述一种或多种技术确定与注释相关联的解剖位置,报告应用65基于预定映射自动确定电子结构化报告内的与解剖位置相关联的位置(在框260处))并基于注释自动填充电子报告的位置(在框270)。
图10示出了部分完成的乳房X射线照片报告265的样本。报告265包括一个或多个位置,例如多个字段,包括例如过程字段,比较字段、指示字段等。可以将一个或多个字段映射到特定的解剖结构(例如,肝脏、肾脏)、特定的解剖位置(例如,左侧侧视)或两者。例如,结构化报告中的行项目或部分可以与特定值类型(例如,发现、类型等)和特定解剖位置(例如,肾脏、肝脏、左乳房等等)相关。这些关联存储在预定映射中,并且可以手动定义(从输入机制或从单独的文件接收),使用机器学习自动生成,或其组合。
在一些实施例中,预定映射类似地将结构化的特定位置映射到其他类型的图像特征或注释特征。换句话说,映射不需要基于注释的解剖位置,因此,结构报告不需要在解剖学上构造。
作为一个示例,当阅读医师提供标记病变的注释(例如,注释150)时,报告应用65可以自动确定病变的解剖位置语法。解剖位置语法可以具有如下格式:[病变#][发现类型][字符][侧向性][深度][时钟上的位置][径向到参考点的距离][查看的视图]。特别是,当阅读医师在左乳房的图像上提供注释时,在乳房中部深度处,在六点钟位置,在颅半径处径向四厘米(cm)处,在头尾和斜面上看到视图,相关的解剖位置语法可以如下所示:病变#1:[发现类型][字符]左乳房,乳房中部深度,六点钟位置,乳头径向四厘米,见于头尾和斜观点。报告应用65可以使用解剖位置语法的组件来填充结构化报告的适用位置。特别地,报告应用65可以识别与左乳房和中乳房深度发现相关联的结构化报告的字段。响应于确定这些字段,报告应用程序65可以用解剖位置语法中包括的相关值填充这些字段(例如,发现类型、字符、六点钟位置、从乳头径向四厘米、在头尾和斜视图,或其组合)。
如上所示,在生成解剖位置语法时,可能无法完成一个或多个组件。例如,当读者在图像上标记病变时,示病变的位置的标记指,但可能不必指示病变的其他特征,例如发现(例如,恶性或良性)。读者可以提供这些细节作为生成注释的一部分。然而,当读者不提供这些细节但是这些细节将被映射到结构化报告的特定数据字段(使用上述映射识别)时,报告应用程序65可以突出显示需要由阅读医师完成的字段、可以提示读者输入值、可以自动确定字段的值,或执行其组合。
报告应用65还可以基于预定映射以及可选地其他注释、规则或其组合自动确定结构化报告内的位置。例如,预定的映射或覆盖规则(例如,特定于特定读者,工作站等)可以基于其他注释的存在或值将特定值映射到结构报告的位置。例如,当在左乳房中识别出病变时,预定的映射可以在关于右乳房的信息之前将关于左乳房的所有信息放置在结构化报告中,反之亦然。
类似地,预定的映射或覆盖规则可以指定结构化报告的多个注释的信息的编译和排序。因此,当填充结构报告时,填充可以基于其他注释。如上所述,用于提供这种类型的定制的规则可以与读者、工作站、组织、应用程序、患者、成像模态、解剖结构、医学图像或其组合相关联。在一些实施例中,报告应用程序65还可以预览读者的编译和排序信息,并允许读者批准、拒绝或修改信息。
例如,对于双侧乳房X射线照片,当在双乳房之一,在双乳房或仅仅左乳房中没有可疑发现时,一个或多个规则可以指定填充结构报告的信息具有如下格式:
左侧
可疑物#1
可疑物#2
良性外观#1
右侧
可疑物#1
可疑物#2
良性外观#1
然而,当仅右乳房具有可疑发现时,规则可指定以下信息顺序:
右侧
可疑物#1
可疑物#2
良性外观#1
左侧
良性外观#1
类似地,当任一乳房没有发现时,规则可以指定添加文本“无重大发现:”的以下信息顺序。
右侧
可疑物#1
可疑物#2
良性外观#1
左侧
良性外观#1
在一些实施例中,报告应用65(或其他应用)可以存储和应用用于将信息映射到报告以及支持技术的规则。例如,假设有一个临床报告模板,其中包含一个“发现”部分,如下所示:
发现:
肺部:正常,没有肺炎。
胸膜:正常,没有积液。
纵隔:正常,没有肿块或腺病。
心脏:正常,没有心脏异常。
其他:否定。
当打开注释编辑对话框时进行注释时,报告应用程序65可以使用文本到语音或文本显示来向读者指示正在编辑的精确行项目。例如,报告应用程序65可以在为与该报告模板链接的任何检查创建第一注释时输出“LUNGS”的音频数据,因为“LUNGS”是发现中的第一个项目。然后读者可以例如使用鼠标,麦克风等与报告应用程序65进行交互,以前进到另一个行项目或返回到先前的行项目。因此,在不将注意力转移到单独的报告屏幕的情况下,读者可以控制注释值(文本)进入报告的位置。此外,使用深度学习方法,报告应用程序可以确定被标记的解剖结构(例如纵隔内)并自动前进到报告中的相应行项目。再次,可以使用规则来执行这个功能,该功能可能与读者、组织、模态或检查类型有关。在一些实施例中,规则可以确定这些实施例中的哪一个用于特定实例(例如,是否使用文本到语音、是否使用自动行项目检测、或者是否需要手动操作来选择正确的行项目)。
在一些实施例中,读者可通过手动输入文本、使用语音识别、或其组合来提供与注释(例如,发现、类型、字符或其组合)相关联的值。类似地,在一些实施例中,可以使用如上所述的方式自动生成这些值。无论如何生成值,报告应用程序65都可以自动地将这些值中的一个或多个(例如标签)传送到相关结构化报告的适当字段。还可以通过注释显示或访问这些值,例如通过单击、悬停或以其他方式选择图像内的注释。
在一些实施例中,每次读者生成新注释,调整现有注释或提供注释的值(例如,发现)时,该活动可以触发报告应用65自动将信息传递给结构化报告的适当的位置。例如,当生成标签(并且可选地由读者批准)时,报告应用65可以自动将标签转移到结构化报告。应当理解,可以使用如上针对自动标签和图形所描述的一个或多个规则、存储的数据元素或其组合来配置从图像注释到结构化报告的信息的自动传送。而且,如上所述,在一些实施例中,报告应用65可以被配置为基于对现有注释的修改来自动更新结构化报告。类似地,在一些实施例中,读者可以手动修改结构化报告。然而,报告应用65可以被配置为在对结构化报告的手动更新与现有注释不兼容的情况下生成警告。
在一些实施例中,报告应用程序65还被配置为以将这些注释从与未映射到结构化报告位置的注释(深度指南和其他视觉指南)区分的方式显示映射到结构报告位置的注释。例如,当注释被映射到结构化报告时,报告应用65可以更新医学图像内显示的注释,例如通过更新注释的颜色、大小、字体、动画或图形,使得注释以不同于未映射到结构化报告的注释的方式显示。以这种方式,读者可以快速且可视地确定对注释的改变是否将影响相应的结构化报告并且识别特定结构化报告信息从何处被拉出。
如前所述,报告应用程序65可以使用存储的词典规则、位置逻辑或其组合来减少错误并帮助读者查看图像,例如相同解剖结构的多个视图。具体地,当报告应用65从读者接收注释时,报告应用65可以基于注释识别存储的规则。如下面更详细描述的,存储的规则可以指定注释的约束,诸如是否需要另一个相关注释并且应该在提交新注释之前识别,或者是否应该自动生成注释的值以用于手动生成。如上所述,规则可以基于特定读者、工作站、检查类型、组织、注释类型、解剖结构等。因此,可以基于注释或与注释相关的其他特征来识别存储的规则,诸如进行注释的读者、注释类型等。在识别存储的规则之后,报告应用程序65基于注释执行存储的规则并相应地自动修改注释或者基于执行采取其他自动动作。在一些实施例中,报告应用65提供允许用户指定或修改规则的一个或多个用户界面。替代地或另外地,报告应用程序65可以被配置为例如通过使用深度学习或其他形式的机器学习和人工智能,自动生成规则。
例如,当阅读医生试图将病变表征为“肿块”但仅在一个视图(一个医学图像)上标记病变时,报告应用程序65可以发起一个或多个自动化动作,例如生成警告、修改特征、防止特征或其组合,因为ACR标准表明术语“肿块”仅应用于两个视图上可见的病变,并且这些要求可以在一个或多个存储的规则中实施。另外,在两个视图中标记病变时,报告应用程序65可以自动更新与病变相关联的注释中的一个或两个,以将病变分类为“肿块”,因为已经提供了两个视图中的所需标记。类似地,当读者试图将非消声性超声病变表征为“囊肿”时,报告应用65可以发起一个或多个自动化动作。作为另一示例,当读者指定注释的位置(诸如与注释相关联的病变)与自动确定的位置不兼容时,报告应用65可以发起一个或多个自动动作。例如,当读者将病变描述为八点位置,其处于报告应用程序65评估为处于六点钟位置时,报告应用程序65可以发起一个或多个自动动作。
例如,图11示出了由系统30执行的用于查看医学图像,并且具体地,使用存储的规则验证注释的方法300。以下将方法300描述为由报告应用程序65执行(由电子处理器40执行)。然而,方法300或其部分可以由与报告应用65交互的一个或多个单独的软件应用程序(由电子处理器40或一个或多个其他电子处理器执行)执行(例如,作为附加功能)。如图11中所示,方法300包括利用报告应用65接收针对所显示的电子医学图像的注释(在框302处)。所接收的注释包括在医学图像内表示的病变的标签。响应于接收到注释,报告应用65自动确定在与所显示的电子医学图像相关联的成像检查期间获取的其他医学图像中是否标记了病变一次或多次(在框304处)并且基于注释识别存储的规则,其中存储的规则指定是否应该在其他医学图像中标记病变(在框306)。例如,如上所述,存储的规则可以指定当在医学图像中标记病变时,病变不能被表征为“肿块”,除非相同的病变在相同解剖结构的至少一个其他视图也被标记(总共两个标签)。存储的规则也可以是定制的。例如,存储的规则可以与读者、工作站、组织、应用程序、患者、图像模态、解剖结构、医学图像或其组合相关联。因此,报告应用程序65被配置为基于所分配的读者、正在使用的工作站、与读者相关联的组织等来识别所存储的规则。
如图11中所示,响应于识别适用的存储规则,报告应用65基于病变是否在其他医学图像中被标记一次或多次来执行存储的规则(在框308处),并且基于执行存储的规则自动启动至少一个自动动作(在框310)。如上所述,至少一个自动动作可以包括生成警告(视觉警告、听觉警告、触觉警告或其组合)、更新注释、删除注释等。例如,在一些实施例中,当病变被标记在所需数量的视图中时,报告应用程序65自动更新注释以将病变表征为“肿块”。
另外,在一些实施例中,报告应用65响应于在医学图像内接收注释而自动生成匹配位置图形。例如,如图12中所示,注释150表示病变。响应于在一个视图中(手动或自动地)标记病变,报告应用程序65自动指示病变应出现在另一个可用视图(在同一检查或不同的检查中)上的一个或多个位置(每个位置包括位置、深度或两者)。在一些实施例中,报告应用65可以基于另一视图中的病变的标记在一个视图中为病变生成多个候选位置。在一些实施例中,当标记多个潜在位置时,报告应用65可以对候选位置进行评分或排名(例如,通过位置的可能性)。
所示,当注释150位于右侧侧视乳房X射线照片视图120的后部深度140内时,报告应用65可以自动生成并显示中侧斜位乳房X射线照片视图125的后部深度140中的匹配位置图形170。如图12所示,匹配位置图形170可以表示为中侧斜位乳房X射线照片视图125的后部深度140的突出显示。在一些实施例中,匹配位置图形170的至少一部分是透明的。类似地,如图13所示,当在先前检查中自动或手动标记病变时,报告应用程序65可以在当前检查上自动标记病变的一个或多个候选位置,反之亦然。而且,在一些实施例中,报告应用65确定并标记匹配位置图形170的倾角。
在一些实施例中,报告应用65使用三角测量来执行位置匹配。例如,图13从左到右示出了右侧侧视乳房X射线照片视图185、中侧斜位乳房X射线照片视图190和中侧乳房X射线照片视图195的图180。这些视图可以用于执行三角测量,其中可以从任何两个其他视图的相对位置推断出三个视图中的任何一个上的病变的位置。例如,位于外侧乳房中的病变在中侧斜位乳房X射线照片视图190上看起来比在中侧乳房X射线照片视图195上看起来更明显。
可替代地或另外地,报告应用65可以基于距参考点(例如乳晕)的径向距离来执行位置匹配。例如,如图14所示,在下排图像中,圆圈200在左侧侧视乳房X射线照片视图205和左侧斜位乳房X射线照片视图210上标记小肿块。报告应用程序65可以使用例如上述技术的在先检查自动指示相关的小肿块的一个或多个候选位置。特别地,如图14所示,报告应用程序65可以通过较大的圆圈225自动指示先前左侧侧视乳房X射线照片视图215和先前左侧斜位乳房X射线照片视图220中的小肿块的最可能先前位置。
在一些实施例中,报告应用65可以通过基于位置、形态或其组合执行病变匹配来执行位置匹配。例如,如图15中所示,注释可以在左侧侧视乳房X射线照片视图245上和左侧斜位乳房X射线照片视图250上标记病变240的周边或边界。可以手动生成或自动生成病变240的标记。当自动生成病变240的标记时,病变240的标记可以是CAD的结果,或者可以是半自动的,其中读者标记病变240并且报告应用65检测病变240的边界。报告应用65可以使用检测到的边界来识别另一图像中的可以表示该图像中的标记病变的类似边界。在一些实施例中,报告应用65还可以将病变240表征为肿块或钙化。此外,报告应用65可以将肿块,钙化或两者分类。报告应用程序65可以使用这些特征来进一步识别匹配的病变或潜在的匹配位置。
如上所述,在一些实施例中,当在一个视图中(手动或自动)标记病变并且读者试图在另一视图中与初始标记不兼容的区域或位置中标记相同病变的情况下,报告应用程序65可以被配置为发起一个或多个自动动作,例如自动生成警告(例如,视觉警告、音频警告或其组合)。例如,当在右侧侧视乳房X射线照片视图120的前深度130中标记索引病变并且读者试图在右侧中侧乳房X射线照片视图125的后部深度140中标记相同的病变时,报告应用65可以生成警告。
可替代地或另外地,当读者试图在与特定视图上的相同病变的标记不兼容的位置标记病变时,报告应用65可以自动将病变标记为第二索引病变。相反,当读者试图在一个视图中标记第二索引病变但在另一个视图上存在可能的兼容病变时,报告应用程序65可以自动生成警告,自动将病变标记为相同的索引病变,或者执行组合它们。
另外,在一些实施例中,报告应用65还基于几何形态(例如,除了先前描述的深度和位置匹配之外)确定两个注释是否兼容(例如,使用可配置逻辑)。例如,在一个视图上呈棒状的病变在另一个视图上可能不是圆形的并且还具有比杆大的直径。
例如,图16示出了由系统30执行的用于查看医学图像的方法400,并且特别地,检查一致的注释。以下将方法400描述为由报告应用程序65(其由电子处理器40执行)执行。然而,方法400或其部分可以由与报告应用65交互的一个或多个单独的软件应用程序(由电子处理器40或一个或多个其他电子处理器执行)执行(例如,作为附加功能)。
如图16中所示,方法400包括利用报告应用65接收标记第一电子医学图像内的第一解剖位置的第一注释,其中第一医学图像表示来自第一视图的解剖结构(在框402处)。第一注释可以例如通过报告应用65自动生成,或者可以手动生成。方法400还包括利用报告应用65接收标记第二电子医学图像内的第二解剖位置的第二注释,其中第二医学图像表示来自第二视图的解剖结构(在框404)。基于第一注释,报告应用65自动确定第二医学图像内的第三解剖位置(在框406处)并将第三解剖位置与第二解剖位置进行比较(在框408处)。换句话说,当两个视图可用于相同的解剖结构并且其中一个视图包括注释时,报告应用65自动确定应在另一个视图中哪里标记关联的注释,例如基于在不同视图中被标记,在一个视图中病变出现的位置。如上所述,报告应用65可以使用三角形过程来确定第三解剖位置,并且可以确定第三解剖位置的深度、位置或两者。
响应于第二解剖位置与第三解剖位置不一致,报告应用65自动启动至少一个自动动作(在框410)。该至少一个自动动作可以包括自动生成警告,该警告可以指示第三解剖位置和第二解剖位置之间的匹配程度。替代地或另外地,至少一个自动动作可以包括自动更新第二注释以包括在第二医学图像内表示的第二病变的标签。可以对在相同成像过程期间生成的图像或在不同成像过程期间生成的图像执行上述验证过程。而且,除了比较解剖位置之外,报告应用65还可以比较由注释标记的解剖结构的区域的形态。
当使用自动CAD时,或当采用手动和自动标记的组合时,报告应用程序65可以在读者手动标记病变时部署上述标记和警告。例如,CAD可以识别多个视图上的多个异常,并且上述解剖学定位功能可以帮助读者理解各种视图上的哪些标记可能描绘相同病变与不同病变。而且,在一些实施例中,由报告应用65生成的警告可以基于是否存在明显的不匹配、边界线不匹配或匹配而变化。
在一些实施例中,如上面关于标签和图形所描述的,定位匹配、注释兼容性和警告是可配置的。而且,应当理解,尽管参考侧视乳房X射线照片视图和中侧乳房X射线照片视图描述了匹配位置图形170,但是报告应用65可以将匹配位置图形170实现为任何类型的乳房X线照相视图。此外,位置和位置匹配也可以应用于其他类型的医学图像,例如胸部X射线照片、骨骼X射线照片等。位置匹配还可以应用于来自在不同时间获得的检查的相同或不同视图之间的匹配位置。例如,当在先前乳房X射线照片上标记了病变或者自动计算机检测到病变时,报告应用程序65可以如上所述调用位置匹配以帮助读者检测当前检查上的病变。
在一些实施例中,无论使用何种成像方法,报告应用程序65都被配置为通过索引号,解剖位置或两者自动跟踪病变。例如,报告应用程序65可以被配置为自动创建数据结构,例如表格,跟踪一系列先前检查和当前检查的索引病变以获取一个或多个参数,例如跟踪病变的大小。可以相对于现有报告标准对数据结构中的数据进行加权,例如实体瘤的响应评估标准(RECIST)1.1。可以为每个患者跟踪多个索引病变,并且一个患者可以具有多个系列检查。
例如,由于病变通过解剖位置定位,因此可以针对随时间追踪的每个解剖学指定的病变自动创建连续结果表。该跟踪可以应用于解剖病变,其他解剖学发现,例如动脉瘤、心脏左心室或颅内动脉瘤的进行性增大、或血管的进行性狭窄或椎体塌陷、或其组合。类似地,跟踪可以用于植入装置,例如气管内导管、胸管、Swan-Ganz导管、外周插入的中心导管(PICC)线或其他植入物。当在时间线上自动或半自动报告连续事件时,重要的临床或历史事件,例如在进行手术或药物治疗时和相关细节,也可叠加在表格上。例如,在一些实施例中,在生成新注释时(例如,当标记新病变时),报告应用程序65触发对参考数据、治疗标准、临床指南、参考图像数据或组合的查询。报告应用65可以基于读者特有的可配置规则、图像类型、注释、患者等来执行这些查询。此外,当在当前检查上标记病变但在先前检查中未标记病变时,报告应用程序65可以被配置为尝试在先前检查中标记病变(如果存在)并且将数据添加到先前检查的数据结构中。换句话说,报告应用程序65可以被配置为向先前检查添加注释以创建用于跟踪病变的综合数据结构。
例如,图17示出了由系统30执行的用于查看医学图像的方法500,并且具体地,跟踪在一个或多个医学图像内识别的病变。以下将方法500描述为由报告应用程序65(由电子处理器40执行)执行。然而,方法500或其部分可以由与报告应用65交互的一个或多个单独的软件应用程序(由电子处理器40或一个或多个其他电子处理器执行)执行(例如,作为附加功能)。
如图17所示,方法500包括利用报告应用程序65创建用于跟踪解剖发现的数据结构(在框502),例如表格。方法500还包括接收标记第一电子医学图像内的第一解剖学发现的第一注释(在框504处)以及将数据添加到表示第一解剖学发现的第一参数的数据结构(在框506处)。第一参数可以是第一解剖学发现的大小、位置、类型或其组合。
方法500还包括接收标记第二电子医学图像内的第二解剖学发现的第二注释(在框508处)并将数据添加到表示第二解剖学发现的第二参数的数据结构(在框510处)。类似于第一参数,第二参数可以是第二解剖学发现的大小、位置、类型或其组合。可以将第一和第二医学图像包括作为在相同成像过程期间产生的图像研究,或者可以作为在不同成像过程期间产生的单独图像研究。而且,在一些实施例中,第一电子医学图像和第二电子医学图像可以是相同的图像。
在将数据添加到数据结构之后,报告应用65显示数据结构的至少一部分(在框512)。使用数据结构跟踪的数据可以以各种方式显示给读者,包括显示数据结构或其部分,基于数据结构显示统计数据或趋势,或其组合。例如,在一些实施例中,报告应用程序65可以分析数据结构以识别在图像或图像研究中标记的病变数量,并且该数量可以作为快速参考点显示给读者。类似地,报告应用程序65可以分析数据结构以识别是否在图像或图像研究中标记了任何病变,并且作为快速参考点向读者提供该病变存在或不存在的指示。
在一些实施例中,报告应用程序65还被配置为检索与注释相关联的存储信息(例如,解剖位置)并使用所检索的信息来自动报告后续检查、促进研究或质量评估活动、或执行其组合。此外,存储的信息可用于细化图像分析深度学习算法。此外,存储的信息可以以可互操作的格式存储,例如DICOM结构化报告、或其组合。因此,可以将注释的解剖位置和相关信息导出到内部或外部临床报告中。
在一些实施例中,本发明的实施例还可以告知读者每个患者的风险分层,使得读者可以基于临床风险因素调用阅读标准偏移。如下所述,测试的预测值可能受到研究人群中疾病概率的影响。类似地,基于疾病的预测试概率,除了手动标准偏移之外或作为其替代,如果基于患者的临床风险因素调用标准偏移,则计算机图像分析也可以更好地执行。
例如,假设使用假设成像检查是90%敏感且90%特异性,用于研究的人群中99%的患者是正常。因此,虽然检查有90%的几率在这个人群中检测出一个真正阳性发现的人,但检查也会产生假阳性发现。因此,检查的阳性预测值约为9%(例如,真阳性的数量除以真阳性和假阳性的总和),检查的阴性预测值为100%(例如,真阴性的数量除以真阴性和假阴性的总和),检验的准确性约为91%(例如,真阳性和真阴性的总和除以真养性、假阳性、真阴性和假阴性的总和)。现在假设检查用于研究50%的患者是正常的人群。通过这一人群,检查将产生45个真阳性、45个真阴性、5个假阳性和5个假阴性。因此,检查的阳性预测值为90%,检查的阴性预测值为90%,检查的准确率为90%。因此,通过了解临床风险因素,检查可能能够提供改进的结果。
如上所述,审查过程涉及阅读医师查看患者的临床病史(例如,患者的当前检查10)。因此,在一些实施例中,报告应用程序65可以被配置为编译预测试临床信息(例如,患者的相关历史和风险因素)并且将该信息向读者统计地分析并报告(显示)。这允许读者简明地理解各种疾病状态的预测试概率(例如,乳腺癌的概率)。基于如上面更详细描述的,各种可能的并发、可能即将发生的疾病或两者的预测试概率也可以基于定义的规则自动映射到临床报告中。报告应用65还可以自动突出规则指定范围之外的疾病概率(具有与诸如地理位置、服务组织、阅读医师偏好、转诊医师偏好、患者特征、遗传风险或其组合等因素相关联的规则)以提高读者的注意力。而且,在一些实施例中,当读者生成或更新所显示的医学图像的注释时,可以动态地更新向读者显示的各种疾病状态的概率。特别地,在所显示的医学图像中识别特定的异常或无异常可能极大地影响相关的概率。
例如,图18示出了用于查看医学图像的方法600,并且具体地,示出了确定与所显示的医学图像相关联的症状的概率。以下将方法600描述为由报告应用程序65执行(由电子处理器40执行)。然而,方法600或其部分可以由与报告应用65交互的一个或多个单独的软件应用程序(由电子处理器40或一个或多个其他电子处理器执行)执行(例如,作为附加功能)。
如图18中所示,方法600包括显示电子医学图像(在框602处)。方法600还包括编译与电子医学图像相关联的临床信息(在框604处)并基于临床信息确定与与电子医学图像相关联的患者相关联的症状的概率(在框606处)。临床信息可包括患者历史、风险因素、地理位置、转诊医师、患者特征或其组合。
可以与医学图像一起显示所确定的症状概率(在相同屏幕中或在相关联的平行或重叠屏幕上)(在框608处)。例如,在一些实施例中,可以在弹出窗口或其他相关窗口或屏幕内显示症状的概率。在其他实施例中,症状的概率可以叠加在显示的医学图像上。而且,可以针对相同或不同的症状显示多个概率。另外,如果读者选择(点击、悬停等)所显示的概率,则可以以症状的概率或可获得的显示临床信息或其一部分。
如图18所示,方法600还包括利用报告应用65接收电子医学图像的注释(在框610)。可以自动生成或手动生成所接收的注释。响应于接收到注释,报告应用65基于临床信息和注释确定症状的更新概率(在框612)并显示症状的更新概率(在框614)。报告应用65可以代替症状的原始概率或者除了症状的原始概率之外还显示症状的更新概率,并且在一些实施例中,可以以与原始概率不同的方式显示更新的概率,或者可以修改原始概率以指示概率已被更新,例如通过用彩色突出显示、闪烁信号或可听音调显示概率。在一些实施例中,报告应用程序65还应用一个或多个存储的规则。如上所述,存储的规则可以与地理位置、组织、读者、转诊医师、患者或其组合相关联。读者可以使用更新的概率来确定医学图像的发现。替代地或另外地,报告应用65可以基于症状的更新概率自动生成医学图像的发现。例如,当概率(原始的或更新的)达到预定阈值时,可以生成自动发现。
在一些实施例中,当不同患者的多个检查需要阅读时,报告应用65还可以基于例如异常风险对一系列检查进行排序、分组或两者。替代地或另外地,报告应用程序65可以基于其他因素对检查序列进行排序,分组或两者,例如异常类型、排序位置、患者子类型、患者特征、图像的自动计算分析加上临床信息等。报告应用程序65还可以使用链接到成像位置、读者、患者特征、另一个风险因子或其组合的规则来命令检查。规则还可以确定特定阅读医师的路线,分配或两者。
除了显示概率,自动排序检查序列或其组合之外,本发明的实施例还可以显示其他帮助读者一眼就能理解患者具有更高或更低的风险的视觉提示。例如,彩色突出显示、闪烁信号、音调等可以向读者发出关于相对患者风险的信号。然后,阅读医师可以使用预测试概率来改变诊断标准,以便优化正和负预测值。在一些实施例中,可以向医生提供关于移动标准多少,通过基于预测试计算的风险的自动调整因子或其组合自动提供或推荐读者报告结果的移位。例如,当医生报告患者中的发现为轻度可疑,报告应用65知道的患者为高风险时,报告应用65可以警告读者患者是高风险患者。因此,阅读医师可能会考虑提高怀疑程度。或者,医生可以指示病变是可疑的或可疑的边缘。作为响应,可以基于医生输入和患者计算风险的组合分配适当描述或代码。在这种情况下,阅读医师的偏好可以用作配置指南。
此外,各种正常或异常症状的预测试概率可用于改变计算机生成的图像分析的标准。例如,除了计算机检测到的发现形态之外,还可以基于患者的风险来调整用于诊断癌症的阈值。因此,可以优化报告结果的预测值。
在一些实施例中,上述视觉提示、音频提示或两者可以出现在与医学图像相同的屏幕上,使得读者在阅读时不需要将他或她的眼睛从医学图像移开。在一些实施例中,提示可以瞬时出现。还可以使用如上针对标签和深度图形所述的规则来配置提示的显示。
另外,临床信息可以出现在图像上,使得阅读医师可以在阅读时保持他或她对图像的注视。例如,临床信息可以包括显示患者在哪里出现症状的标签,其中哪里先前进行过干预(例如,活组织检查、乳房肿瘤切除术或放射治疗),或其组合。在一些实施方案中,关键临床信息可以短暂出现。而且,如上所述,关键临床信息可以通过规则配置。
在一些实施例中,报告应用程序65还可以被配置为自动警告读者关于已知的个人偏见、一般读者偏见或其组合。例如,读者创建异常报告的概率可能会被他或她在先前患者或最近患者上创建的报告所偏倚。例如,当阅读一系列不同患者的筛查乳房X射线照片时,已经呼叫第一位患者进行额外检查的医生可能或多或少地可能再次呼叫下一位患者以进行额外的检查。换句话说,即使每个患者的评估应该独立考虑,人为因素也可能导致一个阅读影响后续阅读的结果。因此,当这种趋势变得明显时(例如,作为计算机化分析的结果),特定读者可以接收自动提示以防止这种偏见。另外,可以基于一个或多个患者特征来检测偏差。例如,当呈现年轻患者时,特定读者可能具有以异常低频率诊断癌症的跟踪记录,当呈现由特定医生或特定诊所转诊的患者时,特定读者可能具有异常高频率,或其组合。因此,自动实时分析可以促使读者帮助防止这种偏见。
还可以使用一个或多个规则来定制注释。例如,读者可以定义一个或多个规则,其指示当读者将具有特定形状(例如,圆形、箭头等)的注释添加到显示的医学图像时,该形状指示注释的特定类型,例如标记病变的注释、标记测量的注释等。因此,在这些情况下,报告应用程序65被配置为自动填充与注释相关联的一个或多个值(例如,描述、测量等),向读者提示与注释相关联的一个或多个值。或其组合。
例如,图19示出了由系统30执行的用于查看医学图像的方法700,并且具体地,定制注释。以下将方法700描述为由报告应用程序65(由电子处理器40执行)执行。然而,方法700或其部分可以由与报告应用65交互的一个或多个单独的软件应用程序(由电子处理器40或一个或多个其他电子处理器执行)执行(例如,作为附加功能)。
如图19中所示,方法700包括通过输入机制(键盘、鼠标、触摸屏等)接收报告应用65,选择标记(例如,特定形状、大小、图标等)(在框702)并通过输入机制(相同或不同的输入机制)接收与标记相关联的注释类型的选择(例如,病变类型、良性区域类型、质量类型等)(在方框704)。在一些实施例中,报告应用程序65显示下拉菜单或预定义形状、类型或其组合的其他列表以供用户选择。在其他实施例中,用户可以向显示的图像添加注释,将注释定义为特定类型的注释,并选择选择机制(按钮、复选框、单选按钮、热键等)以向报告应用程序65指示与注释相同(或基本相似)的其他注释自动定义为相同类型。
响应于所接收的选择,报告应用程序65存储标记到注释类型的映射(在框706处)。映射可以与特定读者、工作站等相关联,并且可以在当前读取会话中以及可选地在将来的读取会话中应用。此后,当报告应用程序65接收到包括映射中包括的标记(相同或基本相同的标记)的显示的电子医学图像的注释时(在框708),报告应用程序65基于该映射自动更新该基于映射中包括的注释类型接收到的注释(在框710)。换句话说,报告应用65将所接收的注释与包括在映射中的标记进行比较,以识别所接收的注释是否包括与映射内的类型相关联的标记。当接收的注释包括与映射内的类型相关联的标记时,报告应用65基于映射内的关联注释类型自动更新注释。
类似地,报告应用65可以使用一个或多个规则来确定如何完成注释。例如,如上所述,可以手动完成注释(或其值的部分),例如通过输入文本、听写等,可以自动完成,例如使用人工智能或机器学习,或其组合。因此,规则可以指定特定类型的注释(或所有注释)或其一部分是自动完成还是手动完成。可以基于读者、站点基础(成像站点、阅读站点或两者)、检查类型基础等来设置这些规则。在一些实施例中,规则还指定可以将哪些值添加到注释。例如,规则可以指定可以添加到注释的特定类别的值,例如位置、病变特征、测量、诊断等。而且,在一些实施例中,规则可以指定注释的默认值,例如默认诊断。因此,使用这些规则和上述定制注释,读者可以向所显示的电子医学图像添加注释,从而有效地减少计算机资源和手动错误或不一致。
如上所述,尽管已经参考乳房摄影示例解释了本文描述的方法和系统,但是上述方法和系统也可以与乳房摄影检查之外的成像检查一起使用。例如,图20和21示出了非乳房X射线摄影检查的自动解剖报告。图20示出了根据一些实施例的CT检查280和相关联的报告285。图21示出了CT检查280中包括的图像292上的第一发现标签290和第二发现标签295。
已经出于说明的目的给出了对本发明的各种实施例的描述,但是并不旨在穷举或限制于所公开的实施例。在不脱离所描述的实施例的范围的情况下,许多修改和变化对于本领域普通技术人员来说是显而易见的。选择这里使用的术语是为了最好地解释实施例的原理、实际应用或对市场中发现的技术的技术改进,或者使本领域普通技术人员能够理解本文公开的实施例。
此外,本发明可以是任何可能的技术细节集成级别的系统、方法、计算机程序产品或其组合。该计算机程序产品可以包括其上具有计算机可读程序指令,用于使处理器执行本发明的各方面的计算机可读存储介质。
计算机可读存储介质可以是有形设备,其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适组合。计算机可读存储介质的更具体示例的非详尽列表包括以下内容:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒、软盘、例如在其上记录有指令的凹槽中的穿孔卡或凸起结构的机械编码装置、以及前述的任何合适的组合。这里使用的计算机可读存储介质不应被解释为暂时性信号本身,例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如,光脉冲通过)通过光纤电缆)或通过电线传输的电信号。
本文描述的计算机可读程序指令可以经由网络,例如,因特网、局域网、宽区域网络、无线网络或其组合,从计算机可读存储介质或外部计算机或外部存储设备下载到相应的计算/处理设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机、边缘服务器或其组合。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令,并转发计算机可读程序指令,以便与相应的计算/处理设备一起存储在计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、用于的配置数据。集成电路、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,包括诸如Smalltalk、C++等的面向对象的编程语言,以及诸如“C”编程语言的过程编程语言、或类似的编程语言。计算机可读程序指令可以完全在用户的计算机上、部分在用户的计算机上、作为独立的软件包、部分地在用户的计算机上,部分地在远程计算机或服务器上执行。在后面的场景中,远程计算机可以通过任何类型的网络连接到用户的计算机,包括局域网(LAN)或广域网(WAN),或者可以连接到外部计算机(用于例如,通过互联网使用互联网服务提供商)。在一些实施例中,包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来个性化电子电路来执行计算机可读程序指令,以执行本发明的各方面。
根据本发明实施例的方法、装置(系统)和计算机程序产品或其组合的框图这里参考流程图说明来描述本发明的各方面。将理解,流程图图示、框图或两者的每个框以及流程图图示、框图或两者组合可以由计算机可读程序指令实现。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器,例如指令,使得其通过计算机的处理器或其他可编程数据处理设备执行,创建用于实现流程图中指定的功能/动作、框图框或块或两者的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中,该计算机可读存储介质可以指示计算机、可编程数据处理装置、其他设备或其组合以特定方式起作用,使得具有指令存储在其中的的计算机可读存储介质包括实现流程图中指定的功能/动作的方面、框图框或块或其组合的指令的制品。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上,以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现流程,使得在计算机,其他可编程装置或其他设备上执行的指令实现流程图,框图框或块或其组合中指定的功能/动作。
附图中的流程图和框图显示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面,流程图或框图中的每个框可以表示指令的模块、段或一部分,其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中,框中提到的功能可以不按图中所示的顺序发生。例如,连续示出的两个方框实际上可以基本上同时执行,或者这些方框有时可以以相反的顺序执行,这取决于所涉及的功能。还应注意,框图的每个框、流程图图示以及框图中的框或流程图图示的组合可以由执行特定功能或动作、或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
从另一方面来看,本发明提供了一种生成与所显示的电子医学图像相关联的电子结构化报告的方法,该方法包括:接收所显示的电子医学图像的注释;利用电子处理器自动确定与所述注释相关联的所显示的电子医学图像内的解剖位置;利用电子处理器基于预定映射,自动确定与解剖位置相关联的电子结构化报告内的位置;并基于注释自动填充电子结构化报告的位置。
有利地,本发明提供了一种方法,其中接收所显示的电子医学图像的注释包括通过输入机制从读者接收注释。
有利地,本发明提供了一种方法,其中接收所显示的电子医学图像的注释包括接收自动生成的注释。
有利地,本发明提供了一种方法,其中确定电子结构化报告内的位置包括确定电子的,解剖结构化的报告内的位置。
有利地,本发明提供了一种方法,还包括将显示的电子医学图像中表示的解剖结构自动分成多个深度,并基于多个深度在显示的电子医学图像上显示至少一个深度图形。
有利地,本发明提供了一种方法,其中显示至少一个深度图形包括瞬时显示至少一个深度图形。
有利地,本发明提供了一种方法,其中显示至少一个深度图形包括响应于至少从包括通过输入机制从读者接收注释的组中选择的方式和激活麦克风显示至少一个深度图形。
有利地,本发明提供了一种方法,其中自动确定在所显示的电子医学图像内相关联的解剖位置包括基于所述多个深度确定解剖位置。
有利地,本发明提供了一种方法,其中至少一个深度图形包括斜线,并且还包括基于存储在与所显示的电子医学图像相关联的元文件中的信息自动确定斜线的倾角。
有利地,本发明提供了一种方法,还包括在所显示的电子医学图像内的解剖位置处自动显示标签。
有利地,本发明提供了一种方法,其中接收所显示的电子医学图像的注释包括接收对标签的选择。
有利地,本发明提供了一种方法,其中自动显示标签包括自动显示选自下组中的至少一种的标签:阳极位置、亚极浅位置、皮肤位置、真皮下位置、皮下位置、腋窝位置和胸壁位置、植入位置。
有利地,本发明提供了一种方法,其中自动显示标签包括基于与从由读者、工作站、组织、应用程序、患者、成像模态、解剖结构和显示的电子医学图像组成的组中选择的至少一个相关联的至少一个规则自动显示标签。
有利地,本发明提供了一种方法,其中自动显示标签包括基于所显示的电子医学图像内的光标的位置显示标签。
有利地,本发明提供了一种方法,其中接收所显示的电子医学图像的注释包括接收标签和发现,其中自动确定所显示的电子医学图像内的解剖位置包括确定标签在所显示的电子医学图像中表示的解剖结构内的位置,其中自动确定电子结构化报告的位置包括确定包括在与标签的位置和解剖结构相关联的电子结构化报告中的至少一个行项目,并且其中基于注释自动填充电子结构化报告的位置包括用发现来填充至少一个行项目。
有利地,本发明提供了一种方法,其中接收所显示的电子医学图像的注释包括接收标签,并且其中自动填充电子结构化报告的位置包括将标签传送到电子结构化报告的位置。
有利地,本发明提供了一种方法,其中自动确定解剖位置包括自动生成与注释相关联的解剖位置语法,并且其中基于注释自动填充电子结构化报告的位置包括在解剖位置语法中的至少一个值填充位置。
从另一方面来看,本发明提供了一种系统,包括:电子处理器,被配置为显示电子医学图像,接收电子医学图像的注释,自动确定与注释相关联的电子医学图像内的解剖位置,基于预定的映射,自动确定电子结构化报告中的与解剖位置相关联的位置;根据注释自动填充电子结构化报告的位置;并自动将数据输出到电子医学图像的读者,通知读者电子结构化报告的位置,其中输出数据包括视觉数据和音频数据中的至少一个。
从另一方面来看,本发明提供了一种用于查看医学图像的系统,该系统包括:电子处理器,被配置为:接收所显示的电子医学图像的注释,该注释包括在医学图像内表示的病变的标签,自动确定在与显示的电子医学图像相关联的成像检查期间获取的其他医学图像中病变是否被标记一次或多次,基于该注释识别存储的规则,所存储的规则指定病变是否应该是在其他医学图像中标记的,基于病变是否在其他医学图像中应该被标记一次或多次来执行存储的规则,并且基于执行存储的规则自动地发起至少一个自动动作。
有利地,本发明提供了一种系统,其中所述至少一个自动动作包括选自生成警告和更新注释组成的组中的至少一个。
有利地,本发明提供了一种系统,其中至少一个自动动作包括删除注释。
有利地,本发明提供了一种系统,其中标签包括肿块标签。
有利地,本发明提供了一种系统,其中所述至少一个自动动作包括当病变未在其他医学图像中的至少两个中被标记时生成警告。
有利地,本发明提供了一种系统,其中所存储的规则与从由读者、工作站、组织、应用、患者、图像模态,解剖结构、和医学图像组成的组中选择的至少一个相关联。
从另一方面来看,本发明提供一种查看医学图像的方法,该方法包括:接收对第一电子医学图像标记第一解剖位置的第一注释,第一医学图像表示来自第一视图的解剖结构;接收对第二电子医学图像标记第二解剖位置的第二注释,第二医学图像表示来自第二视图的解剖结构;基于第一注释,利用电子处理器自动确定第二医学图像内的第三解剖位置;使用电子处理器将第三解剖位置与第二解剖位置比较;并且,响应于第二解剖位置与第三解剖位置不一致,利用电子处理器自动启动至少一个自动动作。
有利地,本发明提供了一种方法,其中自动启动至少一个自动动作包括自动生成警告。
有利地,本发明提供了一种方法,其中自动生成警告包括自动生成指示第三解剖位置和第二解剖位置之间的匹配程度的警告。
有利地,本发明提供了一种方法,其中自动启动至少一个自动动作包括自动更新第二注释以包括在第二医学图像内表示的第二病变的标签。
有利地,本发明提供了一种方法,其中接收第一注释包括自动生成第一注释。
有利地,本发明提供了一种方法,其中确定第三解剖位置包括使用三角形过程确定第三解剖位置。
有利地,本发明提供了一种方法,其中接收第一医学图像的第一注释包括接收作为第一成像过程的一部分而生成的第一医学图像的第一注释,以及接收第二医学图像的第二注释包括接收作为与第一成像过程不同的第二成像过程的一部分而生成的第二医学图像的第二注释。
有利地,本发明提供了一种方法,其中确定第三解剖位置包括确定深度和位置中的至少一个。
有利地,本发明提供了一种方法,还包括将位于第三解剖位置的病变的第一形态与位于第二解剖位置的病变的第二形态进行比较。
从另一方面来看,本发明提供了一种用于查看医学图像的系统,该系统包括:电子处理器,被配置为:创建用于跟踪解剖学发现的数据结构,接收标记电子医学图像内第一解剖学发现的第一注释,在解剖结构的第一成像过程期间捕获的第一电子医学图像,将第一数据添加到表示第一解剖学发现的第一参数的数据结构,接收标记第二医学图像电子内的第二解剖发现的第二注释,在解剖结构的第二成像过程期间捕获的第二电子医学图像,将第二数据添加到表示第二解剖学发现的第二参数的数据结构,并显示数据结构的至少一部分。
有利地,本发明提供了一种系统,其中第一解剖学发现是病变。
有利地,本发明提供了一种系统,其中第一解剖学发现是选自由动脉瘤、心脏左心室、颅内动脉瘤、血管狭窄和椎体塌陷组成的组中的至少一种。
有利地,本发明提供了一种系统,其中第一解剖学发现是植入装置。
有利地,本发明提供了一种系统,其中第一解剖学发现的第一参数是第一解剖学发现的大小。
有利地,本发明提供了一种系统,其中第一解剖学发现的第一参数是第一解剖学发现的位置。
有利地,本发明提供了一种系统,其中电子处理器还被配置为在显示的数据结构上叠加临床事件的标识符。
有利地,本发明提供了一种系统,其中临床事件包括选自由外科手术和医学治疗组成的组中的至少一种。
有利地,本发明提供了一种系统,其中在第一成像过程之前执行第二成像过程,并且在执行第一成像过程之后接收第二注释。
从另一方面来看,本发明提供了一种检查医学图像的方法,该方法包括:创建用于跟踪解剖学发现的数据结构;接收标记与图像研究相关联的第一解剖学发现的第一注释;将第一解剖学发现的第一参数添加到数据结构中;接收标记与图像研究相关联的第二解剖学发现的第二注释;将第二解剖学发现的第二参数添加到数据结构中;并根据数据结构显示数据。
有利地,本发明提供了一种方法,其中基于数据结构显示数据包括显示在图像研究内标记的多个病变。
有利地,本发明提供了一种方法,其中基于数据结构显示数据包括显示在图像研究中包括的图像内标记的多个病变。
有利地,本发明提供了一种方法,其中基于数据结构显示数据包括显示在图像研究中是否标记了任何病变的指示符。
有利地,本发明提供了一种方法,其中基于数据结构显示数据包括显示在图像研究中是否标记了任何病变的指示符。
有利地,本发明提供了一种方法,其中基于数据结构显示数据包括显示在图像研究中包括的图像内是否标记了任何病变的指示符。
从另一方面来看,本发明提供了一种用于手动注释医学图像的系统,该系统包括:电子处理器,被配置为:通过输入机制接收标记的第一选择,通过输入接收机制,与标记相关联的注释类型的第二选择,基于第一选择和第二选择存储标记到注释类型的映射,接收所显示的电子医学图像的注释,注释包括标记,并基于该映射自动更新基于注释类型的注释。
有利地,本发明提供一种系统,其中标记包括形状。
有利地,本发明提供了一种系统,其中注释类型包括病变类型。
有利地,本发明提供了一种系统,其中注释类型包括良性区域类型。
有利地,本发明提供了一种系统,其中注释类型包括肿块类型。
从另一方面来看,本发明提供了一种用于注释医学图像的方法,该方法包括:显示电子医学图像;接收电子医学图像的注释;利用电子处理器识别基于注释的存储规则,所存储的规则指定是否应该为注释自动生成一个或多个值;利用电子处理器执行基于注释的存储规则;并且基于执行存储的规则,利用电子处理器自动修改注释。
有利地,本发明提供了一种方法,其中识别存储的规则包括基于分配给电子医学图像的读者识别存储的规则。
有利地,本发明提供了一种方法,其中识别存储的规则包括基于从成像站点和与电子医学图像相关联的阅读站点中选择的至少一个来识别存储的规则。
有利地,本发明提供了一种方法,其中识别存储的规则包括基于电子医学图像的检查类型识别存储的规则。
有利地,本发明提供了一种方法,其中识别存储的规则包括基于电子医学图像中表示的解剖结构识别存储的规则。
有利地,本发明提供了一种方法,其中基于执行存储的规则自动修改注释包括基于电子医学图像自动确定注释的值。
有利地,本发明提供了一种方法,其中基于执行存储的规则自动修改注释包括提示读者注释的值,其中存储的规则指定注释中包括的至少一种类型的值。
有利地,本发明提供了一种方法,其中基于执行存储的规则自动修改注释包括基于与第二注释相关联的第二值自动确定第一注释的第一值。
从另一方面来看,本发明提供了一种用于注释医学图像,用于生成与所显示的电子医学图像相关联的电子结构化报告,或用于查看医学图像的计算机程序产品,该计算机程序产品包括计算机可读存储介质,其可由处理电路读取,并存储用于由处理电路执行的指令,用于执行用于执行本发明的步骤的方法。
从另一方面来看,本发明提供了一种存储在计算机可读介质上并且可加载到数字计算机的内部存储器中的计算机程序,包括所述程序的软件代码部分,当所述程序在计算机上运行时用于执行本发明的步骤。
Claims (16)
1.一种用于检查医学图像的系统,该系统包括:
电子处理器,配置为:
显示电子医学图像,编辑与所述电子医学图像相关联的临床信息,基于所述临床信息确定与所述电子医学图像相关联的患者相关的症状的概率,使用所述电子医学图像显示症状的概率,接收对所述电子医学图像的注释,基于所述临床信息和所述注释,确定所述症状的更新概率,并显示所述症状的更新概率。
2.根据权利要求1所述的系统,其中所述注释是手动生成的。
3.根据权利要求1所述的系统,其中所述注释是自动生成的。
4.如前述权利要求中任一项所述的系统,其中所述临床信息包括患者病史、风险因素、地理位置、转诊医师和患者特征。
5.根据前述权利要求中任一项所述的系统,其中,所述电子处理器被配置为基于与从由地理位置、组织、读者、转诊医师和患者组成的组中选择的至少一个组相关联的至少一个规则来确定所述症状的更新概率。
6.根据前述权利要求中任一项所述的系统,其中,所述电子处理器被配置为使用从由彩色突出显示、闪烁信号和声调组成的组中选择的至少一个组,利用所述电子医学图像显示所述症状的更新概率。
7.根据前述权利要求中任一项所述的系统,其中,所述电子处理器还被配置为基于所述症状的更新概率自动生成所述电子医学图像的发现。
8.根据前述权利要求中任一项所述的系统,其中,所述电子处理器被配置为在包括所述电子医学图像的屏幕上显示所述症状的更新概率。
9.如前述权利要求中任一项所述的系统,还包括使用所述电子医学图像显示所述临床信息的至少一部分。
10.一种检查医学图像的方法,该方法包括:
显示电子医学图像;
编制与所述电子医学图像相关的临床信息;
利用电子处理器,基于所述临床信息确定与所述电子医学图像相关联的患者相关的症状的概率;
使用所述电子医学图像显示症状的概率;
接收所述电子医学图像的注释;
基于所述临床信息和所述注释,利用所述电子处理器确定所述症状的更新概率;以及
显示所述症状的更新概率。
11.根据权利要求10所述的方法,其中接收所述注释包括自动生成所述注释。
12.根据权利要求10所述的方法,其中确定所述症状的更新概率包括基于与从由地理位置、组织、读者、转诊医师和患者组成的组中选择的至少一个组相关联的至少一个规则来确定所述症状的更新概率。
13.根据权利要求10至12中任一项所述的方法,其中显示所述症状的更新概率包括使用从由彩色突出显示、闪烁信号和声调组成的组中选择的至少一个组,利用所述电子医学图像显示所述症状的更新概率。
14.根据权利要求10至13中任一项所述的方法,还包括基于所述症状的更新概率自动生成所述电子医学图像的发现。
15.一种用于检查医学图像的计算机程序产品,该计算机程序产品包括:一种计算机可读存储介质,其可由处理电路读取并存储用于由处理电路执行的指令,用于执行根据权利要求10至14中任一项所述的方法。
16.一种存储在计算机可读介质上并且可加载到数字计算机的内部存储器中的计算机程序,包括软件代码部分,当所述程序在计算机上运行时,用于执行权利要求10到14中任一项的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/253,760 US20180060535A1 (en) | 2016-08-31 | 2016-08-31 | Updating probabilities of conditions based on annotations on medical images |
US15/253,760 | 2016-08-31 | ||
PCT/IB2017/054601 WO2018042272A1 (en) | 2016-08-31 | 2017-07-28 | Updating probabilities of conditions based on annotations on medical images |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109997197A true CN109997197A (zh) | 2019-07-09 |
Family
ID=61242862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780052362.7A Pending CN109997197A (zh) | 2016-08-31 | 2017-07-28 | 基于对医学图像的注释更新症状的概率 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20180060535A1 (zh) |
JP (1) | JP7086933B2 (zh) |
CN (1) | CN109997197A (zh) |
DE (1) | DE112017002975T5 (zh) |
GB (1) | GB2569069A (zh) |
WO (1) | WO2018042272A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111166362A (zh) * | 2019-12-31 | 2020-05-19 | 北京推想科技有限公司 | 医学图像的显示方法及装置、存储介质及电子设备 |
CN111882544A (zh) * | 2020-07-30 | 2020-11-03 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的医学影像显示方法及相关装置 |
CN114842717A (zh) * | 2022-05-17 | 2022-08-02 | 浙江大学 | 一种重症监护病房用的智能化谵妄评估模型 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11533177B2 (en) | 2015-03-13 | 2022-12-20 | United States Postal Service | Methods and systems for data authentication services |
US20160310043A1 (en) * | 2015-04-26 | 2016-10-27 | Endochoice, Inc. | Endoscopic Polyp Measurement Tool and Method for Using the Same |
US20170083665A1 (en) * | 2015-09-23 | 2017-03-23 | Siemens Healthcare Gmbh | Method and System for Radiology Structured Report Creation Based on Patient-Specific Image-Derived Information |
US10645068B2 (en) | 2015-12-28 | 2020-05-05 | United States Postal Service | Methods and systems for secure digital credentials |
US10276265B2 (en) | 2016-08-31 | 2019-04-30 | International Business Machines Corporation | Automated anatomically-based reporting of medical images via image annotation |
US10140421B1 (en) | 2017-05-25 | 2018-11-27 | Enlitic, Inc. | Medical scan annotator system |
USD889500S1 (en) * | 2018-02-09 | 2020-07-07 | Lg Electronics Inc. | Display screen with graphical user interface |
USD888750S1 (en) * | 2018-02-09 | 2020-06-30 | Lg Electronics Inc. | Display screen with graphical user interface |
USD888752S1 (en) * | 2018-02-09 | 2020-06-30 | Lg Electronics Inc. | Display screen with graphical user interface |
USD888751S1 (en) * | 2018-02-09 | 2020-06-30 | Lg Electronics Inc. | Display screen with graphical user interface |
US10803239B2 (en) * | 2018-09-24 | 2020-10-13 | The Toronto-Dominion Bank | Systems and methods for automatic report generation and retaining of annotations in reporting documents after regeneration |
US11227689B2 (en) | 2018-10-09 | 2022-01-18 | Ferrum Health, Inc | Systems and methods for verifying medical diagnoses |
US11610150B2 (en) | 2018-10-09 | 2023-03-21 | Ferrum Health, Inc. | Method for computing performance in multiple machine learning classifiers |
US11488716B2 (en) | 2018-10-09 | 2022-11-01 | Ferrum Health, Inc. | Method for configuring multiple machine learning classifiers |
US11145059B2 (en) | 2018-11-21 | 2021-10-12 | Enlitic, Inc. | Medical scan viewing system with enhanced training and methods for use therewith |
US10943681B2 (en) | 2018-11-21 | 2021-03-09 | Enlitic, Inc. | Global multi-label generating system |
US11457871B2 (en) | 2018-11-21 | 2022-10-04 | Enlitic, Inc. | Medical scan artifact detection system and methods for use therewith |
US11282198B2 (en) | 2018-11-21 | 2022-03-22 | Enlitic, Inc. | Heat map generating system and methods for use therewith |
KR20210095654A (ko) * | 2018-11-23 | 2021-08-02 | 아이캐드, 인크 | 영상을 사용하여 유방암 위험을 평가하기 위한 시스템 및 방법 |
CN113329684A (zh) * | 2019-01-24 | 2021-08-31 | 国立研究开发法人国立癌症研究中心 | 注释支持装置、注释支持方法及注释支持程序 |
US11763931B2 (en) | 2019-04-08 | 2023-09-19 | Merative Us L.P. | Rule out accuracy for detecting findings of interest in images |
CN110335253B (zh) * | 2019-06-05 | 2023-12-15 | 平安科技(深圳)有限公司 | 眼部图像处理方法、装置、设备及计算机可读存储介质 |
EP3799065A1 (en) | 2019-09-26 | 2021-03-31 | Siemens Healthcare GmbH | Method for operating a medical imaging apparatus, medical imaging apparatus, computer program and electronically readable storage medium |
EP3817006A1 (en) * | 2019-11-04 | 2021-05-05 | Koninklijke Philips N.V. | Guided reviews of prior exams and reports |
US11462315B2 (en) | 2019-11-26 | 2022-10-04 | Enlitic, Inc. | Medical scan co-registration and methods for use therewith |
US11837368B1 (en) * | 2020-03-10 | 2023-12-05 | Amazon Technologies, Inc. | Multi-channel communication sessions between patient and clinician |
TWI779284B (zh) * | 2020-05-06 | 2022-10-01 | 商之器科技股份有限公司 | 用於影像資料標註的裝置 |
US11669678B2 (en) | 2021-02-11 | 2023-06-06 | Enlitic, Inc. | System with report analysis and methods for use therewith |
JP2022135392A (ja) * | 2021-03-05 | 2022-09-15 | コニカミノルタ株式会社 | 医用情報管理装置、医用情報管理方法および医用情報管理プログラム |
WO2022224524A1 (ja) * | 2021-04-22 | 2022-10-27 | ソニーグループ株式会社 | 患者モニタリングシステム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080039723A1 (en) * | 2006-05-18 | 2008-02-14 | Suri Jasjit S | System and method for 3-d biopsy |
US20110166879A1 (en) * | 2008-09-26 | 2011-07-07 | Koninklijke Philips Electronics N.V. | System and method for fusing clinical and image features for computer-aided diagnosis |
US20110268338A1 (en) * | 2005-11-23 | 2011-11-03 | The Medipattern Corporation | Method and System of Computer-Aided Quantitative and Qualitative Analysis of Medical Images |
WO2015162694A1 (ja) * | 2014-04-22 | 2015-10-29 | 株式会社日立製作所 | 医用画像診断支援装置、磁気共鳴イメージング装置および医用画像診断支援方法 |
WO2016097912A1 (en) * | 2014-12-16 | 2016-06-23 | Koninklijke Philips N.V. | Correspondence probability map driven visualization |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7085726B1 (en) * | 2000-11-01 | 2006-08-01 | Ita Software, Inc. | Robustness and notifications in travel planning system |
JP4087640B2 (ja) | 2002-05-14 | 2008-05-21 | 富士フイルム株式会社 | 疾患候補情報出力システム |
US8015046B2 (en) * | 2002-05-31 | 2011-09-06 | Sap Aktiengesellschaft | Dynamic representations of processes |
BR0314589A (pt) | 2002-09-24 | 2005-08-09 | Eastman Kodak Co | Método e sistema para visualizar resultados de uma análise por detecção com auxìlio de computador de uma imagem digital, e, método para identificar anormalidades em um mamograma |
US7244230B2 (en) * | 2002-11-08 | 2007-07-17 | Siemens Medical Solutions Usa, Inc. | Computer aided diagnostic assistance for medical imaging |
US8442280B2 (en) | 2004-01-21 | 2013-05-14 | Edda Technology, Inc. | Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading |
CN101076724B (zh) * | 2004-04-14 | 2012-11-14 | 美国医软科技公司 | 肝病诊断系统,方法和图形用户界面 |
DE602007004841D1 (de) * | 2007-07-08 | 2010-04-01 | Univ Liege | Extraktor für visuellen Hintergrund |
JP5159242B2 (ja) | 2007-10-18 | 2013-03-06 | キヤノン株式会社 | 診断支援装置、診断支援装置の制御方法、およびそのプログラム |
US20090132916A1 (en) | 2007-11-20 | 2009-05-21 | Parascript, Llc | User interface for adjusting thresholds and presenting mammography processing results |
EP2220622A1 (en) * | 2007-12-14 | 2010-08-25 | Koninklijke Philips Electronics N.V. | Image analysis of brain image data |
US9218643B2 (en) * | 2011-05-12 | 2015-12-22 | The Johns Hopkins University | Method and system for registering images |
US20140149132A1 (en) * | 2012-11-27 | 2014-05-29 | Jan DeHaan | Adaptive medical documentation and document management |
US10424403B2 (en) * | 2013-01-28 | 2019-09-24 | Siemens Aktiengesellschaft | Adaptive medical documentation system |
JP6225690B2 (ja) * | 2013-12-18 | 2017-11-08 | コニカミノルタ株式会社 | 断層画像生成システム |
KR20150108701A (ko) * | 2014-03-18 | 2015-09-30 | 삼성전자주식회사 | 의료 영상 내 해부학적 요소 시각화 시스템 및 방법 |
CN106462662B (zh) * | 2014-05-12 | 2020-10-02 | 皇家飞利浦有限公司 | 用于基于病例难度的计算机辅助患者分层的方法和系统 |
JP6379785B2 (ja) * | 2014-07-18 | 2018-08-29 | コニカミノルタ株式会社 | 断層画像生成システム |
CN104504695B (zh) * | 2014-12-16 | 2017-03-15 | 上海交通大学 | 一种磁共振延迟增强序列心肌分割方法 |
US9990712B2 (en) * | 2015-04-08 | 2018-06-05 | Algotec Systems Ltd. | Organ detection and segmentation |
-
2016
- 2016-08-31 US US15/253,760 patent/US20180060535A1/en not_active Abandoned
-
2017
- 2017-07-28 GB GB1904538.4A patent/GB2569069A/en not_active Withdrawn
- 2017-07-28 JP JP2019508205A patent/JP7086933B2/ja active Active
- 2017-07-28 WO PCT/IB2017/054601 patent/WO2018042272A1/en active Application Filing
- 2017-07-28 DE DE112017002975.9T patent/DE112017002975T5/de not_active Ceased
- 2017-07-28 CN CN201780052362.7A patent/CN109997197A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110268338A1 (en) * | 2005-11-23 | 2011-11-03 | The Medipattern Corporation | Method and System of Computer-Aided Quantitative and Qualitative Analysis of Medical Images |
US20080039723A1 (en) * | 2006-05-18 | 2008-02-14 | Suri Jasjit S | System and method for 3-d biopsy |
US20110166879A1 (en) * | 2008-09-26 | 2011-07-07 | Koninklijke Philips Electronics N.V. | System and method for fusing clinical and image features for computer-aided diagnosis |
WO2015162694A1 (ja) * | 2014-04-22 | 2015-10-29 | 株式会社日立製作所 | 医用画像診断支援装置、磁気共鳴イメージング装置および医用画像診断支援方法 |
WO2016097912A1 (en) * | 2014-12-16 | 2016-06-23 | Koninklijke Philips N.V. | Correspondence probability map driven visualization |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111166362A (zh) * | 2019-12-31 | 2020-05-19 | 北京推想科技有限公司 | 医学图像的显示方法及装置、存储介质及电子设备 |
CN111882544A (zh) * | 2020-07-30 | 2020-11-03 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的医学影像显示方法及相关装置 |
CN111882544B (zh) * | 2020-07-30 | 2024-05-14 | 深圳平安智慧医健科技有限公司 | 基于人工智能的医学影像显示方法及相关装置 |
CN114842717A (zh) * | 2022-05-17 | 2022-08-02 | 浙江大学 | 一种重症监护病房用的智能化谵妄评估模型 |
CN114842717B (zh) * | 2022-05-17 | 2023-03-10 | 浙江大学 | 一种重症监护病房用的智能化谵妄评估模型 |
Also Published As
Publication number | Publication date |
---|---|
GB201904538D0 (en) | 2019-05-15 |
GB2569069A (en) | 2019-06-05 |
WO2018042272A1 (en) | 2018-03-08 |
DE112017002975T5 (de) | 2019-06-19 |
JP7086933B2 (ja) | 2022-06-20 |
JP2019532390A (ja) | 2019-11-07 |
US20180060535A1 (en) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109997197A (zh) | 基于对医学图像的注释更新症状的概率 | |
US10460838B2 (en) | Automated anatomically-based reporting of medical images via image annotation | |
US10729396B2 (en) | Tracking anatomical findings within medical images | |
US20190220978A1 (en) | Method for integrating image analysis, longitudinal tracking of a region of interest and updating of a knowledge representation | |
CN108475538B (zh) | 用于将第三方应用集成在图像解读工作流中的结构化发现对象 | |
US8625867B2 (en) | Medical image display apparatus, method, and program | |
US9014485B2 (en) | Image reporting method | |
US7979383B2 (en) | Atlas reporting | |
CN101203170B (zh) | 计算机辅助检测系统 | |
US20180060488A1 (en) | Customizing annotations on medical images | |
US20180060534A1 (en) | Verifying annotations on medical images using stored rules | |
RU2711305C2 (ru) | Связывание отчета / изображения | |
JP2014012208A (ja) | 効率的な撮像システムおよび方法 | |
JP2003506797A (ja) | レポートを作成する方法とシステム | |
JP2005510326A (ja) | 画像レポート作成方法及びそのシステム | |
CN102915400A (zh) | 用于计算机支持地显示或分析医学检查数据的方法和装置 | |
EP3191991B1 (en) | Image report annotation identification | |
US8503741B2 (en) | Workflow of a service provider based CFD business model for the risk assessment of aneurysm and respective clinical interface | |
US20190057503A1 (en) | Learning data generation support apparatus, operation method of learning data generation support apparatus, and learning data generation support program | |
US20230368893A1 (en) | Image context aware medical recommendation engine | |
JP7452068B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN113329684A (zh) | 注释支持装置、注释支持方法及注释支持程序 | |
EP4310852A1 (en) | Systems and methods for modifying image data of a medical image data set | |
US20220336071A1 (en) | System and method for reporting on medical images | |
CN114067961A (zh) | 一种医学图像归档系统、方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190709 |