CN113272915A - 用于医疗保健应用中的机器学习定位模型的交互式阴性解释的系统、用户接口和方法 - Google Patents

用于医疗保健应用中的机器学习定位模型的交互式阴性解释的系统、用户接口和方法 Download PDF

Info

Publication number
CN113272915A
CN113272915A CN201980088777.9A CN201980088777A CN113272915A CN 113272915 A CN113272915 A CN 113272915A CN 201980088777 A CN201980088777 A CN 201980088777A CN 113272915 A CN113272915 A CN 113272915A
Authority
CN
China
Prior art keywords
image
machine learning
user
learning model
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980088777.9A
Other languages
English (en)
Other versions
CN113272915B (zh
Inventor
M.西尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN113272915A publication Critical patent/CN113272915A/zh
Application granted granted Critical
Publication of CN113272915B publication Critical patent/CN113272915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种方法和系统，用于评估机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于患者的疾病状态的预测。机器学习模型从图像产生疾病状态的预测。该方法涉及在工作站的显示器上呈现患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域。提供工具，用户可通过该工具来突出图像中用户认为对于疾病状态而言可疑的一个或多个区域。由机器学习模型对用户突出的区域执行推理。经由显示器向用户呈现推理的结果。

Description

用于医疗保健应用中的机器学习定位模型的交互式阴性解释 的系统、用户接口和方法
优先权
本申请要求2019年1月11日递交的序列号为16/246,156的美国专利申请的优先权权益。
背景技术
本公开涉及一种用于机器学习定位模型生成的阴性预测的交互式评估的系统、用户接口和方法。本公开的教导在各种领域中有应用，包括在机器学习医疗保健应用中，例如检查显微镜切片，诊断乳房X光片中的乳腺癌，或者其他放射学形态(例如，X射线、CT、MRI)、摄影图像(皮肤科)以及其他中的其他类型的癌症。本教导也可应用于其他领域，例如冶金学、零件检查、半导体制造及其他，其中机器学习定位模型基于输入的图像数据集合进行预测，预测是阴性的，并且用户试图进一步查询该模型。
在专利和技术文献中描述了将机器学习模型用于若干医疗保健应用的情况。在一个示例中，开发这样的模型是为了协助病理学家识别患者或者从患者得到的标本的2D或3D体积图像中的疾病的存在。例如，病理学家可能试图确定肿瘤细胞(即，癌症)是否存在于组织的放大数字图像中，例如，从活检中获得的淋巴结组织、乳腺癌或前列腺癌组织。作为另一示例，机器学习模型可协助放射科医生检测乳房X光片或胸部X光片中的癌细胞。机器学习模型被训练为从训练数据的集合(图像集合)中识别癌细胞或组织，通常使用卷积神经网络或本领域已知的其他分类过程。
各种技术和工具是已知的，它们解决了“模型解释”的问题。模型解释是一个以人类可读的方式证明机器学习模型为何做出某种建议(例如，诊断出患者患有癌症)的过程。
深度学习模型预测是出了名地难以解释。这在诸如YouTube视频排名之类的用例中是可容忍的，但对于诸如医学之类的高影响力应用中的用例来说则是完全不可接受的。病理学家和其他医疗专业人员，不仅想要知道模型的预测是什么，还想要知道为什么会这样，以便对预测有信心。
本受让人的研究人员已经开发了一些解释模型预测的基本方法。例如，如果一样本或图像被诊断为“阳性”(例如，有癌症，或者癌症的可能性很高)，则已经使用了以下方法：(1)向用户呈现由检测模型产生并随后由分类模型分类的疑似病变周围的边界框，示例在图1A中示出；(2)呈现“热图”，通常有颜色编码来示出特定区域或像素为癌症的可能性的置信度，示例在图1B中示出，参见https://ai.googleblog.com/2017/03/assisting-pathologists-in-detecting.html；以及(3)向用户呈现注意力掩码(attention mask)，其示例在图1C中示出。
尽管有这些进展，关于解释没有发现(例如，没有癌症)的选项是有限的，因为证明阴性是很困难的。对于大多数计算机辅助检测系统，认为某个感兴趣的区域是可疑疾病的医学专家/病理学家/放射科医生，无法知道产生阴性预测的模型是否遗漏了该区域，或者该模型是否检查了该区域并且将其归类为正常/良性。由于计算资源有限，在本领域中的机器学习的一些实现方式中，最初使用检测模型来寻找可疑的癌症组织，随后只有被检测模型发现的那些区域才被用分类模型来进行分类。因此，存在一些风险，即检测模型可能遗漏了可能是癌症的区域，并且因此，总体上得到的“阴性”预测可能是不正确的。
在“阴性”预测的情境中，模型解释的这个问题导致了市场上现有的许多计算机辅助检测/诊断(Computer Aided Detection/Diagnosis，CAD)系统无法提供改善的结果。例如，乳房摄影CAD系统已被证明降低了特异性，部分原因是这种系统采用了这样的用户接口：这些用户接口虽然用大量的发现提醒放射科医生，但它们未能向放射科医生确保，放射科医生自己识别为可疑的发现被机器学习模型视为了良性。本公开解决了这个未满足的需求。
发明内容
在一个方面中，公开了一种方法，用于评估机器学习模型，该机器学习模型从患者或从其获得的样本的2D或3D影像，例如X光片、CT扫描、病理标本，提供关于患者的疾病状态的预测。机器学习模型被训练来从2D或3D影像做出预测，例如，癌变、良性、钙化、病变，等等。该方法包括以下步骤：a)呈现带有与预测相关联的风险得分或分类的图像，其中该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域；b)提供用于突出图像的一个或多个区域的用户接口工具，c)接收突出图像的一个或多个区域的用户输入；d)让突出的一个或多个区域经历由机器学习模型进行的推理；并且e)经由显示器向用户呈现对一个或多个区域的推理的结果。
在另一方面中，描述了一种工作站，其被配置为评估从2D或3D影像提供患者的预测的机器学习模型。该工作站包括：a)显示器，用于显示患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类，其中该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域；以及b)用户接口工具，通过该工具，用户可在显示器上突出图像中用户认为对于疾病状态而言可疑的一个或多个区域，其中用户调用工具从而突出一个或多个区域。显示器还被配置为呈现由机器学习模型对用户突出的一个或多个区域执行的推理的结果。
附图说明
图1A是乳房X光片，其中在由检测模型产生并随后由分类模型分类的疑似病变周围有边界框。
图1B是CT扫描，其中有与形成指示癌症可能性高的区域的“热图”的彩色区域相对应的阴影。
图1C是视网膜照片，其中有指示出视网膜照片中有助于特定眼疾病的模型预测的那些部分的注意力掩码(用实线突出的区域)。
图2是乳房X光片，其中包含风险得分(癌症得分，＝0.6％，在本示例中可能是良性的)，同时还有矩形形式的覆盖，识别出影响了机器学习模型的诊断预测的区域。
图3是图2的乳房X光片的图示，但用户已在乳房X光片上绘出新的区域，用户发现该区域可疑并请求额外的发现。该区域可借助光标、手指或笔来绘出，如果乳房X光片是在触摸敏感显示器上呈现的话；识别该区域的方式并不特别重要。
图4是在机器学习模型对图3中用户突出的区域执行了推理后，图3的乳房X光片的图示。该显示示出了对用户识别的区域的分类以及局部区域风险得分，在这种情况下，是0.02％的癌症得分。推理的结果可包括局部区域得分、分类特性、回归值和其他有助于该区域的解读的特征。这样的结果可选地与整体病例的更新后风险得分一起被呈现给用户。用户根据图3识别和突出新的区域，执行推理并且根据图4呈现结果的过程可根据用户的需要继续进行。
图5A是组织图像的图示，其中包含风险得分以及矩形形式的覆盖，识别出影响了机器学习模型的诊断预测的细胞集群。
图5B是图5A的组织图像的图示，但用户在该组织图像上绘出了用户认为可疑并且请求额外发现的新区域。对用户所绘出的区域执行的推理的结果被呈现在显示器上。
图5C是图5A的组织图像的图示，其中用户在该图像上绘出了另一个被认为是可疑的新区域。对该新区域执行推理的结果被呈现在显示器上。
图6是其中可实现本公开的方法的计算环境的一个示例的图示。
图7是示出在图6的计算环境中为了执行该方法而执行的处理的一个实施例的流程图。
具体实施方式
在一个方面中，公开了一种方法，用于评估机器学习模型，即促进人类理解机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于患者的疾病状态的预测。2D图像的示例是放射学图像，例如胸部X光，或者乳房X光片，或者病理标本的放大数字图像。3D体积图像可采取CT扫描、核磁共振扫描或其他形式。在一个方面中，本公开涉及在机器学习模型从图像产生对疾病状态的阴性预测时的情形中的模型可解读性，例如对2D或3D图像中癌细胞的存在的“良性”或“低置信度”预测。预测被视为“阴性”的阈值不是特别重要，并且可根据诸如模型灵敏度或用户偏好之类的事项而变化。在下面的讨论中，癌症得分或局部区域得分的数值是假设性的，仅以举例的方式提供，以说明本公开的核心思想，并且可能反映也可能不反映给定患者样本和机器学习模型的实际评分制度。
该方法包括第一步，在工作站的显示器上呈现患者或者从其获得的样本的图像(例如，乳房X光片，或者放大的组织图像)，以及与预测相关联的风险得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域，例如细胞群。这方面的一个示例在图2中以图示而非限制的方式提供，这是一个患者的乳房X光片10，其中包含风险得分12(癌症得分，＝0.6％，在这个示例中可能是良性的)，以及矩形14形式的覆盖，识别出影响了机器学习模型的诊断预测的区域。在这个特定的示例中，机器学习模型包括检测模型，该检测模型被训练为检测可能的癌症候选，并且边界框或矩形14围绕着候选。机器学习模型对检测模型检测到的集群或细胞执行了推理，并且它们的得分是“低”，不太可能是癌症，因此对样本的总体评估是“阴性”，在这个示例中由0.65％的得分来指示。
该方法包括一个步骤，该步骤提供用户接口工具，用户可通过该工具来突出图像的一个或多个区域，例如，用户认为这些区域就疾病状态而言是可疑的或者希望查询机器学习模型，并且该步骤接收突出该一个或多个区域的输入。该工具可简单地包括与显示器相关联的鼠标。或者，显示器是触摸敏感的，并且工具采取已知的图形处理软件的形式，其记录用户触摸的显示器上的位置(直接或间接，例如用笔)，并且将这样的位置转化为图像内的位置。用户突出一个或多个区域的方式并不特别重要，可以有所不同。这个步骤的一个示例在图3中示出，该图是图2的乳房X光片的图示，但其中用户用鼠标在乳房X光片上绘出了区域20，用户发现该区域可疑并请求额外的发现。该区域可借助光标或手指来绘出，如果乳房X光片是在触摸敏感显示器上呈现的话；识别该区域的方式并不特别重要。在感兴趣的区域周围绘出边界框的一种可能的方法在美国专利10,013,781号中有描述，该专利由Christopher Gammage等人获得，转让给了本发明的受让人。
该方法继续进行一个步骤，即让突出的一个或多个区域(图3中的20)接受机器学习模型的推理。在这个步骤中，机器学习模型处理用户突出的区域中的像素数据，并且生成输出，通常是分类结果，或者预测，或者得分，这取决于模型的配置方式。在这个示例中，机器学习模型可采取卷积神经网络的形式，该卷积神经网络从数以千计的健康和癌症乳房X光片中训练出来，以便对新的(以前未见过的)示例进行正确分类或评分。这里所述类型的深度卷积神经网络模式识别器在模式识别和机器视觉领域广为人知，因此，为了简洁起见，省略了对其的详细描述。科学文献中描述了Inception-v3深度卷积神经网络体系结构，它是一种可能的实现方式。参见以下参考文献，其内容被通过引用并入在此：C.Szegedy等人，Going Deeper with Convolutions,arXiv:1409.4842[cs.CV](2014年9月)；C.Szegedy等人，Rethinking the Inception Architecture for Computer Vision,arXiv:1512.00567[cs.CV](2015年12月)；另见2015年8月28日递交的C.Szegedy等人的美国专利申请“Processing Images Using Deep Neural Networks”，序列号为14/839,452。第四代，被称为Inception-v4，被认为是一种替代体系结构。参见C.Szegedy等人，Inception-v4,Inception-ResNet and the Impact of Residual Connections on Learning,arXiv:1602.0761[cs.CV](2016年2月)。另见2016年12月30日递交的C.Vanhoucke的美国专利申请“Image Classification Neural Networks”，序列号为15/395,530。这些论文和专利申请中对卷积神经网络的描述被通过引用并入在此。在科学和专利文献中描述了“注意力”(attention)模型的使用，以及相关技术，例如积分梯度。D.Bahdanau等人，Neural MachineTranslation by Jointly Learning to Align and Translate，2014年1月，arXiv:1409.0473[cs.CL].Choi等人，GRAM:Graph-based attention model for HealthcareRepresentation Learning,arXiv:1611.07012v3[cs.LG]，2017年4月；Choi等人，RETAIN:an Interpretable Predictive Model for Healthcare using Reverse Time AttentionMechanism,arXiv:1608.05745v3[cs.GL]，2017年2月。M.Sundararajan等人，AxiomaticAttribution for Deep Networks,arXiv:1703.01365[cs.LG](2017年6月)。有几篇论文是针对使用深度学习从CT扫描中检测和诊断肺结节的，包括：Xiaojie Huang等人，LungNodule Detection in CT Using 3D Convolutional Neural Networks，2017IEEE生物医学成像国际研讨会，2017年4月；Francesco Ciompi等人，Towards automatic pulmonarynodule management in lung cancer screening with deep learning,ScientificReports 7，article no.46479，2017年4月17日；Wenqing Sun等人，Computer Aided lungcancer diagnosis with deep learning,Medical Imaging2016，SPIE期刊，9785卷(2016年3月)；Albert Chon等人，Deep Convolutional Neural Networks for Lung CancerDetection，斯坦福大学报道(2017)，www.cs231n.stanford.edu/reports/2017/pdfs/518.pdf，以及Wafaa Alakwaa等人，Lung Cancer Detection and Classification with3D Convolutional Neural Network(3D-CNN)，国际高级计算机科学与应用杂志，第8卷第8号409-417页(2017)。
该方法继续进行一个步骤，即经由显示器向用户呈现对一个或多个区域(图3中的20)推理的结果。其示例在图4中示出，图4是在机器学习模型对图3中用户突出的区域20执行了推理后，图3的乳房X光片的图示。该显示在22处示出了推理的结果，采取对用户识别的区域20的分类的形式(“良性分类”)，以及局部区域风险得分，在这种情况下是0.02％的癌症得分。推理的结果可包括局部区域得分、分类特性、回归值和/或有助于对区域20的解读的其他特征，这些被呈现给用户。可选地，结果22与在24处示出的整体病例的更新后风险得分一起被呈现。在这个特定实例中，整体病例风险得分从0.65％增大到0.67％。
注意：在这个示例中，每发现一个非零风险的病变，病例水平概率就会增大，而每检查一个区域，概率就会减小(我们可对已知的未知应用较低的惩罚)。这些影响哪个更强，取决于检查的区域有多大，以及发现的病变有多严重。图3和图4的另一个数值示例如下。
—模型发现了一个病变，癌症得分0.6％，整体病例得分1.1％(考虑到没有仔细检查的区域中的不确定性)
—操作者关注另一个病变，突出它，并且要求模型对其执行推理
—模型将该病变分类为良性，癌症得分为0.2％，并且将病例癌症得分增大到1.2％，因为该区域在早前没有被考虑，但该病例仍被认为是良性的。注意，病例得分的增大需要随着被检查的区域的数量而递减，这样才是直观的，因为否则有大量的区域被检查会导致每个病例都最终成为“阳性”。
用户按图3识别新区域、执行推理并且按图4呈现结果的过程可根据用户的需要继续进行。
如前所述，本公开的方法适合用于组织病理学样本，例如前列腺组织的放大数字图像形式的图像数据。在这种情境中，将结合图5A-5C来说明该方法。具体地，图5A是放大的组织图像的图示，其中包含风险得分(在这个示例中，癌症得分，＝0.40％，良性)，以及矩形30形式的覆盖，其识别出影响了机器学习模型的诊断预测的细胞集群。在这个示例中，机器学习模型预测整个标本是良性的，风险得分为0.40％。如图所示，这个风险得分和边界框30在工作站的显示器上被呈现给用户。
病理学家在病理工作站的显示器上查看切片的放大数字图像时，确定切片中还有其他可能感兴趣的区域不在边界框30内，因此可能希望知道这种其他区域是否可能是癌症。因此，如图5B所示，用户用用户接口工具(例如，鼠标和图形处理软件)在组织图像上绘出了新的区域40，用户认为该区域是可疑的，并且请求机器学习模型提供额外的发现。与该区域40相关联的像素数据被作为输入提供给机器学习模型。对用户绘出的区域40执行的推理的结果被呈现在显示器上，如42处所示。这些结果包括局部区域得分(0.20％)、分类结果(阴性)和可选的回归值或其他信息。生成并显示该样本的更新后总体癌症得分，在本示例中为0.42％。在这个示例中，对框40内的额外细胞集群的分类导致总体癌症得分从0.40％增大到0.42％。
在这个示例中，用户选择突出组织标本的另一个区域，以便由机器学习模型进一步评分/推理。在这个示例中，如图5C所示，用户在图像上绘出了另一个被认为是可疑的新区域50。对新区域执行的推理的结果如52所示被呈现在显示器上。
注意，在这个示例中，可能有一些中间步骤，例如缩放和平移到给定的组织图像内的新位置，但上文在图5A-5C中描述的过程基本上是不变的。如图5C所示，用户对新区域的选择当然可以继续，直到用户对组织标本的阴性模型预测感到满意为止。
现在参考图6，本公开的方法可实现在工作站100中，该工作站100被配置为促进人类理解机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于患者的疾病状态的预测。机器学习模型从图像产生对疾病状态的阴性预测，例如，借由呈现给用户的分类结果或得分。工作站包括：a)显示器102，用于显示患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型产生的阴性预测的一个或多个区域(见图3和图5B)。工作站包括用户接口工具，例如鼠标104，或者触摸敏感显示器，用户可通过它在显示器上突出用户认为对于疾病而言可疑的一个或多个图像区域。用户调用工具，例如鼠标，从而突出一个或多个区域。显示器被进一步配置为呈现由机器学习模型对用户突出的一个或多个区域执行的推理的结果，如前所述。一旦用户突出了感兴趣的区域，例如利用鼠标104，用户就可通过经由显示器上的适当菜单输入命令来调用机器学习模型，例如通过点击显示器上的“应用模型”图标或者使用键盘106输入适当的命令来调用。
机器学习模型110可驻留在工作站100中，或者更典型的是它可由计算机网络108上的计算资源106实现。在一个可能的配置中，有几个机器学习模型可用。在组织病理学的情形中，用户可在较高的放大率下查看标本，例如40X，并且在该放大率下指定新的区域(例如，图5B中的区域40)，并且调用特定的机器学习模型，该模型被训练为在该放大率下识别癌细胞，而他们也可查看标本并且在低放大率下突出细胞区域，例如10X，例如图5C的区域50，并且低放大率(10X)机器学习模型被用于该推理任务。
图7是示出在图6的计算环境中为了执行该方法而执行的处理的一个实施例的流程图。机器学习模型对患者或者从其获得的样本的2D或3D图像数据集执行推理。该模型提供关于患者的疾病状态的预测，并且在一个示例中是对疾病状态的阴性预测。在200处所示的方法包括以下步骤：
步骤202：在工作站的显示器上呈现患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域。
步骤204：提供一个工具，用户可通过该工具来突出图像中用户认为对于疾病状态而言可疑的一个或多个区域。用户调用工具，从而突出一个或多个区域，并且这样的输入被工作站接收。
步骤206：用机器学习模型对突出的一个或多个区域执行推理。
步骤208：经由显示器向用户呈现对一个或多个区域的推理的结果。
可选的步骤210：为整个2D图像/3D体积呈现更新后的风险得分。
该过程可如步骤214所示循环回去，并且步骤204、206和208以及210可重复；该循环适用于用户指定额外区域的情形，如图5A-5C中所说明。
从图2-图6清楚可见，已经描述了工作站的接口，该接口被配置为促进人类理解机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于患者的疾病状态的预测。机器学习模型从图像产生对疾病状态的预测，例如阴性预测，比如“良性”。该接口包括显示器(102，图6)，用于显示患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域。该接口包括工具(例如，鼠标104)，通过该工具，用户可在显示器上突出图像的一个或多个区域，例如，用户认为对于疾病状态而言可疑的区域，其中用户调用工具从而突出一个或多个区域，如结合图3、图4和图5A-5C所说明。
进一步考虑
该方法可用于进一步检查图像，甚至在机器学习模型已经将标本分类为阳性之后。操作者可能怀疑有另一个值得报告的病变(无论是更严重还是更不严重)，并且希望模型能明确地检查它。因此，该方法进行的步骤是突出额外的区域，启动模型推理，然后生成推理的结果并且在工作站显示器上呈现它。
以上描述的重点是分类+定位问题，但同样的方法也可用在其他方面，例如分割和回归问题。
A.分割
例如，在工作站上呈现超声图像，并且机器学习模型被用来识别超声图像上的前列腺。查看图像的操作者看到前列腺周围有分割掩码(segmentation mask)轮廓，并且可能怀疑没有被标记在掩码内的一些组织也属于前列腺。用户突出这个额外的区域，并且用键盘或鼠标动作启动模型推理。然后，模型或者解释说这个区域实际上例如是尿道，或者模型“同意”将该区域添加到分割掩码。
B.回归问题
例如，机器学习模型可被配置为回答回归问题，比如“用X射线成像的患者的骨龄是多少？”骨头的X射线与模型的预测一起被呈现在工作站显示器上。操作员怀疑某个区域指示出较高的年龄，将其突出，启动推理，并且模型相应地更新其预测。这个一般过程当然可以应用于其他类型的回归问题；骨龄示例是以说明而不是限制的方式提供的。
本教导也可应用于其他领域，例如冶金学、零件检查、半导体制造以及其他，其中机器学习定位模型基于输入的图像数据集作出关于物体的预测。例如，预测是阴性的(例如，没有缺陷存在，或者在冶金样品中没有不良杂质存在)，并且用户试图进一步查询该模型。该方法遵循如上所述的相同基本方法。
a)在工作站的显示器上呈现物体的图像以及与预测相关联的得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域；
b)提供工具，用户可通过该工具突出图像中用户认为与预测有关的进一步感兴趣的一个或多个额外区域(例如，潜在的缺陷、杂质，等等)，其中用户调用工具，从而突出一个或多个区域；
c)让突出的一个或多个区域经历机器学习模型进行的推理；并且
d)经由显示器向用户呈现对一个或多个区域的推理的结果。
所附的权利要求是通过对公开的方法、工作站和用户接口的进一步描述而提供的。

Claims (20)

1.一种用于评估从2D或3D影像提供关于患者的疾病状态的预测的机器学习模型的方法，包括以下步骤：
a)呈现图像以及与所述预测相关联的风险得分或分类，其中所述图像被用突出来进一步增强，以指示出所述图像中影响了所述机器学习模型所产生的预测的一个或多个区域；
b)提供用于突出所述图像的一个或多个区域的用户接口工具；
c)接收突出所述图像的一个或多个区域的用户输入；
d)让突出的一个或多个区域经历由所述机器学习模型进行的推理；并且
e)经由显示器向用户呈现对所述一个或多个区域的推理的结果。
2.如权利要求1所述的方法，还包括以下步骤：接收突出所述图像的其他另外区域的用户输入并且对于这种其他另外区域执行步骤d)和e)。
3.如权利要求1或权利要求2所述的方法，其中所述预测与风险得分相关联，并且其中步骤e)包括生成新的风险得分的步骤。
4.如权利要求1或权利要求2所述的方法，其中所述机器学习模型包括被训练来识别所述图像中的癌细胞的存在的卷积神经网络。
5.如权利要求1或权利要求2所述的方法，其中所述图像包括组织图像。
6.如权利要求1或权利要求2所述的方法，其中所述图像包括2D放射图像。
7.如权利要求6所述的方法，其中所述图像是从由乳房X光片和胸部X光片构成的图像群组中选择的。
8.如权利要求1或权利要求2所述的方法，其中所述图像包括从核磁共振(NMR)或者计算机断层扫描(CT)获得的3D放射图像。
9.如权利要求1或权利要求2所述的方法，其中所述工具包括与所述显示器相关联的鼠标。
10.如权利要求1或权利要求2所述的方法，其中所述显示器是触摸敏感的，并且其中所述工具包括图形处理，所述图形处理记录所述显示器上被用户直接或间接触摸的位置并且将这样的位置转化为所述图像内的位置。
11.一种工作站，被配置为评估机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于该患者的疾病状态的预测，其中所述机器学习模型从所述图像产生所述疾病状态的预测，其中所述工作站包括：
a)显示器，用于显示所述患者或者从其获得的样本的图像，以及与所述预测相关联的风险得分或分类，其中所述图像被用突出来进一步增强，以指示出所述图像中影响了所述机器学习模型所产生的预测的一个或多个区域；
b)用户接口工具，通过所述用户接口工具用户可在所述显示器上突出所述图像的一个或多个区域，其中用户调用所述工具，从而突出所述一个或多个区域；
其中所述显示器被进一步配置为呈现由所述机器学习模型对用户突出的所述一个或多个区域执行的推理的结果。
12.如权利要求11所述的工作站，其中所述工作站还包括与所述显示器通信的处理单元，并且其中所述机器学习模型实现在所述处理单元中。
13.如权利要求11所述的工作站，其中所述机器学习模型包括被训练来识别所述图像中的癌症的存在的卷积神经网络。
14.如权利要求11-13中的任何一项所述的工作站，其中所述图像包括组织图像。
15.如权利要求11-13中的任何一项所述的工作站，其中所述图像包括2D放射图像。
16.如权利要求15所述的工作站，其中所述图像是从由乳房X光片和胸部X光片构成的图像群组中选择的。
17.如权利要求11-13中的任何一项所述的工作站，其中所述图像包括从核磁共振或者计算机断层扫描获得的3D放射图像。
18.如权利要求11-13中的任何一项所述的工作站，其中所述工具包括与所述显示器相关联的鼠标。
19.如权利要求11-13中的任何一项所述的工作站，其中所述显示器是触摸敏感的，并且其中所述工具包括图形处理，所述图形处理记录所述显示器上被用户直接或间接触摸的位置并且将这样的位置转化为所述图像内的位置。
20.一种用于工作站的接口，该工作站被配置为评估机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于该患者的疾病状态的预测，其中所述机器学习模型从所述图像产生所述疾病状态的预测，其中所述接口包括：
显示器，用于显示所述患者或者从其获得的样本的图像，以及与所述预测相关联的风险得分或分类，其中所述图像被用突出来进一步增强，以指示出所述图像中影响了所述机器学习模型所产生的预测的一个或多个区域；以及
用户接口工具，通过该用户接口工具用户可在所述显示器上突出所述图像中用户认为对于所述疾病状态而言可疑的一个或多个区域，其中用户调用所述工具，从而突出所述一个或多个区域。
CN201980088777.9A 2019-01-11 2019-10-10 用于医疗保健应用中的机器学习定位模型的交互式阴性解释的系统、用户接口和方法 Active CN113272915B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/246,156 US10936160B2 (en) 2019-01-11 2019-01-11 System, user interface and method for interactive negative explanation of machine-learning localization models in health care applications
US16/246,156 2019-01-11
PCT/US2019/055629 WO2020146024A1 (en) 2019-01-11 2019-10-10 System, user interface and method for interactive negative explanation of machine-learning localization models in health care applications

Publications (2)

Publication Number Publication Date
CN113272915A true CN113272915A (zh) 2021-08-17
CN113272915B CN113272915B (zh) 2022-12-20

Family

ID=68425285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980088777.9A Active CN113272915B (zh) 2019-01-11 2019-10-10 用于医疗保健应用中的机器学习定位模型的交互式阴性解释的系统、用户接口和方法

Country Status (6)

Country Link
US (2) US10936160B2 (zh)
EP (1) EP3909059A1 (zh)
JP (1) JP7247352B2 (zh)
CN (1) CN113272915B (zh)
AU (1) AU2019420099A1 (zh)
WO (1) WO2020146024A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132529B2 (en) 2016-11-16 2021-09-28 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
US11334994B2 (en) * 2019-05-24 2022-05-17 Lunit Inc. Method for discriminating suspicious lesion in medical image, method for interpreting medical image, and computing device implementing the methods
CN115210772B (zh) * 2020-01-03 2023-07-18 佩治人工智能公司 用于处理通用疾病检测的电子图像的系统和方法
US11532084B2 (en) * 2020-05-11 2022-12-20 EchoNous, Inc. Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification
US11083403B1 (en) * 2020-10-11 2021-08-10 Cortery AB Pulmonary health assessment system
CA3212928A1 (en) * 2021-04-02 2022-10-06 John Chen Systems and methods to process electronic medical images for diagnostic or interventional use
US20230342920A1 (en) * 2021-04-23 2023-10-26 Fcuro Inc. Information processing apparatus, information processing method, information processing program, and information processing system
WO2023228230A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 分類装置、学習装置、分類方法、学習方法、およびプログラム
WO2024091456A1 (en) * 2022-10-23 2024-05-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for intra-operative assessment of tissue specimen mammography images to predict tumor margin status

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266435B1 (en) * 1993-09-29 2001-07-24 Shih-Ping Wang Computer-aided diagnosis method and system
US20040184644A1 (en) * 2002-10-31 2004-09-23 Cadvision Medical Technologies Ltd. Display for computer-aided evaluation of medical images and for establishing clinical recommendation therefrom
CN1839391A (zh) * 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于乳房成像的自动诊断和决策支持的系统和方法
CN1914617A (zh) * 2004-02-03 2007-02-14 美国西门子医疗解决公司 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法
CN102165453A (zh) * 2008-09-26 2011-08-24 皇家飞利浦电子股份有限公司 用于融合临床和图像特征进行计算机辅助诊断的系统和方法
US20120053446A1 (en) * 2007-11-21 2012-03-01 Parascript Llc Voting in image processing
US20160364862A1 (en) * 2015-06-12 2016-12-15 Merge Healthcare Incorporated Methods and Systems for Performing Image Analytics Using Graphical Reporting Associated with Clinical Images
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
CN107818821A (zh) * 2016-09-09 2018-03-20 西门子保健有限责任公司 在医学成像中的基于机器学习的组织定征
WO2018189551A1 (en) * 2017-04-12 2018-10-18 Kheiron Medical Technologies Ltd Malignancy assessment for tumors

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100476A1 (en) * 2002-11-25 2004-05-27 Morita Mark M. Method and apparatus for viewing computer aided detection and diagnosis results
US8014576B2 (en) 2005-11-23 2011-09-06 The Medipattern Corporation Method and system of computer-aided quantitative and qualitative analysis of medical images
JP2009086765A (ja) 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
US20100063947A1 (en) * 2008-05-16 2010-03-11 Burnside Elizabeth S System and Method for Dynamically Adaptable Learning Medical Diagnosis System
US8737715B2 (en) * 2009-07-13 2014-05-27 H. Lee Moffitt Cancer And Research Institute, Inc. Methods and apparatus for diagnosis and/or prognosis of cancer
US10282840B2 (en) * 2010-07-21 2019-05-07 Armin Moehrle Image reporting method
KR20140138501A (ko) * 2013-05-24 2014-12-04 삼성전자주식회사 병변 분류 장치, 및 병변 분류 데이터 변경 방법
WO2015069827A2 (en) * 2013-11-06 2015-05-14 H. Lee Moffitt Cancer Center And Research Institute, Inc. Pathology case review, analysis and prediction
ES2880316T3 (es) 2014-08-29 2021-11-24 Google Llc Procesamiento de imágenes mediante redes neuronales profundas
US10909675B2 (en) * 2015-10-09 2021-02-02 Mayo Foundation For Medical Education And Research System and method for tissue characterization based on texture information using multi-parametric MRI
CN114386567A (zh) 2016-02-18 2022-04-22 谷歌有限责任公司 图像分类神经网络
US20170249739A1 (en) * 2016-02-26 2017-08-31 Biomediq A/S Computer analysis of mammograms
US10025902B2 (en) * 2016-08-12 2018-07-17 Verily Life Sciences Llc Enhanced pathology diagnosis
US11170897B2 (en) 2017-02-23 2021-11-09 Google Llc Method and system for assisting pathologist identification of tumor cells in magnified tissue images
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
US10650520B1 (en) * 2017-06-06 2020-05-12 PathAI, Inc. Systems and methods for training a statistical model to predict tissue characteristics for a pathology image
US10013781B1 (en) 2017-06-13 2018-07-03 Google Llc Sewing machine-style polygon drawing method
GB201709672D0 (en) * 2017-06-16 2017-08-02 Ucl Business Plc A system and computer-implemented method for segmenting an image
KR20200003407A (ko) 2017-07-28 2020-01-09 구글 엘엘씨 전자 건강 기록으로부터 의료 이벤트를 예측 및 요약하기 위한 시스템 및 방법
SG11202003337VA (en) * 2017-10-13 2020-05-28 Ai Tech Inc Deep learning-based diagnosis and referral of ophthalmic diseases and disorders
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
US20210225511A1 (en) * 2018-06-18 2021-07-22 Google Llc Method and system for improving cancer detection using deep learning
GB201812050D0 (en) * 2018-07-24 2018-09-05 Dysis Medical Ltd Computer classification of biological tissue
US10943681B2 (en) * 2018-11-21 2021-03-09 Enlitic, Inc. Global multi-label generating system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266435B1 (en) * 1993-09-29 2001-07-24 Shih-Ping Wang Computer-aided diagnosis method and system
US20040184644A1 (en) * 2002-10-31 2004-09-23 Cadvision Medical Technologies Ltd. Display for computer-aided evaluation of medical images and for establishing clinical recommendation therefrom
CN1839391A (zh) * 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于乳房成像的自动诊断和决策支持的系统和方法
CN1914617A (zh) * 2004-02-03 2007-02-14 美国西门子医疗解决公司 与心脏有关的疾病和病症的自动诊断和决策支持系统和方法
US20120053446A1 (en) * 2007-11-21 2012-03-01 Parascript Llc Voting in image processing
CN102165453A (zh) * 2008-09-26 2011-08-24 皇家飞利浦电子股份有限公司 用于融合临床和图像特征进行计算机辅助诊断的系统和方法
US20160364862A1 (en) * 2015-06-12 2016-12-15 Merge Healthcare Incorporated Methods and Systems for Performing Image Analytics Using Graphical Reporting Associated with Clinical Images
CN107818821A (zh) * 2016-09-09 2018-03-20 西门子保健有限责任公司 在医学成像中的基于机器学习的组织定征
WO2018189551A1 (en) * 2017-04-12 2018-10-18 Kheiron Medical Technologies Ltd Malignancy assessment for tumors
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置

Also Published As

Publication number Publication date
JP2022516805A (ja) 2022-03-02
US20200225811A1 (en) 2020-07-16
EP3909059A1 (en) 2021-11-17
AU2019420099A1 (en) 2021-07-29
US11934634B2 (en) 2024-03-19
US10936160B2 (en) 2021-03-02
JP7247352B2 (ja) 2023-03-28
CN113272915B (zh) 2022-12-20
WO2020146024A1 (en) 2020-07-16
US20220121330A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
CN113272915B (zh) 用于医疗保健应用中的机器学习定位模型的交互式阴性解释的系统、用户接口和方法
Qiu et al. An initial investigation on developing a new method to predict short-term breast cancer risk based on deep learning technology
Tsehay et al. Convolutional neural network based deep-learning architecture for prostate cancer detection on multiparametric magnetic resonance images
JP2021528751A (ja) 深層学習を使用して癌検出を改善するための方法およびシステム
Xu et al. Quantifying the margin sharpness of lesions on radiological images for content‐based image retrieval
US8542899B2 (en) Automatic image analysis and quantification for fluorescence in situ hybridization
Peng et al. Repeatability and reproducibility of computed tomography radiomics for pulmonary nodules: a multicenter phantom study
Lin et al. EDICNet: An end-to-end detection and interpretable malignancy classification network for pulmonary nodules in computed tomography
Zhou et al. Computer-aided detection of mantle cell lymphoma on 18F-FDG PET/CT using a deep learning convolutional neural network
Yang et al. AX-Unet: A deep learning framework for image segmentation to assist pancreatic tumor diagnosis
Pham et al. Identifying an optimal machine learning generated image marker to predict survival of gastric cancer patients
Kang et al. Towards a quantitative analysis of class activation mapping for deep learning-based computer-aided diagnosis
Ouf et al. An enhanced deep learning approach for breast cancer detection in histopathology images
Şekeroğlu et al. A computer aided diagnosis system for lung cancer detection using support vector machine
JP2023530070A (ja) 電子画像を処理して組織マップ可視化を生成するシステム及び方法
Mettivier et al. DeepLook: a deep learning computed diagnosis support for breast tomosynthesis
Han et al. Automatic cancer detection and localization on prostatectomy histopathology images
JP4483250B2 (ja) 画像診断支援装置、画像診断支援方法及びプログラム
Jailin et al. Lesion detection in contrast enhanced spectral mammography
Wu et al. Quantitative ultrasound texture analysis for clinical decision making support
Ravi et al. Abnormality Classification in PET Images of Prostate Tumour using Neural Network Methods
Saraswat et al. A Survey of Recent Studies Investigating the potential of Deep Learning Algorithms for Identifying and Categorizing Breast Cancer
Li et al. Radiomic features derived from pre-operative multi-parametric MRI of prostate cancer are associated with decipher risk score
Goswami et al. Application of Deep Learning in Cytopathology and Prostate Adenocarcinoma Diagnosis
CN117637122A (zh) 用于标识和提供医学图像中的候选医学发现的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant