CN111936989A - 相似医学图像搜索 - Google Patents

相似医学图像搜索 Download PDF

Info

Publication number
CN111936989A
CN111936989A CN201880091932.8A CN201880091932A CN111936989A CN 111936989 A CN111936989 A CN 111936989A CN 201880091932 A CN201880091932 A CN 201880091932A CN 111936989 A CN111936989 A CN 111936989A
Authority
CN
China
Prior art keywords
image
images
similar
medical images
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880091932.8A
Other languages
English (en)
Inventor
L.彭
M.斯通普
D.斯米尔科夫
J.希普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111936989A publication Critical patent/CN111936989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Library & Information Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种用于搜索相似医学图像的系统包括：以大量医学图像的形式的参考库，大量医学图像中的至少一些医学图像与元数据相关联，元数据包括与关联于医学图像的标本或患者相关的临床信息。计算机系统被配置为用于从用户接收输入图像查询的搜索工具。计算机系统被训练为在参考库系统中找到与输入图像相似的一个或多个相似医学图像。参考库被表示为投影在具有多个轴的特征空间中的医学图像中的每个医学图像的嵌入，其中，该嵌入由相似性排序的两个方面表征:(1)视觉相似性，和(2)语义相似性，使得特征空间中的相邻图像在视觉上相似，并且语义信息由特征空间的轴表示。计算机系统支持来自用户的附加查询，从而进一步细化在由一个或多个相似医学图像组成的搜索空间内对与输入图像相似的医学图像的搜索。

Description

相似医学图像搜索
背景技术
本公开涉及图像搜索和检索的领域，更具体地，涉及用于搜索与输入或查询图像相似的医学图像的系统和方法。
用于搜索医学图像的工具包括市售的产品或服务，包括ARRS
Figure BDA0002705422850000011
Figure BDA0002705422850000012
谷歌的图像搜索功能、PathoPic和病理学教育信息资源(Pathology Education InformationalResource，PEIR)数字图书馆。PathoPic是提供用于医学教育和公共卫生信息的高质量图像的公共访问图像数据库。这些工具的其中一些为病理学图像提供基于文本的查询。存在针对用于搜索相似图像的机器学习方法的大量文献。参见例如，J.Wang,et al.,Learningfine-grained image similarity with deep ranking,https://arxiv.org/abs/1404.4661(2017)，以及其中引用的文献。另外参见美国专利9,275,456、9,081,822、8,199,994、7,188,103和7,027,633，以及美国专利公开2012/0242817、2010/0017389、2007/0258630和2003/0013951。
发明内容
在第一方面，描述了一种用于搜索相似医学图像的系统。系统包括存储以大量医学图像的形式的参考库的计算机存储器系统。这些图像中的至少一些图像，并且优选为所有图像，与元数据相关联，元数据包括与关联于医学图像的标本或患者相关的临床信息。系统还包括被配置为用于从用户接收输入图像查询的搜索工具的计算机系统。计算机系统被训练为在存储器系统中找到与输入图像相似的一个或多个相似医学图像。参考库被表示为投影在具有多个轴的特征空间中的医学图像中的每个医学图像的嵌入，其中，医学图像的嵌入由相似性排序的两个方面表征:(1)视觉相似性，和(2)语义相似性，使得特征空间中的相邻图像在视觉上相似，并且语义信息由特征空间的轴表示。计算机系统支持来自用户的附加查询，从而进一步细化在由一个或多个相似医学图像组成的搜索空间内对与输入图像相似的医学图像的搜索。
在一个实施例中，其中，医学图像包括从由视网膜图像、组织图像、皮肤损伤照片、乳房X光片和放射图像组成的图像组中选择的图像。
系统可以包括将视觉相似性特征向量和语义相似性特征向量分配给参考库中的图像的机器学习模型或模型组合。
系统将通常与具有用户界面的工作站结合使用，藉由该用户界面，用户(例如，病理学家)选择图像或图像的部分作为输入查询图像，并且工作站向计算机系统提供输入查询图像。在一个实施例中，用户界面包括用于显示一个或多个相似医学图像中的所选择的图像的元数据的特征。例如，显示可以包括组织的类型、图像的来源、存活数据、患者烟民状态等。
当相似图像被计算机系统检索并呈现在工作站上时，相似医学图像的显示可以包括对于相似医学图像的相似性排序的显示，诸如“96％相似性”、“52％相似性”等。这种相似性排序可以例如藉由输入查询图像到嵌入和相邻图像的投影的接近度来获得，例如投影和相邻图像之间的半径或距离r。
相似医学图像可以在工作站上在按分配给相似医学图像的病例标签进行的分组中呈现，病例标签诸如是“良性”、“癌性”、“腺癌”、“Gleason等级4”等。病例标签可以根据与相似医学图像相关联的元数据或者根据沿着其找到相似医学图像的语义相似性的一个或多个轴来确定。可替换地，相似的医学图像可以显示在排序列表或数据透视表中。
在一个实施例中，工作站包括用于根据用户指定的过滤标准(例如，按烟民状态、年龄、Gleason等级等)过滤相似医学图像的工具。这种过滤可以通过参考与图像相关联的元数据来执行。
在一个实施例中，对与输入图像相似的医学图像的搜索的进一步细化采取基于用户输入的对相似性度量的交互式调整的形式。使用输入可以是文本输入，例如通过指定相似性度量的细化，诸如“宽”或“窄”(或嵌入特征空间中的半径r)，或者它可以是语音输入。在语音输入的情况下，工作站可以包括麦克风和将语音命令转换成搜索输入参数的语音到文本转换软件。
在一种可能的配置中，用户界面提供关于相似医学图像的聚合信息的显示。例如，聚合信息可以采取相似医学图像中的诊断关键词的频率的形式，例如良性百分比、癌性百分比、Gleason等级3百分比、Gleason等级4百分比。作为另一示例，聚合信息可以采取生存数据的形式，诸如生存时间少于两年的百分比，等等。
在又一种进一步的配置中，相似医学图像的显示还包括一个或多个相似医学图像的结果的概要，所述结果的概要包括疾病的诊断、管理、图像的来源以及生存数据中的一个或多个。术语“管理”意味着关于如何治疗与图像相关联的患者或如何管理他们的疾病的信息，诸如(a)接下来做了什么(在活检或图像捕获之后)，诸如监视(+随访时间)，(b)给出的处方(+药物名称)，(c)执行的附加测试(+测试名称)，(d)执行的其他治疗(+程序名称)，等等。
在另一方面，描述了一种用于检索与输入查询图像相似的医学图像的方法。该方法包括：创建以大量数字医学图像的形式的参考库，大量数字医学图像中的每个数字医学图像与图像元数据相关联。数字医学图像被供应给一个或多个机器学习模型，并且被表示为以在具有多个轴的特征空间中的数字医学图像的投影的形式的嵌入。所述嵌入由相似性排序的两个方面表征:(1)视觉相似性，和(2)语义相似性，使得特征空间中的相邻图像在视觉上相似，并且语义信息由特征空间的轴表示。基于输入查询图像在特征空间中的投影，在特征空间内的半径r内检索输入查询图像的相似医学图像。
在该方法的一个实施例中，存在响应于用户输入来细化相似医学图像的检索的步骤。在一个实施例中，用户输入采取语音输入的形式。例如，用户可以使用工作站来搜索相似的图像，该工作站包括麦克风和将语音命令转换成搜索输入参数的语音到文本转换软件。
在该方法中，数字医学图像可以是视网膜图像、组织图像、皮肤损伤照片、乳房X光片和放射图像(诸如X光或MRI图像)。
本公开的另一方面是一种用于促进在医学图像内进行搜索的系统，这种特征被称为图像内搜索(intra-image searching)。在这个方面，该系统包括被配置为用于从用户接收以较大医学图像的一部分的一部分的形式的输入查询的搜索工具的计算机系统，该计算机系统包括被训练为找到与输入查询相似的较大医学图像的一个或多个附加部分的机器学习模式识别器。这种模式识别器可以采取几种形式，并且例如可以根据以下参考文献之一进行配置，其内容通过引用结合于此：C.Szegedy et al.,Going Deeper withConvolutions,arXiv:1409.4842[cs.CV](2014年9月)；C.Szegedy et al.,Rethinkingthe Inception Architecture for Computer Vision,arXiv:1512.00567[cs.CV](2015年12月)；还参见于2015年8月28日提交的序列号为14/839,452的美国专利申请C.Szegedy etal.,“Processing Images Using Deep Neural Networks”。被称为初始版本v4(Inception-v4)的第四代被认为是这种模式识别器的另一种可能的体系结构。参见C.Szegedy et al.,Inception-v4,Inception-ResNet and the Impact of ResidualConnections on Learning,arXiv:1602.0761[cs.CV](2016年2月)。也可以参见于2016年12月30日提交的序列号为15/395,530的US专利申请C.Vanhoucke,“Image ClassificationNeural Networks”以及于2017年2月23日提交的序列号为PCT/US2017/019051的PCT申请。
系统包括被配置为对其找到的较大医学图像的附加部分执行以下操作中的至少一个操作的模块:
a)突出显示附加部分，例如，通过用特定颜色着色或显示附加部分周围的边界框或边界；
b)为附加部分提供注释，诸如癌性或具有特定Gleason得分的概率；或者
c)为附加部分提供量化，诸如尺寸数据。
系统还包括提供用户界面的工作站，该用户界面用于输入输入查询，并显示输入查询和由计算机系统找到的一个或多个附加部分两者以及执行至少一个操作的模块的结果。
在这个方面，医学图像可以采取视网膜图像、组织图像、皮肤损伤照片、乳房X光片或放射图像的形式。
用户界面还可以包括用于显示输入查询的一个或多个附加部分的相似性排序的特征。排序列表或数据透视表中的一个或多个附加部分。用户界面可以包括用于根据用户指定的过滤标准过滤一个或多个附加部分的工具。用户界面支持基于用户输入对一个或多个相似部分的搜索的进一步细化。用户输入可以是语音输入。
附图说明
图1是工作站上的显示的图示，该显示示出输入或查询图像以及与结果窗格或数据透视表中的查询图像的相似的图像的集合。在图1中，存在示出从参考库中选择相似图像的不同模型的结果。
图2是前列腺组织标本的以放大数字图像的形式的查询图像和示出在参考库中找到的两个相似医学图像的结果窗格、以及与相似图像相关联的元数据和查询图像的分类预测的图示。
图3是由各种组织类型和图像类型的大量医学图像组成的参考库的图示。参考库可以从公开来源获得，从诸如大学或医院系统的机构获得许可，或两者结合。
图4是多维空间中对图3的参考库的大量医学图像的嵌入的绘图的示例。每个矩形图块(patch)表示参考中的单个图像。图像在嵌入中的位置是由视觉相似性和语义相似性组成的相似性排序的因素。通过将查询图像特征向量投影到嵌入中并选择相邻图像，找到查询图像的相似医学图像。
图5是在多维空间中对图3的参考库的大量医学图像的嵌入的绘图的另一示例。
图6是为参考库中的图像生成视觉相似性排序的过程的图示。
图7是为参考库中的图像生成语义标签的过程的图示。
图8是其中以一个可能的实施方式实践本公开的方法的计算系统环境的图示。
图9是工作站上的显示的图示，该显示示出用户经由拖放技术选择查询图像。可以对图像的一部分执行相同的拖放程序，例如在病理学中，用户在图像的该部分中定义围绕某个组织区域的边界框或正方形，然后他们拖放该边界框或正方形。
图10是工作站上的显示的图示，该显示示出查询图像和数据透视表，该数据透视表示出从参考库中检索的50个不同的相似医学图像的一部分。
图11是工作站上的显示的图示，该显示示出在比较模式下的查询图像和来自参考库的图像。
图12是工作站上的显示的图示，该显示示出查询图像和具有在查询图像中自动检测到的感兴趣区域(诸如肿瘤细胞)的查询图像。
图13是示出用于确定语义相似性的一个可能的层次的相似性图。
图14是示出癌性的和健康的乳腺和前列腺组织之间的视觉相似性的程度的图。
图15是语义相似性的不同维度的绘图。图15中所示的维度(组织类型、标本类型、组织学特征和疾病)可以表示为图4和图5的多维特征空间中的不同坐标轴。
图16是四种不同类型的解剖特征的图像的图示，它们是本方法对于检索相似图像有用的图像类型的示例。
图17是示出使用图8的系统来检索参考库中的一个或多个相似图像的一系列过程步骤的流程图。
具体实施方式
概述
本公开涉及一种用于对相似于输入图像的医学图像的基于内容的检索的系统和方法。检索到的图像通常连同与检索到的图像相关联的元数据一起在工作站显示器上呈现给用户，诸如医生或病理学家。该系统和方法可以用于的医学图像的类型可以取决于应用而变化，但是例如可以由通常用于疾病(诸如癌症)的诊断的、组织样本的放大数字图像组成。其他应用包括在放射学中使用的图像，诸如胸部X光片和乳房X光片，以及在皮肤病学中使用的图像，诸如评估皮肤病(如皮肤癌、皮炎、微生物皮肤病和慢性皮肤病(如痤疮或白癜风))时使用的照片。
本公开的系统和方法具有几种应用:
1)辅助诊断——例如，对于罕见肿瘤，示出相似形态学的历史病例，其可以基于(a)与作为视觉参考的其他图像的比较以及用于(b)查看这些图像的元数据来指导诊断。辅助诊断的应用的第二个示例是鉴别诊断(differential diagnosis)——即视觉相似图像将用于区分诊断A和相似诊断B或C。这些图像将是有用的，因为它们不仅(1)示出诊断A的人群中的变异性，还有(2)与诊断A直接比较的诊断B和C的不同人群。
2)教学和教育——查看例如癌变的前列腺腺体的人群中的变异性。
3)标签查找——与相似图像一起供应的元数据可用于学习形态特征的名称，例如“神经”(基于内容的查询)。
另外，在本公开的另一方面，描述了一种用于在相同图像中找到相似特征的方法。例如，在组织病理学千兆像素图像中，病理学家可以勾画出特定的感兴趣区域，例如怀疑是癌性的细胞簇，并且可以自动识别、然后勾勒出相似的区域。这种技术对病理学家来说供应了几个有用的目的:它能够对整个图像进行量化(例如，切片图像中的总肿瘤体积)；它促进创建分段注释；并且此外，它简单地促进病理学家可能感兴趣的标本的所有相关区域的视觉突出显示，并有助于确保病理学家可能忽略的区域不会被遗漏。
本公开的系统和方法可以被配置为特征的用户界面集合，特征诸如是屏幕显示、提示、窗口和用户输入(查询)框以及检索窗格或数据透视表，它们可以被视为整体来构成临床决策支持工具。在一个可能的实施例中，该工具本身不提供查询图像的诊断或分类；相反，它供应与所查询图像相似的图像或图像块，以协助操作人员(病理学家)做出医疗决策，诸如诊断、治疗或估计预后(prognosis)。在替代配置中，该工具包括生成分类标签和查询图像的分类标签正确的概率。
该方法在病理学中具有应用，特别是(a)病例间搜索，即在其他(历史)病例中找到相似的图像区域以用于辅助诊断、教学和教育，以及(b)在相同图像(例如，组织病理学千兆像素图像，诸如病理学中的全切片图像)中找到相似的特征，如上所解释的。当观看用于病例间搜索的医学图像时，该方法论允许以相同的方式向用户示出相似的其他图像，以及来自其他相似图像的元数据，例如诊断、治疗、结果或其他相关信息。其他相关信息的示例包括查询的特征所出现的病例的分布(例如，直方图或百分比)(例如，良性病例30％、癌症1级病例20％、癌症2级病例45％以及一些其他罕见癌症病例5％)。
在我们的方法中，通过将医学图像投影到多维特征空间中，我们使用了医学图像在参考库中的嵌入。存在几种方法可以实现这一点，诸如通过使用基于特征的相似性对图像进行聚类的无监督学习。作为另一示例，我们可以使用例如在癌症检测卷积神经网络中学习的特征来创建嵌入。
在一个方面，存储的医学图像的参考库被表示为由投影到多维空间中的特征向量组成的嵌入。特征向量编码相似性排序的两个部分:(1)视觉相似性，和(2)语义相似性，即表示语义关系的接近度。我们描述了用于生成视觉相似性特征向量的几种可能的机器学习方法。嵌入可以在多维特征空间中表示，其中具有接近的相似性排序的图像被彼此靠近地分组。例如，嵌入可以用语义信息的许多维度或轴(诸如组织类型、标本类型、组织学特征、疾病状态等)来表征，并且视觉相似性指示参考库的元素沿着这些轴的位置，其中具有相似视觉相似性的图像彼此接近地进行聚类，而视觉上不相似的图像不接近彼此地进行聚类。
语义标签是指与图像相关联的语义信息，诸如“前列腺组织”、“乳房组织”、“黑色素瘤”、“肿瘤”、“良性”、“健康”等，它们可以从关于病例的元数据中获得。具有相同语义标签的图像被认为是语义上相似的。图像可以在(例如按照组织类型标签的)一个维度上相似，但是在(例如按照肿瘤类型的)另一个维度上不同。医学图像的语义相似性标签的生成可以手动策划，或者基于病理学家在观看医学图像的集合时的点击行为或其他机器学习技术从众包(crowdsourced)训练中生成。另一种选择是使用无监督学习来创建语义相似性标签。在一种可能性中，人们甚至不会使用这些标签来训练模型，而是作为产品中的实施方式来检索相似的图像。从元数据中获得的语义标签允许将图像分配到它们各自的元数据类别(例如，良性、第2阶段、细支气管等)和诸如皮肤病学中的非病理学标签的相似类别。相比之下，相似性排序能够在嵌入空间中提供“邻近度”，其允许对即使在相同类别内的图像进行排名(sort)。
用于搜索医学图像的嵌入方法的使用使得某些特征能够实现，包括有意义的相似性度量以及跨语义相似性的多个维度或轴来评估相似性。此外，该方法论支持查询图像的搜索结果的给定集合中的附加文本或语音查询。例如，该方法可以提供用于在第二级搜索(包括使用文本输入)中细化搜索参数(例如，搜索作为“烟民”的Gleason等级3的患者、65岁以上的患者、病灶的位置、家族史等的图像)并且检索根据文本搜索输入过滤的相似图像的工具。用户还可以提供语音输入来引导初始搜索，诸如通过说出“宽”或“窄”或“烟民”来定制搜索结果以适合他们的特定需求。这种口头术语“宽”、“窄”等允许用户调整搜索中使用的算法，例如，在包围相似图像的多维特征空间中的球体的尺寸。
如上所述，在一种可能的配置中，本公开的方法采取临床决策支持工具的形式，该工具由具有显示器的传统病理学工作站上的用户界面控件来操作。现在参考图1，示出了工作站的显示100的一部分，其中用户已经选择了查询图像102。在该示例中，查询图像102是组织样本(例如，乳房或前列腺组织)的全切片图像108的一部分106(由小矩形指示)。组织样本用本领域常规的诸如苏木精-伊红(H&E)之类的染色剂进行染色，并被置于显微镜切片上。如本领域中已知的，根据用全切片扫描仪扫描切片来获得切片的RGB数字图像。用户通过从可用切片的下拉菜单中选择切片图像108以进行搜索(未示出)并在观看器中导航和缩放到呈现切片中的特定感兴趣区域的点，已经选择了图像102，如由矩形查询图像102所指示的。查询图像102然后被上传到实施本公开的相似图像搜索特征的计算机系统(见图8)，并且计算机系统在数据透视表112中返回相似医学图像的集合110。在该特定示例中，计算机系统实施不同的机器学习模型以返回不同的相似图像的集合，来自特定模型的每个集合显示在一列中。该界面包括示出在显示100左手侧的各种工具114，其中用户可以为查询图像选择不同的过滤参数或放大率级别。例如，用户已经针对查询图像102的放大率级别选择了5倍(5X)，并且相似图像结果以5倍放大率返回并示出在数据透视表112中。
图2是前列腺组织标本的以放大数字图像的形式的查询图像102和示出在参考库中找到的两个相似医学图像202和204的结果窗格200、以及与相似图像相关联的元数据206的图示。在该特定示例中，实施相似医学图像搜索的计算机系统生成查询图像的分类预测(如208所示)以及与预测相关联的置信水平。在这种情况下，计算机系统包括模式识别器(例如，深度卷积神经网络)，该模式识别器被训练为识别前列腺组织图像中的癌性区域，并且基于在搜索中找到的相似图像来生成围绕被预测为癌性的细胞簇的感兴趣区域边界210，并且该感兴趣区域边界210对于边界内的癌细胞具有预测置信水平的Gleason得分。
如上所述，对相似图像的搜索发生在特定的全域(universe)或图像集合中。这个图像集合在本文被称为“参考库”。图3是由各种组织类型和图像类型的大量医学图像组成的参考库的图示。参考库可以从公开来源获得，从诸如大学或医院系统的机构获得许可，或两者结合。例如，在图3中，存在各自与元数据306A、306B等相关联的前列腺组织样本304A、304B等的数字放大组织图像的集合302。元数据通常包括关于提供样本的患者或样本本身的一些临床、人口统计、存活或其他信息，诸如患者年龄、患者烟民状态、患者存活数据、组织类型、癌症/非癌症、染色细节等。在实践中，前列腺图像的集合数量将达到数千或数万，甚至可能更多。相似地，数字眼底(视网膜)图像312A、312B等以及相关联的元数据314A、314B的集合310存在于参考库中。参考库的尺寸和内容可以取决于提供本公开的搜索的系统的特定实施方式和目标而变化。在一个可能的示例中，参考库包括各种不同组织类型的相似集合，包括乳房、前列腺、肺、脑、宫颈和其他类型的放大组织图像，以及放射图像(例如，乳房X光片、胸部X光片)和皮肤病的摄影图像(例如，皮疹、良性和恶性的肿瘤、皮炎等)。这种图像还优选地伴随有元数据，如前列腺图像集合302和视网膜图像集合310的情况。参考库可以全部或部分从公开来源(诸如癌症基因组图谱、加州肿瘤组织登记处等)产生，或者从特定的医疗机构320和322(诸如医院或大学、美国政府或其部门，如疾病控制中心、美国国立卫生研究院、美国海军)产生，或从其组合产生。
如上所述，在我们的系统中，我们将图3的参考库中的图像(特别是库中图像之间的相似性信息)表示为在我们将其称为嵌入的多维特征空间中的分配给每个图像的视觉相似性和语义相似性的特征向量的投影。下面详细解释生成这些特征向量的方式。图4是在多维空间或嵌入中对图3的参考库的大量医学图像的嵌入的绘图的示例。为了便于嵌入的可视化，嵌入由三个轴组成。轴表示以分配给图像的标签的形式的语义信息，例如轴“语义1”是组织类型，轴“语义2”是癌性，轴语义3是烟民状态＝烟民。每个矩形图块402、402B等表示参考库中的单个图像。图像在嵌入中的位置是由图像之间的视觉相似性和语义相似性组成的相似性排序的因素。视觉上相似的图像彼此接近地进行聚类，而不相似的图像则没有。通过将查询图像特征向量投影到图4的嵌入中并选择相邻图像，例如通过指定半径为r的球体并在嵌入中检索查询图像的投影的半径r内的那些图像，可以找到与查询图像相似的医学图像。例如，参考图4，包含图像402A的图像的聚类404表示一组癌症阳性的乳房组织的图像，其中烟民状态＝烟民，并且对聚类404中的图像的聚类指示它们具有相似的视觉相似性度量。在该示例中，如果查询图像是碰巧包含癌细胞的乳腺癌组织，并且患者是烟民，则查询图像将被定位在星408的位置，并且取决于半径r，将返回聚类402A中的一些或所有图像。
图5是在多维空间中对图3的参考库的大量医学图像的嵌入的绘图的另一示例。语义1、语义2和语义3是指空间的轴，如果用户或操作者希望看到参考库中的图像的可视化，则他们可以指定其含义。各个矩形502表示参考库中的图像。矩形502可以是彩色编码的，以便将相关图像分组在一起，使得嵌入的绘图对用户来说更容易理解或更有用。例如，给定烟民状态为“非烟民”的图像可以被着色为绿色，例如，其中轴语义1、语义2和语义3都不与烟民状态相关联，而是与分配给图像的其他标签相关联。
图6是为图3的参考库中的图像生成视觉相似性排序的过程的图示。本质上，图像602被供应给为每个图像生成相似性排序608的机器学习模型604(“机器学习模型1”)。机器学习模型还可以在生成相似性排序中使用用户输入606，这取决于机器学习方法及其是否被监督或者使用众包输入。图7示出用于生成用于参考库中的图像当中的相似性排序的语义标签的方法。图像702被馈送到第二机器学习模型704，例如为图像生成语义标签(诸如健康的、良性的)或者分配组织类型标签的深度卷积神经网络模式识别器。
各种可能的深度学习方法可以用于图6的机器学习模型1，并且在优选实施例中，机器学习模型或模型组合在一个过程或程序中向图像分配视觉相似性特征向量和语义相似性特征向量两者，从而消除了执行使用第二模型来分配语义相似性的单独步骤的需要。
在一个可能的示例中，经训练的卷积神经网络的激活层可以产生图像602之间的相似性排序。
在另一示例中，模型604可以根据在论文J.Wang,et al.,Learning fine-grainedimage similarity with deep ranking,https://arxiv.org/abs/1404.4661(2017)中描述的技术来实施，其内容通过引用结合于此。使用这种方法论可能需要对将多大的图像馈送到Wang等人的论文的模型中的一些考虑。这种考虑与形态相似性所需的尺度有关。例如，在某些情况下，诸如对于千兆像素的组织图像，人们可能希望进行基于逐个图块而不是整个图像的视觉相似性。当使用以细胞为中心并且平均包括所有细胞加上一些相邻细胞的正方形图块时，可以实现模型的改进性能。当病理学家关心的表型(phenotype)是单细胞而不是多细胞时，这可能特别有意义。取决于组织类型和疾病，人们可能会对相关的尺度将是什么具有先验的信念。如果一些基本事实(ground-truth)训练样本可用，则每个尺度的适当加权可以通过嵌入的简单级联来处理，或者潜在地通过在Wang等人的论文所表示的模型之上操作的学习网络来处理。
机器学习模型604的其他示例包括无监督学习技术、自动编码器和自监督方法，包括上下文编码器和通过上下文预测的无监督视觉表示学习，分别参见https://people.eecs.berkeley.edu/～pathak/context_encoder/以及http://graphics.cs.cmu.edu/projects/deepContext/。
也可以使用这些方法的组合。例如，来自Wang等人的方法的语义特征可能能够在不同的组织学特征之间进行区分，而作为附加的嵌入的来自组织标本分类器的激活层可能有助于区分标本类型(例如，前列腺与乳房与乳房组织)，并且诊断分类器(例如，肿瘤检测器、前列腺Gleason得分分类器、死亡率风险预测器)可能有助于进一步在具有相同组织类型的风险类别之间进行区分。在更高的层次上，Wang等人的方法是通过使用人类贴标签的三元组来工作的:向人们示出两个参考图像A和B，然后要求他们对第三图像C是与A还是B更相似进行评级。对成千上万个三元组重复这一过程，就可以获得图像A、B和C的相似性排序——这是定义图像A、B和C如何被投影在图4和图5的多维空间中的相似性度量。在模型训练练习期间，该方法可以是众包的或者跨许多不同的用户(例如病理学家)分布。嵌入由具有相似性排序的两个部分的特征向量组成:1)视觉相似性(基于上面的三元组排序)和2)语义相似性——这是在最初分配给图像的标签和用户的点击行为上训练的，例如，在分布式训练的众包期间。例如，如果用户在训练练习中搜索“前列腺组织”，点击前列腺组织的图像，则该图像与该标签相关联。然后，具有相同标签的图像，例如前列腺组织，被认为是语义上相似的。
应当注意，参考库中的图像优选为与元数据相关联，元数据可以指示诸如组织类型的事物。元数据将仅允许将图像分配到相应的元数据类别(例如，肿瘤、良性、阶段2、细支气管等，以及针对诸如在皮肤病学中的非病理学标签是相似的)中。相比之下，相似性排序能够在嵌入空间中提供“邻近度”，其允许对即使在相同类别中的图像进行排名。就相似性排序的语义方面而言，它可以帮助根据相同类别内的特征(例如，在相同肿瘤类型内，腺体更细长或更球形)来分成子组(subgroup)。
图8是其中以一个可能的实施方式实践本公开的方法的计算系统环境800的图示。工作站802包括显示器804和诸如键盘和鼠标的用户接口设备806，以浏览通常本地存储的图像集合并选择他们想要对其搜索相似图像的图像。所选择的图像然后通过网络808上传到计算机系统810，计算机系统810包括图像服务器804和包含参考库的数据存储812。计算机系统810将表示参考库中的图像的嵌入的数据存储在多维特征空间中(图4和图5)，然后使用也在计算机系统810中实施的图6和图7的机器学习模型(或其组合)，为查询图像生成视觉特征向量和语义特征向量，并将这些向量投影到嵌入中。取决于搜索的参数(例如，窄或宽)并且因此取决于嵌入空间中的半径，空间中表示相似图像的邻近图像被返回到工作站。例如，在其中计算机系统810的提供商为相似医学图像搜索服务的多个机构或用户提供服务的分布式实施例中，该过程针对大量工作站804实时进行。工作站可以可选地包括允许用户向工作站输入语音命令的麦克风820。工作站包括可将语音转换为文本并允许对搜索参数进行语音控制的语音识别引擎。例如，用户可以说出短语“宽搜索”，并且期望指示在嵌入空间中针对很大r值的搜索的数据。当检索相似图像时，计算机系统解释该命令，使得工作站接收到比它原本可能接收到的更大的相似图像集合。相似地，口头命令“窄”可以将搜索定制为嵌入空间中的很小r值，使得仅返回有限的相似图像集合，即仅返回具有与查询图像的视觉相似性排序和语义相似性排序最高的图像。
图9是工作站上的显示的图示，该显示示出用户选择在该方法中使用的查询图像。在该示例中，用户从可用图像的菜单(未示出)中选择查询图像902，图像902出现在显示上，并被拖放到框904中。用户选择上传图标906。通过勾选参考库中机构的名称或图像的来源旁边的框910、912，用户可以选择要搜索的数据库。可以对图像的一部分执行相同的拖放程序，例如在病理学中，用户在图像的该部分中定义围绕某个组织区域的边界框或正方形(例如，通过在感兴趣区域周围创建边界的一系列鼠标点击)，然后他们将该边界框或正方形拖放到框904中，然后选择上传图标。作为另一替代方案，可用图像的菜单可以是对整个图像的选择(例如，在皮肤损伤的皮肤病学照片中)，或者仅仅是对整体图像的一部分的感兴趣区域的选择(例如，在组织病理学的背景下)。
图10是工作站上的显示的图示，该显示示出查询图像902和数据透视表1000，数据透视表1000示出从参考库中检索的50个不同的相似医学图像1002的一部分。任务栏1004例如基于与每个图像相关联的元数据，提供用于过滤检索到的图像的工具。例如，用户可以选择过滤器，使得仅显示癌性病灶的图像、仅显示来自男性患者或女性患者的图像、仅显示存活时间小于5年的图像等。在结果区域1010中，用户被给予用于示出返回的图像的统计数据的选项，诸如在区域1010中列出的所有50个返回的图像的最高诊断(top diagnoses)。下拉框1012允许用户选择返回的图像的其他统计数据或摘要。下拉框中可用的选项菜单将根据图像的类型而变化，并且本领域技术人员将能够取决于不特别重要的实施方式细节来获得合适的选项菜单。此类选项的示例包括诊断；管理，例如接下来做了什么，诸如监视(+随访时间)、处方(+药物名称)、附加测试(+测试名称)、其他治疗(+程序名称)；和来源(哪个大学/组织供应这些数据)。
图11是工作站上的显示的图示，该显示示出处于比较模式的查询图像902和来自参考库的相似图像1100。例如，用户从图10中选择图像之一，并且该显示进入图11所示的比较模式。该示例中的相似图像1100是出现在头皮上并与黑色素瘤的诊断相关联的病灶的照片。来自图像1100的元数据的信息呈现在图像下方的字段1102中。
图12是工作站上的显示的图示，该显示示出查询图像1202。图8的计算机系统810中的机器学习模型实施卷积神经网络模式识别器，该模式识别器被训练来识别查询图像类型的放大组织图像中的肿瘤细胞。当相似的图像被返回时，在一个可能的实施例中，查询图像也被返回，同时在查询图像中自动检测感兴趣的区域，诸如肿瘤。例如，查询图像1202增加有标签“肿瘤”1204和围绕细胞簇的遮罩(mask)或边界1206，细胞簇被模式识别器识别为包含癌细胞。模式识别器将外围细胞识别为“高细胞基质”，并返回查询图像的这些区域的标签1108和颜色代码。
本公开的临床决策支持工具旨在识别“相似”图像块，其中，与猫和狗的自然图像相比，“相似”的定义不是先验清晰的。在一个实施例中，目的是提供在当前图像的环境中供应对病理学家/用户有用的图像和病例的工具。因此，该工具应该捕获基本的组织结构以区分标本类型、组织学特征(例如腺体、细支气管、上皮组织、脂肪组织)，然后在这些类别中还理想地在不同的肿瘤严重程度(例如前列腺腺体的Gleason 4型和Gleason 5型癌症)之间进行区分。人们可以采取各种不同的方法来定义或确定“相似性”。图13是示出用于确定语义相似性的一个可能的层次的相似性图。该图示出通过相似性图的样本路径。具有相似路径的组织图像应视为相似。注意，该图中的层次不一定是相似性的唯一或最佳的层次。例如，“癌性乳房组织”在某些情况下可能被认为更相似于“癌性前列腺组织”，而不是“健康乳房”。此外，更细粒度的区别(例如，Gleason 3型与Gleason 4型)对于工具进行实际诊断的有用性可能是重要的，例如对于发现具有相似肿瘤的历史罕见病例。图14是示出癌性和健康的乳房和前列腺组织之间的视觉相似性的图。箭头的长度表示视觉相似性度量，即箭头越短，它们在视觉上越接近。不同器官的癌性组织可能更相似于各自的健康组织，因为癌性组织在形态学上分化较低，特别是随着肿瘤等级的增加。
图13和图14的考虑可以被认为是相似性的维度的内部概念(与图15相似)，并且不同的应用可以强调不同的维度。图13具体呈现了相似性搜索应该能够区分的可能的层次的粗略示例。可视化这一点的一个示例是所有图像的层次聚类，并且其中图13的图中的节点对应于图像的聚类。在层次中向下对应于聚类层次结构中更细粒度的区别。图14以另一种方式示出了不同维度的概念(例如，良性与癌症，或前列腺组织与乳房组织)
图15是语义相似性的不同维度的绘图。图15所示的维度(组织类型、标本类型、组织学特征和疾病)可以表示为图4和图5的多维特征空间中的不同坐标轴。例如，在组织的维度中，在放大的组织图像中存在不同类型的组织，诸如基质、血管和脂肪组织。标本类型维度包括不同类型的器官，诸如肾脏、乳房、宫颈、前列腺等。组织学特征维度包括腺体(前列腺)、腺体(乳腺)和细支气管(肺)。疾病维度包括例如前列腺恶性腺瘤的不同程度或Gleason得分。在图4和图5的空间中，给定维度上每个点的每个位置将产生相应的关联——在适用的情况下(例如，可能存在腺体变形或融合的程度的轴，以及这种情况可能导致不同癌症阶段的程度)。
图16是四种不同类型的解剖特征的图像的图示，它们是本方法对于检索相似图像有用的图像类型的示例。这些特征包括细支气管特征1602、软骨和小细支气管1604、血管中的红细胞1606和腺体1608。
病理学的主要挑战之一是如何定义“相似性”。在一种方法中，如果查看图像(及其相应的病例数据，诸如诊断、治疗、疗效)将有助于病理学家对手头的病例做出准确的诊断，则可以认为图像是相似的。一般来说，这意味着诊断和局部解剖特征应该是相似的，但是定义这些特征的基本事实并不简单，并且很可能必须是多个特征的组合:
1.诊断分类(例如肿瘤分类器网络特征)
2.提取组织的器官
3.视觉特征
4.组织学特征(例如前列腺腺泡、导管、神经浸润等)
5.相似的形态(例如腺体的形状等)
6.分配给由病理学家生成的图像的相似性标签，例如，来自Wang等人的方法的实施方式的众包。
另一个观察相似性的选项可能是一个轴上的生物相似性(从小到大)(下面被编号的)和沿第二个轴的异常程度或类型(下面用字母表示):
1.蛋白质组学(例如，这些细胞都表达PDL-1吗？)
a.过度表达
b.表达不足
2.细胞的(细胞A看起来像细胞B吗——例如，这是激活的淋巴细胞吗)
a.细胞核和细胞质特征(有丝分裂计数)
b.区别
3.结构(细胞之间是如何组织的——例如乳腺组织)
a.组织
b.入侵(血管周围、神经周围等)
4.组织学/组织类型(脂肪、肌肉)
a.癌与肉瘤
b.组织学等级
5.器官/标本类型(胸部、肺、前列腺)
a.扩大的
b.其他
这些轴可能是表示图4和图5的嵌入多维空间的另一种可能方式。参考库图像沿这些轴的放置可以通过机器学习模型(见图6-7)或通过如上所述在单个模型或模型组合中生成视觉相似性度量和语义相似性度量的机器学习方法来指定。
图17是示出使用图8的计算机系统810来检索参考库中的一个或多个相似图像的一系列过程步骤的流程图。
在步骤1702，在计算机系统810中接收查询图像。
在步骤1704，使用图5的机器学习模型1将视觉相似性特征向量值分配给查询图像。
在步骤1706，视觉相似性的特征向量被投影到图4和图5的多维嵌入空间中。
在步骤1708，从参考库中返回相似医学图像，例如，通过在嵌入空间中找到投影查询图像的半径r内的图像。用户输入也可以在步骤1710中发生，诸如通过指定搜索参数、过滤参数或例如指示宽或窄搜索的语音输入。
在步骤1712，返回的图像通过网络被提供给工作站，并被显示在工作站的显示上。用户可以提交进一步的查询，例如以缩小搜索结果或仅返回图像的子集，如循环1714所示，此时返回新的图像集合。该过程可以循环回到如循环1716所示的开始，并且启动对新查询图像的相似图像的新搜索。还可以使用进一步的查询来将搜索结果集中在共享非常特定的特征的特定子集上(即，初始结果可能在某种程度上都是相似的，但是细化的子集可以集中在例如在细胞核密度方面相似的图像上，或者可能仅出现在特定罕见癌症类型中的非常独特的形态特征上)。因此，进一步的查询将是用户交互的一种方式，以“告诉”系统用户对什么样的相似性感兴趣。
本公开的另一方面是用于促进在医学图像内进行搜索的系统，这种特征被称为图像内搜索。在这个方面，该系统包括被配置为用于从用户接收以较大医学图像的一部分的一部分的形式的输入查询的搜索工具的计算机系统。该计算机系统包括被训练为找到与输入查询相似的较大医学图像的一个或多个附加部分的机器学习模式识别器。这种模式识别器可以采取几种形式，并且例如可以根据以下参考文献之一进行配置，其内容通过引用结合于此：C.Szegedy et al.,Going Deeper with Convolutions,arXiv:1409.4842[cs.CV](2014年9月)；C.Szegedy et al.,Rethinking the Inception Architecture forComputer Vision,arXiv:1512.00567[cs.CV](2015年12月)；也可以参见于2015年8月28日提交的序列号为14/839,452的US专利申请C.Szegedy et al.,“Processing Images UsingDeep Neural Networks”。被称为初始版本v4(Inception-v4)的第四代被认为是这种模式识别器的另一种可能的体系结构。参见C.Szegedy et al.,Inception-v4,Inception-ResNet and the Impact of Residual Connections on Learning,arXiv:1602.0761[cs.CV](2016年2月)。也可以参见于2016年12月30日提交的序列号为15/395,530的US专利申请C.Vanhoucke,“Image Classification Neural Networks”以及于2017年2月23日提交的序列号为PCT/US2017/019051的PCT申请。
该系统包括被配置为对其找到的较大医学图像的附加部分执行以下操作中的至少一个操作的模块:
a)突出显示附加部分，例如，通过用特定颜色着色或显示附加部分周围的边界框或边界；
b)为附加部分提供注释，诸如癌症或具有特定Gleason得分的概率；或者
c)提供附加部分的量化，诸如尺寸数据。
该系统还包括用于提供用户界面的工作站(例如，图1)，该用户界面用于输入输入查询(例如，图9)以及显示输入查询和由计算机系统找到的一个或多个附加部分以及执行至少一个操作的模块的结果，与图1所示相似。
在这个方面，医学图像可以采取视网膜图像、组织图像、皮肤损伤照片、乳房X光片或放射图像的形式。
用户界面还可以包括用于显示输入查询的一个或多个附加部分的相似性排序的特征。排序列表或数据透视表中的一个或多个附加部分。用户界面可以包括用于根据用户指定的过滤标准过滤一个或多个附加部分的工具。用户界面支持基于用户输入对一个或多个相似部分的搜索的进一步细化。用户输入可以是语音输入。
用户交互
存在可以在工作站工具或显示上的特征中实施的几种可能的用户交互细节:
1.选择相似图像可以示出该特定病例的更多信息，和/或将整个图像示出得更大或在专用查看器中示出整个图像，或移动到该图像作为“源”或查询图像以进行相似图像搜索。
2.多个相似图像的结果集合可以被同时示出，例如在通过降低相似性排序的排序列表中，并且具有诊断关键词。
3.相似结果的排序列表可以用来示出类别内(intra-class)变异性(例如前列腺Gleason 3型癌的不同表现)，或者可与之混淆(例如前列腺Gleason 4型癌)的其他类别的(理想的是较低的)相似性。
4.显示上的工具可以基于用户输入交互式地调整相似性度量，以促进迭代搜索。特别是，结果集合可以基于用户以前的选择进行细化。例如，如果用户选择了相似癌症等级(但组织学特征不相似)的图像，则更多相似癌症等级的图像可以通过强调度量嵌入空间中特定维度以进行邻居列表搜索来示出。
5.可以以关于邻域中相似图像的聚合信息的形式提供附加的有用输出，例如示出诊断关键词以及它们在相似图像当中的频率。
6.将得到的图像按对它们已知的病例标签分组，例如按“良性的”、“恶性腺瘤3级”、“恶性腺瘤4级”等分组。
示例用例
以下用例是为皮肤病学设计的，但可以很容易地应用于病理学、眼科或放射学。
用例#1双重检查诊断
李医生是普通皮肤科医生，她有一名带有疑似痣(mole)的患者。她已经得出诊断，但想再次检查她的评估。
1.她(或她的医疗助理)给病灶拍了照片。她使用上图所示的用户界面工具选择图像，并且工具自动找到与她刚刚诊断的病例相似的病例。
2.呈现了例如被识别为形态相似的50个病例的数据透视表(例如，图1)。该透视表示出诊断和具有该诊断的病例的百分比。
3.如果大多数识别的病例与她的评估一致，则她可以再次确保她做出了正确的诊断。如果大多数历史病例属于另一诊断类别，则她可以再次查看她的当前病例，并将其与历史病例进行比较，以做出最终诊断。这里也存在鉴别诊断的好处。特别是，李医生可能会看到来自非常相似的疾病B的图像，然而通过与疾病A进行比较，有助于她决定该病例实际上是疾病A而不是疾病B。相似的图像将是有用的，因为它们不仅(1)示出疾病A的人群中的变异性，还有(2)与疾病A直接比较的疾病B和C的不同人群。
4.她还想要能够浏览已识别的病例以手动将其与当前病例进行比较。因此，她选择数据透视表中的任一病例，浏览图像并查看相关联的元数据。
5.她还想要能够突出显示感兴趣的区域，并找到与该区域匹配的病例(也许不是切片的其余部分)。因此，她导航到图像中包含感兴趣区域的部分，在该区域周围绘制遮罩，并在查看器中使用缩放工具将感兴趣区域居中。该区域被拖放到用于指示查询图像的框中以搜索相似图像。从库中检索具有相似感兴趣区域的病例。
用例#2一个挑战性病例
李医生有一个诊断成谜的挑战性病例。她想要知道不同诊断的可能性，这样她就可以想出管理的下一步应该是什么(转诊与否、转诊的紧迫性、她应该尝试的经验治疗)。她选择感兴趣区域的图像，并且系统返回例如50个相似图像的集合以及每个图像的元数据。该显示包括概要数据，诸如图像的诊断列表、管理策略和治疗。图像显示在工作站上，根据诊断或疾病状态进行分组。
用例#3教学和教育
学生被分配了搜索癌性前列腺腺体的相似图像的任务。搜索范围被指定为宽以涵盖各种不同的Gleason得分样本。然后，学生可以看到例如不同Gleason得分的癌性前列腺腺体的人群内的变异性，并且可以将结果过滤到特定的Gleason得分，或者按年龄、烟民状态或其他因素进行过滤。
病例#4标签查找
用户研究组织图像中的用户不确定其分类或诊断意义的部分。组织图像作为查询图像被供应，并且计算机系统返回具有相同类型的组织且具有相似形态的25个不同图像的集合。与相似图像一起供应的元数据可用于学习形态特征的名称，例如“神经”。
图像内搜索
本公开的另一方面是用于在图像内搜索与用户指定的图像的一部分相似的其他部分的方法和系统。例如，观看放大的组织图像的用户可以识别包含特定类型或类别的细胞(例如，肿瘤细胞)的区域，并且该方法在图像中的其他区域搜索该类型或类别的其他细胞。
促进在医学图像内进行搜索的系统包括被配置为用于从用户接收以较大医学图像的一部分的一部分的形式的输入查询的搜索工具的计算机系统。输入查询可以是用户定义的图像的一部分，例如，通过用户在该部分周围绘制遮罩或边界。计算机系统包括被训练为找到与输入查询相似的较大医学图像的一个或多个附加部分的机器学习模式识别器。例如，模式识别器可以被训练为找到肿瘤细胞。计算机系统中存在被配置为对较大医学图像的附加部分执行以下操作中的至少一个操作的模块:
a)突出显示附加部分(例如，通过示出带有以红色或一些对比色示出的附加肿瘤细胞区域的全切片图像)；
b)为附加部分提供注释(例如，前列腺组织样本中的预测Gleason得分)；或者
c)为附加部分提供量化(例如，通过提供一些尺寸或细胞计数度量或其他信息)。
系统还包括用于提供用户界面的工作站，该用户界面用于输入输入查询，并显示输入查询和由计算机系统找到的一个或多个附加部分两者以及执行至少一个操作的模块的结果。
在一种配置中，医学图像是从由视网膜图像、组织图像、皮肤损伤照片、乳房X光片和放射图像组成的图像组中选择的图像。用户界面可以包括用于显示输入查询的一个或多个附加部分的相似性排序的特征。用户界面可以以(例如，通过与输入查询的相似性进行排序的)排序列表显示一个或多个附加部分。用户界面可以包括用于根据用户指定的过滤标准(诸如按尺寸、细胞计数、相似性、Gleason得分等)过滤一个或多个附加部分的工具。用户界面可以支持基于用户输入对一个或多个相似部分的搜索的进一步细化。例如，如果搜索返回100个不同的相似区域，则用户可以过滤搜索，以仅找到具有最高相似性或特定Gleason得分的相似部分。作为另一示例，用户可能希望指定宽搜索，并且搜索结果可以被扩展以包括更多相似的图像部分，但是具有更低的相似性度量。在工作站具有麦克风和语音识别引擎来将语音命令转换成文本输入的情况下，用户输入可以由工作站的用户界面上的简单命令来提供，或者可以由语音命令来提供。
隐私考虑
参考库中的所有图像都是不标识患者的(patient de-identified)，并且当这些图像作为搜索结果返回时，它们也是不标识患者的。道德审查和机构审查委员会的豁免是从获得图像的每个机构获得的。患者数据没有链接到任何谷歌用户数据。此外，对于参考图像，我们的系统包括沙箱(sandboxing)基础设施，其根据法规、数据许可和/或数据使用协议，将每个图像数据集彼此分开。每个沙箱中的数据都是加密的；所有数据访问都在个人级别上进行控制、记录和审核。

Claims (25)

1.一种用于搜索相似医学图像的系统，包括：
计算机存储器系统，其存储包括大量医学图像的参考库，所述大量医学图像中的至少一些医学图像与元数据相关联，所述元数据包括与关联于医学图像的标本或患者相关的临床信息；
计算机系统，被配置为用于从用户接收输入图像查询的搜索工具，所述计算机系统被训练为在存储器系统中找到与输入图像相似的一个或多个相似医学图像；
其中，参考库被表示为投影在具有多个轴的特征空间中的医学图像中的每个医学图像的嵌入，其中，所述嵌入由相似性排序的两个方面表征:(1)视觉相似性，和(2)语义相似性，使得特征空间中的相邻图像在视觉上相似，并且语义信息由特征空间的轴表示，以及
并且其中，所述计算机系统支持来自用户的附加查询，从而进一步细化在由一个或多个相似医学图像组成的搜索空间内对与输入图像相似的医学图像的搜索。
2.根据权利要求1所述的系统，其中，所述医学图像包括从由视网膜图像、组织图像、皮肤损伤照片、乳房X光片和放射图像组成的图像组中选择的图像。
3.根据权利要求1所述的系统，还包括将视觉相似性特征向量和语义相似性特征向量分配给参考库中的图像的机器学习模型或模型组合。
4.根据权利要求1所述的系统，还包括具有用户界面的工作站，所述用户界面包括用于显示一个或多个相似医学图像中的所选择的图像的元数据的特征。
5.根据权利要求4所述的系统，其中，元数据的所述显示包括生存数据的显示。
6.根据权利要求4所述的系统，其中，所述显示还包括对于相似医学图像的相似性排序的显示。
7.根据权利要求1所述的系统，还包括具有用户界面的工作站，所述用户界面包括示出在按分配给相似医学图像的病例标签进行的分组中的相似医学图像的特征，所述病例标签诸如是“良性”、“癌性”、“腺癌”。
8.根据权利要求1所述的系统，还包括具有用户界面的工作站，所述用户界面以排序列表显示相似医学图像。
9.根据权利要求1所述的系统，还包括具有用户界面的工作站，所述用户界面显示相似医学图像和用于根据用户指定的过滤标准过滤相似医学图像的工具。
10.根据权利要求1所述的系统，其中，对与输入图像相似的医学图像的搜索的进一步细化包括基于用户输入的相似性度量的交互式调整。
11.根据权利要求10所述的系统，其中，所述用户输入包括语音输入。
12.根据权利要求1所述的系统，还包括具有用户界面的工作站，所述用户界面显示相似医学图像，并且其中，所述用户界面提供关于相似医学图像的聚合信息的显示。
13.根据权利要求12所述的系统，其中，所述聚合信息包括相似医学图像当中的诊断关键词的频率。
14.根据权利要求1所述的系统，还包括具有用户界面的工作站，所述用户界面用于显示相似医学图像，并且其中，相似医学图像的显示还包括一个或多个相似医学图像的结果的概要，所述结果的概要包括疾病的诊断、管理、图像的来源以及生存数据中的一个或多个。
15.一种用于检索与输入查询图像相似的医学图像的方法，包括以下步骤:
创建以大量数字医学图像的形式的参考库，所述大量医学数字图像中的每个数字医学图像与图像元数据相关联，
将数字医学图像供应给一个或多个机器学习模型，并将数字医学图像表示为以在具有多个轴的特征空间中的数字医学图像的投影的形式的嵌入，其中，所述嵌入由相似性排序的两个方面表征:(1)视觉相似性，和(2)语义相似性，使得特征空间中的相邻图像在视觉上相似，并且语义信息由特征空间的轴表示；以及
基于输入查询图像在特征空间中的投影，在特征空间内的半径r内检索输入查询图像的相似医学图像。
16.根据权利要求15所述的方法，还包括响应于用户输入来细化相似医学图像的检索的步骤。
17.根据权利要求15所述的方法，其中，所述用户输入包括语音输入。
18.根据权利要求15所述的方法，其中，所述数字医学图像包括从由视网膜图像、组织图像、皮肤损伤照片、乳房X光片和放射图像组成的图像组中选择的图像。
19.一种用于促进在医学图像内进行搜索的系统，包括:
计算机系统，被配置为用于从用户接收以较大医学图像的一部分的一部分的形式的输入查询的搜索工具，所述计算机系统包括被训练为找到与输入查询相似的较大医学图像的一个或多个附加部分的机器学习模式识别器；
计算机系统中被配置为对较大医学图像的附加部分执行以下操作中的至少一个操作的模块:
a)突出显示附加部分；
b)为附加部分提供注释；或者
c)为附加部分提供量化；以及
工作站，用于提供用户界面，所述用户界面用于输入输入查询，并显示输入查询和由计算机系统找到的一个或多个附加部分两者以及执行至少一个操作的模块的结果。
20.根据权利要求19所述的系统，其中，所述医学图像包括从由视网膜图像、组织图像、皮肤损伤照片、乳房X光片和放射图像组成的图像组中选择的图像。
21.根据权利要求19所述的系统，其中，所述用户界面包括用于显示输入查询的一个或多个附加部分的相似性排序的特征。
22.根据权利要求19所述的系统，其中，所述用户界面以排序列表显示一个或多个附加部分。
23.根据权利要求19所述的系统，其中，所述用户界面包括用于根据用户指定的过滤标准过滤一个或多个附加部分的工具。
24.根据权利要求19所述的系统，其中，所述用户界面支持基于用户输入对一个或多个相似部分的搜索的进一步细化。
25.根据权利要求24所述的系统，其中，所述用户输入包括语音输入。
CN201880091932.8A 2018-03-29 2018-03-29 相似医学图像搜索 Pending CN111936989A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/025054 WO2019190518A1 (en) 2018-03-29 2018-03-29 Similar medical image search

Publications (1)

Publication Number Publication Date
CN111936989A true CN111936989A (zh) 2020-11-13

Family

ID=62092233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091932.8A Pending CN111936989A (zh) 2018-03-29 2018-03-29 相似医学图像搜索

Country Status (4)

Country Link
US (1) US11379516B2 (zh)
EP (2) EP4099185A1 (zh)
CN (1) CN111936989A (zh)
WO (1) WO2019190518A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687328A (zh) * 2021-03-12 2021-04-20 北京贝瑞和康生物技术有限公司 确定临床描述信息的表型信息的方法、设备和介质
CN113609319A (zh) * 2021-07-26 2021-11-05 阿里巴巴（中国）有限公司 商品搜索方法、装置和设备
CN115422321A (zh) * 2022-07-26 2022-12-02 亿达信息技术有限公司 一种知识图谱复杂逻辑推理方法、组件和知识图谱的查询检索方法
CN116227573A (zh) * 2023-04-25 2023-06-06 智慧眼科技股份有限公司 分割模型训练方法、图像分割方法、装置及相关介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117438053A (zh) * 2018-08-27 2024-01-23 卡西欧计算机株式会社 显示控制装置、显示控制系统、显示控制方法及记录介质
US11379760B2 (en) * 2019-02-14 2022-07-05 Yang Chang Similarity based learning machine and methods of similarity based machine learning
CN109903280B (zh) * 2019-02-27 2020-09-29 上海联影智能医疗科技有限公司 肿瘤确定系统、方法及存储介质
US11367184B2 (en) * 2019-03-15 2022-06-21 SpIntellx, Inc. Explainable AI (xAI) platform for computational pathology
US11966842B2 (en) * 2019-05-23 2024-04-23 Icahn School Of Medicine At Mount Sinai Systems and methods to train a cell object detector
US11604822B2 (en) 2019-05-30 2023-03-14 Adobe Inc. Multi-modal differential search with real-time focus adaptation
US11144784B2 (en) 2019-05-30 2021-10-12 Adobe Inc. Text-to-visual machine learning embedding techniques
US11605019B2 (en) * 2019-05-30 2023-03-14 Adobe Inc. Visually guided machine-learning language model
US11544407B1 (en) * 2019-09-27 2023-01-03 Progenics Pharmaceuticals, Inc. Systems and methods for secure cloud-based medical image upload and processing
CN110866140B (zh) * 2019-11-26 2024-02-02 腾讯科技（深圳）有限公司 图像特征提取模型训练方法、图像搜索方法及计算机设备
EP3910645A1 (en) * 2020-05-13 2021-11-17 Siemens Healthcare GmbH Image retrieval
US11409821B1 (en) * 2020-06-23 2022-08-09 Pinterest, Inc. Recommending content to subscribers
US11308616B2 (en) 2020-08-04 2022-04-19 PAIGE.AI, Inc. Systems and methods to process electronic images to provide image-based cell group targeting
EP4208873A1 (en) * 2020-09-03 2023-07-12 Huron Technologies International Inc. Systems and methods for automatically managing image data
JP2023549044A (ja) * 2020-10-15 2023-11-22 ビュノ インコーポレイテッド 画像解析のためのユーザーインターフェース
CN116324874A (zh) * 2020-11-06 2023-06-23 威里利生命科学有限责任公司 对前列腺癌预后的人工智能预测
US20220382800A1 (en) * 2021-05-27 2022-12-01 Microsoft Technology Licensing, Llc Content-based multimedia retrieval with attention-enabled local focus
US20230131675A1 (en) * 2021-10-25 2023-04-27 PAIGE.AI, Inc. Systems and methods to process electronic images for determining treatment
WO2023230341A1 (en) * 2022-05-27 2023-11-30 PAIGE.AI, Inc. Systems and methods to process electronic images for histological morphology trajectory prediction
WO2024083311A1 (en) 2022-10-17 2024-04-25 Smart Reporting Gmbh Generation of and search for medical reference image data

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080171932A1 (en) * 2007-01-11 2008-07-17 Siemens Corporate Research, Inc. Method and System for Lymph Node Detection Using Multiple MR Sequences
WO2009134867A2 (en) * 2008-04-29 2009-11-05 Ltu Technologies S.A.S. Method for generating a representation of image content using image search and retrieval criteria
CN101692224A (zh) * 2009-07-08 2010-04-07 南京师范大学 融合空间关系语义的高分辨率遥感图像检索方法
CN101765843A (zh) * 2007-08-01 2010-06-30 皇家飞利浦电子股份有限公司 使用医学相关术语访问医学图像数据库
US20100226564A1 (en) * 2009-03-09 2010-09-09 Xerox Corporation Framework for image thumbnailing based on visual similarity
CN101877007A (zh) * 2010-05-18 2010-11-03 南京师范大学 融合空间方位关系语义的遥感图像检索方法
CN102156715A (zh) * 2011-03-23 2011-08-17 中国科学院上海技术物理研究所 面向医学影像数据库的基于多病灶区域特征的检索系统
US20120283574A1 (en) * 2011-05-06 2012-11-08 Park Sun Young Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback
CN105518668A (zh) * 2013-09-04 2016-04-20 沙祖拉公司 基于内容的图像检索
CN106233322A (zh) * 2014-03-03 2016-12-14 赛曼提克姆德公司 基于个性化内容的患者检索系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002025588A2 (en) 2000-09-21 2002-03-28 Md Online Inc. Medical image processing systems
US7027633B2 (en) 2000-11-30 2006-04-11 Foran David J Collaborative diagnostic systems
JP2004164503A (ja) 2002-11-15 2004-06-10 Olympus Corp 三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システム
US7458936B2 (en) * 2003-03-12 2008-12-02 Siemens Medical Solutions Usa, Inc. System and method for performing probabilistic classification and decision support using multidimensional medical image databases
JP2007275408A (ja) * 2006-04-10 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
US8243999B2 (en) 2006-05-03 2012-08-14 Ut-Battelle, Llc Method and system for the diagnosis of disease using retinal image content and an archive of diagnosed human patient data
BRPI0712728A2 (pt) 2006-05-29 2013-01-08 Univ Wollongong recuperaÇço de imagem baseado em conteédo
US20120242817A1 (en) 2008-12-30 2012-09-27 Ebm Technologies Incorporated System and method for identifying a pathological tissue image
US8199994B2 (en) 2009-03-13 2012-06-12 International Business Machines Corporation Automatic analysis of cardiac M-mode views
US9495388B2 (en) 2009-09-04 2016-11-15 Koninkijke Philips N.V. Visualization of relevance for content-based image retrieval
US9275456B2 (en) 2010-10-29 2016-03-01 The Johns Hopkins University Image search engine
US9081822B2 (en) 2013-03-15 2015-07-14 Sony Corporation Discriminative distance weighting for content-based retrieval of digital pathology images
US9965547B2 (en) * 2014-05-09 2018-05-08 Camelot Uk Bidco Limited System and methods for automating trademark and service mark searches
US9715642B2 (en) 2014-08-29 2017-07-25 Google Inc. Processing images using deep neural networks
CN108885713B (zh) 2016-02-18 2021-12-24 谷歌有限责任公司 图像分类神经网络
US10032067B2 (en) 2016-05-28 2018-07-24 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
US10242442B2 (en) * 2016-10-27 2019-03-26 International Business Machines Corporation Detection of outlier lesions based on extracted features from skin images
JP6755192B2 (ja) 2017-01-11 2020-09-16 キヤノン株式会社 診断支援装置および診断支援装置の作動方法
WO2018156133A1 (en) 2017-02-23 2018-08-30 Google Llc Method and system for assisting pathologist identification of tumor cells in magnified tissue images
US10671881B2 (en) * 2017-04-11 2020-06-02 Microsoft Technology Licensing, Llc Image processing system with discriminative control

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080171932A1 (en) * 2007-01-11 2008-07-17 Siemens Corporate Research, Inc. Method and System for Lymph Node Detection Using Multiple MR Sequences
CN101765843A (zh) * 2007-08-01 2010-06-30 皇家飞利浦电子股份有限公司 使用医学相关术语访问医学图像数据库
WO2009134867A2 (en) * 2008-04-29 2009-11-05 Ltu Technologies S.A.S. Method for generating a representation of image content using image search and retrieval criteria
US20090282025A1 (en) * 2008-04-29 2009-11-12 Ltu Technologies S.A.S. Method for generating a representation of image content using image search and retrieval criteria
US20100226564A1 (en) * 2009-03-09 2010-09-09 Xerox Corporation Framework for image thumbnailing based on visual similarity
CN101692224A (zh) * 2009-07-08 2010-04-07 南京师范大学 融合空间关系语义的高分辨率遥感图像检索方法
CN101877007A (zh) * 2010-05-18 2010-11-03 南京师范大学 融合空间方位关系语义的遥感图像检索方法
CN102156715A (zh) * 2011-03-23 2011-08-17 中国科学院上海技术物理研究所 面向医学影像数据库的基于多病灶区域特征的检索系统
US20120283574A1 (en) * 2011-05-06 2012-11-08 Park Sun Young Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback
CN105518668A (zh) * 2013-09-04 2016-04-20 沙祖拉公司 基于内容的图像检索
CN106233322A (zh) * 2014-03-03 2016-12-14 赛曼提克姆德公司 基于个性化内容的患者检索系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUAN C 等: "Combining Visual Features and Text Data for Medical Image Retrieval Using Latent Semantic Kernels", 《MIR \'10: PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON MULTIMEDIA INFORMATION RETRIEVAL》, 31 March 2010 (2010-03-31), pages 359 - 366, XP058333738, DOI: 10.1145/1743384.1743442 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687328A (zh) * 2021-03-12 2021-04-20 北京贝瑞和康生物技术有限公司 确定临床描述信息的表型信息的方法、设备和介质
CN113609319A (zh) * 2021-07-26 2021-11-05 阿里巴巴（中国）有限公司 商品搜索方法、装置和设备
CN115422321A (zh) * 2022-07-26 2022-12-02 亿达信息技术有限公司 一种知识图谱复杂逻辑推理方法、组件和知识图谱的查询检索方法
CN115422321B (zh) * 2022-07-26 2024-03-26 亿达信息技术有限公司 一种知识图谱复杂逻辑推理方法、组件和知识图谱的查询检索方法
CN116227573A (zh) * 2023-04-25 2023-06-06 智慧眼科技股份有限公司 分割模型训练方法、图像分割方法、装置及相关介质
CN116227573B (zh) * 2023-04-25 2023-08-08 智慧眼科技股份有限公司 分割模型训练方法、图像分割方法、装置及相关介质

Also Published As

Publication number Publication date
EP4099185A1 (en) 2022-12-07
US11379516B2 (en) 2022-07-05
WO2019190518A1 (en) 2019-10-03
US20210019342A1 (en) 2021-01-21
EP3776571A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
US11379516B2 (en) Similar medical image search
JP5506912B2 (ja) 臨床決定支援システム及び方法
US10460838B2 (en) Automated anatomically-based reporting of medical images via image annotation
US10282840B2 (en) Image reporting method
EP1654626B1 (en) Methods and system for intelligent qualitative and quantitative analysis for medical diagnosis
JP5618787B2 (ja) レポート作成支援装置及びその作成支援方法、並びにプログラム
JP5431924B2 (ja) 臨床医駆動の例示ベースのコンピュータ支援診断
WO2011087807A2 (en) System and method for remote melanoma screening
US20180060534A1 (en) Verifying annotations on medical images using stored rules
US20240112338A1 (en) Systems and methods to process electronic images to produce a tissue map visualization
Pham et al. Identifying an optimal machine learning generated image marker to predict survival of gastric cancer patients
Corredor et al. Training a cell-level classifier for detecting basal-cell carcinoma by combining human visual attention maps with low-level handcrafted features
Gandomkar et al. Using occlusion-based saliency maps to explain an artificial intelligence tool in lung cancer screening: Agreement between radiologists, labels, and visual prompts
Mukadam et al. Machine Learning and Computer Vision Based Methods for Cancer Classification: A Systematic Review
Tabatabaei et al. Siamese Content-based Search Engine for a More Transparent Skin and Breast Cancer Diagnosis through Histological Imaging
Jadhav et al. Comparative Study of breast cancer detection methods
Kulkarni et al. A novel architecture and analysis of challenges for combining text and image for medical image retrieval
Worku Breast cancer classification using image processing technique and support vector machine
Mwadulo Alocal directional ternary pattern texture descriptor for mammographic breast cancer classification
US20230290111A1 (en) Systems and methods to process electronic images for model selection
Hao et al. A breast cancer diagnose application using deep learning technology
WO2023078676A1 (en) Mammography deep learning model
Depeursinge Affine-invariant texture analysis and retrieval of 3D medical images with clinical context integration.
Mete Delineation of malignant areas in histological images of head-neck cancer
CACCIA Mitosis detection in histological images: algorithms based on machine learning and their performance compared to humans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination