CN117859123A - 全载玻片图像搜索 - Google Patents

全载玻片图像搜索 Download PDF

Info

Publication number
CN117859123A
CN117859123A CN202280039757.4A CN202280039757A CN117859123A CN 117859123 A CN117859123 A CN 117859123A CN 202280039757 A CN202280039757 A CN 202280039757A CN 117859123 A CN117859123 A CN 117859123A
Authority
CN
China
Prior art keywords
image
embedding
full slide
slide image
embeddings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280039757.4A
Other languages
English (en)
Inventor
I·本-肖尔
M·卡纳梅罗
O·埃兹哈达尔
J·吉登布拉特
F-Y·胡
E·克莱曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Genentech Inc
Original Assignee
F Hoffmann La Roche AG
Genentech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG, Genentech Inc filed Critical F Hoffmann La Roche AG
Publication of CN117859123A publication Critical patent/CN117859123A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Abstract

在一个实施方案中，一种方法包括对全载玻片图像数据集进行索引以生成与一个或多个全载玻片图像的一个或多个相应区域相对应的一个或多个数据集嵌入。每个数据集嵌入包括将所述相应区域映射到特征嵌入空间的特征向量。所述方法包括访问查询图像以及生成针对所述查询图像的嵌入，所述嵌入包括将所述查询图像映射到所述特征嵌入空间的特征向量。所述方法包括通过将针对所述查询图像的所述嵌入与所述数据集嵌入中的一者或多者进行比较来识别结果图块。所述比较基于所述特征嵌入空间中针对所述查询图像的所述嵌入与所述数据集嵌入中的所述一者或多者之间的距离。所述方法包括生成包括所述结果图块的显示的用户界面。

Description

全载玻片图像搜索
相关申请的交叉引用
本申请要求2021年6月2日提交的美国临时申请第63/195,883号的权益，该临时申请的内容全文以引用方式并入本文以实现所有目的。
技术领域
本公开总体上涉及用于分析和搜索数字病理学图像的工具。
背景技术
全载玻片图像(Whole Slide Image,WSI)由来自样品的图像的扫描或数字原生扫描产生。扫描和相对应的WSI通常非常大，例如，多个颜色通道中的每个通道都有100,000像素乘以100,000像素，这使得使用传统计算方法难以在整体水平上有效地分析WSI。目前处理大幅面WSI的方法包括将WSI分割成较小的部分，并使用多个处理器或其他分布式的处理来进行并行分析。
病理学家或其他训练有素的专家通常会针对所描绘组织中异常的证据来评估单个WSI。针对WSI的标记倾向于涉及整个图像，并且不是，例如，涉及图像的特定部分。例如，病理学家可以识别肺部的图像中的组织异常(例如，肿瘤)并且将图像标记为“异常。”然而，在大多数情况下，病理学家不会对图像进行注释以指定组织异常出现在图像中的位置。这种“要么全有要么全无”的标签样式对于识别一组全载玻片图像共有的特征不太有用，因为即使标记了WSI，通常也不会标记该特征的位置。相反，如果病理学家希望将特定特征与WSI库进行比较，他们必须依靠这种基本标记或自己的回忆来选择适当的WSI。最终，他们必须在适当的WSI内手动识别该特征。这极大地限制了可以在WSI上进行的比较的范围，从而极大地降低了病理学家将能够有效识别和比较不常见特征的机会。
因此，存在对使得病理学家和其他用户能够使用任意查询图像来查询一组全载玻片图像以识别该组全载玻片图像的相似特征或成分的系统的需求。另外，存在对促进与来自所述查询的结果相关的报告的生成和共享的工具的需求。
发明内容
在特定实施例中，一种计算机实现方法包括对全载玻片图像数据集进行索引以生成与一个或多个全载玻片图像的一个或多个相应区域相对应的一个或多个数据集嵌入。每个数据集嵌入包括将相应区域映射到特征嵌入空间的特征向量。计算机访问查询图像并且生成针对查询图像的嵌入，该嵌入包括将查询图像映射到特征嵌入空间的特征向量。计算机通过将针对查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别结果图块。比较基于特征嵌入空间中针对查询图像的嵌入与数据集嵌入中的一者或多者之间的一个或多个距离。计算机生成包括结果图块的显示的用户界面。在一些实施例中，识别结果图块包括基于针对查询图像的嵌入来识别数据集嵌入中的一些以及检索与数据集嵌入中的一者或多者相对应的一个或多个相应区域。在一些实施例中，基于针对查询图像的嵌入来识别数据集嵌入包括识别在特征嵌入空间中针对查询图像的嵌入的阈值距离内的数据集嵌入。在实施例中，基于针对查询图像的嵌入来识别数据集嵌入包括识别基于在特征嵌入空间中与针对查询图像的嵌入的距离所排序的阈值数量的数据集嵌入。在一些实施例中，计算机接收与结果图块中的一者或多者相对应的用户输入，该用户输入包括结果图块中的一者或多者的标记。计算机接收对应于与一个或多个经标记结果图块相关联的加权的用户输入，并且基于一个或多个经标记结果图块以及对应于与一个或多个经标记结果图块相关联的加权的用户输入来生成对象过滤器。计算机基于对象过滤器的表示来增强针对查询图像的嵌入。计算机通过将用于经增强查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别第二组结果图块。计算机更新用户界面以显示第二组结果图块。在一些实施例中，将经生成的对象过滤器应用于一个或多个数据集嵌入包括比较特征嵌入空间中的一个或多个数据集嵌入与经生成的对象过滤器。在一些实施例中，计算机从用户装置接收用户输入以保存经生成的对象过滤器，并且将经生成的对象过滤器与针对用户装置的一个或多个用户的记录相关联地存储。在一些实施例中，计算机从用户装置接收用户输入以与一个或多个其他用户共享经生成的对象过滤器，并且将经生成的对象过滤器与针对一个或多个其他用户的记录相关联地存储。
在特定实施例中，对全载玻片图像数据集进行索引包括，对于一组全载玻片图像中的每一者：将全载玻片图像分割成一组图块；使用嵌入网络生成与该组图块中的每个图块相对应的将图块映射到特征嵌入空间的特征向量；以及将特征向量与对应图块和全载玻片图像相关联地存储。在特定实施例中，访问查询图像包括：从用户装置接收查询图像；接收与查询图像相对应的资源定位符或唯一标识符；或者接收全载玻片图像的区域的说明。在一些实施例中，查询图像与全载玻片图像相对应。计算机可以对与查询图像相对应的全载玻片图像进行索引，以生成与全载玻片图像的一个或多个相应区域相对应的一个或多个附加的数据集嵌入。计算机将与查询图像相对应的全载玻片图像添加到全载玻片图像数据集。在一些实施例中，计算机接收与结果图块中的一者或多者相对应的用户输入，该用户输入指示结果图块中的一者或多者与查询图像的相关性。计算机基于用户输入来修改一个或多个经指示的结果的加权。计算机通过基于经修改的加权将针对查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别第二组结果图块。计算机更新用户界面以显示第二组结果图块。在实施例中，计算机接收与结果图块中的一者或多者相对应的用户输入，该用户输入指示多个结果图块中的一者或多者与查询图像的相关性。计算机计算相关搜索结果的平均嵌入。计算机通过将相关搜索结果的平均嵌入与数据集嵌入中的一者或多者进行比较来识别第二组结果图块。计算机更新用户界面以显示第二组结果图块。在一些实施例中，计算机从用户装置接收与结果图块中的第一结果图块相对应的用户输入。计算机识别与第一结果图块相对应的第一全载玻片图像，并且更新用户界面以显示第一全载玻片图像。在一些实施例中，计算机进一步识别与第一全载玻片图像或第一结果图块相关联的元数据，并且将元数据包括在包括第一全载玻片图像的显示的用户界面中。元数据可以包括关于第一结果图块、第一全载玻片图像或第一全载玻片图像的来源的信息。在一些实施例中，计算机识别与结果图块相对应的一组全载玻片图像。计算机识别全载玻片图像的一组来源。计算机更新用户界面以显示与全载玻片图像的来源相对应的信息的报告。在实施例中，与来源相对应的信息包括在来源中诊断的状况或与来源相关联的已知结果。在实施例中，计算机基于结果图块来识别在与结果图块相对应的全载玻片图像中的查询图像中捕获的一个或多个特征的相应位置，并且更新用户界面以显示经识别的相应位置的报告。
本文公开的实施例仅是示例，并且本公开的范围不限于此。特定实施例可以包括本文公开的实施例的部件、元件、特征、功能、操作或步骤中的全部、一些，或者不包括任何一者。根据本发明的实施例特别公开在针对方法、存储介质、系统和计算机程序产品的所附权利要求中，其中在一个权利要求类别中提及的任何特征(例如，方法)可以在另一个权利要求类别(例如，系统)中要求对其进行保护。仅出于形式原因选择所附权利要求中的从属物或引用物。但是，也可以要求保护任何因有意引用任何前述权利要求(特别是多个从属物)而产生的主题，因此无论在所附权利要求中选择的从属物如何，都可以公开并要求保护权利要求和其特征的任何组合。可以要求保护的主题不仅包括如所附权利要求中所列的特征的组合，还包括权利要求中的特征的任何其他组合，其中权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相组合。此外，可以在单独的权利要求中和/或与本文描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合中，要求保护本文描述或描绘的任何实施例和特征。
附图说明
图1示出了用于全载玻片图像搜索(whole slide image search)的示例性方法。
图2示出了用于在全载玻片图像搜索中通过示例性选择进行细化的示例性方法。
图3示出了用于全载玻片图像搜索中的对象过滤器生成的示例性方法。
图4示出了用于全载玻片图像搜索中的全载玻片输出生成的示例性方法。
图5示出了用于全载玻片图像搜索中的数据集输出生成的示例性方法。
图6A和图6B示出了用于接收用于全载玻片图像搜索的查询输入的示例性用户界面。
图6C示出了显示图像和可调整视场选择器的示例性字段。
图7A和图7B示出了包括图块结果的示例性用户界面。
图7C示出了展示查询图像的示例性显示。
图8A和图8B示出了包括全载玻片结果的示例性用户界面。
图9A示出了包括通过示例性选择进行的细化的示例性用户界面。
图9B示出了示例性正标记和负标记图块。
图10A和图10B示出了包括对象过滤器生成的示例性用户界面。
图10C示出了示例性图像查看器。
图11A和图11B示出了用于接收用于全载玻片图像搜索的查询输入的第二示例性用户界面。
图12示出了包括附加输出的示例性用户界面。
图13示出了示例性全载玻片图像搜索系统。
图14示出了示例性人工神经网络。
图15示出了示例性计算机系统。
具体实施方式
全载玻片图像(WSI)的分析是一个劳动密集型过程，需要具有知识和灵活性的高度专业化人员来审查WSI、辨识和识别异常、对异常进行分类、标记WSI并且潜在地呈现组织的诊断。另外，因为WSI用于广泛的组织类型，具有识别异常的知识和技能的人员必须进一步专业化，以便提供准确的分析和诊断。在将一个WSI的特征与另一个WSI的特征进行比较的背景中，或者在多个WSI中识别相似或相关的特征时，问题会变得更加复杂。例如，对于个人来说，识别主题WSI的特征并寻找表现出相同特征的其他WSI将是一项极其耗时的任务，就像识别基于主题WSI搜索的可能结果一样。由于这项工作的劳动密集型和知识密集型性质，WSI是某些功能(包括搜索)自动化的候选者。然而，WSI的大尺寸使得典型技术无效、缓慢并且昂贵。进行标准图像识别和深度学习技术是不切实际的，这些技术需要WSI的许多样品的多轮的分析以增加准确度。在将任意特征与WSI的特征进行匹配的背景中，问题再次变得更加严重。本文描述的技术旨在解决WSI中的图像搜索和辨识的问题，并且能够开发新颖的数据分析和表示技术，这些技术以前由于有详细记录的限制而不能使用WSI进行。
本文公开的系统可以基于数据集的不同区域来有效地生成WSI的大数据集的嵌入，并且准备数据集以用于与任意查询图像进行比较。本文公开的系统可以进一步提供图像搜索的用户驱动的定制和细化，以基于用户在任何给定时间的需求的方式提高结果的质量。根据本文描述的全载玻片图像搜索系统使得用户能够基于经选择的查询图像或视场来搜索全载玻片图像的大数据集。查询结果包括来自全载玻片图像数据库的被确定为与如本文描述的查询图像相似的图像图块或视场。然后，用户可以与经检索的图像进行交互，进一步探索，并且选择细化搜索或生成指定的输出视像和报告。
图1示出了用于全载玻片图像搜索的示例性方法。该方法开始于步骤105，其中全载玻片图像搜索系统对全载玻片图像的数据集进行索引。创建的索引包括每个全载玻片图像、从每个全载玻片图像分割的一组图块以及针对图块中的每一者生成的嵌入。另外，描述每个全载玻片图像和其图块的元数据和其他信息可以归因于全载玻片图像数据集。在特定实施例中，数据集跨通信耦接至全载玻片图像搜索系统的多个数据库存储。在特定实施例中，可以根据经存储的数据的类型、源数据的位置或预期的访问请求，或其他数据组织协议来组织数据库。
数据集的全载玻片图像可以由全载玻片图像搜索系统从全载玻片图像的数据库访问，这些全载玻片图像已经由全载玻片图像搜索系统的一个或多个用户或者由与全载玻片图像搜索通信的其他系统收集。这些图像可能是出于各种目的而收集的，除了偶尔检索以进行历史审查或验证之外，这些图像在数据库中闲置。全载玻片图像搜索系统可以将全载玻片图像重新调整为更易于通过对图像进行索引而探索的活动数据集。
为了对数据的全载玻片图像进行索引，全载玻片图像搜索系统将每个全载玻片图像分割成多个图块。预期每个全载玻片图像比标准图像显著更大，并且比原本对于标准图像识别和分析通常可行的要大得多(例如，大约100,000像素乘100,000像素)。为了便于分析，全载玻片图像搜索系统将每个全载玻片图像分割成图块。出于分析的目的，图块的尺寸和形状是统一的，但尺寸和形状可以是可变的。在一些实施例中，图块可以重叠以增加图像背景被全载玻片图像搜索系统正确分析的机会。为了平衡准确进行的工作，可优选使用非重叠图块。另外，将图像分割成图块可以涉及基于与图像相关联的颜色通道或主色来分割该图像。
接下来，全载玻片图像搜索系统，例如使用图块嵌入模块，使用嵌入网络针对每个图块生成嵌入。如本文所述，嵌入可以包括图块的唯一表示，其保存关于图块的内容或背景的一些信息。还可以从图块到对应的图块嵌入空间或特征嵌入空间的映射来导出图块嵌入。所得嵌入可以被认为表示图块中所展示的特征。在特征嵌入空间内，空间邻近的图块可以被认为是相似的，而特征嵌入空间中的图块之间的距离可以指示不相似。例如，基于使用嵌入网络生成的针对每个图块的嵌入，描绘相似主题或具有相似视觉特征的图块将在特征嵌入空间中以比描绘不同主题或具有不相似视觉特征的图块更小的嵌入间距离定位。图块嵌入可以表示为将图块映射到特征嵌入空间的特征向量。全载玻片图像搜索系统可以使用神经网络(例如，卷积神经网络)生成图块嵌入，以生成表示图像的每个图块的特征向量，也称为嵌入网络。嵌入网络接收图块(例如，图像)作为输入并产生嵌入(例如，向量表示)作为输出。在特定实施例中，块嵌入神经网络可以基于对基于自然(例如，非医学)图像的数据集(诸如ImageNet数据集)进行训练的ResNet图像网络。通过使用非专门的图块嵌入网络，全载玻片图像搜索系统可以利用在有效处理图像以生成嵌入方面的已知进展。此外，使用自然图像数据集允许嵌入神经网络学习在整体水平上辨别图块片段之间的差异且增加可用训练数据的复杂度。
在其他实施例中，图块嵌入模块可以是经定制以处理大格式图像，诸如全载玻片图像的大量图块的嵌入网络。另外，可以使用自定义数据集来训练图块嵌入网络。例如，块嵌入网络可以使用全载玻片图像的各种样品进行训练，或甚至使用与嵌入网络将生成嵌入的主题(例如，特定组织类型的扫描)相关的样品进行训练。使用专门的或定制的图像的集合来训练图块嵌入网络可以允许图块嵌入网络识别图块之间更细微差异，这可使得特征嵌入空间中的图块之间的距离更详细和准确，但代价是需要附加时间来获取图像以及训练多个图块生成网络以供全载玻片图像搜索系统在不同背景下使用的计算和经济成本。全载玻片图像搜索系统可以基于被索引(或稍后搜索)的图像的类型来从图块嵌入网络库中进行选择。
可以使用图块的视觉特征来从深度学习神经网络生成图块嵌入。出于嵌入生成的目的，每个图块可以被视为独立的部件。这样，在给定的全载玻片图像中彼此靠近的图块不一定在嵌入空间中彼此靠近。相反，嵌入空间可以集中于对表现出相似特征的图块进行分组。
可以使用与图块关联的背景信息或根据图块中显示的内容进一步生成图块嵌入。例如，块嵌入可以包括一个或多个特征，这些特征指示和/或对应于所描绘对象的尺寸(例如，所描绘细胞或像差的尺寸)和/或所描绘对象的密度(例如，所描绘细胞或像差的密度)。尺寸和密度可以被绝对测量(例如，宽度以像素表示或从像素转换成纳米)或相对于来自同一数字病理图像、来自一类数字病理图像(例如，使用类似技术或通过单个数字病理图像生成系统或扫描仪来产生)，或来自相关的数字病理图像系列的其他块。此外，可以在全载玻片图像搜索系统针对图块生成嵌入之前对图块进行分类，使得嵌入在准备嵌入时考虑分类。
在特定实施例中，可以考虑图块位置。当生成图块嵌入时，提供给嵌入网络的一个特征可以是识别主题图块附近的图块，其目标是以某种方式考虑图块在全载玻片图像中的位置。这可以允许嵌入网络自动推断图块的背景。除了图块和位置的视觉部件之外，还可以添加其他附加特征。例如，载玻片的标识可以用于添加图块的全局身份标识的附加背景。这可能具有平滑结果位置的效果。又如，载玻片的时间方面可以并入到图块嵌入中。来自受试者(例如，患者)在不同时间点的载玻片可以被分组，展示了其中表现出的病况的进展。另外，嵌入网络可以被配置成自动对每个用户的载玻片进行分组。因此，给定用户(例如，研究人员)可以更易于找到与其载玻片相关的结果。这些附加特征还可以通过将特征附加到全载玻片图像搜索系统的嵌入网络所生成的特征向量表示来添加。例如，可以如先前所述生成图块嵌入，其中关于位置或主题历史的信息被编码到嵌入中以用于在搜索查询期间进行比较的目的。还可以使用多个不同的函数来计算距离，其中结果的类型和质量可能会随着距离函数的变化而变化。
为了一致性，全载玻片图像搜索系统可以产生预定义尺寸的嵌入(例如，512个元素的向量、2048字节的向量等)。全载玻片图像搜索系统可以产生各种任意尺寸的嵌入。全载玻片图像搜索系统可以基于用户方向来调整嵌入的尺寸，或可以被选择以例如优化计算效率、准确度或其他参数。在特定实施例中，嵌入尺寸可以基于生成嵌入的深度学习神经网络的限制或规范。较大的嵌入尺寸可以用于增加嵌入中捕获的信息量并且提高结果的质量和准确度，而较小的嵌入尺寸可以用于提高计算效率。
在特定实施例中，全载玻片图像搜索数据集可以被扩充或注释以参考组织病理学伪影的规范示例。例如，某些病况可能通常发生在某些类型的组织或情况中。全载玻片图像搜索系统可以提供许多病况示例，然后可以将其嵌入。可以专门标记与规范示例中的一者匹配的搜索，以方便用户快速将其搜索到的特征识别为与这些指定示例中的一者相对应。
在步骤105处对全载玻片图像数据集进行索引之后，在步骤110处，全载玻片图像搜索系统访问查询图像。如本文进一步详细描述，全载玻片图像搜索系统可以以多种方式接收查询图像。例如，全载玻片图像搜索系统可以通过在用户装置上执行的瘦客户端或网络浏览器而对用户可用。用户装置可以为经由一个或多个网络连接到全载玻片图像搜索的由病理医师或临床医师使用的计算机。用户可以从用户装置选择查询图像并将其上传到全载玻片图像搜索系统。又如，全载玻片图像搜索系统可以通信地耦接至全载玻片图像的数据库。用户可以指示全载玻片图像搜索系统访问全载玻片图像中的一者，并且可以指定全载玻片图像的特定区域用作查询图像。在特定实施例中，可以基于用户的当前视场或经选择的边界来选择区域。该区域可以与全载玻片图像的预分割图块对准，但不限于此类边界。又如，全载玻片图像搜索系统可以从全载玻片图像生成系统或其一个或多个部件接收全载玻片图像。用户可以提交的图像的类型可能存在限制。例如，虽然可以使用全载玻片图像的子集(例如，选择特定图块或全载玻片图像中大约相当于图块的区域)，但可能不允许使用全载玻片图像本身，因为系统将无法有效地处理该图像。此外，全载玻片图像搜索系统能够识别特征之间的相似性，并且完整的全载玻片图像将失去这些特征的特异性。
在步骤115处，全载玻片图像搜索系统可以接收与结果相关联的一个或多个对象过滤器的选择以及对象过滤器的正或负权重。对象过滤器通过提供关于所要结果的附加信息来充当细化搜索结果的一种方式。例如，可以训练对象过滤器以支持来自特定类型的组织的结果、展示特征中的特定异常的结果等。相似地，可以训练对象过滤器以检测图像中的像差，诸如在创建全载玻片图像或图块时引入的伪影。伪影可以被识别并被视为与图像相关联或将在图像内被识别的对象。应用于该概念的负权重可以从搜索结果中排除畸变。因此，虽然对象过滤器是指对特定对象或对象类别的过滤，但可以训练对象过滤器以识别并基于可以在图像中以图形方式表示或以其他方式与图像相关联的任何概念(例如，基于与图像一起存储或与图像相关联的元数据)进行过滤。对象过滤器充当“高级”搜索的一种形式，其中单独使用查询图像的搜索与更基本或简单的搜索相似。在一些情况下，用户可能不具有经过训练且准备好使用的特定对象过滤器，或者可能此时不希望使用对象过滤器。因此，此步骤被认为是任选的。如本文所述，可以在进行初始查询之后根据搜索结果来训练对象过滤器，从而允许随时间推移而细化结果。
在步骤120处，全载玻片图像搜索系统使用嵌入网络或其他人工神经网络来生成针对查询图像的嵌入。可以使用与针对全载玻片图像数据集中所包括的图块的嵌入相同的原理来生成针对查询图像的嵌入。此外，可以使用相同的嵌入网络来确保查询图像到特征嵌入空间的一致映射。
如果全载玻片图像搜索系统确定输入图像是全载玻片图像或源自全载玻片图像，则在建立对全载玻片图像的正确使用的前提下，全载玻片图像搜索系统可以自动将查询图像添加到全载玻片图像数据集。为了便于将查询图像添加到全载玻片图像数据集，全载玻片图像搜索系统可以提示用户提供附加元数据或提示用户将全载玻片图像搜索系统引导到网络或用户装置上存储适当元数据的位置。如本文所述，元数据可以任选地用于限制或细化搜索结果，并且还可以用于根据搜索用户的请求提供关于结果图块的附加背景信息。
在步骤125处，全载玻片图像搜索系统将从查询图像生成的嵌入与全载玻片图像数据集进行比较。全载玻片图像搜索系统将从查询图像生成的嵌入与从来自数据集的全载玻片图像中的一者或多者生成的嵌入进行比较。如本文所述，嵌入可以被描述为具有特征嵌入空间内的位置的表示。比较嵌入可以包括确定特征嵌入空间中从查询图像生成的嵌入的位置与从全载玻片图像搜索数据集生成的嵌入的位置之间的距离。每个嵌入都可以表示从全载玻片图像中提取的图块，因此比较嵌入会引起将来自全载玻片图像数据集的图像的图块与来自查询图像的嵌入进行比较。距离的含义取决于用于生成嵌入的信息。例如，在嵌入仅包括单个图块的视觉信息的情况下，距离将与视觉相似性相关。当嵌入包括附加信息(诸如图块间关系或位置)时，距离也将包括这些特征的度量。
当用户指定距离计算方法时，全载玻片图像搜索系统可以使用该计算。另外，当用户指定要使用的一个或多个对象过滤器时，可以当将从查询图像生成的嵌入与从全载玻片图像搜索生成的嵌入进行比较时应用该一个或多个对象过滤器。具体地，正加权的对象过滤器在距离计算中被赋予正权重，有利于对象过滤器“接近”的嵌入。负权重对象过滤器在距离计算中被赋予负权重，不利于对象过滤器“接近”的嵌入。在对象过滤器被表示为从支持向量机超平面生成的嵌入的情况下，并入对象过滤器还可以包括将全载玻片图像搜索数据集中的每一者与对象过滤器嵌入进行比较。
如上所述，全载玻片图像通常非常大，并且甚至可以从少量全载玻片图像产生大量图块。例如，即使是包括数百个全载玻片图像的数据集，也预计会包括数百万个图块和图块嵌入。因此，必须将查询图像嵌入与这数百万个图块进行比较，以确定哪些最相似。在特定实施例中，将全载玻片图像数据集的图块嵌入与查询图像嵌入进行比较的任务可以分布在全载玻片图像搜索系统的多个代理上。例如，此任务可以分布在代理组中，其中每个代理将全载玻片图像数据集的图块嵌入的子集与查询图像进行比较，并且提供一组顶部匹配。然后，全载玻片图像搜索系统的主或控制子系统可以比较代理组中的顶部匹配，以识别顶部总体结果(例如，与嵌入空间中针对查询图像的嵌入的距离最小的嵌入)。在多个代理需要并行访问的情况下，嵌入各自被存储在全载玻片图像搜索系统的数据库内的独立文件中。另外，在特定实施例中，全载玻片图像搜索数据集的嵌入可以通过各种数学处理进一步压缩，以通过限制必须进行的个别比较的数量来减小存储尺寸并控制搜索时间。压缩方法可以包括特征向量表示的坐标的平均值、奇异值分解或其他计算方法。
在步骤130处，全载玻片图像搜索系统基于比较来识别结果图块。经识别的图块将与被识别为最有可能响应查询图像的那些嵌入相关。例如，全载玻片图像搜索系统可以将与全载玻片图像数据集的最近嵌入相对应的图块识别为结果图块。
在步骤135处，全载玻片图像搜索系统可以向全载玻片图像搜索系统的用户呈现结果图块。在某些实施例中，这可以涉及在客户端装置上的交互式用户界面中呈现结果图块的子集。在特定实施例中，可以基于特征嵌入空间中与每个结果图块相对应的嵌入与从查询图像生成的嵌入之间的距离来对呈现给用户的子集进行排序。在特定实施例中，可以向用户提供评级。在特定实施例中，结果图块的子集可以包括具有在特征嵌入空间中针对查询图像生成的嵌入的定义阈值距离内的嵌入的所有图块。在特定实施例中，结果图块的子集可以包括前N个结果，其中N是系统定义的或用户定义的结果数量，并且前N个结果表示与基于距离所排序的具有在特征嵌入空间中与针对查询图像生成的嵌入的最小距离的嵌入相对应的N个结果图块。在此示例中，N表示要返回或提供的结果的阈值数量。交互式用户界面可以包括各种交互式元素以使用户能够参与全载玻片图像搜索系统的进一步功能。全载玻片图像搜索系统可以监视与那些附加功能相关的用户输入。
在步骤140处，全载玻片图像搜索系统监视并检测关于结果质量的用户输入，诸如将结果中的一者或多者选择为落入一个或多个类别，例如，为“正面”结果或“负面”结果，为相关结果或不相关结果等。在此背景中，正面结果可以与用户预期或想要接收的结果类型或相似的结果相关。相似地，负面结果可以与和用户预期或想要接收的结果不同的结果相关。将结果指示为正面可以与用户希望接收如经指示的结果的附加结果相对应。将结果指示为负面结果可以与用户不希望接收如经指示的结果的附加结果相对应。当检测到用户输入时，全载玻片图像搜索系统的一个或多个计算系统确定用户输入的性质，并且该方法继续。
如果在步骤145处，输入被确定为针对结果的质量(例如，当结果包括用户正在搜索的结果时)，则该方法前进到图2所示的用于通过全载玻片图像搜索中的示例选择来细化的方法200，在图1中被指定为元素A。如果在步骤150处，输入被确定为请求全载玻片图像搜索系统进入对象过滤器生成模式，则该方法前进到图3所示的用于全载玻片图像搜索中的对象过滤器生成的方法300，在图1中被指定为元素B。如前所述，术语对象过滤器在本文中用于指代基于对一个或多个图像或图块的选择而生成的过滤器。如果在步骤155处，输入被确定为对结果图块中的一者或多者的选择，则该方法前进到图4所示的用于全载玻片图像搜索中的全载玻片输出生成的方法400，在图1中被指定为元素C。如果在步骤160处，输入被确定为对输出报告的请求，则该方法前进到图5所示的用于全载玻片图像搜索中的数据集输出生成的方法500，在图1中被指定为元素D。方法100可以全部或部分重复多次，例如，用户可以稍微修改查询或查询图像并请求多组结果图块。此外，全载玻片图像搜索系统可以接收多种形式的用户输入，并且可以呈现图2至图5所示的方法中的多于一者，如本文所讨论。
图2示出了用于在全载玻片图像搜索中通过示例性选择进行细化的示例性方法200。该方法作为从图1中的步骤145的延续而开始。该方法开始于步骤205，其中全载玻片图像搜索系统基于与结果的质量相关且特别指示结果是正面还是负面地反映用户期望展示的结果的用户输入来修改与用户已指示的结果相关联的加权。例如，全载玻片图像搜索系统可以收集已被正面指示的结果并计算针对正面结果的平均嵌入。全载玻片图像搜索系统可以使用该平均嵌入来修改搜索查询，诸如通过搜索与平均嵌入最相似的嵌入。相似地，在用户已指示负面结果的情况下，全载玻片图像搜索系统可以收集已被负面指示的结果并计算针对负面结果的平均嵌入。全载玻片图像搜索系统可以使用该平均嵌入来修改搜索查询，诸如通过使用针对负面结果的平均嵌入作为相似结果的禁忌(例如，作为不相似结果的指示)。又如，全载玻片图像搜索系统可以增加与已被正面指示的结果相关联的加权并且减小与已被负加权的结果相关联的加权。这些对加权的调整可以反向传播，使得与正面结果相似的结果具有相对较高的分数，而与负面结果相似的结果具有相对较低的分数。在特定实施例中，可以利用允许用户提供关于结果的更细致的反馈的评级系统来增强对结果是正面还是负面的确定。评级系统的程度可以用于修改归因于正面或负面结果的权重。
在步骤210处，全载玻片图像搜索系统可以接收请求全载玻片图像搜索系统基于学习的示例来重新运行搜索查询的用户输入。在步骤215处，全载玻片图像搜索系统可以将针对查询图像的嵌入与全载玻片图像数据集中的嵌入进行比较，以使用针对正面结果的平均嵌入和负面结果的平均嵌入或使用如上所述的方法修改的加权来确定最相似的嵌入组。例如，最相似的嵌入组可以被确定为嵌入空间中具有与针对正面结果的平均嵌入的最小距离的嵌入。又如，最相似的嵌入组可以是特征嵌入空间中具有与查询图像的最小距离的嵌入，其中用于确定特征嵌入空间中的接近度的距离函数基于所应用的加权。
在步骤220处，全载玻片图像搜索系统可以基于在先前步骤中被确定为最相似的嵌入的嵌入来识别结果图块。在步骤225处，全载玻片图像搜索系统可以呈现经识别的结果图块。如在方法100的步骤135中，呈现经识别的结果图块可以涉及在客户端装置上的交互式用户界面中呈现结果图块的子集。交互式用户界面可以包括各种交互式元素以使用户能够参与全载玻片图像搜索系统的进一步功能。尽管未示出，但全载玻片图像搜索系统可以监视与那些附加功能相关的用户输入。
图3示出了用于全载玻片图像搜索中的对象过滤器生成的示例性方法300。该方法作为从图1中的步骤150的延续而开始。该方法开始于步骤305，其中全载玻片图像搜索系统接收标记来自查询图像的经呈现的结果图块中的一者或多者的用户输入。在步骤310处，全载玻片图像搜索系统接收与经标记结果图块相关联的加权的用户输入。根据步骤305和310，全载玻片图像搜索系统具有对象过滤器的示例性结果图块的指定以及要归因于对象过滤器的加权。在特定实施例中，正权重被视为对象过滤器的肯定表示，而负评级被视为不存在对象过滤器的示例。因此，可以响应于用户搜索和反馈来动态地生成对象过滤器。在特定实施例中，用户可以执行具有构建出对象过滤器供以后使用的明确意图的搜索(例如，使用所描述的对象过滤器保存、共享和加载特征)。
在步骤315处，全载玻片图像搜索系统基于经接收的用户输入来生成对象过滤器。为了生成对象过滤器，全载玻片图像搜索系统可以根据经接收的用户输入训练新分类器，以便学习在嵌入空间中创建对象过滤器的表示，该表示展示在基于经接收的用户输入确定的结果图块中。然后可以对该表示进行加权并将其与针对原始查询图像的嵌入进行平均以进行后续搜索。这使得找到与经增强查询(使用习得的对象过滤器平均的原始查询)相似的嵌入。例如，全载玻片图像搜索系统可以使用附加有相关联的加权的经标记结果图块来训练模型(例如，线性支持向量机)。对象过滤器本身由支持向量机超平面表示，该支持向量机超平面与针对对象过滤器的嵌入相对应。后续查询然后可以有效地使用经选择的对象过滤器和相关联的加权来产生与用正加权标记的结果图块更相似并且与用负加权标记的结果图块更不相似的查询结果(例如，结果图块)。
在步骤320处，全载玻片图像搜索系统接收请求全载玻片图像搜索系统使用新生成的对象过滤器重新运行搜索查询的用户输入。在步骤325处，全载玻片图像搜索系统可以将经增强查询图像(与习得的概念表示进行平均的针对原始查询图像的嵌入)与全载玻片图像搜索数据集中的嵌入进行比较，以确定与针对查询图像的经增强嵌入最相似的嵌入，从而确定与经增强查询图像最相似的图块。
在一些实施例中，在步骤330处，全载玻片图像搜索系统可以将经生成的对象过滤器的表示应用于经识别的最近嵌入。例如，在对象过滤器被表示为从支持向量机超平面生成的嵌入的情况下，可以将对象过滤器嵌入与在先前步骤中确定的最近嵌入进行比较。还可以为对象过滤器提供指示应如何处理与对象过滤器的正匹配(例如，特征嵌入空间中靠近对象过滤器的嵌入)的权重。如果权重为负，则与过滤器的匹配的评级将降低或被排除。
在步骤335处，全载玻片图像搜索系统根据上述技术基于经确定的最近嵌入来识别结果图块。在步骤340处，全载玻片图像搜索系统可以呈现经识别的结果图块。如在方法100的步骤135中，呈现经识别的结果图块可以涉及在客户端装置上的交互式用户界面中呈现结果图块的子集。交互式用户界面可以包括各种交互式元素以使用户能够参与全载玻片图像搜索系统的进一步功能。尽管未示出，但全载玻片图像搜索系统可以监视与那些附加功能相关的用户输入。
在步骤345处，全载玻片图像搜索系统可以接收请求全载玻片图像搜索系统保存经生成的对象过滤器以供例如用户将来使用的用户输入。例如，可以在方法100的步骤115中指示经保存的对象过滤器。例如，经保存的对象过滤器可以被保存到与用户相关联的帐户记录，使得用户可以访问经保存的过滤器，而不管用于访问全载玻片图像搜索系统的用户装置。在其他实施例中，经保存的对象过滤器可以被导出或下载到用户装置，使得其可以被保存在帐户记录之外。
在步骤350处，全载玻片图像搜索系统可以接收请求全载玻片图像搜索系统与其他用户共享经生成的对象过滤器的用户输入。例如，可以创建用户网络，其中每个用户都可以从他们自己的用户装置访问全载玻片图像搜索系统。用户网络可以是公共的，限于全载玻片图像搜索系统的某些机构或使用类型，或者可以以其他方式受限制。对象过滤器可以在用户之间共享，以便用户可以借鉴彼此的成功。此外，可以开发和微调经共享的对象过滤器库，以便新用户不需要从真正的起始位置构建公共对象过滤器。相反，用户可以访问该库并轻松访问有用的过滤器。另外，用户可以从全载玻片图像搜索系统的其他用户接收对象过滤器。
图4示出了用于全载玻片图像搜索中的全载玻片输出生成的示例性方法400。该方法作为从图1中的步骤155的延续而开始。该方法开始于步骤405，其中全载玻片图像搜索系统接收对结果图块的选择，包括对关于结果图块的附加信息的请求。对于每个结果图块，用户可以双击结果图块，指示用户想要在背景中查看结果图块和/或接收关于结果图块的附加信息。
在步骤410处，全载玻片图像搜索系统检索与经选择的结果图块相对应的全载玻片图像。如本文所述，结果图块是从全载玻片图像中分割或摘录的。结果图块还可以与元数据一起存储以将结果图块与全载玻片图像相关联。在接收到用户输入时，全载玻片图像搜索系统可以从适当的数据库检索对应的全载玻片图像并准备将其呈现给用户。例如，因为全载玻片图像很大且数据密集，所以全载玻片图像搜索系统可以开始将全载玻片图像或其子集流式传输到用户装置。
在步骤415处，全载玻片图像搜索系统检索与经选择的结果图块相关联并存储在全载玻片图像搜索系统的适当数据库中的元数据。在特定实施例中，元数据可以特定于个别图块。例如，元数据可以描述与个别图块中所示的特征相关的信息、关于图块何时以及如何生成的信息等。元数据还可以提供关于对应的全载玻片图像的信息。例如，全载玻片图像可能已与关于全载玻片图像的来源的信息一起存储，该信息为诸如患者的标识符、正在显示的组织、获取全载玻片图像的样品、提供用户(例如，研究人员)、样品的时间特征、扫描仪型号、扫描放大倍率、染色方案、组织厚度和其他相关信息。此外，全载玻片图像可能已与关于患者的元数据(诸如诊断、病况、其他值得注意的异常情况等)相关联地存储。
在步骤420处，全载玻片图像搜索系统在交互式全载玻片查看器中向用户呈现经检索的全载玻片图像和相关联的元数据。交互式全载玻片查看器可以在从其分割的全载玻片图像的背景中展示经选择的结果图块。交互式全载玻片查看器可以为用户提供多种功能来操纵全载玻片图像以更好地理解经选择的结果图块。交互式全载玻片查看器可以提供缩放功能以放大和缩小全载玻片图像、平移功能以查看全载玻片图像的不同部分、颜色修改(例如，色调或色度调整、灰度选择)以允许用户聚焦于全载玻片图像的不同方面，以及其他相关功能。全载玻片图像查看器还可以向用户呈现对应的元数据。因此，全载玻片图像查看器便于用户快速评估和比较结果图块与查询图像，同时也便于访问已知端点，加快辨识和诊断能力。
根据全载玻片图像查看器，用户还可以启动其他功能，诸如通过选择全载玻片图像的相关部分来启动另一搜索查询，可以标记结果图块和/或全载玻片图像以供将来参考和检索，或者返回至来自原始查询的一组结果。
图5示出了用于全载玻片图像搜索中的数据集输出生成的示例性方法500。该方法作为从图1中的步骤160的延续而开始。方法500中的每个步骤可以响应于用户输入来进行。例如，在某些实施例中，用户可以请求生成相关联的热图，但可以不请求关于结果图块数据集的统计报告。
在步骤505处，全载玻片图像搜索系统接收来自用户的请求以生成并呈现查询结果的热图。在特定实施例中，热图可以用于有效地显示关于感兴趣的全载玻片图像中的位置的信息。例如，热图可以提供关于查询图像的信息，其中查询图像包括对分析目的有用的足够信息(例如，如果查询图像是从全载玻片图像中选择的)。例如，热图可以包括查询图像的来源的显示，其包括查询图像与来源本身的比较。又如，热图可以表示全载玻片图像中的每个图块与查询图像的相似性(例如，与针对全载玻片图像中的每个图块生成的嵌入与针对查询生成的嵌入之间的距离相对应)。又如，热图可以分析一个或多个全载玻片图像，以显示例如用户或其他用户经常请求的区域、全载玻片图像搜索系统的用户经常访问的区域、经常显示为其他搜索的顶部结果图块的区域等。此外，热图可以有效地总结查询图像和生成查询图像的全载玻片图像内特定组织病理学表型的流行率。
在步骤510处，全载玻片图像搜索系统接收来自用户的请求，以生成并呈现结果图块数据集(例如，在方法100的步骤135中返回并呈现给用户的结果图块)的统计报告。例如，全载玻片图像搜索系统可以确定并总结每个结果图块在其相应源全载玻片图像内的位置。全载玻片图像搜索系统可以识别任何结果图块之间的关系，诸如结果图块中的一者或多者是否源自相同的全载玻片图像或相同的受试者或提供用户。全载玻片图像搜索系统可以包括对结果图块和其中所示的特征的分类的总结。全载玻片图像搜索系统可以总结结果图块的时间信息，诸如图像的年龄和样品的年龄。全载玻片图像搜索系统可以提供给定全载玻片图像中相似图块分布的空间统计信息，诸如聚类位置、聚类数量、聚类尺寸、平均聚类相似性(例如，基于与特征嵌入空间中的聚类的每个图块相对应的嵌入之间的平均距离来测量)、平均总相似性(例如，基于与基于聚类生成的每个嵌入相对应的特征向量的平均值或特征向量的一个或多个分量的平均值来测量)、相似图块的百分比等。全载玻片图像搜索系统可以提供患者组学数据，诸如经识别的基因组或蛋白质组数据或患者特征，包括例如最强的倍数变化基因和其他组学生物标记表达。尽管已提供了若干示例性统计数据，但应当理解，关于结果图块数据集的许多合适的统计数据可以被编译并单独地呈现给用户或者在呈现之前被打包。
在步骤515处，全载玻片图像搜索系统接收生成并呈现与结果图块相关联的全载玻片图像的交叉相关统计的请求。交叉相关报告可以进一步包括关于患者的信息，来自这些患者的样品被用于生成全载玻片图像。例如，虽然可以在步骤510中产生的统计报告具体地提供关于结果图块的信息，但在步骤515中收集和呈现的统计数据涉及相关联的全载玻片图像和对应的基础患者信息。基础患者信息可以包括患者人口统计数据、全载玻片图像之间的时间关系(如果它们来自同一患者)、患者结果(如果已知)(例如，总存活、总体反应、无进展生存期、记录的不良事件等)、患者诊断(如果重要)、所描绘的组织类型、样品的背景(诸如提供用户或研究)以及其他相关信息。尽管已提供了若干示例性统计数据，但应当理解，关于与结果图块相关联的全载玻片图像的许多合适的统计数据可以被编译并单独地呈现给用户或者在呈现之前被打包。
特定实施例可以在适当情况下重复图1至图5的方法的一个或多个步骤。尽管本公开将图1至图5的方法的特定步骤描述并示出为以特定顺序发生，但本公开考虑了图1至图5的方法的任何合适步骤以任何合适顺序发生。此外，尽管本公开描述并示出了用于全载玻片图像搜索的示例性方法，包括图1至图5的方法的特定步骤，但本公开考虑了用于全载玻片图像搜索的任何合适方法，包括任何合适步骤，这些步骤可以包括图1至图5的方法的所有、一些步骤或不包括其步骤。此外，尽管本公开描述并示出了进行图1至图5的方法的特定步骤的特定部件、装置或系统，但本公开考虑了进行图1至图5的方法的任何合适步骤的任何合适部件、装置和系统的任何合适组合。
图6A和图6B示出了用于如在用于全载玻片图像搜索的方法100中向全载玻片图像搜索系统提供查询图像的示例性用户界面600。如图所示，用户可以以多种方法提供用户输入。最终结果是用户提供并指定要用作搜索基础的图像。用户界面600包括第一交互元素610，该第一交互元素请求用户拖放要上传到全载玻片图像搜索系统以用作查询图像的图像文件。当难以在可用的全载玻片图像中找到特定特征或表型(例如，使用视场进行搜索，如下所讨论)时，这可能会有所帮助，但之前已摘录了一个示例。替代地，用户可以点击或轻击第一交互元素610来打开系统浏览器以选择要上传的图像。因此，第一用户界面610可以用于供应来自全载玻片图像搜索系统外部的与全载玻片图像搜索系统通信的系统(例如，用户装置)的图像。
为了便于指定查询图像的第二方法，用户界面600包括第二交互元素620和文本字段625，用户可以通过该第二交互元素和文本字段指定全载玻片图像搜索系统可用的查询图像的位置或地址(例如，文件位置或资源定位符，其可以被指定为统一资源定位符)。例如，全载玻片图像搜索系统可以与代表用户存储患者或临床数据的数据库进行通信。该数据库可以通过全载玻片图像搜索系统来访问，这意味着能够访问全载玻片图像搜索系统的任何装置都能够访问该数据库。用户可以将与查询图像相对应的文件访问路径或资源定位符输入到文本字段625中。通过与第二交互元素620交互，用户可以指示全载玻片图像搜索系统检索经选择的图像(例如，全载玻片图像)。在检索时，图像可以显示在字段640中，如图6A至图6C中所示。如下所讨论，字段640用于指定要搜索的图像的特定区域。
为了便于指定查询图像的第三方法，用户界面600包括第三交互元素630和文本字段635，用户可以通过该第三交互元素和文本字段提供要用作查询图像的图像的唯一标识符。例如，用户可以指定用户希望用作查询图像的全载玻片图像的唯一标识符。全载玻片图像搜索系统可访问的数据库可以通过全图像的唯一标识符来索引，并且可以在选择第三交互元素630时检索对应的图像。在检索时，图像可以显示在字段640中。
字段640包括图像查看器，诸如全载玻片图像查看器，其中经选择的图像是全载玻片图像。图像查看器可以用于导航图像(例如，通过缩放和平移)以便于用户查看经选择的图像。在一些实施例中，用户可以仅使用经显示的图像的一部分作为查询图像。在此类情况下，图像查看器字段640可以包括可调整视场(FOV)选择器645。在特定实施例中，FOV选择器645可以直接且独立于图像查看器字段640来操纵。在一些实施例中，FOV选择器645表示图像的预定义部分(例如，图像的中心)并且操纵图像查看器640也操纵FOV选择器645。
为了提交图像作为查询图像并启动搜索，用户可以选择适当的搜索按钮650或655。如果用户已经使用FOV选择器645指定了经选择的图像的区域以用于查询图像，则用户可以使用标记为“使用FOV搜索”的搜索按钮650。这使得全载玻片图像搜索系统将经选择的FOV解释为图像查看器640中所示的全载玻片图像的区域的规范，并且从经呈现的图像中分割在FOV中选择的区域以用作查询图像。替代地，用户可选择搜索按钮655，其将使用图像查看器640中显示的完整图像或以其他方式提供给全载玻片图像搜索系统(例如，使用上文所讨论的输入方法中的一者)。
用户界面600包括允许用户指定将进行的搜索的特征的其他输入。第一输入是交互元素660，通过该交互元素，用户可以手动选择在将全载玻片图像搜索数据集中存储的嵌入与从查询图像生成的嵌入进行比较时使用的距离计算。交互元素660可以提供下拉框，其展示全载玻片图像搜索系统当前向用户提供的距离计算。另一交互元素665允许用户指定用于在进行比较之后对结果进行评级并向用户呈现结果的加权方法。可以向用户提供界面来定制加权方法或可能未在嵌入中捕获的结果图块评分方法的其他特征。第三交互元素670包括切换，用户可以通过该切换指示他们将指定在检索搜索结果时要使用的对象过滤器。当被选择时，可以修改用户界面600以提供指定要使用的对象过滤器的方法。相对于图11A和图11B示出并描述该经修改的用户界面1100。
图7A和图7B示出了包括图块结果的示例性用户界面700。用户界面700包括显示器710，其展示在已生成结果的搜索期间使用的查询图像。在图7C中展示了显示器170的放大版本。已被全载玻片图像搜索系统识别的顶部结果图块720朝向用户界面700的底部展示，其中在结果上方包括可以由用户用于采取进一步行动的多个交互元素。在某些实施例中，如何向用户显示结果图块(诸如结果的数量、结果的尺寸等)可以根据用户的偏好进行定制。另外，每个结果图块都可以是交互式的，允许用户更详细地查看图块结果。当被选择时，交互元素730可以启动示例性细化模式，诸如本文关于方法200描述的模式。交互元素740可以用于导出结果以供用户进一步分析。例如，结果可以与相关元数据和对应的全载玻片图像一起打包并下载到用户装置，以允许离线查看。另外，结果可以导出以与全载玻片图像搜索系统的另一用户共享。
交互元素750、755、760和765涉及对象过滤器与搜索结果的结合。当被选择时，交互元素750可以启动用于生成对象过滤器的训练对象过滤器模式，其可以与用于上述全载玻片图像搜索中的对象过滤器生成的方法300相关。在特定实施例中，交互元素730和750可以使用户界面700转变到被配置为便于其所陈述的目的的新的或经修改的界面。交互元素755允许用户添加新对象过滤器以用于细化搜索结果。交互元素760允许用户保存一组现有的对象过滤器以供以后调用，例如当用户已经开发了一组与特定类型的查询图像一起使用的对象过滤器并且希望出于此目的保存该组经选择的过滤器时。交互元素765允许用户调用那些经选择的过滤器。当被选择时，交互元素770允许用户使用相关联的查询图像并合并用户所做的任何改变(例如，使用任何所描述的细化技术或使用一组新过滤器)来重新运行查询。
图8A和图8B示出了包括全载玻片图像结果查看器810的示例性用户界面800。在某些实施例中，可以通过选择用户界面700中呈现的结果图块中的一者来访问用户界面800。另外，用户界面800可以与用于本文描述的全载玻片图像搜索中的全载玻片输出生成的方法400相关。如本文所述，全载玻片图像查看器810可以包括用于操纵其中显示的全载玻片图像的控件，诸如放大或缩小图像、平移图像以及应用过滤器以便于更容易地查看图像。全载玻片图像查看器810可以进一步包括界面元素815，其表示将用户带到该特定全载玻片图像的结果图块的位置。这样，全载玻片图像查看器810允许用户理解结果图块的背景，以用于理解全载玻片图像或用于临床和诊断目的。另外，用户可以选择交互元素820来查看与全载玻片图像相关联的元数据。元数据可以包括诸如关于全载玻片图像的数据(例如，捕获日期、尺寸、其他技术细节)、关于从其获取全载玻片图像的样品的数据(例如，组织类型、获取样品的数据)、关于从其获取样品的患者的数据(例如，患者状态、诊断、生存能力)以及可能对用户实现其目标有用的其他相关数据。
在某些实施例中，一旦所有信息已被加载，就显示查看器810中所示的全载玻片图像。然而，全载玻片图像可能非常大，并且可能花费大量时间来将图像加载到查看器中。因此，为了改善用户体验并允许用户更快地查看全载玻片图像的相关部分，可以将全载玻片图像分块加载到查看器中。例如，结果图块815附近的图块或区域可以被优先化以在更远的图块之前被加载。在该示例的全载玻片图像查看器810中示出，卸载的块825可以与占位符数据一起显示或者仅仅被显示为空白，直到图块可以被加载到查看器中。另外，可以提供进度条以让用户跟踪将图块加载到全载玻片图像查看器中的进度。用户界面800还可以包括用于查看器810中所示的全载玻片图像的标签830。用户稍后可以使用该标签来参考全载玻片图像。另外或替代地，用户可以例如通过与交互元素835的交互来标记图像以供保存。用户界面800还用作其他全载玻片图像(包括与结果图块不相关的那些图像)的全载玻片图像查看器。因此，用户可以使用文本字段840和交互元素845通过指定例如与全载玻片图像相对应的文件路径、资源定位符或唯一标识符来识别和查看另一全载玻片图像。在特定实施例中，用户可以从用户界面800中所包括的查看器执行另一搜索。
图9A示出了便于在全载玻片图像搜索中通过示例性选择进行细化的示例性用户界面900。例如，用户界面900可以由用户通过与图7A和图7B中所示的元素730交互来到达，并且可以对应于图2所示和上面讨论的在全载玻片图像搜索中通过示例性选择进行细化的方法200。用户界面900包括针对查询图像识别的顶部结果图块。用户界面900还包括多个交互元素以允许用户向全载玻片图像搜索系统提供输入。例如，交互元素905允许用户指示他们将结果标记为正面(指示结果与查询图像高度相关)。交互元素915允许用户指示他们将结果标记为负面(指示结果与查询图像不相关)。在选择交互元素905之后，用户可以选择结果图块中的一者或多者。然后，结果图块的显示将被修改以向用户指示他们已将哪些结果图块标记为正面。在用户界面900中，在图9A和图9B中用环绕图块的虚线展示了正面标记的图块910。还可以使用其他指示符，诸如以某种颜色(例如，绿色)环绕正面标记的图块、加阴影或以其他方式调整图块的色度等。
为了停止正面标记图块，用户可以选择交互元素925，或者如果他们希望继续负面标记图块，则选择交互元素915。与正面标记图块相似，在选择交互元素915之后，用户选择结果图块中的一者或多者。然后，结果图块的显示将被修改以向用户指示他们已将哪些结果图块标记为负面。在用户界面900中，在图9A和图9B中用环绕图块的点线展示了负面标记的图块920。可以使用与用于正面标记的图块的指示符不同的其他指示符，诸如以某种颜色(例如，红色)环绕负面标记的图块、加阴影或以其他方式调整图块的色度等。
在用户完成标记图块之后，他们可以选择交互元素930以使用原始查询图像重新运行查询，但将基于通过以上关于方法200描述的示例性过程的细化来生成结果。
图10A示出了包括通过标记结果图块进行的对象过滤器生成的示例性用户界面1000。在特定实施例中，可以通过选择用户界面700中的交互元素750来访问用户界面1000。用户界面1000包括用于作为查询图像的结果而提供的结果图块的显示字段。用户界面1000还包括各种交互元素以促进对象过滤器的生成和训练。用户可以使用文本字段1010为对象过滤器创建标签。这可以允许用户容易地回忆起标签的目的，例如，排除由成像过程中的缺陷引起的结果图块中的像差或排除某些组织结构。交互元素1015和1020允许用户修改对象过滤器的强度或作为对象过滤器的示例的个别结果图块的强度。交互元素1015展示了与经标记的对象过滤器的强度相对应的数值(在从-100到100的范围内，尽管任何合适的范围都将是可接受的)。交互元素1020展示了相同的信息，但是使用滑动条。该条还可以被颜色编码(例如，其中纯红色与强负面相对应，黄色指示中立，强绿色与强正面相对应)或包括其他易于识别的视觉信息。
在选择权重以及正面或负面示例的指示之后，用户可以选择结果图块中的一者或多者。然后，结果图块的显示将被修改以向用户指示他们已选择结果图块作为示例。还可以修改显示以指示用户归因于特定结果图块的相对权重。在用户界面1000中，经标记的图块1025对应于-10指示并且用环绕图块的虚线展示。用户可以选择交互元素1005来指示适当的图块已经被标记并且指示对象过滤器已准备好生成。根据对象过滤器的复杂性，例如基于已标记的结果图块的数量和已给出的个别加权指示的数量，用户可能必须等待一段时间才能使用该对象过滤器。在此类情况下，全载玻片图像搜索可以指示尽可能多的内容，并在用户完成其他任务时继续在后台生成对象过滤器。用户可以选择交互元素1030来保存经生成的对象过滤器以供将来使用，并且选择交互元素1035来与全载玻片图像搜索系统的一个或多个其他用户共享经生成的对象过滤器。另外，用户可以选择交互元素1040以使用经提供的查询图像和经生成的对象过滤器立即重新运行搜索查询。
图10B示出了包括通过识别要标记的全载玻片图像的特征进行的对象过滤器生成的示例性用户界面1050。使用用户界面1050，用户可以选择全载玻片图像(或者仅来自全载玻片图像的个别图块)的一个或多个特征来指示作为对象过滤器的示例。与用户界面1000相似，用户界面1050包括用于将标签应用于对象过滤器的交互元素1010以及用于选择对象过滤器的示例的强度或权重的交互元素1015和1020。除了生成新对象过滤器之外，用户还可以使用用户界面1050来将示例添加到现有的对象过滤器。用户界面1050包括可以与上文讨论的全载玻片图像查看器810相似地起作用的图像查看器1055。图像查看器1055还可以包括较小的窗口1060，其展示聚焦图像在较大的全载玻片图像内的位置。图10C示出了图像查看器1055和窗口1060的放大版本。图像查看器还包括用户可以操纵以具体选择图像的作为对象过滤器的示例的部分的字段1065。一旦用户对他们的选择感到满意，他们就可以选择交互元素1070以将图像的经选择的区域添加到对象过滤器以用于训练目的。
图11A和图11B展示了用于接收用于全载玻片图像搜索的查询输入的示例性用户界面1100。特别地，图11A和图11B展示了用于使用对象过滤器启动全载玻片图像搜索的用户界面1100。图11A和图11B中所示的许多输入特征与图6A和图6B的用户界面600中所示和讨论的输入特征相似。为了简洁起见，将省略这些特征的描述。在特定实施例中，当用户选择交互元素670以启用使用对象过滤器的搜索时，用户界面600调整或前进到用户界面1100以包括通过对象过滤器特征进行的搜索。交互元素1105允许用户将对象过滤器添加到查询。该交互元素的选择可以致使提供选择界面，用户可以通过该选择界面选择要添加的个别对象过滤器。交互元素1110允许用户添加一组对象过滤器或者加载可以存储在全载玻片图像搜索系统外部的一个或多个对象过滤器。例如，全载玻片图像搜索系统可以允许用户导出要存储在本地装置上的过滤器，并且可以进一步允许用户稍后导入这些过滤器。已添加或加载的过滤器显示在界面元素1120处。对象过滤器通过其标签来标识。用户还可以改变应用于预期搜索查询的对象过滤器的效果。例如，使用加权文本输入字段1125或滑动标尺1130，用户可以指定是否应当正面(例如，正面处理用于训练对象过滤器的正面示例，并且负面处理用于训练对象的负面示例)或负面(例如，负面处理用于训练对象过滤器的正面示例，并且正面处理用于训练对象过滤器的负面示例)处理给定对象过滤器。一旦用户对对象过滤器的选择感到满意，用户就可以启动搜索或者可以使用交互元素1115保存对象过滤器。
图12示出了显示来自全载玻片图像搜索系统的输出的示例性用户界面1200。特别地，图12展示了包括特定全载玻片图像的热图1210的用户界面1200。在该示例中，热图表示对应的全载玻片图像中的每个个别图块与查询图像的相似性(如本文所述，其可以基于特征嵌入空间中针对全载玻片图像的每个图块生成的嵌入与针对查询图像生成的嵌入之间的距离来测量)，或另一经选择的图像，诸如上述的经增强查询图像。热图的较亮区域与较高的相似性相对应，而热图的较暗区域与不相似图块相对应。热图中所表示的信息可以用于定位所描绘的全载玻片图像中与特定查询图像相似的区域。例如，用户可能正在寻找具有相似基质结构、组织异常、血管结构等的区域。热图可以进一步便于用户理解，例如，这些特定区域在较大主体(诸如肿瘤或其他检查组织)中的空间分布。这些对象在组织中的分布(如在全载玻片图像中以更完整的背景显示)可以影响组织样品(或从其收集组织样品的患者)的诊断、预后或荟萃分析。特定的全载玻片图像由标签显示1215识别。为了帮助用户查看热图，用户界面1200包括便于放大或缩小热图、平移热图的元素，并且可以包括用于此目的的其他合适的元素。为了进一步帮助查看，用户界面1200包括查询图像1220的表示。在特定实施例中，用户可以在热图显示与全载玻片图像的显示之间切换，允许用户直接将查询图像与全载玻片图像的区域进行比较。交互元素1225可以接收用户输入(例如，文件位置、资源定位符的指定)以检索本地或远程存储的图像以转换为热图，将本地存储的图像的图块与查询图像进行比较，并且生成与热图1210相似的热图。相似地，交互元素1230可以接收用户输入(例如，唯一标识符)以出于相同目的选择远程存储的图像。
图13示出了根据本公开的一些实施例的可以用于进行全载玻片图像搜索的交互计算机系统的网络1300，如本文所述。
全载玻片图像生成系统1320可以生成与特定样品相对应的一个或多个全载玻片图像或其他相关数字病理图像。例如，由全载玻片图像生成系统1320生成的图像可以包括活检样品的染色切片。又如，由全载玻片图像生成系统1320生成的图像可以包括液体样品的载玻片图像(例如，血涂片)。又如，由全载玻片图像生成系统1320生成的图像可以包括荧光显微图，诸如描绘荧光探针已经与靶DNA或RNA序列结合之后的荧光原位杂交(FISH)的全载玻片图像。
一些类型的样品(例如，活检组织、固体样品和/或包括组织的样品)可以由样品制备系统1321处理以固定和/或嵌入该样品。样品制备系统1321可以促进用固定剂(例如，液体固定剂，诸如甲醛溶液)和/或嵌入物质(例如，组织学蜡)浸润样品。例如，样品固定子系统可以通过将样品暴露于固定剂达至少阈值时间量(例如，至少3小时、至少6小时或至少13小时)来固定样品。脱水子系统可以使样品脱水(例如，通过将固定样品和/或固定样品的一部分暴露于一种或多种乙醇溶液)并可能使用清除中间剂(例如，其包括乙醇和组织学蜡)来清除脱水的样品。样品嵌入子系统可以用加热的(例如，因此呈液体状)组织学石蜡来浸润样品(例如，一次或多次达对应的预定义时间段)。组织学蜡可以包含石蜡和可能的一种或多种树脂(例如，苯乙烯或聚乙烯)。然后可以冷却样品和蜡，然后可以将经蜡浸润的样品封闭。
样品切片器1322可以接收固定和嵌入的样品并且可以产生一组切片。样品切片器1322可以将固定和嵌入的样品暴露在凉爽或寒冷的温度下。样品切片器1322然后可以切割冷却的样品(或其修整版本)以产生一组切片。每个切片可以具有(例如)小于100μm、小于50μm、小于10μm或小于5μm的厚度。每个切片可以具有(例如)大于0.1μm、大于1μm、大于2μm或大于4μm的厚度。冷却的样品的切割可以在温水浴(例如，处于至少30℃、至少35℃或至少40℃的温度)中进行。
自动化染色系统1323可以通过将每个切片暴露于一种或多种染色剂来促进对一个或多个样品切片的染色。每个切片可以被暴露于预定义体积的染色剂达预定义时间段。在一些情况下，单个切片被同时或依次暴露于多种染色剂。
可以将一个或多个染色切片中的每一个呈现给图像扫描仪1324，该图像扫描仪可以捕获该切片的数字图像。图像扫描仪1324可以包括显微镜相机。图像扫描仪1324可以多个放大级(例如，使用10x物镜、20x物镜、40x物镜等)来捕获数字图像。对图像的操纵可以用于在期望的放大倍数范围内捕获样品的选定部分。图像扫描仪1324可以进一步捕获由人类操作者识别的注释和/或形态测量结果。在一些情况下，在捕获一个或多个图像之后，切片被返回到自动化染色系统1323，使得切片可以被清洗、暴露于一种或多种其他染色剂并再次成像。当使用多种染色剂时，可以选择染色剂具有不同颜色配置文件，从而可以将图像的与吸收大量第一染色剂的第一切片部分相对应的第一区域与图像(或不同的图像)的与吸收大量第二染色剂的第二切片部分相对应的第二区域区分开来。
应当理解，在一些情况下，全载玻片图像生成系统1320的一个或多个部件可以结合人类操作者进行操作。例如，人类操作者可以跨各个子系统(例如，样品制备系统1321或全载玻片图像生成系统1320的子系统)移动样品和/或启动或终止一个或多个子系统、系统或全载玻片图像生成系统1320的部件的操作。又如，全载玻片图像生成系统的一个或多个部件(例如，样品制备系统1321的一个或多个子系统)的一部分或全部可以部分或全部用人类操作者的动作代替。
此外，应当理解，虽然全载玻片图像生成系统1320的各种所描述和描绘的功能和部件涉及固体和/或活检样品的处理，但其他实施例可以涉及液体样品(例如，血液样品)。例如，全载玻片图像生成系统1320可以接收液体样品(例如，血液或尿液)载玻片，该载玻片包括基础载玻片、涂抹的液体样品和盖玻片。图像扫描仪1324然后可以捕获样品载玻片的图像。全载玻片图像生成系统1320的其他实施例可以涉及使用本文描述的FISH等高级成像技术来捕获样品的图像。例如，一旦荧光探针已被引入样品并使其与靶序列结合，就可以使用适当的成像来捕获样品的图像以供进一步分析。
给定样品可以在处理和成像期间与一个或多个使用者(例如，一个或多个医师、实验室技术人员和/或医疗提供者)相关联。相关联的提供者可以包括(例如但不限于)订购产生被成像样品的测试或活检的人、有权接收测试或活检的结果的人或进行对测试或活检样品的分析的人等。例如，使用者可以对应于医师、病理医师、临床医师或受试者。用户可以使用一个或一个用户装置1330来提交以下一个或多个请求(例如，其识别受试者)：由全载玻片图像生成系统1320处理样品并且由全载玻片图像搜索系统1310处理所得图像。
全载玻片图像生成系统1320可以将图像扫描仪1324所产生的图像传输回用户装置1330。用户装置1330然后与全载玻片图像搜索系统1310通信以起始图像的自动处理。在一些情况下，全载玻片图像生成系统1320将图像扫描仪1324所产生的图像直接提供到全载玻片图像搜索系统1310，例如在用户装置1330的用户的指示下。尽管未示出，但也可以使用其他中间装置(例如，连接到全载玻片图像生成系统1320或全载玻片图像搜索系统1310的服务器的数据存储区)。除此之外，为了简单起见，在网络1300中仅示出了一个全载玻片图像搜索系统1310、图像生成系统1320和用户装置1330。本公开预期使用每种类型的系统及其部件中的一者或多者而不至于背离本公开的教导。
图13中所示的网络1300和相关联的系统可以用于其中扫描和评估数字病理学图像(诸如全切片图像)是工作的重要组成部分的各种环境中。作为示例，网络1300可以与其中使用者出于可能的诊断目的评估样品的临床环境相关联。用户可以使用用户装置1330来审查图像，之后将图像提供到全载玻片图像搜索系统1310。用户可以将附加信息提供到全载玻片图像搜索系统1310，该附加信息可以用于指导或指示全载玻片图像搜索系统1310对图像的分析。例如，使用者可以提供对扫描图内的特征的预期诊断或初步评定。使用者还可以提供附加背景，诸如被审查的组织的类型。作为另一示例，网络1300可以与其中组织正被检查的实验室环境相关联，例如，以确定药物的功效或潜在的副作用。在这种情况下，多种类型的组织被提交进行审查以确定所述药物对全身的影响可能是常事。这可能对人类扫描审查者提出特别的挑战，他们可能需要确定图像的各种背景，这可能高度取决于被成像的组织的类型。这些背景可以任选地提供到全载玻片图像搜索系统1310。
全载玻片图像搜索系统1310可以处理数字病理图像，包括全载玻片图像，以对数字病理图像进行分类并针对数字病理图像和相关输出生成注释。块生成模块1311可以针对每个数字病理图像定义块的集合。为了定义块的集合，块生成模块1311可以将数字病理图像分割成块的集合。如本文所体现，块可以是非重叠的(例如，每个块包括不包括在任何其他块中的图像的像素)或重叠的(例如，每个块包括包括在至少一个其他块中的图像的像素的某一部分)。除了每个块的尺寸和窗口的步幅(例如，块与后续块之间的图像距离或像素)之外，诸如是否块重叠的特征也可以增加或减少用于分析的数据集，其中更多块(例如，通过重叠或更小块)增加最终输出和可视化的潜在分辨率。在一些情况下，块生成模块1311针对图像定义块的集合，其中每个块具有预定义尺寸和/或块之间的偏移是预定义的。此外，块生成模块1311可以针对每个图像创建具有不同尺寸、重叠、步长等的块的多个集合。在一些实施例中，数字病理图像本身可以包含块重叠，这可能是由成像技术引起的。无块重叠的平均分割可以是平衡块处理要求并避免影响本文讨论的嵌入生成和加权值生成的优选解决方案。可以例如通过以下来确定图块尺寸或图块偏移：针对每个尺寸/偏移计算一个或多个性能度量(例如，精确度、召回率、准确度和/或误差)，以及通过选择与高于预定阈值的一个或多个性能度量相关联和/或与一个或多个最优(例如，高精确度、最高召回率、最高准确度和/或最低误差)性能度量相关联的图块尺寸和/或偏移。
块生成模块1311还可以取决于检测到的异常的类型而定义块尺寸。例如，图块生成模块1311可以被配置为了解全载玻片图像搜索系统1310将搜索的组织异常的类型并且可以根据组织异常定制图块尺寸以优化检测。例如，图块生成模块1311可以确定当组织异常包括搜索肺组织中的炎症或坏死时，应减小图块尺寸以提高扫描速率，而当组织异常包括肝组织中的库普弗细胞的异常时，应增加图块尺寸以增加全载玻片图像搜索系统1310整体分析库普弗细胞的机会。在一些情况下，块生成模块1311定义块的集合，其中对于每个图像的集合中的块的数量、集合中的块的尺寸、集合的块的分辨率或其他相关属性经定义，并且对于一个或多个图像中的每一个保持恒定。
如本文所体现，块生成模块1311可以进一步沿着一个或多个颜色通道或颜色组合定义每个数字病理图像的块的集合。例如，由全载玻片图像搜索系统1310接收到的数字病理图像可以包括大格式多色通道图像，这些图像具有针对若干颜色通道中的一者指定的图像的每个像素的像素颜色值。可以使用的示例性颜色规范或颜色空间包括RGB、CMYK、HSL、HSV或HSB颜色规范。可以基于分割颜色通道和/或生成每个块的亮度图或灰度图来定义块的集合。例如，对于图像的每个片段，块生成模块1311可以提供红色块、蓝色块、绿色块和/或亮度块，或所使用的颜色规范的等效物。如本文所解释，基于图像的片段和/或片段的颜色值来分割数字病理图像可以提高用于生成块和图像的嵌入并产生图像分类的网络的准确度和识别率。另外，全载玻片图像搜索系统1310，例如，使用图块生成模块1311，可以在颜色规范之间转换和/或使用多个颜色规范准备图块的副本。可以基于期望类型的图像增强(例如，加强或提升特定颜色通道、饱和程度、亮度级别等)来选择颜色规范转换。还可以选择颜色规范转换以提高全载玻片图像生成系统1320与全载玻片图像搜索系统1310之间的兼容性。例如，特定图像扫描部件可以提供HSL颜色规范中的输出，并且在如本文所述的全载玻片图像搜索系统1310中使用的模型可以使用RGB图像来训练。将块转换成兼容的颜色规范可以确保仍可以分析块。另外，全载玻片图像搜索系统可以对以特定颜色深度(例如，8位、16位等)提供的图像进行上采样或下采样，以供全载玻片图像搜索系统使用。此外，全载玻片图像搜索系统1310可以使得根据已捕获的图像的类型(例如，荧光图像可以包括关于颜色强度的更多细节或更广泛的颜色)转换图块。
如本文所述，块嵌入模块1312可以在对应特征嵌入空间中为每个块生成嵌入。嵌入可以由全载玻片图像搜索系统1310表示为图块的特征向量。块嵌入模块1312可以使用神经网络(例如，卷积神经网络)来生成表示图像的每个块的特征向量。在特定实施例中，块嵌入神经网络可以基于对基于自然(例如，非医学)图像的数据集(诸如ImageNet数据集)进行训练的ResNet图像网络。通过使用非专门的块嵌入网络，块嵌入模块1312可以利用在有效处理图像以生成嵌入方面的已知进展。此外，使用自然图像数据集允许嵌入神经网络学习在整体水平上辨别块片段之间的差异。
在其他实施例中，块嵌入模块1312使用的块嵌入网络可以是经定制以处理大格式图像，诸如数字病理全载玻片图像的大量块的嵌入网络。另外，可以使用自定义数据集来训练由块嵌入模块1312使用的块嵌入网络。例如，块嵌入网络可以使用全载玻片图像的各种样品进行训练，或甚至使用与嵌入网络将生成嵌入的主题(例如，特定组织类型的扫描)相关的样品进行训练。使用专门的或定制的图像的集合来训练块嵌入网络可以允许块嵌入网络识别块之间更细微差异，这可使得特征嵌入空间中的块之间的距离更详细和准确，但代价是需要附加时间来获取图像以及训练多个块生成网络以供块嵌入模块1312使用的计算和经济成本。图块嵌入模块1312可以基于全载玻片图像搜索系统1310正在处理的图像的类型来从图块嵌入网络库中进行选择。
如本文所述，可以使用块的视觉特征来从深度学习神经网络生成块嵌入。可以根据与块关联的情境信息或根据块中显示的内容进一步生成块嵌入。例如，块嵌入可以包括一个或多个特征，这些特征指示和/或对应于所描绘对象的尺寸(例如，所描绘细胞或像差的尺寸)和/或所描绘对象的密度(例如，所描绘细胞或像差的密度)。尺寸和密度可以被绝对测量(例如，宽度以像素表示或从像素转换成纳米)或相对于来自同一数字病理图像、来自一类数字病理图像(例如，使用相似技术或通过单个全载玻片图像生成系统或扫描仪来产生)，或来自相关的数字病理图像系列的其他图块。此外，可以在块嵌入模块1312针对块生成嵌入之前对块进行分类，使得块嵌入模块1312在准备嵌入时考虑分类。
为了一致性，块嵌入模块1312产生预定义尺寸的嵌入(例如，512个元素的向量、2048字节的向量等)。块嵌入模块1312可以产生各种且任意尺寸的嵌入。时间嵌入模块1312可以基于用户方向来调整嵌入的尺寸，或可以被选择，例如，以优化计算效率、准确度或其他参数。在特定实施例中，嵌入尺寸可以基于生成嵌入的深度学习神经网络的限制或规范。较大的嵌入尺寸可以用于增加嵌入中捕获的信息量并且提高结果的质量和准确度，而较小的嵌入尺寸可以用于提高计算效率。
全载玻片图像访问模块1313可以管理来自全载玻片图像搜索系统1310的其他模块以及用户装置1330的访问全载玻片图像的请求。例如，全载玻片图像访问模块1313接收请求以基于特定块、块的标识符或全载玻片图像的标识符来识别全载玻片图像。全载玻片图像访问模块1313可以进行以下任务：确认全载玻片图像对请求的用户可用，识别从中检索请求的全载玻片图像的适当数据库，以及检索请求用户或模块可能感兴趣的任何附加元数据。另外，全载玻片图像访问模块1313可以有效地处理将适当数据流式传输到请求装置。如本文所述，可以基于用户将希望看到全载玻片图像的部分的可能性来将全载玻片图像以组块的形式提供给用户装置。全载玻片图像访问模块1313可以确定提供全载玻片图像的哪些区域以及确定如何最佳地提供这些区域。此外，可以在全载玻片图像搜索系统1310内授权全载玻片图像访问模块1313以确保没有单独的部件锁定或以其他方式误用数据库或全载玻片图像而损害其他部件或用户。
全载玻片图像搜索系统1310的输出生成模块1314可以基于用户请求来生成对应于结果图块和结果全载玻片图像数据集的输出。如本文所述，输出可以包括基于请求类型和可用的数据的类型的各种可视化、交互式图形和报告。在许多实施例中，输出将被提供给用户装置1330以供显示，但在某些实施例中，输出可以直接从全载玻片图像搜索系统1310访问。输出将基于适当数据的存在和访问，因此输出生成模块将被授权根据需要访问必要的元数据和匿名患者信息。与全载玻片图像搜索系统1310的其他模块一样，输出生成模块1314可以按模块化方式进行更新和改进，使得新输出特征可以提供给用户而无需大量停机时间。
本文描述的一般技术可以集成到各种工具和用例中。例如，如所描述，用户(例如，病理学家或临床医生)可以访问与全载玻片图像搜索系统1310通信的用户装置1330并且提供查询图像以供分析。全载玻片图像搜索系统1310或到全载玻片图像搜索系统的连接可以提供为独立的软件工具或包，该软件工具或包搜索对应的匹配项、识别相似的特征并且根据请求为用户生成适当输出。作为可以在精简基础上购买或受许可的独立工具或插件，该工具可用于增强研究或临床实验室的能力。另外，该工具可以集成到全载玻片图像生成系统的客户可用的服务中。例如，该工具可以提供为统一的工作流程，其中进行或请求自动创建全载玻片图像的用户接收图像和/或先前已索引的相似全载玻片图像内值得注意的特征的报告。因此，除了改进全载玻片图像分析之外，这些技术还可以集成到现有系统中，以提供先前未考虑或不可能的附加功能。
此外，全载玻片图像搜索系统1310可以被训练和定制以用于特定设置。例如，全载玻片图像搜索系统1310可以被专门训练以用于提供与特定类型的组织(例如，肺、心脏、血液、肝脏等)相关的见解。又如，全载玻片图像搜索系统1310可以被训练以辅助安全评定，例如确定与药物或其他潜在治疗相关联的毒性水平或程度。一旦被训练以用于特定主题或用例，全载玻片图像搜索系统1310不一定限于该用例。由于至少部分标记或注释的图像的相对较大集合，可以在特定情境，例如，毒性评定中进行训练。
如本文所述，图块嵌入网络可以是针对特定功能设计和训练的人工神经网络(“ANN”)。图14示出了示例ANN 1400。ANN可以涉及包括一个或多个节点的计算模型。示例ANN 1400包括输入层1410、隐藏层1420、1430、1440和输出层1450。ANN 1400的每层可以包括一个或多个节点，诸如节点1405或节点1415。在特定实施例中，ANN的一个或多个节点可以连接到ANN的另一节点。在全连接的ANN中，ANN的每个节点都连接到ANN的前一层和/或后一层的每个节点。作为示例而非限制，输入层1410的每个节点可以连接到隐藏层1420的每个节点，隐藏层1420的每个节点可以连接到隐藏层1430的每个节点，等等。在特定实施例中，一个或多个节点是偏置节点，其可以是未连接到前一层中的任何节点并且不从前一层中的任何节点接收输入的节点。虽然图14描绘了具有特定数量的层、特定数量的节点以及节点之间的特定连接的特定ANN 1400，本公开设想了具有任何合适数量的层、任何合适数量的节点以及节点之间的任何合适连接的任何合适的ANN。作为示例，图14描绘了输入层1410的每个节点与隐藏层1420的每个节点之间的连接，尽管在特定实施例中，输入层1410的一个或多个节点不连接到隐藏层1420的一个或多个节点并且这同样应用于ANN 1400的其余节点和层。
在特定实施例中使用的ANN可以是没有循环或环路的前馈ANN，并且其中节点之间的通信从输入层开始沿一个方向流动并且逐层递进。例如，隐藏层1420的到每个节点的输入可以包括输入层1410的一个或多个节点的输出。相似地，输出层1450的到每个节点的输入可以包括隐藏层1440的节点的输出。在特定实施例中使用的ANN可以是具有至少两个隐藏层的深度神经网络。在特定实施例中使用的ANN可以是深度残差网络，包括组织成残差块的隐藏层的前馈ANN。第一残差块之后的每个残差块的输入可以是前一残差块的输出和前一残差块的输入的函数。作为示例而非限制，到残差块N的输入可以表示为F(x)+x，其中F(x)是残差块N-1的输出，并且x是到残差块的输入N-1。尽管本公开描述了特定ANN，但本公开设想了任何合适的ANN。
在特定实施例中，ANN的每个节点可以包括激活函数。节点的激活函数定义或描述针对给定输入的节点的输出。在特定实施例中，到节点的输入可以是单个输入或者可以包括一组输入。示例性激活函数可以包括恒等函数、二元阶跃函数、逻辑函数或任何其他合适的函数。针对节点的示例性激活函数k可以包括sigmoid函数双曲正切函数/>整流器Fk(sk)＝最大(0,sk)或任何其他合适的函数Fk(sk)，其中sk是到节点的输入k。
与节点相对应的激活函数的输入可以被加权。每个节点可以基于加权输入使用对应的激活函数来生成输出。如本文所体现，节点之间的每个连接可以与权重相关联。例如，节点1405与节点1415之间的连接1425可以具有0.4的加权系数，这指示节点1415的输入是0.4(加权系数)乘以节点1405的输出。更普遍地，节点k的输出yk可以是yk＝Fk(sk)，其中Fk是与节点k相对应的激活函数，sk＝Σj(wjkxj)是到节点k的输入，xj为连接到节点k的节点j的输出，以及wjk是节点j与节点k之间的加权系数。如本文所体现，到输入层1410的节点的输入可以基于表示对象的向量(也称为对象的向量表示)、对象在相对应的嵌入空间中的嵌入、或其他合适的输入。尽管本公开描述了到节点的特定输入和节点的输出，但是本公开设想了ANN中任何合适的到节点的输入和节点的输出。此外，虽然本公开描述了节点之间的特定连接和权重，但是本公开设想了节点之间的任何合适的连接和权重。
在特定实施例中，可以使用训练数据来训练ANN 1400。作为示例而非限制，训练数据可以包括对ANN 1400的输入和预期输出，诸如与输入相对应的真实值。例如，训练数据可以包括表示训练对象和针对训练对象的预期标签的一个或多个向量。训练通常同时或连续与多个训练对象一起出现。训练ANN可以包括通过优化目标函数来修改与ANN的节点之间的连接相关联的权重。作为示例而非限制，可以使用训练方法来反向传播误差值。误差值可以被测量为表示训练对象的每个向量之间的距离，例如，使用最小化误差的成本函数或从误差导出的值，诸如误差平方和。示例性训练方法包括但不限于共轭梯度法、梯度下降法、随机梯度下降法等。在特定实施例中，可以使用dropout技术来训练ANN，其中暂时省略一个或多个节点，同时训练使得他们不接受输入或不产生输出。对于每个训练对象，ANN的一个或多个节点具有被省略的概率。针对特定训练对象省略的节点可能不同于针对其他训练对象省略的节点。尽管本公开描述了以特定方式训练ANN，但本公开设想了以任何合适的方式训练ANN。
图15示出了示例性计算机系统1500。在特定实施例中，一个或多个计算机系统1500进行本文描述或示出的一种或多种方法的一个或多个步骤。在特定实施例中，一个或多个计算机系统1500提供本文描述或示出的功能。在特定实施例中，在一个或多个计算机系统1500上运行的软件进行本文描述或示出的一种或多种方法的一个或多个步骤，或者提供本文描述或示出的功能。特定实施例包括一个或多个计算机系统1500的一个或多个部分。在本文，在适当的情况下，对计算机系统的引用可包括计算装置，反之亦然。此外，在适当的情况下，对计算机系统的引用可包括一个或多个计算机系统。
本公开设想了任何合适数量的计算机系统1500。本公开设想了采用任何合适的物理形式的计算机系统1500。作为示例而非限制，计算机系统1500可以为嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(诸如例如模块上计算机(COM)或模块上系统(SOM))、台式计算机系统、膝上型或笔记本计算机系统、交互式信息亭、大型机、计算机系统网格、移动电话、个人数字助理(PDA)、服务器、平板计算机系统、增强/虚拟现实装置或其中两个或更多个的组合。在适当的情况下，计算机系统1500可包括一个或多个计算机系统1500；可为一体的或分布式的；可跨越多个位置；可跨越多个机器；可跨越多个数据中心；或可驻留在云中，该云可包含一个或多个网络中的一个或多个云部件。在适当的情况下，一个或多个计算机系统1500可在无实质性空间或时间限制的情况下进行本文描述或示出的一种或多种方法的一个或多个步骤。作为示例而非限制，一个或多个计算机系统1500可实时地或以成批模式进行本文描述或示出的一种或多种方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统1500可在不同的时间或在不同的位置进行本文描述或示出的一种或多种方法的一个或多个步骤。
在特定实施例中，计算机系统1500包括处理器1502、存储器1504、存储装置1506、输入/输出(I/O)接口1508、通信接口1510和总线1512。尽管本公开描述并示出了在特定布置中具有特定数量的特定部件的特定计算机系统，但本公开设想了在任何合适布置中具有任何合适数量的任何合适部件的任何合适计算机系统。
在特定实施例中，处理器1502包括用于执行指令的硬件，诸如构成计算机程序的那些硬件。作为示例而非限制，为了执行指令，处理器1502可从内部寄存器、内部高速缓存、存储器1504或存储装置1506检索(或提取)指令；可将这些指令解码并执行；并且然后可将一个或多个结果写入内部寄存器、内部高速缓存、存储器1504或存储装置1506。在特定实施例中，处理器1502可包括用于数据、指令或地址的一个或多个内部高速缓存。在适当的情况下，本公开设想了包括任何合适数量的任何合适内部高速缓存的处理器1502。作为示例而非限制，处理器1502可包括一个或多个指令高速缓存、一个或多个数据高速缓存以及一个或多个转换后备缓冲器(TLB)。指令高速缓存中的指令可为存储器1504或存储装置1506中的指令的副本，并且指令高速缓存可加速处理器1502对那些指令的检索。数据高速缓存中的数据可为：存储器1504或存储装置1506中的数据的副本，以供在处理器1502处执行的指令进行操作；在处理器1502执行的先前指令的结果，以供在处理器1502执行的后续指令进行访问或写入存储器1504或存储装置1506；或其他合适的数据。数据高速缓存可加速处理器1502的读取或写入操作。TLB可加速处理器1502的虚拟地址转换。在特定实施例中，处理器1502可包括用于数据、指令或地址的一个或多个内部寄存器。在适当的情况下，本公开设想了包括任何合适数量的任何合适内部寄存器的处理器1502。在适当的情况下，处理器1502可包括一个或多个算术逻辑单元(ALU)；可为多核处理器；或可包括一个或多个处理器1502。尽管本公开描述并示出了特定处理器，但本公开设想了任何合适的处理器。
在特定实施例中，存储器1504包括主存储器，该主存储器用于存储供处理器1502执行的指令或供处理器1502对其进行操作的数据。作为示例而非限制，计算机系统1500可将来自存储装置1506或另一来源(诸如例如另一计算机系统1500)的指令加载到存储器1504。然后，处理器1502可将来自存储器1504的指令加载到内部寄存器或内部高速缓存。为了执行指令，处理器1502可从内部寄存器或内部高速缓存检索指令并将这些指令解码。在指令执行期间或之后，处理器1502可将一个或多个结果(其可为中间结果或最终结果)写入内部寄存器或内部高速缓存。然后，处理器1502可将那些结果中的一个或多个写入存储器1504。在特定实施例中，处理器1502仅执行一个或多个内部寄存器或内部高速缓存中或存储器1504(而非存储装置1506或其他地方)中的指令，并且仅对一个或多个内部寄存器或内部高速缓存中或存储器1504(而非存储装置1506或其他地方)中的数据进行操作。一个或多个存储器总线(其可各自包括地址总线和数据总线)可将处理器1502耦接至存储器1504。总线1512可包括一个或多个存储器总线，如下所述。在特定实施例中，一个或多个存储器管理单元(MMU)驻留在处理器1502和存储器1504之间，并且促进处理器1502所请求的对存储器1504的访问。在特定实施例中，存储器1504包括随机存取存储器(RAM)。在适当的情况下，该RAM可为易失性存储器。在适当的情况下，该RAM可为动态RAM(DRAM)或静态RAM(SRAM)。此外，在适当的情况下，该RAM可为单端口或多端口RAM。本公开设想了任何合适的RAM。在适当的情况下，存储器1504可包括一个或多个存储器1504。尽管本公开描述并示出了特定存储器，但本公开设想了任何合适的存储器。
在特定实施例中，存储装置1506包括用于数据或指令的海量存储装置。作为示例而非限制，存储装置1506可包括硬盘驱动器(HDD)、软盘驱动器、闪存存储器、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或其中两个或更多个的组合。在适当的情况下，存储装置1506可包括可移动或不可移动(或固定)介质。在适当的情况下，存储装置1506可在计算机系统1500的内部或外部。在特定实施例中，存储装置1506为非易失性固态存储器。在特定实施例中，存储装置1506包括只读存储器(ROM)。在适当的情况下，该ROM可为掩模编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存存储器或者其中两个或更多个的组合。本公开设想了采用任何合适的物理形式的海量存储装置1506。在适当的情况下，存储装置1506可包括一个或多个存储器控制单元，其促进处理器1502和存储装置1506之间的通信。在适当的情况下，存储装置1506可包括一个或多个存储装置1506。尽管本公开描述并示出了特定存储装置，但本公开设想了任何合适的存储装置。
在特定实施例中，I/O接口1508包括硬件、软件或两者，其提供用于在计算机系统1500与一个或多个I/O装置之间进行通信的一个或多个接口。在适当的情况下，计算机系统1500可包括这些I/O装置中的一者或多者。这些I/O装置中的一个或多个可实现人与计算机系统1500之间的通信。作为示例而非限制，I/O装置可包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静止相机、触控笔、平板计算机、触摸屏、轨迹球、摄像机、另一合适的I/O装置或其中两个或更多个的组合。I/O装置可包括一个或多个传感器。本公开设想了任何合适的I/O装置以及针对它们的任何合适的I/O接口1508。在适当的情况下，I/O接口1508可包括一个或多个装置或软件驱动器，使得处理器1502能够驱动这些I/O装置中的一者或多者。在适当的情况下，I/O接口1508可包括一个或多个I/O接口1508。尽管本公开描述并示出特定的I/O接口，但本公开涵盖任何合适的I/O接口。
在特定实施例中，通信接口1510包括硬件、软件或两者，其提供用于在计算机系统1500与一个或多个其他计算机系统1500或一个或多个网络之间的通信(诸如例如基于分组的通信)的一个或多个接口。作为示例而非限制，通信接口1510可包括用于与以太网或其他基于导线的网络进行通信的网络接口控制器(NIC)或网络适配器，或者用于与无线网络(诸如WI-FI网络)进行通信的无线NIC(WNIC)或无线适配器。本公开设想了任何合适的网络和针对它的任何合适的通信接口1510。作为示例而非限制，计算机系统1500可与自组织网络、个人局域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)或者因特网的一个或多个部分或其中两个或更多个的组合进行通信。这些网络中的一个或多个的一个或多个部分可以是有线或无线的。作为示例，计算机系统1500可与无线PAN(WPAN)(诸如例如BLUETOOTHWPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(诸如例如全球移动通信系统(GSM)网络)或其他合适的无线网络或其中两个或更多个的组合。在适当的情况下，计算机系统1500可包括用于这些网络中的任一个的任何合适的通信接口1510。在适当的情况下，通信接口1510可包括一个或多个通信接口1510。尽管本公开描述并示出特定的通信接口，但本公开涵盖任何合适的通信接口。
在特定实施例中，总线1512包括硬件、软件或计算机系统1500的两个相互耦接的部件。作为示例而非限制，总线1512可包括加速图形端口(AGP)或其他图形总线、增强型工业标准结构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、INFINIBAND互连、低引脚数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围部件互连(PCI)总线、PCI-Express(PCIe)总线，串行高级技术附件(SATA)总线、视频电子设备标准协会本地(VLB)总线或另一种合适的总线或其中两个或更多个的组合。在适当的情况下，总线1512可包括一个或多个总线1512。尽管本公开描述并示出了特定总线，但本公开设想了任何合适的总线。
在本文，一种或多种计算机可读的非暂时性存储介质可包括一个或多个基于半导体或其他集成电路(IC)(诸如例如现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、SECURE DIGITAL卡或驱动器、任何其他合适的计算机可读非暂时性存储介质或其中两个或更多个的任何合适组合。在适当的情况下，计算机可读的非暂时性存储介质可为易失性存储介质、非易失性存储介质或易失性存储介质和非易失性存储介质的组合。
在本文，“或”是包含性的而非排他性的，除非另有明确说明或上下文另有说明。因此，在本文，“A或B”指“A、B或两者”，除非另有明确说明或上下文另有说明。此外，在本文，“和”既是共同的又是各自的，除非另有明确说明或上下文另有说明。因此，在本文，“A和B”是指“A和B，共同地或各自地”，除非另有明确说明或上下文另有说明。
本公开的范围涵盖本领域普通技术人员将理解的对在本文描述或示出的示例性实施例的所有改变、替换、变化、变更和修改。本公开的范围不限于在本文描述或示出的示例性实施例。此外，尽管本公开将本文中的相应实施例描述和示出为包括特定的部件、元件、特征、功能、操作或步骤，但这些实施例中的任一个可包括本领域普通技术人员将理解的在本文任何地方描述或示出的任何部件、元件、特征、功能、操作或步骤的任何组合或排列。此外，在所附权利要求书中，对装置或系统或装置或系统的部件适配为、布置为、能够、配置为、使能够、可操作为或操作为进行特定功能的引用，涵盖该装置、系统、部件，无论其或该特定功能是否被激活、开启或解锁，只要该装置、系统或部件是如此适应、布置、能够、配置、使能、可操作或操作即可。另外，尽管本公开将特定实施例描述或示出为提供特定优点，但特定实施例可不提供这些优点、某些优点或全部优点。
实施例
各种实施例可以包括：
实施例1：一种用于搜索一个或多个全载玻片图像的计算机实现方法，其包括：对全载玻片图像数据集进行索引以生成与一个或多个全载玻片图像的一个或多个相应区域相对应的一个或多个数据集嵌入，其中每个数据集嵌入包括将相应区域映射到特征嵌入空间的特征向量；访问查询图像；生成针对查询图像的嵌入，其中嵌入包括将查询图像映射到特征嵌入空间的特征向量；通过将针对查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别多个结果图块，其中比较基于特征嵌入空间中针对查询图像的嵌入与数据集嵌入中的一者或多者之间的一个或多个距离；以及生成包括多个结果图块的显示的用户界面。
实施例2：根据实施例1所述的计算机实现方法，其中识别一个或多个结果图块进一步包括：基于针对查询图像的嵌入来识别多个数据集嵌入；以及检索与数据集嵌入中的一者或多者相对应的一个或多个相应区域。
实施例3：根据实施例1至2中任一项所述的计算机实现方法，其中基于针对查询图像的嵌入来识别多个数据集嵌入包括识别在特征嵌入空间中针对查询图像的嵌入的阈值距离内的多个数据集嵌入。
实施例4：根据实施例1至3中任一项所述的计算机实现方法，其中基于针对查询图像的嵌入来识别多个数据集嵌入包括识别基于在特征嵌入空间中与针对查询图像的嵌入的距离所排序的阈值数量的数据集嵌入。
实施例5：根据实施例1至4中任一项所述的计算机实现方法，其进一步包括：接收与多个结果图块中的一者或多者相对应的用户输入，该用户输入包括多个结果图块中的一者或多者的标记；接收对应于与一个或多个经标记结果图块相关联的加权的用户输入；基于一个或多个经标记结果图块以及对应于与一个或多个经标记结果图块相关联的加权的用户输入来生成对象过滤器；基于对象过滤器的表示来增强针对查询图像的嵌入；通过将用于经增强查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及更新用户界面以显示第二多个结果图块。
实施例6：根据实施例1至5中的实施例任一项所述的计算机实现方法，其中将经生成的对象过滤器应用于一个或多个数据集嵌入包括比较特征嵌入空间中的一个或多个数据集嵌入与经生成的对象过滤器。
实施例7：根据实施例1至6中任一项所述的计算机实现方法，其进一步包括：从用户装置接收用户输入以保存经生成的对象过滤器；以及将经生成的对象过滤器与针对用户装置的一个或多个用户的记录相关联地存储。
实施例8：根据实施例1至7中任一项所述的计算机实现方法，其进一步包括：从用户装置接收用户输入以与一个或多个其他用户共享经生成的对象过滤器；以及将经生成的对象过滤器与针对一个或多个其他用户的记录相关联地存储。
实施例9：根据实施例1至8中任一项所述的计算机实现方法，其中对全载玻片图像数据集进行索引包括，对于多个全载玻片图像中的每一者：将全载玻片图像分割成多个图块；使用嵌入网络生成与多个图块中的每个图块相对应的将图块映射到特征嵌入空间的特征向量；以及将特征向量与对应图块和全载玻片图像相关联地存储。
实施例10：根据实施例1至9中任一项所述的计算机实现方法，其中访问查询图像包括：从用户装置接收查询图像；接收与查询图像相对应的资源定位符或唯一标识符；或者接收全载玻片图像的区域的说明。
实施例11：根据实施例1至10中任一项所述的计算机实现方法，其中查询图像与全载玻片图像相对应，该方法进一步包括：对与查询图像相对应的全载玻片图像数据集进行索引以生成与全载玻片图像的一个或多个相应区域相对应的一个或多个附加的数据集嵌入，其中每个数据集嵌入包括将相应区域映射到特征嵌入空间的特征向量；以及将与查询图像相对应的全载玻片图像添加到全载玻片图像数据集。
实施例12：根据实施例1至11中任一项所述的计算机实现方法，其进一步包括：接收与多个结果图块中的一者或多者相对应的用户输入，该用户输入指示多个结果图块中的一者或多者与查询图像的相关性；基于用户输入来修改一个或多个经指示的结果的加权；通过基于经修改的加权将针对查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及更新用户界面以显示第二多个结果图块。
实施例13：根据实施例1至12中任一项所述的计算机实现方法，其进一步包括：接收与多个结果图块中的一者或多者相对应的用户输入，该用户输入指示多个结果图块中的一者或多者与查询图像的相关性；计算相关搜索结果的平均嵌入；通过将相关搜索结果的平均嵌入与数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及更新用户界面以显示第二多个结果图块。
实施例14：根据实施例1至13中任一项所述的计算机实现方法，其进一步包括：从用户装置接收与多个结果图块中的第一结果图块相对应的用户输入；识别与第一结果图块相对应的第一全载玻片图像；以及更新用户界面以显示第一全载玻片图像。
实施例15：根据实施例1至14中任一项所述的计算机实现方法，其进一步包括：识别与第一全载玻片图像或第一结果图块相关联的元数据；以及将元数据包括在包括第一全载玻片图像的显示的用户界面中，其中元数据包括关于第一结果图块、第一全载玻片图像或第一全载玻片图像的来源的信息。
实施例16：根据实施例1至15中任一项所述的计算机实现方法，其进一步包括：识别与多个结果图块相对应的多个全载玻片图像；识别全载玻片图像的多个来源；以及更新用户界面以显示与全载玻片图像的多个来源相对应的信息的报告。
实施例17：根据实施例1至16中任一项所述的计算机实现方法，其中与多个来源相对应的信息包括在多个来源中诊断的状况或与多个来源相关联的已知结果。
实施例18：根据实施例1至17中任一项所述的计算机实现方法，其进一步包括：基于多个结果图块来识别在与多个结果图块相对应的多个全载玻片图像中的查询图像中捕获的一个或多个特征的相应位置；以及更新用户界面以显示经识别的相应位置的报告。
实施例19：根据实施例1至18中任一项所述的计算机实现方法，其进一步包括：对于一个或多个结果图块中的至少一者：基于特征嵌入空间中的查询图像嵌入与一个或多个数据集嵌入之间的相应距离来生成对应全载玻片图像的热图；更新用户界面以显示热图。
实施例20：一种全载玻片图像搜索系统，其包括一个或多个处理器和耦接至处理器的存储器，该存储器包括可由处理器执行的指令，处理器当执行指令时可操作以：对全载玻片图像数据集进行索引以生成与一个或多个全载玻片图像的一个或多个相应区域相对应的一个或多个数据集嵌入，其中每个数据集嵌入包括将相应区域映射到特征嵌入空间的特征向量；访问查询图像；生成针对查询图像的嵌入，其中嵌入包括将查询图像映射到特征嵌入空间的特征向量；通过将针对查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别多个结果图块，其中比较基于特征嵌入空间中针对查询图像的嵌入与数据集嵌入中的一者或多者之间的一个或多个距离；以及生成包括多个结果图块的显示的用户界面。
实施例21：根据实施例20所述的全载玻片图像搜索系统，其中处理器当执行指令时可操作以识别一个或多个结果图块包括处理器当执行指令时进一步可操作以：基于针对查询图像的嵌入来识别多个数据集嵌入；以及检索与数据集嵌入中的一者或多者相对应的一个或多个相应区域。
实施例22：根据实施例20至21中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时可操作以基于针对查询图像的嵌入来识别多个数据集嵌入包括处理器当执行指令时进一步可操作以：识别在特征嵌入空间中针对查询图像的嵌入的阈值距离内的多个数据集嵌入。
实施例23：根据实施例20至22中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时可操作以基于针对查询图像的嵌入来识别多个数据集嵌入包括处理器当执行指令时进一步可操作以：识别基于在特征嵌入空间中与针对查询图像的嵌入的距离所排序的阈值数量的数据集嵌入。
实施例24：根据实施例20至23中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时进一步可操作以：接收与多个结果图块中的一者或多者相对应的用户输入，该用户输入包括多个结果图块中的一者或多者的标记；接收对应于与一个或多个经标记结果图块相关联的加权的用户输入；基于一个或多个经标记结果图块以及对应于与一个或多个经标记结果图块相关联的加权的用户输入来生成对象过滤器；基于对象过滤器的表示来增强针对查询图像的嵌入；通过将用于经增强查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及更新用户界面以显示第二多个结果图块。
实施例25：根据实施例20至24中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时可操作以将经生成的对象过滤器应用于一个或多个数据集嵌入包括处理器当执行指令时进一步可操作以：比较特征嵌入空间中的一个或多个数据集嵌入与经生成的对象过滤器。
实施例26：根据实施例20至25中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时进一步可操作以：从用户装置接收用户输入以保存经生成的对象过滤器；以及将经生成的对象过滤器与针对用户装置的一个或多个用户的记录相关联地存储。
实施例27：根据实施例20至26中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时进一步可操作以：从用户装置接收用户输入以与一个或多个其他用户共享经生成的对象过滤器；以及将经生成的对象过滤器与针对一个或多个其他用户的记录相关联地存储。
实施例28：根据实施例20至27中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时可操作以对全载玻片图像数据集进行索引包括处理器当执行指令时进一步可操作以：对于多个全载玻片图像中的每一者：将全载玻片图像分割成多个图块；使用嵌入网络生成与多个图块中的每个图块相对应的将图块映射到特征嵌入空间的特征向量；以及将特征向量与对应图块和全载玻片图像相关联地存储。
实施例29：根据实施例20至28中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时可操作以访问查询图像包括处理器当执行指令时进一步可操作以：从用户装置接收查询图像；接收与查询图像相对应的资源定位符或唯一标识符；或者接收全载玻片图像的区域的说明。
实施例30：根据实施例20至29中任一项所述的全载玻片图像搜索系统，其中查询图像与全载玻片图像相对应，并且处理器当执行指令时进一步可操作以：对与查询图像相对应的全载玻片图像数据集进行索引以生成与全载玻片图像的一个或多个相应区域相对应的一个或多个附加的数据集嵌入，其中每个数据集嵌入包括将相应区域映射到特征嵌入空间的特征向量；以及将与查询图像相对应的全载玻片图像添加到全载玻片图像数据集。
实施例31：根据实施例20至30中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时进一步可操作以：基于用户输入来修改一个或多个经指示的结果的加权；通过基于经修改的加权将针对查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及更新用户界面以显示第二多个结果图块。
实施例32：根据实施例20至31中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时进一步可操作以：接收与多个结果图块中的一者或多者相对应的用户输入，该用户输入指示多个结果图块中的一者或多者与查询图像的相关性；计算相关搜索结果的平均嵌入；通过将相关搜索结果的平均嵌入与数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及更新用户界面以显示第二多个结果图块。
实施例33：根据实施例20至32中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时进一步可操作以：从用户装置接收与多个结果图块中的第一结果图块相对应的用户输入；识别与第一结果图块相对应的第一全载玻片图像；以及更新用户界面以显示第一全载玻片图像。
实施例34：根据实施例20至33中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时进一步可操作以：识别与第一全载玻片图像或第一结果图块相关联的元数据；以及将元数据包括在包括第一全载玻片图像的显示的用户界面中，其中元数据包括关于第一结果图块、第一全载玻片图像或第一全载玻片图像的来源的信息。
实施例35：根据实施例20至34中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时进一步可操作以：识别与多个结果图块相对应的多个全载玻片图像；识别全载玻片图像的多个来源；以及更新用户界面以显示与全载玻片图像的多个来源相对应的信息的报告。
实施例36：根据实施例20至35中任一项所述的全载玻片图像搜索系统，其中与多个来源相对应的信息包括在多个来源中诊断的状况或与多个来源相关联的已知结果。
实施例37：根据实施例20至36中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时进一步可操作以：基于多个结果图块来识别在与多个结果图块相对应的多个全载玻片图像中的查询图像中捕获的一个或多个特征的相应位置；以及更新用户界面以显示经识别的相应位置的报告。
实施例38：根据实施例20至37中任一项所述的全载玻片图像搜索系统，其中处理器当执行指令时进一步可操作以：对于一个或多个结果图块中的至少一者：基于特征嵌入空间中的查询图像嵌入与一个或多个数据集嵌入之间的相应距离来生成对应全载玻片图像的热图；以及更新用户界面以显示热图。
实施例39：一种或多种计算机可读非暂时性存储介质，其体现包括指令的软件，该软件当被执行时可操作以：对全载玻片图像数据集进行索引以生成与一个或多个全载玻片图像的一个或多个相应区域相对应的一个或多个数据集嵌入，其中每个数据集嵌入包括将相应区域映射到特征嵌入空间的特征向量；访问查询图像；生成针对查询图像的嵌入，其中嵌入包括将查询图像映射到特征嵌入空间的特征向量；通过将针对查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别多个结果图块，其中比较基于特征嵌入空间中针对查询图像的嵌入与数据集嵌入中的一者或多者之间的一个或多个距离；以及生成包括多个结果图块的显示的用户界面。
实施例40：根据实施例39所述的计算机可读非暂时性存储介质，其中软件当被执行时可操作以识别一个或多个结果图块包括软件当被执行时进一步可操作以：基于针对查询图像的嵌入来识别多个数据集嵌入；以及检索与数据集嵌入中的一者或多者相对应的一个或多个相应区域。
实施例41：根据实施例39至40中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时可操作以基于针对查询图像的嵌入来识别多个数据集嵌入包括软件当被执行时进一步可操作以：识别在特征嵌入空间中针对查询图像的嵌入的阈值距离内的多个数据集嵌入。
实施例42：根据实施例39至41中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时可操作以基于针对查询图像的嵌入来识别多个数据集嵌入包括软件当被执行时进一步可操作以：识别基于在特征嵌入空间中与针对查询图像的嵌入的距离所排序的阈值数量的数据集嵌入。
实施例43：根据实施例39至42中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时进一步可操作以：接收与多个结果图块中的一者或多者相对应的用户输入，该用户输入包括多个结果图块中的一者或多者的标记；接收对应于与一个或多个经标记结果图块相关联的加权的用户输入；基于一个或多个经标记结果图块以及对应于与一个或多个经标记结果图块相关联的加权的用户输入来生成对象过滤器；基于对象过滤器的表示来增强针对查询图像的嵌入；通过将用于经增强查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及更新用户界面以显示第二多个结果图块。
实施例44：根据实施例39至43中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时可操作以将经生成的对象过滤器应用于一个或多个数据集嵌入包括软件当被执行时进一步可操作以：比较特征嵌入空间中的一个或多个数据集嵌入与经生成的对象过滤器。
实施例45：根据实施例39至44中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时进一步可操作以：从用户装置接收用户输入以保存经生成的对象过滤器；以及将经生成的对象过滤器与针对用户装置的一个或多个用户的记录相关联地存储。
实施例46：根据实施例39至45中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时进一步可操作以：从用户装置接收用户输入以与一个或多个其他用户共享经生成的对象过滤器；以及将经生成的对象过滤器与针对一个或多个其他用户的记录相关联地存储。
实施例47：根据实施例39至46中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时可操作以对全载玻片图像数据集进行索引包括软件当被执行时进一步可操作以：对于多个全载玻片图像中的每一者：将全载玻片图像分割成多个图块；使用嵌入网络生成与多个图块中的每个图块相对应的将图块映射到特征嵌入空间的特征向量；以及将特征向量与对应图块和全载玻片图像相关联地存储。
实施例48：根据实施例39至47中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时可操作以访问查询图像包括软件当被执行时进一步可操作以：从用户装置接收查询图像；接收与查询图像相对应的资源定位符或唯一标识符；或者接收全载玻片图像的区域的说明。
实施例49：根据实施例39至48中任一项所述的计算机可读非暂时性存储介质，其中查询图像与全载玻片图像相对应，并且软件当被执行时进一步可操作以：对与查询图像相对应的全载玻片图像数据集进行索引以生成与全载玻片图像的一个或多个相应区域相对应的一个或多个附加的数据集嵌入，其中每个数据集嵌入包括将相应区域映射到特征嵌入空间的特征向量；以及将与查询图像相对应的全载玻片图像添加到全载玻片图像数据集。
实施例50：根据实施例39至49中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时进一步可操作以：基于用户输入来修改一个或多个经指示的结果的加权；通过基于经修改的加权将针对查询图像的嵌入与数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及更新用户界面以显示第二多个结果图块。
实施例51：根据实施例39至50中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时进一步可操作以：接收与多个结果图块中的一者或多者相对应的用户输入，该用户输入指示多个结果图块中的一者或多者与查询图像的相关性；计算相关搜索结果的平均嵌入；通过将相关搜索结果的平均嵌入与数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及更新用户界面以显示第二多个结果图块。
实施例52：根据实施例39至51中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时进一步可操作以：从用户装置接收与多个结果图块中的第一结果图块相对应的用户输入；识别与第一结果图块相对应的第一全载玻片图像；以及更新用户界面以显示第一全载玻片图像。
实施例53：根据实施例39至52中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时进一步可操作以：识别与第一全载玻片图像或第一结果图块相关联的元数据；以及将元数据包括在包括第一全载玻片图像的显示的用户界面中，其中元数据包括关于第一结果图块、第一全载玻片图像或第一全载玻片图像的来源的信息。
实施例54：根据实施例39至53中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时进一步可操作以：识别与多个结果图块相对应的多个全载玻片图像；识别全载玻片图像的多个来源；以及更新用户界面以显示与全载玻片图像的多个来源相对应的信息的报告。
实施例55：根据实施例39至54中任一项所述的计算机可读非暂时性存储介质，其中与多个来源相对应的信息包括在多个来源中诊断的状况或与多个来源相关联的已知结果。
实施例56：根据实施例39至55中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时进一步可操作以：基于多个结果图块来识别在与多个结果图块相对应的多个全载玻片图像中的查询图像中捕获的一个或多个特征的相应位置；以及更新用户界面以显示经识别的相应位置的报告。
实施例57：根据实施例37至56中任一项所述的计算机可读非暂时性存储介质，其中软件当被执行时进一步可操作以：对于一个或多个结果图块中的至少一者：基于特征嵌入空间中的查询图像嵌入与一个或多个数据集嵌入之间的相应距离来生成对应全载玻片图像的热图；以及更新用户界面以显示热图。

Claims (20)

1.一种计算机实现方法，其包括：
对全载玻片图像数据集进行索引以生成与一个或多个全载玻片图像的一个或多个相应区域相对应的一个或多个数据集嵌入，其中每个数据集嵌入包括将所述相应区域映射到特征嵌入空间的特征向量；
访问查询图像；
生成针对所述查询图像的嵌入，其中所述嵌入包括将所述查询图像映射到所述特征嵌入空间的特征向量；
通过将针对所述查询图像的所述嵌入与所述数据集嵌入中的一者或多者进行比较来识别多个结果图块，其中所述比较基于所述特征嵌入空间中针对所述查询图像的所述嵌入与所述数据集嵌入中的所述一者或多者之间的一个或多个距离；以及
生成包括所述多个结果图块的显示的用户界面。
2.根据权利要求1所述的计算机实现方法，其中识别所述多个结果图块包括：
基于针对所述查询图像的所述嵌入来识别多个所述数据集嵌入；以及
检索与所述数据集嵌入中的所述一者或多者相对应的所述一个或多个相应区域。
3.根据权利要求2所述的计算机实现方法，其中基于针对所述查询图像的所述嵌入来识别所述多个所述数据集嵌入包括识别在所述特征嵌入空间中针对所述查询图像的所述嵌入的阈值距离内的多个所述数据集嵌入。
4.根据权利要求2所述的计算机实现方法，其中基于针对所述查询图像的所述嵌入来识别所述多个所述数据集嵌入包括识别基于在所述特征嵌入空间中与针对所述查询图像的所述嵌入的距离所排序的阈值数量的所述数据集嵌入。
5.根据权利要求2所述的计算机实现方法，其进一步包括：
接收与所述多个结果图块中的一者或多者相对应的用户输入，所述用户输入包括所述多个结果图块中的一者或多者的标记；
接收对应于与一个或多个经标记结果图块相关联的加权的用户输入；
基于所述一个或多个经标记结果图块以及对应于与所述一个或多个经标记结果图块相关联的所述加权的所述用户输入来生成对象过滤器；
基于所述对象过滤器的表示来增强针对所述查询图像的所述嵌入；
通过将针对经增强查询图像的嵌入与所述数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及
更新所述用户界面以显示所述第二多个结果图块。
6.根据权利要求5所述的计算机实现方法，其中将经生成的对象过滤器应用于所述一个或多个数据集嵌入包括比较所述特征嵌入空间中的所述一个或多个数据集嵌入与所述经生成的对象过滤器。
7.根据权利要求5所述的计算机实现方法，其进一步包括：
从用户装置接收用户输入以保存所述经生成的对象过滤器；以及
将所述经生成的对象过滤器与针对所述用户装置的一个或多个用户的记录相关联地存储。
8.根据权利要求5所述的计算机实现方法，其进一步包括：
从用户装置接收用户输入以与一个或多个其他用户共享所述经生成的对象过滤器；以及
将所述经生成的对象过滤器与针对一个或多个其他用户的记录相关联地存储。
9.根据权利要求1所述的计算机实现方法，其中对所述全载玻片图像数据集进行索引包括，对于多个全载玻片图像中的每一者：
将所述全载玻片图像分割成多个图块；
使用嵌入网络生成与所述多个图块中的每个图块相对应的将所述图块映射到所述特征嵌入空间的特征向量；以及
将所述特征向量与对应图块和全载玻片图像相关联地存储。
10.根据权利要求1所述的计算机实现方法，其中访问所述查询图像包括：
从用户装置接收所述查询图像；
接收与所述查询图像相对应的资源定位符或唯一标识符；或者
接收全载玻片图像的区域的说明。
11.根据权利要求1所述的计算机实现方法，其中所述查询图像与全载玻片图像相对应，所述方法进一步包括：
对与所述查询图像相对应的所述全载玻片图像进行索引以生成与所述全载玻片图像的一个或多个相应区域相对应的一个或多个附加的数据集嵌入，其中每个数据集嵌入包括将所述相应区域映射到特征嵌入空间的特征向量；以及
将与所述查询图像相对应的所述全载玻片图像添加到所述全载玻片图像数据集。
12.根据权利要求1所述的计算机实现方法，其进一步包括：
接收与所述多个结果图块中的一者或多者相对应的用户输入，所述用户输入指示所述多个结果图块中的所述一者或多者与所述查询图像的相关性；
基于所述用户输入来修改一个或多个经指示的结果的加权；
通过基于经修改的加权将针对所述查询图像的所述嵌入与所述数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及
更新所述用户界面以显示所述第二多个结果图块。
13.根据权利要求1所述的计算机实现方法，其进一步包括：
接收与所述多个结果图块中的一者或多者相对应的用户输入，所述用户输入指示所述多个结果图块中的所述一者或多者与所述查询图像的相关性；
计算相关搜索结果的平均嵌入；
通过将所述相关搜索结果的所述平均嵌入与所述数据集嵌入中的一者或多者进行比较来识别第二多个结果图块；以及
更新所述用户界面以显示所述第二多个结果图块。
14.根据权利要求1所述的计算机实现方法，其进一步包括：
从用户装置接收与所述多个结果图块中的第一结果图块相对应的用户输入；
识别与所述第一结果图块相对应的第一全载玻片图像；以及
更新所述用户界面以显示所述第一全载玻片图像。
15.根据权利要求14所述的计算机实现方法，其进一步包括：
识别与所述第一全载玻片图像或所述第一结果图块相关联的元数据；以及
将所述元数据包括在包括所述第一全载玻片图像的所述显示的所述用户界面中，其中所述元数据包括关于所述第一结果图块、所述第一全载玻片图像或所述第一全载玻片图像的来源的信息。
16.根据权利要求1所述的计算机实现方法，其进一步包括：
识别与所述多个结果图块相对应的多个全载玻片图像；
识别所述全载玻片图像的多个来源；以及
更新所述用户界面以显示与所述全载玻片图像的所述多个来源相对应的信息的报告。
17.根据权利要求16所述的计算机实现方法，其中与所述多个来源相对应的所述信息包括在所述多个来源中诊断的状况或与所述多个来源相关联的已知结果。
18.根据权利要求1所述的计算机实现方法，其进一步包括：
基于所述多个结果图块来识别在与所述多个结果图块相对应的所述多个全载玻片图像中的所述查询图像中捕获的一个或多个特征的相应位置；以及
更新所述用户界面以显示经识别的相应位置的报告。
19.一种全载玻片图像搜索系统，其包括：
一个或多个处理器；以及
一个或多个计算机可读非暂时性存储介质，其耦接至所述处理器中的一者或多者并且包括指令，所述指令当由所述处理器中的一者或多者执行时可操作以使所述系统进行包括以下的操作：
对全载玻片图像数据集进行索引以生成与一个或多个全载玻片图像的一个或多个相应区域相对应的一个或多个数据集嵌入，其中每个数据集嵌入包括将所述相应区域映射到特征嵌入空间的特征向量；
访问查询图像；
生成针对所述查询图像的嵌入，其中所述嵌入包括将所述查询图像映射到所述特征嵌入空间的特征向量；
通过将针对所述查询图像的所述嵌入与所述数据集嵌入中的一者或多者进行比较来识别多个结果图块，其中所述比较基于所述特征嵌入空间中针对所述查询图像的所述嵌入与所述数据集嵌入中的所述一者或多者之间的距离；以及
生成包括所述多个结果图块的显示的用户界面。
20.一种或多种计算机可读非暂时性存储介质，其包括指令，所述指令当由一个或多个处理器执行时，被配置成使全载玻片图像搜索系统的所述一个或多个处理器进行包括以下的操作：
对全载玻片图像数据集进行索引以生成与一个或多个全载玻片图像的一个或多个相应区域相对应的一个或多个数据集嵌入，其中每个数据集嵌入包括将所述相应区域映射到特征嵌入空间的特征向量；
访问查询图像；
生成针对所述查询图像的嵌入，其中所述嵌入包括将所述查询图像映射到所述特征嵌入空间的特征向量；
通过将针对所述查询图像的所述嵌入与所述数据集嵌入中的一者或多者进行比较来识别多个结果图块，其中所述比较基于所述特征嵌入空间中针对所述查询图像的所述嵌入与所述数据集嵌入中的所述一者或多者之间的距离；以及
生成包括所述多个结果图块的显示的用户界面。
CN202280039757.4A 2021-06-02 2022-06-01 全载玻片图像搜索 Pending CN117859123A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163195883P 2021-06-02 2021-06-02
US63/195,883 2021-06-02
PCT/US2022/031845 WO2022256458A1 (en) 2021-06-02 2022-06-01 Whole slide image search

Publications (1)

Publication Number Publication Date
CN117859123A true CN117859123A (zh) 2024-04-09

Family

ID=82483360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280039757.4A Pending CN117859123A (zh) 2021-06-02 2022-06-01 全载玻片图像搜索

Country Status (5)

Country Link
US (1) US20240086460A1 (zh)
EP (1) EP4348452A1 (zh)
JP (1) JP2024522550A (zh)
CN (1) CN117859123A (zh)
WO (1) WO2022256458A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220140840A1 (en) * 2020-10-29 2022-05-05 Wuhan United Imaging Healthcare Co., Ltd. Systems and methods for data storage
US20230162518A1 (en) * 2021-11-24 2023-05-25 Adobe Inc. Systems for Generating Indications of Relationships between Electronic Documents

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190188285A1 (en) * 2017-12-19 2019-06-20 Facebook, Inc. Image Search with Embedding-based Models on Online Social Networks
US12026875B2 (en) * 2019-03-28 2024-07-02 Hoffmann-La Roche, Inc. Machine learning using distance-based similarity labels
CN114730463A (zh) * 2019-11-22 2022-07-08 豪夫迈·罗氏有限公司 用于组织图像分类的多实例学习器

Also Published As

Publication number Publication date
WO2022256458A1 (en) 2022-12-08
JP2024522550A (ja) 2024-06-21
EP4348452A1 (en) 2024-04-10
US20240086460A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
Li et al. A deep learning diagnostic platform for diffuse large B-cell lymphoma with high accuracy across multiple hospitals
CN113454733B (zh) 用于预后组织模式识别的多实例学习器
Gupta et al. The emergence of pathomics
US20220237788A1 (en) Multiple instance learner for tissue image classification
JP7406745B2 (ja) コンピュータ検出方法のための電子画像を処理するためのシステムおよび方法
JP6453298B2 (ja) 細胞診標本を観察および解析するためのシステムおよび方法
Ciga et al. Overcoming the limitations of patch-based learning to detect cancer in whole slide images
US20240086460A1 (en) Whole slide image search
US11176412B2 (en) Systems and methods for encoding image features of high-resolution digital images of biological specimens
Qaiser et al. Usability of deep learning and H&E images predict disease outcome-emerging tool to optimize clinical trials
Choudhury et al. Detecting breast cancer using artificial intelligence: Convolutional neural network
US20240265541A1 (en) Biological context for analyzing whole slide images
US20240087122A1 (en) Detecting tertiary lymphoid structures in digital pathology images
Tang et al. Lesion segmentation and RECIST diameter prediction via click-driven attention and dual-path connection
US20240087726A1 (en) Predicting actionable mutations from digital pathology images
Wang et al. CW-NET for multitype cell detection and classification in bone marrow examination and mitotic figure examination
CN114283911A (zh) 用于提供检查信息的方法和用于确定检查信息的系统
Paverd et al. Radiology and multi-scale data integration for precision oncology
Hanna et al. Future practices of breast pathology using digital and computational pathology
US20230419491A1 (en) Attention-based multiple instance learning for whole slide images
US20230016472A1 (en) Image representation learning in digital pathology
Pan et al. Semi-supervised recognition for artificial intelligence assisted pathology image diagnosis
WO2024030978A1 (en) Diagnostic tool for review of digital pathology images
Banachowicz et al. Convolutional Neural Networks for Dot Counting in Fluorescence in Situ Hybridization Imaging
WO2024076538A1 (en) System and method for multimodal prediction of patient outcomes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination