CN110326024B - 用于处理由医学成像装置捕获的组织学图像的方法和装置 - Google Patents

用于处理由医学成像装置捕获的组织学图像的方法和装置 Download PDF

Info

Publication number
CN110326024B
CN110326024B CN201880012805.4A CN201880012805A CN110326024B CN 110326024 B CN110326024 B CN 110326024B CN 201880012805 A CN201880012805 A CN 201880012805A CN 110326024 B CN110326024 B CN 110326024B
Authority
CN
China
Prior art keywords
histological
image
sample
target
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880012805.4A
Other languages
English (en)
Other versions
CN110326024A (zh
Inventor
肯尼思·马克·沙利文
姜镇万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaoying Technology Co ltd
Original Assignee
Gaoying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaoying Technology Co ltd filed Critical Gaoying Technology Co ltd
Publication of CN110326024A publication Critical patent/CN110326024A/zh
Application granted granted Critical
Publication of CN110326024B publication Critical patent/CN110326024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references

Abstract

公开了一种用于处理由医学成像装置捕获的一个或多个组织学图像的方法。在该方法中，接收组织学图像，并且基于将一个或多个样本组织学图像与一个或多个样本目标组织学图像相关联的预测模型识别每个对应于候选组织类型的目标区域。将与所识别的至少一个目标组织学图像相关联的一个或多个显示特性应用于组织学图像。

Description

用于处理由医学成像装置捕获的组织学图像的方法和装置
技术领域
本申请基于并要求2017年2月21日提交的美国临时专利申请No.62/461,490和2017年9月27日提交的美国临时专利申请No.62/563,751的优先权，其全部内容通过引用并入本文。
本公开总体上涉及处理用于显示的组织学图像，更具体地，涉及使用半监督学习模型生成组织学图像的修改图像。
背景技术
在组织学中，H&E(苏木精和伊红)染色剂已广泛用于医学诊断。例如，为了检查疑似病变，例如患者体内的癌症，医生可以获得疑似病变的样本并执行用于产生H&E染色的显微照片的预定程序。然后医生可以在显微镜下观察H&E染色的显微照片以诊断患者的疾病。为了获得H&E染色的显微照片，通常将来自患者的疑似病变的样本送至组织学实验室。此外，执行一系列预定程序以产生H&E染色的显微照片。这些程序通常花费一日或多日来获得H&E染色的显微照片。在某些情况下，为了及时治疗疾病，在外科手术期间可能需要及时诊断疾病。然而，根据上述程序，在手术期间可能无法立即诊断出疑似病变的疾病。
同时，可以捕获诸如CT(计算机断层扫描)、MRI(磁共振成像)的显微照片等的图像并用于准确地诊断潜在患者。然而，对于潜在患者而言，捕获显微图像可能相对昂贵。另外，这种CT和MRI设备可能太大而无法用于在手术期间捕获人体的一部分。也就是说，这些装置可能不适合在手术期间位于手术室中或移动到手术室。
为了即时和快速诊断目的，已经使用由医学成像装置例如OCT(光学相干断层扫描)设备等捕获的相对低质量的图像，来定位患者中的疑似病变。这样的图像会比CT和/或MRI显微照片更廉价地获得，并且会比H&E染色的显微照片更快地生成。然而，这样的图像可能不具有适合于准确诊断图像中的一种或多种类型的组织的疾病的可见性。
发明内容
(要解决的问题)
本公开中公开的实施例涉及使用可以是半监督学习模型的预测模型生成由医学成像装置捕获的组织学图像的修改图像。
(解决问题的手段)
根据本发明的一个方面，公开了一种由计算机执行的用于处理由医学成像装置捕获的组织学图像的方法。在该方法中，接收包括至少一种类型的组织的每个组织学图像，并通过第一自动编码器确定每个组织学图像中的至少一个候选组织类型。通过第一自动编码器识别与每个组织学图像中的至少一个候选组织类型对应的至少一个目标区域。基于将一个或多个样本组织学图像与一个或多个样本目标组织学图像相关联的预测模型，识别对应于每个组织学图像中的目标区域的至少一个目标组织学图像。将与所识别的目标组织学图像相关联的一个或多个显示特性应用于组织学图像。本公开还描述了与该方法相关的装置和计算机可读介质。
(发明的效果)
本发明的一个方面涉及一种由计算机执行的用于处理由医学成像装置捕获的组织学图像的方法，所述方法包括：接收包括至少一种类型的组织的组织学图像；通过第一自动编码器确定所述组织学图像中的候选组织类型；通过所述第一自动编码器识别与所述组织学图像中的所述候选组织类型对应的目标区域；基于将一个或多个样本组织学图像与一个或多个样本目标组织学图像相关联的预测模型，识别对应于所述组织学图像中的所述目标区域的至少一个目标组织学图像；以及将与所识别的至少一个目标组织学图像相关联的一个或多个显示特性应用于所述组织学图像。
在一个实施例中，所述预测模型可以包括每个所述样本组织学图像中的第一组补片和每个所述样本目标组织学图像中的第二组补片，其中，在所述预测模型中，所述第一组补片与所述第二组补片相关，并且其中，应用所述一个或多个显示特性包括基于所识别的至少一个目标组织学图像中的所述第二组补片修改所接收的组织学图像中的多个补片。
在一个实施例中，所述识别与所述候选组织类型对应的目标区域可以包括识别包括所述组织学图像中的所述目标区域的多个区域，其中，所述预测模型包括每个所述样本组织学图像中的第一组区域和每个所述样本目标组织学图像中的第二组区域，其中，在所述预测模型中，所述第一组区域与所述第二组区域相关联，并且其中，应用一个或多个显示特性包括基于所识别的至少一个目标组织学图像中的所述第二组区域修改所接收的组织学图像中的所述多个区域。
在一个实施例中，可以通过基于第一组样本组织学图像训练所述第一自动编码器来生成第一无监督学习模型。在一个实施例中，可以基于所述第一无监督学习模型和第二无监督学习模型生成所述预测模型，并且其中，所述第二无监督学习模型是通过训练第二组样本目标组织学图像生成的。在一个实施例中，可以对齐所述第一组样本组织学图像中的M个样本组织学图像的一个或多个解剖位置，以匹配所述第二组样本目标组织学图像中的N个样本目标组织学图像的一个或多个解剖位置，M和N是正整数。在一个实施例中，所述预测模型可以包括关于指示一个或多个显示特性的一个或多个特征的数据，并且通过将来自所述N个样本目标组织学图像的一个或多个特征与来自所述M个样本组织学图像的一个或多个特征相关联来进行训练。
在一个实施例中，由所述医学成像装置捕获的所述组织学图像可以包括目标结构的一个或多个组织学图像，并且所述目标结构可以具有距可见表面2至4mm的深度。在一个实施例中，可以基于与所述组织学图像中的所述目标区域相关联的一个或多个特征对所述第一无监督学习模型进行训练。在一个实施例中，所述第一无监督学习模型、所述第二无监督学习模型和所述预测模型可以各包括由人工神经网络的一个或多个模型超参数和一个或多个权重定义的多层模型。
本发明的一个方面涉及一种用于处理由医学成像装置捕获的组织学图像的图像处理装置，所述设备包括：第一自动编码器，配置为：接收包括至少一种类型的组织的组织学图像；确定所述组织学图像中的候选组织类型；和识别与所述组织学图像中的所述候选组织类型对应的目标区域；和图像生成单元，配置为：基于将一个或多个样本组织学图像与一个或多个样本目标组织学图像相关联的预测模型，识别对应于所述组织学图像中的所述目标区域的至少一个目标组织学图像；和将与所识别的至少一个目标组织学图像相关联的一个或多个显示特性应用于所述组织学图像。
在一个实施例中，所述图像生成单元可以进一步配置为生成包括所应用的显示特性的组织学图像的修改图像。在一个实施例中，所述第一自动编码器可以进一步配置为识别包括所述组织学图像中的所述目标区域的多个区域，其中，所述预测模型包括每个所述样本组织学图像中的第一组区域和每个所述样本目标组织学图像中的第二组区域，其中，在所述预测模型中，所述第一组区域与所述第二组区域相关联，并且其中，所述图像生成单元进一步配置为基于所识别的至少一个目标组织学图像中的所述第二组区域修改所接收的组织学图像中的多个区域。
在一个实施例中，可以通过基于第一组样本组织学图像训练所述第一自动编码器以生成第一无监督学习模型。在一个实施例中，可以基于所述第一无监督学习模型和第二无监督学习模型生成所述预测模型，以及其中，所述第二无监督学习模型是通过训练第二组样本目标组织学图像生成的。在一个实施例中，可以对齐所述第一组样本组织学图像中的M个样本组织学图像的一个或多个解剖位置，以匹配所述第二组样本目标组织学图像中的N个样本目标组织学图像的一个或多个解剖位置，M和N是正整数。
本发明的一个方面涉及一种非暂时性计算机可读存储介质，包括用于处理组织学图像的指令，所述指令使计算机的处理器执行包括以下的操作：接收包括至少一种类型的组织的组织学图像；确定所述组织学图像中的候选组织类型；识别与所述组织学图像中的所述候选组织类型对应的目标区域；基于将一个或多个样本组织学图像与一个或多个样本目标组织学图像相关联的预测模型，识别对应于所述组织学图像中的所述目标区域的至少一个目标组织学图像；和将与所识别的至少一个目标组织学图像相关联的一个或多个显示特性应用于所述组织学图像。
在一个实施例中，识别与所述候选组织类型对应的目标区域可以包括识别包括所述组织学图像中的所述目标区域的多个区域，其中，所述预测模型包括每个所述样本组织学图像中的第一组区域和每个所述样本目标组织学图像中的第二组区域，其中，在所述预测模型中，所述第一组区域与所述第二组区域相关联，并且其中，所述应用一个或多个显示特性包括基于所识别的至少一个目标组织学图像中的所述第二组区域修改所接收的组织学图像中的所述多个区域。
在一个实施例中，所述预测模型可以包括指示多个显示特性的一个或多个特征，并且通过将来自第二组样本目标组织学图像中的N个样本目标组织学图像的一个或多个特征与来自第一组样本组织学图像中的M个样本组织学图像的一个或多个特征相关联来进行训练，M和N是正整数。
附图说明
在结合附图阅读时，将参考以下详细描述以理解本发明的发明方面的实施例。
图1示出了根据本发明的一个实施例的手术室环境，其中在医疗手术期间医学成像装置正在运行，并且由医学成像装置捕获的组织学图像的修改图像显示在显示单元上。
图2是根据本发明的一个实施例的用于基于预测模型识别与组织学图像中的目标区域对应的至少一个目标组织学图像并通过应用与至少一个目标组织学图像相关联的一个或多个显示特性生成组织学图像的修改图像的流程图。
图3示出了根据本发明的一个实施例的图像处理装置的框图，该图像处理装置配置为通过训练第一自动编码器、第二自动编码器和监督关联学习器以生成预测模型，并且基于第一自动编码和预测模型处理组织学图像。
图4示出了根据本发明的一个实施例的第一无监督学习模型的框图，该第一无监督学习模型可以通过基于组织学图像的第一样本图像数据库中的样本组织学图像训练第一自动编码器而生成。
图5示出了根据本发明的一个实施例的第二无监督学习模型的框图，该第二无监督学习模型可以通过基于目标组织学图像的第二样本图像数据库中的样本目标组织学图像训练第二自动编码器而生成。
图6示出了根据本发明的一个实施例的图像处理装置中的监督关联学习器，其配置为通过基于匹配图像黄金集将第二无监督学习模型与第一无监督学习模型相关联以生成预测模型。
图7示出了根据本发明的一个实施例的处理器中的用于基于预测模型生成组织学图像的修改图像的图像生成单元和第一自动编码器的框图。
图8是根据本发明的一个实施例的用于接收由医学成像装置捕获的组织学图像并通过使用第一自动代码和预测模型生成组织学图像的修改图像的方法的流程图。
图9是本发明的一个实施例的用于生成预测模型的方法的流程图，该方法通过训练第一和第二自动编码器以生成第一和第二无监督学习模型并基于匹配图像黄金集将第二无监督学习模型与第一无监督学习模型相关联来进行。
具体实施方式
现在将详细参考各种实施例，其示例在附图中示出。在以下详细描述中，阐述了很多具体细节以便提供对本主题的透彻理解。然而，对于本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本主题。在其他情况下，没有详细描述公知的方法、过程、系统和组件，以免不必要地模糊各种实施例的各方面。
图1示出了根据本发明的一个实施例的手术室环境，其中，在医疗手术期间，医学成像装置100正在运行，并且由医学成像装置100捕获的组织学图像的修改图像120显示在显示设备110上。在所示出的手术室中，医生10和/或20可以对躺在床40上的患者30进行手术。在该实施例中，医生10和/或20可以在手术期间使用医学成像装置100来诊断患者30的疾病或病症。例如，医学成像装置100可以是被配置为捕获身体部分的二维或三维组织学图像的任何类型的图像捕获装置，例如OCT装置、X射线照相装置、MRI装置、CT装置、超声波检查或超声波装置、内窥镜装置、触觉成像装置、热成像装置、核医学功能成像装置等。
医学成像装置100可以被配置为捕获或生成组织学图像(例如，由M2TM OCT成像系统的OCT装置捕获的M2TM图像)，其至少包括患者30的身体部分中的至少一种类型的组织。例如，如果组织学图像由OCT装置捕获，则组织学图像可以是灰度图像。尽管在该实施例中医学成像装置100被示出为固定地安装在床40处，但是装置100可以被配置为固定地安装在手术室的任何部位，使得其可以捕获患者30的身体部分的图像。或者，装置100可以被配置为可拆卸和/或可携带的，使得它可以由医生10和/或20定位在患者30的目标部分附近。
根据一个实施例，如果医学成像装置100是OCT装置，则医学成像装置100可以使用光源将光(例如，激光或低相干光)照射在患者30的身体部分上，并且收集在患者30的身体部分处反向散射的光，以测量由医学成像装置100捕获的反向散射光的回波时间延迟。此外，医学成像装置100可以被配置为识别所收集的光的光学相干性。医学成像装置100可以例如通过测量回波时间延迟和/或确定光的光学相干性生成指示身体部分中的至少一种类型的组织的一个或多个二维组织学图像(例如，垂直切片的图像)和/或三维组织学图像(例如，三维断层图像)。包括至少一种类型的组织的二维组织学图像或三维组织学图像可以具有与可见表面相距预定深度(例如，约2至4mm)的目标结构。在一个实施例中，医学成像装置100可以被配置为通过在任何方向上裁剪或切割一个或多个三维组织学图像以生成指示目标结构的一部分的二维组织学图像。在一个实施例中，医学成像装置100可以被配置为基于二维组织学图像生成患者30中的身体部分的一个或多个三维组织学图像。
在为患者30中的身体部分生成三维组织学图像或二维组织学图像之后，可以将生成的组织学图像提供给图像处理装置(未示出)，稍后将参考图3对其进行详细描述。图像处理装置可以被配置为接收和/或处理包括多种类型组织的组织学图像。在一个实施例中，在从医学成像装置100接收到组织学图像时，图像处理装置可以处理组织学图像以生成组织学图像的修改图像120。
图2是根据本发明的一个实施例的用于识别与医学成像装置100捕获的组织学图像210中的目标区域对应的至少一个目标组织学图像并生成组织学图像210的修改图像120的流程图。医学成像装置100可以捕获或生成患者30的身体部分的组织学图像210(例如，二维组织学图像)并将其提供给图像处理装置。例如，如图2所示，组织学图像210可包括患者30的乳房中的至少一种类型的组织。
在一个实施例中，图像处理装置可以被配置为将组织学图像210输入到第一自动编码器，以确定组织学图像210中的候选组织类型，并识别组织学图像210中与候选组织类型对应的目标区域。第一自动编码器可以是用于有效编码的无监督学习的任何类型的人工神经网络。另外，第一自动编码器可以被训练用于生成第一无监督学习模型，稍后将参考图4详细描述。候选组织类型可以包括组织学图像210中的任何有意义或可疑的位置。例如，候选组织类型可以是细胞核、肿瘤等。
在识别组织学图像210中的目标区域时，图像处理装置可以基于将一个或多个组织学图像与一个或多个目标组织学图像相关联的预测模型来识别与组织学图像中的目标区域对应的至少一个目标组织学图像。在一个实施例中，目标组织学图像可以是可从医学成像装置100捕获的组织学图像的为改善捕获的组织学图像的可见性或可辨别性而修改的任何组织学图像。至少一个目标组织学图像可用于基于其显示特性来修改捕获的图像。例如，如果通过OCT装置捕获组织学图像，则至少一个目标组织学图像可以是一个或多个H&E染色的图像。根据一个实施例，预测模型可以被生成为第一无监督学习模型的扩展，并且可以是用于有效编码的半监督学习的任何类型的人工神经网络。例如，可以应用无监督机器学习技术和监督机器学习技术，其可被称为半监督机器学习技术来生成预测模型，如稍后将参考图6详细描述的。
在识别与组织学图像210中的目标区域对应的至少一个目标组织学图像后，图像处理装置可以将与至少一个目标组织学图像相关联的一个或多个显示特性应用于组织学图像210。例如，一个或多个显示特性可以包括一个或多个特征，例如点或补片的颜色、形状和/或清晰度，在组织学图像和目标组织学图像中具有相似特性的点或补片的排列、分布和/或密度。补片可以是组织学图像中的范围或区域，其可以是用于处理图像的单元或窗口(例如，8×8像素)。可以基于这样的单元或窗口来分割目标组织学图像。根据一个实施例，图像处理装置可以基于所识别的组织学图像的一个或多个显示特性改变组织学图像210的一个或多个显示特性。在该过程中，可以采用任何合适的样式转移技术来以所识别的目标组织学图像的样式改变组织学图像210。例如，如果组织学图像，例如图像210由OCT装置捕获，则可以将其修改为以H&E染色的形式出现，例如，如图2所示的图像120。
根据一个实施例，图像处理装置可以生成包括与所识别的目标组织学图像相关联的一个或多个显示特性的修改图像120。例如，图像处理装置可以改变颜色分量的值(例如，红色(R)、绿色(G)、蓝色(B)值)和目标区域中的每个像素的锐度值。如从组织学图像210修改的图像120中所示，可以将红色(例如，猩红色)的阴影分配给目标区域，并且调整目标区域的中心周围的部分以改善目标区域的可见性。因此，具有高可见度的修改图像120可以允许医生10和/或20比使用由装置100最初捕获的组织学图像210更准确地诊断患者30。在一些实施例中，图像处理装置可以处理组织学图像210以产生修改图像120，使得即使在手术期间也可以容易地向医生10和/或20提供修改图像120。类似地，由医学成像装置100捕获的三维组织学图像可以被提供给图像处理装置并且以目标组织学图像的样式被修改。在这种情况下，可以在显示设备110上显示三维组织学图像的修改图像。此外，如果医生10和/或20可以选择三维组织学图像的一部分，则可以在显示设备110上显示与所选部分对应的二维组织学图像的修改图像。
图3示出了本发明的一种实施例的图像处理装置300的框图，该图像处理装置300被配置为通过训练第一自动编码器310、第二自动编码器320和监督关联学习器330生成预测模型，并且基于第一自动编码器310和预测模型处理组织学图像。图像处理装置300可以包括处理器305、通信单元340和/或存储单元350。图像处理装置300中的处理器305可以包括第一自动编码器310、第二自动编码器320、监督关联学习器330，和/或图像生成单元360。
图像处理装置300被配置为经由通信网络370通过通信单元340与医学成像装置100通信。在一些实施例中，图像处理装置300可以通过任何类型的有线/无线连接与医学成像装置100进行通信，所述有线/无线连接包括但不限于电数据线和短距离无线网络，例如蓝牙、ZigBee、红外传输等。尽管图3中示出的图像处理装置300为与医学成像装置100分开的装置，但在一些实施例中，医学成像装置100和图像处理装置300可以集成在单个装置中。
处理器305中的第一自动编码器310可以被配置为从存储单元350接收多个组织学图像和多个样本组织学图像。此外，可以基于所接收的组织学图像和多个样本组织学图像来训练第一自动编码器310，从而产生第一无监督学习模型。可以利用任何合适的无监督学习技术，包括但不限于K均值聚类等来训练第一自动编码器310。类似地，处理器305中的第二自动编码器320可以被配置为从存储单元350接收多个目标组织学图像和多个样本目标组织学图像，并且基于所接收的目标组织学图像和多个样本目标组织学来训练第二自动编码器320以生成第二无监督学习模型。第一自动编码器310可以包括用于组织学图像的有效编码的无监督学习的人工神经网络，而第二自动编码器320可以包括用于目标组织学图像的有效编码的无监督学习的人工神经网络。在一些实施例中，第一自动编码器310和第二自动编码器320可以包括多层自动编码器，包括堆叠自动编码器、多层卷积自动编码器等。尽管示出的自动编码器为无监督学习单元或方法的示例，但是任何其他合适类型的无监督机器学习方法均可用于这样的单元，包括但不限于生成性对抗网络(GANs)、自组织映射(SOM)、自适应共振理论(ART)、k均值聚类和/或期望最大化算法(EM)。此外，尽管示出的组织学图像、样本组织学图像、目标组织学图像和/或样本目标组织学图像为存储在存储单元350中，但至少一些图像可以存储在一个或多个外部存储单元中。
处理器305可以被配置为基于多个样本组织学图像训练第一自动编码器310，以生成第一无监督学习模型。第一无监督学习模型可以存储在存储单元350中，或者可以合并到第一自动编码器310中。在一个实施例中，可以训练第一自动编码器310以在每个样本组织学图像中执行语义分割(例如，识别目标区域)。在语义分割期间，可以训练第一自动编码器310以确定每个样本组织学图像中的候选组织类型，并识别对应于样本组织学图像中的候选组织类型的目标区域。在该过程中，第一自动编码器310可以被配置为从样本组织学图像中提取特征并将样本组织学图像分类为具有特征的组，该特征类似于来自样本组织学图像的特征。例如，第一自动编码器310可以确定来自样本组织学图像的特征与第一无监督学习模型中的每个特征或参数(例如，人工神经网络的隐藏层)之间的相似性(例如，距离或概率)，并从第一无监督学习模型中的特征或参数中选择与样本组织学图像具有最大相似性(例如，最小距离)的一组特征或参数。在这种情况下，可以基于在一个或多个样本组织学图像中提取的特征生成第一无监督学习模型中的特征或参数，并且可以将其表示为模型超参数，诸如网络的拓扑(例如，层的数量和宽度、滤波器尺寸等)、激活函数等，以及该网络的学习权重和偏见。
在选择与样本组织学图像具有最大相似性的特征或参数集合时，可以确定样本组织学图像对应于第一无监督学习模型中的所选特征或参数集合。然后，第一自动编码器310可以确定样本组织学图像中的候选组织类型，并基于第一无监督学习模型中的所选特征或参数集合来识别与候选组织类型对应的目标区域。在该过程中，第一自动编码器310可以基于所选择的特征或参数集合来识别包括样本组织学图像中的目标区域的多个区域。例如，多个区域可以对应于与第一无监督学习模型中的所选特征或参数相关联的多个区域。在这种情况下，多个区域可以指示一个或多个组织细胞、空气等。
处理器305可以训练第一自动编码器310以通过在每个样本组织学图像中执行语义分割来生成第一无监督学习模型。在一个实施例中，第一自动编码器310可以将样本组织学图像分类为具有与样本组织学图像的特征对应的所选特征或参数集合的组。在该过程中，基于所识别的目标区域或所识别的组织学图像中的多个区域的所提取的特征来更新或调整与该组相关联的参数。可以识别所识别的包括目标区域的多个区域，其对应于组织学图像中的候选组织类型，并且将其提供给图像生成单元360，用于生成组织学图像的修改图像。在一些实施例中，第一自动编码器310可以接收由医学成像装置100捕获的组织学图像，并且进行训练以与样本组织学图像类似的方式在组织学图像中执行语义分割。
可以基于所接收的目标组织学图像和样本目标组织学图像来训练第二自动编码器320，以生成第二无监督学习模型。第二无监督学习模型可以存储在存储单元350中，或者可以合并到第二自动编码器320中。根据一个实施例，可以以与第一自动编码器310类似的方式训练第二自动编码器320，以生成第二无监督学习模型。在该过程中，第二自动编码器320可以从每个所接收的目标组织学图像和样本目标组织学图像中提取一个或多个特征。然后，第二无监督学习模型可以基于提取的特征以与第一无监督学习模型类似的方式对目标组织学图像和样本目标组织学图像进行分组，以生成第二无监督学习模型。所生成的第二监督学习模型可以由处理器305中的监督关联学习器330访问。
根据本发明的一个实施例，监督关联学习器330可以被配置为通过基于匹配图像黄金集将第二无监督学习模型与第一无监督学习模型相关联来生成预测模型，如将参考图6详细描述的。匹配图像黄金集可以表示任何图像集，其可以包括一个或多个样本组织学图像和对应于样本组织学图像的一个或多个样本目标组织学图像。在匹配图像黄金集中，每个样本组织学图像可以包括人体中与每个样本目标组织学图像相同的组织或解剖位置。例如，监督关联学习器330可以将包括与第一无监督学习模型中的特定类型的组织对应的目标区域的组织学图像中的多个区域与指示对应于组织学图像中的样本目标组织学图像中的多个区域中的一个或多个显示特性的特征相关联。在一个实施例中，预测模型可以表示为基于深度学习神经网络的结构，其可以由参数定义，例如模型超参数，诸如网络的拓扑(例如，层的数量和宽度、滤波器尺寸等)、激活函数等，以及该网络的学习权重和偏见。例如，预测模型的参数可以表示用于将多个显示特性与例如目标组织学图像、样本目标组织学图像、组织学图像和样本组织学图像相关联的映射或传递函数。
图像处理装置300中的存储单元350被配置为存储由医学成像装置100捕获的样本组织学图像的第一数据库和/或包括至少一个预定的组织染色的至少一个图像的样本目标组织学图像的第二数据库。例如，第二数据库可包括H&E染色的样本组织学图像。在一个实施例中，存储单元350可以包括由第一自动编码器310生成的第一无监督学习模型和由第二自动编码器320生成的第二无监督学习模型。尽管在该实施例中示出的存储单元350为图像处理装置300的一部分，但是它可以至少部分地包括在可以被配置为与图像处理装置300通信的外部设备中。存储单元350可以是使用任何合适的存储设备或内存设备实现，例如ROM(只读存储器)、RAM(随机存取存储器)、闪存、EEPROM(电可擦除可编程只读存储器)等。
存储单元350还可以存储匹配图像黄金集，其包括样本组织学图像的第一数据库中的预定数量(例如，正整数M)的样本组织学图像和样本目标组织学图像的第二数据库中的预定数量(例如，正整数N)的样本目标组织学图像。可以关联或对齐第一数据库中的M个样本组织学图像的一个或多个特征(例如，解剖位置)以匹配第二数据库中的N个样本目标组织学图像的一个或多个特征(例如，解剖位置)。例如，M个样本组织学图像中的每一个中的体素或像素具有与N个样本组织学图像中的每一个中的那些相同的位置。
图像处理装置300中的图像生成单元360被配置为从第一自动编码器310接收组织学图像的目标区域，并修改组织学图像以提高目标区域的可见性。根据一个实施例，图像生成单元360可基于预测模型识别与组织学图像中的目标区域对应的至少一个目标组织学图像。然后，图像生成单元360可以将与至少一个目标组织学图像相关联的一个或多个显示特性应用于组织学图像。根据一个实施例，可以将至少一个目标组织学图像中的多个区域中的每个区域的一个或多个显示特性应用于组织学图像中的每个相应区域。在这种情况下，显示特性可以指示与至少一个目标组织学图像相关联的图像样式，并且例如包括一个或多个特征或参数，例如点或补片的颜色、形状和/或清晰度，在至少一个目标组织学图像中具有相似特性的点或补片的排列、分布和/或密度。通过将至少一个目标组织学图像的显示特性应用于组织学图像，可以将组织学图像的图像样式转移到至少一个目标组织学图像的图像样式。可以生成包括所应用的显示特性的组织学图像的修改图像，并将其提供给显示单元，用于向用户，例如医生显示修改图像。
图4示出了根据本发明的一个实施例的第一自动编码器310的框图，该第一自动编码器310被配置为基于第一样本图像数据库410中的样本组织学图像和组织学图像420而进行训练以生成第一无监督学习模型430。第一自动编码器310可以包括区域分割单元440、特征提取单元450、组织类型确定单元460、目标区域识别单元470和模型生成单元480。第一样本图像数据库410可以包括通过医学成像装置100(例如，OCT装置)捕获的样本组织学图像。尽管组织学图像420被示为输入到第一自动编码器310，但是应当理解，可以将多个组织学图像输入到第一自动编码器310以用于训练第一自动编码器310。
第一自动编码器310中的区域分割单元440被配置为从第一样本图像数据库410接收三维或二维样本组织学图像，并在每个样本组织学图像中分割出一个或多个区域。在一个实施例中，区域分割单元440可以分割样本组织学图像中的多个块。根据其他实施例，可以通过确定具有一个或多个相似特性，例如亮度、点的位置等的一个或多个斑点来分割样本组织学图像中的一个或多个区域。在确定样本组织学图像中的斑点时，区域分割单元440可以在补片聚类操作中聚类斑点。例如，具有在预定亮度值范围内并且位于附近的亮度值的多个斑点可以聚集在斑点团中。可以将分割的区域提供给第一自动编码器310中的特征提取单元450。
特征提取单元450被配置为从来自区域分割单元440的样本组织学图像中的分割区域提取一个或多个特征。在一个实施例中，特征提取单元450可以提取表征区域的特征，例如模式、点的密度、点的分布或空间等。例如，可以通过使用任何合适的特征提取技术(例如，尺度不变特征变换技术、模板匹配技术等)从区域中提取特征。在这种情况下，特征可以表示为特征向量，其可以包括一组数字。可以将提取的特征提供给第一自动编码器310中的组织类型确定单元460。
组织类型确定单元460被配置为从特征提取单元450接收样本组织学图像的一个或多个特征，并确定样本组织学图像中的至少一种候选组织类型。在该过程中，组织类型确定单元460可以在第一无监督学习模型430中选择与样本组织学图像的特征类似的一个或多个特征或参数。可以基于所选择的参数或特征集合确定样本组织学图像中的至少一种候选组织类型。例如，组织类型可以包括任何类型的组织，其可以表征任何正常细胞或异常细胞，例如肿瘤、癌症等。可以将确定的候选组织类型和所选择的参数或特征集合提供至第一自动编码器310中的目标区域识别单元470。
目标区域识别单元470被配置为从组织类型确定单元460接收样本组织学图像中的候选组织类型和/或所选择的组的参数或特征，并基于所选择的参数或特征集合识别与来自样本组织学图像中的区域的候选组织类型对应的目标区域。根据一个实施例，可以通过检测对应于具有由第一无监督学习模型430的所选择的参数或特征集合定义的所确定的候选组织类型的区域的目标区域来识别样本组织学图像中的目标区域。另外，目标区域识别单元470可以基于第一无监督学习模型430中的所选择的参数或特征集合来识别包括样本组织学图像中的目标区域的多个区域。在这种情况下，所选择的参数或特征集合可以指示样本组织学图像中的目标区域和一个或多个周边区域。可以将包括样本组织学图像中的目标区域的识别区域的特征提供至模型生成单元480。
模型生成单元480可以被配置为接收样本组织学图像中的所识别区域的特征，并通过训练第一自动编码器310来生成、训练和/或调整第一无监督学习模型430。根据一个实施例，模型生成单元480可以基于包括样本组织学图像中的目标区域的所识别区域的特征来更新或调整样本组织学图像的所选参数或特征集合。如果没有为样本组织学图像选择参数或特征集合，则可以使用从样本组织学图像提取的特征而在第一无监督学习模型430中定义新分类的组。即使在本实施例中示出的多个样本组织学图像是用于训练第一自动编码器310，但由医学成像装置100捕获的多个组织学图像可以用于以与样本组织学图像类似的方式训练第一自动编码器310。尽管示出的第一自动编码器310为单独的单元440、450、460、470和480，但第一自动编码器310也可以实施为单个单元或单独的单元440、450、460、470和/或480的任意组合。另外，尽管示出的样本组织学图像为用于执行语义分割和训练第一自动编码器310，但组织学图像420可以用于以与样本组织学图像类似的方式执行语义分割和/或训练第一自动编码器310。生成或更新的第一无监督学习模型430可以用于生成预测模型620，如将参考图6所描述的。
图5示出了根据本发明的一个实施例的第二自动编码器320的框图，该第二自动编码器320被配置为基于第二样本图像数据库510中的样本组织学图像和输入目标组织学图像520进行训练以生成第二无监督学习模型530。第二自动编码器320可以包括区域分割单元540，特征提取单元550，组织类型确定单元560，目标区域识别单元570和模型生成单元580。根据一个实施例，第二样本图像数据库510可以包括样本目标组织学图像，其包括至少一个预定组织染色的至少一个图像(例如，H&E染色的图像)。尽管示出的目标组织学图像520为输入到第二自动编码器320，但是应当理解，可以将多个目标组织学图像输入到第二自动编码器320以训练第二自动编码器320。
第二自动编码器320可以被配置为对样本目标组织学图像和目标组织学图像执行语义分割，并生成、训练和/或更新第二无监督学习模型530。为此，第二自动编码器320中的区域分割单元540、特征提取单元550、组织类型确定单元560、目标区域识别单元570和模型生成单元580可以分别向区域分割单元440、特征提取单元450、组织类型确定单元460、目标区域识别单元470和模型生成单元480提供类似的功能或操作。生成或更新的第二无监督学习模型530可以用于生成预测模型620，如将参考图6所描述的。
图6示出了根据本发明的一个实施例的图像处理装置300中的监督关联学习器330，其被配置为通过基于匹配图像黄金集610将第二无监督学习模型530与第一无监督学习模型430相关联来生成预测模型620。在一个实施例中，预测模型可以表示基于深度学习神经网络的结构。预测模型可以包括可以由模型超参数定义的多个参数，诸如网络的拓扑(例如，层的数量和宽度、滤波器尺寸等)、激活函数等，以及该网络的学习权重和偏见。预测模型620中的参数可以包括指示每个组织学图像和目标组织学图像的一个或多个显示特性的一个或多个特征。
在一个实施例中，预测模型620可以包括每个组织学图像中的第一组补片和每个目标组织学图像中的第二组补片，其中，在预测模型中，第一组补片与第二组补片相关联。图像生成单元360可以应用与至少一个目标组织学图像相关联的一个或多个显示特性和/或通过基于所识别的至少一个目标组织学图像中的第二组补片修改所接收的组织学图像中的多个补片来生成修改图像720。
匹配图像黄金集610可以包括第一样本图像数据库410中的一个或多个样本组织学图像以及第二样本图像数据库510中的一个或多个样本目标组织学图像，其中样本组织学图像被对齐以匹配样本目标组织学图像的解剖位置。根据一个实施例，样本组织学图像可以具有与一个或多个样本目标组织学图像中的每一个相同的解剖位置。类似地，样本目标组织学图像可以具有与一个或多个样本组织学图像中的每一个相同的解剖位置。
监督关联学习器330被配置为将指示从匹配图像黄金集610中的样本目标组织学图像提取的一个或多个显示特性的至少一个特征与匹配图像黄金集610中的一个或多个样本组织学图像相关联。在该过程中，来自样本目标组织学图像的至少一个特征可以与可以包括在第二无监督学习模型530中的每个样本组织学图像中的多个区域相关。因此，与第二无监督学习模型530中的样本目标组织学图像(例如，H&E染色的图像)中的至少一个特征对应的存在或已知的显示特性可以被转移至来自第一无监督学习模型430中每个样本组织学图像(例如，M2TM图像)中的多个区域的特征。然后可以通过将来自样本目标组织学图像(即，H&E染色的图像)的至少一个特征与样本组织学图像(例如，M2TM图像)相关联以生成或训练预测模型620。例如，可以训练预测模型以生成第一和第二无监督学习模型的相似性度量。
监督关联学习器330被配置为对匹配图像黄金集610中的一个或多个样本目标组织学图像中的每一个使用一个或多个标签以训练和/或更新预测模型620。标签可以指示任何识别样本目标组织学图像中的一个或多个区域的数据或信息(例如，细胞核、肿瘤等)。可以基于可由实验员或用户输入的样本目标组织学图像的数据或信息来确定样本目标组织学图像中的区域的标签。监督关联学习器330可以将第二样本图像数据库510的样本目标组织学图像的标签分配给对应的样本组织学图像，以训练预测模型620。
在一个实施例中，第一无监督学习模型430、第二无监督学习模型530和预测模型620可以各包括由人工神经网络的一个或多个模型超参数和/或一个或多个权重定义的多层模型。
图7示出了根据本发明的一个实施例的处理器305中的用于基于预测模型620生成组织学图像710的修改图像720的图像生成单元360和第一自动编码器310的框图。处理器305可以接收可由任何医学成像装置(例如，医学成像装置100)捕获的组织学图像710，并且生成组织学图像710的修改图像720，以改善组织学图像710的可见性。在该过程中，处理器305可以访问预测模型620以修改组织学图像710。
处理器305中的第一自动编码器310可以对所接收的组织学图像执行语义分割。根据一个实施例，第一自动编码器310可以在组织学图像中执行分割并从组织学图像中提取一个或多个特征。基于这些特征，第一自动编码器310可以将组织学图像分类为具有与提取的特征类似的特征或参数的组。基于该组的特征或参数，可以确定组织学图像中的候选组织类型，并且可以识别对应于候选组织类型的目标区域。在该过程中，可以通过将提取的特征与所选择的组的特征或参数进行比较来识别包括目标区域的多个区域。然后，可以将包括目标区域的识别区域提供给处理器305中图像生成单元360。
图像生成单元360可以被配置为接收组织学图像中的所识别的区域并基于预测模型620生成修改图像720。根据一个实施例，图像生成单元360可以被配置为识别指示对应于预测模型620中的目标区域的特征的至少一个目标组织学图像的一个或多个显示特性的特征。例如，图像生成单元360可以检测与所识别区域的特征类似的一个或多个组织学图像的组的特征，并且识别与组织学图像的组相关的至少一个目标组织学图像的组的特征。可以将与至少一个目标组织学图像的组的特征相关联的一个或多个显示特性应用于组织学图像710的每个识别的区域。例如，一个或多个显示特性与至少一个目标组织学图像的组中的多个特征相关联，所述特征例如补片的颜色、形状、排列、分布、密度、清晰度(例如，n×n像素，其中n是正整数)等。根据一个实施例，图像处理装置可以基于至少一个目标组织学图像的组的一个或多个显示特性来改变组织学图像710的一个或多个显示特性。在该过程中，可采用任何合适的样式转移技术来以至少一个目标组织学图像的组的样式改变组织学图像710。根据一个实施例，图像生成单元360可以通过基于与至少一个目标组织学图像的组相关联的特征修改组织学图像710中的组织学图像710的识别区域来生成修改图像720。然后，可以在显示单元(例如，显示设备110)上显示修改图像720，用于诊断可以从修改图像720识别的疾病或病症。
在一个实施例中，图像生成单元360可以使用一个或多个已知的生成网络(例如，循环一致的对抗网络)生成组织学图像710的修改图像720，其可以通过CycleGAN技术来实现。在这种情况下，预测模型620可以由循环一致的对抗网络训练。在该过程中，可使用第一映射函数G和第一对抗鉴别器Dx基于一个或多个样本目标组织学图像来翻译和/或修改一个或多个样本组织学图像，同时使用第二映射函数F和第二对抗鉴别器Dy基于样本组织学图像平移和/或修改样本目标组织学图像。为了调节这种映射，当使用第一映射函数和第一对抗鉴别器将样本组织学图像转换为样本目标组织学图像时，可以确定第一循环一致性损失。类似地，当使用第二映射函数和第二对抗鉴别器将样本目标组织学图像转换为样本组织学图像时，可以确定第二循环一致性损失。可以基于第一和第二映射函数、第一和第二对抗鉴别器，和/或第一和第二循环一致性损失来生成样本组织学图像和样本目标组织学图像的预测模型。基于由CycleGAN技术生成的预测模型，可以将组织学图像710(例如，M2TM图像)修改为图像720(例如，H&E染色的图像)。
图8示出了根据本发明的一个实施例的方法800的流程图，该方法用于接收由医学成像装置捕获的组织学图像，并通过例如使用第一自动编码器(例如，第一自动编码器310)和预测模型(例如，预测模型620)来生成组织学图像的修改图像。方法800可以由计算机、处理器、医疗设备、图像处理装置或作为医疗设备的一部分的模块来执行。在一个实施例中，非暂时性计算机可读存储介质可以包括用于处理一个或多个组织学图像的指令，该指令使计算机的处理器执行方法800。最初，在810，图像处理装置(例如，图像处理装置300)可以接收包括至少一种类型的组织的组织学图像。在820，图像处理装置中的第一自动编码器可以确定所接收的组织学图像中的候选类型的组成。在830，第一自动编码器可以识别与组织学图像中的候选组织类型对应的目标区域。
在840，模型生成单元(例如，模型生成单元480)可以基于预测模型识别与组织学图像中的目标区域对应的至少一个目标组织学图像。可以基于无监督深度学习技术和监督深度学习技术的任何合适的组合来生成预测模型。在850，图像生成单元(例如，图像生成单元360)可以将与所识别的至少一个目标组织学图像相关联的一个或多个显示特性应用于组织学图像以修改组织学图像。修改的图像可以导致改善目标区域的可见性。
图9是根据本发明的一个实施例的用于生成预测模型(例如，预测模型620)的方法900的流程图，该方法通过训练第一和第二自动编码器(例如，第一和第二自动编码器310和320)以生成第一和第二无监督学习模型并基于匹配图像黄金集将第二无监督学习模型与第一无监督学习模型相关联来进行。方法900可以由计算机、处理器、医疗设备、图像处理装置或作为医疗设备的一部分的模块来执行。在一个实施例中，非暂时性计算机可读存储介质可以包括用于处理一个或多个组织学图像的指令，该指令使计算机的处理器执行方法900。最初，在910，处理器(例如，处理器305)可以基于第一组样本组织学图像训练第一自动编码器(例如，第一自动编码器310)以生成第一无监督学习模型。在920，处理器可基于第二组样本目标组织学图像训练第二自动编码器(例如，第二自动编码器320)以生成第二个无监督学习模型。在930，监督关联学习器(例如，监督关联学习器330)可以基于匹配图像黄金集将第一无监督学习模型与第二无监督学习模型相关联。在940，可以生成和/或训练预测模型620并且将其用于处理由医学成像装置(例如，医学成像装置100)捕获的输入组织学图像。
对于本领域技术人员显而易见的是，在不脱离本发明的精神或范围的情况下，可以在本公开中进行各种修改和变化。因此，本公开旨在覆盖本发明的修改和变化，只要它们落入所附权利要求及其等同方案的范围内。

Claims (9)

1.一种由计算机执行的用于处理由医学成像装置捕获的组织学图像的方法，其特征在于，所述方法包括以下步骤：
接收包括至少一种类型的组织的组织学图像；
通过第一自动编码器确定所述组织学图像中的候选组织类型；
通过所述第一自动编码器识别与所述组织学图像中的所述候选组织类型对应的目标区域；
基于将一个或多个样本组织学图像与一个或多个样本目标组织学图像相关联的预测模型，识别对应于所述组织学图像中的所述目标区域的至少一个目标组织学图像；
将与所识别的至少一个目标组织学图像相关联的一个或多个显示特性应用于所述组织学图像；以及
生成包括所应用的一个或多个显示特性的所述组织学图像的修改图像，
其中，通过基于第一组样本组织学图像训练所述第一自动编码器来生成第一无监督学习模型，
通过基于第二组样本目标组织学图像训练第二自动编码器来生成第二无监督学习模型，
所述预测模型基于所述第一无监督学习模型和第二无监督学习模型生成，
对齐所述第一组样本组织学图像中的M个样本组织学图像的一个或多个解剖位置，以匹配所述第二组样本目标组织学图像中的N个样本目标组织学图像的一个或多个解剖位置，且M和N是正整数，
所述预测模型包括关于指示一个或多个显示特性的一个或多个特征的数据，并且通过将来自所述N个样本目标组织学图像的一个或多个特征与来自所述M个样本组织学图像的一个或多个特征相关联来进行训练。
2.根据权利要求1所述的方法，其特征在于，所述预测模型包括每个所述样本组织学图像中的第一组补片和每个所述样本目标组织学图像中的第二组补片，
在所述预测模型中，所述第一组补片与所述第二组补片相关，并且
应用所述一个或多个显示特性包括基于所识别的至少一个目标组织学图像中的所述第二组补片修改所接收的组织学图像中的多个补片。
3.根据权利要求1所述的方法，其特征在于，识别对应于所述候选组织类型的所述目标区域包括识别多个区域，所述多个区域包括所述组织学图像中的所述目标区域，
所述预测模型包括每个所述样本组织学图像中的第一组区域和每个所述样本目标组织学图像中的第二组区域，
在所述预测模型中，所述第一组区域与的所述第二组区域相关联，并且
应用一个或多个显示特性包括基于所识别的至少一个目标组织学图像中的所述第二组区域修改所接收的组织学图像中的多个区域。
4.根据权利要求1所述的方法，其特征在于，基于与所述组织学图像中的所述目标区域相关联的一个或多个特征对所述第一无监督学习模型进行训练。
5.根据权利要求1所述的方法，其特征在于，所述第一无监督学习模型、所述第二无监督学习模型和所述预测模型各包括由人工神经网络的一个或多个模型超参数和一个或多个权重定义的多层模型。
6.一种用于处理由医学成像装置捕获的组织学图像的图像处理装置，其特征在于，所述图像处理装置包括第一自动编码器与图像生成单元，所述第一自动编码器，配置为：
接收包括至少一种类型的组织的所述组织学图像；
确定所述组织学图像中的候选组织类型；以及
识别与所述组织学图像中的所述候选组织类型对应的目标区域；和
所述图像生成单元，配置为：
基于将一个或多个样本组织学图像与一个或多个样本目标组织学图像相关联的预测模型，识别对应于所述组织学图像中的所述目标区域的至少一个目标组织学图像；以及
将与所识别的至少一个目标组织学图像相关联的一个或多个显示特性应用于所述组织学图像，生成包括所应用的一个或多个显示特性的所述组织学图像的修改图像，
其中，通过基于第一组样本组织学图像训练所述第一自动编码器来生成第一无监督学习模型，
通过基于第二组样本目标组织学图像训练第二自动编码器来生成第二无监督学习模型，
所述预测模型基于所述第一无监督学习模型和第二无监督学习模型生成，
对齐所述第一组样本组织学图像中的M个样本组织学图像的一个或多个解剖位置，以匹配所述第二组样本目标组织学图像中的N个样本目标组织学图像的一个或多个解剖位置，且M和N是正整数，
所述预测模型包括关于指示一个或多个显示特性的一个或多个特征的数据，并且通过将来自所述N个样本目标组织学图像的一个或多个特征与来自所述M个样本组织学图像的一个或多个特征相关联来进行训练。
7.根据权利要求6所述的图像处理装置，其特征在于，所述第一自动编码器进一步配置为识别多个区域，所述多个区域包括所述组织学图像中的所述目标区域，
所述预测模型包括每个所述样本组织学图像中的第一组区域和每个所述样本目标组织学图像中的第二组区域，
在所述预测模型中，所述第一组区域与所述第二组区域相关联，并且，所述图像生成单元进一步配置为基于所识别的至少一个目标组织学图像中的所述第二组区域修改所接收的组织学图像中的多个区域。
8.一种非暂时性计算机可读存储介质，包括用于处理组织学图像的指令，所述指令使计算机的处理器执行包括以下的操作：
接收包括至少一种类型的组织的所述组织学图像；
确定所述组织学图像中的候选组织类型；
识别与所述组织学图像中的所述候选组织类型对应的目标区域；
基于将一个或多个样本组织学图像与一个或多个样本目标组织学图像相关联的预测模型，识别对应于所述组织学图像中的所述目标区域的至少一个目标组织学图像；
将与所识别的至少一个目标组织学图像相关联的一个或多个显示特性应用于所述组织学图像；以及
生成包括所应用的一个或多个显示特性的所述组织学图像的修改图像，
其中，通过基于第一组样本组织学图像训练第一自动编码器来生成第一无监督学习模型，
通过基于第二组样本目标组织学图像训练第二自动编码器来生成第二无监督学习模型，
所述预测模型基于所述第一无监督学习模型和第二无监督学习模型生成，
对齐所述第一组样本组织学图像中的M个样本组织学图像的一个或多个解剖位置，以匹配所述第二组样本目标组织学图像中的N个样本目标组织学图像的一个或多个解剖位置，且M和N是正整数，
所述预测模型包括关于指示一个或多个显示特性的一个或多个特征的数据，并且通过将来自所述N个样本目标组织学图像的一个或多个特征与来自所述M个样本组织学图像的一个或多个特征相关联来进行训练。
9.根据权利要求8所述的介质，其特征在于，所述识别与所述组织学图像中的所述候选组织类型对应的目标区域包括识别多个区域，所述多个区域包括所述组织学图像中的所述目标区域，
所述预测模型包括每个所述样本组织学图像中的第一组区域和每个所述样本目标组织学图像中的第二组区域，
在所述预测模型中，所述第一组区域与所述第二组区域相关联，并且
所述应用的一个或多个显示特性包括基于所识别的至少一个目标组织学图像中的所述第二组区域修改所接收的组织学图像中的所述多个区域。
CN201880012805.4A 2017-02-21 2018-02-21 用于处理由医学成像装置捕获的组织学图像的方法和装置 Active CN110326024B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762461490P 2017-02-21 2017-02-21
US62/461,490 2017-02-21
US201762563751P 2017-09-27 2017-09-27
US62/563,751 2017-09-27
PCT/KR2018/002118 WO2018155898A1 (en) 2017-02-21 2018-02-21 Method and apparatus for processing histological image captured by medical imaging device

Publications (2)

Publication Number Publication Date
CN110326024A CN110326024A (zh) 2019-10-11
CN110326024B true CN110326024B (zh) 2023-11-03

Family

ID=63252850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880012805.4A Active CN110326024B (zh) 2017-02-21 2018-02-21 用于处理由医学成像装置捕获的组织学图像的方法和装置

Country Status (5)

Country Link
EP (1) EP3586306A4 (zh)
JP (1) JP7226895B2 (zh)
KR (1) KR102622542B1 (zh)
CN (1) CN110326024B (zh)
WO (1) WO2018155898A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456023A (zh) * 2018-03-07 2024-01-26 威里利生命科学有限责任公司 对组织切片图像的虚拟染色
WO2020142461A1 (en) * 2018-12-31 2020-07-09 Oregon Health & Science University Translation of images of stained biological material
JP2021029258A (ja) * 2019-08-13 2021-03-01 ソニー株式会社 手術支援システム、手術支援方法、情報処理装置、及び情報処理プログラム
KR102306658B1 (ko) * 2019-12-24 2021-09-30 아주대학교산학협력단 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치
US20230169627A1 (en) * 2020-04-10 2023-06-01 University Of Tsukuba Measurement signal processing device, measurement signal processing method, and program
KR102447341B1 (ko) * 2020-04-10 2022-09-26 주식회사 뷰웍스 유방 촬영 장치 및 방법
KR102261475B1 (ko) * 2020-06-05 2021-06-07 주식회사 딥바이오 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
KR102196874B1 (ko) * 2020-08-07 2020-12-31 주식회사 환경과학기술 위성 이미지 생성 학습 장치, 위성 이미지 생성 학습 방법, 위성 이미지 생성 장치 및 위성 이미지 생성 방법
CN113781366B (zh) * 2021-11-03 2023-06-23 四川大学 一种基于深度学习的眼部oct图像清晰化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665526A (zh) * 2009-11-13 2012-09-12 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜系统和程序
WO2016092394A1 (en) * 2014-12-10 2016-06-16 Koninklijke Philips N.V. Systems and methods for translation of medical imaging using machine learning

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
CA3010836C (en) * 2010-07-30 2020-09-08 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
WO2012123718A1 (en) * 2011-03-14 2012-09-20 The University Of Warwick Histology analysis
WO2013142366A1 (en) * 2012-03-19 2013-09-26 Genetic Innovations, Inc. Devices, systems, and methods for virtual staining
US9786050B2 (en) * 2013-03-15 2017-10-10 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
US9668699B2 (en) * 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US20150269314A1 (en) * 2014-03-20 2015-09-24 Rudjer Boskovic Institute Method and apparatus for unsupervised segmentation of microscopic color image of unstained specimen and digital staining of segmented histological structures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665526A (zh) * 2009-11-13 2012-09-12 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜系统和程序
WO2016092394A1 (en) * 2014-12-10 2016-06-16 Koninklijke Philips N.V. Systems and methods for translation of medical imaging using machine learning

Also Published As

Publication number Publication date
EP3586306A1 (en) 2020-01-01
CN110326024A (zh) 2019-10-11
EP3586306A4 (en) 2020-12-30
WO2018155898A1 (en) 2018-08-30
US20200035350A1 (en) 2020-01-30
JP7226895B2 (ja) 2023-02-21
KR102622542B1 (ko) 2024-01-10
KR20190112170A (ko) 2019-10-02
JP2020508536A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
CN110326024B (zh) 用于处理由医学成像装置捕获的组织学图像的方法和装置
Sun et al. Computer-aided diagnosis in histopathological images of the endometrium using a convolutional neural network and attention mechanisms
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN111428709B (zh) 图像处理方法、装置、计算机设备和存储介质
JP4310099B2 (ja) 肺疾患検出のための方法及びシステム
CN108010021A (zh) 一种医学图像处理系统和方法
CN110506278A (zh) 隐空间中的目标检测
CN109493325A (zh) 基于ct影像的肿瘤异质性分析系统
CN107624192B (zh) 通过内窥镜组织分化的外科引导和术中病理的系统和方法
Sinha et al. Medical image processing
KR20200101540A (ko) 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
EP3973539A1 (en) System and method for interpretation of multiple medical images using deep learning
Patel Predicting invasive ductal carcinoma using a reinforcement sample learning strategy using deep learning
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
Cai et al. Identifying architectural distortion in mammogram images via a se-densenet model and twice transfer learning
Srivastav et al. Breast cancer detection in mammogram images using machine learning methods and clahe algorithm
CN113539476A (zh) 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统
CN112750519A (zh) 医学图像数据的匿名化
EP4202827A1 (en) System and method for classifying lesions
US11984217B2 (en) Method and apparatus for processing histological image captured by medical imaging device
CN114360695A (zh) 乳腺超声扫查分析辅助系统、介质及设备
CN113298773A (zh) 基于深度学习的心脏视图识别与左心室检测装置、系统
Sarkar et al. Review of Artificial Intelligence methods for detecting cancer in medical image processing
Eswaran et al. Applying Machine Learning for Medical Image Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea

Applicant after: Gaoying Technology Co.,Ltd.

Address before: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea

Applicant before: KOH YOUNG TECHNOLOGY Inc.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Han Guoshouershi

Applicant after: Gaoying Technology Co.,Ltd.

Address before: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea

Applicant before: Gaoying Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant