CN114586061A - 生成装置和生成方法 - Google Patents

生成装置和生成方法 Download PDF

Info

Publication number
CN114586061A
CN114586061A CN202080072080.5A CN202080072080A CN114586061A CN 114586061 A CN114586061 A CN 114586061A CN 202080072080 A CN202080072080 A CN 202080072080A CN 114586061 A CN114586061 A CN 114586061A
Authority
CN
China
Prior art keywords
image
annotation
pathology
information
pathological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080072080.5A
Other languages
English (en)
Inventor
山根健治
渡边真司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114586061A publication Critical patent/CN114586061A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

根据本申请的生成装置100设置有获取单元131和生成单元134。所述获取单元131获取捕捉的第一病理图像和注释，该注释是授予第一病理图像的信息并且是与第一病理图像相关的元信息。所述生成单元134根据第二病理图像生成用于评估关于病理的信息的学习数据，该学习数据用于学习注释并从注释转录，以便基于不同于第一病理图像的第二病理图像对应于第二病理图像。

Description

生成装置和生成方法
技术领域
本发明涉及一种生成装置和一种生成方法。
背景技术
在医学或病理学领域等中，通过光学显微镜获得的活体的细胞、组织、器官等的切片的图像可以被数字化。然后，医生、病理学家等可以基于作为数字化图像的数字图像来诊断患者。
作为病理图像数字化的一个优点，可以将信息添加到图像的预定区域。在此处，添加到图像的预定区域的信息是附加到病变可能存在的区域等的注释，作为病理学家等需要注意的区域(以下适当地称为“注释”)。作为另一优点，通过学习添加到图像的预定区域的信息，生成用于适当评估诸如病例或疾病名称等信息的学习模型。在此处，学习模型例如是用于评估诸如癌症或非癌症等二元分类的模型。作为另一示例，学习模型是用于评估诸如癌症进展阶段等详细分类的模型。
传统上，已知将注释添加到病理图像，以促进视觉观察，从而帮助病理学家进行诊断(参见专利文献1)。
引用列表
专利文献
专利文献1：JP 2011-133849 A
发明内容
技术问题
在传统技术中，在捕捉用于生成学习模型的学习数据时使用的成像装置(以下适当地称为“用于学习的成像装置”)不同于对待评估目标进行成像时使用的成像装置(以下适当地称为“用于评估的成像装置”)的情况下，即使使用用于学习的成像装置生成学习模型，由于成像装置之间存在差异，存在使用用于学习的成像装置生成的学习模型可能无法正确评估由用于评估的成像装置捕捉的信息的可能性。
鉴于上述情况而提出本申请，其目的是促进对诊断识别目标的帮助。
问题的解决方案
根据本公开的生成装置包括：获取单元，所述获取单元获取捕捉的第一病理图像以及注释，该注释是添加到第一病理图像的信息并且是与第一病理图像相关的元信息；以及生成单元，该生成单元根据不同于第一病理图像的第二病理图像生成用于根据第二病理图像评估与病理相关的信息的学习数据，该学习数据是通过以对应于第二病理图像的方式转录该注释而得到的学习用的学习数据。
附图说明
[图1]是示出根据实施例的信息处理系统的配置示例的示图；
[图2]是示出根据实施例的信息处理的示例的示图；
[图3]是示出根据实施例的信息处理的示例的示图；
[图4]是示出根据实施例的信息处理的示例的示图；
[图5]是示出根据实施例的信息处理的示例的示图；
[图6]是示出根据实施例的生成装置的配置示例的示图；
[图7]是示出根据实施例的载玻片存储单元的示例的示图；
[图8]是示出根据实施例的载玻片数据存储单元的示例的示图；
[图9]是示出根据实施例的注释存储单元的示例的示图；
[图10]是示出根据实施例的病理主体的示例的示图；
[图11]是示出根据实施例的新载玻片存储单元的示例的示图；
[图12]是示出根据实施例的新载玻片数据存储单元的示例的示图；
[图13]是示出根据实施例的转录注释存储单元的示例的示图；
[图14]是示出根据实施例的校正注释存储单元的示例的示图；
[图15]是示出根据实施例的模型存储单元的示例的示图；
[图16]是示出根据实施例的坐标转换信息存储单元的示例的示图；
[图17]是示出根据实施例的坐标转换信息的示例的示图；
[图18]是示出根据实施例的信息处理的示例的流程图；
[图19]是示出根据实施例的信息处理的示例的流程图；
[图20]是示出根据实施例的信息处理的示例的流程图；
[图21]是示出根据实施例的生成装置的配置示例和流程的示图；
[图22]是示出根据修改的生成装置的配置示例和流程的示图；
[图23]是示出根据修改的生成装置的配置示例的示图；
[图24]是示出根据修改的信息处理的示例的流程图；
[图25]是示出实现生成装置的功能的计算机的示例的硬件配置图。
具体实施方式
在下文中，将参考附图详细描述用于执行根据本申请的生成装置和生成方法的模式(以下称为“实施例”)。注意，根据本申请的生成装置和生成方法不限于这些实施例。此外，在以下实施例中，相同的部分由相同的附图标记表示，并且将省略多余的描述。
将根据以下项目顺序描述本公开。
1.信息处理系统的配置
2.当用于学习的成像装置和用于评估的成像装置相同时的信息处理的示例
3.当用于学习的成像装置和用于评估的成像装置不同时的信息处理的示例
4.生成装置的配置
5.信息处理流程
6.处理变化
6-1.标签类型
6-2.提供评估结果
6-3.学习方法
6-4.病理主体
6-5.成像主体
6-6.利用坐标信息的注释转换方法
6-7.使用成像装置格式的注释转换方法
6-8.根据实施例的注释
6-9.根据实施例的载玻片
6-10.注释的转换
6-11.学习数据
6-12.利用病理病例号识别载玻片
7.硬件配置
8.其他
(实施例)
[1.信息处理系统的配置]
将参考图1描述信息处理系统1的配置。图1是示出根据实施例的信息处理系统的配置示例的示图。如图1所示，信息处理系统1包括成像系统2和生成装置100。成像系统2和生成装置100经由预定通信网络(网络N)以有线或无线方式可通信地彼此连接。图1是示出根据实施例的信息处理系统的配置示例的示图。注意，图1所示的信息处理系统1可以包括多个成像系统2和多个生成装置100。
成像系统2是主要由病理学家(以下称为“用户”)使用的系统，并且应用于例如实验室或医院。如图1所示，成像系统2包括第一成像装置10、服务器11、显示控制装置12和显示装置13。
第一成像装置10是对放置在载玻片上的观察主体进行成像并生成作为数字图像的病理图像(医学图像的示例)(以下适当地称为“第一病理图像”)的成像装置。观察主体例如是从患者收集的组织或细胞，例如，器官的一块肉、唾液或血液。根据实施例，基于由病理学家等添加到第一病理图像的注释的注释是学习数据。具体地，根据实施例，由病理学家等添加到第一病理图像的注释、稍后描述的转录注释和校正注释等是学习数据。例如，第一成像装置10生成用于评估诸如癌症或非癌症等二元分类的学习数据。第一成像装置10经由网络N将捕捉的第一病理图像发送到生成装置100等。例如，第一成像装置10将捕捉的第一病理图像和注释信息发送到生成装置100，该注释信息是关于添加到第一病理图像的注释的信息。在此处，注释信息包括指示注释位置的位置信息和作为添加到注释的信息的额外信息。注释的位置信息是用户添加到病理图像的注释的坐标信息。注意，注释信息可以包括注释的图像信息，而不是注释的位置信息，例如，坐标信息。注释的额外信息例如是指示关于注释的备注的备注信息。例如，注释的备注信息是关于医疗状况、疾病部位等的信息。具体地，指示关于注释的备注的信息是指示患者的医疗状况的标签，例如，“癌症”或“非癌症”。
服务器11是将由第一成像装置10捕捉的第一病理图像存储并保存在存储单元(未示出)中的装置。当从显示控制装置12接收到浏览请求时，服务器11在未示出的存储单元中搜索第一病理图像，并将检索到的第一病理图像发送到显示控制装置12。
此外，服务器11是将用户添加到在显示装置13上显示的第一病理图像的注释存储并保存在存储单元(未示出)中的装置。
关于用户诊断的信息每天都累积在服务器11中。即，由第一成像装置10捕捉的第一病理图像和添加到第一病理图像的注释存储在服务器11中。
显示控制装置12向服务器11发送从用户接收的对第一病理图像的浏览请求。然后，显示控制装置12控制显示装置13显示从服务器11接收的第一病理图像。
显示装置13包括使用例如液晶、电致发光(EL)、阴极射线管(CRT)等的屏幕。显示装置13可以与4K或8K兼容，或者可以由多个显示装置形成。显示装置13显示由显示控制装置12控制显示装置13显示的第一病理图像。
此外，显示装置13接收用户对所显示的第一病理图像的操作。当接收到用户添加的注释时，显示装置13将该注释发送到服务器11。此外，显示装置13可以将添加了注释的第一病理图像发送到服务器11。
第二成像装置20是从第一成像装置10替换的成像装置，并且是比第一成像装置10更新的成像装置。第二成像装置20经由网络N向生成装置100等发送第二病理图像
生成装置100是信息处理装置，例如，PC或工作站(WS)，并且基于经由网络N从第一成像装置10、第二成像装置20等发送的信息来执行处理。此外，生成装置100基于第一病理图像和第二病理图像将添加到第一病理图像的注释转录到第二病理图像。然后，生成装置100基于吸附拟合处理来校正转录到第二病理图像的注释，这将在后面描述。以这种方式，生成装置100生成学习数据，该学习数据是用于评估诸如病例和疾病名称等病理信息的数据。
到目前为止，已经简要描述了信息处理系统1。在下文中，将详细描述生成装置100的配置及其处理，但是将首先描述该描述所需的各种类型的信息(病理图像、注释、学习模型等)。
[2.当用于学习的成像装置和用于评估的成像装置相同时的信息处理的示例]
图2示出了基于由第一成像装置10捕捉的第一病理图像和添加到第一病理图像的注释信息来生成学习模型的情况。在下文中，基于添加到第一病理图像的注释生成的学习模型将被适当地称为“学习模型M1”。此外，图2示出了诊断由第一成像装置10新捕捉的第一病理图像的情况。
在下文中，将参考图2描述根据实施例的信息处理的示例。
载玻片SA1至SA4是由第一成像装置10成像的载玻片。此外，载玻片SA11是由第一成像装置10成像的载玻片。注意，载玻片在下文中可能被称为病理主体。此外，根据实施例生成学习模型M1所需的载玻片数量不受限制。尽管图2示出了第一成像装置10对总共四张载玻片SA1至SA4成像的情况，但是由第一成像装置10成像的载玻片的数量可以是三张或更少或者五张或更多。
病理图像LA1至LA4是通过对载玻片SA1至SA4成像获得的病理图像。另外，病理图像LA11是载玻片SA11的病理图像。注意，载玻片的附图标记中的数字分别对应于病理图像的数字。例如，病理图像LA1是载玻片SA1的图像信息。
病理图像LLA1至LLA4是通过向病理图像LA1至LA4添加注释而获得的病理图像。在下文中，载玻片的附图标记中的数字分别对应于添加了注释的病理图像的数字。此外，载玻片参考符号中的数字分别对应于注释中的数字。例如，对应于病理图像LLA1至LLA4的注释是注释AA1至AA4。注意，尽管图2中未示出，但是可以将注释的备注信息添加到病理图像LLA1至LLA4。例如，作为注释的备注信息，可以将标签添加到病理图像LL1至LL4。例如，诸如“标签1A”和“标签1B”等标签可以被添加到病理图像LLA1至LLA4。
学习模型M1是通过学习病理图像LLA1至LLA4的注释信息而生成的模型。例如，学习模型M1是通过学习注释的额外信息而生成的模型。作为具体处理示例，学习模型M1是通过学习当注释的标签是“癌症”时添加了标签“癌症”作为正确答案信息的注释而生成的模型。另外，当输入病理图像时，学习模型M1输出病变包括在病理图像中的概率。例如，当输入病理图像时，学习模型M1输出指示病变的区域包括在病理图像中的概率。
由于基于由第一成像装置10捕捉的第一病理图像生成学习模型M1，所以可以使用学习模型M1来适当地评估由第一成像装置10捕捉的第一病理图像。
上面已经描述了通过将由第一成像装置10捕捉的新病理图像输入到基于由第一成像装置10捕捉的病理图像生成的学习模型M1来执行评估处理。
然而，如果使用基于由第一成像装置10捕捉的病理图像生成的学习模型来评估由不同于第一成像装置10的第二成像装置20捕捉的新病理图像，则因为病理图像在成像装置之间在颜色、放大率、分辨率等方面不同，所以上述学习模型并不总是可能输出适当的信息。因此，在上述信息处理中，存在不能适当评估由诸如第二成像装置20等另一成像装置捕捉的病理图像的可能性。
这将详细描述。例如，在用第二成像装置20替换第一成像装置10的情况下，由于第二成像装置20是比第一成像装置10更新的成像装置，所以第二成像装置20可以具有更高的分辨率。在这种情况下，如果使用利用由具有低分辨率的第一成像装置10捕捉的第一病理图像生成的学习模型来评估由具有高分辨率的第二成像装置20捕捉的第二病理图像，则存在由于分辨率不同而不能适当执行评估的可能性。
作为由从第一成像装置10到第二成像装置20的替换引起的另一个问题，可能没有由第二成像装置20捕捉的病理图像，而有由第一成像装置10捕捉的第一病理图像。例如，在用户刚刚用第二成像装置20替换第一成像装置10的情况下，可能只有由第一成像装置10捕捉的病理图像和使用由第一成像装置10捕捉的病理图像的学习模型M1。如果存储了由第一成像装置10捕捉的病理图像的载玻片，则可以使用第二成像装置20再次捕捉载玻片。然而，用户可能难以使用第二成像装置20对再次捕捉的病理图像准确地添加注释。此外，需要很多时间和很多操作员来添加这些注释。在不能准确添加注释的情况下，难以使用通过使用第二成像装置20对载玻片成像而获得的病理图像来生成用于适当评估病理信息的学习模型。
为了生成能够适当诊断的学习模型，在本实施例中使用以下方法。具体地，生成装置100基于添加到由第一成像装置10捕捉的病理图像的注释，将注释转录到由第二成像装置20捕捉的病理图像。如上所述，通过基于由第一成像装置10捕捉的病理图像对由第二成像装置20再次捕捉的病理图像转录注释，生成装置100可以基于由第二成像装置20捕捉的病理图像容易地生成学习模型(以下适当地称为“学习模型M2”)。通过使用学习模型M2，即使根据第二成像装置20新捕捉的病理图像，生成装置100也可以高精度地评估病理信息。
在下文中，将参考图3描述用于诊断由第二成像装置20捕捉的第二病理图像的信息处理。注意，将适当省略与图2相同的描述。
[3.当用于学习的成像装置和用于评估的成像装置不同时的信息处理的示例]
图3示出了添加到第一病理图像的注释被转录到由第二成像装置20捕捉的第二病理图像的情况。注意，在图3中，由第一成像装置10成像的同一载玻片也由第二成像装置20成像。此外，根据实施例，基于第一病理图像的坐标信息和第二病理图像的坐标信息来转换注释。然后，在该实施例中，第一病理图像的注释被转录到第二病理图像的相应坐标。
在下文中，将描述生成装置100用于生成学习数据的处理，其中，转录注释，以对应于第二病理图像。注意，注释转录后的注释在下文中将被适当地称为“转录注释”。另外，在下文中，吸附拟合处理(即沿着病理图像上的特征的边界拟合转录注释的处理)之后的注释将被适当地称为“校正注释”。尽管在实施例中转录注释和校正注释彼此不同，但是它们可以是相同的注释。例如，当不执行吸附拟合处理时，转录注释和校正注释可以是相同的注释。
载玻片SA1是先前由第一成像装置10成像的载玻片。病理图像LA1是先前对载玻片SA1成像时生成的图像。此外，病理学家等已经向病理图像LA1添加了注释。此外，载玻片SA1也由第二成像装置20再次成像。病理图像LB1是通过再次使用第一成像装置10对已经由第一成像装置10成像的载玻片SA1成像而生成的图像。在图3中，基于病理图像LA1和注释AA1，通过将注释转换为对应于病理图像LB1来生成注释BB1。然后，通过对注释BB1执行吸附拟合来生成注释BB11。在下文中，将参考图4和图5描述根据实施例的生成处理。
图4的(a)示出了病理图像LA1。在图4的(a)中，注释AA1被添加到医学图像LA1。
图4的(b)示出了病理图像LB1。在图4的(b)中，注释BB1被添加到病理图像LB1。注释BB1是通过将注释AA1转换为对应于病理图像LB1而生成的注释。
图5的(a)示出了病理图像LB1。
图5的(b)示出了添加了注释BB1的病理图像LB1。如图5的(b)所示，生成装置100基于病理图像LA1的注释AA1将注释BB1转录到病理图像LB1。例如，生成装置100转录通过转换注释AA1获得的注释BB1，注释是被识别为与病理图像LB1的注释相同的载玻片的注释。注意，如果可以基于标签信息唯一地识别载玻片，则可以高效且有效地指定与由第二成像装置20成像的载玻片相同的载玻片。
如图5的(b)所示，生成装置100转录经过转换的注释BB1，以对应于病理图像LB1。例如，生成装置100基于病理图像LA1和病理图像LB1的坐标信息，将作为基础注释的注释AA1转换成对应于病理图像LB1的注释BB1。在此处，注释BB1是根据实施例的转录注释。在下文中，将描述根据实施例的转换处理。
如上所述，由第一成像装置10添加的注释被转换为对应于第二成像装置20。例如，基于由第一成像装置10捕捉的第一病理图像的坐标信息和由第二成像装置20捕捉的第二病理图像的坐标信息，在第一成像装置10中添加的注释被转换成第二成像装置20的格式的注释。作为具体示例，通过将第二成像装置20捕捉的病理图像的坐标信息与第一成像装置10捕捉的病理图像的坐标信息进行比较，将第一成像装置10中添加的注释的坐标信息转换成第二成像装置20的格式的坐标信息。例如，使用预定的坐标转换信息(例如，坐标转换表)，将在第一成像装置10中添加的注释转换成基于对应于第二成像装置20的格式的坐标信息的注释。例如，使用存储在预定存储单元中的坐标转换数据，将在第一成像装置10中添加的注释转换成基于对应于第二成像装置20的格式的坐标信息的注释。
在图5的(c)中，从转录注释BB1和病理图像LB1生成作为用于学习的注释的校正注释BB11。例如，通过基于第二病理图像吸附拟合转录注释来生成校正注释。可以使用图形切割技术等来执行吸附拟合。因此，可以生成准确和统一的注释。
通过使用如上所述的校正注释，生成装置100具有以下效果。例如，即使在第一成像装置10和第二成像装置20的分辨率不同或者病理图像的质量根据成像条件的差异而不同的情况下，生成装置100也可以通过执行吸附拟合处理来添加更合适的注释。结果，生成装置100可以生成更高质量的学习模型。
在这种情况下，生成装置100通过使用通过学习转换为对应于病理图像LB1的校正注释而新训练的学习模型M2来辅助病理诊断。此外，根据实施例的新训练的学习模型M2是基于第二病理图像新生成的学习模型，以便基于由第一成像装置10捕捉的信息诊断第二病理图像。例如，根据实施例的新训练学习模型M2是基于第二病理图像和基于第一病理图像和第二病理图像校正的注释新训练的学习模型。
生成装置100提供通过学习校正注释而生成的学习模型M2。例如，当输入由第二成像装置20捕捉的第二病理图像时，生成装置100提供评估第二病理图像的学习模型M2。
生成装置100获取病理学家等关于评估结果的诊断结果，并标记校正注释。例如，生成装置100将学习模模型M2传输到成像系统2，获取病理学家等关于使用传输的学习模型M2的评估结果的诊断结果，并且标记校正注释。例如，在评估结果是癌症并且病理学家等关于评估结果的诊断结果也是癌症的情况下，生成装置100将诸如“癌症”等标记添加到校正注释。这样，生成装置100为学习模型M2生成正确答案信息。
如上所述，根据实施例的信息处理包括以下处理。
(1)由第一成像装置10成像的载玻片由第二成像装置20成像。
(2)使用图像处理来识别由第二成像装置20成像并由第一成像装置10成像的载玻片。
(3)在第一成像装置10中添加的注释被转换成第二成像装置20的格式的注释。
(4)基于由第二成像装置20捕捉的病理图像和转换的注释，使用图像处理将注释转换成校正注释。
(5)在转换成校正注释之后，基于作为教师数据的先前载玻片的标签来学习校正注释。
因此，可以以简单的方式更换成像装置。
图2至图5所示的各种类型的信息处理不限于上述内容，并且可以以各种形式执行。这将在下面描述。
[4.生成装置的配置]
接下来，将参考图6描述根据实施例的生成装置100的配置。图6是示出根据实施例的生成装置100的配置示例的示图。如图6所示，生成装置100包括通信单元110、存储单元120和控制单元130。生成装置100可以包括用于从生成装置100的管理员接收各种操作的输入单元(例如，键盘或鼠标)以及用于显示各种类型的信息的显示单元(例如，液晶显示器)。
(通信单元110)
通信单元110由例如网卡等实现。通信单元110以有线或无线方式连接到网络N，以经由网络N向第一成像装置10等发送信息和从第一成像装置10等接收信息
(存储单元120)
存储单元120例如由诸如RAM或闪存等半导体存储元件或者诸如硬盘或光盘等存储装置来实现。如图6所示，存储单元120包括载玻片存储单元121、载玻片数据存储单元122、注释存储单元123、新载玻片存储单元124、新载玻片数据存储单元125、转录注释存储单元126、校正注释存储单元127、模型存储单元128和坐标转换信息存储单元129。
载玻片存储单元121存储关于由第一成像装置10成像的载玻片的信息。载玻片存储单元121存储关于载玻片数据存储路径的信息。在此处，图7示出了根据实施例的载玻片存储单元121的示例。如图7所示，载玻片存储单元121包括诸如“载玻片ID”和“载玻片数据存储路径”等项目。
“载玻片ID”表示用于识别载玻片的识别信息。“载玻片数据存储路径”指示关于存储载玻片数据的存储目的地的信息。例如，“载玻片数据存储路径”表示存储目的地的路径信息。例如，“载玻片数据存储路径”表示存储在载玻片数据存储单元122中的路径。例如，“载玻片数据存储路径”可以是载玻片数据所在的URL、存储目的地的文件路径名等。在图7的示例中，示出了被标识为载玻片ID“DS1”的载玻片的载玻片数据存储路径是“/data/hoge1”。
载玻片数据存储单元122存储关于由第一成像装置10成像的载玻片的载玻片数据的信息。在此处，图8示出了根据实施例的载玻片数据存储单元122的示例。如图8所示，载玻片数据存储单元122包括诸如“载玻片ID”和“载玻片数据”等项目。
“载玻片ID”表示用于识别载玻片的识别信息。“载玻片数据”表示关于载玻片数据的信息。例如，“载玻片数据”表示通过对载玻片成像而获得的病理图像、关于载玻片的信息等。在图8的示例中，示出了诸如“载玻片数据#1”和“载玻片数据#2”等概念信息存储在“载玻片数据”中。然而，实际上存储诸如病理图像等数据。在图8的示例中，示出了由载玻片ID“DS1”标识的载玻片的载玻片数据是“载玻片数据#1”。
注释存储单元123存储关于由第一成像装置10成像的载玻片的注释的信息。在此处，图9示出了根据实施例的注释存储单元123的示例。如图9所示，注释存储单元123包括诸如“注释ID”、“载玻片ID”、“注释数据”和“标签”等项目。
“注释ID”表示用于识别注释的识别信息。“载玻片ID”表示用于识别载玻片的识别信息。“载玻片ID”表示用于识别附加了注释的载玻片的识别信息。“注释数据”表示关于注释数据的信息。例如，“注释数据”指示注释的位置信息、注释的额外信息等。在图9的示例中，示出了诸如“A1_1.xml”和“A2_1.xml”等坐标信息以XML格式存储在“注释数据”中。“标签”指示关于添加到注释的标签的信息。在图9的示例中，示出了添加到由注释ID“DA1”和载玻片ID“DS1”标识的注释的标签是“癌症”。如上所述，“标签”是指示例如对应部位是否是癌症、非癌症的标签，并且指示为学习而生成的学习数据。
图10是图9所示的信息的示例。图10所示的载玻片1对应于图9中标识为DS1的载玻片。图10所示的A1至A3对应于图9中标识为A1_1.xml至A3_1.xml的注释。如上所述，一张载玻片中可以包括多个注释。在这种情况下，可以基于注释ID和载玻片ID来识别注释。
新载玻片存储单元124存储关于由第二成像装置20成像的载玻片的信息。在此处，图11示出了根据实施例的新载玻片存储单元124的示例。新载玻片存储单元124存储与载玻片存储单元121相同的信息。因此，将省略其描述。
新载玻片数据存储单元125存储关于由第二成像装置20成像的载玻片的载玻片数据的信息。在此处，图12示出了根据实施例的新载玻片数据存储单元125的示例。新载玻片数据存储单元125存储与载玻片数据存储单元122相同的信息。因此，将省略其描述。
转录注释存储单元126存储关于转录后注释的信息。转录注释存储单元126存储关于在转换由第一成像装置10成像的载玻片的注释之后的注释的信息。转录注释存储单元126在转换注释存储单元123中存储的注释之后存储关于注释的信息。在此处，图13示出了根据实施例的转录注释存储单元126的示例。转录注释存储单元126存储与注释存储单元123相同的信息。因此，将省略其描述。
校正注释存储单元127存储关于校正注释的信息。校正注释存储单元127存储关于基于关于转录注释的信息和新载玻片数据生成的校正注释的信息。例如，校正注释存储单元127基于关于转录注释和新载玻片数据的信息存储关于吸附拟合之后的校正注释的信息。在此处，图14示出了根据实施例的校正注释存储单元127的示例。如图14所示，校正注释存储单元127包括诸如“校正注释ID”、“新载玻片数据”、“转录注释数据”和“标签”的项目。
“校正注释ID”指示用于识别校正注释的识别信息。“新载玻片数据”表示关于新载玻片数据的信息。“转录注释数据”指示关于转录注释数据的信息。“标签”表示关于添加到原始注释的标签的信息。
模型存储单元128存储关于模型的信息。例如，模型存储单元128存储关于输出指示关于病理主体的诊断程度的信息的模型的信息。例如，模型存储单元128存储关于模型的信息，这些模型基于新的载玻片数据和校正注释输出指示诊断程度的信息。图15示出了模型存储单元128的示例。如图15所示，模型存储单元128包括诸如“模型ID”和“模型(计算公式)”等项目。
“模型ID”表示用于识别模型的识别信息。“模型(计算公式)”表示模型的计算公式。在图15的示例中，示出了诸如“模型#11”和“模型#22”等概念信息存储在“模型(计算公式)”中。然而，实际上存储模型的权重。例如，神经网络中节点之间连接的权重存储在“模型(计算公式)”中。
坐标转换信息存储单元129存储关于使用坐标信息的注释转换的信息。图16示出了坐标转换信息存储单元129的示例。如图16所示，坐标转换信息存储单元129包括诸如“坐标转换ID”和“坐标转换信息”等项目。
“坐标转换ID”表示用于识别坐标转换信息的识别信息。“坐标转换信息”指示关于坐标信息的信息，该坐标信息用于将第一成像装置10的格式的注释转换成第二成像装置20的格式的注释。
图17示出了坐标转换信息的示例。例如，图17示出了作为坐标转换信息的图16所示的“坐标转换#11”的示例。图17示出了坐标转换信息中保存的值。图17示出了保持先前用于捕捉图像的第一成像装置10的值和第二成像装置20的值的情况。图17示出了成像值基于指示一个像素对应多少um的um/pix的情况。图17示出了由于垂直轴和水平轴上的值可能不同而保持双轴值的情况。图17示出了通过将垂直轴上的坐标信息从作为先前捕捉的图像中的值的5um/pix转换成作为新捕捉的图像中的值的2um/pix并将水平轴上的坐标信息从作为先前捕捉的图像中的值的10um/pix转换成作为新捕捉的图像中的值的5um/pix，而将第一成像装置10的格式转换成第二成像装置20的格式的情况。
(控制单元130)
控制单元130是控制器，并且通过例如使用RAM作为工作区域来执行存储在生成装置100内部的存储装置中的各种程序的CPU、MPU等来实现。或者，控制单元130是控制器，并且例如通过诸如ASIC或FPGA等集成电路来实现。
如图6所示，控制单元130包括获取单元131、转换单元132、吸附单元133、生成单元134和提供单元135，以实现或执行将在下面描述的信息处理。注意，控制单元130的内部配置不限于图6所示的配置，并且可以是另一种配置，只要执行稍后将描述的信息处理。
(获取单元131)
获取单元131获取由第一成像装置10捕捉的第一病理图像。参考图1所示的示例，获取单元131获取存储在服务器11中的第一病理图像。
获取单元131获取添加到第一病理图像的注释。参考图1所示的示例，获取单元131获取存储在服务器11中的注释。然后，获取单元131将获取的注释存储在注释存储单元123中。然后，获取单元131将对应于所获取的第一病理图像的载玻片ID存储在载玻片存储单元121中。此外，获取单元131将获取的载玻片数据存储在载玻片数据存储单元122中。
获取单元131获取坐标转换信息，用于将第一病理图像的注释转换为对应于第二病理图像。例如，获取单元131从坐标转换信息存储单元129获取用于将第一病理图像的坐标信息转换成第二病理图像的坐标信息的坐标转换信息。
获取单元131获取第二病理图像。获取单元131获取由第二成像装置20捕捉的第二病理图像。参考图1所示的示例，获取单元131获取存储在服务器21中的第二病理图像。然后，获取单元131将对应于所获取的第二病理图像的载玻片ID存储在新载玻片存储单元124中。此外，获取单元131将获取的第二病理图像存储在新载玻片数据存储单元125中。
获取单元131获取转录注释。例如，获取单元131从转录注释存储单元126获取转录注释。例如，获取单元131获取具有第二病理图像的转录注释。
获取单元131获取校正注释。例如，获取单元131从校正注释存储单元127获取校正注释。例如，获取单元131获取具有第二病理图像的校正注释。
获取单元131获取学习模型。例如，获取单元131从模型存储单元128获取学习模型。例如，在诊断出第一病理图像的情况下，获取单元131获取学习模型M1。例如，在诊断出第二病理图像的情况下，获取单元131获取学习模型M2。
(转换单元132)
转换单元132转换添加到由获取单元131获取的第一病理图像的注释。转换单元132使用由获取单元131获取的坐标转换信息将添加到第一病理图像的注释转换成对应于第二病理图像的注释。这样，转换单元132生成转录注释。然后，转换单元132将转录注释存储在转录注释存储单元126中。
转换单元132将对应于先前捕捉的病理图像的注释的坐标信息转换成对应于新捕捉的病理图像的注释的坐标信息。作为具体示例，对应于先前捕捉的病理图像的注释是正方形标记，并且正方形的顶点的坐标信息分别是(0，0)、(0，100)、(100，0)和(100，100)。同时，在图16中，第一成像装置10和第二成像装置20的组合预先与“DX11”相关联。在这种情况下，当输入第一成像装置10和第二成像装置20的组合时，转换单元132使用存储在坐标转换信息存储单元129中的对应于“DX11”的坐标转换信息来转换坐标信息。在此处，在对应于“DX11”的坐标转换信息是图17所示的坐标转换信息的情况下，像素标记(0，0)、(0，100)、(100，0)和(100，100)分别用微米符号表示为(0，0)、(0，500)、(1000，0)和(1000，500)。然后，转换单元132使用图17所示的坐标转换信息，即(0，0)、(0，500/2)、(1000/5，0)和(1000/5，500/2)，将坐标信息转换成对应于新捕捉的病理图像的注释的坐标信息。这样，转换单元132将坐标信息转换成对应于新捕捉的病理图像的注释的坐标信息。
(吸附单元133)
吸附单元133将由转换单元132生成的转录注释转录到第二病理图像。例如，吸附单元133将存储在转录注释存储单元126中的转录注释转录到存储在新载玻片数据存储单元125中的第二病理图像。具体地，吸附单元133将获取单元131从转录注释存储单元126获取的转录注释转录到获取单元131从新载玻片数据存储单元125获取的第二病理图像。
吸附单元133对转录到第二病理图像的转录注释执行吸附拟合处理。这样，吸附单元133生成校正注释。然后，吸附单元133将校正注释存储在校正注释存储单元127中。
(生成单元134)
生成单元134生成评估第二病理图像的病理信息的学习模型M2。当输入第二病理图像时，生成单元134生成输出用于评估第二病理图像的病理信息的信息的学习模型M2。生成单元134使用校正注释作为学习数据来生成评估第二病理图像的病理信息的学习模型M2。例如，生成单元134生成评估病理信息的学习模型M2。例如，生成单元134生成学习模型M2，其评估包括病变的区域包括在第二病理图像中的概率。然后，生成单元134将生成的学习模型M2存储在模型存储单元128中。
生成单元134可以使用转录注释作为学习数据来生成评估第二病理图像的病理信息的学习模型M2。例如，在这种情况下不执行吸附拟合处理。生成单元134将生成的学习模型M2存储在模型存储单元128中。
生成单元134可以使用注释作为学习数据来生成评估第一病理图像的病理信息的学习模型M1。例如，在这种情况下，学习模型M1用于诊断第一病理图像。生成单元134将生成的学习模型M1存储在模型存储单元128中。
(提供单元135)
提供单元135提供由生成单元134生成的学习模型。例如，提供单元135提供通过学习校正注释而生成的学习模型。例如，当输入由第二成像装置20捕捉的第二病理图像时，提供单元135提供评估第二病理图像的病理信息的学习模型。
[5.信息处理流程]
接下来，将参考图18至图20描述根据实施例的信息处理系统1的信息处理过程。图18至图20是示出根据实施例的信息处理系统1的信息处理过程的流程图。
如图18所示，生成装置100获取关于目标载玻片的注释的信息(步骤S101)。生成装置100获取关于值的信息，作为坐标转换信息(步骤S102)。生成装置100将用于先前捕捉的图像的注释的坐标信息转换成用于捕捉的图像的注释的坐标信息(步骤S103)。生成装置100将转换后的注释与载玻片ID和标签一起存储在转录注释存储单元126中(步骤S104)。生成装置100评估载玻片是否包括其他注释(步骤S105)。当载玻片包括其他注释时(步骤S105是)，生成装置100重复步骤S103和S104的处理，与载玻片中包括的其他注释的数量一样多。另一方面，当载玻片不包括其他注释时(步骤S105否)，生成装置100结束信息处理。
将参考图19描述生成单元134的处理的示例。图19示出了当图像被识别时，生成装置100使用第二病理图像将转录注释转换成基于更高清晰度坐标的转录注释的处理。如图19所示，载玻片ID被指定给生成装置100(步骤S201)。生成装置100获取目标载玻片的第二病理图像(步骤S202)。生成装置100获取目标载玻片的转录注释(步骤S203)。生成装置100使用第二病理图像使获取的转录注释具有高清晰度(步骤S204)。在此处，生成装置100可以使用例如图形切割，作为用于高清晰度的处理。例如，生成装置100可以使用美国专利申请号US8787642B2等中描述的方法，作为用于高清晰度的处理。生成装置100将高清晰度校正注释存储在校正注释存储单元127中(步骤S205)。另外，生成装置100将与注释一起添加的标签作为校正注释的标签存储在校正注释存储单元127中。生成装置100评估载玻片是否包括其他转录注释(步骤S206)。当载玻片包括其他转录注释时(步骤S206是)，生成装置100重复步骤S204和S205的处理，与载玻片中包括的其他转录注释的数量一样多。另一方面，当载玻片不包括其他转录注释时(步骤S206否)，生成装置100结束信息处理。
将参考图20描述生成单元134的处理的示例。如图20所示，生成装置100获取存储在校正注释存储单元127中的校正注释和标签(步骤S301)。生成装置100在获取的校正注释周围的图像上切出小块(步骤S302)。在此处，小块可以有任何大小。生成装置100通过学习所切出的小块的图像和标签来生成学习模型M2(步骤S303)。生成装置100将生成的学习模型M2存储在模型存储单元128中(步骤S304)。
[6.处理变化]
根据上述实施例的信息处理系统1可以以不同于上述实施例的各种不同模式来实现。在下文中，将描述信息处理系统1的其他实施例。注意，将适当省略与上述实施例相同的描述。
[6-1.标签类型]
在上述示例中已经描述了根据实施例的标签被提供给每个注释，但是标签可以被提供给每个目标载玻片。例如，在上述实施例中，在载玻片中仅包括一个注释的情况下，可以为每个载玻片提供根据该实施例的标签。此外，可以为每个目标病理图像提供根据实施例的标签。例如，在上述实施例中，在通过对载玻片成像获得的病理图像中仅包括一个注释的情况下，可以为每个病理图像提供根据实施例的标签。
[6-2.提供评估结果]
在上述示例中，已经描述了生成装置100向服务器11提供学习模型M2。在此处，生成装置100可以通过从服务器11接收第二病理图像来向服务器11提供评估结果。例如，当从服务器11接收第二病理图像时，生成装置100从模型存储单元128获取对应于第二病理图像的学习模型M2。然后，生成装置100将第二病理图像输入到学习模型M2，以评估第二病理图像的病理信息。此外，生成装置100基于评估结果标记校正注释。然后，生成装置100将第二病理图像的病理评估结果发送到服务器11。在这种情况下，服务器11将接收到的评估结果发送到显示控制装置12。显示控制装置12控制显示装置13显示从服务器11接收的评估结果。尽管在图6中未示出，但是生成装置100可以包括评估单元137。评估单元137将由获取单元131获取的第二病理图像输入到学习模型M2，以评估第二病理图像的病理信息。在评估单元137包括在生成装置100中的情况下，提供单元135向服务器11提供由评估单元137评估的评估结果。
[6-3.学习方法]
根据实施例的学习模型不限于基于神经网络的模型，例如，深度学习模型，并且任何模型都可以适用，只要该模型基于机器学习算法。例如，学习模型可以是基于随机森林的模型。
[6-4.病理主体]
在上述示例中已经描述了根据实施例的病理主体是活体的细胞、组织、器官等的一部分，但是任何病理主体都可以适用，只要该病理主体是从患者收集的。例如，根据实施例的病理主体可以是血液等。
[6-5.成像主体]
在上述示例中，已经描述了由第一成像装置10成像的病理主体和由第二成像装置20成像的病理主体是相同组织、细胞、器官等的相同切片。也就是说，在上述示例中，已经描述了由第一成像装置10成像的载玻片和由第二成像装置20成像的载玻片是相同的。在此处，由第一成像装置10成像的载玻片和由第二成像装置20成像的载玻片可以不是同一张。具体而言，由第一成像装置10成像的病理主体和由第二成像装置20成像的病理主体可以是从相同组织、细胞、器官等收集的不同切片。例如，由第一成像装置10成像的病理主体和由第二成像装置20成像的病理主体可以是从同一组织块收集的不同组织。此外，病理主体的相同组织、细胞、器官等的相同切片包括随着预定时间段的流逝等在某种程度上处于恶化状态的病理主体。在此处，恶化状态在某种程度上可以是任何状态，只要在恶化后的状态和恶化前的状态之间在成像时病理图像上的特征量的差异小于预定阈值。
[6-6.使用坐标信息的注释转换方法]
在上述示例中，已经描述了基于两个病理图像的坐标信息来转换一个病理图像的注释。在此处，根据实施例的坐标信息可以以任何方式确定，只要坐标信息对应于载玻片。例如，根据实施例的坐标信息可以是以载玻片上的特定位置为原点定义的坐标信息。例如，根据实施例的坐标信息可以是以载玻片的四个角之一作为原点定义的坐标信息。
此外，根据实施例的转换可以是用于校正偏差的转换，例如，因为载玻片根据成像装置的载物台移动规范移动或者整个载玻片倾斜。具体地，载玻片根据成像装置等的载物台移动规范而移动，可能导致先前捕捉的病理图像和新捕捉的病理图像之间的位置差异。在这种情况下，生成装置100基于图像识别处理来校正病理图像的偏差。例如，生成装置100基于诸如特征点提取或模板匹配等处理来校正病理图像的偏差。此外，根据实施例的转换不限于这些示例，并且可以是用于校正由镜头失真引起的偏差的转换。此外，镜头失真校正可以是通过多次捕捉图像并对捕捉的图像进行集成来对整个载玻片进行校正。在这种情况下，生成装置100可以通过对多个捕捉的病理图像中的每一个执行镜头失真校正并且对已经执行了镜头失真校正的多个病理图像进行集成来对整个载玻片执行镜头失真校正。此外，镜头失真校正不限于对整个载玻片的校正，并且可以是局部校正。
[6-7.使用成像装置格式的注释转换方法]
在上述示例中，已经描述了基于由第一成像装置10捕捉的病理图像的坐标信息和由第二成像装置20捕捉的病理图像的坐标信息，在第一成像装置10中添加的注释被转换成第二成像装置20的格式的注释。在此处，根据实施例的注释的转换不限于使用坐标信息的转换。例如，根据实施例的注释的转换可以是基于存储病理图像的格式的转换。在这种情况下，在存储第一病理图像的格式不同于存储第二病理图像的格式的情况下，生成装置100将添加到第一病理图像的注释转换为对应于存储第二病理图像的格式。例如，生成装置100通过使用预先确定的转换信息关联格式，将注释转换为对应于第二病理图像的格式。
[6-8.根据实施例的注释]
根据实施例的注释可以是任何信息，只要该信息被添加到图像上。根据实施例的注释可以是通过使用机器学习等的对象识别而添加的信息，或者可以是由用户手动添加的信息。注意，根据实施例的注释不限于闭合曲线，并且可以是非闭合环。此外，根据实施例的注释可以具有任何几何形状。此外，根据实施例的注释可以包括在生成注释的过程中在图像上可视化的信息。例如，根据实施例的注释可以包括关于基于图像上的特征信息的注释拟合的信息。例如，根据实施例的注释可以包括关于注释拟合条件的信息。
根据该实施例的标签可以是任何标签，只要该标签旨在用于医疗或病理信息。例如，根据实施例的标签是指示患者活体的细胞、组织、器官等的状况的标签。作为具体示例，标签表明癌症。此外，根据实施例的标签可以是由二进制分类指示的标签，例如，是否是癌症。具体地，根据实施例的标签可以是诸如“癌症”或“非癌症”等标签。此外，根据实施例的标签可以是例如指示癌症的详细分类的标签。具体地，根据实施例的标签可以是指示癌症进展阶段的标签，例如，“阶段1”、“阶段2”或“阶段3”，或者可以是指示癌症类型的标签，例如，“食道癌”、“结直肠癌”或“胃癌”。此外，为每个注释提供根据实施例的标签。注意，在该实施例中，多个标签可以被添加到一个注释。例如，在该实施例中，诸如“癌症”、“阶段1”和“食道癌”等多个标签可以被添加到一个注释中。注意，在该实施例中，没有添加标签的注释可以被认为被给予了指示没有异常的标签。
[6-9.根据实施例的载玻片]
根据实施例的载片可以是任何一种，只要该载片是显微镜中使用的通用载片。例如，根据实施例的载玻片是玻璃载玻片。在上述实施例中，载玻片可以被称为“玻璃载玻片”或“病理载玻片”。
[6-10.注释的转换]
在上述示例中，已经描述了基于第一病理图像的坐标信息和第二病理图像的坐标信息转录注释。此外，本实施例不限于基于坐标信息的注释的转录。例如，生成装置100可以基于第一病理图像和第二病理图像的特征点转录注释。具体地，生成装置100提取第一病理图像的特征点和第二病理图像的特征点。然后，生成装置100匹配第一病理图像和第二病理图像，使得从相应病理图像提取的特征点彼此匹配。这样，生成装置100基于第一病理图像的特征点和第二病理图像的特征点生成用于匹配第一病理图像和第二病理图像的转换信息。然后，生成装置100根据转换信息转录注释。
[6-11.学习数据]
在上述示例中，已经描述了基于使用坐标信息的注释的转换和吸附拟合来生成用于评估第二病理图像的病理信息的学习数据。在此处，生成装置100可以使用转录注释作为学习数据来生成学习模型M2。也就是说，生成装置100可以不执行吸附拟合处理。
[6-12.使用病理病例号识别载玻片]
在上述示例中，假设可以唯一识别载玻片的载玻片ID被打印在标签等上。然而，在每个医院中，标签和载玻片ID可能以不同的方式管理，并且载玻片可能以不能唯一识别载玻片的ID形式保存。例如，作为最典型的方法之一，基于病理病例号管理载玻片ID。在这种情况下，基于病理病例号来管理ID。此外，病理病例号还可以包括多个载玻片。因此，即使可以通过识别标签来识别病理病例号，也不总是能够识别载玻片。
在下文中，将描述在载玻片以不能唯一识别载玻片的ID形式保存的情况下识别载玻片的处理。在修改中，增加了用于通过执行图像处理来识别载玻片的信息处理。具体地，在修改中，添加了识别载玻片的检索单元136。图22示出了根据修改的信息处理的总体配置图。注意，除了检索单元136的信息处理之外的处理与图21所示的示例中的处理相同，因此将省略其描述。如图23所示，控制单元130可以包括检索单元136。此外，控制单元130可以实现或执行将在下面描述的信息处理。
(检索单元136)
检索单元136识别第一病理图像的载玻片。检索单元136识别对应于病理病例号的载玻片。具体地，检索单元136基于图像处理来识别与第二病理图像的载玻片相同的载玻片。例如，检索单元136使用诸如病理图像之间的直方图匹配、特征点提取、模板匹配等技术来识别载玻片。此外，检索单元136可以通过使用机器学习计算病理图像之间的相似度来识别具有高相似度的第一病理图像的载玻片。
接下来，将参考图24描述根据修改的信息处理系统1的信息处理过程。图24是示出根据实施例的信息处理系统1的信息处理过程的流程图。
如图24所示，生成装置100获取载玻片的病理病例号(步骤S401)。生成装置100从获取的病理病例号获取多条先前成像的载玻片数据(步骤S402)。生成装置100计算成像的载玻片和多条先前成像的载玻片数据之间的相似度(步骤S403)。生成装置100基于所计算的相似度来识别具有最高相似度的载玻片(步骤S404)。
[7.硬件配置]
此外，根据上述实施例的成像系统2和生成装置100通过例如具有如图25所示的配置的计算机1000来实现。图25是示出实现成像系统2和生成装置100的功能的计算机的示例的硬件配置图。计算机1000包括CPU1100、RAM 1200、ROM 1300、HDD 1400、通信接口(I/F)1500、输入/输出接口(I/F)1600和媒体接口(I/F)1700。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，以控制每个单元。ROM 1300存储当激活计算机1000时由CPU 1100执行的引导程序、取决于计算机1000的硬件的程序等。
HDD 1400存储由CPU 1100执行的程序、程序使用的数据等。通信接口1500经由预定的通信网络从另一装置接收数据，将数据发送到CPU1100，并且经由预定的通信网络将由CPU 1100生成的数据发送到另一装置。
CPU 1100经由输入/输出接口1600控制诸如显示器或打印机等输出装置和诸如键盘或鼠标等输入装置。CPU 1100经由输入/输出接口1600从输入装置获取数据。此外，CPU1100经由输入/输出接口1600向输出装置输出生成的数据。
媒体接口1700读出存储在记录介质1800中的程序或数据，并经由RAM 1200将程序或数据提供给CPU 1100。CPU 1100经由媒体接口1700将程序从记录介质1800加载到RAM1200上，并执行加载的程序。记录介质1800例如是诸如数字多功能盘(DVD)或相变可重写盘(PD)等光学记录介质、诸如磁光盘(MO)等磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
例如，在计算机1000用作根据实施例的成像系统2和生成装置100的情况下，计算机1000的CPU 1100通过执行加载在RAM 1200上的程序来实现每个控制单元的功能。计算机1000的CPU 1100从记录介质1800读出程序并执行读出的程序，但是作为另一示例，可以经由预定的通信网络从另一装置获取程序。
[8.其他]
此外，在上述实施例和修改中描述的过程中，可以手动执行被描述为自动执行的所有或一些过程，或者可以通过已知方法自动执行被描述为手动执行的所有或一些过程。此外，处理过程、特定术语以及包括以上和附图中公开的各种数据和参数的信息可以任意改变，除非另有说明。例如，每个附图中所示的各种类型的信息不限于所示的信息。
此外，附图中示出的每个装置的每个组件在功能方面是概念性的，并且不一定在物理方面如附图中示出的那样配置。也就是说，分布或集成装置的具体形式不限于所示出的形式，并且所有或一些装置可以根据各种负载、使用条件等在功能上或物理上分布或集成在任意单元中。
此外，如果在处理中没有引起矛盾，则可以适当地组合上述实施例和修改。
虽然已经参考附图详细描述了本申请的一些实施例，但是这些实施例仅仅是示例性的，并且本发明可以基于本领域技术人员的知识以及根据上述实施例以具有各种修改和改进的其他形式来实现。
此外，上述“部分”、“模块”或“单元”可以解释为“装置”、“电路”等。例如，获取单元可以被解释为获取装置或获取电路。
注意，本技术还可以具有以下配置。
(1)一种生成装置，包括：
获取单元，所述获取单元获取捕捉的第一病理图像以及注释，该注释是添加到第一病理图像的信息并且是与第一病理图像相关的元信息；以及
生成单元，该生成单元根据不同于第一病理图像的第二病理图像生成用于根据第二病理图像评估与病理相关的信息的学习数据，该学习数据是通过以对应于第二病理图像的方式转录该注释而得到的学习用的学习数据。
(2)根据(1)所述的生成装置，其中，
所述生成单元
在将该注释转换成对应于第二病理图像的注释之后，生成转录转换后的注释而得到的学习数据。
(3)根据(1)或(2)所述的生成装置，其中，
所述生成单元
基于第二病理图像生成学习数据，第二病理图像是具有与第一病理图像的分辨率不同的分辨率的病理图像。
(4)根据(1)至(3)中任一项所述的生成装置，其中，
所述生成单元
基于第二病理图像生成学习数据，第二病理图像是具有比第一病理图像的可见性高的可见性的病理图像。
(5)根据(1)至(4)中任一项所述的生成装置，其中，
所述生成单元
基于第二病理图像生成学习数据，第二病理图像是具有比第一病理图像的分辨率低的分辨率的病理图像。
(6)根据(1)至(5)中任一项所述的生成装置，其中，
所述生成单元
基于第二病理图像生成学习数据，第二病理图像是在与第一病理图像的成像条件不同的成像条件下捕捉的病理图像。
(7)根据(1)至(6)中任一项所述的生成装置，其中，
所述生成单元
基于第二病理图像生成学习数据，第二病理图像是由与已经捕捉第一病理图像的成像装置不同的成像装置捕捉的病理图像。
(8)根据(1)至(7)中任一项所述的生成装置，其中，
所述生成单元
基于第二病理图像生成学习数据，所述第二病理图像是以与所述第一病理图像的放大率不同的放大率捕捉的病理图像。
(9)根据(1)至(8)中任一项所述的生成装置，其中，
所述生成单元
基于第二病理图像生成学习数据，第二病理图像是通过对从与第一病理图像的样本相同的样本收集的切片进行成像而获得的病理图像。
(10)根据(1)至(9)中任一项所述的生成装置，其中，
所述生成单元
基于第二病理图像生成学习数据，所述第二病理图像是通过对与第一病理图像的载玻片相同的载玻片成像而获得的病理图像。
(11)根据(1)至(10)中任一项所述的生成装置，其中，
所述生成单元
生成转录校正注释而得到的学习数据，通过将该注释转换成与关于已经捕捉第二病理图像的第二成像装置的信息相对应的注释，然后进一步将转换后的注释转换成与第二病理图像相对应的注释，来获得所述校正注释。
(12)一种生成装置，包括：
获取单元，该获取单元获取由第一成像装置捕捉的第一病理图像以及注释，该注释是添加到第一病理图像的信息并且是与第一病理图像相关的元信息；以及
生成单元，该生成单元根据由不同于第一成像装置的第二成像装置捕捉的第二病理图像生成用于根据第二病理图像评估与病理相关的信息的学习数据，该学习数据是通过以对应于第二病理图像的方式转录该注释而得到的学习用的学习数据。
(13)一种由计算机执行的生成方法，包括：
获取捕捉的第一病理图像以及注释，该注释是添加到第一病理图像的信息并且是与第一病理图像相关的元信息；以及
根据不同于第一病理图像的第二病理图像生成用于根据第二病理图像评估与病理相关的信息的学习数据，该学习数据是通过以对应于第二病理图像的方式转录该注释而得到的学习用的学习数据。
(14)一种由计算机执行的生成方法，包括：
获取由第一成像装置捕捉的第一病理图像以及注释，该注释是添加到第一病理图像的信息并且是与第一病理图像相关的元信息；以及
根据由不同于第一成像装置的第二成像装置捕捉的第二病理图像生成用于根据第二病理图像评估与病理相关的信息的学习数据，该学习数据是通过以对应于第二病理图像的方式转录该注释而得到的学习用的学习数据。
附图标记列表
1 信息处理系统
10 第一成像装置
20 第二成像装置
100 生成装置
110 通信单元
120 存储单元
121 载玻片存储单元
122 载玻片数据存储单元
123 注释存储单元
124 新载玻片存储单元
125 新载玻片数据存储单元
126 转录注释存储单元
127 校正注释存储单元
128 模型存储单元
129 坐标转换信息存储单元
130 控制单元
131 获取单元
132 转换单元
133 吸附单元
134 生成单元
135 提供单元
136 检索单元
N 网络。

Claims (14)

1.一种生成装置，包括：
获取单元，所述获取单元获取捕捉的第一病理图像以及注释，所述注释是添加到所述第一病理图像的信息并且是与所述第一病理图像相关的元信息；以及
生成单元，所述生成单元根据不同于所述第一病理图像的第二病理图像生成用于根据所述第二病理图像评估与病理相关的信息的学习数据，所述学习数据是通过以对应于所述第二病理图像的方式转录所述注释而得到的学习用的学习数据。
2.根据权利要求1所述的生成装置，其中，
所述生成单元
在将所述注释转换成对应于所述第二病理图像的注释之后，生成转录转换后的注释而得到的所述学习数据。
3.根据权利要求1所述的生成装置，其中，
所述生成单元
基于所述第二病理图像生成所述学习数据，所述第二病理图像是具有与所述第一病理图像的分辨率不同的分辨率的病理图像。
4.根据权利要求3所述的生成装置，其中，
所述生成单元
基于所述第二病理图像生成所述学习数据，所述第二病理图像是具有比所述第一病理图像的可见性高的可见性的病理图像。
5.根据权利要求3所述的生成装置，其中，
所述生成单元
基于所述第二病理图像生成所述学习数据，所述第二病理图像是具有比所述第一病理图像的分辨率低的分辨率的病理图像。
6.根据权利要求1所述的生成装置，其中，
所述生成单元
基于所述第二病理图像生成所述学习数据，所述第二病理图像是在与所述第一病理图像的成像条件不同的成像条件下捕捉的病理图像。
7.根据权利要求6所述的生成装置，其中，
所述生成单元
基于所述第二病理图像生成所述学习数据，所述第二病理图像是由与已经捕捉所述第一病理图像的成像装置不同的成像装置捕捉的病理图像。
8.根据权利要求6所述的生成装置，其中，
所述生成单元
基于所述第二病理图像生成所述学习数据，所述第二病理图像是以与所述第一病理图像的放大率不同的放大率捕捉的病理图像。
9.根据权利要求1所述的生成装置，其中，
所述生成单元
基于所述第二病理图像生成所述学习数据，所述第二病理图像是通过对从与所述第一病理图像的样本相同的样本收集的切片进行成像而获得的病理图像。
10.根据权利要求9所述的生成装置，其中，
所述生成单元
基于所述第二病理图像生成所述学习数据，所述第二病理图像是通过对与所述第一病理图像的载玻片相同的载玻片成像而获得的病理图像。
11.根据权利要求1所述的生成装置，其中，
所述生成单元
生成转录校正注释而得到的所述学习数据，通过将所述注释转换成与关于已经捕捉所述第二病理图像的第二成像装置的信息相对应的注释，然后进一步将转换后的注释转换成与所述第二病理图像相对应的注释，来获得所述校正注释。
12.一种生成装置，包括：
获取单元，所述获取单元获取由第一成像装置捕捉的第一病理图像以及注释，所述注释是添加到所述第一病理图像的信息并且是与所述第一病理图像相关的元信息；以及
生成单元，所述生成单元根据由不同于所述第一成像装置的第二成像装置捕捉的第二病理图像生成用于根据所述第二病理图像评估与病理相关的信息的学习数据，所述学习数据是通过以对应于所述第二病理图像的方式转录所述注释而得到的学习用的学习数据。
13.一种由计算机执行的生成方法，包括：
获取捕捉的第一病理图像以及注释，所述注释是添加到所述第一病理图像的信息并且是与所述第一病理图像相关的元信息；以及
根据不同于所述第一病理图像的第二病理图像生成用于根据所述第二病理图像评估与病理相关的信息的学习数据，所述学习数据是通过以对应于所述第二病理图像的方式转录所述注释而得到的学习用的学习数据。
14.一种由计算机执行的生成方法，包括：
获取由第一成像装置捕捉的第一病理图像以及注释，所述注释是添加到所述第一病理图像的信息并且是与所述第一病理图像相关的元信息；以及
根据由不同于所述第一成像装置的第二成像装置捕捉的第二病理图像生成用于根据所述第二病理图像评估与病理相关的信息的学习数据，所述学习数据是通过以对应于所述第二病理图像的方式转录所述注释而得到的学习用的学习数据。
CN202080072080.5A 2019-11-15 2020-11-09 生成装置和生成方法 Pending CN114586061A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019206862A JP2021081835A (ja) 2019-11-15 2019-11-15 生成装置および生成方法
JP2019-206862 2019-11-15
PCT/JP2020/041783 WO2021095698A1 (ja) 2019-11-15 2020-11-09 生成装置および生成方法

Publications (1)

Publication Number Publication Date
CN114586061A true CN114586061A (zh) 2022-06-03

Family

ID=75912856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080072080.5A Pending CN114586061A (zh) 2019-11-15 2020-11-09 生成装置和生成方法

Country Status (4)

Country Link
US (1) US20220399118A1 (zh)
JP (1) JP2021081835A (zh)
CN (1) CN114586061A (zh)
WO (1) WO2021095698A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016120433A1 (en) * 2015-01-31 2016-08-04 Roche Diagnostics Gmbh Systems and methods for meso-dissection
US11862302B2 (en) * 2017-04-24 2024-01-02 Teladoc Health, Inc. Automated transcription and documentation of tele-health encounters
US10650520B1 (en) * 2017-06-06 2020-05-12 PathAI, Inc. Systems and methods for training a statistical model to predict tissue characteristics for a pathology image
US20190006027A1 (en) * 2017-06-30 2019-01-03 Accenture Global Solutions Limited Automatic identification and extraction of medical conditions and evidences from electronic health records
JP6544716B2 (ja) * 2017-12-15 2019-07-17 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
JP7137935B2 (ja) * 2018-02-27 2022-09-15 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
CN108510482B (zh) * 2018-03-22 2020-12-04 姚书忠 一种基于阴道镜图像的宫颈癌检测装置
KR102215269B1 (ko) * 2018-08-07 2021-02-15 주식회사 딥바이오 진단 결과 생성 시스템 및 방법
CN109872814A (zh) * 2019-03-04 2019-06-11 中国石油大学(华东) 一种基于深度学习的胆石病智能辅助诊断系统

Also Published As

Publication number Publication date
JP2021081835A (ja) 2021-05-27
WO2021095698A1 (ja) 2021-05-20
US20220399118A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
US11850021B2 (en) Dynamic self-learning medical image method and system
JP4744883B2 (ja) 画像位置合わせ方法及び医用画像データ処理装置
CN104637024B (zh) 医用图像处理装置以及医用图像处理方法
CN111225614B (zh) 诊断辅助装置及信息处理方法
US20080226145A1 (en) Image processing apparatus and computer readable media containing image processing program
JP2015116319A (ja) 診断支援装置、診断支援方法、および診断支援プログラム
CN113743463B (zh) 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统
CN112102294A (zh) 生成对抗网络的训练方法及装置、图像配准方法及装置
TW202105245A (zh) 用於分析活檢樣本影像以決定其癌變機率之方法
CN114581375A (zh) 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质
CN111626989B (zh) 针对缺失标注的病理图像的高精度检测网络训练方法
CN111951952A (zh) 一种基于医疗影像信息自动诊断骨科疾病的装置
JP2009527313A (ja) Ｍｒ検査用の自動化された形状のロバスト学習
CN111128349A (zh) 基于gan的医学影像病灶检测标记数据增强方法及装置
WO2023274599A1 (en) Methods and systems for automated follow-up reading of medical image data
JP6425468B2 (ja) 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置
US20220399118A1 (en) Generation device and generation method
WO2022209299A1 (ja) 情報処理システム、生体試料処理装置及びプログラム
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
CN113256625A (zh) 一种电子设备和识别装置
CN112488166A (zh) 一种图像识别模型的训练方法及系统
CN116797794B (zh) 基于深度学习的肠癌病理分型系统
US12023817B1 (en) System and method for a slide marking technique for target tissue extraction and downstream application
US20230215145A1 (en) System and method for similarity learning in digital pathology
Liu et al. Artificial Intelligence Tracking of Otologic Instruments in Mastoidectomy Videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination