CN112219220A - 图像处理装置、图像处理方法及程序 - Google Patents

图像处理装置、图像处理方法及程序 Download PDF

Info

Publication number
CN112219220A
CN112219220A CN201880094233.9A CN201880094233A CN112219220A CN 112219220 A CN112219220 A CN 112219220A CN 201880094233 A CN201880094233 A CN 201880094233A CN 112219220 A CN112219220 A CN 112219220A
Authority
CN
China
Prior art keywords
hue
image processing
unit
image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880094233.9A
Other languages
English (en)
Inventor
三井正法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijingtong Co ltd
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN112219220A publication Critical patent/CN112219220A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供一种能够通过简易的工序而取得互不相同的学习图像的图像处理装置、图像处理方法及程序。图像处理装置具备：按照从外部输入的染色图像的每个像素来计算色相的计算部；基于所述色相，按照所述染色图像的每个像素来进行类别分类的分类部；以及按照所述类别分类后的每个类别来调制像素的色调的调制部。

Description

图像处理装置、图像处理方法及程序
技术领域
本公开涉及图像处理装置，尤其是涉及对病理标本的显微镜图像进行图像处理的图像处理装置、图像处理方法及程序。
背景技术
以往，在针对包括病理标本的生物体组织标本的诊断中，将通过摘出脏器而取得的块标本或者通过穿刺活检而取得的标本薄切为几微米左右的厚度，对通过显微镜放大了该薄切后的标本的观察像进行观察。使用了光学显微镜的透过观察在器材上廉价且容易处理，并且历史悠久，是最为普及的观察方法之一。此外，近年来，在通过安装于光学显微镜的摄像装置拍摄观察像而取得的图像上进行诊断。
然而，薄切后的生物体组织标本(以下称为“薄切标本”)几乎不吸收或散射光，接近无色透明。因此，通常在显微镜观察之前对薄切标本进行染色。作为染色方法，提出了各种方法，其总数达到100种以上。在这多个染色方法之中，尤其是针对病理标本，标准地使用利用了蓝紫色的苏木精(以下仅记为“H”)及红色的曙红(以下仅记为“E”)这2个色素的苏木精-曙红染色(以下称为“HE染色”)。
此外，在临床上，在难以通过HE染色来视觉确认作为观察目的的生物体组织的的情况下或者在对生物体组织的方式诊断进行插值的情况下，也有时使用对标本实施与HE染色不同的特殊染色来改变观察对象的组织颜色从而视觉上进行强调的方法。并且，在病理组织诊断中，例如也有时使用免疫染色(Immunohistochemistry：IHC)，该免疫染色利用了用于使癌组织的抗原抗体反应可视化的各种标记蛋白质。
染色标本的观察除了通过目视来进行以外，也通过将利用摄像装置拍摄染色标本而生成的图像显示于显示装置来进行。此外，近年来，提出了如下尝试：通过对由摄像装置拍摄而生成的染色标本图像进行图像处理而进行解析，辅助医师等的观察及诊断。在该解析中，具有使用了深度学习(Deep-Learning)等学习的方法。在该情况下，通过使与和输入的图像的RGB值对应的解析值的组合学习来求出要计算的参数。
但是，在染色标本的观察中，因针对染色标本的摄影状态引起的颜色差异、因染色工序引起的颜色差异例如色素的光谱不同，或者染色时间不同，因此，即便是相同状态的组织，色彩也有时不同。在深度学习等中，在输入图像的色彩与学习图像的色彩不同的情况下，估计精度变差。因此，在深度学习等中，考虑增多学习图像的色彩来应对，但需要所有条件的庞大数量的图像，是不现实的。对此，已知有一种通过进行颜色均匀化来将不同色彩的图像校正为同一色彩的技术(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特许第5137481号公报
发明内容
发明要解决的问题
但是，在上述专利文献1中，存在如下问题，即，为了得到互不相同的学习图像而需要通过进行颜色均匀化而解析图像的直方图，并在类别分类之后对色彩进行调制等复杂的工序。
本公开是鉴于上述情况而完成的，其目的在于，提供一种能够通过简易的工序来取得互不相同的学习图像的图像处理装置、图像处理方法及程序。
用于解决问题的手段
为了解决上述问题，实现目的，本公开的图像处理装置具备：计算部，其按照从外部输入的染色图像的每个像素来计算色相；分类部，其基于所述色相，按照所述染色图像的每个像素来进行类别分类；以及调制部，其按照进行所述类别分类后的每个类别对像素的色调进行调制。
此外，本公开的图像处理装置在上述公开的基础上，所述调制部将进行所述类别分类后的每个类别的色相平均值调制为与预先按照每个类别而决定的标准色相一致的色相。
此外，本公开的图像处理装置在上述公开的基础上，所述调制部将属于进行所述类别分类后的类别的全部像素的色相调制为与预先按照每个类别而决定的标准色相一致的色相。
此外，本公开的图像处理装置在上述公开的基础上，所述调制部按照进行所述类别分类后的每个类别对色调进行调制，或者利用固定值对色调进行调制。
此外，本公开的图像处理装置在上述公开的基础上还具备标准色相计算部，该标准色相计算部通过计算进行所述类别分类后的每个类别的平均色相而生成标准色相。
此外，本公开的图像处理装置在上述公开的基础上，所述计算部按照每个像素来计算标准色计算用的标准图像的标准色相，所述分类部使用所述标准色相，按照所述标准图像的每个像素来进行类别分类，所述标准色相计算部基于所述标准色相和所述标准图像的类别分类的分类结果，按照针对所述标准图像的每个像素进行类别分类后的每个类别来计算平均色相，由此计算所述标准色相。
此外，本公开的图像处理装置在上述公开的基础上，所述标准色相计算部通过使关联有正解值的输入图像的色相以互不相同的旋转角度旋转而生成色相不同的多个图像，将所述多个图像向学习完毕的学习部输入，组合从所述学习完毕的学习部输出的输出结果与所述正解值的误差在允许范围内的多个输出图像的色相范围来计算所述平均色相，由此计算所述标准色相。
此外，本公开的图像处理装置在上述公开的基础上还具备学习部，该学习部基于由所述调制部进行了色相调制的所述染色图像和与所述染色图像关联起来的正解值，将学习的学习结果存储于存储部。
此外，本公开的图像处理装置在上述公开的基础上还具备估计部，该估计部基于记录部存储的预先由学习部学习到的学习结果和由所述调制部进行了色相调制的所述染色图像，进行估计。
此外，本公开的图像处理装置在上述公开的基础上还具备显示部，该显示部显示所述估计部估计出的估计结果。
此外，本公开的图像处理方法是由图像处理装置执行的图像处理方法，其中，按照从外部输入的染色图像的每个像素来计算色相，基于所述色相，按照所述染色图像的每个像素来进行类别分类，按照进行所述类别分类后的每个类别对像素的色调进行调整。
此外，本公开的程序是由图像处理装置执行的程序，其中，按照从外部输入的染色图像的每个像素来计算色相，基于所述色相，按照所述染色图像的每个像素来进行类别分类，按照进行所述类别分类后的每个类别对像素的色调进行调整。
发明的效果
根据本公开，起到能够通过简易的工序而取得互不相同的学习图像这样的效果。
附图说明
图1是示出本公开的实施方式1的图像处理装置的功能结构的框图。
图2是示出本公开的实施方式1的图像处理装置所执行的处理的概要的流程图。
图3是示意性示出基准色相参数的图。
图4是示意性示出输入图像的色相分布的图。
图5是示意性示出彩度与色相角度的关系的图。
图6是示意性示出输入图像的色相旋转后的色相分布的图。
图7是示出本公开的实施方式2的图像处理装置的功能结构的框图。
图8是示出本公开的实施方式2的图像处理装置所执行的处理的概要的流程图。
图9是示出本公开的实施方式3的图像处理装置的功能结构的框图。
图10是示出本公开的实施方式3的图像处理装置所执行的处理的概要的流程图。
图11是示意性示出基准色相参数的图。
图12是示意性示出输入图像的色相分布的图。
图13是示意性示出输入图像的色相固定值设定后的色相分布的图。
图14是示出本公开的实施方式4的图像处理装置的功能结构的框图。
图15是示出本公开的实施方式4的图像处理装置1A所执行的处理的概要的流程图。
图16是示意性示出显示部所显示的图像的一例的图。
图17是示意性示出显示部所显示的其他图像的一例的图。
图18是示出本公开的实施方式5的图像处理装置的功能结构的框图。
图19是示出本公开的实施方式5的图像处理装置所执行的处理的概要的流程图。
图20是示意性示出向输入部输入的多个图像的一例的图。
图21是示意性示出基于标准色相计算部的标准分布的一例的图。
图22是示意性示出平均色相轴的图。
图23是示意性示出使学习部学习的输入图像的一例的图。
图24是示意性示出使学习部学习的正解图像的一例的图。
图25是示意性说明学习部的学习处理的图。
具体实施方式
以下，参照附图对本公开的实施方式的图像处理装置、图像处理方法及程序进行说明。另外，不通过这些实施方式来限定本公开。此外，在各图的记载中，针对相同的部分标注相同的标号而示出。
(实施方式1)
〔图像处理装置的结构〕
图1是示出实施方式1的图像处理装置的功能结构的框图。作为一例，图1所示的图像处理装置1是如下装置：对通过由显微镜或电子显微镜拍摄染色标本而取得的染色图像的色相进行调制，由此，简易地进行颜色归一化，执行抑制用于机器学习的输入图像(染色图像)即示教图像的颜色偏差的图像处理。这里，染色图像及示教图像通常是在各像素位置处具有针对R(红)、G(绿)、B(蓝)的波长成分的像素级别(像素值)的彩色图像。
此外，以下，染色图像是对通过HE染色、三色胶原染色、柏氏染色及免疫染色等而染色的标本进行拍摄所得到的图像。HE染色用于普通组织的方式观察用，将核染色为蓝紫色(苏木精)以及将细胞质染色为粉红色(曙红)。三色胶原染色将胶原纤维染色为蓝色(苯胺蓝)，将核染色为黑紫色以及将细胞质染色为红色。柏氏染色用于细胞检查，根据分化程度将细胞质染色为橙色及浅绿色等。免疫染色用于免疫抗体反应，对特定组织进行染色。具体而言，免疫染色使抗体与DAB色素结合，利用苏木精对核进行染色。另外，在以下的实施方式中，将对通过免疫染色而染色的标本进行拍摄所得到的图像作为输入图像来说明，但能够根据染色方法而适当变更。
图1所示的图像处理装置1具备输入部10、计算部11、分类部12、调制部13、学习部14以及存储部15。
输入部10被输入将从图像处理装置1的外部输入的输入图像与正解值对应起来的学习数据。输入部10将学习数据中的输入图像(示教图像)向计算部11输出，并且，将正解值向学习部14输出。输入部10例如使用与外部能够进行双向通信的接口模块而构成。
计算部11按照从输入部10输入的输入图像的每个像素来计算色相，将该计算出的每个像素的色相与从输入部10输入的输入图像向分类部12输出。另外，计算部11也可以按照每个规定的区域对输入图像进行分割，按照该分割后的每个区域来计算色相。
分类部12基于从计算部11输入的每个像素的色相，按照从计算部11输入的输入图像中的各像素或者每个规定的区域来进行类别分类，将该类别分类结果和从计算部11输入的输入图像向调制部13输出。
调制部13按照从分类部12输入的进行了类别分类后的每个类别对像素的色调进行调制，将该调制结果向学习部14输出。具体而言，调制部13基于后述的存储部15的基准色相参数，按照从分类部12输入的进行了类别分类后的每个类别来进行各图像的色相的调制并向学习部14输出。
学习部14基于从调制部13输入的进行色相调制后的输入图像和与该输入图像关联起来的正解值，例如进行回归分析、神经网络等机器学习，将该学习结果存储于存储部15的学习结果存储部151。这里，学习部14学习的对象有各种各样，例如包括用于估计色素量的对象、用于进行组织分类的对象及用于判定病理(病变)等级的对象等。此外，关于正解值，在色素量的情况下，是按照每个像素而具有与色素数相应的定量值的图像，在组织分布的情况下，按照每个像素而赋予类别编号，在病理等级的情况下，针对1张图像而赋予表示1个等级的值。
存储部15使用易失性存储器、非易失性存储器及存储卡等而构成。存储部15具有学习结果存储部151、基准色相参数存储部152以及程序存储部153。学习结果存储部151存储学习部14学习的学习结果。基准色相参数存储部152存储调制部13在调制示教图像的色相时参照的基准色相参数。程序存储部153存储图像处理装置1所执行的各种程序以及在程序的执行中使用的各种数据。
像这样构成的图像处理装置1例如使用CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)及DSP(DigitalSignal Processing)等而构成，通过从存储部15的程序存储部153读入各种程序，进行向构成图像处理装置1的各部的指示或数据的转送，由此发挥各功能。
〔图像处理装置的处理〕
接着，对图像处理装置1所执行的处理进行说明。图2是示出图像处理装置1所执行的处理的概要的流程图。
如图2所示，首先，输入部10从外部输入输入图像及正解值(步骤S101)。在该情况下，输入部10将从外部输入的输入图像向计算部11输出，并且，将正解值向学习部14输出。
接下来，计算部11按照从输入部10输入的输入图像的每个像素来计算色相(步骤S102)。具体而言，计算部11计算输入图像的各像素的色相，将该计算结果向分类部12输出。
之后，分类部12基于计算部11计算出的各像素的色相，来执行各像素的类别分类(步骤S103)。具体而言，分类部12基于计算部11计算出的色相，将输入图像的各像素分类为DAB的像素、H的像素及其他像素，将该类别分类后的结果向调制部13输出。
接下来，调制部13基于从分类部12输入的每个类别分类的基准色相参数，来调制色相(步骤S104)。具体而言，调制部13基于基准色相参数存储部152所存储的基准色相参数，对从分类部12输入的进行了类别分类后的DAB的像素及H的像素进行色相调制，对其他像素不进行色相调制。在步骤S104之后，图像处理装置1移至后述的步骤S105。
这里，对调制部13所执行的色相调制处理详细进行说明。图3是示意性示出基准色相参数的图。图4是示意性示出输入图像的色相分布的图。图5是示意性示出彩度与色相角度的关系的图。图6是示意性示出输入图像的色相旋转后的色相分布的图。在图3、图4、图6中，针对DAB及H这2个色素的例子进行说明。此外，在图3、图4、图6中，以a＊b＊平面表示色相分布。此外，在图3、图4、图6中，以一个点表示各像素。并且，此外，在图3中，箭头YH表示标准色相参数的H色色相轴，箭头YDAB表示标准色相参数的DAB色色相轴，在图4中，箭头YH1表示标准色相参数的H色色相轴，箭头YDAB1表示标准色相参数的DAB色色相轴。
如图3所示，在基准色相参数中包括DAB的平均色相和H的平均色相这2个平均色相。首先，如图4所示，调制部13基于由计算部11计算出的色相的分布，计算DAB及H各自的平均色相。具体而言，如箭头YH1、箭头YDAB1所示，调制部13计算预先按照每个色素而设定的色相范围内的像素的色相的平均值。之后，如图5及图6所示，调制部13通过使输入图像的各像素的色相旋转，使箭头YH1及箭头YDAB1与基准色相参数的箭头YH及箭头YDAB一致。这样，调制部13使输入图像的色相旋转，使得输入图像的各像素的平均色相与基准参数的基准色相一致。这里，调制部13将输入图像的各像素的RGB值转换成HLS色空间的色相、明度及彩度，在它们之中，对色相的色相信号进行调制。另外，调制部13也可以在HLS色空间以外，如Lab色空间的L＊a＊b的a＊b平面那样分割为亮度信号及色差信号后的色差信号平面，使色相的调制方法旋转。
返回图2，继续进行步骤S105以后的说明。
学习部14根据从调制部13输入的色相调制后的示教图像和从输入部10输入的正解值的组来进行学习(步骤S105)，将作为学习结果的学习参数向学习结果存储部151输出(步骤S106)。在步骤S106之后，图像处理装置1结束本处理。
根据以上说明的实施方式1，通过对输入的输入图像的色相进行调制而使色彩一致，即便在由于染色的不同而使颜色产生偏差的情况下，无需进行每个染色的输入图像的学习，能够通过简易的工序而取得互不相同的学习图像，因此，能够进行有效的学习。
(实施方式2)
接着，对本公开的实施方式2进行说明。在实施方式2中，在对输入图像的色相进行了调制之后，使用学习结果进行估计。以下，在说明实施方式2的图像处理装置的结构之后，对实施方式2的图像处理装置所执行的处理进行说明。另外，针对与上述实施方式1的图像处理装置1相同的结构标注相同的标号，省略详细的说明。
〔图像处理装置的结构〕
图7是示出实施方式2的图像处理装置的功能结构的框图。图7所示的图像处理装置1A具备输入部10、计算部11、分类部12、调制部13、存储部15、估计部16以及输出部17。
估计部16基于学习结果存储部151所存储的学习结果和从调制部13输入的示教图像来进行估计，将该估计结果向输出部17输出。
输出部17输出从估计部16输入的估计结果。输出部17例如使用液晶或有机EL(Electro Luminescence)等显示面板及扬声器等而构成。当然，输出部17也可以使用向外部的显示装置等输出估计结果的输出接口的模块而构成。
〔图像处理装置的处理〕
接着，对图像处理装置1A所执行的处理进行说明。图8是示出图像处理装置1A所执行的处理的概要的流程图。在图8中，步骤S201～步骤S204分别对应于上述的图2的步骤S101～步骤S104。
在步骤S205中，估计部16通过对从调制部13输入的调制后的示教图像应用学习结果存储部151所存储的学习结果即学习参数来执行估计。在该情况下，估计部16将估计结果(估计值)向输出部17输出。
接下来，输出部17输出从估计部16输入的估计值(步骤S206)。
根据以上说明的实施方式2，通过对输入的示教图像的色相进行调制而使色彩一致，由此能够输入与用于学习的色彩相同的色彩的图像，因此，能够进行精度更高的估计。
(实施方式3)
接着，对本公开的实施方式3进行说明。在实施方式3中，一边按照每个类别区分使用色相旋转及固定一边进行学习。以下，在说明实施方式3的图像处理装置的结构之后，对实施方式3的图像处理装置所执行的处理进行说明。另外，针对与上述实施方式2的图像处理装置1A相同的结构，标注相同的标号并省略详细的说明。
〔图像处理装置的结构〕
图9是示出实施方式3的图像处理装置的功能结构的框图。图9所示的图像处理装置1B代替上述实施方式2的调制部13而具备调制部13B。调制部13B具备选择部131和处理部132。
选择部131通过按照从分类部12输入的每个类别选择色相的调制方法而进行决定，将该决定结果、输入图像及分类结果分别向处理部132输出。
处理部132针对从选择部131输入的输入图像，通过按照每个类别由选择部131选择出的调制方法，按照每个类别对色相进行调制并向估计部16输出。
〔图像处理装置的处理〕
接着，对图像处理装置1B执行的处理进行说明。图10是示出图像处理装置1B所执行的处理的概要的流程图。在图10中，步骤S301～步骤S303、步骤S306及步骤S307分别对应于上述的图8的步骤S201～步骤S203、步骤S205及步骤S206。
在步骤S304中，选择部131按照从分类部12输入的每个类别来选择色相的调制方法。具体而言，选择部131在分类部12为DAB及H这2个色素的情况下，当类别分类为每个色素的DAB类别及H类别时，DAB需要为定量值，因此，选择使保留原始分布的色相旋转的调制方式。此外，选择部131只要能够识别H的形状即可，因此，选择将色相作为固定值的色相的调制方式。
接下来，处理部132针对从选择部131输入的输入图像，通过按照每个类别由选择部131选择的调制方法，按照每个类别对色相进行调制并向估计部16输出(步骤S305)。在步骤S305之后，图像处理装置1B移至步骤S306。
这里，对处理部132所执行的色相调制处理的详细进行说明。图11是示意性示出基准色相参数的图。图12是示意性示出输入图像的色相分布的图。图13是示意性示出输入图像的色相固定值设定后的色相分布的图。在图11～图13中，针对DAB及H这2个色素的例子进行说明。并且，在图11～图13中，以a＊b＊平面表示色相分布。此外，在图11～13中，以一个点表示各像素。并且，此外，在图11～图13中，箭头YH表示标准色相参数的H色色相轴，箭头YDAB表示标准色相参数的DAB色色相轴。此外，在图11～图13中，将标准色相参数的H色色相轴及DAB色色相轴设为固定值。
如图11～图13所示，处理部132基于由选择部131选择的调制方法，DAB需要为固定值，因此，以保留原始分布的方式使色相旋转。此外，处理部132只要能够识别H的形状即可，因此，以使色相成为固定值的方式进行色相的变更。具体而言，如图11～图13所示，处理部132将标准色相参数的H色色相轴及DAB色色相轴设为固定值，按照输入图像的各像素的每个对应的类别来将色相值调制为基准色相。其结果是，如图13所示，色相固定值的设定后的色相分布成为在各类别中具有相同的值的直线分布。
根据以上说明的实施方式3，色相固定值的设定后的色相分布成为在各类别中具有相同的值的直线分布，能够输入与用于学习的色彩相同的色彩的图像，因此，能够进行精度更高的估计。
(实施方式4)
接着，对本公开的实施方式4进行说明。在实施方式4中，通过进行色相调制使不同色彩的图像成为相同的色彩，由此进行观察。另外，针对与上述实施方式2的图像处理装置1A相同的结构标注相同的标号，省略详细的说明。
〔图像处理装置的结构〕
图14是示出实施方式4的图像处理装置的功能结构的框图。图14所示的图像处理装置1C在上述实施方式2的图像处理装置1A的结构的基础上还具备显示部18。
显示部18显示与从估计部16输出的各种数据对应的信息及图像。显示部18使用液晶或有机EL等而构成。
〔图像处理装置的处理〕
图15是示出实施方式4的图像处理装置1C所执行的处理的概要的流程图。步骤S401～步骤S403、步骤S405、步骤S406分别对应于上述的图8的步骤S201～步骤S03、步骤S205、步骤S206，仅步骤S404不同。以下，仅对步骤S404进行说明。
在步骤S404中，调制部13针对输入图像，进行使不同色彩的图像成为相同的色彩的色相调制。在步骤S404之后，图像处理装置1C移至步骤S405。
图16是示意性示出显示部所显示的图像的一例的图。图17是示意性示出显示部所显示的其他图像的一例的图。
如图16所示，调制部13生成图像P10、图像P20，将该图像P10、图像P20向显示部18输出，该图像P10、图像P20是通过对色彩按照染色的程度等而互不相同的标本图像P1及标本图像P2进行将色相设为固定值的色相调制而决定的色彩的图像。显示部18在使图像P10、图像P20并列的状态下显示图像P10、图像P20。由此，用户始终能够观察相同色彩的图像，因此，能够稳定地观察构造及状态等。
此外，如图17所示，调制部13针对色彩按照染色的程度等而与标本图像P3不同的标本图像P4，将色相设为固定值，生成与标本图像P3的色彩相同的色彩的图像P5，将该图像P5向显示部18输出。显示部18并排显示标本图像P3及图像P5。由此，虽然考虑在比较时用户无法准确地评价色彩不同的标本图像彼此，但是，由显示部18利用相同的色彩对色彩互不相同的标本图像进行显示，因此，能够纯粹地仅对细胞及组织的状态的不同进行观察和比较。
根据以上说明的实施方式4，由显示部18利用相同的色彩对色彩互不相同的标本图像进行显示，因此，能够纯粹地仅对细胞及组织的状态的不同进行观察和比较。
(实施方式5)
接着，对本公开的实施方式5进行说明。实施方式5的图像处理装置除了结构与上述实施方式2的图像处理装置不同之外，要执行的处理也不同。具体而言，在实施方式5中，计算标准色相。以下，在说明实施方式5的图像处理装置的结构之后，对实施方式5的图像处理装置所执行的处理进行说明。
〔图像处理装置的结构〕
图18是示出实施方式5的图像处理装置的功能结构的框图。图18所示的图像处理装置1D在上述实施方式2的图像处理装置1A的结构的基础上，还具备标准色相计算部19。
标准色相计算部19针对用于计算预先生成的标准值的多个图像，通过计算颜色分布来计算标准分布。
〔图像处理装置的处理〕
接着，对图像处理装置1D所执行的处理进行说明。图19是示出图像处理装置1D所执行的处理的概要的流程图。
如图19所示，首先，输入部10从外部输入多个图像(步骤S501)。图20是示意性示出向输入部10输入的多个图像的一例的图。如图20所示，输入部10从外部被输入多个图像P101～P110。
接下来，标准色相计算部19针对从输入部10输入的多个图像，计算颜色分布，由此计算标准分布(步骤S502)，将计算出的标准分布向存储部15的基准色相参数存储部152输出(步骤S503)。在步骤S503之后，图像处理装置1D结束本处理。
这里，对基于标准色相计算部19的标准分布的计算方法进行说明。图21是示意性示出基于标准色相计算部19的标准分布的一例的图。图22是示意性示出平均色相轴的图。在图22中，箭头YDAB_A表示看作DAB的分布的色相的平均色相轴，箭头YH_A表示看作H的分布的色相的平均色相轴。
如图21～图23所示，首先，标准色相计算部19通过合成全部预先生成的用于计算标准值的多个图像，来计算合成图像P100各像素的颜色分布，将该计算出的计算结果设为标准分布。然后，如图22所示，标准色相计算部19将标准分布中的看作DAB的分布的色相的平均设为DAB平均色相，将标准分布中的看作H的分布的色相的平均设为H平均色相。在图23中，如箭头YDAB＿A及箭头YH＿A所示，将DAB平均色相及H平均式分别设为DAB平均色相轴及H平均色相轴。标准色相计算部19设定DAB及H的分布范围内的色相的范围，将该范围内的值作为标准分布而生成。该标准分布用于在上述实施方式1～4中说明的色相的旋转及固定值。
根据以上说明的实施方式5，标准色相计算部19将标准分布中的看作DAB的分布的色相的平均设为DAB平均色相，将标准分布中的看作H的分布的色相的平均设为H平均色相，因此，能够计算标准色相(标准色相参数)。
(实施方式6)
接着，对本公开的实施方式6进行说明。实施方式6的图像处理装置具有与上述实施方式5相同的结构，图像处理装置所执行的处理不同。具体而言，在实施方式6中，针对学习完毕的学习部调制适当的颜色。以下，对本实施方式6的图像处理装置具备的学习部所进行的学习方法进行说明。另外，针对与上述实施方式5相同的结构标注相同的标号，省略详细的说明。
〔基于学习部的学习处理〕
图23是示意性示出使学习部14学习的输入图像的一例的图。图24是示意性示出使学习部14学习的正解图像的一例的图。图25是示意性示出学习部14的学习处理的图。
由于用于学习的图像是未知的，因此，学习部14通过以下来计算用于成为适当的色彩的参数。首先，如图23及图25所示，标准色相计算部19生成使输入图像P200的色相以互不相同的旋转角度旋转后的多个图像P201～图像P203。然后，如图25所示，标准色相计算部19将图像P201～图像P203向学习部14输入。接下来，学习部14基于从标准色相计算部19输入的图像P201～图像P203和学习结果，输出多个输出图像P401～输出图像P403。如图24及图25所示，用户对输出图像P401～输出图像P403与正解图像P300进行比较，针对误差在允许范围内的输出图像，通过对未图示的操作部进行操作来选择。之后，标准色相计算部19合成由用户选择出的输出图像P401、输出图像P402的输入图像的颜色分布，通过与上述实施方式5同样的方法来计算平均色相。
根据以上说明的实施方式6，能够对现有的学习部(学习设备)输入调制为适当的色彩的图像。
(其他实施方式)
通过适当组合上述实施方式1～6所公开的多个结构要素，能够形成各种发明。例如，也可以从上述实施方式1～6所记载的全部结构要素中删除若干结构要素。并且，也可以适当组合上述实施方式1～5所说明的结构要素。
此外，在实施方式1～6中，上述的“部”能够改写为“单元”或“电路”等。例如，输入部能够改写为输入单元或输入电路。
此外，使实施方式1～6的图像处理装置执行的程序以能够安装的形式或能够执行的形式的文件数据记录于CD-ROM、软盘(FD)、CD-R、DVD(Digital Versatile Disk)、USB介质、闪存等计算机可读取的记录介质来提供。
此外，使实施方式1～6的图像处理装置执行的程序也可以存储在与因特网等网络连接的计算机上，通过经由网络下载来提供。并且，也可以经由因特网等网络来提供或分配使实施方式1～6的图像处理装置执行的程序。
此外，在实施方式1～6中，例如经由传输线缆从各种设备接收到输入图像，但例如也可以不必采用有线而采用无线。在该情况下，按照规定的无线通信标准(例如Wi-Fi(注册商标)、Bluetooth(注册商标))从各设备发送信号即可。当然，也可以按照其他的无线通信标准进行无线通信。
另外，在本说明书的流程图的说明中，使用“首先”、“之后”、“接下来”等表现而明示了步骤间的处理的前后关系，但实施本公开所需的处理的顺序并不是通过这些表现唯一地决定。即，本说明书所记载的流程图中的处理的顺序能够在不矛盾的范围内进行变更。
以上，基于附图对本申请的几个实施方式详细进行了说明，但这些是例示，以本公开的栏中记载的方案为代表，能够通过基于本领域技术人员的知识实施了各种变形、改良的其他方式来实施本公开。
标号说明
1、1A、1B、1C、1D 图像处理装置
10 输入部
11 计算部
12 分类部
13、13B 调制部
14 学习部
15 存储部
16 估计部
17 输出部
18 显示部
19 标准色相计算部
131 选择部
132 处理部
151 学习结果存储部
152 基准色相参数存储部
153 程序存储部

Claims (12)

1.一种图像处理装置，其中，
所述图像处理装置具备：
计算部，其按照从外部输入的染色图像的每个像素来计算色相；
分类部，其基于所述色相，按照所述染色图像的每个像素来进行类别分类；以及
调制部，其按照进行所述类别分类后的每个类别对像素的色调进行调制。
2.根据权利要求1所述的图像处理装置，其中，
所述调制部将进行所述类别分类后的每个类别的色相平均值调制为与标准色相一致的色相，该标准色相是预先按照每个类别而决定的色相。
3.根据权利要求1所述的图像处理装置，其中，
所述调制部将属于进行所述类别分类后的类别的全部像素的色相调制为与标准色相一致的色相，该标准色相是预先按照每个类别而决定的色相。
4.根据权利要求1所述的图像处理装置，其中，
所述调制部按照进行所述类别分类后的每个类别对色调进行调制，或者利用固定值对色调进行调制。
5.根据权利要求2至4中的任意一项所述的图像处理装置，其中，
所述图像处理装置还具备标准色相计算部，该标准色相计算部通过计算进行所述类别分类后的每个类别的平均色相而生成标准色相。
6.根据权利要求5所述的图像处理装置，其中，
所述计算部按照每个像素来计算标准色计算用的标准图像的标准色相，
所述分类部使用所述标准色相，按照所述标准图像的每个像素来进行类别分类，
所述标准色相计算部基于所述标准色相和所述标准图像的类别分类的分类结果，按照针对所述标准图像的每个像素进行类别分类后的每个类别来计算平均色相，由此计算所述标准色相。
7.根据权利要求5所述的图像处理装置，其中，
所述标准色相计算部进行如下处理：
通过使关联有正解值的输入图像的色相以互不相同的旋转角度旋转而生成色相不同的多个图像，
将所述多个图像向学习完毕的学习部输入，
组合如下的多个输出图像的色相范围来计算所述平均色相，由此计算所述标准色相，其中，该多个输出图像是从所述学习完毕的学习部输出的输出结果与所述正解值的误差在允许范围内的图像。
8.根据权利要求1至7中的任意一项所述的图像处理装置，其中，
所述图像处理装置还具备学习部，该学习部基于由所述调制部进行了色相调制的所述染色图像和与所述染色图像关联起来的正解值，将学习的学习结果存储于存储部。
9.根据权利要求1至7中的任意一项所述的图像处理装置，其中，
所述图像处理装置还具备估计部，该估计部基于记录部存储的、预先由学习部学习的学习结果和由所述调制部进行了色相调制的所述染色图像，进行估计。
10.根据权利要求9所述的图像处理装置，其中，
所述图像处理装置还具备显示部，该显示部显示所述估计部估计出的估计结果。
11.一种图像处理方法，其是由图像处理装置执行的图像处理方法，其中，
按照从外部输入的染色图像的每个像素来计算色相，
基于所述色相，按照所述染色图像的每个像素来进行类别分类，
按照进行所述类别分类后的每个类别对像素的色调进行调制。
12.一种程序，其是由图像处理装置执行的程序，其中，
按照从外部输入的染色图像的每个像素来计算色相，
基于所述色相，按照所述染色图像的每个像素来进行类别分类，
按照进行所述类别分类后的每个类别对像素的色调进行调制。
CN201880094233.9A 2018-06-13 2018-06-13 图像处理装置、图像处理方法及程序 Pending CN112219220A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/022625 WO2019239532A1 (ja) 2018-06-13 2018-06-13 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN112219220A true CN112219220A (zh) 2021-01-12

Family

ID=68843086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094233.9A Pending CN112219220A (zh) 2018-06-13 2018-06-13 图像处理装置、图像处理方法及程序

Country Status (4)

Country Link
US (1) US20210104070A1 (zh)
JP (1) JP6992179B2 (zh)
CN (1) CN112219220A (zh)
WO (1) WO2019239532A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747251A (zh) * 2021-08-20 2021-12-03 武汉瓯越网视有限公司 图像色调调整方法、存储介质、电子设备及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290822A (ja) * 2008-06-02 2009-12-10 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2010079522A (ja) * 2008-09-25 2010-04-08 Sapporo Medical Univ 画像処理装置及び画像処理プログラム
CN101964873A (zh) * 2009-07-21 2011-02-02 株式会社尼康 图像处理装置、图像处理程序及摄像装置
JP2012119818A (ja) * 2010-11-30 2012-06-21 Renesas Electronics Corp 画像処理装置、画像処理方法、及び画像処理プログラム
CN104079905A (zh) * 2013-03-29 2014-10-01 索尼公司 图像处理设备、图像处理方法及程序
CN107409201A (zh) * 2015-03-12 2017-11-28 奥林巴斯株式会社 图像处理装置、图像处理方法和程序

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290822A (ja) * 2008-06-02 2009-12-10 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2010079522A (ja) * 2008-09-25 2010-04-08 Sapporo Medical Univ 画像処理装置及び画像処理プログラム
CN101964873A (zh) * 2009-07-21 2011-02-02 株式会社尼康 图像处理装置、图像处理程序及摄像装置
JP2012119818A (ja) * 2010-11-30 2012-06-21 Renesas Electronics Corp 画像処理装置、画像処理方法、及び画像処理プログラム
CN104079905A (zh) * 2013-03-29 2014-10-01 索尼公司 图像处理设备、图像处理方法及程序
CN107409201A (zh) * 2015-03-12 2017-11-28 奥林巴斯株式会社 图像处理装置、图像处理方法和程序

Also Published As

Publication number Publication date
JPWO2019239532A1 (ja) 2021-06-10
WO2019239532A1 (ja) 2019-12-19
US20210104070A1 (en) 2021-04-08
JP6992179B2 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
Elfer et al. DRAQ5 and eosin (‘D&E’) as an analog to hematoxylin and eosin for rapid fluorescence histology of fresh tissues
JP5380973B2 (ja) 画像処理装置及び画像処理プログラム
EP2370951B1 (en) Generation of a multicolour image of an unstained biological specimen
US20170270679A1 (en) Determining a hair color treatment option
JP2014110797A (ja) 色原体分離に基づく画像解析の方法
US10521893B2 (en) Image processing apparatus, imaging system and image processing method
EP2040218B1 (en) Image processing device and image processing program
JP7200945B2 (ja) 画像着色装置、画像着色方法、プログラム、及び画像着色システム
US11210791B2 (en) Computer-implemented method for locating possible artifacts in a virtually stained histology image
CN112219220A (zh) 图像处理装置、图像处理方法及程序
Murakami et al. Color correction in whole slide digital pathology
JP7090171B2 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
JP5631682B2 (ja) 顕微鏡システムおよび配信システム
US8649581B2 (en) Colour management for biological samples
US20220053916A1 (en) Method for determining a coloration product recommendation
Korzynska et al. Color standardization for the immunohistochemically stained tissue section images
WO2015133100A1 (en) Image processing apparatus and image processing method
WO2023129820A1 (en) Detecting abnormal cells using autofluorescence microscopy
JPWO2013102949A1 (ja) 画像処理方法、画像処理装置、画像処理プログラム、および記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221103

Address after: Nagano

Applicant after: Yijingtong Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: OLYMPUS Corp.

TA01 Transfer of patent application right