CN117616453A - 细胞图像分析方法 - Google Patents

细胞图像分析方法 Download PDF

Info

Publication number
CN117616453A
CN117616453A CN202280047098.9A CN202280047098A CN117616453A CN 117616453 A CN117616453 A CN 117616453A CN 202280047098 A CN202280047098 A CN 202280047098A CN 117616453 A CN117616453 A CN 117616453A
Authority
CN
China
Prior art keywords
image
cell
cell image
corrected
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280047098.9A
Other languages
English (en)
Inventor
泽田隆二
山本周平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN117616453A publication Critical patent/CN117616453A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Organic Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biotechnology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Genetics & Genomics (AREA)
  • Microbiology (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Sustainable Development (AREA)
  • Medicinal Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本细胞图像分析方法包括以下步骤：获取拍到细胞(90)的细胞图像(10)；通过对细胞图像进行滤波处理，来生成提取出背景(91)的亮度分量的分布所得到的背景分量图像(14)；基于细胞图像和背景分量图像，来生成以降低亮度不均的方式进行校正所得到的校正细胞图像(11)；以及第一估计步骤，使用校正细胞图像以及学习细胞的分析所得到的学习完毕模型(6)，来估计图像中的细胞是正常细胞还是异常细胞。

Description

细胞图像分析方法
技术领域
本发明涉及一种细胞图像分析方法，尤其涉及一种通过学习完毕模型来对细胞进行分析的细胞分析方法。
背景技术
以往，已知一种通过学习完毕模型来对细胞进行分析的细胞分析方法。这样的细胞分析方法例如在国际公开第2019/171546号中被公开。
在国际公开第2019/171546号中公开了一种对通过摄像装置拍摄到的细胞的图像进行分析的细胞图像分析方法。具体地说，在国际公开第2019/171546号中公开了以下结构：利用显微镜等的摄影装置拍摄通过培养板培养的细胞，由此获取细胞图像。另外，国际公开第2019/171546号所公开的细胞图像的分析方法使用学习完毕模型的分析结果来对正常细胞区域与异常细胞区域进行分类。另外，在国际公开第2019/171546号中公开了以下结构：通过针对细胞图像的各像素求出各像素属于什么类别的分割处理，来对正常细胞区域与异常细胞区域进行分类。
现有技术文献
专利文献
专利文献1：国际公开第2019/171546号
发明内容
发明要解决的问题
在此，虽然在国际公开第2019/171546号中没有公开，但在通过培养板(培养容器)培养细胞的情况下，有时由于培养溶液而引起细胞图像的背景产生亮度不均。具体地说，在培养容器的端部附近，由于表面张力，培养溶液的液面的高度以如下方式发生变化：随着靠近培养容器的端部附近，培养溶液的液面的高度增加。在培养溶液的液面的高度发生了变化的情况下，背景产生亮度不均。在使用背景产生了亮度不均的状态的细胞图像来通过学习完毕模型进行分析的情况下，存在分析精度下降的不良情况。因而，期望一种即使在细胞图像的背景产生了亮度不均的情况下，也能够抑制通过学习完毕模型进行的分析精度下降的细胞图像分析方法。
本发明是为了解决上述那样的问题而完成的，本发明的一个目的在于提供一种即使在细胞图像的背景产生了亮度不均的情况下，也能够抑制通过学习完毕模型进行的分析精度下降的细胞图像分析方法。
用于解决问题的方案
为了达成上述目的，基于本发明的一个方面的细胞图像分析方法包括以下步骤：获取拍到细胞的细胞图像；通过对获取到的细胞图像进行滤波处理，来生成从细胞图像提取出背景的亮度分量的分布所得到的背景分量图像；基于细胞图像和背景分量图像，来生成对细胞图像以降低亮度不均的方式进行校正所得到的校正细胞图像；以及第一估计步骤，使用校正细胞图像以及学习细胞的分析所得到的学习完毕模型，来估计图像中的细胞是正常细胞还是异常细胞。
发明的效果
在上述的一个方面的细胞图像分析方法中，如上述的那样，包括以下步骤：生成对细胞图像以降低亮度不均的方式进行校正所得到的校正细胞图像；以及第一估计步骤，使用校正细胞图像以及学习细胞的分析所得到的学习完毕模型，来估计图像中的细胞是正常细胞还是异常细胞。由此，能够通过降低了背景的亮度不均的校正细胞图像和学习完毕模型来估计图像中的细胞是正常细胞还是异常细胞。其结果是，能够抑制由于细胞图像的背景的亮度不均而引起通过学习完毕模型进行的分析精度下降。
附图说明
图1是示出基于一个实施方式的细胞图像分析装置的整体结构的示意图。
图2是用于说明细胞图像的示意图。
图3是用于说明由于填充于培养容器的培养溶液而引起细胞图像的背景产生亮度不均的示意图。
图4是用于说明基于一个实施方式的学习模型的学习方法、以及使用学习完毕学习模型来对细胞图像进行分析的方法的示意图。
图5是用于说明基于一个实施方式的图像处理部生成背景分量图像的结构的示意图。
图6是用于说明基于一个实施方式的图像处理部生成校正细胞图像的结构的示意图。
图7是用于说明基于一个实施方式的图像分析部使用第一学习完毕模型来生成第一区域估计图像的结构的示意图。
图8是用于说明基于一个实施方式的图像处理部使用校正细胞图像和第一区域估计图像来生成第一叠加细胞图像的结构的示意图。
图9是用于说明基于比较例的叠加细胞图像的示意图。
图10是用于说明基于一个实施方式的图像处理部使用第二学习完毕模型来生成第二区域估计图像的结构的示意图。
图11是用于说明基于一个实施方式的图像处理部使用细胞图像和第二区域估计图像来生成第二叠加细胞图像的结构的示意图。
图12是用于说明基于一个实施方式的细胞图像分析装置显示叠加细胞图像的处理的流程图。
图13是用于说明基于一个实施方式的细胞图像分析装置生成背景分量图像的处理的流程图。
具体实施方式
下面，基于附图来说明将本发明具体化的实施方式。
参照图1来说明基于一个实施方式的细胞图像分析装置100的结构。
(细胞图像分析装置的结构)
如图1所示，细胞图像分析装置100具备图像获取部1、处理器2、存储部3、显示部4以及输入受理部5。
图像获取部1构成为获取细胞图像10。细胞图像10是拍到细胞90(参照图2)的图像。具体地说，细胞图像10是对在填充于培养容器80(参照图3)的培养溶液81(参照图3)中培养的培养细胞90进行拍摄所得到的图像。在本实施方式中，图像获取部1例如构成为从安装有摄像装置的显微镜7等拍摄细胞图像10的装置获取细胞图像10。图像获取部1例如包括输入输出接口。
处理器2构成为对所获取到的细胞图像10进行分析。处理器2包括CPU(CentralProcessing Unit：中央处理单元)、ROM(Read Only Memory：只读存储器)、RAM(RandomAccess Memory：随机存取存储器)、GPU(Graphics Processing Unit：图形处理单元)、或者构成为用于图像处理的FPGA(Field-Programmable Gate Array：现场可编程门阵列)等。另外，由作为硬件的CPU等构成的处理器2包括控制部2a、图像分析部2b、图像处理部2c以及叠加细胞图像生成部2d来作为软件(程序)的功能模块。处理器2通过执行存储部3中存储的程序来作为控制部2a、图像分析部2b、图像处理部2c以及叠加细胞图像生成部2d发挥功能。也可以设置专用的处理器(处理电路)来通过硬件单独地构成控制部2a、图像分析部2b、图像处理部2c以及叠加细胞图像生成部2d。
控制部2a构成为进行细胞图像分析装置100的控制。另外，控制部2a构成为进行使显示部4显示叠加细胞图像50的控制。在后文叙述叠加细胞图像50的详情。
在本实施方式中，图像分析部2b分析细胞图像10中拍到的细胞90(参照图2)是正常细胞还是异常细胞。具体地说，图像分析部2b构成为使用学习细胞90的分析所得到的学习完毕模型6，来分析细胞图像10中拍到的细胞90是正常细胞还是异常细胞。另外，学习完毕模型6包括后述的用于分析校正细胞图像11(参照图6)的第一学习完毕模型6a、以及用于分析细胞图像10的第二学习完毕模型6b。此外，在后文叙述正常细胞、异常细胞、第一学习完毕模型6a以及第二学习完毕模型6b的详情。
图像处理部2c构成为生成从细胞图像10提取出背景91(参照图3)的亮度分量的分布所得到的背景分量图像14(参照图5)。另外，图像处理部2c构成为生成对细胞图像10以降低亮度不均的方式进行校正所得到的校正细胞图像11(参照图6)。在后文叙述图像处理部2c生成背景分量图像14和校正细胞图像11的处理的详情。
叠加细胞图像生成部2d构成为生成能够识别正常细胞与异常细胞的叠加细胞图像50。在后文叙述叠加细胞图像生成部2d生成叠加细胞图像50的结构的详情。
存储部3构成为存储细胞图像10、第一学习完毕模型6a以及第二学习完毕模型6b。另外，存储部3构成为存储处理器2执行的各种程序。存储部3例如包括HDD(Hard DiskDrive：硬盘驱动器)或SSD(Solid State Drive：固态硬盘)等存储装置。
显示部4构成为显示由叠加细胞图像生成部2d生成的叠加细胞图像50等。显示部4例如包括液晶监视器等显示装置。
输入受理部5构成为能够受理操作者进行的操作输入。输入受理部5例如包括鼠标、键盘等输入设备。
(细胞图像)
参照图2来说明细胞图像10。细胞图像10是拍到培养细胞90的图像。此外，在本实施方式中，细胞图像10是通过安装有摄像装置的显微镜7拍摄到的显微镜图像。是对作为培养细胞90的、具有分化潜能的细胞90进行拍摄所得到的图像。例如，细胞90包括iPS细胞(induced Pluripotent Stem Cell：诱导性多能干细胞)、ES细胞(Embryonic Stem Cell：胚胎干细胞)等。图像分析部2b构成为分析细胞图像10中拍到的细胞90(参照图3)是未分化细胞还是未分化逸脱细胞。此外，未分化细胞是具有分化潜能的细胞。另外，未分化逸脱细胞是开始向特定的细胞分化而不具有分化潜能的细胞。在本实施方式中，将未分化细胞设为正常细胞。另外，将未分化逸脱细胞设为异常细胞。
(由于培养溶液而产生的背景的亮度不均)
接着，参照图3来说明由于培养溶液81而引起有时细胞图像10的背景91产生亮度不均的情况。此外，在本实施方式中，将细胞图像10中的、背景91产生了亮度不均的图像设为细胞图像10a，将背景91未产生亮度不均的图像设为细胞图像10b。
如图3所示，细胞90是在填充于培养容器80的培养溶液81中培养的培养细胞。在培养容器80的端部附近70，由于表面张力，培养溶液81的液面81a的高度逐渐变化。在图3所示的例子中，示出了以下情况：随着靠近培养容器80的端部80a，培养溶液81的液面81a的高度增加。在该情况下，由于培养溶液81的高度的差异，如图3所示的细胞图像10a那样，背景91产生亮度不均。此外，细胞图像10a是包含培养容器80的端部附近70的培养细胞90的图像。另外，在图3所示的细胞图像10a中，通过标注间隔不同的阴影线来表现背景91的亮度不均。图3所示的细胞图像10a是产生了从图像的左侧到右侧而背景91的亮度值(像素值)变小的亮度不均的例子。另外，培养容器80的端部附近70是指包括培养容器80的端部80a的位置本身以及培养容器80的端部80a的位置的附近这两方。
另外，如图3所示，在培养容器80的中央部71，培养溶液81的液面81a的高度是恒定的。在培养溶液81的液面81a的高度恒定的情况下，背景91不产生亮度不均。即，如细胞图像10b所示，在包含培养容器80的中央部71的培养细胞90的图像中，背景91不产生亮度不均。此外，细胞图像10b是仅拍到培养容器80的中央部71的培养细胞90的图像。
在将背景91产生了亮度不均的细胞图像10a以原样的状态用于通过学习完毕模型6进行的分析中的情况下，由于背景91的亮度不均，有时分析精度下降。因此，在本实施方式中，图像处理部2c生成降低了背景91的亮度不均的校正细胞图像11。另外，图像分析部2b构成为通过图像处理部2c所生成的校正细胞图像11以及学习完毕模型6来进行分析。
(图像分析方法)
接着，参照图4来说明通过基于本实施方式的细胞图像分析方法来对细胞图像10进行分析的方法。此外，在本实施方式中，说明以下结构：细胞图像分析装置100(参照图1)通过对细胞图像10进行分析，来分析细胞图像10中拍到的细胞90是正常细胞还是异常细胞。在本实施方式中，细胞图像分析装置100通过使用学习完毕模型6(参照图1)对细胞图像10进行分析，来判定细胞图像10中拍到的细胞90是正常细胞还是异常细胞。学习完毕模型6通过被输入细胞图像10来输出区域估计图像12。区域估计图像12是将正常细胞区域20(参照图7)与异常细胞区域21(参照图7)以能够识别的方式进行显示的图像。
图4是示出基于本实施方式的图像处理的流程的框图。如图4所示，在本实施方式中，细胞图像分析方法大体包括图像分析方法101、第一学习完毕模型6a的生成方法102以及第二学习完毕模型6b的生成方法103。
(学习模型的生成)
在基于本实施方式的第一学习完毕模型6a的生成方法102中，通过使用校正细胞图像11使第一学习模型7a进行学习，来生成学习完毕模型6(第一学习完毕模型6a)。具体地说，在第一学习完毕模型6a的生成方法102中，通过使用训练用校正细胞图像30和训练用区域估计图像31使第一学习模型7a进行学习，来生成第一学习完毕模型6a。即，第一学习完毕模型6a的生成方法102将作为校正细胞图像11的训练用校正细胞图像30设为输入数据，将通过对正常细胞区域20、异常细胞区域21以及背景区域附加不同的标签值所得到的图像作为训练用区域估计图像31来设为输出数据。由此，第一学习完毕模型6a的生成方法102使第一学习模型7a学习对被输入的图像的各像素是正常细胞、异常细胞以及背景中的哪一方进行分类。具体地说，第一学习完毕模型6a的生成方法102包括以下步骤：步骤102a，对第一学习模型7a输入训练用校正细胞图像30；以及步骤102b，使第一学习模型7a学习输出与训练用校正细胞图像30对应的标签图像即训练用区域估计图像31。第一学习完毕模型6a例如为图4所示的卷积神经网络(Convolutional neural network；CNN)，或者部分包括卷积神经网络。通过使第一学习模型7a进行学习来生成的第一学习完毕模型6a存储于细胞图像分析装置100的存储部3(图1)。此外，训练用校正细胞图像30是降低了背景91的亮度不均的细胞图像10。
另外，在第二学习完毕模型6b的生成方法103中，通过使用训练用细胞图像32和训练用区域估计图像33使第二学习模型7b进行学习，来生成第二学习完毕模型6b。在本实施方式中，第二学习完毕模型6b在未进行校正处理的细胞图像10即无校正细胞图像15中进行是否适于分析细胞90是正常细胞还是异常细胞的分析。此外，无校正细胞图像15是权利要求书的“未进行校正处理的细胞图像”的一例。
即，第二学习完毕模型6b的生成方法103将作为无校正细胞图像15的训练用细胞图像32设为输入数据，将通过对正常细胞区域20(参照图7)、异常细胞区域21(参照图7)以及背景区域附加不同的标签值所得到的图像作为训练用区域估计图像33来设为输出数据。由此，第二学习完毕模型6b的生成方法103使第二学习模型7b学习对被输入的图像的各像素是正常细胞、异常细胞以及背景中的哪一方进行分类。具体地说，第二学习完毕模型6b的生成方法102包括以下步骤：步骤103a，对第二学习模型7b输入训练用细胞图像32；以及步骤103b，使第二学习模型7b学习输出与训练用细胞图像32对应的标签图像即训练用区域估计图像33。第二学习完毕模型6b例如为图4所示的卷积神经网络、或者部分包括卷积神经网络。通过使第二学习模型7b进行学习来生成的第二学习完毕模型6b存储于细胞图像分析装置100的存储部3(图1)。此外，训练用细胞图像32是无论背景91有无亮度不均，都未被实施降低亮度不均的处理(亮度不均的校正处理)的细胞图像10。
(图像分析方法)
基于本实施方式的图像分析方法101是将图像获取部1从显微镜7(参照图1)等获取到的细胞图像10中拍到的细胞90分类为正常细胞与异常细胞的图像分析方法。基于本实施方式的图像分析方法101包括以下步骤：获取拍到细胞90(参照图2)的细胞图像10；生成从细胞图像10提取出背景91(参照图2)的亮度分量的分布所得到的背景分量图像14(参照图5)；生成对细胞图像10以降低亮度不均的方式进行校正所得到的校正细胞图像11(参照图6)；以及第一估计步骤，使用校正细胞图像11以及学习细胞90的分析所得到的学习完毕模型6(第一学习完毕模型6a)，来估计图像中的细胞90是正常细胞还是异常细胞。在后文叙述图像分析方法101的各步骤的详细处理。
在本实施方式中，获取细胞图像10的步骤由图像获取部1进行。图像获取部1从显微镜7(参照图1)等的图像摄影装置获取细胞图像10。另外，图像获取部1将获取到的细胞图像10输出到图像分析部2b。另外，图像获取部1将获取到的细胞图像10输出到图像处理部2c。
另外，在本实施方式中，如图4所示，对无校正细胞图像15进行分析的步骤由图像分析部2b进行。图像分析部2b通过对学习完毕模型6输入校正细胞图像11或无校正细胞图像15，来获取区域估计图像12。具体地说，图像分析部2b通过将校正细胞图像11输入到第一学习完毕模型6a，来获取第一区域估计图像12a(参照图7)。另外，图像分析部2b通过将无校正细胞图像15输入到第二学习完毕模型6b，来获取第二区域估计图像12b(参照图10)。图像分析部2b使用第一学习完毕模型6a进行分析还是使用第二学习完毕模型6b进行分析是由控制部2a决定的。另外，图像分析部2b将获取到的区域估计图像12(第一区域估计图像12a或第二区域估计图像12b)输出到叠加细胞图像生成部2d。
控制部2a根据操作者的操作输入来判定通过第一学习完毕模型6a进行分析还是通过第二学习完毕模型6b进行分析。具体地说，控制部2a基于是否生成校正细胞图像11的操作输入，来判定通过第一学习完毕模型6a进行分析还是通过第二学习完毕模型6b进行分析。即，控制部2a判定为对校正细胞图像11使用第一学习完毕模型6a，对无校正细胞图像15不使用第一学习完毕模型6a。另外，控制部2a判定为对无校正细胞图像15使用第二学习完毕模型6b，对校正细胞图像11不使用第二学习完毕模型6b。
叠加细胞图像生成部2d基于细胞图像10或校正细胞图像11、以及区域估计图像12，来生成叠加细胞图像50。另外，叠加细胞图像生成部2d使显示部4显示所生成的叠加细胞图像50。
(背景分量图像)
接着，参照图5来说明图像处理部2c生成背景分量图像14的结构。在本实施方式中，图像处理部2c通过对图像获取部1获取到的细胞图像10进行滤波处理，来生成从细胞图像10提取出背景91的亮度分量的分布所得到的背景分量图像14。具体地说，图像处理部2c通过对细胞图像10应用中值滤波来生成背景分量图像14。在本实施方式中，图像处理部2c通过应用中值滤波来对细胞图像10进行平滑化。在本实施方式中，图像处理部2c对图像进行平滑化使得细胞图像10中拍到的细胞90成为大致不显现的状态，作为结果，提取出背景分量。
此外，基于中值滤波的滤波处理获取以关注像素为中心的被设定为规定大小的区域(核，kernel)内的各像素的像素值的中央值。具体地说，基于中值滤波的滤波处理获取以关注像素为中心的核内的各像素的像素值，按照像素值顺序进行排序，并获取中央值。然后，将获取到的中央值设为关注像素的像素值。变更关注像素来对细胞图像10的各像素进行该处理。因而，基于中值滤波的滤波处理的处理负荷增加。
因此，在本实施方式中，图像处理部2c(参照图1)通过将细胞图像10a缩小来生成缩小的细胞图像10c。具体地说，图像处理部2c通过对细胞图像10a进行可逆压缩处理来生成细胞图像10c。在本实施方式中，图像处理部2c例如通过将细胞图像10a缩小到1/8的大小，来生成缩小的细胞图像10c。
然后，图像处理部2c通过针对缩小后的细胞图像10c的滤波处理，来生成缩小的背景分量图像13。缩小的背景分量图像13是通过滤波处理提取出背景91的亮度不均(背景分量)而得到的其它图像。此外，在缩小后的细胞图像10c中，通过用虚线图示细胞90，来表现出细胞90为大致不显现的状态。
在本实施方式中，中值滤波的核尺寸被设定为能够提取背景91的亮度分量、且细胞图像10a中拍到的细胞90被平滑到大致不显现的状态的大小。即，中值滤波的核尺寸根据细胞图像10a中拍到的细胞90的大小来设定。此外，在本实施方式中，图像处理部2c对将细胞图像10a缩小所得到的图像即细胞图像10c应用中值滤波。因而，中值滤波的核尺寸基于细胞图像10c的倍率来设定。由此，能够通过适于细胞图像10c的倍率的核尺寸的滤波来进行滤波处理，因此能够抑制由于核尺寸过大导致像素值的提取和排序的处理次数增加从而处理负荷增加。另外，能够抑制由于核尺寸过小从而无法准确地提取背景分量。
然后，图像处理部2c通过将缩小的背景分量图像13放大来生成背景分量图像14。具体地说，图像处理部2c以使背景分量图像14的大小成为与细胞图像10a相同的大小的方式将缩小的背景分量图像13放大。在本实施方式中，例如，图像处理部2c通过将缩小的背景分量图像13放大到8倍的大小，来生成背景分量图像14。在背景分量图像14中，通过基于中值滤波的滤波处理，背景91的分量被提取出，且细胞90成为大致不显现的状态。此外，在图5所示的背景分量图像14中，也通过用虚线图示细胞90，来表现出细胞90为大致不显现的状态。
(校正细胞图像)
接着，参照图6来说明图像处理部2c(参照图1)生成校正细胞图像11的结构。在本实施方式中，图像处理部2c基于细胞图像10a和背景分量图像14，来生成对细胞图像10以降低亮度不均的方式进行校正所得到的校正细胞图像11。具体地说，如图6所示，图像处理部2c从细胞图像10a减去背景分量图像14。此外，在从细胞图像10a减去了背景分量图像14的情况下，图像整体的像素值变小，有时图像的对比度(contrast)下降。因此，在本实施方式中，图像处理部2c在从细胞图像10a减去背景分量图像14之后加上规定的亮度值，由此生成校正细胞图像11。规定的像素值例如是细胞图像10a的像素值的灰度的一半的值。在本实施方式中，例如在细胞图像10a的像素值为256灰度的情况下，图像处理部2c加上128作为规定的像素值。
如图6所示，校正细胞图像11降低了背景91的亮度不均。在图6所示的校正细胞图像11中，通过对背景91不标注阴影线，来表现出背景91的亮度不均被降低了。
(第一区域估计图像)
接着，参照图7来说明图像分析部2b获取第一区域估计图像12a的结构。在本实施方式中，图像分析部2b通过将校正细胞图像11输入到第一学习完毕模型6a，来获取第一区域估计图像12a。具体地说，图像分析部2b基于第一学习完毕模型6a的估计结果，来估计正常细胞的区域即正常细胞区域20和异常细胞的区域即异常细胞区域21。在本实施方式中，图像分析部2b生成能够识别正常细胞区域20、异常细胞区域21以及背景区域的图像来作为第一区域估计图像12a。具体地说，图像分析部2b在第一区域估计图像12a中，通过不同的显示色对正常细胞区域20、异常细胞区域21以及背景区域进行着色来进行显示，由此将正常细胞区域20、异常细胞区域21以及背景区域以能够识别的方式进行显示。在图7所示的例子中，图像分析部2b用黑色显示正常细胞区域20，用灰色显示异常细胞区域21，用白色显示背景区域，由此生成将正常细胞区域20、异常细胞区域21以及背景区域以能够识别的方式进行显示的第一区域估计图像12a。此外，在第一区域估计图像12a中，通过对异常细胞区域21标注阴影线，来图示出用灰色显示异常细胞区域21的情况。在图7所示的例子中，根据第一区域估计图像12a可知，校正细胞图像11的区域92中拍到的细胞90是异常细胞。
(第一叠加细胞图像)
接着，参照图8来说明叠加细胞图像生成部2d(参照图1)生成叠加细胞图像50的结构。在本实施方式中，图像处理部2c通过对校正细胞图像11叠加表示是正常细胞区域20(参照图7)的第一标记51以及表示是异常细胞区域21(参照图7)的第二标记52，来生成叠加细胞图像50。具体地说，叠加细胞图像生成部2d基于校正细胞图像11和第一区域估计图像12a来生成第一叠加细胞图像50a。此外，叠加细胞图像生成部2d基于第一区域估计图像12a中的正常细胞区域20来获取第一标记51。另外，叠加细胞图像生成部2d基于第一区域估计图像12a中的异常细胞区域21来获取第二标记52。然后，叠加细胞图像生成部2d使基于第一区域估计图像12a获取到的第一标记51及第二标记52叠加于校正细胞图像11，由此生成第一叠加细胞图像50a。
在此，作为识别细胞90是正常细胞还是异常细胞的方法，能够想到通过不同的颜色对正常细胞和异常细胞进行染色的方法。然而，在通过不同的颜色对正常细胞和异常细胞进行染色的方法中，细胞90被破坏。当细胞90被破坏时，无法被用于对细胞90进行移植的传代等。因此，如图8所示，叠加细胞图像生成部2d通过将第一标记51与第二标记52以能够识别的方式进行显示，来生成能够识别正常细胞区域20与异常细胞区域21的第一叠加细胞图像50a。叠加细胞图像生成部2d用互不相同的显示色对正常细胞区域20与异常细胞区域21进行着色来进行显示，由此将正常细胞区域20与异常细胞区域21以能够识别的方式进行显示。叠加细胞图像生成部2d例如用蓝色对第一标记51进行着色，用红色对第二标记52进行着色。在图8所示的例子中，通过使第一标记51的阴影线与第二标记52的阴影线不同，来在第一叠加细胞图像50a中显示出正常细胞区域20与异常细胞区域21的颜色差异。
(基于比较例的区域估计图像)
接着，参照图9来说明基于比较例的区域估计图像60。基于比较例的区域估计图像60是以下图像：通过学习完毕模型对背景91(参照图3)产生了亮度不均的细胞图像10进行分析，由此将正常细胞区域20(参照图7)与异常细胞区域21(参照图7)以能够识别的方式进行显示。此外，基于比较例的区域估计图像60是以下图像：针对用于生成第一区域估计图像12a(参照图8)的细胞图像10a(参照图3)，不进行校正处理地通过学习完毕模型来估计出正常细胞区域20和异常细胞区域21。基于比较例的区域估计图像60由于背景91中产生的亮度不均而引起了估计精度下降。具体地说，由于背景91的亮度不均而引起图像的左侧的估计精度下降。
具体地说，在将图8所示的第一区域估计图像12a与图9所示的基于比较例的区域估计图像60进行比较的情况下，在基于比较例的区域估计图像60中，如用虚线图示的区域61那样，存在未被估计为异常细胞区域21(参照图7)的区域。另外，如用实线图示的区域62那样，在正常细胞区域20(参照图7)中存在未被估计为正常细胞区域20的区域。即，基于比较例的区域估计图像60包括未能对异常细胞区域21准确地进行分类的区域61、以及未能对正常细胞区域20准确地进行分类的区域62。因而，可知，在比较例中通过学习完毕模型进行的分析的精度下降。另一方面，基于本实施方式的第一区域估计图像12a抑制了正常细胞区域20的分类和异常细胞区域21的分类的精度下降。
(第二区域估计图像)
接着，参照图10来说明图像分析部2b获取第二区域估计图像12b的结构。在本实施方式中，图像分析部2b通过将未实施校正处理的图像即无校正细胞图像15输入到第二学习完毕模型6b，来获取第二区域估计图像12b。具体地说，图像分析部2b基于第二学习完毕模型6b的估计结果，来估计正常细胞的区域即正常细胞区域20和异常细胞的区域即异常细胞区域21。图像分析部2b生成能够识别正常细胞区域20、异常细胞区域21以及背景区域的图像来作为第二区域估计图像12b。具体地说，图像分析部2b在第二区域估计图像12b中以通过不同的显示色对正常细胞区域20、异常细胞区域21以及背景区域进行了着色的状态进行显示，由此将正常细胞区域20、异常细胞区域21以及背景区域以能够识别的方式进行显示。在图10所示的例子中，图像分析部2b用黑色显示正常细胞区域20，用灰色显示异常细胞区域21，用白色显示背景区域，由此生成将正常细胞区域20、异常细胞区域21以及背景区域以能够识别的方式进行显示的第二区域估计图像12b。此外，在第二区域估计图像12b中，通过对异常细胞区域21标注阴影线，来图示出用灰色显示异常细胞区域21的情况。在图10所示的例子中，根据第二区域估计图像12b可知，无校正细胞图像15的区域93中拍到的细胞90是异常细胞。
(第二叠加细胞图像)
接着，参照图11来说明叠加细胞图像生成部2d(参照图1)生成第二叠加细胞图像50b的结构。在本实施方式中，叠加细胞图像生成部2d通过对无校正细胞图像15叠加表示是正常细胞区域20(参照图10)的第一标记51以及表示是异常细胞区域21(参照图10)的第二标记52，来生成第二叠加细胞图像50b。具体地说，叠加细胞图像生成部2d基于第二区域估计图像12b中的正常细胞区域20来获取第一标记51。另外，叠加细胞图像生成部2d基于第二区域估计图像12b中的异常细胞区域21来获取第二标记52。然后，叠加细胞图像生成部2d使基于第二区域估计图像12b获取到的第一标记51及第二标记52叠加于无校正细胞图像15，由此生成第二叠加细胞图像50b。
如图11所示，叠加细胞图像生成部2d通过将第一标记51与第二标记52以能够识别的方式进行显示，来生成能够识别正常细胞区域20与异常细胞区域21的第二叠加细胞图像50b。叠加细胞图像生成部2d用互不相同的显示色对正常细胞区域20与异常细胞区域21进行着色来进行显示，由此将正常细胞区域20与异常细胞区域21以能够识别的方式进行显示。叠加细胞图像生成部2d例如用蓝色对第一标记51进行着色，用红色对第二标记52进行着色。在图11所示的例子中，通过使第一标记51的阴影线与第二标记52的阴影线不同，来在第二叠加细胞图像50b中显示出正常细胞区域20与异常细胞区域21的颜色差异。
(叠加细胞图像显示处理)
接着，参照图12来说明细胞图像分析装置100显示叠加细胞图像50的处理。
在步骤200中，控制部2a受理是否生成校正细胞图像11的操作输入。此外，在本实施方式中，控制部2a经由输入受理部5(参照图1)受理操作者的操作输入，由此受理是否生成校正细胞图像11的操作输入。另外，控制部2a基于操作者进行的是否生成校正细胞图像11的操作输入，来设定是否生成校正细胞图像11。另外，控制部2a将是否生成校正细胞图像11的设定存储于存储部3。
在步骤201中，图像获取部1获取拍到细胞90的细胞图像10。
在步骤202中，控制部2a基于在步骤200中受理的操作输入，来判定是否生成校正细胞图像11。在生成校正细胞图像11的情况下，处理进入步骤203。在不生成校正细胞图像11的情况下，处理进入步骤206。在本实施方式中，控制部2a通过参照存储部3中存储的是否生成校正细胞图像11的设定，来判定是否生成校正细胞图像11。
在步骤203中，图像处理部2c通过对获取到的细胞图像10进行滤波处理，来生成从细胞图像10提取出背景91的亮度分量的分布所得到的背景分量图像14。
在步骤204中，图像处理部2c基于细胞图像10和背景分量图像14来生成对细胞图像10以降低亮度不均的方式进行校正所得到的校正细胞图像11。在本实施方式中，如图6所示，图像处理部2c在步骤204的处理中，从细胞图像10减去背景分量图像14，并加上规定的亮度值，由此生成校正细胞图像11。
在步骤205中，图像分析部2b使用校正细胞图像11以及学习细胞90的分析所得到的学习完毕模型6，来进行估计图像中的细胞90是正常细胞还是异常细胞的第一估计步骤的处理。在本实施方式中，图像分析部2b在生成校正细胞图像11的情况下，使用利用校正细胞图像11(训练用校正细胞图像30)生成的第一学习完毕模型6a作为学习完毕模型6来执行针对校正细胞图像11的第一估计步骤的处理。
另外，在处理从步骤202进入步骤206的情况下，在步骤206中，图像分析部2b使用利用无校正细胞图像15(训练用细胞图像32)生成的第二学习完毕模型6b来执行针对细胞图像10的第二估计步骤的处理。
在步骤207中，图像处理部2c基于学习完毕模型6的估计结果，来估计正常细胞的区域即正常细胞区域20和异常细胞的区域即异常细胞区域21。具体地说，在步骤207中，图像处理部2c获取能够识别正常细胞区域20与异常细胞区域21的区域估计图像12。
在步骤208中，叠加细胞图像生成部2d通过对校正细胞图像11叠加表示是正常细胞区域20的第一标记51和表示是异常细胞区域21的第二标记52，来生成叠加细胞图像50。
在步骤209中，控制部2a使显示部4显示叠加细胞图像50。即，控制部2a通过使显示部4显示叠加细胞图像50，来将正常细胞区域20与异常细胞区域21以能够识别的方式进行显示。
在本实施方式中，在生成校正细胞图像11的情况下，细胞图像分析装置100执行生成校正细胞图像11的步骤204的处理，并使用校正细胞图像11和学习完毕模型6来执行第一估计步骤的处理(步骤205的处理)。另外，在不生成校正细胞图像11的情况下，细胞图像分析装置100不执行生成背景分量图像14的步骤203的处理，而进行使用细胞图像10和学习完毕模型6进行估计的第二估计步骤的处理(步骤206的处理)。
(背景分量图像生成处理)
接着，参照图13来说明图像处理部2c生成背景分量图像14的处理。
在步骤203a中，图像处理部2c将细胞图像10a缩小。具体地说，图像处理部2c对细胞图像10a进行可逆压缩处理，由此将细胞图像10a缩小来生成细胞图像10c。
在步骤203b中，图像处理部2c通过针对缩小后的细胞图像10c的滤波处理，来生成缩小的背景分量图像13。在本实施方式中，图像处理部2c对缩小的细胞图像10c进行基于中值滤波的滤波处理，由此生成缩小的背景分量图像13。
在步骤203c中，图像处理部2c将缩小的背景分量图像13放大。即，图像处理部2c通过将缩小的背景分量图像13放大，来生成背景分量图像14。之后，处理进入步骤204。
(本实施方式的效果)
在本实施方式中，能够得到以下那样的效果。
在本实施方式中，如上述的那样，细胞图像分析方法包括以下步骤：获取拍到细胞90的细胞图像10；通过对获取到的细胞图像10进行滤波处理，来生成从细胞图像10提取出背景91的亮度分量的分布所得到的背景分量图像14；基于细胞图像10和背景分量图像14，来生成对细胞图像10以降低亮度不均的方式进行校正所得到的校正细胞图像11；以及第一估计步骤，使用校正细胞图像11以及学习细胞90的分析所得到的学习完毕模型6，来估计图像中的细胞90是正常细胞还是异常细胞。
由此，能够通过降低了背景91的亮度不均的校正细胞图像11和学习完毕模型6，来估计图像中的细胞90是正常细胞还是异常细胞。其结果是，能够抑制由于细胞图像10的背景91的亮度不均而引起通过学习完毕模型6进行的分析精度下降。
另外，在上述实施方式中，通过如以下那样构成，能够得到如下述那样的进一步的效果。
即，在本实施方式中，如上述的那样，细胞图像10是包含在填充于培养容器80的培养溶液81中培养的、培养容器80的端部附近70的培养细胞90的图像。在此，在培养容器80的端部附近70，由于表面张力，培养溶液81的液面81a的高度以如下方式发生变化：随着靠近培养容器80的端部附近70，培养溶液81的液面81a的高度增加。在培养溶液81的液面81a的高度发生了变化的情况下，由于培养溶液81的高度的差异，细胞图像10的背景91产生亮度不均。因此，通过对包含培养容器80的端部附近70的培养细胞90的细胞图像10应用本发明，即使在对在培养容器80的端部附近70由于培养溶液81的液面81a的高度发生变化而产生了背景91的亮度不均的细胞图像10进行分析的情况下，也能够容易地抑制通过学习完毕模型6进行的分析精度下降。
另外，在本实施方式中，如上述的那样，滤波处理是以下处理：通过对细胞图像10应用中值滤波来生成背景分量图像14。在此，在例如应用高斯滤波或均值滤波作为滤波处理的情况下，由于像素值极高的杂散光、像素值极低的异物，有时无法准确地获取背景91的亮度分量。因此，通过应用利用规定的区域内的各像素的像素值的中央值进行平滑化的中值滤波，即使在产生了杂散光、异物的混入的情况下，也能够准确地获取背景91的亮度分量。其结果是，能够获取准确地校正了背景91的亮度不均的校正细胞图像11。
另外，在本实施方式中，如上述的那样，还包括将细胞图像10缩小的步骤，在生成背景分量图像14的步骤中，通过针对缩小后的细胞图像10c的滤波处理，来生成缩小的背景分量图像13，还包括将缩小的背景分量图像13放大的步骤。由此，通过对缩小后的细胞图像10c应用滤波处理，能够抑制滤波处理的处理负荷增加。此外，在应用利用规定的区域内的各像素的像素值的中央值进行平滑化的中值滤波的情况下，能够进一步抑制滤波处理的处理负荷增加。
另外，在本实施方式中，如上述的那样，还包括受理是否生成校正细胞图像11的操作输入的步骤，在生成校正细胞图像11的情况下，执行生成校正细胞图像11的步骤，并使用校正细胞图像11和学习完毕模型6(第一学习完毕模型6a)来执行第一估计步骤，在不生成校正细胞图像11的情况下，不执行生成背景分量图像14的步骤，而还包括以下的第二估计步骤：使用细胞图像10(无校正细胞图像15)和学习完毕模型6(第二学习完毕模型6b)来进行估计。由此，在生成校正细胞图像11的情况下，执行使用校正细胞图像11和第一学习完毕模型6a的第一估计步骤，因此能够抑制由于细胞图像10的背景91产生的亮度不均而引起学习完毕模型6(第一学习完毕模型6a)的分析精度下降。另外，在不生成校正细胞图像11的情况下，执行使用无校正细胞图像15和第二学习完毕模型6b的第二估计步骤，因此能够不生成背景分量图像14地进行无校正细胞图像15的分析。其结果是，能够与不生成背景分量图像14相应地抑制滤波处理的处理负荷增加。
另外，在本实施方式中，如上述的那样，在生成校正细胞图像11的情况下，使用利用校正细胞图像11生成的第一学习完毕模型6a作为学习完毕模型6来对校正细胞图像11执行第一估计步骤，在不生成校正细胞图像11的情况下，使用利用未进行校正处理的细胞图像10(无校正细胞图像15)生成的第二学习完毕模型6b来对细胞图像10执行第二估计步骤。由此，在对校正细胞图像11进行分析的情况下执行第一估计步骤，因此能够通过适于分析校正细胞图像11的第一学习完毕模型6a来进行分析。其结果是，在对背景91产生了亮度不均的细胞图像10进行分析时，能够抑制分析精度下降。在此，当对细胞图像10进行滤波处理(校正处理)以降低亮度不均时，细胞90的轮廓线变得不清晰，细胞90的对比度下降。因此，在对未进行校正处理的细胞图像10(无校正细胞图像15)进行分析的情况下，通过执行使用无校正细胞图像15和第二学习完毕模型6b的第二估计步骤，能够通过第二学习完毕模型6b来进行未进行滤波处理的无校正细胞图像15的分析。其结果是，能够在通过不进行滤波处理来抑制细胞90的对比度下降的同时，进行无校正细胞图像15的分析。
另外，在本实施方式中，如上述的那样，在生成校正细胞图像11的步骤中，通过从细胞图像10减去背景分量图像14，并加上规定的亮度值，来生成校正细胞图像11。由此，与仅是从细胞图像10减去背景分量图像14的结构不同地，加上了规定的亮度值，因此能够抑制校正细胞图像11的对比度下降。
另外，在本实施方式中，如上述的那样，在估计校正细胞图像11中拍到的细胞90是正常细胞还是异常细胞的步骤中，基于学习完毕模型6的估计结果来估计正常细胞的区域即正常细胞区域20和异常细胞的区域即异常细胞区域21，还包括将正常细胞区域20与异常细胞区域21以能够识别的方式进行显示的步骤。由此，在背景91的亮度不均得到了抑制的细胞图像10中，正常细胞区域20与异常细胞区域21以能够识别的方式进行显示，因此操作者能够容易地识别正常细胞区域20与异常细胞区域21。
另外，在本实施方式中，如上述的那样，还包括以下步骤：通过对校正细胞图像11叠加表示是正常细胞区域20的第一标记51以及表示是异常细胞区域21的第二标记52，来生成叠加细胞图像50。由此，通过在叠加细胞图像50中显示的第一标记51和第二标记52，能够容易地识别正常细胞区域20与异常细胞区域21。
另外，在本实施方式中，如上述的那样，还包括以下步骤：通过使用校正细胞图像11使第一学习模型7a进行学习，来生成学习完毕模型6(第一学习完毕模型6a)。由此，能够生成适于分析降低了背景91的亮度不均的校正细胞图像11的学习完毕模型6(第一学习完毕模型6a)。其结果是，能够抑制校正细胞图像11的分析的精度下降。
[变形例]
应当认为本次公开的实施方式在所有方面均是例示性的，而不是限制性的。本发明的范围不由上述实施方式的说明示出，而是由权利要求书示出，还包括与权利要求书等同的含义和范围内的全部变更(变形例)。
例如，在上述实施方式中，示出了图像处理部2c通过对细胞图像10应用中值滤波来生成背景分量图像14的结构的例子，但本发明并不限于此。例如，图像处理部2c也可以构成为通过对细胞图像10应用高斯滤波或均值滤波来生成背景分量图像14。然而，在图像处理部2c通过应用高斯滤波或均值滤波来生成背景分量图像14的情况下，由于像素值极高的杂散光、像素值极低的异物，有时无法准确地获取背景91的分量。因而，图像处理部2c优选构成为通过应用中值滤波来生成背景分量图像14。
另外，在上述实施方式中，示出了图像处理部2c通过将细胞图像10a缩小并对缩小后的细胞图像10c应用滤波来生成背景分量图像14的结构的例子，但本发明并不限于此。图像处理部2c也可以构成为通过不将细胞图像10a缩小地对细胞图像10a应用滤波，来生成背景分量图像14。然而，在图像处理部2c不将细胞图像10a缩小地生成背景分量图像14的结构的情况下，滤波处理的处理负荷增加。因而，图像处理部2c优选构成为通过对缩小后的细胞图像10c应用滤波来生成背景分量图像14。
另外，在上述实施方式中，示出了控制部2a基于是否生成校正细胞图像11的操作输入来判定是否生成校正细胞图像11的结构的例子，但本发明并不限于此。例如，控制部2a也可以构成为：获取细胞图像10的背景91是否存在亮度不均，在细胞图像10的背景91存在亮度不均的情况下，判定为生成校正细胞图像11，在细胞图像10的背景91没有亮度不均的情况下，判定为不生成校正细胞图像11。
另外，在上述实施方式中，示出了图像处理部2c基于控制部2a的判定来切换是否生成校正细胞图像11的结构的例子，但本发明并不限于此。图像处理部2c也可以构成为不基于控制部2a的判定而始终生成校正细胞图像11。然而，在图像处理部2c构成为始终生成校正细胞图像11的情况下，对背景91未产生亮度不均的细胞图像10b也进行滤波处理。因此，处理负荷增加。因而，图像处理部2c优选构成为基于控制部2a的判定来切换是否生成校正细胞图像11。
另外，在上述实施方式中，示出了图像处理部2c通过对背景91产生了亮度不均的细胞图像10a实施校正处理来生成校正细胞图像11，而对背景91未产生亮度不均的细胞图像10b不实施校正处理的结构的例子，但本发明并不限于此。图像处理部2c也可以构成为无论背景91是否产生了亮度不均，均对细胞图像10实施校正处理。然而，在对背景91未产生亮度不均的细胞图像10实施校正处理的情况下，也对细胞90进行平滑化处理，因此细胞90的对比度下降。因而，图像处理部2c优选构成为仅对背景91产生了亮度不均的细胞图像10实施校正处理。
另外，在上述实施方式中，示出了图像处理部2c通过从细胞图像10a减去背景分量图像14来生成校正细胞图像11的结构的例子，但本发明并不限于此。例如，图像处理部2c也可以构成为通过对细胞图像10a除以背景分量图像14来生成校正细胞图像11。关于图像处理部2c生成校正细胞图像11的方法，可以是任何方法。
另外，在上述实施方式中，示出了图像处理部2c通过从细胞图像10a减去背景分量图像14并加上规定的亮度值，来生成校正细胞图像11的结构的例子，但本发明并不限于此。例如，图像处理部2c也可以构成为在从细胞图像10a减去背景分量图像14之后，不加上规定的亮度值地生成校正细胞图像11。然而，在图像处理部2c在从细胞图像10a减去背景分量图像14之后不加上规定的亮度值地生成校正细胞图像11的情况下，校正细胞图像11的对比度下降。因而，图像处理部2c优选构成为通过从细胞图像10a减去背景分量图像14并加上规定的亮度值，来生成校正细胞图像11。
另外，在上述实施方式中，示出了叠加细胞图像生成部2d通过对正常细胞区域20着以蓝色，对异常细胞区域21着以红色，来生成将正常细胞区域20与异常细胞区域21以能够识别的方式进行显示的叠加细胞图像50的结构的例子，但本发明并不限于此。只要能够识别正常细胞区域20与异常细胞区域21即可，叠加细胞图像生成部2d可以用任何颜色对正常细胞区域20和异常细胞区域21进行着色。
另外，在上述实施方式中，示出了细胞图像分析装置100生成第一学习完毕模型6a和第二学习完毕模型6b的结构的例子，但本发明并不限于此。例如，细胞图像分析装置100也可以构成为使用由与细胞图像分析装置100不同的分析装置生成的第一学习完毕模型6a和第二学习完毕模型6b。
另外，在上述实施方式中，示出了图像分析部2b使用第一学习完毕模型6a进行校正细胞图像11的分析，并且使用第二学习完毕模型6b进行无校正细胞图像15的分析的结构的例子，但本发明并不限于此。例如，图像分析部2b也可以不进行使用第二学习完毕模型6b的分析。然而，在图像分析部2b不进行使用第二学习完毕模型6b的分析的情况下，变为通过第一学习完毕模型6a进行无校正细胞图像15的分析。在该情况下，有时无校正细胞图像15中拍到的细胞90的对比度下降。因而，图像分析部2b优选构成为使用第一学习完毕模型6a进行校正细胞图像11的分析，并且使用第二学习完毕模型6b进行无校正细胞图像15的分析。
另外，在上述实施方式中，作为步骤201的处理，示出了图像获取部1获取细胞图像10的结构的例子，但本发明并不限于此。例如，也可以构成为，图像处理部2c获取由图像获取部1预先获取并存储于存储部3的细胞图像10。
另外，在上述实施方式中，示出了图像分析部2b分析细胞图像10中拍到的细胞90是未分化细胞还是未分化逸脱细胞的结构的例子，但本发明并不限于此。例如，图像分析部2b也可以构成为分析癌细胞与除癌细胞以外的细胞。图像分析部2b进行分析的细胞并不限定于未分化细胞和未分化逸脱细胞。
[方式]
本领域技术人员能够理解，上述的例示性的实施方式是以下方式的具体例。
(项目1)
一种细胞图像分析方法，包括以下步骤：
获取拍到细胞的细胞图像；
通过对获取到的所述细胞图像进行滤波处理，来生成从所述细胞图像提取出背景的亮度分量的分布所得到的背景分量图像；
基于所述细胞图像和所述背景分量图像，来生成对所述细胞图像以降低亮度不均的方式进行校正所得到的校正细胞图像；以及
第一估计步骤，使用所述校正细胞图像以及学习所述细胞的分析所得到的学习完毕模型，来估计图像中的所述细胞是正常细胞还是异常细胞。
(项目2)
根据项目1所记载的细胞图像分析方法，其中，
所述细胞图像是包含在填充于培养容器的培养溶液中培养的、所述培养容器的端部附近的培养细胞的图像。
(项目3)
根据项目1或2所记载的细胞图像分析方法，其中，
所述滤波处理是以下处理：通过对所述细胞图像应用中值滤波来生成所述背景分量图像。
(项目4)
根据项目1～3中的任一项所记载的细胞图像分析方法，其中，
还包括以下步骤：将所述细胞图像缩小，
在生成所述背景分量图像的步骤中，通过针对缩小后的所述细胞图像的所述滤波处理，来生成缩小的所述背景分量图像，
所述细胞图像分析方法还包括以下步骤：将缩小的所述背景分量图像放大。
(项目5)
根据项目1～4中的任一项所记载的细胞图像分析方法，其中，
还包括以下步骤：受理是否生成所述校正细胞图像的操作输入，
在生成所述校正细胞图像的情况下，执行生成所述校正细胞图像的步骤，并使用所述校正细胞图像和所述学习完毕模型来执行所述第一估计步骤，
在不生成所述校正细胞图像的情况下，不执行生成所述背景分量图像的步骤，而还包括以下的第二估计步骤：使用所述细胞图像和所述学习完毕模型来进行估计。
(项目6)
根据项目5所记载的细胞图像分析方法，其中，
在生成所述校正细胞图像的情况下，使用利用所述校正细胞图像生成的第一学习完毕模型作为所述学习完毕模型来对所述校正细胞图像执行所述第一估计步骤，
在不生成所述校正细胞图像的情况下，使用利用未进行校正处理的所述细胞图像生成的第二学习完毕模型来对所述细胞图像执行所述第二估计步骤。
(项目7)
根据项目1～6中的任一项所记载的细胞图像分析方法，其中，
在生成所述校正细胞图像的步骤中，通过从所述细胞图像减去所述背景分量图像，并加上规定的亮度值，来生成所述校正细胞图像。
(项目8)
根据项目1～7中的任一项所记载的细胞图像分析方法，其中，
在估计所述校正细胞图像中拍到的所述细胞是所述正常细胞还是所述异常细胞的步骤中，基于所述学习完毕模型的估计结果来估计所述正常细胞的区域即正常细胞区域和所述异常细胞的区域即异常细胞区域，
所述细胞图像分析方法还包括以下步骤：将所述正常细胞区域与所述异常细胞区域以能够识别的方式进行显示。
(项目9)
根据项目8所记载的细胞图像分析方法，其中，
还包括以下步骤：通过对所述校正细胞图像叠加表示是所述正常细胞区域的第一标记以及表示是所述异常细胞区域的第二标记，来生成叠加细胞图像。
(项目10)
根据项目1所记载的细胞图像分析方法，其中，
还包括以下步骤：通过使用所述校正细胞图像使第一学习模型进行学习，来生成所述学习完毕模型。
附图标记说明
6：学习完毕模型；6a：第一学习完毕模型；6b：第二学习完毕模型；10：细胞图像；10c：缩小的细胞图像；13：缩小的背景分量图像；14：背景分量图像；15：无校正细胞图像(未进行校正处理的细胞图像)；20：正常细胞区域；21：异常细胞区域；50：叠加图像；51：第一标记；52：第二标记；70：培养容器的端部附近；80：培养容器；80a：培养容器的端部；81：培养溶液；90：细胞(培养细胞)；91：背景。

Claims (10)

1.一种细胞图像分析方法，包括以下步骤：
获取拍到细胞的细胞图像；
通过对获取到的所述细胞图像进行滤波处理，来生成从所述细胞图像提取出背景的亮度分量的分布所得到的背景分量图像；
基于所述细胞图像和所述背景分量图像，来生成对所述细胞图像以降低亮度不均的方式进行校正所得到的校正细胞图像；以及
第一估计步骤，使用所述校正细胞图像以及学习所述细胞的分析所得到的学习完毕模型，来估计图像中的所述细胞是正常细胞还是异常细胞。
2.根据权利要求1所述的细胞图像分析方法，其中，
所述细胞图像是包含在填充于培养容器的培养溶液中培养的、所述培养容器的端部附近的培养细胞的图像。
3.根据权利要求1所述的细胞图像分析方法，其中，
所述滤波处理是以下处理：通过对所述细胞图像应用中值滤波来生成所述背景分量图像。
4.根据权利要求1所述的细胞图像分析方法，其中，
还包括以下步骤：将所述细胞图像缩小，
在生成所述背景分量图像的步骤中，通过针对缩小后的所述细胞图像的所述滤波处理，来生成缩小的所述背景分量图像，
所述细胞图像分析方法还包括以下步骤：将缩小的所述背景分量图像放大。
5.根据权利要求1所述的细胞图像分析方法，其中，
还包括以下步骤：受理是否生成所述校正细胞图像的操作输入，
在生成所述校正细胞图像的情况下，执行生成所述校正细胞图像的步骤，并使用所述校正细胞图像和所述学习完毕模型来执行所述第一估计步骤，
在不生成所述校正细胞图像的情况下，不执行生成所述背景分量图像的步骤，而还包括以下的第二估计步骤：使用所述细胞图像和所述学习完毕模型来进行估计。
6.根据权利要求5所述的细胞图像分析方法，其中，
在生成所述校正细胞图像的情况下，使用利用所述校正细胞图像生成的第一学习完毕模型作为所述学习完毕模型来对所述校正细胞图像执行所述第一估计步骤，
在不生成所述校正细胞图像的情况下，使用利用未进行校正处理的所述细胞图像生成的第二学习完毕模型来对所述细胞图像执行所述第二估计步骤。
7.根据权利要求1所述的细胞图像分析方法，其中，
在生成所述校正细胞图像的步骤中，通过从所述细胞图像减去所述背景分量图像，并加上规定的亮度值，来生成所述校正细胞图像。
8.根据权利要求1所述的细胞图像分析方法，其中，
在估计所述校正细胞图像中拍到的所述细胞是所述正常细胞还是所述异常细胞的步骤中，基于所述学习完毕模型的估计结果来估计所述正常细胞的区域即正常细胞区域和所述异常细胞的区域即异常细胞区域，
所述细胞图像分析方法还包括以下步骤：将所述正常细胞区域与所述异常细胞区域以能够识别的方式进行显示。
9.根据权利要求8所述的细胞图像分析方法，其中，
还包括以下步骤：通过对所述校正细胞图像叠加表示是所述正常细胞区域的第一标记以及表示是所述异常细胞区域的第二标记，来生成叠加细胞图像。
10.根据权利要求1所述的细胞图像分析方法，其中，
还包括以下步骤：通过使用所述校正细胞图像使学习模型进行学习，来生成所述学习完毕模型。
CN202280047098.9A 2021-07-29 2022-07-28 细胞图像分析方法 Pending CN117616453A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-124723 2021-07-29
JP2021124723 2021-07-29
PCT/JP2022/029115 WO2023008525A1 (ja) 2021-07-29 2022-07-28 細胞画像解析方法

Publications (1)

Publication Number Publication Date
CN117616453A true CN117616453A (zh) 2024-02-27

Family

ID=85086934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280047098.9A Pending CN117616453A (zh) 2021-07-29 2022-07-28 细胞图像分析方法

Country Status (4)

Country Link
US (1) US20240273683A1 (zh)
JP (1) JPWO2023008525A1 (zh)
CN (1) CN117616453A (zh)
WO (1) WO2023008525A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166707A1 (ja) * 2023-02-07 2024-08-15 株式会社片岡製作所 細胞の分類に用いるための識別器の生成装置、細胞の分類に用いるための識別器、細胞分類装置、および細胞処理システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4969478B2 (ja) * 2008-02-19 2012-07-04 株式会社キーエンス 欠陥検出装置、欠陥検出方法及びコンピュータプログラム
JP2012163777A (ja) * 2011-02-07 2012-08-30 Nikon Corp 画像処理装置、撮像装置およびプログラム
US11978211B2 (en) * 2018-03-08 2024-05-07 Shimadzu Corporation Cellular image analysis method, cellular image analysis device, and learning model creation method

Also Published As

Publication number Publication date
WO2023008525A1 (ja) 2023-02-02
JPWO2023008525A1 (zh) 2023-02-02
US20240273683A1 (en) 2024-08-15

Similar Documents

Publication Publication Date Title
CN107845087B (zh) 液晶面板亮度不均匀缺陷的检测方法和系统
CN107316077B (zh) 一种基于图像分割及边缘检测的脂肪细胞自动计数方法
CN109472788B (zh) 一种飞机铆钉表面的伤痕检测方法
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN110596120A (zh) 玻璃边界缺陷检测方法、装置、终端及存储介质
CN101901342A (zh) 影像目标区域的提取方法和装置
CN112614062A (zh) 菌落计数方法、装置及计算机存储介质
CN111077150A (zh) 一种基于计算机视觉和神经网络的大便智能分析方法
US9007495B1 (en) Image processing
CN106570855A (zh) 猪肉新鲜度快速判定的方法及系统
CN111008563A (zh) 一种暗光场景种子发芽检测方法、装置及可读存储介质
CN117616453A (zh) 细胞图像分析方法
CN107123102A (zh) 一种贴壁细胞生长融合度自动分析方法
US20200193212A1 (en) Particle boundary identification
CN108965749B (zh) 基于纹理识别的缺陷像素检测和校正装置及方法
CN113888503A (zh) 产品外观检测方法、装置和存储介质
CN104657972A (zh) 一种图像块的模糊度判断方法及系统
CN104091557A (zh) 一种基于影像识别技术的显示屏测试装置及其测试方法
CN116433978A (zh) 一种高质量瑕疵图像自动生成与自动标注方法及装置
CN112270683B (zh) 一种ihc数字预览图识别和组织前景分割方法及系统
US10119111B2 (en) Cell colony area specifying apparatus, cell colony area specifying method, and recording medium
CN111083468B (zh) 一种基于图像梯度的短视频质量评价方法及系统
US20240233089A1 (en) Image processing method and image processing apparatus
JP4741289B2 (ja) 画像処理装置および画像処理方法
Rallo Capdevila et al. Connectivity-based segmentation of retinal vessels in eye fundus images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination