CN113728357A - 图像处理方法、图像处理装置以及图像处理系统 - Google Patents

图像处理方法、图像处理装置以及图像处理系统 Download PDF

Info

Publication number
CN113728357A
CN113728357A CN202080030691.3A CN202080030691A CN113728357A CN 113728357 A CN113728357 A CN 113728357A CN 202080030691 A CN202080030691 A CN 202080030691A CN 113728357 A CN113728357 A CN 113728357A
Authority
CN
China
Prior art keywords
image
region
pixel
image processing
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080030691.3A
Other languages
English (en)
Other versions
CN113728357B (zh
Inventor
阿尼尔班·雷
服部英春
柿下容弓
坂诘卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp filed Critical Hitachi High Technologies Corp
Publication of CN113728357A publication Critical patent/CN113728357A/zh
Application granted granted Critical
Publication of CN113728357B publication Critical patent/CN113728357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

为了对图像内的对象物进行定量分析，准确地识别对象物是重要的，但在多个物体相互接触的情况下，有时无法准确地识别对象部。在图像中，将拍摄有作为定量信息的计算对象的物体的区域作为前景区域，将其他区域作为背景区域来分割图像，针对图像内的相互接触的第一物体和第二物体，根据区域分割部输出的区域分割结果，检测第一物体和第二物体的接触点，将离接触点最近的背景区域作为第一边界基准像素，将从第一边界基准像素隔着接触点位于反方向的背景区域作为第二边界基准像素，通过连接2个边界基准像素，能够分离所述第一物体和第二物体。

Description

图像处理方法、图像处理装置以及图像处理系统
技术领域
本发明涉及图像处理方法、图像处理装置以及图像处理系统。
背景技术
近年来，随着IT化的发展，社会中配置有大量的传感器，积累了极大量的数据。在这样的过程中，研究了灵活利用所聚集的图像数据的各种对策。特别是，在照片、视频、图像等影像内容增加的过程中，自由地确定该影像中的物体(object)，提取与所确定的物体相关的定量信息的需求提高。
以往，作为图像内的物体的定量分析的手段之一，已知有针对均质性高的物体的集合，对集合内的物体数进行计数的手段。
例如，在美国专利说明书5671290(专利文献1)中记载如下技术：“对于均质性高的、包含至少一个物体的集合的图像，基于从集合的轮廓上的各点到集合的质量中心的距离，对集合内包含的物体的数量进行计数，或者，对于均质性高的物体的至少一个集合和包含至少一个孤立的物体的图像，基于孤立的物体的大小，推定物体的集合中包含的物体的数量”。
现有技术文献
专利文献
专利文献1：美国专利说明书5671290
发明内容
发明要解决的课题
为了定量分析图像中的物体，准确地识别物体是重要的。例如，在图像的背景中包含与对象物体类似的物体的情况下，优选区分对象物体(前景)和背景，将成为前景的对象物体按照每个类(class)进行分类，对对象物体的每个类的数量、比例等进行定量分析，但在上述的专利文献中都没有记载能够进行对象物体的准确的类的分类的手段。
因此，本发明的目的在于提供一种通过将图像内的相互接触的多个物体分离，能够准确地识别该物体，并对识别出的物体进行定量分析的手段。这里，“相互接触”这一表述意味着多个物体的一部分接触或部分重叠，占据同一空间。
用于解决课题的手段
为了解决上述的课题，代表性的本发明的图像处理装置之一包括：输入部，其输入图像；区域分割部，其分割图像的前景和背景；接触分离部，其分离图像内的接触的多个物体；分类部，其按照每个类对各物体进行分类；以及定量信息计算部，其生成与物体相关的定量信息。
发明效果
根据本发明，能够提供一种通过将图像内的相互接触的多个物体分离，能够准确地识别该物体，并对识别出的物体进行定量分析的手段。
附图说明
图1是表示本发明的实施例1的图像处理装置的功能结构的框图。
图2是表示本发明的实施例1的图像处理装置的硬件结构的一例的框图。
图3是表示本发明的中间输出的数据的图。
图4是表示本发明的实施例1的区域分割部的动作的一例的图。
图5是表示本发明的实施例1的接触分离部的动作的一例的图。
图6是表示边界物体(border object)的一例的图。
图7是表示分离了边界物体的状态的图。
图8是表示非边界物体的一例的图。
图9是表示分离了非边界物体的状态的图。
图10是表示本发明的实施例1的接触分离处理的流程图。
图11是表示本发明的实施例1的分离相互接触的边界物体的处理的一例的图。
图12是表示本发明的实施例1的分类处理的流程图。
图13是表示本发明的实施例1的相互接触的非边界物体的一例的图。
图14是表示图13所示的相互接触的非边界物体的放大状态的图。
图15是表示对第一物体和第二物体实施距离变换处理后的状态的图。
图16是用于说明对成为第一物体和第二物体的边界线的中心点的对象像素P进行确定的处理的图。
图17是用于说明确定边界基准像素的处理的图。
图18是表示分离了第一物体和第二物体的状态的图。
图19是表示本发明的实施例1的分类处理的流程图。
图20是表示本发明的实施例1的分类部的动作的一例的图。
图21是表示本发明的实施例1的定量分析的处理的一例的图。
图22是表示本发明的实施例2的图像处理装置的功能结构的框图。
图23是表示本发明的实施例2的图像处理装置的硬件结构的一例的框图。
图24是表示本发明的实施例2的区域修正处理的一例的图。
图25是表示通过本发明的实施例2的区域修正部修正了图24所示的包含误背景区域的图像而得到的图像的一例的图。
图26是表示本发明的实施例2的区域修正处理的一例的流程图。
图27是表示本发明的实施例2的区域修正处理的一例的流程图。
图28是表示本发明的实施例3的图像处理系统的一例的图。
图29是表示本发明的实施例3的图像处理系统的一例的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。此外，本发明并受该实施方式限制。另外，在附图的记载中，对相同部分标注相同的附图标记来表示。
(本发明的概要)
在分析用的图像中，存在成为分析的对象的物体与分析中不需要的物体一起被拍摄的情况。但是，为了高精度地计算与对象物体有关的定量信息，需要将对象物体和不需要的物体分开。将对象物体和不是对象物体的物体分开的处理能够通过手动简单地进行，但在需要在短时间内处理数千、数百万张以上的图像的情况下，优选使该过程自动化。因此，需要自动检测图像内的对象物体，并排除不需要的物体。
因此，根据以下说明的本发明的实施方式，能够准确地检测在图像中作为前景出现的物体，将相互接触的多个物体分离为独立的物体，将分离出的物体按每个类别分类后，进行准确的定量分析。
此外，本发明对圆形或球形等在2维或3维空间中由连续的曲面形成的物体的识别、分离、分析特别有效。这里的“圆形”、“球形”并不限定于几何学上准确的“圆形”、“球形”的形状的物体，也包括椭圆、卵形及其截面。并且，本发明并不限定于圆形、球形等，只要是构成封闭空间的物体，在本发明中说明的处理是有效的。
此外，在以下的附图中，为了便于说明，示出了二维的物体，但本发明并不限定于此。
接着，对本发明的处理的概要进行说明。
首先，包含成为对象物体以及不需要的物体的图像被输入到图像处理装置，该图像处理装置包含区域分割部(Segmentation Unit)、接触分离部(Separation Unit)、分类部(Classification Unit)以及定量信息计算部(Quantitative Calculation Unit)。区域分割部将输入的图像分割为包含成为对象的物体的前景的部分和包含不需要的物体的背景的部分。接着，接触分离部通过后述的处理将在前景中相互接触的多个物体分离。接着，分类部将分离出的物体按每个类进行分类。接着，定量信息计算部通过对分类后的物体实施定量分析，生成并提供与分类后的物体相关的定量信息。
另外，在分割图像的前景和背景时，由于颜色、纹理与背景类似，因此有时会产生被判断为背景的前景区域(误背景区域)。在图像中存在误背景区域的情况下，有可能无法得到准确的图像分析结果，因此在本发明的第二实施方式中，对通过确定并修正在图像中产生的误背景区域来提供更准确的定量分析结果的装置以及方法进行说明。
实施例1
首先，参照图1，对本发明的实施例1的图像处理装置1的功能结构进行说明。
图1是表示本发明的实施例1的图像处理装置1的功能结构的框图。
如图1所示，图像处理装置1包括输入部10、区域分割部11、接触分离部12、分类部15、定量信息计算部16、存储部90和控制部91。接触分离部12还包括边界物体分离部13和非边界物体分离部14。构成图像处理装置1的功能部例如可以作为软件模块来实现，也可以作为独立的专用硬件来实现。
输入部10是接受分析用的图像(以下，也称为原图像、输入图像)的输入的功能部。该图像可以是由与图像处理装置1直接连接的拍摄装置(未例示)取得的图像，也可以是经由因特网等信息通信网络取得的图像。另外，所输入的图像既可以是静态图像，也可以是提取了视频中的任意帧而得的图像。在图像为静态图像的情况下，输入部10能够受理例如JPEG、JPEG2000、PNG、BMP等任意数据格式的静态图像。另外，在视频的情况下，输入部10例如能够受理Motion JPEG、MPEG、H.264、HD/SDI等任意的数据格式的视频。
区域分割部11是对所输入的图像的前景和背景进行分割的功能部。在此，“前景”是指在图像中对象物体所占的区域，“背景”是指除此以外的区域。区域分割部11例如使用背景差分、中值滤波器、二值化处理、卷积神经网络等任意的手段，输出将包含对象物体的前景和包含不需要的物体的背景分割而得的图像。
这里的“分割”是指区别图像的背景和前景的处理。具体而言，区域分割部也可以对属于背景的像素(以下称为背景像素)和属于前景的像素(以下称为前景像素)附加表示该像素是背景像素还是前景像素的元数据(meta data)作为标签，由此来区分图像的背景和前景。
接触分离部12是对在区域分割部11输出的图像中被识别为单一的物体的多个物体(例如，本来是2个物体，但由于相互接触，所以被识别为1个物体的物体)进行分离的功能部。通过使用接触分离部12，能够将多个接触的物体分离为各个独立的物体，能够顺利地进行针对图像中的物体的定量分析。
另外，在图像中，有时存在物体的一部分存在于图像外的“边界物体”和物体整体存在于图像内的“非边界物体”。
图6表示边界物体的一例，图8表示非边界物体的一例。如图6的边界物体B2001所示，在本公开中，将物体的一部分存在于图像外且相互接触的多个物体称为边界物体。另外，如图8中的非边界物体NB2001所示，在本公开中，将物体整体存在于图像内并且相互接触的多个物体称为非边界物体。
根据物体是边界物体还是非边界物体，分离该物体的手段不同。因此，如图1所示，接触分离部12包括用于分离边界物体的边界物体分离部13和用于分离非边界物体的非边界物体分离部14。关于这些功能部的处理将在后面叙述。
分类部15是用于将属于前景的物体按每个类进行分类的功能部。分类部15例如也可以使用费舍尔(fisher)线性判别分析、逻辑回归、线性支持向量机等的线性分类器、二次分类器、k邻近法、神经网络、贝叶斯网络等非线性的手段来进行物体的分类。
定量信息计算部16是计算并提供与对象物体有关的定量信息的功能部。这里的定量信息可以是物体的数量(橙子为10个、苹果为5个)、类间的比例(2：1)、比率等，但并不限定于此。
存储部90是存储图像处理装置1的各功能部的输入、输出以及中间结果(例如图3所示的输出数据)的存储器。图像处理装置1的各功能部能够根据需要在存储部90中保存或读出数据。存储部90例如可以是闪存、硬盘驱动器等任意的存储介质。
控制部91与上述的图像处理装置1的各功能部连接，是用于控制各功能部的动作的功能部。控制部91例如也可以对功能部间的访问许可、数据的通信、来自CPU的命令等进行管理。
此外，在图1中，作为一例示出了包含控制部91的结构，但本发明并不限定于此，也可以是各功能部自主地动作的结构。
接着，参照图2，对图像处理装置1的硬件结构进行说明。
图2是表示本发明的实施例1的图像处理装置1的硬件结构的一例的框图。如图2所示，图像处理装置1包括CPU201、存储器202、存储装置206、输出装置203、输入装置204和通信装置205。这些装置通过总线207相互连接。
此外，输入部10、区域分割部11、接触分离部12、边界物体分离部13、非边界物体分离部14、分类部15、定量信息计算部16、存储部90以及控制部91与图1相同，因此省略它们的说明。
CPU201是根据需要读出保存在存储器202中的各种程序，并根据来自程序的命令执行处理的处理器。例如，图1的输入部10、区域分割部11、接触分离部12、分类部15、定量信息计算部16的功能也可以通过CPU201执行的处理来实现。
存储装置206是存储图像处理装置1的各功能部所使用的各种数据的装置，是与图1的存储部90对应的装置。例如，存储装置206可以存储输入的图像、前景和背景被分割而得的图像、接触的物体被分离而得的图像、以及物体按每个类被分类而得的图像。此外，在过去的图像处理中使用的图像数据和定量信息计算结果也可以存储在存储装置206中。
输出装置203是输出通过本发明的处理计算出的定量分析的结果、在各部中生成的各种图像的装置。该输出装置例如也可以是显示器、打印机、扬声器等设备。例如，在使用显示器作为输出装置203的情况下，由区域分割部11生成的分割图像、由接触分离部12生成的对象物体分离图像、由分类部15生成的对象物体分类图像、以及由定量信息计算部16生成的与对象物体相关的定量信息显示于画面上的GUI(Graphical User Interface：图形用户界面)。
输入装置204是用于输入用户的指示等的装置。该输入装置例如是键盘、鼠标、麦克风等设备。使用图像处理装置1的用户例如可以经由输入装置204选择成为处理对象的图像。
通信装置205是用于与外部装置(未图示)进行通信的装置。例如，通信装置205可以经由因特网、LAN等通信网络接收从外部的拍摄装置、相机或服务器发送的图像。
此外，作为一例示出了通信装置205内置于图像处理装置1的结构，但本发明并不限定于此，也可以是通信装置205配置于外部并与图像处理装置1连接的结构。因此，通信装置205不一定需要作为图像处理装置1的硬件构成要素而被包含。
接着，参照图3，对本发明中的中间输出的数据进行说明。
图3是表示图1的各功能部生成的中间输出的数据的图。输入部的输出F1001是经由输入部输入的原图像C，区域分割部的输出F1002是将背景和前景分割而得的图像CA，接触分离部的输出F1003是将接触的物体分离而得的图像CB，分类部的输出F1004是将物体按每个类分类而得的图像CC，定量信息计算部的输出F1005是针对物体导出的定量信息。
另外，关于这些中间输出的详细内容将在后面叙述。在以下的说明中，图示了各个图像的一例，但这只不过是用于使说明容易理解的例示，本发明的功能部的输出并不限定于图示的图像。
接着，参照图4，对区域分割部(例如，图1所示的区域分割部11)分割原图像的背景和前景的处理进行说明。
如上所述，为了高精度地计算与图像中拍摄的对象物体有关的定量信息，需要将成为分析对象的物体和不是分析对象的物体分开。因此，当经由输入部输入包含成为分析对象的物体的原图像C时，区域分割部通过使用例如背景差分、中值滤波器、二值化处理、卷积神经网络等手段对该输入的图像C进行处理，从而输出区分为包含对象物体的前景和包含不需要的物体的背景的图像CA。
图4是表示本发明的实施例1的区域分割部的动作的一例的图。图像C是经由输入部输入的图像。如图4所示，该图像C包括背景区域R1002、占据前景区域的物体R1003和不必要的物体R1004。区域分割部例如通过使用基于卷积神经网络的分割方法来处理图像C，生成区分了前景区域R2001和背景区域R2002的图像CA。由区域分割部生成的图像CA存储于存储部90。
此外，在上述中，说明了区域分割部使用卷积神经网络来区分图像C的背景区域和前景区域的例子，但本发明不限于此，只要是能够区分背景区域和前景区域的手段，则也可以使用任意的方法。
接着，参照图5～图18，对接触分离部(例如，图1所示的接触分离部12)将接触的物体分离的处理进行说明。对于上述的区域分割部输出的图像CA，接触分离部通过分离接触的物体来生成图像CB。
图5是表示接触分离部的动作的一例的图。如上所述，图像CA是来自区域分割部11的输出，成为前景中包含的多个物体相互接触的状态R3000。即使在多个物体相互接触的状态下进行图像的定量分析，也无法得到良好的分析结果，因此优选分离接触的物体。因此，由接触分离部处理图像CA并分离重叠的物体，由此能够生成图像CB所示的、成为各个物体独立的状态R3001的图像CB。
如上所述，根据物体是边界物体还是非边界物体，分离该物体的手段不同。因此，接触分离部确定对象物体是否是边界物体，并且根据物体的种类执行适当的接触分离处理。
图6是表示边界物体的一例的图。如上所述，边界物体是位于图像的端部附近并且物体的一部分存在于图像外的物体。图6的边界物体B2001处于多个(分离前)物体相互接触的状态。
图7是表示分离了边界物体的状态的图。通过接触分离部将图6所示的相互接触的边界物体B2001分离，由此如图7的边界物体B3001所示，成为相互接触的多个物体分离的状态。
图8是表示非边界物体的一例的图。如上所述，非边界物体是物体整体包含在图像内的物体。图8的非边界物体NB2001处于多个(分离前的)非边界物体相互接触的状态。
图9是表示分离了非边界物体的状态的图。通过接触分离部将图8所示的相互接触的非边界物体NB2001分离，由此如图9的非边界物体NB3001所示，成为相互接触的多个物体分离的状态。
图10是表示接触分离处理的流程图。上述的接触分离部通过执行以下处理来确定对象物体是边界物体还是非边界物体，并且根据物体的种类来执行适当的接触分离处理。
首先，在步骤S1001中，在作为上述的区域分割部的输出的图像CA中，选择包含对象物体的前景区域。该前景区域例如可以基于用户经由输入装置(图2所示的输入装置204)输入的指示来选择，也可以通过接触分离部自动地选择满足预先设定的选择条件(指定特定的面积、颜色、形状等的条件)的前景区域。
接着，在步骤S1002中，接触分离部判定在所选择的前景区域中是否存在边界物体。这里，例如，接触分离部可以对图像中选择的前景区域中包含的物体执行现有的边缘检测手段等，并且通过验证物体的边缘是否与图像的端部接触来确定在选择的前景区域中是否存在边界物体。在所选择的前景区域中存在边界物体的情况下，本处理进入步骤S1003，并且在所选择的前景区域中不存在边界物体的情况下，本处理进入步骤S1004。
接着，在步骤S1003中，接触分离部执行后述的边界物体分离处理，将相互接触的物体分离。
接着，在步骤S1004中，接触分离部执行后述的非边界物体分离处理，将相互接触的物体分离。
接着，在步骤S1005中，接触分离部判定是否对前景区域的整体执行了处理。在前景区域未被全部处理的情况下，本处理返回到步骤S1001，在前景区域被全部处理的情况下，本处理结束。
接下来，参照图11说明分离边界物体的处理的一例。该边界物体分离处理例如是与图10所示的流程图中的步骤S1003相当的处理，是由图1所示的边界物体分离部13进行的处理。
首先，在图11的步骤S1101中，边界物体分离部13选择包含相互接触的边界物体B2001的前景区域。如图11所示，由于边界物体B2001存在于图像的端部，因此边界物体B2001的一部分被隐藏。
接着，在步骤S1102中，边界物体分离部13生成构成边界物体B2001的多个物体的种子区域(Seed Region)B20011。具体地，边界物体分离部13对对象前景区域实施所谓的距离变换处理。在该距离变换处理中，生成将从各个前景像素到最近的背景像素为止的距离表现为亮度值的距离图。
在该距离图中，从前景像素到最近的背景像素为止的距离越长，则亮度值越高，因此远离背景像素的物体的中心部分的亮度值高，接近物体的边缘的部分的亮度值低。另外，在该距离变换处理中，由于未达到预定的亮度值的前景像素被设为背景，因此在各个物体中，亮度值最高的区域(即，中心部)作为所谓的种子区域B20011而残留。
接着，在步骤S1103中，边界物体分离部13通过使用在步骤S1102中生成的种子区域来实施已有的分水岭(watershed)变换，能够将相互接触的边界物体B2001分离成各个物体B3001。
接下来，参照图12～图18说明分离非边界物体的处理。该非边界物体分离处理例如是与图10所示的流程图中的步骤S1004相当的处理，是由图1所示的非边界物体分离部14进行的处理。
图12是表示分离非边界物体的处理的流程的图。
首先，在步骤NBS1中，非边界物体分离部14在从上述的区域分割部输出的图像CA中选择包含相互接触的非边界物体NB2001的前景区域(参见图13)。如图14所示，实际上，该非边界物体NB2001由第一物体NB2002和第二物体NB2003构成。
在选择出相互接触的非边界物体NB2001之后，非边界物体分离部14以与图11的步骤S1102相同的方式，对构成所选择的非边界物体NB2001的第一物体NB2002和第二物体NB2003应用距离变换处理。如上所述，在该距离变换处理中，生成将从属于第一物体NB2002和第二物体NB2003的各个像素到最近的背景像素为止的距离表现为亮度值的距离图。在该距离图中，从前景像素到最近的背景像素为止的距离越长，则亮度值越高，因此远离背景的第一物体NB2002和第二物体NB2003各自的中心部的亮度值高，靠近边缘的部分的亮度值低。图15是表示对第一物体NB2002和第二物体NB2003实施了距离变换后的状态的图。
接着，在步骤NBS2中，非边界物体分离部14确定成为第一物体NB2002与第二物体NB2003的边界线的中心点的对象像素P。为了确定对象像素P，非边界物体分离部14针对第一物体NB2002和第二物体NB2003的距离图的各像素，确定相互正交的第一轴(X轴)和第二轴(Y轴)，验证沿着X轴的正方向离开预定距离m(未图示)的像素PRV的亮度值和沿着X轴的负方向离开预定距离m(未图示)的像素PLV的亮度值是否小于该像素P的亮度值，并且沿着Y轴的正方向离开预定距离n(未图示)的像素PTV的亮度值和沿着Y轴的负方向离开预定距离n(未图示)的像素PBV的亮度值是否为该像素P的亮度值以上(参照图16)。
在检测到满足这些条件的对象像素P的情况下，本处理进入步骤NBS3，在未检测到满足这些条件的对象像素P的情况下，非边界物体分离部14变更第一轴与第二轴的角度，反复进行上述处理。对第一物体NB2002和第二物体NB2003的距离图的各像素的周边360度的所有角度反复进行该处理，直到确定了对象像素P或者对所有像素和角度应用了上述处理为止。
此外，在上述的处理中，通过验证特定的像素(PRV、PLV、PTV、PBV)的亮度来确定对象像素P，但本发明并不限定于此，也能够验证距第一轴和第二轴预定的距离范围内的所有像素的亮度值。
接着，在步骤NBS3中，非边界物体分离部14确定成为用于分离第一物体NB2002和第二物体NB2003的分离边界线的两端的第一边界基准像素和第二边界基准像素。
以下，对确定上述的第一边界基准像素PR的处理的详细内容进行说明。
首先，为了确定第一边界基准像素PR，非边界物体分离部14根据像素P的亮度值，计算到在上述处理中判断为亮度低的第一轴的正方向上的最近的背景像素为止的距离d，然后根据该距离d和预定的偏移b，计算沿着第一轴的正方向到第一边界基准像素PR的距离dN。这里，dN通过以下的数式求出。
[数式1]
dN＝d+b
接着，非边界物体分离部14为了确定第一边界基准像素PR，验证从对象像素P沿着第一轴(即，由距离图中的亮度值低的像素构成的轴即X轴)的正方向的像素PR是否满足下述a、b、c。
a)是背景像素(亮度值为0的像素)；
b)正方向上存在的像素(第一参考像素PR1)是背景像素；
c)第一物体和第二物体存在于第二轴的正方向和负方向，从边界基准像素PR到第一物体和第二物体的距离在预定的距离基准a(例如5像素)以内。
在确定了满足这些条件的像素的情况下，非边界物体分离部14将所确定的像素设为第一边界基准像素PR(参照图16和图17)。
此外，第一参考像素PR1也可以是与第一边界基准像素PR邻接的像素。
同样地，为了确定第二边界基准像素PL，非边界物体分离部14基于像素P的亮度值，计算到在上述处理中判断为亮度低的第一轴的负方向上的最近的背景像素为止的距离d，然后基于该距离d和预定的偏移b，计算沿着第一轴的负方向到第二边界基准像素PL为止的距离dN。在此，dN通过上述的数式1求出。
接着，非边界物体分离部14为了确定第二边界基准像素PL，非边界物体分离部14验证从对象像素P沿着第一轴(即，由亮度值低的像素构成的轴即X轴)的负方向的像素PL是否满足下述a、b、c。
a)是背景像素(亮度值为0的像素)；
b)在负方向上存在的像素(第二参考像素PL1，未示出)是背景像素；
c)第一物体和第二物体存在于第二轴的正方向和负方向，从边界基准像素PL到第一物体和所述第二物体的距离在预定的距离基准a(例如5像素)以内。
在确定了满足这些条件的像素的情况下，非边界物体分离部14将所确定的像素设为第二边界基准像素PL(参照图16和图17)。
此外，第二参考像素PL1也可以是与第二边界基准像素PL邻接的像素。
接着，在步骤NBS4中，非边界物体分离部14基于第一边界基准像素和第二边界基准像素生成分离边界线NB2005。具体而言，非边界物体分离部14也可以生成通过对象像素P并连接第一边界基准像素PR和第二边界基准像素PL的线段，并将该线段作为分离边界线(参照图18)。由此，第一物体NB2002和第二物体NB2003的轮廓变得明确，在后述的分类处理中，对各个物体进行识别和分类的精度提高。
另外，在生成了分离边界线之后，非边界物体分离部14生成沿着分离边界线NB2005分离了第一物体NB2002和第二物体NB2003的图像CB。通过将该图像CB提供给后述的分类部，能够将在图像CB中拍摄的物体(例如，第一物体NB2002和第二物体NB2003)分类为物体所属的类别。
此外，通过验证从PR和PL到第一物体和第二物体的距离是否存在于预定的距离基准a以内，在适当的位置生成分离边界线，能够分割接触的多个物体。
通过进行以上说明的非边界物体分离处理，能够将接触的物体分离成各个独立的物体，由此，后述的分类处理和定量分析的精度提高。
此外，上述的分离非边界物体的处理仅是一例，只要是能够分离重叠的非边界物体的手段，则也可以使用其它手段。
接着，参照图19和图20，对本发明的分类处理进行说明。如上所述，由本发明的分类部处理分离相互接触的物体而得的图像，由此能够将在图像中拍摄的物体按照每个类进行分类。
图19是表示本发明的分类处理的流程图。
首先，在步骤CON1中，分类部(例如图1所示的分类部15)将沿着分离边界线分离了第一物体和第二物体而得的图像CB的前景划分为多个区域。在此，“划分”包括将图像CB分割、分隔、分组化为多个区域。在该图像划分处理中，对象图像例如也可以被分割为具有均等面积的格子状的小片(patch)。小片的大小根据对象图像的像素数、复杂度、或者图像处理装置的存储器限制等适当地决定。
接着，在步骤CON2中，分类部从划分出的区域中选择任意的区域(或者多个邻接的区域)。
接着，在步骤CON3中，分类部使用例如卷积神经网络、主成分分析、t-SNE(t-Distributed Stochastic Neighbor Embedding：t-分布随机邻域嵌入)等分类手段，判定与所选择的区域相应的类。这里的类是定义所选择的区域中包含的物体的种类(类别)。作为一例，该类例如也可以是判别在所选择的区域中拍摄到的物体的标签。
在步骤CON4中，被分类的区域存储在存储部(例如图1所示的存储部90)中。
接着，在步骤CON5中，分类部确认图像中的全部区域是否被分类。在所有区域被分类的情况下，本处理进入步骤CON6，在未对所有区域分类的情况下，本处理返回步骤CON2。
接着，在步骤CON6中，分类部结合针对区域的分类结果，并作为图像CC输出。
图20是表示本发明的分类部的动作的一例的图。图20所示的图像CB是将相互接触的多个物体分离为各个独立的物体的图像。例如，由于图像CB的物体R4000还未被分类，所以不清楚属于哪个类。通过由上述的分类部处理这样的图像CB，能够生成将各个物体按每个类分类的图像CC。
例如，如图像CC所示，图像CB的物体被分为RCA以及RCB这2个不同的类(以颜色的不同来表示)，物体R4001被分类为RCB的类。由后述的定量信息计算部对这样的物体按每个类分类而得的图像CC进行处理，能够导出与物体有关的定量信息。
这样，通过将图像的物体按每个类进行分类，能够将具有类似的特征的物体划分为同样的类别，能够进行与物体有关的每个类别的定量分析。
接着，参照图21，对本发明的针对物体的定量分析的处理进行说明。
图21是表示定量分析的处理的一例的图。如上所述，通过本发明的定量信息计算部(例如，图1所示的定量信息计算部16)对背景和前景被分割、相互接触的物体被分离、物体按每个类被分类而得的图像CC进行处理，由此能够导出与物体相关的定量信息。
此外，在此，作为与物体有关的定量信息，说明计算物体的数量和类间的比例的一例，但本发明不限于此，也可以生成其他定量信息。
首先，在步骤Q1中，定量信息计算部在图像CC中选择一个物体(即，包含相连的前景区域的区域)。
接着，在步骤Q2中，定量信息计算部针对所选择的物体的类，根据分类部的结果(例如，对图像CC的物体赋予的标签)，确定所选择的物体的类，并增加该类的计数。
接着，在步骤Q3中，定量信息计算部确认图像CC中的全部前景区域(即，物体)是否计数完毕。在全部前景区域已计数的情况下，本处理进入步骤Q4，在未计数全部前景区域的情况下，本处理进入步骤Q1。
在步骤Q4中，定量信息计算部计算各类的物体数的总和。
在步骤Q5中，定量信息计算部计算关于图像的物体计算出的定量信息(例如，每个类的数量与类间的比例)。计算出的定量信息例如可以存储在存储部(例如图1所示的存储部90)中，也可以使用显示装置提供给用户，还可以为了物体的进一步计算而发送到其他功能部、外部的装置。
根据以上说明的实施例1，通过分离在图像内相互接触的多个物体，能够准确地对该物体进行分类，能够对分类后的物体进行定量分析。
实施例2
接着，参照图22～图27，对本发明的实施例2进行说明。
如上所述，在分割图像的前景和背景时，由于颜色、纹理与背景类似，因此有时会产生被判断为背景的前景区域(误背景区域)。在图像中存在这样的误背景区域的情况下，有可能无法准确地分析图像，因此本发明的实施例2通过确定并修正在图像中产生的误背景区域，能够进行准确的定量分析。
首先，参照图22说明本发明的实施例2的图像处理装置的功能结构。
图22是表示本发明的实施例2的图像处理装置H1的功能结构的框图。如图22所示，图像处理装置H1包括输入部10、区域分割部11、区域修正部H1000、接触分离部12、分类部15、定量信息计算部16、存储部90以及控制部91。另外，接触分离部12还包括边界物体分离部13和非边界物体分离部14。构成图像处理装置H1的功能部例如可以作为软件模块来实现，也可以作为独立的专用硬件来实现。
此外，本发明的实施例2的图像处理装置H1与实施例1的图像处理装置1的不同点在于，图像处理装置H1具备区域修正部H1000。除了图像处理装置H1具备区域修正部H1000这一点以外，图像处理装置H1的结构与实施例1的图像处理装置1相同，因此省略相同的功能部的说明。
区域修正部H1000例如是用于修正在区域分割部11分割图像的前景和背景时在图像中产生的误背景区域的功能部。关于区域修正部H1000进行的处理在后面叙述。
接下来，参照图23说明本发明的实施例2的图像处理装置的硬件结构。
图23是表示本发明的实施例2的图像处理装置H1的硬件结构的一例的框图。如图23所示，图像处理装置H1包括CPU201、存储器202、输出装置203、输入装置204、通信装置205和存储装置206。这些装置通过总线207相互连接。
此外，本发明的实施例2的图像处理装置H1与实施例1的图像处理装置1的不同点在于，图像处理装置H1具备区域修正部H1000。除了图像处理装置H1具备区域修正部H1000这一点以外，图像处理装置H1的结构与实施例1的图像处理装置1相同，因此省略相同的功能部的说明。
图24是表示包含误背景区域的图像的一例的图。如图24所示，在图像的前景所包含的物体中，存在误判定为背景区域的误背景区域H。这些误背景区域H例如在上述的区域分割部分割图像的前景和背景时产生。在误背景区域H存在于前景的情况下，上述的接触分离处理、分类处理以及定量信息计算处理的精度有可能降低，因此优选修正误背景区域H。因此，本发明的实施例2的区域修正部通过修正在图像中产生的误背景区域，能够高精度地计算定量信息。
图25是表示通过本发明的实施例2的区域修正部对图24所示的包含误背景区域的图像进行修正而得的图像的一例的图。如图25所示，通过由本发明的实施例2的区域修正部对包含误背景区域的图像进行修正，将上述的误背景区域H修正为前景区域，因此能够顺利地进行接触分离处理、分类处理以及定量信息计算处理，能够高精度地计算定量信息。
接着，参照图26，对本发明的区域修正处理的一例进行说明。
图26是表示本发明的实施例2的区域修正处理的流程图。如上所述，本发明的实施例2的区域修正部(例如图22以及图23所示的区域修正部H1000)对包含误背景区域的图像实施以下的处理，由此能够修正误背景区域。
首先，在步骤K1001中，区域修正部对上述区域分割部(例如，图1所示的区域分割部11)输出的分割了前景和背景的图像CA实施所谓的分水岭变换处理。在该分水岭变换中，图像被视为地形学的表面，属于标高高的区域的像素成为高亮度值，属于标高低的区域的像素成为低亮度值。通过对分割了前景和背景的图像CA实施该分水岭变换，独立的背景区域与其他背景区域相连，生成存在1个以上的更大的背景区域的图像。
接着，在步骤K1002中，区域修正部从在步骤K1001中生成的图像中选择所有属于背景的像素(亮度值为0的像素)。
接着，在步骤K1003中，区域修正部从在步骤K1002中选择的背景像素中提取满足预定基准的连结区域(例如，具有最大像素数的连结区域)，作为背景区域。
接着，在步骤K1004中，区域修正部将在步骤K1003中选择的背景区域以外的黑色区域(亮度值为0的区域)变换为前景。由此，例如包含在前景的物体的内部的背景区域(即，误背景区域)被修正为前景区域。
接着，在步骤K1005中，区域修正部使上述的区域分割部输出的前景和背景被分割的图像CA的前景区域与在步骤K1004中生成的图像重合。具体而言，区域修正部将与在图像CA中属于前景区域的像素对应的、在步骤K1004中生成的图像内的像素变换为前景像素。
通过执行上述的步骤K1001至K1005，区域修正部将存在于图像CA的误背景区域修正为前景区域。通过将区域修正部输出的图像输入到接触分离部，能够更准确地分离相互接触的物体。
接着，参照图27，对本发明的区域修正处理的另一例进行说明。
图27是表示本发明的实施例2的区域修正处理的另一例的流程图。如上所述，本发明的实施例2的区域修正部(例如图22以及图23所示的区域修正部H1000)通过对包含误背景区域的图像实施以下的处理，能够修正误背景区域。
首先，在步骤A1001中，区域修正部对上述区域分割部(例如，图1所示的区域分割部11)输出的前景和背景被分割的图像CA实施所谓的分水岭变换处理。该分水岭变换与在图26的步骤K1001中进行的分水岭变换处理相同。通过对分割了前景和背景的图像CA实施分水岭变换，独立的背景区域被识别为同一背景区域，生成存在1个以上的更大的背景区域的图像。
接着，在步骤A1002中，区域修正部针对在步骤A1001中生成的图像，在反转了图像的颜色的基础上，实施距离变换处理。通过该距离变换处理，生成将从各个背景像素到最近的前景像素为止的距离表现为亮度值的图像(距离图)。
接着，在步骤A1003中，区域修正部选择亮度值最高的像素作为像素[i，j]。由此，选择离前景区域最远的背景像素。
接着，在步骤A1004中，区域修正部选择与在步骤A1003中选择的像素[i，j]连接的所有像素作为背景区域。
接着，在步骤A1005中，区域修正部将在步骤A1004中选择出的背景区域以外的区域变换为前景。由此，例如包含在前景的物体的内部的背景区域(即，误背景区域)被修正为前景区域。
接着，在步骤A1006中，区域修正部使上述区域分割部输出的前景和背景被分割的图像CA的前景区域与在步骤A1005中生成的图像重合。具体而言，区域修正部将与在图像CA中属于前景区域的像素对应的、在步骤A1005中生成的图像内的像素变换为前景像素。
通过执行上述的步骤A1001至A1006，区域修正部将存在于图像CA的误背景区域修正为前景区域。通过将区域修正部输出的图像输入到接触分离部，能够准确地分离相互接触的物体。
通过以上说明的区域修正处理，能够得到在实施例1中说明的接触分离处理、分类处理以及定量信息计算处理的精度提高的优点。
实施例3
接下来，参照图28和图29说明本发明的实施例3的图像处理系统。
图28是表示本发明的实施例3的图像处理系统W1的一例的图。本发明的实施例3的图像处理系统W1是用于使用实施例1以及实施例2的图像处理装置来计算与图像内的物体有关的定量信息，使用计算出的定量信息来分析试样的状态，并将分析结果提供给用户的图像处理系统。
本发明的实施例3的图像处理系统W1例如也可以应用于分析血液、材料、细胞等的状态。
如图28所示，图像处理系统W1包括拍摄装置W11、图像处理装置1、试样状态分析装置W12以及显示装置W13。
拍摄装置W11是用于拍摄作为物体的试样(血球、材料、细胞等)并生成图像的装置。该拍摄装置W11例如可以是照相机、扫描型电子显微镜等，只要能够拍摄图像，则可以是任意的装置。
图像处理装置1与在实施例1以及实施例2中说明的图像处理装置1相同。通过由图像处理装置1对由拍摄装置W11拍摄的图像进行处理，能够生成与图像中拍摄的物体相关的定量信息。
试样状态分析装置W12是基于从图像处理装置1供给的、与图像中拍摄的物体相关的定量信息来分析试样状态的装置。试样状态分析装置W12也可以将从图像处理装置1输出的定量信息与存储关于特定的领域(医疗、物理学等)的信息的专用数据库(未图示)对照，由此导出与在图像中拍摄的物体相关的分析结果。
例如，在图像中拍摄的物体是血球的情况下，试样状态分析装置W12将从图像处理装置1输出的血球的数量、比例等定量信息与血液分析用的专用数据库对照，由此能够导出与患者的健康状态有关的分析结果。
另外，在图像中拍摄的物体是磁性粒子的情况下，试样状态分析装置W12将从图像处理装置1输出的磁性粒子的密度等定量信息与具有物理学的信息的专用数据库进行对照，由此能够导出与试样的磁特性相关的分析结果。
显示装置W13是用于将通过本发明的处理生成的各种数据提示给用户的装置。显示装置W13例如也可以显示由拍摄装置W11拍摄的图像、由图像处理装置1生成的图像、定量信息、以及与由试样状态分析装置W12生成的结论相关的信息等。该显示装置例如可以是电视机、个人计算机的显示器、移动电话/平板电脑的画面等，只要是能够提示信息的装置，则可以是任意的装置。
图29是表示本发明的实施例3的图像处理系统W5的一例的图。本发明的实施例3的图像处理系统W5是用于使用实施例1以及实施例2的图像处理装置来计算与图像中拍摄的物体有关的定量信息，使用计算出的定量信息来分析试样的状态，并将分析结果提供给用户的图像处理系统。
如图29所示，图像处理系统W5由图像解析装置W2和服务器W3构成。图像解析装置W2与服务器W3例如经由互联网等通信网络(未图示)连接。
图像解析装置W2除了具备用于与服务器W3进行通信的通信装置W22来代替图像处理装置1这一点以外，与图28所示的图像处理系统W1的结构相同，因此省略结构要素的说明。
服务器W3是经由通信网络与图像解析装置W2连接的远程服务器。如图29所示，服务器W3包括上述的图像处理装置1(例如，在实施例1和实施例2中说明的图像处理装置1)、存储装置W31和通信装置W32。服务器W3经由通信网络，通过通信装置W32接收由拍摄装置W11拍摄的图像，并存储于存储装置W31。之后，图像处理装置1通过对存储的图像实施在实施例1和实施例2中说明的处理，生成定量信息。然后，通信装置W32将由图像处理装置1生成的定量信息经由通信网络发送到图像解析装置W2。
从服务器W3接收到定量信息的图像解析装置W2通过上述的试样状态分析装置W12分析该定量信息，分析图像中拍摄的试样的状态，得到分析结果。该分析结果例如也可以经由显示装置W13提供给用户。
另外，虽然在上述的图28中未特别图示，但图像处理系统W1也可以在内部包含用于保存输入图像、输入图像的属性信息、中间处理结果、图像处理装置1计算的定量信息等的存储装置。作为输入图像的属性信息，例如赋予用于识别试样的取得源的符号、图像的取得日期时间等信息。
通过在上述存储装置中保存输入图像和输入图像的属性信息、以及图像处理装置1计算的定量信息，例如计算针对从同一试样在不同的时刻A和时刻B取得的各图像的定量信息，通过解析定量信息的变化，能够分析试样的状态或状态变化。
上述图像处理系统W1可以用于在时刻A与时刻B之间对试样应用药剂投放、温度变化、物理冲击等某些操作，分析该操作的影响，也可以用于如培养那样利用经过一定的时间来分析试样如何变化。
另外，也可以在存储装置中累积图像处理装置1计算出的定量信息，由此试样状态分析装置W12计算定量信息的平均值、方差值等统计信息，通过比较上述统计信息和未知图像的定量信息来分析试样状态。在存储装置中也可以不全面地保存定量信息，而是计算平均值、方差值等统计信息，仅保存计算出的统计信息。另外，也可以根据输入图像的属性信息对定量信息进行分类，按每个分类计算统计信息，使用计算出的统计信息进行试样状态的分析。
使用了上述存储装置的图像处理系统也能够应用于图29所示的图像处理系统W5。除了存储装置位于服务器W3的内部以外，与图像处理系统W1相同，因此省略说明。
根据以上说明的实施例，通过将在图像中相互接触的多个物体分离，对针对物体的类进行分类，能够高精度地进行定量分析。另外，基于计算出的定量信息，能够分析图像内的试样的状态。
本发明的实施方式的功能也可以通过软件的程序代码来实现。在该情况下，也可以将记录有用于实施本发明的功能的程序代码的存储介质供给至装置、系统，搭载于该装置、系统的计算设备(CPU、MPU等)读取程序代码来实施。通过由计算机执行从存储介质读出的程序代码来实现上述实施方式的功能，用于实施该功能的程序代码、存储介质以及计算设备自身成为本发明的构成要素。
作为用于记录程序代码的存储介质，例如有软盘、CD-ROM、DVD-ROM、硬盘、光盘、光磁盘、CD-R、磁带、非易失性存储卡、ROM等。
以上，对本发明的实施方式进行了说明，但本发明并不限定于上述的实施方式，在不脱离本发明的主旨的范围内能够进行各种变更。
附图标记说明
1：图像处理装置、10：输入部、11：区域分割部、12：接触分离部、13：边界物体分离部、14：非边界物体分离部、15：分类部、16：定量信息计算部、90：存储部、91：控制部、201：CPU、202：存储器、203：输出装置、204：输入装置、205：通信装置、206：存储装置、207：总线。

Claims (15)

1.一种图像处理装置，其计算图像内的物体的定量信息，其特征在于，
所述图像处理装置包括：
输入部，其输入图像；
区域分割部，其对图像的前景和背景进行分割；
接触分离部，其将图像内的接触的多个物体分离；
分类部，其按照每个类对各物体进行分类；以及
定量信息计算部，其生成与物体有关的定量信息，
所述输入部接受作为定量信息的计算对象的图像，
所述区域分割部在所述图像中，将拍摄了作为定量信息的计算对象的物体的区域作为前景区域，将其他区域作为背景区域来分割图像，
所述接触分离部针对所述图像内的相互接触的第一物体和第二物体，根据所述区域分割部输出的区域分割结果，检测所述第一物体和第二物体的接触点，将离接触点最近的背景区域作为第一边界基准像素，将从第一边界基准像素隔着接触点而位于反方向的背景区域作为第二边界基准像素，通过连接2个边界基准像素来分离所述第一物体和第二物体，
所述分类部按每个类对所述图像内的各物体进行分类，
所述定量信息计算部基于所述区域分割部输出的区域分割结果、所述接触分离部输出的接触分离结果以及所述分类部输出的分类结果，生成并输出与物体有关的定量信息。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述接触分离部由边界物体分离部和非边界物体分离部构成，所述边界物体分离部分离存在于图像端部的接触的多个物体，所述非边界物体分离部分离存在于图像端部以外的接触的多个物体，
所述边界物体分离部针对存在于图像端部的相互接触的第一物体和第二物体，从所述区域分割部输出的区域分割结果内的前景区域中提取代表各物体的中心区域，基于所述各物体的中心区域彼此的位置关系，分离所述第一物体和第二物体，
所述非边界物体分离部为了分离存在于图像端部以外的相互接触的第一物体和第二物体，使用权利要求1所述的接触分离部。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
图像处理装置还包括区域修正部，该区域修正部对所述区域分割部输出的区域分割结果中包含的前景区域内的误背景区域进行修正，
所述区域修正部根据所述区域分割结果内的前景区域或背景区域的连接状况、面积，确定所述区域分割结果内的背景区域，由此检测所述区域分割结果中包含的前景区域内的误背景区域，将检测到的误背景区域变换为前景区域。
4.根据权利要求1或2所述的图像处理装置，其特征在于，
将图像内的球状和类圆状的物体、或者将球状和类圆状放大缩小后的形状的物体作为定量信息的计算对象。
5.一种图像处理装置，其计算图像内的物体的定量信息，其特征在于，
所述图像处理装置包括：
输入部，其输入图像；
区域分割部，其对图像的背景和前景进行分割；
接触分离部，其分离图像中的物体；
分类部，其按照每个类对物体进行分类；以及
定量信息计算部，其生成与物体有关的定量信息，
所述输入部接受作为定量信息的计算对象的图像，
所述区域分割部在所述图像中分割包含第一物体和第二物体的前景和包含该前景以外的区域的背景，
所述接触分离部针对属于所述第一物体和所述第二物体中的至少一方的各像素，生成用亮度值表示从该像素到最近的背景为止的距离的距离图，
在所述距离图中确定沿着第一轴的亮度值比沿着第二轴的亮度值低的对象像素(P)，
在从所述对象像素沿着所述第一轴的正方向的像素满足以下的条件a、b、c的情况下，将该像素设为第一边界基准像素(PR)，
a)该像素为背景像素，
b)存在于该像素的更正方向的第一参考像素是背景像素，
c)所述第一物体以及所述第二物体存在于所述第二轴的正方向以及负方向，是从所述第一边界基准像素到所述第一物体以及所述第二物体的距离存在于预定的距离基准内的像素，
在从所述对象像素沿着所述第一轴的负方向的像素满足以下的条件d、e、f的情况下，将该像素设为第二边界基准像素(PL)，
d)该像素为背景像素，
e)存在于该像素的更负方向的第二参考像素是背景像素，
f)所述第一物体和所述第二物体存在于所述第二轴的正方向和负方向，是从所述第二边界基准像素到所述第一物体和所述第二物体的距离存在于预定的距离基准内的像素，
生成连接所述第一边界基准像素和所述第二边界基准像素的线段作为通过所述对象像素的分离边界线，
生成将所述第一物体和所述第二物体沿着所述分离边界线分离而得到的最终图像，
所述分类部将所述第一物体和所述第二物体按每个类进行分类，
所述定量信息计算部生成并输出与所述第一物体和所述第二物体有关的定量信息。
6.一种图像处理方法，其计算图像内的物体的定量信息，其特征在于，
所述图像处理方法包括：
输入图像的输入处理；
对图像的前景和背景进行分割的区域分割处理；
分离图像内的接触的多个物体的接触分离处理；
按每个类对各物体进行分类的分类处理；以及
生成与物体有关的定量信息的定量信息计算处理，
所述输入处理接受作为定量信息的计算对象的图像，
所述区域分割处理在所述图像中将拍摄有作为定量信息的计算对象的物体的区域作为前景区域，将其他区域作为背景区域来分割图像，
所述接触分离处理针对所述图像内的相互接触的第一物体和第二物体，基于在所述区域分割处理中计算出的区域分割结果，检测所述第一物体和第二物体的接触点，将离接触点最近的背景区域作为第一边界基准像素，将从第一边界基准像素隔着接触点而位于反方向的背景区域作为第二边界基准像素，通过连接2个边界基准像素来分离所述第一物体和第二物体，
所述分类处理将所述图像内的各物体按每个类进行分类，
所述定量信息计算处理基于在所述区域分割处理中计算出的区域分割结果、在所述接触分离处理中计算出的接触分离结果以及在所述分类处理中计算出的分类结果，生成并输出与物体有关的定量信息。
7.根据权利要求6所述的图像处理方法，其特征在于，
所述接触分离处理由边界物体分离处理和非边界物体分离处理构成，所述边界物体分离处理分离存在于图像端部的接触的多个物体，所述非边界物体分离处理分离存在于图像端部以外的接触的多个物体，
所述边界物体分离处理针对存在于图像端部的相互接触的第一物体和第二物体，从在所述区域分割处理中计算的区域分割结果内的前景区域中提取代表各物体的中心区域，基于所述各物体的中心区域彼此的位置关系，分离所述第一物体和第二物体，
所述非边界物体分离处理使用权利要求6所述的接触分离处理作为对存在于图像端部以外的相互接触的第一物体和第二物体进行分割的方法。
8.根据权利要求6或7所述的图像处理方法，其特征在于，
所述图像处理方法还包括区域修正处理，该区域修正处理对在所述区域分割处理中计算出的区域分割结果中包含的前景区域内的误背景区域进行修正，
所述区域修正处理基于所述区域分割结果内的前景区域或背景区域的连接状况、面积，确定所述区域分割结果内的背景区域，由此检测所述区域分割结果中包含的前景区域内的误背景区域，将检测到的误背景区域变换为前景区域。
9.根据权利要求6或7所述的图像处理方法，其特征在于，
将图像内的球状和类圆状的物体、或者将球状和类圆状放大缩小后的形状的物体作为定量信息的计算对象。
10.一种图像处理方法，其特征在于，包括：
在第一物体和第二物体相互接触的图像中，针对属于所述第一物体和所述第二物体中的至少一方的各像素，生成用亮度值表示从该像素到最近的背景为止的距离的距离图的处理；
在所述距离图中，确定沿着第一轴的亮度值比沿着第二轴的亮度值低的对象像素(P)的处理；
在从所述对象像素沿着所述第一轴的正方向的像素满足以下的条件a、b、c的情况下，将该像素作为第一边界基准像素(PR)的处理，
a)该像素为背景像素，
b)存在于该像素的更正方向的第一参考像素是背景像素，
c)所述第一物体以及所述第二物体存在于所述第二轴的正方向以及负方向，是从所述第一边界基准像素到所述第一物体以及所述第二物体的距离存在于预定的距离基准内的像素；
在从所述对象像素沿着所述第一轴的负方向的像素满足以下的条件d、e、f的情况下，将该像素作为第二边界基准像素(PL)的处理，
d)该像素为背景像素，
e)存在于该像素的更负方向的第二参考像素为背景像素，
f)所述第一物体和所述第二物体存在于所述第二轴的正方向和负方向，是从所述第二边界基准像素到所述第一物体和所述第二物体的距离存在于预定的距离基准内的像素；以及
生成连接所述第一边界基准像素和所述第二边界基准像素的线段作为通过所述对象像素的分离边界线的处理。
11.一种图像处理系统，其判定试样的状态，其特征在于，
所述图像处理系统包括：
拍摄装置，其取得试样的图像；
图像处理装置，其计算所述拍摄装置拍摄到的图像内的物体的定量信息；
试样状态分析装置，其根据所述图像处理装置输出的物体的定量信息来分析试样的状态；以及
显示装置，其将所述试样状态分析装置输出的试样状态分析结果提示给用户，
所述图像处理装置使用权利要求1至5中任一项所述的图像处理装置。
12.根据权利要求11所述的图像处理系统，其特征在于，
所述图像处理系统还包括存储装置，该存储装置保存所述拍摄装置取得的图像、所述图像处理装置输出的定量信息，
所述存储装置将所述拍摄装置取得的图像、或者图像和图像的属性信息以及所述定量信息关联地保存。
13.根据权利要求12所述的图像处理系统，其特征在于，
所述图像处理系统由图像解析装置和服务器构成，
所述图像解析装置具有：
所述拍摄装置；
所述试样状态分析装置；
所述显示装置；以及
与外部装置进行通信的通信装置，
所述服务器具有：
所述图像处理装置；
与外部装置进行通信的通信装置；以及
保存所述图像处理装置输出的定量信息等的存储装置；
所述通信装置在所述图像解析装置与所述服务器之间收发所述图像解析装置内的拍摄装置拍摄到的图像和所述服务器内的图像处理装置或存储装置输出的定量信息。
14.根据权利要求12或13所述的图像处理系统，其特征在于，
所述存储装置将表示所述拍摄装置取得的图像和试样的取得源的属性信息与所述图像处理装置输出的定量信息关联地保存，
所述试样状态分析装置使用在不同的时刻输入的具有相同属性信息的多个图像和定量信息，计算试样的状态变化，
将与计算出的试样的状态变化有关的信息作为试样状态分析结果而输出。
15.根据权利要求12或13所述的图像处理系统，其特征在于，
所述存储装置累积所述图像处理装置输出的定量信息，
所述试样状态分析装置根据所述存储装置输出的所累积的定量信息，计算平均值、方差值等统计量，通过所述拍摄装置取得的图像的定量信息与所述统计量的比较，将分析出的试样的状态作为试样状态分析结果而输出。
CN202080030691.3A 2019-04-26 2020-02-06 图像处理方法、图像处理装置以及图像处理系统 Active CN113728357B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019085082A JP7241598B2 (ja) 2019-04-26 2019-04-26 画像処理方法、画像処理装置及び画像処理システム
JP2019-085082 2019-04-26
PCT/JP2020/004529 WO2020217643A1 (ja) 2019-04-26 2020-02-06 画像処理方法、画像処理装置及び画像処理システム

Publications (2)

Publication Number Publication Date
CN113728357A true CN113728357A (zh) 2021-11-30
CN113728357B CN113728357B (zh) 2023-12-12

Family

ID=72942469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080030691.3A Active CN113728357B (zh) 2019-04-26 2020-02-06 图像处理方法、图像处理装置以及图像处理系统

Country Status (5)

Country Link
US (1) US20230177699A1 (zh)
EP (1) EP3961562B1 (zh)
JP (1) JP7241598B2 (zh)
CN (1) CN113728357B (zh)
WO (1) WO2020217643A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7449111B2 (ja) * 2020-02-18 2024-03-13 キヤノン株式会社 検査装置、検査方法
DE102020111955A1 (de) * 2020-05-04 2021-11-04 Airbus Defence and Space GmbH Gesichtserkennung mit neuronalen Netzen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018394A (ja) * 2004-06-30 2006-01-19 Nikon Corp 細胞識別装置、細胞識別方法、細胞識別用プログラム、および細胞解析装置
CN102567729A (zh) * 2010-11-18 2012-07-11 卡西欧计算机株式会社 区域特定方法、区域特定装置、服务器及系统
US20160011670A1 (en) * 2014-07-09 2016-01-14 Canon Kabushiki Kaisha Information processing apparatus for detecting object from image, method for controlling the apparatus, and storage medium
JP2017111816A (ja) * 2015-12-15 2017-06-22 株式会社リコー 物体分割方法及び装置
CN107106110A (zh) * 2014-12-26 2017-08-29 株式会社日立制作所 图像处理装置以及图像处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481620A (en) 1991-09-27 1996-01-02 E. I. Du Pont De Nemours And Company Adaptive vision system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018394A (ja) * 2004-06-30 2006-01-19 Nikon Corp 細胞識別装置、細胞識別方法、細胞識別用プログラム、および細胞解析装置
CN102567729A (zh) * 2010-11-18 2012-07-11 卡西欧计算机株式会社 区域特定方法、区域特定装置、服务器及系统
US20160011670A1 (en) * 2014-07-09 2016-01-14 Canon Kabushiki Kaisha Information processing apparatus for detecting object from image, method for controlling the apparatus, and storage medium
CN107106110A (zh) * 2014-12-26 2017-08-29 株式会社日立制作所 图像处理装置以及图像处理方法
JP2017111816A (ja) * 2015-12-15 2017-06-22 株式会社リコー 物体分割方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NGOC-TUNG NGUYEN ET AL.: "A New Method for Splitting Clumped Cells in Red Blood Images", 《2010 SECOND INTERNATIONAL CONFERENCE ON KNOWLEDGE AND SYSTEMS ENGINEERING》, pages 3 - 8 *
VAHID KHODADADI ET AL.: "Overlapped Cells Separation Algorithm Based on Morphological System Using Distance Minimums in Microscopic Images", 《22ND IRANIAN CONFERENCE ON BIOMEDICAL ENGINEERING》, pages 263 - 268 *

Also Published As

Publication number Publication date
US20230177699A1 (en) 2023-06-08
EP3961562A1 (en) 2022-03-02
EP3961562A4 (en) 2023-01-18
JP2020181441A (ja) 2020-11-05
EP3961562B1 (en) 2023-12-20
JP7241598B2 (ja) 2023-03-17
WO2020217643A1 (ja) 2020-10-29
CN113728357B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
US10943346B2 (en) Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
US10372970B2 (en) Automatic scene calibration method for video analytics
CN107194323B (zh) 车辆定损图像获取方法、装置、服务器和终端设备
Bautista et al. Convolutional neural network for vehicle detection in low resolution traffic videos
US9373034B2 (en) Apparatus and method for tracking object
KR101932009B1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
CN103824267B (zh) 超像素生命周期管理方法、装置及可读存储介质
US20200082540A1 (en) Methods and systems for providing fast semantic proposals for image and video annotation
CN102007499A (zh) 检测数字图像中的脸部表情
Luo et al. Traffic analytics with low-frame-rate videos
CN113728357B (zh) 图像处理方法、图像处理装置以及图像处理系统
US20170053172A1 (en) Image processing apparatus, and image processing method
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7165353B2 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
CN115019241B (zh) 一种行人识别与追踪方法、装置、可读存储介质及设备
CN111275045B (zh) 图像的主体识别方法、装置、电子设备和介质
Khosla et al. A neuromorphic system for object detection and classification
CN113469135A (zh) 对象身份信息的确定方法、装置、存储介质及电子装置
Aldakheel et al. Detection of targeted region using deep learning-based multiscale AlexNet CNN scheme for hyperspectral satellite image
Singh Anomalous Motion Detection of Vehicles on Highway Using Deep Learning
Patange et al. Blur Removal and Image Merging for Image Enhancement on Python
Kilaru Multiple Distortions Identification in Camera Systems
CN112907206A (zh) 一种基于视频对象识别的业务审核方法、装置及设备
CN112926417A (zh) 基于深度神经网络的行人检测方法、系统、设备及介质
CN114898272A (zh) 交互检测模型的训练方法、交互检测方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant