CN105121620A - 图像处理设备、图像处理方法、程序和存储介质 - Google Patents

图像处理设备、图像处理方法、程序和存储介质 Download PDF

Info

Publication number
CN105121620A
CN105121620A CN201380075656.3A CN201380075656A CN105121620A CN 105121620 A CN105121620 A CN 105121620A CN 201380075656 A CN201380075656 A CN 201380075656A CN 105121620 A CN105121620 A CN 105121620A
Authority
CN
China
Prior art keywords
candidate region
cell
image
cell candidate
target cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380075656.3A
Other languages
English (en)
Inventor
加藤典司
熊泽幸夫
织田英人
尾崎良太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN105121620A publication Critical patent/CN105121620A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Zoology (AREA)
  • Microbiology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medicinal Chemistry (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Genetics & Genomics (AREA)
  • Cell Biology (AREA)
  • Pathology (AREA)
  • Food Science & Technology (AREA)
  • Sustainable Development (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)

Abstract

为了在用户执行细胞检查工作的同时使得辨别器能够进行学习来识别图像中的目标细胞的存在,图像特征值计算单元(18)提取细胞候选区域的图像的图像特征值。NRBC辨别单元(20)使用先前学习了的辨别器来基于细胞候选区域的图像的图像特征值识别目标细胞是否在细胞候选区域中示出。在识别出目标细胞在细胞候选区域中示出的情况下，辨别结果显示单元(26)显示细胞候选区域的图像。此外，在识别出目标细胞在细胞候选区域中示出的情况下,辨别器学习单元(34)基于关于目标细胞是否在细胞候选区域中示出的用户输入，来执行其中将细胞候选区域的图像的图像特征值用作学习样本的辨别器学习。

Description

图像处理设备、图像处理方法、程序和存储介质
技术领域
本发明涉及图像处理设备、图像处理方法、程序和存储介质。
背景技术
当对产前胎儿进行诊断时，检测和使用包含在母血中的极小数量的来自胎儿的有核红血细胞(NRBC，下文中称作目标细胞)。由于母血中存在的NRBC的数量极小，因此NRBC的视觉检测是一种繁重的处理。因此，如专利文献1中所述，已经提出了这样一种技术，其中从目标图像中搜索满足诸如NRBC的颜色、形状、位置关系和面积比的条件的细胞，从而机械地检测NRBC。
引文列表
专利文献
专利文献1：JP-B-4346923
发明内容
技术问题
本发明的一个目的是启用一种用来辨别图像中存在目标细胞与不存在目标细胞之间的区别的辨别器，该辨别器将会在用户检查细胞的处理中被训练。
技术方案
为了解决上述问题，权利要求1的本发明提供了一种图像处理设备，其包括特征值提取装置、辨别装置、显示装置、接受装置和辨别器训练装置。特征值提取装置在通过捕获包括目标细胞的样本的图像而获得的捕获图像中提取细胞候选区域的图像的图像特征值。辨别装置基于细胞候选区域的图像的图像特征值，使用训练前的辨别器来识别目标细胞是否在细胞候选区域中示出。当将细胞候选区域识别为其中示出了目标细胞的区域时，显示装置显示该细胞候选区域的图像。当细胞候选区域被识别为其中示出了目标细胞的区域时，接受装置从用户接受关于目标细胞是否在细胞候选区域中示出的用户输入。当细胞候选区域被识别为其中示出了目标细胞的区域时，辨别器训练装置基于通过接受装置接受的用户输入利用细胞候选区域的图像的图像特征值作为训练样本来训练辨别器。
权利要求2的本发明的特征在于，在根据权利要求1所述的图像处理设备中，当用户确定目标细胞在细胞候选区域中示出时，辨别器训练装置利用细胞候选区域的图像的图像特征值作为正训练样本来训练辨别器。
权利要求3的本发明的特征在于，在根据权利要求1或2所述的图像处理设备，当用户确定目标细胞未在细胞候选区域中示出时，辨别器训练装置通过利用细胞候选区域的图像的图像特征值作为负训练样本来训练辨别器。
权利要求4的本发明的特征在于，根据权利要求1至3中的任一项所述的图像处理设备还包括更新装置，其用于当用户确定目标细胞在细胞候选区域中示出时，指明对应于细胞壁的轮廓区域并基于所指明的轮廓区域更新细胞候选区域。所述轮廓区域被包括在细胞候选区域中。辨别器训练装置利用更新的细胞候选区域的图像的图像特征值来训练辨别器。
权利要求5的本发明的特征在于，在根据权利要求1所述的图像处理设备中，特征值提取装置提取多个细胞候选区域的图像的图像特征值。对于细胞候选区域中的每一个，辨别装置识别目标细胞是否在细胞候选区域中示出。显示装置显示被识别为其中示出了目标细胞的区域的至少一些细胞候选区域的图像。接受装置接受关于目标细胞是否在通过显示装置显示的每一个细胞候选区域中示出的用户输入。辨别器训练装置基于通过接受装置接受的用户输入，利用通过显示装置显示的细胞候选区域的图像的图像特征值作为训练样本来训练辨别器。图像处理设备还包括用于存储指示显示装置显示了哪个细胞候选区域的信息的装置。
为了解决上述问题，权利要求6的本发明提供了一种使得计算机用作特征值提取装置、辨别装置、显示装置、接受装置和辨别器训练装置的程序。特征值提取装置在通过捕获包括目标细胞的样本的图像而获得的捕获图像中提取细胞候选区域的图像的图像特征值。辨别装置基于细胞候选区域的图像的图像特征值，使用训练前的辨别器来识别目标细胞是否在细胞候选区域中示出。当将细胞候选区域识别为其中示出了目标细胞的区域时，显示装置显示该细胞候选区域的图像。当细胞候选区域被识别为其中示出了目标细胞的区域时，接受装置从用户接受关于目标细胞是否在细胞候选区域中示出的用户输入。当细胞候选区域被识别为其中示出了目标细胞的区域时，辨别器训练装置基于通过接受装置接受的用户输入利用细胞候选区域的图像的图像特征值作为训练样本来训练辨别器。
为了解决上述问题，权利要求7的本发明提供了一种计算机可读存储介质，其存储使得计算机用作特征值提取装置、辨别装置、显示装置、接受装置和辨别器训练装置的程序。特征值提取装置在通过捕获包括目标细胞的样本的图像而获得的捕获图像中提取细胞候选区域的图像的图像特征值。辨别装置基于细胞候选区域的图像的图像特征值，使用训练前的辨别器来识别目标细胞是否在细胞候选区域中示出。当将细胞候选区域识别为其中示出了目标细胞的区域时，显示装置显示细胞候选区域的图像。当细胞候选区域被识别为其中示出了目标细胞的区域时，接受装置从用户接受关于目标细胞是否在细胞候选区域中示出的用户输入。当细胞候选区域被识别为其中示出了目标细胞的区域时，辨别器训练装置基于通过接受装置接受的用户输入利用细胞候选区域的图像的图像特征值作为训练样本来训练辨别器。
为了解决上述问题，权利要求8的本发明提供了一种图像处理方法，包括以下步骤：特征值提取步骤，其在通过捕获包括目标细胞的样本的图像而获得的捕获图像中提取细胞候选区域的图像的图像特征值；识别步骤，其基于细胞候选区域的图像的图像特征值，使用训练前的辨别器来识别目标细胞是否在细胞候选区域中示出；显示步骤，当将细胞候选区域识别为其中示出了目标细胞的区域时，显示该细胞候选区域的图像；接受步骤，当细胞候选区域被识别为其中示出了目标细胞的区域时，从用户接受关于目标细胞是否在细胞候选区域中示出的用户输入；以及辨别器训练步骤，当细胞候选区域被识别为其中示出了目标细胞的区域时，基于在接受步骤中接受的用户输入利用细胞候选区域的图像的图像特征值作为训练样本来训练辨别器。
有益效果
根据权利要求1、6、7和8所述的本发明，可在用户检查细胞的处理中对用来辨别在图像中存在目标细胞与不存在目标细胞之间的区别的辨别器进行训练。
根据权利要求2和3所述的本发明，与没有当前构造的情况相比，辨别器的辨别精度可提高。
根据权利要求4所述的本发明，可获得位于均匀位置并且具有均匀大小的训练样本。
根据权利要求5所述的本发明，可消除用于指明将被用于训练的细胞候选区域的时间和精力。
附图说明
图1是根据实施例的图像处理系统的系统构造示图；
图2是示出示例测试图像的示图；
图3是示出显示在显示设备上的屏幕的示图；
图4是示出在图像处理设备中实现的功能的功能性框图；
图5是示出像素簇和核候选区域的示例的示图；
图6是示出示例细胞候选区域的示图；
图7是示出存储在细胞坐标数据库中的示例信息的示图；
图8是示出通过图像处理设备执行的示例处理的流程图；
图9是示出通过图像处理设备执行的示例处理的流程图。
具体实施方式
以下将基于附图详细描述本发明的示例实施例。
图1是根据当前实施例的图像处理系统1的系统构造示图。如图1所示，图像处理系统1包括光学显微镜2、图像处理设备4、和显示设备6。图像处理设备4连接至能够与图像处理设备4执行数据通信的光学显微镜2和显示设备6。
光学显微镜2利用CCD相机通过诸如物镜的光学系统捕获设置在台上的载片上的标本的图像。在当前实施例中，通过将母血涂布至载片并用迈-吉姆萨(May-Giemsa)染色处理所涂布的母血来获得所述标本。因此，母血中的来自胎儿的有核红血细胞被染色为蓝紫色。有核红血细胞在下文中被称作目标细胞。
例如个人计算机的图像处理设备4获得通过利用光学显微镜2捕获图像获得的捕获图像(下文中称作测试图像)。图2示出了示例测试图像。如图2所示，测试图像包括母血中包含的各种细胞的图像。具有被染成深色的核的细胞是目标细胞。目标细胞(有核红血细胞)的核通过迈-吉姆萨染色被染色，被染成比其他细胞的颜色稍深的颜色。
图像处理设备4使用训练前的辨别器来指明其中很可能示出目标细胞的细胞候选区域，并且在显示设备6上显示指明的细胞候选区域的图像的列表。
显示设备6显示由图像处理设备4指明的细胞候选区域的图像的列表。图3是示出显示在显示设备6上的示例屏幕的示图。如图3所示，指明的细胞候选区域的图像的列表显示在屏幕上。在当前实施例中，将图像分组为预定数量的组。显示属于选自所述组中的一组图像的列表。在该示例中，对应于所述组的多个按钮7显示在屏幕的左端部分。显示属于与图像处理设备4的用户(例如，执行检查的医生)所点击的按钮7相对应的组的图像的列表。
当用户进行胎儿诊断时，用户在参照屏幕的同时执行细胞检查。也就是说，用户观看显示在屏幕上的图像中的每一个。用户在显示在屏幕上的图像中选择确定为其中示出了目标细胞图像的图像。例如，用户点击确定为其中示出了目标细胞图像的图像。因此，用户实现了物镜的焦点在所选择的图像所示的细胞附近，并且开始提取目标细胞。
如上所述，辨别器用于指明其中很可能示出目标细胞的细胞候选区域。在图像处理系统1中，在上述细胞检查处理中自动地获得训练样本，并通过利用训练样本来训练辨别器。因此，用户不需要与细胞检查操作分离地执行用于获得训练样本的操作。
将描述使得辨别器能够在细胞检查操作的处理中被训练的技术。
图4是示出在图像处理设备4中实现的功能的功能性框图。在图像处理设备4中，实现了测试图像获取单元8、核候选区域提取单元10、测试图像存储区12、细胞大小估计单元14、细胞候选区域限定单元16、图像特征值计算单元18、NRBC辨别单元20、辨别模型存储区22、细胞坐标数据库24、辨别结果显示单元26、辨别结果选择单元28、细胞对齐单元30、训练样本获取单元32和辨别器训练单元34。按照以下方式实现这些功能，所述方式即，包括诸如微处理器的控制装置、诸如存储器的存储器装置、用于从诸如用于接受用户操作的操作接受装置的外部装置接收数据/将数据发送至所述外部装置的输入/输出装置等的计算机读取存储在计算机可读信息存储介质(例如，光盘、磁盘、磁带、磁光盘或闪速存储器)中的程序和执行所述程序。可经诸如互联网的数据通信网络将程序供应至作为计算机的图像处理设备4。
下面将描述功能。测试图像获取单元8从光学显微镜2获取利用光学显微镜2捕获的测试图像(见图2)的数据，并且将测试图像存储在测试图像存储区12中。
核候选区域提取单元10从测试图像中提取对应于目标细胞的核的核候选区域。例如，核候选区域提取单元10从测试图像中提取具有重要像素的像素簇。重要像素是像素值(RGB值)落入预定范围内的像素。核候选区域提取单元10提取像素簇中的每一个的限定的矩形区域，作为核候选区域。图5示出了从测试图像中提取的像素簇36和核候选区域38的示例。黑色部分表示像素簇36。
细胞大小估计单元14根据当将通过核候选区域提取单元10提取的核候选区域38投影至载片表面时获得的投影大小，利用预定关系式估计细胞的范围(矩形区域)。
细胞候选区域限定单元16基于核候选区域38，限定可能包含目标细胞的上述多个细胞候选区域。也就是说，细胞候选区域限定单元16限定作为细胞候选区域的多个矩形区域，在它们中的每一个中，核候选区域38中的点位于中心，并且它们中的每一个的大小在通过细胞大小估计单元14估计的范围内。图6示出了示例细胞候选区域40。在图6中，示出了细胞候选区域40，在它们中的每一个中，左上核候选区域38的点位于中心。
对于细胞候选区域40中的每一个，图像特征值计算单元18从细胞候选区域40的图像中提取图像特征值。在该示例中，假设计算HOG(方向梯度直方图)特征值作为图像特征值。然而，任何信息可用作图像特征值，只要该信息描述了图像特征即可。图像特征值计算单元18可从细胞候选区域40的放大的图像或缩小的图像中提取图像特征值。
对于细胞候选区域40中的每一个，NRBC辨别单元20利用训练前的辨别器基于细胞候选区域40的图像的图像特征值，识别目标细胞是否在细胞候选区域40中示出。辨别器的示例包括AdaBoost辨别器和支持向量机。从辨别模型存储区22中读出辨别器的模型参数。
NRBC辨别单元20在细胞坐标数据库24中登记作为其中示出了目标细胞的区域被识别的细胞候选区域40。图7示出了存储在细胞坐标数据库24中的示例信息。如图7所示，细胞坐标数据库24包括区域ID字段、坐标数据字段、显示状况字段和选择状况字段。NRBC辨别单元20在区域ID字段中存储作为其中示出了目标细胞的区域被识别的细胞候选区域40的ID。NRBC辨别单元20将表示作为其中示出了目标细胞的区域被识别的细胞候选区域40的坐标数据与细胞候选区域40的ID关联地存储在坐标数据字段中。坐标数据包括细胞候选区域40的代表点(例如，中心或左上顶点)的位置的坐标和细胞候选区域40的大小(一边的长度)。
NRBC辨别单元20将指示是否显示了作为其中示出了目标细胞的区域被识别的细胞候选区域40的图像的显示标记的值与细胞区域40的ID关联地存储在显示状况字段中。值“0”指示细胞候选区域40的图像未被显示，而值“1”指示细胞候选区域40的图像已被显示。换句话说，值“0”指示用户未浏览细胞候选区域40的图像，而值“1”指示用户已浏览细胞候选区域40的图像。首先，存储值“0”。NRBC辨别单元20将指示用户是否选择了作为其中示出了目标细胞的区域被识别的细胞候选区域40的图像的选择标记的值与细胞区域40的ID关联地存储在选择状况字段中。值“0”指示细胞候选区域40的图像未被选择，而值“1”指示细胞候选区域40的图像已被选择。换句话说，值“0”指示用户已确定在细胞候选区域40中未示出目标细胞，而值“1”指示用户已确定在细胞候选区域40中示出了目标细胞。首先，存储值“0”。
通过参照作为登记细胞候选区域40的在细胞坐标数据库24中登记的细胞候选区域40继续进行描述。
辨别结果显示单元26在显示设备6上显示登记细胞候选区域40的图像。在当前实施例中，将在细胞坐标数据库24中登记的登记细胞候选区域40分为预定数量的组。显示属于所述组中的用户选择的一组的登记细胞候选区域40的图像的列表(见图3)。因此，显示在细胞坐标数据库24中登记的登记细胞候选区域40中的至少一些的图像。
辨别结果显示单元26用“1”更新与显示在显示设备26上的登记细胞候选区域40的ID关联的显示标记值。
辨别结果选择单元28接收关于目标细胞是否显示在登记细胞候选区域40中的用户输入。在当前实施例中，接收关于目标细胞是否显示在显示于显示设备6上的登记细胞候选区域40中的用户输入。具体地说，辨别结果选择单元28接收用户作出的对显示在显示设备6上的登记细胞候选区域40中的至少一个的选择(在该示例中，点击登记细胞候选区域40的图像)。通过用户自己确定为其中示出了目标细胞的区域的登记细胞候选区域40被选择。辨别结果选择单元28用“1”更新与用户选择的登记细胞候选区域40的ID关联的选择标记值。
当用户确定在登记细胞候选区域40中示出了目标细胞时，细胞对齐单元30分析登记细胞候选区域40的图像，并且基于分析结果更新登记细胞候选区域40。具体地说，对于用户选择的登记细胞候选区域40，细胞对齐单元根据已知的轮廓提取算法，指明对应于细胞壁的轮廓并且被包括在登记细胞候选区域40中的细胞壁区域，并且基于指明的细胞壁区域更新登记细胞候选区域40。例如，细胞对齐单元30可用细胞壁区域的限定的矩形区域来更新登记细胞候选区域40。例如，细胞对齐单元30可更新登记细胞候选区域40，使得登记细胞候选区域40的中心匹配细胞壁区域的中心(质心)。作为另外一种选择，登记细胞候选区域40可被设为其中心位于核候选区域38的质心并且包含细胞壁区域的矩形。
与图像特征值计算单元18相似，训练样本获取单元32获取登记细胞候选区域40的图像的图像特征值。在当前实施例中，训练样本获取单元32获取已显示的登记细胞候选区域40的图像特征值。具体地说，训练样本获取单元32参照细胞坐标数据库24，指明其显示标记值等于“1”的登记细胞候选区域40，并且提取指明的登记细胞候选区域40的图像的图像特征值。
辨别器训练单元34使用训练样本获取单元32获取的图像特征值作为训练样本来训练辨别器。作为训练结果获得的模型参数被存储在辨别模型存储区22中。训练样本也被称作训练数据。
基于通过辨别结果选择单元28接收的用户输入来训练辨别器。也就是说，当用户确定目标细胞在登记细胞候选区域40中示出时，将通过训练样本获取单元32获取的登记细胞候选区域40的图像的图像特征值用作正训练样本。也就是说，将其选择标记值等于“1”的登记细胞候选区域40的图像的图像特征值用作正训练样本。相反，当用户确定目标细胞未在登记细胞候选区域40中示出时，将通过训练样本获取单元32获取的登记细胞候选区域40的图像的图像特征值用作负训练样本。也就是说，将其选择标记值等于“0”的登记细胞候选区域40的图像的图像特征值用作负训练样本。可通过仅使用正训练样本或负训练样本来训练辨别器。作为另外一种选择，可通过利用仅一些正示例和负示例来训练辨别器。
因此，在图像处理设备4中，训练样本获取单元32和辨别器训练单元34用于在细胞检查操作的处理中获得训练样本，并且利用训练样本来训练辨别器。另外，图像处理设备4不使用所有细胞候选区域40的图像作为训练样本。仅是作为包含目标细胞的图像的由NRBC辨别单元识别的图像被用作训练样本。因此，提高了辨别器的辨别精度。
图8和图9是示出通过图像处理设备4执行的示例处理的流程图。首先，将描述图8。图像处理设备4使得测试图像获取单元8从光学显微镜2中获取测试图像(见图2)(S101)。将测试图像存储在测试图像存储区12中。图像处理设备4使得核候选区域提取单元10提取多个核候选区域38(S102)。也就是说，在S102中，图像处理设备4产生通过将测试图像中的像素(它们中的每一个具有落入预定范围内的RGB值)的值转换为“1”和将其它像素的值转换为“0”获得的二进制图像。在S102中，图像处理设备4指定具有值等于“1”的像素的像素簇36(见图5)，以及针对像素簇36中的每一个提取限定的矩形区域作为核候选区域38。
图像处理设备4按顺序一个一个地选择核候选区域38，作为核候选区域(i)，并且针对核候选区域(i)执行步骤S103至S110。也就是说，图像处理设备4使得细胞大小估计单元14根据预定关系式，根据当将核候选区域(i)投影至载片表面时获得的投影大小，计算细胞候选区域40的大小(一边的长度)的最小值Smin和最大值Smax(S103)。图像处理设备4针对细胞候选区域40将大小S的值设为最小值Smin(S104)。
图像处理设备4在核候选区域(i)中按顺序一个一个地选择像素作为像素(k)，并且针对像素(k)执行步骤S105至S108。也就是说，图像处理设备4使得细胞候选区域限定单元16设置其中像素(k)位于中心并且具有大小S的细胞候选区域40(S105)。图像处理设备4使得图像特征值提取单元18计算细胞候选区域40的图像的图像特征值(S106)。例如，在S106中，图像处理设备4计算细胞候选区域40的图像的HOG特征值。
图像处理设备4使得NRBC辨别单元20基于在S106中计算的图像特征值，识别目标细胞是否在细胞候选区域40中示出(S107)。也就是说，图像处理设备4从辨别模型存储区22中读模型参数，并且使得辨别器基于在S106中计算的图像特征值，识别目标细胞是否在细胞候选区域40中示出。具体地说，在S106中，图像处理设备4将计算的图像特征值输入至辨别器，并且从辨别器中获得输出值。例如，当输出值等于或大于阈值时，细胞候选区域40作为其中示出了目标细胞的区域被识别。当输出值小于阈值时，细胞候选区域40不作为其中示出了目标细胞的区域被识别。
如果细胞候选区域40作为其中示出了目标细胞的区域被识别(S107中的是)，则图像处理设备4使得NRBC辨别单元20将细胞候选区域40登记在细胞坐标数据库24中(见图7)(S108)。也就是说，在S108中，图像处理设备4在细胞坐标数据库24中存储包括细胞候选区域40的ID、细胞候选区域40的坐标数据、显示标记值“0”和选择标记值“0”的记录。图像处理设备4利用下一像素作为像素(k)执行S105及其后续步骤。如果细胞候选区域40不作为其中示出了目标细胞的区域被识别(S107中的否)，则不用登记细胞候选区域40，并利用下一像素作为像素(k)执行S105及其后续步骤。
当针对核候选区域(i)中的所有像素执行了步骤S105至S108时，在S109中，图像处理设备4将大小S增大ΔS(S109)，并且确定增大的大小S是否超过Smax(S110)。如果增大的大小S超过Smax(S110中的是)，则图像处理设备4使用下一核候选区域38作为核候选区域(i)以执行S103及其后续步骤。如果增大的大小S不超过Smax(S110中的否)，则针对核候选区域(i)中的所有像素再次执行步骤S105至S108。
通过图8所示的处理，在细胞坐标数据库24中登记作为其中示出了目标细胞的区域被识别的多个细胞候选区域40。将登记细胞候选区域40分为预定数量的组。
图9所示的处理在图8所示的处理之后执行。每当用户通过点击按钮7选择一组时执行步骤S201至S203(见图3)。也就是说，图像处理设备4使得辨别结果显示单元26在显示设备6上显示包括在用户选择的组中的登记细胞候选区域40的图像的列表(S201)。
图像处理设备4使得辨别结果显示单元26针对显示在显示设备上的登记细胞候选区域40，用“1”更新显示标记值(S202)。每当用户选择(点击)任一个登记细胞候选区域40的图像时，图像处理设备4都使得辨别结果选择单元28针对选择的登记细胞候选区域40，用“1”更新选择标记值(S203)。
例如，当用户给出预定训练指示时，执行步骤S204及其后续步骤。图像处理设备4使得细胞对齐单元30执行对齐处理(S204)。也就是说，在对齐处理中，图像处理设备4参照细胞坐标数据库24来指明选择标记值等于“1”的登记细胞候选区域40。从测试图像存储区12中读测试图像，并且根据已知轮廓提取算法，分析指明的登记细胞候选区域40的图像，从而指明对应于细胞壁的轮廓并且被包括在登记细胞候选区域40中的细胞壁区域。基于细胞壁区域更新已指明的登记细胞候选区域40。例如，图像处理设备4可用细胞壁区域的限定的矩形区域更新已指明的登记细胞候选区域40。例如，图像处理设备4可按照登记细胞候选区域40的中心匹配细胞壁区域的中心(质心)的方式更新已指明的登记细胞候选区域40。作为另外一种选择，可用其中核候选区域38的质心位于中心并且包含细胞壁区域的矩形更新登记细胞候选区域40。通过更新存储在细胞坐标数据库24中的登记细胞候选区域40的坐标数据来更新登记细胞候选区域40。
图像处理设备4使得训练样本获取单元32获取已显示的登记细胞候选区域40的图像的图像特征值(S205)。也就是说，在S205中，图像处理设备4参照细胞坐标数据库24来指明显示标记值等于“1”的登记细胞候选区域40，并且与步骤S106相似，计算指明的登记细胞候选区域40的图像的图像特征值。
图像处理设备4使得辨别器训练单元34利用在S205中获得的图像特征值作为训练样本来训练辨别器(S206)，并且将作为训练结果获得的模型参数存储在辨别模型存储区22中。在训练中，在S205中获得的图像特征值中，将选择标记值等于“1”的登记细胞候选区域40的图像的图像特征值用作正训练样本，并且将其它图像特征值用作负训练样本。
本发明的实施例不限于上述实施例。例如，描述了其中有核红血细胞是目标细胞的情况。除有核红血细胞以外的细胞可为目标细胞。也就是说，本发明也可应用于其中除有核红血细胞以外的细胞是目标细胞的情况。
例如，细胞对齐单元30不是一定需要的，并且可被省略。也就是说，可跳过步骤S205。
参考标号列表
1：图像处理系统
2：光学显微镜
4：图像处理设备
6：显示设备
7：按钮
8：测试图像获取单元
10：核候选区域提取单元
12：测试图像存储区
14：细胞大小估计单元
16：细胞候选区域限定单元
18：图像特征值计算单元
20：NRBC辨别单元
22：辨别模型存储区
24：细胞坐标数据库
26：辨别结果显示单元
28：辨别结果选择单元
30：细胞对齐单元
32：训练样本获取单元
34：辨别器训练单元
36：像素簇
38：核候选区域
40：细胞候选区域

Claims (8)

1.一种图像处理设备，包括：
特征值提取装置，其用于在通过捕获包括目标细胞的样本的图像而获得的捕获图像中提取细胞候选区域的图像的图像特征值；
辨别装置，其用于基于细胞候选区域的图像的图像特征值，使用训练前的辨别器来识别目标细胞是否在细胞候选区域中示出；
显示装置，其用于当将细胞候选区域识别为其中示出了目标细胞的区域时，显示细胞候选区域的图像；
接受装置，其用于当细胞候选区域被识别为其中示出了目标细胞的区域时，从用户接受关于目标细胞是否在细胞候选区域中示出的用户输入；以及
辨别器训练装置，其用于当细胞候选区域被识别为其中示出了目标细胞的区域时，基于通过接受装置接受的用户输入利用细胞候选区域的图像的图像特征值作为训练样本来训练辨别器。
2.根据权利要求1所述的图像处理设备，
其特征在于，当用户确定目标细胞在细胞候选区域中示出时，辨别器训练装置利用细胞候选区域的图像的图像特征值作为正训练样本来训练辨别器。
3.根据权利要求1或2所述的图像处理设备，
其特征在于，当用户确定目标细胞未在细胞候选区域中示出时，辨别器训练装置通过利用细胞候选区域的图像的图像特征值作为负训练样本来训练辨别器。
4.根据权利要求1至3中的任一项所述的图像处理设备，其特征在于还包括：
更新装置，其用于当用户确定目标细胞在细胞候选区域中示出时，指明对应于细胞壁的轮廓区域并基于所指明的轮廓区域更新细胞候选区域，所述轮廓区域被包括在细胞候选区域中，
其中，辨别器训练装置利用更新的细胞候选区域的图像的图像特征值来训练辨别器。
5.根据权利要求1所述的图像处理设备，
其特征在于，特征值提取装置提取多个细胞候选区域的图像的图像特征值，
对于细胞候选区域中的每一个，辨别装置识别目标细胞是否在细胞候选区域中示出，
显示装置显示被识别为其中示出了目标细胞的区域的至少一些细胞候选区域的图像，
接受装置接受关于目标细胞是否在通过显示装置显示的每一个细胞候选区域中示出的用户输入，
辨别器训练装置基于通过接受装置接受的用户输入，利用通过显示装置显示的细胞候选区域的图像的图像特征值作为训练样本来训练辨别器，并且
图像处理设备还包括用于存储指示显示装置显示了哪个细胞候选区域的信息的装置。
6.一种使得计算机用作以下装置的程序：
特征值提取装置，其用于在通过捕获包括目标细胞的样本的图像获得的捕获图像中提取细胞候选区域的图像的图像特征值；
辨别装置，其用于基于细胞候选区域的图像的图像特征值，使用训练前的辨别器来识别目标细胞是否在细胞候选区域中示出；
显示装置，当将细胞候选区域识别为其中示出了目标细胞的区域时，显示装置显示细胞候选区域的图像；
接受装置，当细胞候选区域被识别为其中示出了目标细胞的区域时，接受装置从用户接受关于目标细胞是否在细胞候选区域中示出的用户输入；以及
辨别器训练装置，当细胞候选区域被识别为其中示出了目标细胞的区域时，辨别器训练装置基于通过接受装置接受的用户输入利用细胞候选区域的图像的图像特征值作为训练样本来训练辨别器。
7.一种计算机可读存储介质，其存储使得计算机用作以下装置的程序：
特征值提取装置，其用于在通过捕获包括目标细胞的样本的图像而获得的捕获图像中提取细胞候选区域的图像的图像特征值；
辨别装置，其用于基于细胞候选区域的图像的图像特征值，使用训练前的辨别器来识别目标细胞是否在细胞候选区域中示出；
显示装置，当将细胞候选区域识别为其中示出了目标细胞的区域时，显示装置显示细胞候选区域的图像；
接受装置，当细胞候选区域被识别为其中示出了目标细胞的区域时，接受装置从用户接受关于目标细胞是否在细胞候选区域中示出的用户输入；以及
辨别器训练装置，当细胞候选区域被识别为其中示出了目标细胞的区域时，辨别器训练装置基于通过接受装置接受的用户输入利用细胞候选区域的图像的图像特征值作为训练样本来训练辨别器。
8.一种图像处理方法，包括以下步骤：
特征值提取步骤，其在通过捕获包括目标细胞的样本的图像而获得的捕获图像中提取细胞候选区域的图像的图像特征值；
识别步骤，其基于细胞候选区域的图像的图像特征值，使用训练前的辨别器来识别目标细胞是否在细胞候选区域中示出；
显示步骤，当将细胞候选区域识别为其中示出了目标细胞的区域时，显示细胞候选区域的图像；
接受步骤，当细胞候选区域被识别为其中示出了目标细胞的区域时，从用户接受关于目标细胞是否在细胞候选区域中示出的用户输入；以及
辨别器训练步骤，当细胞候选区域被识别为其中示出了目标细胞的区域时，基于在接受步骤中接受的用户输入利用细胞候选区域的图像的图像特征值作为训练样本来训练辨别器。
CN201380075656.3A 2013-05-31 2013-11-18 图像处理设备、图像处理方法、程序和存储介质 Pending CN105121620A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-115443 2013-05-31
JP2013115443A JP2014235494A (ja) 2013-05-31 2013-05-31 画像処理装置及びプログラム
PCT/JP2013/081012 WO2014192184A1 (ja) 2013-05-31 2013-11-18 画像処理装置、画像処理方法、プログラム、及び記憶媒体

Publications (1)

Publication Number Publication Date
CN105121620A true CN105121620A (zh) 2015-12-02

Family

ID=51988244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380075656.3A Pending CN105121620A (zh) 2013-05-31 2013-11-18 图像处理设备、图像处理方法、程序和存储介质

Country Status (5)

Country Link
US (1) US10395091B2 (zh)
EP (1) EP3006551B1 (zh)
JP (1) JP2014235494A (zh)
CN (1) CN105121620A (zh)
WO (1) WO2014192184A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978815A (zh) * 2017-12-14 2019-07-05 欧姆龙株式会社 检测系统、信息处理装置、评价方法及存储介质
CN110100149A (zh) * 2016-12-27 2019-08-06 索尼公司 勘测标记、图像处理装置、图像处理方法和程序
JP2019527876A (ja) * 2016-06-24 2019-10-03 ベックマン コールター， インコーポレイテッド 画像アトラスシステム及び方法
CN111699243A (zh) * 2018-02-15 2020-09-22 雅马哈发动机株式会社 摄像系统以及生物对象物移动装置
CN111699243B (zh) * 2018-02-15 2024-05-31 雅马哈发动机株式会社 摄像系统以及生物对象物移动装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018085657A1 (en) * 2016-11-04 2018-05-11 miDiagnostics NV System and method for object detection in holographic lens-free imaging by convolutional dictionary learning and encoding
EP3567546A1 (en) * 2017-01-05 2019-11-13 Konica Minolta, Inc. Image analysis program and image analysis method
JP7009864B2 (ja) * 2017-09-20 2022-01-26 カシオ計算機株式会社 輪郭検出装置及び輪郭検出方法
CN112585696A (zh) * 2018-08-30 2021-03-30 应用材料公司 用于自动肿瘤检测和分类的系统
JP7342950B2 (ja) * 2019-07-18 2023-09-12 株式会社島津製作所 細胞画像解析方法および細胞画像解析装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000049391A1 (en) * 1999-02-18 2000-08-24 Bio-View Ltd. System and method for identifying and analyzing rare cell types in a mixed population of cells
JP4346923B2 (ja) * 2003-02-21 2009-10-21 晴夫 高林 標的細胞自動探索システム
US20110286654A1 (en) * 2010-05-21 2011-11-24 Siemens Medical Solutions Usa, Inc. Segmentation of Biological Image Data
JP2012080802A (ja) * 2010-10-08 2012-04-26 Hitachi High-Technologies Corp 細菌コロニーの釣菌方法及び釣菌装置
JP2012254042A (ja) * 2011-06-09 2012-12-27 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313532A (en) * 1990-01-23 1994-05-17 Massachusetts Institute Of Technology Recognition of patterns in images
JPH07319681A (ja) * 1994-05-23 1995-12-08 Nec Corp 例示によるプログラミング方式
US6859802B1 (en) * 1999-09-13 2005-02-22 Microsoft Corporation Image retrieval based on relevance feedback
US7958063B2 (en) * 2004-11-11 2011-06-07 Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
US20080253611A1 (en) * 2007-04-11 2008-10-16 Levi Kennedy Analyst cueing in guided data extraction
US8116551B2 (en) * 2007-12-04 2012-02-14 University College, Dublin, National University of Ireland Method and system for image analysis
JP2009237640A (ja) * 2008-03-26 2009-10-15 National Institute Of Information & Communication Technology 情報抽出装置、情報抽出方法および情報抽出プログラム
JP5266476B2 (ja) * 2009-07-23 2013-08-21 日本電信電話株式会社 行動記録保存システム、サーバ装置、行動記録保存方法及びコンピュータプログラム
JP5140780B2 (ja) * 2010-12-28 2013-02-13 エスシーワールド株式会社 血液中の標的細胞の検査方法、標的細胞検索装置、及びバイオチップ
EP2833138B1 (en) * 2012-03-30 2017-08-09 Konica Minolta, Inc. Medical image processor and program
US9588035B2 (en) * 2012-09-13 2017-03-07 The Governing Council Of The University Of Toronto System and method for fetal and maternal red blood cell counting
US8908945B2 (en) * 2012-10-22 2014-12-09 General Electric Company Biological unit identification based on supervised shape ranking
EP2731051A1 (en) * 2012-11-07 2014-05-14 bioMérieux Bio-imaging method
JP2015031831A (ja) * 2013-08-02 2015-02-16 オリンパス株式会社 細胞追跡装置及び方法、細胞追跡プログラム
US20170140528A1 (en) * 2014-01-25 2017-05-18 Amir Aharon Handzel Automated histological diagnosis of bacterial infection using image analysis
EP3146463B1 (en) * 2014-05-23 2020-05-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
CA2965431C (en) * 2014-12-03 2023-05-16 Ventana Medical Systems, Inc. Computational pathology systems and methods for early-stage cancer prognosis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000049391A1 (en) * 1999-02-18 2000-08-24 Bio-View Ltd. System and method for identifying and analyzing rare cell types in a mixed population of cells
JP4346923B2 (ja) * 2003-02-21 2009-10-21 晴夫 高林 標的細胞自動探索システム
US20110286654A1 (en) * 2010-05-21 2011-11-24 Siemens Medical Solutions Usa, Inc. Segmentation of Biological Image Data
JP2012080802A (ja) * 2010-10-08 2012-04-26 Hitachi High-Technologies Corp 細菌コロニーの釣菌方法及び釣菌装置
JP2012254042A (ja) * 2011-06-09 2012-12-27 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOSUKE SHIMIZU ET AL: "Detection and retrieval of nucleated red blood cells using linear subspaces", 《THE JOURNAL OF THE IIEEJ》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527876A (ja) * 2016-06-24 2019-10-03 ベックマン コールター， インコーポレイテッド 画像アトラスシステム及び方法
JP2021177407A (ja) * 2016-06-24 2021-11-11 ベックマン コールター， インコーポレイテッド 画像アトラスシステム及び方法
US11448583B2 (en) 2016-06-24 2022-09-20 Beckman Coulter, Inc. Image atlas systems and methods
JP7275202B2 (ja) 2016-06-24 2023-05-17 ベックマン コールター， インコーポレイテッド 画像アトラスシステム及び方法
CN110100149A (zh) * 2016-12-27 2019-08-06 索尼公司 勘测标记、图像处理装置、图像处理方法和程序
CN110100149B (zh) * 2016-12-27 2021-08-24 索尼公司 勘测标记、图像处理装置、图像处理方法和程序
CN109978815A (zh) * 2017-12-14 2019-07-05 欧姆龙株式会社 检测系统、信息处理装置、评价方法及存储介质
CN111699243A (zh) * 2018-02-15 2020-09-22 雅马哈发动机株式会社 摄像系统以及生物对象物移动装置
CN111699243B (zh) * 2018-02-15 2024-05-31 雅马哈发动机株式会社 摄像系统以及生物对象物移动装置

Also Published As

Publication number Publication date
EP3006551A4 (en) 2017-02-15
WO2014192184A1 (ja) 2014-12-04
US10395091B2 (en) 2019-08-27
US20150356342A1 (en) 2015-12-10
EP3006551B1 (en) 2019-11-13
JP2014235494A (ja) 2014-12-15
EP3006551A1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
CN105121620A (zh) 图像处理设备、图像处理方法、程序和存储介质
CN110889312B (zh) 活体检测方法和装置、电子设备、计算机可读存储介质
US9934571B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
CN109389129B (zh) 一种图像处理方法、电子设备及存储介质
CN103020585B (zh) 一种免疫组织阳性细胞和阴性细胞识别方法
JP6332937B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
JP6791864B2 (ja) 検査室自動化のためのサイドビューサンプルチューブ画像におけるバーコードタグ検出
CN103201769A (zh) 图像处理装置、图像处理方法、程序、集成电路
TWI716012B (zh) 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置
CN105989174B (zh) 关注区域提取装置以及关注区域提取方法
CN104462530A (zh) 用户喜好的分析方法及装置、电子设备
CN111784675A (zh) 物品纹理信息处理的方法、装置、存储介质及电子设备
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN112330624A (zh) 医学图像处理方法和装置
JP2023543640A (ja) 酒ラベル識別方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体
CN110796039B (zh) 一种面部瑕疵检测方法、装置、电子设备及存储介质
WO2017145172A1 (en) System and method for extraction and analysis of samples under a microscope
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN114120090A (zh) 图像处理方法、装置、设备及存储介质
CN113435353A (zh) 基于多模态的活体检测方法、装置、电子设备及存储介质
JP2023543639A (ja) 酒製品位置決め方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体
CN112801238B (zh) 一种图像分类方法、装置、电子设备及存储介质
CN110796645A (zh) 一种证件照片质量评估方法、存储介质及处理器
CN116993653A (zh) 相机镜头缺陷检测方法、装置、设备、存储介质及产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180420

Address after: Tokyo, Japan

Applicant after: FUJIFILM Corp.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20151202

RJ01 Rejection of invention patent application after publication