CN110892272A - 装置、试料的状态的判别方法以及分析系统 - Google Patents

装置、试料的状态的判别方法以及分析系统 Download PDF

Info

Publication number
CN110892272A
CN110892272A CN201880041315.7A CN201880041315A CN110892272A CN 110892272 A CN110892272 A CN 110892272A CN 201880041315 A CN201880041315 A CN 201880041315A CN 110892272 A CN110892272 A CN 110892272A
Authority
CN
China
Prior art keywords
image
sample
state
detection range
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880041315.7A
Other languages
English (en)
Other versions
CN110892272B (zh
Inventor
柿下容弓
服部英春
坂诘卓
铃木洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp filed Critical Hitachi High Technologies Corp
Publication of CN110892272A publication Critical patent/CN110892272A/zh
Application granted granted Critical
Publication of CN110892272B publication Critical patent/CN110892272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/10—Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/10—Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
    • G01N35/1009—Characterised by arrangements for controlling the aspiration or dispense of liquids
    • G01N35/1016—Control of the volume dispensed or introduced
    • G01N2035/1018—Detecting inhomogeneities, e.g. foam, bubbles, clots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/10—Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
    • G01N35/1009—Characterised by arrangements for controlling the aspiration or dispense of liquids
    • G01N2035/1025—Fluid level sensing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/85—Investigating moving fluids or granular solids

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Wood Science & Technology (AREA)
  • Immunology (AREA)
  • Biotechnology (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • Medicinal Chemistry (AREA)
  • Image Analysis (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

一种判别收容于容器的分析对象的试料的状态的装置，装置取得试料的图像，使用试料的图像来解析检测对象物相对在图像中设定的检测范围的位置以及大小，根据解析的结果来判别试料的状态。

Description

装置、试料的状态的判别方法以及分析系统
本申请主张在2017年7月31日申请的日本专利申请第2017-147629号的优先权，通过参照其内容并入到本申请。
技术领域
本发明涉及在具备免疫分析装置等的自动分析系统中，通过图像处理判别分析的试料的状态的技术。
背景技术
在免疫分析装置等分析装置中，为了分析血液以及尿等试料的成分等，使试料以及试剂反应来测定发色以及发光的状态。
从放入有试料的容器，使用分注探针等，选取使试剂反应的试料。由于使分注探针的前端浸渍到试料来吸引试料，所以试料附着到分注探针的前端以及外壁。
在分注探针的浸渍量多的情况下，附着到分注探针的试料的量增加，所以存在在接着选取新的试料的情况下带入的试料的量增加这样的问题。因此，当前，具有降低试料的带入的液面检测功能的自动分析装置得到普及。能够通过检测液面来控制分注探针前端的浸渍量，所以能够降低试料的带入并且吸引适合的量的试料。
但是，在试料表面存在气泡的情况下，将气泡表面错误地检测为液面，分注探针在未接触到试料的状态下进行吸引动作。因此，在试料表面存在气泡的情况下，存在无法吸引充分的量的试料，得不到正确的分析结果这样的课题。因此，需要在分析时判别试料表面的状态。
针对该问题，已知专利文献1以及专利文献2记载的技术。在专利文献1中，记载了从容器的开口部侧对试料表面的图像进行摄像，通过图像处理检测容器内的气泡的方法。另外，在专利文献2中，记载了对培养器内的图像进行摄像，根据与周围的培养基的颜色的差异抽出培养器内的气泡区域的方法。
现有技术文献
专利文献
专利文献1：美国专利申请公开第2013/0315486号说明书
专利文献2：日本特表2016-510211号
发明内容
在专利文献1记载的手法中，针对从容器的开口部侧对试料表面进行摄像而得到的图像，按照图像内的每个小区域计算边缘成分的直方图，从而得到气泡的分布。另外，检测容器开口部的边界以及容器开口部的中心坐标，将容器开口部的中心附近作为气泡的检测范围。
但是，专利文献1记载的手法未考虑气泡的大小。因此，即便是不影响分析的小的气泡，也不进行试料的吸引，所以分析效率降低。另外，在容器内存在覆盖气泡的检测范围的大的气泡的情况下，气泡的边界附近的边缘不是在检测范围的内侧而是在外侧产生，所以在用边缘成分等检测气泡的手法下无法检测气泡。
另外，在专利文献2记载的技术中，根据与培养基的颜色的差异抽出气泡区域。但是，在免疫分析装置等自动分析装置中，由于试料的种类以及色调、液面的高度、照明的强弱、容器的类别、有无液面振动、有无分离剂以及珠、有无脂质、以及试验管的印刷字的映入等各种主要原因的组合，存在被输入庞大的图案的图像的可能性。因此，难以仅根据颜色的差异抽出气泡区域。
本发明的目的在于不会降低分析精度以及分析效率而判别分析时的试料的状态。
如果表示在本申请中公开的发明的代表性的一个例子，则如以下所述。即，一种判别收容于容器的分析对象的试料的状态的装置，其特征在于，所述装置具备运算装置以及与所述运算装置连接的存储装置，所述运算装置取得所述试料的图像，使用所述试料的图像，解析检测对象物相对在所述图像中设定的检测范围的位置以及大小，根据所述解析的结果，判别所述试料的状态。
根据本发明，通过考虑检测对象物相对检测范围的位置以及大小，不会降低分析精度以及分析效率而能够判别分析时的试料的状态。上述以外的课题、结构以及效果通过以下的实施例的说明将变得更明确。
附图说明
图1是示出实施例1的自动分析系统的结构例的图。
图2是示出用于在实施例1的图像处理装置中设定阈值的GUI的一个例子的图。
图3A是说明相对实施例1的图像取得装置的容器的设置状态与检测范围之间的关系的图。
图3B是说明相对实施例1的图像取得装置的容器的设置状态与检测范围之间的关系的图。
图4是示出实施例1的图像处理装置的硬件结构以及软件结构的一个例子的图。
图5是示出实施例1的特征量计算部执行的卷积处理的概念的图。
图6是示出实施例1的特征量计算部执行的池化处理的概念的图。
图7A是示出实施例1的试料表面的状态的分类的一个例子的图。
图7B是示出实施例1的试料表面的状态的分类的一个例子的图。
图7C是示出实施例1的试料表面的状态的分类的一个例子的图。
图8是示出实施例1的有监督机器学习的一个例子的图。
图9是示出实施例1的图像处理装置执行的试料的表面状态的判别处理的一个例子的图。
图10是示出实施例2的图像处理装置的软件结构的一个例子的图。
图11是示出实施例2的图像校正处理的一个例子的图。
图12是示出实施例2的图像处理装置执行的试料的表面状态的判别处理的一个例子的图。
图13是示出实施例3的图像处理装置的软件结构的一个例子的图。
图14是示出由实施例3的图像处理装置显示的GUI的一个例子的图。
图15是说明实施例3的学习部执行的处理的一个例子的流程图。
具体实施方式
以下，参照附图，说明本发明的实施方式。在附图中，在功能上相同的要素还有时以相同的编号显示。此外，附图示出依照本发明的原理的具体的实施方式，但它们仅用于理解本发明，并非用于限定地解释本发明。
在本实施方式中，为了本领域技术人员实施本发明，充分详细地进行其说明，但需要理解还能够成为其他实现以及方式，能够在不脱离本发明的技术思想的范围和精神的情况下进行结构以及构造的变更以及各种要素的置换。因此，以后的记述不限于此地解释。
进而，本发明的实施方式如后所述既可以用在通用计算机上工作的软件实现，也可以用专用硬件、固件或者软件、硬件和固件的组合实现。
以下，在将功能部作为主语(动作主体)说明本发明的各处理的情况下，表示运算装置依照实现各功能部的程序执行处理。另外，实现各功能部的程序的一部分或者全部既可以使用专用硬件实现，另外，也可以模块化。各种程序也可以通过程序分发服务器、存储介质安装到图像处理装置。
实施例1
在实施例1中，说明装置以及包括该装置的系统，装置根据对试料容器的表面进行摄像而得到的试料表面的图像，执行根据检测对象物(气泡等)相对图像内的检测范围的位置以及大小来判别试料表面的状态的图像处理。
图1是示出实施例1的自动分析系统的结构例的图。
自动分析系统包括图像处理装置101、照明装置102、图像取得装置103、试料取得装置104、试料分析装置106、以及输出装置107，另外，包括设置放入有试料111的容器110的装置。
试料111是成为血液以及尿等分析对象的试料。试料表面112是试料111的液面。容器110是放入试料111的试验管等容器。
试料取得装置104是具有用于吸引试料111的分注探针等的吸引装置。试料取得装置104控制分注探针105，取得容纳于容器110的试料111。
照明装置102是从容器110的开口部侧朝向试料表面112照射光的LED等装置。图像取得装置103是从开口部侧取得试料表面112的图像的照相机等装置。
本实施例的图像取得装置103取得试料表面112的图像，将用图像取得范围120表示的范围的图像输出到图像处理装置101。图1所示的图像是从容器110的开口部侧对试料表面112进行摄影而得到的图像。
检测对象物115是参与试料111的取得控制的物体以及物质等。在本实施例中，气泡成为检测对象物115。另外，检测范围125是在图像内设定的范围、并且是对检测对象物115进行检测的范围。检测范围125是针对图像取得范围120设定的范围，所以不依赖于图像内的容器110的位置以及大小。
图像处理装置101通过解析从图像取得装置103输入的图像，判别试料表面112的状态。
在此，说明自动分析系统的处理的概要。
首先，放入有试料111的容器110相对于图像取得装置103被设置在预定的位置。在图1所示的例子中，在图像取得装置103的正下方配置容器110。
照明装置102以使试料表面112的明度变得适合的方式，调整光的角度以及强度。图像取得装置103取得试料表面112的图像，将取得的图像输出到图像处理装置101。此时，试料取得装置104移动到不妨碍由图像取得装置103取得图像的位置。
图像处理装置101在被输入图像的情况下，根据检测对象物115相对图像内的检测范围125的位置以及大小，判别试料表面112的状态。图像处理装置101将判别结果输出到试料取得装置104。另外，图像处理装置101根据需要，将判别结果等数据输出到输出装置107。
在本实施例中，图像处理装置101记载为独立的计算机，但也可以在免疫分析装置等自动分析装置中作为功能实现。
试料取得装置104在从图像处理装置101受理到判别结果的情况下，根据判别结果，决定控制内容。具体而言，试料取得装置104判定是否从容器110取得试料111。在判定为取得试料111的情况下，试料取得装置104使分注探针105朝向试料111下降。试料取得装置104在分注探针105与试料表面112相接的情况下，通过液面检测功能检测液面，停止分注探针105的下降。试料取得装置104进行在分注探针105的前端稍微浸渍到试料表面112的状态下吸引试料111等的动作。通过以上的处理，从容器110取得试料111。
试料分析装置106是分析由试料取得装置104取得的试料111的装置，例如，是免疫分析装置等。试料分析装置106将分析结果输出到输出装置107。
输出装置107是对用户提示分析结果的装置，例如，是显示器、打印机、以及通信装置等。另外，输出装置107对用户提示从图像处理装置101输出的信息。
在专利文献1等以往技术中，装置在判定有无检测对象物的情况下，根据霍夫变换等，计算容器的边界或者开口部的中心坐标，将容器的开口部的中心附近设定为检测范围。一般，计算容器的开口部的中心坐标的处理成为处理成本以及处理时间增大的主要原因。因此，为了削减处理成本以及处理时间，期望无需计算容器的开口部的中心坐标，而判定检测对象物的位置以及大小的手法。
本实施例的图像处理装置101根据不依赖于图像内的容器110的位置以及大小的检测范围125与检测对象物115之间的相对的位置关系、以及检测范围125的大小与检测对象物115的大小之间的相对的大小的关系，判别试料表面112的状态。
在本实施例中，作为用于判别试料表面112的状态的信息，设定有检测范围125以及不对分析造成影响的检测对象物115的大小的阈值。
检测对象物115的大小是判定是否对分析造成影响的指标之一，所以还需要考虑检测对象物115的大小。例如，考虑将不对分析造成影响的检测对象物115的最大半径设定为阈值。
此外，也可以由用户使用GUI设定阈值。图2是示出用于在实施例1的图像处理装置101中设定阈值的GUI的一个例子的图。
GUI200包括阈值输入栏201以及决定按钮202。阈值输入栏201是输入设定为阈值的值的栏。决定按钮202是用于对图像处理装置101设定输入到阈值输入栏201的值的操作按钮。
用户在阈值输入栏201中设定表示气泡的最大半径的值等，按下决定按钮202。由此，对图像处理装置101设定阈值。
此外，图2所示的GUI200是一个例子，也可以设置设定检测范围125以及图像取得范围120的输入栏。
另外，也可以代替直接输入数值，而显示处理时间以及处理负荷等的选项。在该情况下，对图像处理装置101设定与选项对应的阈值。
图3A以及图3B是说明相对实施例1的图像取得装置103的容器110的设置状态与检测范围125之间的关系的图。
图像取得范围120表示输出到图像处理装置101的图像的范围。在本实施例中，考虑容器110的设置位置的偏移等，图像取得范围120被设定成比容器110大。在图像取得范围120的图像中，包括容器110、试料表面112、以及检测对象物115。相对于图像取得范围120设定检测范围125。此外，图像取得范围120也可以并非包含容器110的范围，而可任意地设定。
为了检测包含检测范围125的大的检测对象物115，图像取得范围120最好设定为大于检测对象物115的分布范围。在本实施例中，关于图像取得范围120，设定将图像的中心作为原点的(E×E)像素的区域。此外，关于表示纵以及横的尺寸的E，设定大于容器110的直径的值。
检测范围125是将分注探针105的前端与试料表面112相接的点作为原点的范围，是不依赖于容器110的中心坐标的范围。此外，检测范围125被设定为半径R像素的圆形形状的范围。
容器110相对图像取得装置103的设置角度以及设置位置有时变动。为了针对这样的变动吸引适合于分析的量的试料111，判定在与试料表面112相接的分注探针105的前端的周边是否存在检测对象物115是重要的。因此，在本实施例中，以检测范围125为基准，判定有无检测对象物115等。
在本实施例的判别方法中，未将容器110的开口部的中心作为基准，所以无需计算容器110的开口部的中心。因此，能够比以往技术降低处理时间以及处理负荷。
图3A以及图3B示出二个检测范围125、126。检测范围125是本发明采用的检测范围，是将分注探针105的前端与试料表面112相接的点作为原点的半径R像素的范围。检测范围126是在以往技术中采用的检测范围，是将容器110的开口部的中心作为原点的半径R像素的范围。
图3A示出在容器110相对图像取得装置103的设置角度产生变动的状态。此时，在容器110的开口部的中心与图像取得范围120的中心之间产生偏移。因此，在与检测范围125以及检测范围126之间也如图3A所示产生偏移。
如图3A所示，在检测范围125中包括检测对象物115，但在检测范围126中不包括检测对象物115。在取得试料111时分注探针105的前端相接的是检测范围125的内侧。因此，最好在图3A所示的状态的情况下，判别为存在对分析有影响的检测对象物115的状态。
在执行了基于检测范围125的判别处理的情况下，判别为存在检测对象物115的状态。另一方面，在执行了基于检测范围126的判别处理的情况下，判别为不存在检测对象物115的状态。因此，在基于检测范围125的判别处理中，能够高精度地检测检测对象物115，但在基于检测范围126的判别处理中，由于如上述的偏移，检测精度不提高。
图3B示出在容器110相对图像取得装置103的设置位置产生变动的状态。此时，在容器110的开口部的中心与图像取得范围120的中心之间产生偏移。因此，在与检测范围125以及检测范围126之间如图6B所示也产生偏移。
如图3B所示，在检测范围125中不包括检测对象物115，但在检测范围126中包括检测对象物115。在取得试料111时分注探针105的前端相接的是检测范围125的内侧。因此，最好在图3B所示的状态的情况下，判别为不存在对分析有影响的检测对象物115的状态。
在执行了基于检测范围125的判别处理的情况下，判别为不存在检测对象物115的状态。另一方面，在执行了基于检测范围126的判别处理的情况下，判别为存在检测对象物115的状态。因此，在基于检测范围125的判别处理中，能够避免检测对象物115的过剩的检测，但在基于检测范围126的判别处理中发生检测对象物115的过剩的检测。
如以上叙述，在本实施例中，通过使用将分注探针105的前端与试料表面112相接的点作为中心的检测范围125，即使在发生容器110的倾斜以及设置位置的变更的情况下，也能够以高的精度判别是否为有检测对象物115的影响的状态。另外，在本实施例中，无需计算容器110的开口部的中心坐标，所以能够比以往技术削减处理成本以及处理时间。
接下来，详细说明实施例1所涉及的图像处理装置101。图4是示出实施例1的图像处理装置101的硬件结构以及软件结构的一个例子的图。
图像处理装置101具有运算装置401、存储装置402、输入装置403、以及输出装置404。
运算装置401是执行储存于存储装置402的程序的装置，例如，是CPU以及FPGA等。运算装置401通过依照程序执行处理，作为实现预定的功能的功能部(模块)动作。在以下的说明中，在将功能部作为主语说明处理的情况下，表示运算装置401执行实现该功能部的程序。
此外，关于图像处理装置101具有的各功能部，既可以将多个功能部集中到一个功能部，也可以将一个功能部拆分为多个功能部。
存储装置402是储存运算装置401执行的程序以及该程序使用的信息的装置，例如是存储器、HDD(Hard Disk Drive，硬盘驱动器)、SSD(Solid State Drive，固态硬盘)、RAM(Random Access Memory，随机存取存储器)、以及ROM(Read Only Memory，只读存储器)等。此外，存储装置402包括程序临时地使用的工作区。关于储存于存储装置402的程序以及信息将后述。
输入装置403是用于向图像处理装置101输入数据的装置，例如是网络接口或者键盘、鼠标、以及触摸面板等。在本实施例中，经由输入装置403输入图像取得装置103取得的图像。
此外，输入的图像既可以是BMP、PNG、以及JPEG等静止图像，也可以是从MPEG、H.264等动画以一定的间隔抽出的帧图像。
输出装置404是用于图像处理装置101输出数据的装置，例如是网络接口、或者显示器或打印机。在本实施例中，经由输出装置404，将判别结果输出到试料取得装置104。
在此，说明储存于存储装置402的程序以及信息。
存储装置402储存实现图像输入部411、特征量计算部412、试料状态判别部413、以及存储部414的程序。
图像输入部411受理经由输入装置403输入的图像，输出到特征量计算部412。
特征量计算部412根据图像计算图像特征量，将图像特征量输出到试料状态判别部413。
试料状态判别部413根据图像特征量，解析检测对象物相对图像内的检测范围的位置以及大小，根据解析结果，判别试料表面112的状态。
存储部414储存用于判别试料表面112的状态的判别模型的信息。具体而言，存储部414储存特征量计算部412以及试料状态判别部413使用的系数。
接下来，详细说明特征量计算部412以及试料状态判别部413的动作。
首先，说明特征量计算部412的动作。特征量计算部412从存储部414读出系数，使用系数以及图像计算图像特征量。特征量计算部412使用的系数预先根据机器学习等导出，储存到存储部414。关于系数的导出方法将后述。
在本实施例中，作为图像特征量的计算方法的一个例子，说明使用卷积神经网络(CNN)的计算方法。CNN由卷积(Convolution)处理、池化(Pooling)处理、以及激活(Activation)处理这三种处理构成。
图5是示出实施例1的特征量计算部412执行的卷积处理的概念的图。
在卷积处理中，特征量计算部412使用式(1)来计算特征量。此外，如箭头所示从图像的左上向右下的方向执行式(1)的运算。
[式1]
Figure BDA0002327251340000111
在此，Ic表示输入数据，Wc表示乘法系数，Bc表示加法系数，Oc表示输出数据。另外，ch表示通道(channel)，y以及fy表示垂直方向位置，x以及fx表示水平方向位置，d表示特征量编号。
输入数据Ic是具有通道ch、垂直方向位置y、以及水平方向位置x的维度的数据。乘法系数Wc是具有特征量编号d、通道ch、垂直方向位置fy、水平方向位置fx的维度的系数。加法系数Bc是具有特征量编号d的维度的系数。输出数据303是具有特征量编号d、垂直方向位置y、以及水平方向位置x的维度的数据。
乘法系数Wc以及加法系数Bc是用于计算图像特征量的系数，在存储部414中，储存乘法系数Wc以及加法系数Bc。
图6是示出实施例1的特征量计算部412执行的池化处理的概念的图。
在池化处理中，特征量计算部412针对输出数据Oc从左上朝向右下以一定的步长抽出部分区域，根据部分区域计算代表值，输出输出数据Op。作为代表值，例如，使用最大值或者均值。
在激活处理中，特征量计算部412针对输出数据Op，执行使用式(2)所示的tanh函数、或者式(3)所示的ReLU函数等非线性函数的运算处理。在此，对x输入输出数据Op。
[式2]
Figure BDA0002327251340000121
[式3]
ReLU(x)＝max(0，x)...(3)
在CNN中，通过反复执行卷积处理、池化处理、以及激活处理，计算图像特征量。特征量计算部412在达到规定次数的情况下，将通过最终的激活处理计算出的值作为图像特征量输出。
接下来，说明试料状态判别部413的动作。试料状态判别部413使用由特征量计算部412计算出的图像特征量、和储存于存储部414的系数，解析检测对象物115相对图像内的检测范围125的位置以及大小，根据解析结果判别试料表面112的状态。具体而言，试料状态判别部413对输入的图像属于预先设定的状态的哪一个进行分类。试料状态判别部413使用的系数预先根据机器学习等导出，储存到存储部414。关于系数的导出方法将后述。
首先，说明试料表面112的状态的分类。图7A、图7B、以及图7C是示出实施例1的试料表面112的状态的分类的一个例子的图。
作为状态，大致分为在检测范围125中存在对分析造成影响的检测对象物115的状态、和在检测范围125中不存在对分析造成影响的检测对象物115的状态。关于根据装置、试料、分析性能、分析目的等而属于上述二个状态的图像，存在各种图案。在本实施例中，考虑状态的识别精度，根据检测对象物115相对图像内的检测范围125的位置以及大小的关系，将试料表面112的状态分类为三个。对各个状态赋予标签0、标签1、以及标签2。
图7A示出标签0的图像的一个例子。在该图像中，在检测范围125中不存在检测对象物115。
图7B示出标签1的图像的一个例子。在该图像中，在检测范围125中存在半径d1小于阈值D的检测对象物115。即，是在检测范围125中存在不对分析造成影响的大小的检测对象物115的状态。
图7C示出标签2的图像的一个例子。在左侧的图像中，在检测范围125中存在半径d2是阈值D以上的检测对象物115。在右侧的图像中，半径d3是阈值D以上的检测对象物115以覆盖检测范围125的方式存在。即，是在检测范围125中存在对分析造成影响的大小的检测对象物115的状态。
在本实施例中，标签0以及标签1的试料表面112的状态包含于在检测范围125中不存在对分析造成影响的检测对象物115的状态，标签2的试料表面112包含于在检测范围125中存在对分析造成影响的检测对象物115的状态。这样，根据检测对象物115相对图像内的检测范围125的位置以及大小，决定分类的试料表面112的状态。在本实施例中，对学习用图像，赋予与试料表面112的状态对应的标签(监督信号)。
在本实施例中，在被分类为标签0或者标签1的情况下，试料取得装置104被控制为取得试料111，在图像被分类为标签2的情况下，试料取得装置104被控制为以不取得试料。
接下来，作为试料表面112的状态的判别方法的一个例子，说明使用逻辑回归(Logistic Regression)的判别方法。式(4)是在逻辑回归中使用的式子。另外，式(5)表示式(4)的softmax函数的计算方法。
[式4]
Figure BDA0002327251340000141
[式5]
Figure BDA0002327251340000142
在此，P(c)表示输出值，F表示图像特征量，Wr表示乘法系数，Br表示加法系数。另外，y表示垂直方向位置，x表示水平方向位置，d表示特征量编号，c表示输出单元编号。在本实施例中，输出单元编号与标签0、标签1、以及标签2对应。P(c)是表示与输出单元对应的标签的似然度的值。
图像特征量F是具有特征量编号d、垂直方向位置y、以及水平方向位置x的维度的数据。乘法系数Wr是具有输出单元编号c、特征量编号d、垂直方向位置y、以及水平方向位置x的维度的系数。加法系数Br是具有输出单元编号c的维度的系数。另外，输出值P(c)是具有输出单元编号c的维度的值。
乘法系数Wr以及加法系数Br是用于计算判别结果的系数，在存储部414中，储存乘法系数Wr以及加法系数Br。
试料状态判别部413将三个标签的似然度的组P(c)作为输出信号P输出。此外，各标签的似然度是根据式(4)计算的值。
试料状态判别部413根据输出信号P，确定试料表面112的状态与哪个标签的状态一致。即，解析检测对象物115相对检测范围125的位置以及大小。进而，试料状态判别部413根据确定的标签的状态，输出判别结果。例如，试料状态判别部413将标签作为判别结果输出。另外，试料状态判别部413也可以根据标签判定是否为试料表面112能够取得试料111的状态。
接下来，说明储存于存储部414的系数的导出方法。作为一个例子，说明基于作为机器学习的一种的有监督学习的系数的导出方法。
图8是示出实施例1的有监督机器学习的一个例子的图。
在有监督学习中，具有学习部的装置预先受理被赋予监督信号的学习用数据(学习用图像)的输入，使特征量计算部412以及试料状态判别部413执行处理，进行判别器等的学习以使输出信号与和监督信号(标签)对应的目标信号一致。在本实施例中，根据有监督学习，式(1)以及式(4)各自的系数被最佳化。由此，能够针对输入的图像设定用于得到精度高的判别结果的系数。此外，也可以具有学习部的装置包括与特征量计算部412以及试料状态判别部413等同的结构。
此外，为了分类为如图7A、图7B、以及图7C所示的三个状态，需要预先根据检测对象物115相对检测范围125的位置以及大小，对学习用图像赋予监督信号(标签)。
此外，学习处理开始前的系数的初始值既可以使用随机数等任意地设定，也可以根据上次的学习处理设定。
具体而言，学习部依照如以下的处理，导出储存于存储部414的系数。
(步骤S1)学习部受理带监督信号的学习用图像的输入，并输入到特征量计算部412以及试料状态判别部413，从而取得输出信号。学习部定义式(6)所示的输出信号以及目标信号的目标函数。式(6)表示负的对数似然度。
[式6]
Figure BDA0002327251340000161
在此，T(c)表示目标信号的要素。本实施例的目标信号T是表示三个标签的目标值的T(c)的排列。关于目标信号T的各要素的值，仅与标签对应的要素是“1.0”，其他要素全部是“0.0”。在图8中，由于被输入被赋予标签0的学习用图像，所以关于目标信号T，仅与标签0对应的T(c)成为“1.0”，与其他标签对应的T(c)全部成为“0.0”。
此外，也可以学习部保持与特征量计算部412以及试料状态判别部413相同的功能。
(步骤S2)学习部使用梯度下降法，求出目标函数的值成为极小值的系数，从而更新系数Wc、Bc、Wr、Br。具体而言，依照式(7)，更新系数。
[式7]
Figure BDA0002327251340000162
在此，wi表示与CNN的系数Wc及Bc、以及逻辑回归的系数Wr及Br中的任一个对应的系数。i表示更新次数。另外，η表示作为决定更新的幅度的参数的学习率。式(7)的第2项是系数wi的偏微分。
学习部通过反复执行基于式(7)的运算处理，导出使目标函数成为极小的系数Wc、Bc、Wr、Br。在本实施例中，将在以上的处理中导出的系数预先储存到存储部414。
依照此前说明的原理、特征、以及处理，说明实施例1的图像处理装置101在试料111的分析时执行的处理。图9是示出实施例1的图像处理装置101执行的试料111的表面状态的判别处理的一个例子的图。
图像处理装置101的图像输入部411受理来自图像取得装置103的图像的输入(步骤S901)。
图像处理装置101的特征量计算部412从存储部414读出系数Wc、Bc，使用图像以及系数来计算图像特征量(步骤S902)。
图像处理装置101的试料状态判别部413从存储部414读出系数Wr、Br，使用图像特征量以及系数来输出输出信号(步骤S903)。进而，试料状态判别部413根据输出信号，判别试料表面112的状态(步骤S904)。
图像处理装置101的试料状态判别部413输出判别结果(步骤S905)。试料状态判别部413既可以原样地输出判别结果，也可以根据输出目的地变换判别结果的数据形式以及内容。例如，在输出目的地是显示器的情况下，试料状态判别部413变换为字符串以及图像等数据。
此外，在本实施例中，在试料表面112的状态是标签2的状态的情况下，控制为不进行试料111的取得，但不限定于此。例如，也可以试料取得装置104具有去除检测对象物115的装置或者功能，在被输入表示标签2的判别结果的情况下，使用该装置或者功能，去除检测对象物115，之后，取得试料111。此外，作为去除检测对象物115的装置，有吐出空气的喷嘴等去除装置以及照射超声波的去除装置等。
此外，作为图像特征量的计算方法，说明了基于CNN的图像特征量的计算方法，但也可以是利用HOG(Histograms of Oriented Gradients，方向梯度直方图)以及霍夫变换的圆探测等其他特征量的计算方法。
此外，作为试料表面112的状态的判别方法，使用逻辑回归说明了判别方法，但也可以是使用SVM(Support Vector Machine，支持向量机)以及线性回归等的判别方法。
此外，在根据机器学习导出系数的情况下，赋予了与检测对象物115相对图像内的检测范围125的位置以及大小对应的标签，但不限定于此。例如，也可以准备对检测对象物115相对图像内的检测范围125的位置进行分类的标签、和对检测对象物115的大小进行分类的标签。在该情况下，试料状态判别部413具有判别种类不同的标签的判别器。另外，通过关于各标签执行机器学习，计算在存储部414中储存的系数。试料状态判别部413能够组合二个判别器的判别结果得到最终的判别结果。
另外，也可以针对检测对象物115相对图像内的检测范围125的位置或者大小定义多个阈值，增加标签的种类或者数量。另外，也可以通过将标签0以及标签1等处置为同一标签，削减标签的数量。
此外，在本实施例中，在试料取得装置104的控制中使用了图像处理装置101的判别结果，但不限定于此。能够将图像处理装置101的判别结果用作决定与试料的分析有关的各种控制的内容的信息。另外，图像处理装置101还能够应用于如图1所示的自动分析系统以外的系统。
如以上说明，根据实施例1，图像处理装置101能够根据检测对象物115相对图像内的检测范围125的位置以及大小，高精度地判别试料表面112的状态。由此，能够从容器110高效地并且正确地取得要分析的试料111，所以不会降低检查效率而能够正确地分析试料111。
实施例2
在实施例2中，图像处理装置101校正从图像取得装置103输入的图像，使用校正后的图像执行与实施例1同样的处理。以下，以与实施例1的差异为中心，说明实施例2。
实施例2的系统的结构与实施例1的系统的结构相同。实施例2的图像处理装置101的硬件结构与实施例1的图像处理装置101的硬件结构相同。在实施例2中，图像处理装置101的软件结构有一部分不同。图10是示出实施例2的图像处理装置101的软件结构的一个例子的图。
在实施例2中，在存储装置402中储存实现图像校正部1001的程序的点与实施例1不同。另外，在实施例2中，在存储部414中储存图像校正部1001使用的参数的点与实施例1不同。
此外，图像输入部411、特征量计算部412、以及试料状态判别部413与实施例1相同。
图像校正部1001在从图像输入部411受理到图像的情况下，从存储部414读出参数，执行图像校正处理。作为图像校正处理，有坐标变换以及像素值的标准化等。
图11是示出实施例2的图像校正处理的一个例子的图。
在图11中，示出针对图7C的左边的图像进行极坐标变换的情况的结果。
检测范围125是圆形，所以在正交坐标中，为了判定检测对象物115是否包含于检测范围125，需要根据垂直方向以及水平方向各自的位置判定。另一方面，在执行了极坐标变换的情况下，检测范围125用矩形表现，能够仅根据垂直方向的位置，判定检测对象物115是否包含于检测范围125。
在正交坐标中的像素位置(x，y)与极坐标中的像素位置(t，r)之间，式(8)以及式(9)的关系成立。
[式8]
y＝r×rStep×cos(t×tStep)+Cy...(8)
[式9]
x＝r×rStep×sin(t×tStep)+Cx...(9)
在此，rStep表示矢径方向的步长，tStep表示偏角方向的步长。另外，(Cy，Cx)是成为极坐标变换的原点的图像内的坐标，在此设为检测范围125的中心坐标。
接下来，说明实施例2的储存于存储部414的信息。在实施例2的存储部414中，除了系数以外，还储存在极坐标变换中使用的矢径方向的步长rStep以及偏角方向的步长tStep等在图像校正处理中使用的参数。
图12是示出实施例2的图像处理装置101执行的试料111的表面状态的判别处理的一个例子的图。
在实施例2中，在步骤S901的处理之后，图像处理装置101的图像校正部1001从存储部414读出参数，执行图像校正处理，计算校正图像(步骤S1201)。图像校正部1001向特征量计算部412输出校正图像。
在步骤S902中，特征量计算部412针对校正图像执行在实施例1中说明的处理的点与实施例1不同。步骤S901、步骤S903至步骤S905的处理是与实施例1相同的处理。
此外，作为图像校正处理的一个例子，说明了极坐标变换，但也可以是极坐标变换以外的坐标变换、对亮度以及色相等的均值以及方差进行标准化的处理、对比度强调处理、以及边缘强调处理、或者将它们组合的处理。
根据实施例2，通过执行图像校正处理，能够实现图像处理的精度的提高以及计算量的降低等。例如，能够更正确并且高效地掌握检测对象物115相对图像内的检测范围125的位置。
实施例3
在实施例3中，将在分析时取得的图像用作新的学习用图像，周期性或者逐次地更新系数的点与实施例1不同。以下，以与实施例1的差异为中心，说明实施例3。
实施例3的系统的结构与实施例1的系统的结构相同。实施例3的图像处理装置101的硬件结构与实施例1的图像处理装置101的硬件结构相同。在实施例3中，图像处理装置101的软件结构有一部分不同。图13是示出实施例3的图像处理装置101的软件结构的一个例子的图。图14是示出由实施例3的图像处理装置101显示的GUI的一个例子的图。
在实施例3中，在存储装置402中储存实现用户操作输入部1301、学习部1302、以及图像显示部1303的程序的点与实施例1不同。另外，在实施例3中，在存储部414中储存在分析时取得的图像等的点与实施例1不同。
在实施例3中，图像输入部411将输入的图像储存到存储部414。另外，试料状态判别部413将输出信号储存到存储部414。在存储部414中，将进行试料状态的判别后的图像以及与图像对应的输出信号对应起来管理。
图像显示部1303生成用于对用户提示由学习部1302选择出的图像的显示信息，经由输出装置404输出显示信息。根据该输出信息，显示如图14所示的GUI1400。
GUI1400包括图像显示栏1401、监督信号选择栏1402、以及决定按钮1403。此外，也可以在GUI1400中包括上述以外的显示栏。例如，也可以包括提示辅助的信息的显示栏。在图14中，作为辅助的信息，提示表示检测范围125的区域。
图像显示栏1401是显示由学习部1302选择出的图像的栏。监督信号选择栏1402是选择对图像赋予的监督信号的栏。最上面的单选按钮是用于指定与标签0对应的监督信号的按钮。中间的单选按钮是用于指定与标签1对应的监督信号的按钮。最下面的单选按钮是用于指定与标签2对应的监督信号的按钮。决定按钮1403是用于输出包括输入到监督信号选择栏1402的值的操作信息的操作按钮。
以上是GUI1400的说明。返回到图13的说明。
用户操作输入部1301受理通过操作GUI1400而输出的操作信息，生成与在GUI1400中提示的图像对应的监督信号。例如，在监督信号选择栏1402的最下面的单选按钮被操作的情况下，用户操作输入部1301生成标签2的监督信号。
学习部1302从在分析时储存于存储部414的图像中选择对用户提示的图像，将选择出的图像输出到图像显示部1303。另外，学习部1302将选择出的图像以及从用户操作输入部1301输入的监督信号对应起来储存到存储部414。进而，学习部1302通过执行使用带监督信号的图像的机器学习，更新储存于存储部414的系数(判别模型)。
实施例3的试料表面112的状态的判别处理的流程与实施例1的处理的流程相同。但是，步骤S901以及步骤S904的处理有一部分不同。在步骤S901中，图像输入部411将图像储存到存储部414。在步骤S904中，试料状态判别部413将输出信号储存到存储部414。
图15是说明实施例3的学习部1302执行的处理的一个例子的流程图。
学习部1302在分析时取得新的图像，或者周期性地从储存于存储部414的图像中选择对用户提示的图像(步骤S1501)。学习部1302将选择出的图像输出到图像显示部1303。
作为图像的选择方法，例如，有选择由试料状态判别部413计算出的输出信号的最大似然度以及最小似然度的差最小的图像的方法。
在此，似然度以通过softmax函数使全部似然度的总和成为1.0的方式标准化。因此，在为难以分类的图像的情况下，最大似然度以及最小似然度的差变小。因此，通过对用户提示这样的图像，作为新的学习用图像输入，能够高效地提高判别精度。
接下来，学习部1302从用户操作输入部1301受理监督信号(步骤S1502)。学习部1302对选择出的图像赋予监督信号，作为新的学习用图像储存到存储部414。这样，图像处理装置101通过反复执行图像的提示以及操作信息的受理，能够收集新的学习用图像。
接下来，学习部1302判定新积蓄的学习用图像的数量是否大于阈值(步骤S1503)。步骤S1503的处理是用于检测新执行机器学习的契机的处理。因此，也可以使用其他判定方法。例如，在从用户受理到执行指示的情况、或者经过一定时间的情况下，也可以执行机器学习。
在判定为新积蓄的学习用图像的数量是阈值以下的情况下，学习部1302返回到步骤S1501，执行同样的处理。
在判定为新积蓄的学习用图像的数量大于阈值的情况下，学习部1302执行使用新的学习用图像的机器学习(步骤S1504)。此外，用与在实施例1中说明的处理同样的方法进行机器学习。作为机器学习的执行结果，计算新的系数。
接下来，学习部1302判定是否更新系数(步骤S1505)。具体而言，学习部1302依照任意的评价方法，评价计算出的系数，判定是否将该系数储存到存储部414。
例如，学习部1302与其他结构协作，计算使用新的系数的情况下的带正确解的图像的判别精度。在判别精度大于阈值的情况下，学习部1302判定为更新系数。
在判定为不更新系数的情况下，学习部1302进入到步骤S1507。
在判定为更新系数的情况下，学习部1302在存储部414中储存新的系数(步骤S1506)。
例如，学习部1302将新计算出的系数改写为储存于存储部414的系数。另外，学习部1302也可以将更新前的系数以及新计算出的系数储存到存储部414。在该情况下，能够根据用户操作选择使用的系数即可。
在步骤S1505的判别结果为“否”的情况、或者步骤S1506的处理之后，学习部1302判定是否结束系数的更新(步骤S1507)。
例如，在判别精度大于阈值的情况、或者从用户受理到结束指示的情况下，学习部1302判定为结束系数的更新。
在判定为不结束系数的更新的情况下，学习部1302返回到步骤S1501，执行同样的处理。
在判定为结束系数的更新的情况下，学习部1302结束处理。
特征量计算部412以及试料状态判别部413在系数被更新的情况下，也可以立即读出更新后的系数，在实际处理的情况下，还可以读出更新后的系数。
此外，学习部1302将在分析时取得的图像作为新的学习用图像，但也可以预先将成为基本的带监督信号的学习用图像储存到存储部414。
此外，学习部1302根据使用任意的评价方法求出的评价结果，自动地判定是否更新系数，但不限定于此。例如，学习部1302也可以对用户提示评价结果，使用户判定是否更新系数。
此外，关于对新的学习用图像赋予的监督信号，用户手动地选择，但不限定于此。例如，也可以学习部1302等将与在包含于输出信号的似然度中最大的似然度的输出单元对应的标签决定为临时的监督信号，对用户提示临时的监督信号以及图像，用户修正临时的监督信号。此时，还考虑在从图像的提示起一定时间无修正的情况下，学习部1302用作正式的监督信号的方法。
根据实施例3，通过更新系数，能够使用与装置以及环境对应的系数来判别试料表面112的状态，所以能够提高判别精度。
本发明还能够通过实现实施方式的功能的软件的程序代码实现。在该情况下，对系统或者装置提供记录有程序代码的存储介质，该系统或者装置的计算机(或者CPU以及MPU)读出储存于存储介质的程序代码。在该情况下，通过从存储介质读出的程序代码自身实现上述实施方式的功能，该程序代码自身、以及存储有该程序代码的存储介质构成本发明。作为用于供给这样的程序代码的存储介质，例如，使用软盘、CD-ROM、DVD-ROM、硬盘、光盘、光磁盘、CD-R、磁带、非易失性的存储卡、ROM等。
另外，也可以根据程序代码的指示，由在计算机上工作的OS(操作系统)等进行实际的处理的一部分或者全部，通过该处理实现上述实施方式的功能。进而，也可以在从存储介质读出的程序代码写入到计算机上的存储器之后，根据该程序代码的指示，由计算机的CPU等进行实际的处理的一部分或者全部，通过该处理实现上述实施方式的功能。
进而，也可以通过经由网络配送实现实施方式的功能的软件的程序代码，将其储存到系统或者装置的硬盘、存储器等存储单元或者CD-RW、CD-R等存储介质，在使用时该系统或者装置的计算机(或者CPU、MPU)读出并执行在该存储单元、该存储介质中储存的程序代码。
最后，在此叙述的过程以及技术本质上与任何特定的装置无关，而能够通过构件的任意的相应的组合实现。进而，通用目的的各种类型的设备能够依照在此记述的方法使用。为了执行在此叙述的方法的步骤，还有构筑专用的装置是有益的情况。另外，能够通过实施方式公开的多个构成要素的适宜的组合，形成各种发明。例如，也可以从实施方式所示的全部构成要素删除几个构成要素。进而，也可以适宜地组合不同的实施方式的构成要素。与具体例关联地记述了本发明，但它们在所有观点中并非用于限定而仅用于说明。本领域技术人员可知为了实施本发明有相应的硬件、软件、以及固件的多种组合。例如，记述的软件能够用汇编语言、C/C++、perl、Shell、PHP、Java等宽范围的程序或者脚本语言实现。
进而，在上述实施方式中，控制线、信息线示出在说明上认为必要的部分，未必示出在产品上必要的所有控制线、信息线。也可以所有结构相互连接。
而且，对于本领域技术人员，根据在此公开的本发明的说明书以及实施方式的研究，本发明的其他实现会变得明确。记述的实施方式的各种方案和/或构件还能够以单独或者任意的组合使用。

Claims (15)

1.一种判别收容于容器的分析对象的试料的状态的装置，其特征在于，
所述装置具备运算装置以及与所述运算装置连接的存储装置，
所述运算装置取得所述试料的图像，使用所述试料的图像来解析检测对象物相对在所述图像中设定的检测范围的位置以及大小，根据所述解析的结果来判别所述试料的状态。
2.根据权利要求1所述的装置，其特征在于，
所述运算装置取得所述容器的开口部侧的所述试料的表面的图像，计算评价所述检测对象物相对所述检测范围的位置以及大小的值，根据计算出的所述值来判别所述试料的表面的状态。
3.根据权利要求2所述的装置，其特征在于，
所述试料的表面的状态根据所述检测对象物相对所述检测范围的位置以及大小被分类为多个识别状态，
所述存储装置储存用于判别所述试料的表面的状态的判别模型，该判别模型是通过使用被赋予表示所述识别状态的信号的学习用图像的机器学习生成的模型。
4.根据权利要求3所述的装置，其特征在于，
所述运算装置将判别所述试料的表面的状态后的处理图像和所述判别的结果对应起来储存到所述存储装置，针对所述处理图像赋予表示所述识别状态中的哪一个的信号，通过执行使用被赋予所述信号的处理图像的机器学习来更新所述判别模型。
5.根据权利要求4所述的装置，其特征在于，
所述运算装置生成用于显示所述处理图像以及提示与所述处理图像对应起来的所述判别的结果的图像的显示信息，生成与根据所述显示信息指定的所述识别状态对应的信号，对所述处理图像赋予生成的所述信号。
6.根据权利要求3所述的装置，其特征在于，
所述识别状态包含于在所述检测范围中不存在对分析造成影响的大小的所述检测对象物的状态、以及在所述检测范围中存在对分析造成影响的大小的所述检测对象物的状态中的任意状态。
7.根据权利要求2所述的装置，其特征在于，
所述运算装置针对所述试料的表面的图像执行任意的图像校正处理，使用执行所述图像校正处理后的试料的表面的图像来解析所述检测对象物相对所述检测范围的位置以及大小。
8.根据权利要求2所述的装置，其特征在于，
所述装置与具有选取所述试料的取得机构的取得装置连接，
所述检测范围是在所述取得装置选取所述试料时以所述取得机构与所述试料的表面相接的位置为中心的范围。
9.一种试料的状态的判别方法，是判别收容于容器的分析对象的试料的状态的装置执行的试料的状态的判别方法，其特征在于，
所述装置具备运算装置以及与所述运算装置连接的存储装置，
所述试料的判别方法包括：
第1步骤，所述运算装置取得所述试料的图像；
第2步骤，所述运算装置使用所述试料的图像来解析检测对象物相对在所述图像中设定的检测范围的位置及大小；以及
第3步骤，所述运算装置根据所述解析的结果来判别所述试料的状态。
10.根据权利要求9所述的试料的状态的判别方法，其特征在于，
所述试料的表面的状态根据所述检测对象物相对所述检测范围的位置以及大小被分类为多个识别状态，
在所述第1步骤中，所述运算装置取得所述容器的开口部侧的所述试料的表面的图像，
在所述第2步骤中，所述运算装置计算评价所述检测对象物相对所述检测范围的位置以及大小的值，
在所述第3步骤中，所述运算装置根据计算出的所述值，判别所述试料的表面的状态与哪一个所述识别状态相应。
11.根据权利要求10所述的试料的状态的判别方法，其特征在于，
所述存储装置储存用于判别所述试料的表面的状态的判别模型，该判别模型是通过使用被赋予表示所述识别状态的信号的学习用图像的机器学习生成的模型。
12.根据权利要求11所述的试料的状态的判别方法，其特征在于，
所述运算装置将判别所述试料的表面的状态后的处理图像和所述判别的结果对应起来储存到所述存储装置，生成用于显示所述处理图像以及提示与所述处理图像对应起来的所述判别的结果的图像的显示信息，生成与根据所述显示信息指定的所述识别状态对应的信号，通过执行使用被赋予生成的所述信号的处理图像的机器学习来更新所述判别模型。
13.一种分析试料的分析系统，其特征在于，
所述分析系统具备：
图像取得装置，取得收容于容器的所述试料的图像；
图像处理装置，通过解析所述图像来判别收容于所述容器的试料的状态；
取得装置，从所述容器取得所述试料；以及
分析装置，分析所述试料，
所述图像取得装置取得所述试料的图像，输出到所述图像处理装置，
所述图像处理装置使用所述试料的图像来解析检测对象物相对在所述图像中设定的检测范围的位置以及大小，根据所述解析的结果来判别所述试料的状态，输出所述判别的结果作为用于控制所述取得装置的信息。
14.根据权利要求13所述的分析系统，其特征在于，
所述试料的表面的状态根据所述检测对象物相对所述检测范围的位置以及大小被分类为多个识别状态，
所述图像取得装置取得所述容器的开口部侧的所述试料的表面的图像，
所述图像处理装置计算评价所述检测对象物相对所述检测范围的位置以及大小的值，根据计算出的所述值来判别所述试料的表面的状态与哪一个所述识别状态相应。
15.根据权利要求14所述的分析系统，其特征在于，
所述图像处理装置保持用于判别所述试料的表面的状态的判别模型，该判别模型是通过使用被赋予表示所述识别状态的信号的学习用图像的机器学习生成的模型。
CN201880041315.7A 2017-07-31 2018-05-31 装置、试料的状态的判别方法以及分析系统 Active CN110892272B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017147629A JP7011904B2 (ja) 2017-07-31 2017-07-31 装置、試料における気泡の状態の判別方法、及び分析システム
JP2017-147629 2017-07-31
PCT/JP2018/020952 WO2019026406A1 (ja) 2017-07-31 2018-05-31 装置、試料の状態の判別方法、及び分析システム

Publications (2)

Publication Number Publication Date
CN110892272A true CN110892272A (zh) 2020-03-17
CN110892272B CN110892272B (zh) 2023-09-26

Family

ID=65233578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880041315.7A Active CN110892272B (zh) 2017-07-31 2018-05-31 装置、试料的状态的判别方法以及分析系统

Country Status (5)

Country Link
US (1) US11282184B2 (zh)
EP (1) EP3663767B1 (zh)
JP (1) JP7011904B2 (zh)
CN (1) CN110892272B (zh)
WO (1) WO2019026406A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7273542B2 (ja) * 2019-03-01 2023-05-15 富士レビオ株式会社 分析装置、検体前処理装置、訓練装置、プログラム、情報処理方法、学習モデルおよび学習モデルの生成方法
JP7320972B2 (ja) * 2019-04-08 2023-08-04 株式会社日立ハイテク 画像処理装置、自動分析システム及び画像処理方法
KR102255346B1 (ko) * 2019-12-17 2021-05-25 주식회사 포스코 인공신경망 학습을 통한 시료의 분석방법 및 분석장치
US11145397B1 (en) * 2020-01-31 2021-10-12 Express Scripts Strategie Development, Inc. System and method for augmented reality detection of loose pharmacy items
JP7353198B2 (ja) 2020-02-06 2023-09-29 株式会社日立ハイテク 計算機、識別器の学習方法、および分析システム
EP3979131A1 (en) 2020-10-02 2022-04-06 Roche Diagnostics GmbH A method for determining at least one state of at least one cavity of a transport interface configured for transporting sample tubes

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3422667A (en) * 1965-05-05 1969-01-21 Ceskoslovenska Akademie Ved Method of evaluating the concentration gradients in liquids
JPH0325351A (ja) * 1989-06-23 1991-02-04 Aloka Co Ltd 液状試料中の気泡の検出方法及びその装置
JPH0514889U (ja) * 1991-08-01 1993-02-26 東亜医用電子株式会社 試薬分取装置における泡検知装置
JPH11218539A (ja) * 1997-10-29 1999-08-10 Roche Diagnostics Gmbh 分析装置における液体移送装置、および液体移送ニードルの浸漬を検出するための方法
US20020155516A1 (en) * 2001-04-24 2002-10-24 Dade Behring Inc. Method for minimizing optical interference during antibiotic susceptibility readings in a microbiological analyzer
JP2007309888A (ja) * 2006-05-22 2007-11-29 Olympus Corp 分注装置
CN101859378A (zh) * 2010-06-11 2010-10-13 湖南大学 高速医药生产线上的药液质量视觉检测方法
CN102149812A (zh) * 2008-02-21 2011-08-10 埃凡特拉生物科技公司 基于液体流经阵列的分析
JP2013164358A (ja) * 2012-02-13 2013-08-22 Hitachi High-Technologies Corp 自動分析装置
CN103314293A (zh) * 2010-11-16 2013-09-18 霍夫曼-拉罗奇有限公司 用于检测器皿内的液体表面上的泡沫的方法和设备
CN105067641A (zh) * 2015-07-16 2015-11-18 东华大学 基于模板粒子群寻优的复杂体异物的微波检测系统
JP2016085572A (ja) * 2014-10-24 2016-05-19 朝一 村上 ビール評価用プログラム、コンピュータ及びビール評価方法
CN105793714A (zh) * 2014-01-27 2016-07-20 株式会社日立高新技术 自动分析装置
WO2016121449A1 (ja) * 2015-01-28 2016-08-04 株式会社 日立ハイテクノロジーズ 液面検査装置、自動分析装置および処理装置
CN106133527A (zh) * 2013-11-26 2016-11-16 株式会社日立高新技术 自动分析装置
CN106353519A (zh) * 2015-07-13 2017-01-25 西门子医学诊断产品有限责任公司 在自动分析装置中用于移液液体的方法
JPWO2015174226A1 (ja) * 2014-05-15 2017-04-20 株式会社日立ハイテクノロジーズ 自動分析装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4902419B2 (ja) * 2007-04-27 2012-03-21 ベックマン コールター， インコーポレイテッド 分析装置および分析方法
JP5879085B2 (ja) * 2011-10-13 2016-03-08 株式会社日立ハイテクノロジーズ 液面状態検出装置、自動分析装置および液面状態検出方法
WO2014099644A1 (en) 2012-12-20 2014-06-26 3M Innovative Properties Company Method of detecting gas-producing microbial colonies
JP6642906B2 (ja) 2016-02-18 2020-02-12 三菱重工業株式会社 駐車位置検出システム及びそれを用いた自動駐車システム

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3422667A (en) * 1965-05-05 1969-01-21 Ceskoslovenska Akademie Ved Method of evaluating the concentration gradients in liquids
GB1150501A (en) * 1965-05-05 1969-04-30 Ceskoslovenska Akademie Ved Improvements in or relating to Devices for Analyzing Liquids Flowing through Capillary Tubes
JPH0325351A (ja) * 1989-06-23 1991-02-04 Aloka Co Ltd 液状試料中の気泡の検出方法及びその装置
JPH0514889U (ja) * 1991-08-01 1993-02-26 東亜医用電子株式会社 試薬分取装置における泡検知装置
JPH11218539A (ja) * 1997-10-29 1999-08-10 Roche Diagnostics Gmbh 分析装置における液体移送装置、および液体移送ニードルの浸漬を検出するための方法
US20020155516A1 (en) * 2001-04-24 2002-10-24 Dade Behring Inc. Method for minimizing optical interference during antibiotic susceptibility readings in a microbiological analyzer
JP2007309888A (ja) * 2006-05-22 2007-11-29 Olympus Corp 分注装置
CN102149812A (zh) * 2008-02-21 2011-08-10 埃凡特拉生物科技公司 基于液体流经阵列的分析
CN101859378A (zh) * 2010-06-11 2010-10-13 湖南大学 高速医药生产线上的药液质量视觉检测方法
CN103314293A (zh) * 2010-11-16 2013-09-18 霍夫曼-拉罗奇有限公司 用于检测器皿内的液体表面上的泡沫的方法和设备
JP2013164358A (ja) * 2012-02-13 2013-08-22 Hitachi High-Technologies Corp 自動分析装置
CN106133527A (zh) * 2013-11-26 2016-11-16 株式会社日立高新技术 自动分析装置
CN105793714A (zh) * 2014-01-27 2016-07-20 株式会社日立高新技术 自动分析装置
JPWO2015174226A1 (ja) * 2014-05-15 2017-04-20 株式会社日立ハイテクノロジーズ 自動分析装置
JP2016085572A (ja) * 2014-10-24 2016-05-19 朝一 村上 ビール評価用プログラム、コンピュータ及びビール評価方法
WO2016121449A1 (ja) * 2015-01-28 2016-08-04 株式会社 日立ハイテクノロジーズ 液面検査装置、自動分析装置および処理装置
CN106353519A (zh) * 2015-07-13 2017-01-25 西门子医学诊断产品有限责任公司 在自动分析装置中用于移液液体的方法
CN105067641A (zh) * 2015-07-16 2015-11-18 东华大学 基于模板粒子群寻优的复杂体异物的微波检测系统

Also Published As

Publication number Publication date
WO2019026406A1 (ja) 2019-02-07
CN110892272B (zh) 2023-09-26
EP3663767A4 (en) 2021-04-28
US11282184B2 (en) 2022-03-22
EP3663767A1 (en) 2020-06-10
US20200242752A1 (en) 2020-07-30
EP3663767B1 (en) 2023-07-26
JP7011904B2 (ja) 2022-01-27
JP2019027927A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
CN110892272B (zh) 装置、试料的状态的判别方法以及分析系统
US10706535B2 (en) Tissue staining quality determination
EP3486836B1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
CN105849274B (zh) 用于显微图像中的单独细胞的分类和识别的方法和系统
EP3904866A1 (en) Defect inspecting device, defect inspecting method, and program for same
CN107206384B (zh) 用于实验室自动化的侧视样品管图像中的条形码标签检测
EP2377073B1 (en) Multi-nucleated cell classification and micronuclei scoring
CN111985292A (zh) 用于图像处理结果的显微镜方法、显微镜和具有验证算法的计算机程序
JP6733983B2 (ja) 画像解析装置
EP3006551A1 (en) Image processing device, image processing method, program, and storage medium
CN114945940A (zh) 计算机、识别器的学习方法以及分析系统
EP4071485A1 (en) Sample analysis system and method, cell image analyzer, and storage medium
CN114254146A (zh) 图像数据的分类方法、装置和系统
Tomari et al. Red blood cell counting analysis by considering an overlapping constraint
CN114585443B (zh) 训练诊断分析仪模型的设备和方法
WO2023248789A1 (ja) 試料状態判定装置、試料状態判定方法及び試料検査装置
JPH10302049A (ja) 画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体
US20220398846A1 (en) Apparatus and methods of identifying tube assembly type
US20240320962A1 (en) Site-specific adaptation of automated diagnostic analysis systems
US20240168006A1 (en) Methods and apparatus for hashing and retrieval of training images used in hiln determinations of specimens in automated diagnostic analysis systems
EP4367685A2 (en) Methods and apparatus providing training updates in automated diagnostic systems
CN118096640A (zh) 用于鉴定图像序列中的分析物的方法
CN117132640A (zh) 血清的检测方法、装置、血样检测设备及计算机存储介质
CN116953039A (zh) 传感器点胶质量检测方法、装置、系统、设备及存储介质
CN118506055A (zh) 一种遥感图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant