CN114514557A - 计数方法、计数装置及程序 - Google Patents

计数方法、计数装置及程序 Download PDF

Info

Publication number
CN114514557A
CN114514557A CN202080071250.8A CN202080071250A CN114514557A CN 114514557 A CN114514557 A CN 114514557A CN 202080071250 A CN202080071250 A CN 202080071250A CN 114514557 A CN114514557 A CN 114514557A
Authority
CN
China
Prior art keywords
counting
substance
trajectory
time point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080071250.8A
Other languages
English (en)
Inventor
平冈类
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN114514557A publication Critical patent/CN114514557A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1027—Determining speed or velocity of a particle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486—Counting the particles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Dispersion Chemistry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

一种计数方法，针对可能包含使目标物质和通过外力的作用而移动的移动物质结合而成的结合体的试样，使外力在预定方向上作用，对移动的结合体进行计数，其中，所述计数方法包括：取得步骤(S11)，取得在作用有外力的、从第1时间点到比第1时间点靠后的第2时间点之间拍摄到试样内的物体的图像；确定步骤(S16)，根据由物体形成的图像内的轨迹，确定物体的移动方向；及计数步骤(S16)，在预定方向与移动方向的一致度大于第1阈值的情况下，将物体作为结合体进行计数。

Description

计数方法、计数装置及程序
技术领域
本公开涉及用于对病毒等目标物质进行计数的计数方法、计数装置、及用于使计算机执行该计数方法的程序。
背景技术
近年，开发出对在溶液中存在的微小物质、尤其是病毒等生物体关联物质进行检测或定量的方法。例如，专利文献1中，公开了使用近场来检测检测板的表面上的包含目标物质的结合体所造成的荧光或散射光而作为图像内的亮点的光学性检测方法。
现有技术文献
专利文献
专利文献1：国际公开第2017/187744号
发明内容
然而，在上述专利文献1公开的方法中，存在难以准确地对结合体进行计数的情况。
本公开要解决上述的问题，提供能够更准确地对结合体进行计数的计数方法等。
本公开的一技术方案涉及的计数方法，针对可能包含使目标物质和通过外力的作用而移动的移动物质结合而成的结合体的试样，使所述外力在预定方向上作用，对移动的所述结合体进行计数，其中，所述计数方法包括：取得步骤，取得在作用有所述外力的、从第1时间点到比所述第1时间点靠后的第2时间点之间拍摄到所述试样内的物体的图像；确定步骤，根据由所述物体形成的所述图像内的轨迹，确定所述物体的移动方向；及计数步骤，在所述预定方向与所述移动方向的一致度大于第1阈值的情况下，将所述物体作为所述结合体进行计数。
本公开的一技术方案涉及的计数装置，包括：取得部，取得包括试样所包含的物质的多个图像的图像，所述多个图像在从第1时间点到比所述第1时间点靠后的第2时间点之间拍摄，从所述第1时间点到所述第2时间点，预定方向的外力作用于所述试样；确定部，基于所述多个图像，确定所述物质的移动方向；及计数部，基于所述预定方向和所述移动方向决定是否对所述物质进行计数，所述物质包括通过所述外力的作用而移动的第1物质和与所述第1物质结合了的目标物质。
另外，本公开的一技术方案涉及的程序，使计算机执行计数方法，该计数方法，针对可能包含使目标物质和通过外力的作用而移动的移动物质结合而成的结合体的试样，使所述外力在预定方向上作用，对移动的所述结合体进行计数，其中，所述计数方法包括：取得步骤，取得在作用有所述外力的、从第1时间点到比所述第1时间点靠后的第2时间点之间拍摄到所述试样内的物体的图像；确定步骤，根据由所述物体形成的所述图像内的轨迹，确定所述物体的移动方向；及计数步骤，在所述预定方向与所述移动方向的一致度大于第1阈值的情况下，将所述物体作为所述结合体进行计数。
此外，这些总括性的或具体的技术方案，既可以通过方法、系统、装置、集成电路、计算机程序或计算机可读取的记录介质来实现，也可以通过方法、系统、装置、集成电路、计算机程序及计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory，光盘只读存储器)等非易失性的记录介质。
根据本公开，能够更准确地对目标物质进行计数。本公开的一技术方案的进一步的优点及效果可从说明书及附图中明确。该优点和/或效果由几个实施方式以及说明书和附图中记载的特征分别提供，但为了获得1个或更多的同一特征，不一定需要提供全部。
附图说明
图1A是说明在实施方式中取得的图像的概略图。
图1B是说明根据所取得的图像确定的移动方向的概略图。
图2A是实施方式涉及的计数系统的功能框图。
图2B是实施方式涉及的检测装置的概略图。
图3A是说明实施方式涉及的外力与移动物质的关系的第1图。
图3B是说明实施方式涉及的外力与移动物质的关系的第2图。
图3C是说明实施方式涉及的外力与移动物质的关系的第3图。
图4A是示出实施方式涉及的计数方法的流程图。
图4B是更详细地对实施方式涉及的目标物质的计数进行说明的子流程图。
图5A是说明实施方式涉及的图像的处理步骤的第1图。
图5B是说明实施方式涉及的图像的处理步骤的第2图。
图5C是说明实施方式涉及的图像的处理步骤的第3图。
图5D是说明实施方式涉及的图像的处理步骤的第4图。
图5E是说明实施方式涉及的图像的处理步骤的第5图。
图5F是说明实施方式涉及的图像的处理步骤的第6图。
图5G是说明实施方式涉及的图像的处理步骤的第7图。
图5H是说明实施方式涉及的图像的处理步骤的第8图。
图5I是说明实施方式涉及的图像的处理步骤的第9图。
图6是例示在实施方式中适用了介电电泳(介电泳)的情况下的一致度的图。
具体实施方式
(成为公开的基础的见解)
近年，开发出对在溶液中存在的微小物质、尤其是病毒等生物体关联物质进行检测或定量的方法。例如，专利文献1中公开了：使用近场来检测检测板的表面上的包含目标物质的结合体所造成的荧光或散射光而作为图像内的亮点的光学性检测方法。
在专利文献1公开的光学性检测方法中，通过对检测板的表面上的包含目标物质的结合体照射近场来激发该结合体所包含的荧光体或散射体，利用拍摄装置进行拍摄，由此取得包含所产生的荧光或散射光来作为亮点的图像。此时，通过施加磁场梯度作为外力来控制结合体所包含的磁性体，图像内的亮点与结合体的移动相应地移动。这样，在专利文献1公开的光学性检测方法中，能够将图像内的亮点中的移动的亮点作为源自具有磁性体及、荧光体或散射体的结合体的亮点，来对目标物质进行检测。
在这样的使用了图像的光学性检测中，由在计算机上执行的程序自动地进行图像解析的阶段正在普及。例如，在上述的光学性检测方法中取得的图像，能够视为背景与亮点这大致二值，所以，能够容易地检测亮点，检测其中通过外力的作用而移动的亮点即可。也就是说，通过生成将在多个时间点分别取得了的帧图像各自的亮度值相加而得到的合成图像，移动的亮点能够作为线状的轨迹来检测。通过识别形成这样的轨迹的亮点，能够自动检测目标物质。
但是，在这样的轨迹的检测中，存在无法进行准确的检测的情况。具体地说，在以往的轨迹的检测中，将是否为线状设为检测条件，所以，导致将不依赖于外力的作用而呈现线状的检测为轨迹。因此，在多个没有在移动的亮点成列的情况下和通过布朗运动、溶液状的试样中的对流等与外力不同的力而移动的情况下等，也做出了误检测。
另外，作为检测对象的介质的试样具有从检测器观察的进深方向的厚度(也称作深度方向的深度)。因此，试样中的在深度方向上摆动的结合体，从检测器观察，看上去像荧光或散射光的强度上下变动。在该情况下，根据图像处理的条件，作为进一步的课题，存在因荧光或散射光中断而一连串的轨迹断开成2个以上的情况。同样的课题在构成动态图像的帧图像间的断续部位处亮点中断的情况下也会产生。
在本公开中，提供能够应对上述的课题的、包含目标物质的结合体的计数方法等。
(公开的概要)
为了解决上述的课题，本公开涉及的计数方法的一技术方案是一种计数方法，针对可能包含使目标物质和通过外力的作用而移动的移动物质结合而成的结合体的试样，使所述外力在预定方向上作用，对移动的所述结合体进行计数，其中，所述计数方法包括：取得步骤，取得在作用有所述外力的、从第1时间点到比所述第1时间点靠后的第2时间点之间拍摄到所述试样内的物体的图像；确定步骤，根据由所述物体形成的所述图像内的轨迹，确定所述物体的移动方向；及计数步骤，在所述预定方向与所述移动方向的一致度大于第1阈值的情况下，将所述物体作为所述结合体进行计数。
这样的计数方法，能够基于图像上的物体的移动方向及作用有外力的预定方向的一致度来对通过外力的作用而移动的结合体与其他物体进行判别。具体地说，在所算出的一致度大于第1阈值而判定为移动方向与预定方向一致的情况下，能够判定为图像上的物体正在作用有外力的方向上移动。由此，这样的物体被判定为通过外力的作用而移动的结合体。另一方面，在所算出的一致度为第1阈值以下而判定为移动方向与预定方向不一致的情况下，能够判定为图像上的物体正在与作用有外力的方向不同的方向上移动。由此，这样的物体被判定为是不依赖于外力的作用而移动的夹杂物等。这样一来，与通过移动的有无来判定是否是结合体的情况相比，通过基于使用了移动方向和作用有外力的预定方向的方向的判定，能够更准确地对结合体进行计数。
另外，例如，在所述确定步骤中，基于通过所述图像内的与所述轨迹对应的多个像素的主成分分析得到的第1主成分的固有矢量，确定所述物体的所述移动方向。
据此，通过主成分分析，能够根据物体形成的轨迹确定移动方向。主成分分析除了所确定的移动方向之外得到的信息多，能够与所确定的移动方向一并用于判定该轨迹是否是基于结合体的轨迹。由此，能够更准确地对结合体进行计数。
另外，例如，还包括：算出所述第1时间点及所述第2时间点之间的所述物体的移动距离的算出步骤，在所述计数步骤中，使用所算出的所述移动距离和所述第1时间点及所述第2时间点之间的经过时间，输出作为所述结合体进行了计数的所述物质的移动速度。
据此，能够除了所确定的移动方向之外还考虑物质的移动速度来判定该轨迹是否是基于结合体的轨迹。由此，能够更准确地对结合体进行计数。
另外，例如，在所述算出步骤中，基于通过所述图像内的与所述轨迹对应的多个像素的主成分分析得到的第1主成分的固有值，算出所述移动距离。
据此，通过主成分分析，能够根据物体形成的轨迹算出移动距离。主成分分析除了算出的移动距离之外所得到的信息多，能够与算出的移动距离一并用于判定该轨迹是否是基于结合体的轨迹。由此，能够更准确地对结合体进行计数。
另外，例如，在所述计数步骤中，在所述一致度大于所述第1阈值且所算出的所述移动距离大于第2阈值的情况下，将所述物体作为所述结合体进行计数。
据此，能够使用所确定的移动方向和所算出的移动距离，用于判定该轨迹是否是基于结合体的轨迹。由此，能够更准确地对结合体进行计数。
另外，例如，还包括：将所取得的所述图像内的多个轨迹中的、由同一所述物质形成的二个轨迹彼此以成为一个轨迹的方式连结的合并步骤。
据此，能够将在图像处理上中断了的轨迹连结，使用连结后的轨迹，用于判定该轨迹是否是基于结合体的轨迹。由此，与使用保持着中断不变的轨迹的情况相比，能够更准确地对结合体进行计数。
另外，例如，在所述合并步骤中，在所取得的所述图像内的多个轨迹中的各自的所述移动方向的相似度大于第3阈值的一轨迹及其他轨迹的组合之中的、各自的所述移动方向的前后的所述一轨迹的前端与所述其他轨迹的后端的距离为第4阈值以内的组合中，将所述一轨迹的前端与所述其他轨迹的后端连结，设为从所述一轨迹的后端到所述其他轨迹的前端的一个轨迹。
据此，能够使用移动方向和轨迹彼此的距离，将在图像处理上中断了的轨迹连结，使用连结后的轨迹，用于判定该轨迹是否是基于结合体的轨迹。由此，与使用保持着中断不变的轨迹的情况相比，能够更准确地对结合体进行计数。
另外，例如，所述图像是将在从所述第1时间点到所述第2时间点之间连续地拍摄到的多个帧图像的亮度值相加而得到的合成图像。
据此，能够使用将连续地拍摄到的帧图像相加而得到的合成图像，用于判定轨迹是否是基于结合体的轨迹。由此，与原样使用多个帧的图像的动态图像等相比，能够大幅削减应该被处理的图像数，所以，能够使计数处理所要求的处理性能降低。
另外，例如，所述移动物质是电介质，在被施加了电场作为所述外力时通过介电电泳力(介电泳力)而移动。
据此，能够用于判定在所取得的图像上通过介电电泳力而移动的轨迹是否是基于结合体的轨迹。由此，能够更准确地对结合体进行计数。
另外，例如，所述移动物质是磁性体，在被施加了磁场梯度作为所述外力时通过磁力而移动。
据此，能够用于判定在所取得的图像上通过磁力而移动的轨迹是否是基于结合体的轨迹。由此，能够更准确地对结合体进行计数。
另外，例如，所述目标物质是构成病毒的物质，所述移动物质经由固定于所述移动物质的表面的、与所述物质特异性地结合的结合子而结合于所述物质。
据此，能够更准确地对结合体进行计数，该结合体是作为目标物质而构成病毒的物质和移动物质经由结合子结合而形成的结合体。
另外，本公开涉及的程序的一技术方案，使计算机执行计数方法，该计数方法，针对可能包含使目标物质和通过外力的作用而移动的移动物质结合而成的结合体的试样，使所述外力在预定方向上作用，对移动的所述结合体进行计数，其中，所述计数方法包括：取得步骤，取得在作用有所述外力的、从第1时间点到比所述第1时间点靠后的第2时间点之间拍摄到所述试样内的物体的图像；确定步骤，根据由所述物体形成的所述图像内的轨迹，确定所述物体的移动方向；及计数步骤，在所述预定方向与所述移动方向的一致度大于第1阈值的情况下，将所述物体作为所述结合体进行计数。
这样的程序，能够基于图像上的物体的移动方向及作用有外力的预定方向的一致度，来对通过外力的作用而移动的结合体与其他物质进行判别。具体地说，在所算出的一致度大于第1阈值而判定为移动方向与预定方向一致的情况下，能够判定为图像上的物体正在作用有外力的方向上移动。由此，这样的物体被判定为是通过外力的作用而移动的结合体。另一方面，在所算出的一致度为第1阈值以下而判定为移动方向与预定方向不一致的情况下，能够判定为图像上的物体正在与作用有外力的方向不同的方向上移动。由此，这样的物体被判定为是不依赖于外力的作用而移动的夹杂物等。这样一来，与通过移动的有无来判定是否是结合体的情况相比，通过基于使用了移动方向和作用有外力的预定方向的方向的判定，能够更准确地对结合体进行计数。
以下，一边参照附图，一边对实施方式进行具体说明。
此外，以下说明的实施方式均表示总括性的或具体的例子。以下的实施方式中所示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并非旨在限定权利要求书。另外，各图未必严格地进行了图示。在各图中，有时关于实质上相同的构成标注相同的标号，省略或简化重复的说明。
另外，以下，平行及垂直等表示要素间的关系性的用语、矩形状等表示要素的形状的用语、以及数值范围并非表示严格的意思，意味着也包括实质上同等的范围、例如几％程度的差异。
另外，以下说明的结合体的计数是以下概念：包括从计数到的结合体数中，对以预定的结合比与移动物质结合的目标物质进行计数。即，本公开的计数方法也能够作为目标物质的计数方法来利用。另外，本公开中的结合体的计数，包括以下概念：作为在预定容量的溶液状的试样中存在的计数到的结合体的个数浓度，而对结合体的浓度进行测定。而且，此处的浓度的测定，也包括以下概念：基于预定容量的试样中的个数浓度是否为0个来检测有无结合体。
(实施方式)
[概要]
首先，关于本实施方式中的图像处理的概念，使用图1A及图1B进行说明。图1A是说明在实施方式中取得的图像的概略图。另外，图1B是说明根据所取得的图像确定的移动方向的概略图。
在图1A中，作为一例，图示出包含目标物质且通过外力的作用而移动的结合体、和与外力的作用无关地移动的夹杂物。在本实施方式中取得的图像如图1A所示，通过应用程序窗口109a，显示于后述的监视器109上。结合体及夹杂物是在拍摄到的图像上作为亮点而成像的物体，实质上无法从图像中对它们进行判别。在此，在本实施方式中取得的图像，是将在从第1时间点到第2时间点之间连续地拍摄到的多个帧图像的亮度值相加得到的合成图像。在通过仅将多个帧图像的亮度值相加而难以掌握亮点的情况下，也可以在将多个帧图像分别二值化之后相加。另外，也可以提取具有预定阈值以上的亮度的亮点，将该提取出的亮点的亮度值相加。此外，本公开的内容，即便是在从第1时间点到第2时间点之间通过持续曝光而拍摄到的进行了长期间的曝光的图像，也有效。
合成图像Ic中的像素位置i的亮度值Ici也可以是：Ici＝(I1i+…+Iki+…+Ini)/n。k、n是自然数，1<k<n。在此设为：在从作为第1时间点的第1时间t1到作为第2时间点的第n时间tn之间连续地拍摄到的多个帧图像是I1、～、Ik、～、In，I1是在时间t1拍摄到的，～，Ik是在时间tk拍摄到的，～，In是在时间tn拍摄到的，亮度值I1i是帧图像I1中的像素位置i的亮度值，～，亮度值Iki是帧图像Ik中的像素位置i的亮度值，～，亮度值Ini是帧图像In中的像素位置i的亮度值。
帧图像I1中的像素位置i、～、帧图像Ik中的像素位置i、～、帧图像In中的像素位置i分别与合成图像Ic中的像素位置i对应。上述中，亮度值也可以是像素值。
如上述中说明的那样，在帧图像与帧图像之间，存在断续部位，在与该断续部位对应的期间，结合体及夹杂物在图像上作为形成被断开了的轨迹的亮点而成像。具体地说，夹杂物形成了与第1期间的移动对应的轨迹43、与第2期间对应的轨迹44、与第3期间对应的轨迹45、与第4期间对应的轨迹46。另外，结合体形成了与第1期间对应的轨迹47、与第2期间对应的轨迹48、与第3期间对应的轨迹49、与第4期间对应的轨迹50。
从图1A可知，各个帧图像以具有充分的曝光期间的方式被设定拍摄条件，以使得结合体及夹杂物有预定长度的轨迹延伸。例如，若是移动速度更慢的结合体及夹杂物，则以各个帧图像中的曝光期间更长的方式设定拍摄条件。这样，基于轨迹延伸的方向，能够确定各个亮点的移动方向。
在图1B中，以箭头示出各个亮点的移动方向。具体地说，示出了根据轨迹43确定的移动方向43a、根据轨迹44确定的移动方向44a、根据轨迹45确定的移动方向45a、及根据轨迹46确定的移动方向46a。同样，示出了根据轨迹47确定的移动方向47a、根据轨迹48确定的移动方向48a、根据轨迹49确定的移动方向49a、及根据轨迹50确定的移动方向50a。
这样，关于各个亮点的移动中的轨迹，通过从该轨迹的后端(箭头的起点侧)连结到前端(箭头的终点侧)，能够确定视为亮点移动了的情况下的移动方向。此外，夹杂物等的亮点尽管实际上不移动，但有时如上述那样在图像处理上可视为正在移动，作为表观上的移动的方向来确定移动方向。
在此，对作用有外力的方向进行说明。图1A及图1B中，使用实际上在取得的图像上不存在的空心箭头，示出外力方向。这样，在本实施方式中，外力沿着预定方向作用。所谓预定方向，是设想通过外力的作用而结合体移动的方向。在以下的说明中，对使电场或磁场作为外力来作用的情况进行说明。此外，也可以使流场等作为外力来作用，在该情况下，能够根据与该流场关联的阻力决定预定方向。
在本实施方式中，基于作用有外力的预定方向与根据所取得的图像确定的亮点的移动方向的一致度，推定该亮点的移动是否是基于外力的移动。此外，以上说明的亮点，是映于图像上的物体，在本实施方式中，作为一例，对结合体所包含的物质通过荧光或散射光的发光现象而发光的情况进行说明。若成为计数对象的物体构成为能够充分检测到，则也可以取得不利用基于物体的发光现象而是通过自然光等的反射拍摄到的图像。也就是说，本实施方式，只要是作为检测或计数的对象的目标物质和通过外力的作用而移动的移动物质结合而成的结合体，就能够实施。
此外，目标物质是蛋白质、脂质、糖、核酸等，是检测或计数的对象的病毒、微生物、细菌等产生的或构成它们的生物体关联物质。关于上述的移动物质后述，但这样的目标物质与移动物质经由固定于移动物质的表面的抗体等结合子而结合。作为结合子，例如除了上述的抗体之外，可以任意地使用:相对于通过在目标物质侧进行修饰等而目标物质所具有的抗生物素蛋白结合的生物素等、与目标物质特异性地结合的结合样式的物质。
[系统构成]
以下，关于本实施方式中的计数系统，使用图2A及图2B进行说明。图2A是实施方式涉及的计数系统的功能框图。如图2A所示，本实施方式中的计数系统100具备检测装置101、控制器102、计数装置103和监视器109。此外，在作为从客户端装置取得上述说明的图像并将计数结果向该客户端装置输出的服务器装置实施计数方法的情况下，计数系统100具备计数装置103即可。也就是说，检测装置101、控制器102、监视器109不是必须的。
图2B是实施方式涉及的检测装置的概略图。如图2B所示，检测装置101具备溶液保持部20、外力施加部29和拍摄装置30。检测装置101针对在形成于溶液保持部20内的空间27中收置的试样，一边通过外力施加部29使外力作用一边通过拍摄装置30拍摄图像。以下，对构成检测装置101的各构成要素进行详细说明。
溶液保持部20具备检测板21、溶液保持槽23和玻璃盖25。检测板21是由具有光透射性的树脂或玻璃等硬质材料形成的板状部件。通过从检测板21的背面(纸面下侧的面)使用未图示的光源等使激发光入射，能够对位于检测板21的表面(纸面上侧的面)的空间27内的溶液照射该激发光。此外，在无需从背面照射激发光的情况下，检测板21也可以不具有光透射性。
溶液保持槽23是层叠于检测板21的片状的部件，例如由硅树脂等构成。溶液保持槽23在片的内部(面内方向上的内部)，具有贯穿片的两主面而挖空的挖空部。溶液保持槽23通过层叠于检测板21，形成由检测板21的表面和挖空部的外周(也就是说溶液保持槽23的内侧面)围出的容器形状。在本实施方式中溶液保持槽23的挖空部在俯视溶液保持槽23的情况下是圆形。因此，由检测板21和溶液保持槽23形成的容器形状具有圆柱状的空间27。此外，挖空部的形状不限定于圆形，也可以是多边形形状等任何形状。
玻璃盖25进一步层叠于溶液保持槽23，是由树脂或玻璃等硬质材料形成的板状部件。玻璃盖25由透光性的材料形成即可，形状无限定。玻璃盖25担负由检测板21和溶液保持槽23形成的空间27的盖的作用，所以，是在俯视时能够覆盖前述的挖空部的形状及大小。此外，玻璃盖25的材质除了玻璃之外，也可以是树脂等。玻璃盖25只要具有光透射性即可，可以是任何构成。
这样一来，通过检测板21、溶液保持槽23及玻璃盖25，空间27能够大致密闭。如前述那样，在空间27中收置通过计数系统100检测或计数的对象的试样。也就是说，在试样填充于溶液保持部20的状态下，进行试样中可能包含的结合体的检测。试样通过打开玻璃盖25而向空间27导入。也就是说，玻璃盖25覆盖能够进入空间27的开口。该开口是导入可能包含结合体的试样的导入部的一例。此外，也可以设置将空间27与外部连通的细孔，在该情况下，该细孔成为导入部。
从空间27去往玻璃盖25侧的光的一部分，在与溶液保持部20相对配置的拍摄装置30中被接受。拍摄装置30是具有聚光性的聚光部件31和图像传感器35内置于壳体37而成的受光装置。另外，拍摄装置30也可以根据需要而具备选择性地使一部分波长的光透射的滤波器(滤光器)33。也就是说，即便不具备滤波器33也能够实施本公开，但在本实施方式中，对通过滤波器33而一部分波长的光向图像传感器35入射的例子进行说明。聚光部件31例如是折射式的透镜，将拍摄装置30接受到的光聚光于图像传感器35。聚光部件31既可以由单个透镜构成，也可以使用多个透镜来构成。
滤波器33例如具有使结合体产生的荧光的主要的波长成分透射而将其他吸收或反射的光学特性。由此，能够高精度地检测结合体产生的荧光或散射光。图像传感器35也可以是使用光电二极管的器件及组合有光倍增管的器件等公知的光检测手段。使用拍摄装置30拍摄的对象是沿着检测板21的2维面，所以，作为图像传感器35，也可以使用CCD图像传感器或CMOS图像传感器等2维传感器。由此，能够得到包括较多信息的图像。
另外，壳体37由金属或树脂等构成。壳体37在与玻璃盖25相对的面具有窗。从该窗接受到的光向图像传感器35入射。在壳体37中，沿着从上述窗接受到的光的光路，依次配置有聚光部件31、滤波器33、图像传感器35，以将各自的位置关系保持为一定的方式形成有保持部(未图示)。另外，上述窗也可以由聚光部件31构成。也就是说，也可以通过向在壳体37的接受光的面形成的开口嵌入聚光部件31而构成上述窗。此外，壳体37由具有遮光性的材料构成，使得除了向聚光部件31入射的光之外、其他的外光不会进入壳体37的内部。
外力施加部29根据施加电场作为外力的情况和施加磁场梯度作为外力的情况而构成不同。关于各个情况，使用图3A～图3C进行说明。图3A是说明实施方式涉及的外力与移动物质的关系的第1图。另外，图3B是说明实施方式涉及的外力与移动物质的关系的第2图。另外，图3C是说明实施方式涉及的外力与移动物质的关系的第3图。
例如，在施加电场作为外力的情况下，考虑图3A及图3B的构成。在图3A及图3B中，通过使用作为外力施加部29的一例的第1电场施加部29a和第2电场施加部29b对收置于空间27的试样施加电场，形成不均匀的电场27a及27b。结合体41a及41b包含作为移动物质的电介质，根据试样中的结合体41a及41b与外液组分的介电常数的不同、以及电场27a及27b的电场强度的大小和用于电场的施加的交流电源的频率，而移动。第1电场施加部29a及第2电场施加部29b是连接于交流电源的电极。另外，作为电介质，例如使用聚苯乙烯珠即可。这样的现象通常作为介电电泳(DEP：Dielectrophoresis)而为人所知。
在介电电泳中，在电介质的介电常数比外液组分大的情况下，如图3A所示，电介质与形成了结合体41a的目标物质一起，通过介电电泳，在不均匀的电场27a中向电场强度大的一方移动(正的介电电泳：positive-DEP)。在该情况下，如图中的箭头那样，从电场强度小的一方向大的一方，设定预定方向。另一方面，在外液组分的介电常数比电介质大的情况下，如图3B所示，电介质与形成了结合体41b的目标物质一起，通过介电电泳，在不均匀的电场27b中向电场强度小的一方移动(负的介电电泳：negative-DEP)。在该情况下，如图中的箭头那样，从电场强度大的一方向小的一方，设定预定方向。这样一来，通过使用电介质作为移动物质，能够利用介电电泳，使结合体41a或41b在预定方向移动。
另外，例如，在施加磁场梯度作为外力的情况下，考虑图3C的构成。在图3C中，通过使用作为外力施加部29的一例的磁场施加部29c对收置于空间27的试样施加磁场梯度，形成磁场梯度27c。结合体41c包含作为移动物质的磁性体，根据磁场梯度27c而移动。作为磁性体，使用具有顺磁性或铁磁性的金属微粒等即可。
如图3C所示，磁性体与形成了结合体41c的目标物质一起，在磁场梯度27c中朝向磁场施加部29c移动。磁场施加部29c例如是钕磁体、铁氧体磁体或铝镍钴磁体等永磁体，但也可以是具备线圈、芯材及直流电源装置的电磁体。在使用这样的磁场梯度27c的情况下，如图中的箭头那样，从没有磁场施加部29c的一方向存在磁场施加部29c的一方，设定预定方向。这样一来，通过使用磁性体作为移动物质，能够使结合体41c在预定方向移动。
检测装置101针对在溶液保持部20中收置着的试样，在预定方向上使外力作用，对根据外力而移动的结合体进行拍摄，输出图像。
返回图2A，控制器102是用于通过生成控制信号并向检测装置101发送来控制检测装置101的控制装置。另外，控制器102也是将从检测装置101输出了的图像向后述的计数装置103传送的接口装置。因此，由检测装置101拍摄并输出的图像经由控制器102，由计数装置103取得。
计数装置103是在针对可能包含使目标物质和通过外力的作用而移动的移动物质结合而成的结合体的试样使外力在预定方向上作用时，对移动的结合体进行计数的装置。具体地说，计数装置103具备取得部104、确定部105、计数部106、算出部107及合并部108。构成计数装置103的各构成要素通过处理器、存储器及使用该处理器和存储器执行的程序来实现。也就是说，取得部104是用于执行取得步骤的处理部，确定部105是用于执行确定步骤的处理部，计数部106是用于执行计数步骤的处理部，算出部107是用于执行算出步骤的处理部，合并部108是用于执行合并步骤的处理部。
监视器109是显示由计数装置103实施了的结合体的计数结果的显示装置。监视器109例如使用液晶或有机EL等显示面板来显示显示图像。
[动作]
以下，以计数装置103的动作为中心，关于通过计数系统100实现的计数方法，参照附图进行说明。
图4A是示出实施方式涉及的计数方法的流程图。
首先，在计数系统100中，取得拍摄到试样中的物体的图像(取得步骤S11)。在计数系统100中，如上述说明那样，通过检测装置101按照控制器102的控制信号动作，对试样的图像进行拍摄，拍摄到的图像经由控制器102，由取得部104取得。
对所取得的图像，应用用于对亮点与其他点进行区别的二值化(步骤S12)。进而，对二值化后的图像进行噪声去除(步骤S13)。噪声去除通过利用中值滤波器及平滑滤波器等噪声去除滤波器对图像进行处理来进行。将在经过了这样的处理的图像中拍摄到的亮点的移动作为轨迹提取。具体地说，对在步骤S13中噪声去除后的图像，根据亮度值是二值中的哪一个，进行边缘检测(步骤S14)。例如，检测高亮度的像素与低亮度的像素的边界作为边缘。将这样的边界连成一体(也就是说封闭了的状态)的部位作为伴随于亮点的移动的轨迹而提取(步骤S15)。
以上的步骤S12～步骤S15例如由计数装置103所具备的未图示的前处理部作为前处理步骤来实施。此外，也可以由取得部104取得进行了这样的前处理步骤之后的图像。
根据像这样提取出的轨迹，对试样所包含的结合体进行计数，进而算出各个结合体的移动速度(步骤S16)。计数系统100将计数结果与所算出的移动速度一起，作为例如用于使监视器109显示的显示图像输出(步骤S17)。
以下，关于步骤S16的进一步的详情，使用图4B、图5A～图5I及图6来进行说明。图4B是更详细地对实施方式涉及的目标物质的计数进行说明的子流程图。另外，图5A～图5I是用于概述在各处理步骤中进行的图像处理的说明图。
在计数装置103中，得到在取得部104中取得的、经过上述的前处理步骤的如图5A所示那样的图像。另外，与图1A及图1B同样，利用空心箭头假想地示出在实际的图像上不存在的外力方向(也就是预定方向)。
在计数装置103中，通过关于在图像中提取出的所有轨迹进行主成分分析，算出(图5A～图5I中以黑表示)二值中的亮点所对应的像素的第1主成分。这样一来，通过图像上的像素的主成分分析，算出第1主成分的固有矢量及第1主成分的贡献度(步骤S21)。所算出的固有矢量表示构成该轨迹的像素的集合最分散的方向，能够视为亮点的移动方向。也就是说，步骤S21是确定亮点的移动方向的确定步骤。
计数装置103选择图像中所包含的轨迹中的一个轨迹(步骤S22)。计数装置103算出通过所选择的轨迹的主成分分析算出的移动方向与外力方向的一致度(步骤S23)。一致度例如将基于外力方向和移动方向的2维面上的斜率的差相对于任一方向的斜率是百分之几等条件设定的第1阈值作为基准，在为该第1阈值以下的情况下推定为一致度低，在大于该第1阈值的情况下推定为一致度高。第1阈值除了上述之外，可以仅是斜率的差，也可以是角度的差。
也就是说，在外力方向与移动方向的一致度大于第1阈值的情况下，被算出了该移动方向的轨迹被判定为是按照外力而移动的轨迹。相对于此，在外力方向与移动方向的一致度为第1阈值以下的情况下，被算出了该移动方向的轨迹，可以认为是：按照与外力不同的力移动的轨迹或虽然没有在移动但在图像处理上被识别为移动了的轨迹的轨迹。因此，进行一致度与第1阈值的比较(步骤S24)，在判定为一致度为第1阈值以下的情况下(步骤S24中为“否”)，将该轨迹从计数的对象中排除(步骤S26)。
此外，第1阈值也可以针对亮点所对应的像素与外力方向的相关系数而设定。作为一例，将亮点所对应的像素呈现相对于外力方向大于80％(也就是说，相关系数大于0.8)的相关的亮点留下，将其他排除，从而能够良好地提取按照外力移动了的轨迹。
在图5B中，关于由箭头所示的圆形包围的轨迹，示出了一致度为第1阈值以下。因此，这些圆形包围的轨迹如图5C所示，被从用于计数的轨迹中排除。
在此，进一步通过参照图6，对在上述的图3A及图3B中说明的使用介电电泳的情况下的一致度与第1阈值的比较也进行说明。图6是例示在实施方式中适用(应用)了介电电泳的情况下的一致度的图。图6的(a)中，示出了用于形成作为外力的电场的电场施加部29d。另外，图6的(b)中，示出了将图6的(a)中的以双点划线示出的区域B放大了的放大图。此外，在图6的(b)中，一并示出了在图6的(a)中省略了图示的、作为具有介电性的移动物质的电介质41d。像这样，在本图中为了辨认性，图示了实际的移动物质(也就是说电介质41d)和电场施加部29d而非亮点，但实际上，与上述的例子同样，取得包括与移动物质对应的亮点的轨迹和背景色的图像。
如图6的(a)所示，电场施加部29d包括多个电极29e和向该电极29e施加交流电压的电源29f。电极29e是在沿着纸面的方向上具有板面的平板状，例如在沿着纸面的方向上具有板面的基板上，沿着该板面地形成。电介质41d在被放置于该基板上时，按照形成于基板上的电极29e彼此之间的电场梯度而移动。
如图中所示，在电极29e，在沿着纸面的方向上成为凹或凸的凹凸形状以在纸面左右方向上有规则地重复的方式形成，相对于相邻的电极29e，凹部彼此及凸部彼此错开，由此，凹部与凸部相对。像这样，通过电极29e间的距离按每个场所而不同，在被施加了交流电压时，在电极29e彼此之间形成电场梯度。具体地说，在图中的电场施加部29d的构成中，电极29e的凹部成为电场强度小的区域，成为通过负的介电电泳而电介质41d聚集的区域。这样的电极29e有时被称作Castellated(齿形)电极。
如图6的(b)所示，多个凹部各自相同地成为电场强度小的区域，通过电场梯度的形成，分别置于靠近的位置的电介质41d聚集。在此，由于按照所形成的电场梯度而电介质41d分别移动，所以，外力方向按照作为决定电场梯度的要因的电极29e的构成、预备实验及经验法则等来决定即可。在图中的电极29e的例子中，作为进入凹部的平均的方向，以从与凹部相对的凸部朝向该凹部延伸的虚线箭头所示的直线状的矢量被设定为外力方向。
另外，在该例子中，移动方向是否与外力方向一致，例如根据被设定为能够充分覆盖进入凹部的电介质41d的、移动方向与外力方向所成的角度来判断。在图中的例子中，该角度由以记号x所示的凹部的宽度(换言之，相邻的凸部间的距离)及以记号y所示的凹部的深度(换言之，凸部的高度)来决定。图中，适用表示外力方向的直线状的矢量与在凹部内延伸的二条单点划线中的各条所成的角度，作为上述的角度。因此，在此，将呈现是直线状的矢量的方向所代表的进入凹部的方向且是二条单点划线之间的范围内的移动方向的轨迹，设为作为移动体的电介质41d的轨迹，采用为计数的对象即可。换言之，将呈现不是进入凹部的方向或二条单点划线之间的范围内的移动方向的轨迹，设为不是基于移动体的轨迹，从计数的对象中排除即可。
此外，二条直线(或者在考虑方向的情况下是矢量)所成的角度，可作为直线彼此的余弦相似度来表现。因此，在上述的移动方向与外力方向的一致的判定中，可以使用根据余弦相似度设定的阈值(也就是说第1阈值)。具体地说，在被视为与外力方向一致的范围内相对于虚线箭头的矢量所成的角度最大的移动方向，是沿着2条单点划线的任一方的方向(以下也称作单点划线的方向)。单点划线与矩形的凹部对应地形成，如图中所示，设定为具有长度y及长度x/2的正交的2边的直角三角形的斜边。也就是说，单点划线的方向与虚线箭头的矢量所成的角度θ可以使用反余弦函数，如下式1那样表示。
[式1]
Figure BDA0003589275840000191
即，作为是第1阈值的余弦相似度，如下式2那样，设定由x及y的值决定的数字。
[式2]
Figure BDA0003589275840000192
此外，这些外力方向及第1阈值是使用具有图中所示的矩形的凹部的电极29e的情况的一例，除了电极29e的构成、实验及经验法则等之外，还根据所要求的计数的精度等适当设定即可。
返回图4B，在判定为一致度大于第1阈值的情况下(步骤S24中为“是”)，前进至步骤S25。在此，在第1主成分的贡献度低的情况下，推定为该轨迹不具有充分的分散轴。因此，在这样的第1主成分的贡献度低的情况下，存在未能准确地算出亮点的移动方向的情况。也就是说，进行第1主成分的贡献度与第5阈值的比较(步骤S25)，在判定为第1主成分的贡献度为第5阈值以下的情况下(步骤S25中为“否”)，该轨迹有可能未能精度良好地算出移动方向，所以被从计数的对象排除(步骤S26)。
在图5D中，关于以箭头所示的圆形包围的轨迹，示出了第1主成分的贡献度为第5阈值以下。因此，这些圆形包围的轨迹如图5E所示，被从用于计数的轨迹中排除。
返回图4B，在判定为第1主成分的贡献度大于第5阈值的情况下(步骤S25中为“是”)，判定是否关于所有轨迹进行选择、进行了以上的第1阈值及第5阈值的比较(步骤S27)。在存在未选择的轨迹的情况下(步骤S27中为“否”)，返回步骤S22，进行轨迹的选择。另一方面，在判定为选择过所有轨迹的情况下(步骤S27中为“是”)，前进至步骤S28。
以下，计数装置103实施伴随于图像处理的条件及结合体在试样内的移动而将原本应该是一个的轨迹彼此连结的合并步骤。首先，计数装置103从图像中的轨迹中选择一轨迹与其他轨迹的组合(步骤S28)。判定这些所选择的组合的一轨迹与其他轨迹是否移动方向相互相似(步骤S29)。若是源自同一结合体的亮点，则通过外力的作用而移动的方向被推定为大致一致。
因此，在表示一轨迹与其他轨迹相互的移动方向的相似程度的相似度为第3阈值以下的情况下(步骤S29中为“否”)，省略以后的步骤S30及步骤S31，不进行该一轨迹与其他轨迹的连结。在判定为一轨迹与其他轨迹的相似度大于第3阈值的情况下(步骤S29中为“是”)，进一步进行步骤S30的判定。具体地说，判定一轨迹的前端与其他轨迹的后端的距离是否为第4阈值以内(换言之，是否为第4阈值以下)(步骤S30)。
这是用于将图像平面上的距离(例如，欧几里得距离等)远而平行地在同样的移动方向移动的亮点彼此被连结的情况排除的处理。由此，在判定为距离大于第4阈值的情况下(步骤S30中为“否”)，省略步骤S31，不进行该一轨迹与其他轨迹的连结。另一方面，在判定为距离为第4阈值以内的情况下(步骤S30中为“是”)，将该一轨迹的前端及该其他轨迹的后端连结，设为从一轨迹的后端到其他轨迹的前端的一个轨迹(步骤S31)。
计数装置103判定是否关于所有组合的一轨迹及其他轨迹进行了这样的处理(步骤S32)，在存在未选择的组合的情况下(步骤S32中为“否”)，返回步骤S28，进行组合的选择。另一方面，在判定为选择过所有组合的情况下(步骤S32中为“是”)，前进至步骤S33。
在图5F中，关于满足第3阈值及第4阈值的条件的组合的轨迹，如以虚线所示，轨迹被连结。
接下来，在计数装置103中，使用连结结束后的轨迹，根据各个轨迹算出亮点的移动距离(算出步骤S33)。具体地说，关于实施了合并步骤后的轨迹中的各个，进行主成分分析，算出第1主成分的固有值。第1主成分的固有值表示构成该轨迹的像素的集合最分散的分散幅度，可视为亮点的移动距离。
另外，计数装置103根据所算出的亮点的移动距离，算出该亮点的移动速度(步骤S34)。在此，再次选择轨迹中的一个(步骤S35)。计数装置103在所选择的轨迹中，判定所算出的移动距离是否大于第2阈值(步骤S36)。这是下述处理：用于根据在与外力无关的亮点偶然呈现沿着外力方向的移动方向的情况下移动距离是否满足在通过外力的作用而移动了的情况下所呈现的充分的移动距离，将这样的轨迹排除。在判定为在所选择的轨迹中算出的移动距离为第2阈值以下的情况下(步骤S36中为“否”)，该轨迹被从计数的对象中排除(步骤S37)。
在图5G中，关于以箭头所示的圆形包围的轨迹，示出了所算出的移动距离为第2阈值以下。因此，这些圆形包围的轨迹如图5H所示，被从用于计数的轨迹中排除。
返回图4B，在判定为在所选择的轨迹中算出的移动距离大于第2阈值的情况下(步骤S36中为“是”)，前进至步骤S38。计数装置103判定关于所有轨迹是否进行了这样的处理(步骤S38)，在存在未选择的轨迹的情况下(步骤S38中为“否”)，返回步骤S33，进行轨迹的选择。另一方面，在判定为选择过所有轨迹的情况下(步骤S38中为“是”)，前进至步骤S39。
计数装置103将形成像这样未被排除而在图像中留下的轨迹的亮点作为基于结合体的亮点来进行计数(计数步骤S39)。
作为计数结果，例如，输出图5I所示那样的图像，显示于应用程序窗口109a上。在图5I中，关于未被排除而留下的“结合体1”“结合体2”及“结合体3”这3个结合体，与根据各个轨迹算出的移动速度一起显示。
(其他实施方式)
以上，对实施方式等进行了说明，但本公开不限定于上述实施方式等。
另外，在上述实施方式等中关于构成测定装置的构成要素进行了例示，但测定装置具备的构成要素的各功能可以任意分配给构成测定装置的多个部分。
此外，对于实施方式等实施本领域技术人员想到的各种变形而得到的方式、或者通过在不脱离本公开的主旨的范围内将实施方式等中的构成要素及功能任意组合而实现的方式，也包含于本公开中。
例如，在上述实施方式中对将所算出的移动速度与计数结果一起输出的构成进行了说明，但也可以是输出计数结果而不算出移动速度的构成。
另外，例如，在上述实施方式中，关于与移动方向一起、使用利用固有值或第1主成分的贡献度算出的移动距离对基于结合体的轨迹进行计数的构成，进行了说明，但也可以使用移动方向对基于结合体的轨迹进行计数。
另外，例如，在上述实施方式中，通过主成分分析来进行各种算出，但也可以通过回归分析、线性近似等任意的方法来进行各种算出。
产业上的可利用性
本公开用于以简单、高速且准确的目标物质的检测、观察等为目的的装置。
标号说明
20 溶液保持部
21 检测板
23 溶液保持槽
25 玻璃盖
27 空间
27a、27b 电场
27c 磁场梯度
29 外力施加部
29a 第1电场施加部
29b 第2电场施加部
29c 磁场施加部
29d 电场施加部
29e 电极
29f 电源
30 拍摄装置
31 聚光部件
33 滤波器
35 图像传感器
37 壳体
41a、41b、41c 结合体
41d 电介质
43、44、45、46、47、48、49、50 轨迹
43a、44a、45a、46a、47a、48a、49a、50a 移动方向
100 计数系统
101 检测装置
102 控制器
103 计数装置
104 取得部
105 确定部
106 计数部
107 算出部
108 合并部
109 监视器
109a 应用程序窗口

Claims (14)

1.一种计数方法，针对可能包含结合体的试样使外力在预定方向上作用而对移动的所述结合体进行计数，所述结合体是使目标物质和通过所述外力的作用而移动的移动物质结合而成的结合体，所述计数方法包括：
取得步骤，取得在作用有所述外力的、从第1时间点到比所述第1时间点靠后的第2时间点之间拍摄到所述试样内的物体的图像；
确定步骤，根据由所述物体形成的所述图像内的轨迹，确定所述物体的移动方向；及
计数步骤，在所述预定方向与所述移动方向的一致度大于第1阈值的情况下，将所述物体作为所述结合体来进行计数。
2.根据权利要求1所述的计数方法，
在所述确定步骤中，基于通过所述图像内的与所述轨迹对应的多个像素的主成分分析得到的第1主成分的固有矢量，确定所述物体的所述移动方向。
3.根据权利要求1或2所述的计数方法，
还包括：算出所述第1时间点与所述第2时间点之间的所述物体的移动距离的算出步骤，
在所述计数步骤中，使用所算出的所述移动距离和所述第1时间点与所述第2时间点之间的经过时间，输出作为所述结合体进行了计数的所述物体的移动速度。
4.根据权利要求3所述的计数方法，
在所述算出步骤中，基于通过所述图像内的与所述轨迹对应的多个像素的主成分分析得到的第1主成分的固有值，算出所述移动距离。
5.根据权利要求3或4所述的计数方法，
在所述计数步骤中，在所述一致度大于所述第1阈值且所算出的所述移动距离大于第2阈值的情况下，将所述物体作为所述结合体进行计数。
6.根据权利要求1～5中任一项所述的计数方法，
还包括：将所取得的所述图像内的多个轨迹中的、由同一所述物体形成的二个轨迹彼此以成为一个轨迹的方式连结的合并步骤。
7.根据权利要求6所述的计数方法，
在所述合并步骤中，在所取得的所述图像内的多个轨迹中的各自的所述移动方向的相似度大于第3阈值的一轨迹及其他轨迹的组合中的、各自的所述移动方向的前后的所述一轨迹的前端与所述其他轨迹的后端的距离为第4阈值以内的组合中，将所述一轨迹的前端与所述其他轨迹的后端连结，设为从所述一轨迹的后端到所述其他轨迹的前端为止的一个轨迹。
8.根据权利要求1～7中任一项所述的计数方法，
所述图像是将在从所述第1时间点到所述第2时间点之间连续地拍摄到的多个帧图像的亮度值相加而得到的合成图像。
9.根据权利要求1～8中任一项所述的计数方法，
所述移动物质是电介质，在被施加了电场来作为所述外力时通过介电电泳力而移动。
10.根据权利要求1～8中任一项所述的计数方法，
所述移动物质是磁性体，在被施加了磁场梯度来作为所述外力时通过磁力而移动。
11.根据权利要求1～10中任一项所述的计数方法，
所述目标物质是构成病毒的物质，
所述移动物质经由固定于所述移动物质的表面的、与所述物质特异性地结合的结合子而结合于所述物质。
12.一种程序，使计算机执行计数方法，该计数方法针对可能包含结合体的试样使外力在预定方向上作用而对移动的所述结合体进行计数，所述结合体是使目标物质和通过所述外力的作用而移动的移动物质结合而成的结合体，所述计数方法包括：
取得步骤，取得在作用有所述外力的、从第1时间点到比所述第1时间点靠后的第2时间点之间拍摄到所述试样内的物体的图像；
确定步骤，根据由所述物体形成的所述图像内的轨迹，确定所述物体的移动方向；及
计数步骤，在所述预定方向与所述移动方向的一致度大于第1阈值的情况下，将所述物体作为所述结合体来进行计数。
13.一种计数装置，包括：
取得部，取得包括在试样中所包含的物质的多个图像的图像，所述多个图像在从第1时间点到比所述第1时间点靠后的第2时间点之间被拍摄，从所述第1时间点到所述第2时间点，预定方向的外力被施加于所述试样；
确定部，基于所述多个图像，确定所述物质的移动方向；及
计数部，基于所述预定方向和所述移动方向，决定是否对所述物质进行计数，
所述物质包含第1物质和与所述第1物质结合了的目标物质，所述第1物质在所述外力施加于所述第1物质时移动。
14.根据权利要求13所述的计数装置，
所述图像是合成图像，合成图像的位置i处的亮度值，基于将在从所述第1时间点到所述第2时间点之间连续地拍摄到的多个帧图像中的、与所述位置i对应的多个位置的多个亮度值相加所得的值而得到。
CN202080071250.8A 2019-10-25 2020-09-29 计数方法、计数装置及程序 Pending CN114514557A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2019-194150 2019-10-25
JP2019194150 2019-10-25
JP2020130145 2020-07-31
JP2020-130145 2020-07-31
PCT/JP2020/037039 WO2021079701A1 (ja) 2019-10-25 2020-09-29 計数方法、計数装置、及びプログラム

Publications (1)

Publication Number Publication Date
CN114514557A true CN114514557A (zh) 2022-05-17

Family

ID=75619351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080071250.8A Pending CN114514557A (zh) 2019-10-25 2020-09-29 计数方法、计数装置及程序

Country Status (5)

Country Link
US (1) US20220207753A1 (zh)
EP (1) EP4050323A4 (zh)
JP (1) JP7535760B2 (zh)
CN (1) CN114514557A (zh)
WO (1) WO2021079701A1 (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2868279B1 (fr) 2004-04-02 2006-06-09 Mauna Kea Technologies Soc Par Procede et systeme de mesure de vitesse du flux sanguin
US7709190B2 (en) * 2005-12-02 2010-05-04 Board Of Regents, The University Of Texas System Influenza A virus vaccines and inhibitors
WO2008132995A1 (ja) * 2007-04-12 2008-11-06 The University Of Electro-Communications 粒子計測装置、及び粒径計測装置
JP2009229103A (ja) * 2008-03-19 2009-10-08 Toshiba Corp 金属コロイドの定量方法
JP5228826B2 (ja) 2008-11-17 2013-07-03 大日本印刷株式会社 細胞画像解析装置および細胞画像解析方法
JP4841652B2 (ja) 2009-07-10 2011-12-21 日本電信電話株式会社 半透明物体の動き検出装置および方法
JP5849503B2 (ja) 2011-08-01 2016-01-27 株式会社Ihi 粒子観察装置及びマニピュレート装置
TWI708052B (zh) * 2011-08-29 2020-10-21 美商安美基公司 用於非破壞性檢測-流體中未溶解粒子之方法及裝置
JP6593174B2 (ja) * 2014-01-17 2019-10-23 株式会社ニコン 微粒子分析装置、観察装置、微粒子分析プログラムおよび微粒子分析方法
US10976255B2 (en) 2016-04-28 2021-04-13 National Institute Of Advanced Industrial Science And Technology Optical detection method and optical detection device
TWI605252B (zh) 2016-11-16 2017-11-11 中原大學 用以量測目標物運動狀態及其磁性粒子含量之磁泳量測系統
JP7028454B2 (ja) * 2016-11-30 2022-03-02 国立研究開発法人産業技術総合研究所 標的物質検出装置及び標的物質検出方法
JP2020513280A (ja) * 2016-12-14 2020-05-14 プロジェニティ， インコーポレイテッド 消化管疾病の免疫抑制剤による治療
GB201806404D0 (en) 2018-04-19 2018-06-06 Castrol Ltd Apparatus and method for fluid analysis
JP7496368B2 (ja) * 2019-03-12 2024-06-06 ノヴィラクス エルエルシー 診療地点濃度分析器

Also Published As

Publication number Publication date
US20220207753A1 (en) 2022-06-30
EP4050323A4 (en) 2023-01-04
WO2021079701A1 (ja) 2021-04-29
JPWO2021079701A1 (zh) 2021-04-29
JP7535760B2 (ja) 2024-08-19
EP4050323A1 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
Gopakumar et al. Convolutional neural network‐based malaria diagnosis from focus stack of blood smear images acquired using custom‐built slide scanner
US8128890B2 (en) Methods and algorithms for cell enumeration in a low-cost cytometer
JP4765890B2 (ja) 異物検出装置
EP2495552A1 (en) Image processing device for defect inspection and image processing method for defect inspection
EP2461199A1 (en) Microscope, Region Determining Method, and Program
CN108474743B (zh) 流体中的物质的光学探测
AU2022283636B2 (en) A microfluidic image analysis system
US20060238846A1 (en) Imaging device
US20180052108A1 (en) Image processing method and image processing device
CN114514557A (zh) 计数方法、计数装置及程序
EP1947441B1 (en) Apparatus for determining positions of objects contained in a sample
WO2022009104A2 (en) Focusing a microscope using fluorescent images
JP7404340B2 (ja) 被測定物質の検出装置及び被測定物質の検出方法
EP2513637B1 (en) Substance determining apparatus
JP2008116422A (ja) 微粒子検出装置
JPH0783817A (ja) フロー式粒子画像解析方法およびフロー式粒子画像解析装置
US20090238413A1 (en) Method for quantifying metal colloid
CN113406318B (zh) 用于测试生物样本的装置及控制器
JP2020190465A (ja) 測定方法および測定装置
WO2023095414A1 (ja) 微小粒子の計測方法、微小粒子計測装置及び微小粒子計測システム
JP7452544B2 (ja) 情報処理装置およびプログラム
CN112930473B (zh) 红细胞的等容球化
WO2018139242A1 (ja) 画像解析システム、画像解析方法及びプログラム
JP2020046255A (ja) 透明体検査装置及び透明体検査方法
WO2009004538A1 (en) Microelectronic sensor device for examinations in a carrier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination