CN112119313B - 微流体器件观察装置 - Google Patents

微流体器件观察装置 Download PDF

Info

Publication number
CN112119313B
CN112119313B CN201880093307.7A CN201880093307A CN112119313B CN 112119313 B CN112119313 B CN 112119313B CN 201880093307 A CN201880093307 A CN 201880093307A CN 112119313 B CN112119313 B CN 112119313B
Authority
CN
China
Prior art keywords
image
microfluidic device
pixel group
flow path
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880093307.7A
Other languages
English (en)
Other versions
CN112119313A (zh
Inventor
大野义典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN112119313A publication Critical patent/CN112119313A/zh
Application granted granted Critical
Publication of CN112119313B publication Critical patent/CN112119313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6452—Individual samples arranged in a regular 2D-array, e.g. multiwell plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/08—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a stream of discrete samples flowing along a tube system, e.g. flow injection analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N37/00—Details not covered by any other group of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

一种微流体器件观察装置，观察在至少一部分区域中平行地配设具有相同宽度的多个流路的微流体器件，具备：拍摄部，取得微流体器件的图像；提取像素选择部，基于构成取得的所述图像的多个像素的亮度值，利用规定的基准从该多个像素中选择提取像素；特征像素组检测部，从由分别以线状连续排列的规定个数以上的提取像素构成的多个提取像素组中检测出预定平行度以上的多个提取像素组并分别作为特征像素组；流路边界像素组选择部，从多个特征像素组中选择相距距离与流路的宽度对应的特征像素组的小组作为流路边界像素组；流路图像提取部，基于所述图像中流路边界像素组的位置确定所述1个至多个流路的边界位置，提取各流路的图像。

Description

微流体器件观察装置
技术领域
本发明涉及一种微流体器件观察装置，为了针对配设有一个乃至多个流路的微流体器件观察这些流路的内部而使用。
背景技术
微流体器件是根据利用了微机械系统(MEMS：Micro Electro MechanicalSystem)等的微加工技术在基板上形成一个乃至多个流路的器件(例如专利文献1)。微流体器件例如通过以下方式制作：在下表面侧形成成为流路的凹部，并在该流路的端部的位置将形成有用于被检流体的导入等的贯通孔的上基板与下基板接合。微流体器件例如像专利文献2所述的那样，为了检查细菌和真菌(对象菌)对于抗菌药的感受性而使用。
现有技术文献
专利文献
专利文献1：日本特开2013-3011号公报
专利文献2：日本特开2015-177806号公报
专利文献3：日本特开11-97512号公报
发明内容
发明要解决的技术问题
为了具体说明本发明所要解决的技术问题，对所述检查中使用的微流体器件的一例进行说明(参照图1)。该微流体器件100的上表面设置有一个导入口101和5个空气口102a～102e。在微流体器件100内部，设置有在导入口101的正下方具有一端的菌液导入流路103。菌液导入流路103在中途被分支为5个分支流路103a～103e，这些分支流路分别延伸至所述空气口102a～102e的正下方。5个分支流路103a～103e相互平行地配设于空气口102a～102e的附近。
在使用了上述微流体器件100的对象菌的检查中，首先，从空气口102a～102d向分支流路103a～103d导入以不同浓度含有相同种类的抗菌药的抗菌液a～d。此处被导入的抗菌液a～d的量为滞留在分支流路103a～103d的内部(未到达菌液导入流路103)的水平。分支流路103e中不导入抗菌液。然后，使导入至各分支流路103a～103d的抗菌液a～d干燥从而使抗菌药固定在各分支流路103a～103d的壁面。接着，将含有对象菌的菌液从导入口101导入菌液导入流路103。由于在分支流路103a～103e的端部形成用于通风的空气口102a～102e，因此各分支流路103a～103e内的空气随着菌液的流入而从空气口排出，菌液流入至各分支流路103a～103e。在分支流路103a～103d中，流入的菌液与固定在各流路的壁面的抗菌药接触。导入菌液后，每隔规定时间确认对象菌的状态。
在进行对象菌的状态的确认时，检查者将微流体器件100设置在显微镜的规定位置，获取在该显微镜的视野所捕捉到的区域(观察区域)104的图像。检查者进一步从该图像中确定各分支流路103a～103e所对应的部分。然后，确认存在于各分支流路103a～103e的内部的菌的数量和状态。
如上所述，由于在分支流路中的一个(在上述示例中为分支流路103e)中未导入抗菌液，因此通过将从该分支流路103e的图像确认到的菌的数量和状态与从该分支流路103e以外的分支流路103a～103d的图像确认到的细菌的数量和状态进行比较，能够知道使用以何种浓度含有抗菌药的抗菌液才能显现对于对象菌的效果。
在上述检查中，使用形成有与所使用的抗菌液的数目(抗菌药的浓度数)相对应的数目的分支流路的微流体器件。在上述例子中，由于抗菌药的浓度为4种因而分支流路为5条，在例如使用9种浓度的抗菌药的情况下，需要使用形成有10条分支流路的微流体器件。因此，检查者需要对每个微流体器件确定位于不同位置的分支流路的图像，该作业较为耗费工夫。此外，在这样的检查中，一般要反复进行在规定时间使抗菌药作用于对象菌并观察对象菌的状态、这样的作业。进而，在大多情况下，用于该检查的微流体器件的数目也较多。因此，必须对大量的微流体器件分别反复进行拍摄并确定得到的图像的分支流路，对检查者来说这成为了巨大的负担。
本发明要解决的技术问题在于提供一种微流体器件观察装置，能够简便地得到配设在微流体器件的多个流路的图像。
用于解决上述技术问题的方案
为了解决上述技术问题而完成的本发明是一种微流体器件观察装置，对在至少一部分区域中平行地配设有具有相同宽度的多个流路的微流体器件进行观察，其特征在于，具备：
拍摄部，获取所述微流体器件的至少所述一部分区域的图像；
提取像素选择部，基于构成获取到的所述图像的多个像素的亮度值，利用规定的基准从该多个像素中选择提取像素；
特征像素组检测部，从由各自以线状连续排列的规定个数以上的所述提取像素构成的多个提取像素组中，检测预先确定的相互的平行度的平行度以上的多个提取像素组并分别作为特征像素组；
流路边界像素组选择部，从多个所述特征像素组中，选择相距距离与所述流路的宽度相对应的特征像素组的小组作为流路边界像素组；
流路图像提取部，基于所述图像中所述流路边界像素组的位置，确定所述多个流路的边界的位置来提取各流路的图像。
在微流体器件的至少一部分的区域形成的多个流路，典型地为直线状的流路(即流路的边界为直线)，也可以是圆弧状或椭圆弧状、S形状的流路。
所述拍摄部只要可获取在微流体器件形成的流路的边界出现对比度的图像，其种类就不受限定。对所述拍摄部例如能够使用光学显微镜、光学照相机、相位差显微镜，微分干涉显微镜。
在本发明的微流体器件观察装置中，首先，将微流体器件设置于拍摄部的规定位置以使平行配设有多个具有相同宽度的流路的区域(所述至少一部分的区域)在视野中被捕捉到，并获取该区域的图像。然后，基于构成所述图像的多个像素的亮度值，利用规定的基准从该多个像素中选择提取像素。这是例如能够将对流路的边界以及被检物均不存在的位置的像素假定的亮度值(背景亮度值)设为阈值，通过确定比该阈值的亮度高(或者低)的像素来进行的选择。或者，也可以将所有像素的亮度的平均值或者如图像的四个角那样的被认为是流路的边界与被检物均不存在的位置的像素的亮度值设为阈值，确定比该阈值的亮度高(或者低)的像素。此外也可以是，不使用亮度值这一项，而是使用微分滤波器根据图像数据求出边缘强度(亮度的变化量)，基于将该值与预先决定的值进行比较的结果来选择提取像素。通过使用这样的微分滤波器，能够去除背景而容易地选择与流路的边界等的构造相对应的提取像素。另外，选择亮度高的像素还是选择亮度低的像素根据使用的拍摄部的特性(流路的边界显现为明还是暗)来决定即可。
在所述图像中，由于流路的边界、存在于该流路的内部的被检物(例如菌)那样的构造物或者噪声而产生对比度。因此，由提取像素选择部选择的提取像素中，混杂着与存在这些的位置相对应的像素。于是，接下来，在由各自以线状连续排列的规定个数以上的提取像素构成的提取像素组中，检测出相互的平行度在预先决定的平行度以上的提取像素组作为特征像素组。此处所述的线状不限定于宽度为1像素的线状，而是指宽度和长度之比为规定值以上的线状。此外，该线状是与流路的形状相对应的线状即可，不一定限定于直线状，也可以是圆弧状、S形状等。该处理例如能够通过以下方式进行：求出利用邻接置位的多个提取像素形成的形状，根据该形状确定该线延伸的方向，提取沿该方向排列的提取像素的数目为规定个数以上的像素组。另外，所述规定个数可以设为如下水平的数目：即，根据排列了该规定个数的像素的长度可推测存在于与这些像素对应的位置的构造。一般而言，由于噪声数据很少连续存在于多个像素中，因此通过该处理，能够排除与噪声对应的提取像素。此外，多个提取像素组的平行度例如能够通过以下方式决定：根据各提取像素组的位置求出近似直线，并对其斜率进行相互比较。
接着，从多个特征像素组中，选择相距距离与流路的宽度对应的特征像素组的小组作为流路边界像素组。由此确定图像中流路的边界的位置。最后，基于流路边界像素组的位置来确定多个流路的边界的位置，提取各流路的图像。
如此，在本发明的微流体器件观察装置中，可以得到将由拍摄部获取的图像依次由提取像素选择部、特征像素组检测部、流路边界像素组选择部以及流路图像提取部进行处理而得的各流路的图像。因此，检查者不需要亲自手动从观察区域的图像中提取各流路的图像，能够简便地得到各流路的图像。
在大多情况下，在微流体器件的至少一部分的区域中形成的多个流路的间隔也相同。于是，在本发明的微流体器件观察装置中，能够构成为：
所述流路边界像素组选择部选择邻接的两个所述特征像素组的相距距离相等的小组作为所述流路边界像素组。由此，能够进一步精确地提取处于流路的边界部的像素。
发明效果
通过使用本发明的微流体器件观察装置，能够简便地得到配设于微流体器件的多个流路的图像。
附图说明
图1是微流体器件的一构成例。
图2是本发明涉及的微流体器件观察装置的一实施例的主要部分构成图。
图3是对本实施例中提取微流体器件的流路的图像的步骤进行说明的流程图。
图4是本实施例中将观察图像数据的亮度值二值化而得的图像的例。
图5是对本实施例中求出直线的相距距离的方法进行说明的图。
图6是在本实施例中创建的直方图的例。
图7是对本实施例中从观察图像中提取流路的方法进行说明的图。
具体实施方式
下面参照附图对本发明的微流体器件观察装置的一实施例进行说明。在本实施例中，例举以下情况来进行说明：使用参照图1说明的微流体器件100检查对象菌对于以相互不同的4种浓度含有相同的抗菌药的抗菌液a～d的感受性。
图2是本实施例的微流体器件观察装置1的主要部分构成图。本实施例的微流体器件观察装置1大致由分注部2、培养箱3、相位差显微镜4(拍摄部)以及控制与处理部10构成。在分注部2和培养箱3之间、培养箱和相位差显微镜4之间，设有用于接收来自控制与处理部10的指令从而在两者之间输送微流体器件100的器件输送路径以及输送机构(图示省略)。
控制与处理部10具有对分注部2、培养箱3以及相位差显微镜4的动作进行控制的功能和处理由相位差显微镜4得到的图像的功能。控制与处理部10具备存储部11，进一步具备提取像素选择部21、特征像素组检测部22、流路边界像素组选择部23以及流路图像提取部24作为功能块。控制与处理部10的实际形态为通常的计算机，通过利用其处理器执行微流体器件观察用程序20来体现这些功能块。此外，控制与处理部10连接有用于供检查者输入适当信息的输入部30、与用于显示微流体器件100的流路的图像等的显示部40。
在微流体器件100的上表面设有1个导入口101和5个空气口102a～102e。在微流体器件100内部设有在导入口101的正下方具有一端的菌液导入流路103。菌液导入流路103在中途分支为5个分支流路103a～103e，这些分支流路分别以直线状延伸至所述空气口102a～102e的正下方为止。5个分支流路103a～103e相互平行地配设于空气口102a～102e的附近。另外，图1以容易明白的方式示出了各分支流路103a～103e，在实际的微流体器件中，分支流路103a～103e的流路宽度长于流路间隔。
接着，对使用了本实施例的微流体器件观察装置1的对象菌对于抗菌药的感受性的检查的流程进行说明。
检查者准备以规定的比例(例如，通过对象菌的数量和其培养液的量来规定)含有对象菌的菌液与检查所使用的以不同浓度含有抗菌药的抗菌液a～d，并提前设置在分注部2。
当检查者通过输入部30来指示检查开始时，从控制与处理部10向分注部2发送指示分注动作开始的控制信号。
在分注部2中，将抗菌液a～d导入至微流体器件100的各个分支流路103a～103d，接着将含有对象菌的菌液从导入口101导入至菌液导入流路103。菌液的导入量预先决定为达到使抗菌药固定在分支流路103a～103d的位置的水平的量。由于在分支流路103a～103e的端部形成用于通气的空气口102a～102e，因此随着菌液的流入各分支流路103a～103e内的空气从空气口排出，菌液流入各分支流路103a～103e。在分支流路103a～103d中，流入的菌液与固定在各流路的壁面的抗菌药接触。
导入抗菌液a～d和菌液后，将微流体器件100输送到培养箱3，以规定时间、规定的温度加温来培养对象菌。规定时间的培养后，将微流体器件100从培养箱3输送到相位差显微镜4。下面参照图3的流程图对本实施例的微流体器件观察装置1中的提取微流体器件的流路的图像的步骤进行说明。
被输送至相位差显微镜4的微流体器件100以规定朝向被保持在规定的拍摄位置。由相位差显微镜4对视野中被捕捉到的微流体器件100的区域进行拍摄。整个微流体器件100中在相位差显微镜4的视野中被捕捉到的区域(相当于本发明中的至少一部分的区域)成为观察区域104，在相位差显微镜4中获取观察区域104的图像(以下称为“观察图像”)(步骤S1)。相位差显微镜4将获取到的观察区域104的图像数据发送至控制与处理部10。在控制与处理部10中接收到的拍摄数据被保存在存储部11。
若图像数据被保存在存储部11，则提取像素选择部21使用微分滤波器计算图像内的边缘强度(亮度的变化量)(步骤S2)。可以直接使用由相位差显微镜4得到的图像进行后述的处理，也能够通过使用微分滤波器实施前处理，能够使用图像内的边缘强度以更高的精度推进后述的处理。作为微分滤波器，除了sobel滤波器、prewitt滤波器、canny滤波器之类的一次微分滤波器外，还能够使用laplacian滤波器等二次微分滤波器。此外，能够使用形态学(morphology)运算等、对图像数据中包含的亮度变化进行检测的各种方法来代替使用微分滤波器。
提取像素选择部21针对使用微分滤波器提取了边缘强度的图像数据选择其边缘强度的值为规定值以上的像素作为提取像素(步骤S3)，对选择的像素赋予1，对非选择的像素赋予0，从而将图像数据二值化(步骤S4。参照图4)。在此，虽然利用0和1这样的值来进行二值化，但也可以由其它的值或符号等来进行二值化。此外，在此，对像素内的位置没有限定而以同一值作为基准选择提取像素，但也能够使用与各像素的亮度值的大小对应的规定值(例如，将相对于对象像素的亮度值在规定比例以上的边缘强度的值的像素设为提取像素)。由此，即使在根据拍摄时的环境而有图像内存在明亮(亮度值大)部分和暗淡(亮度值小)部分的情况下也能适当地选择提取像素。此外，也可以使用在整个图像中以注视像素为中心的规定的范围(例如，9像素×9像素的范围)中根据亮度值的分散而不同的值。另外，虽然菌的大小与流路的宽度和长度相比很微小，但在图4中为了用容易明白的方式示出对象菌的存在而示出得比实际更大。
在通过上述处理选择的提取像素中，混杂着位于流路的边界的像素、对象菌存在的位置的像素、以及噪声产生的位置的像素等。于是，接着，特征像素组检测部22从经过二值化的图像数据中检测以线状连续排列的规定个数以上的提取像素作为特征像素组(步骤S5)。在此，规定个数预先设为能够根据该个数的像素的位置推测特征像素组的形状的数目。应该将规定个数设为何种水平的数目根据流路的形状而不同。在本实施例中，为了基于构成特征像素组的像素的位置(坐标)求出表示该特征像素组的直线方程，最少只要包含2个提取像素即可，但如果规定个数过少则直线方程的精度较差。另一方面，虽然使规定个数越多越能高精度地求出表示特征像素组的直线方程，但是若规定个数过多，有位于流路边界的像素的一部分未出现对比度而未被选择作为提取像素的情况(即，提取像素的连续的数目较少的情况)，则位于流路的边界的提取像素将不被检测为特征像素组。若考虑到这些情况，则上述规定个数优选设为相当于图像尺寸(矩形图像的情况下为短边，圆形图像的情况下为直径)的十分之一所对应的长度的像素数目水平。
接着，流路边界像素组选择部23对由特征像素组检测部22检测到的n个特征像素组赋予编号m(m为1以上n以下的整数)，求得表示各特征像素组的直线方程Lm(步骤S6)。表示特征像素组的直线方程Lm是指基于构成该特征像素组的多个提取像素的坐标而得的近似直线。在本实施例中，为了求出表示各特征像素组的直线方程Lm而使用霍夫变换。
霍夫变换是图像处理领域中在提取图像的特征时使用的方法之一。在霍夫变换中，在二维平面(x-y平面)上，以从原点到直线的法线的距离r和法线与x轴所成的角度θ来表达直线方程。在霍夫变换中，使用由下式(1)表示的直线方程。
r＝xcosθ+ysinθ…(1)
首先，对构成特征像素组的一个提取像素求出使用了式(1)而得的直线方程。由于在该阶段只规定了一个坐标值，因而直线方程不是唯一确定的，而是r和θ的函数。对于构成特征像素组的提取像素分别使用该提取像素的坐标求出r和θ的函数。然后，对于按照提取像素的数目得到的r和θ的函数，将它们投影到设为双轴的霍夫空间，求出投影数较多(一致度最高)的r和θ的值。由此决定表示特征像素组的直线方程。在构成特征像素组的提取像素位于一条直线上的情况下，对这些提取像素各自求出的r和θ的函数在一点上相交，根据该交点对应的r和θ的值能够严谨地确定直线。然而，在实际的图像中，由于特征像素组在其宽度方向上跨越多个像素、或者局部成为阶梯状，因此提取像素很少完全位于一条直线上。因此，利用在霍夫空间中投影数较多的r和θ的值来决定与该特征像素组对应的直线方程。这样，可以得到下式(2)作为针对第m个特征像素组的直线方程Lm：
amx+bmy＝1(am，bm是系数)…(2)
在本实施例中利用霍夫变换求出与特征像素组分别对应的直线方程Lm，但也可以利用其他方法求出直线方程Lm。例如，能够使用最小二乘法求出针对构成特征像素组的各提取像素的坐标的近似直线。
接下来，流路边界像素组选择部23对针对特征像素组各自得到的直线方程Lm的斜率进行判定。表示由上式(2)所表示的直线方程Lm的斜率的单位矢量vm，如下式(3)所表示。
vm＝(-bm/lm，am/lm)(其中，lm＝(am 2+bm 2)1/2)…(3)
针对所有直线方程Lm得到斜率vm后，求出这些斜率的中位数vctr。然后，将与具有不满足下式(4)的斜率的直线对应的特征像素组(离群值)从处理对象中排除(步骤S7)。
|<vm·vctr>|≥α(α为0以上小于1的值)…(4)
式(4)是与各特征像素组对应的直线方程Lm的斜率vm和所有斜率vm的中位数vctr的内积。此外，α是0以上小于1的实数。即，式(4)是指相对于具有平均值vctr的斜率的直线的平行度为规定以上(直线Lm的斜率vm接近其它直线方程的斜率)。在本实施例的微流体器件100中，由于在观察区域104内平行地形成多个分支流路103a～103e，因此与位于各流路的边界的特征像素组对应的直线应当相互平行。由此，通过将与具有不满足上式(4)的斜率的直线对应的特征像素组从处理对象中排除，能够排除被认为不是流路的边界的特征像素组(与对象菌的位置对应的特征像素组等)。
在此使用了与各特征像素组对应的直线方程Lm的中位数vctr，但不一定必须为中位数，还能够使用如下适当的值：求出与各特征像素组对应的直线方程Lm的斜率vm的平均值、与各特征像素组对应的直线方程Lm的斜率vm的分布，并去除对应于该分布的端部的规定个数的斜率而得的平均等。此外，在可推测相当于流路边界的直线的近似斜率(观察图像内的流路的斜率)的情况下也能够使用该推测值。
针对上述处理后剩余的k(k≤n)个直线方程Lp(p是1以上k以下的整数)，求出其与从各自的直线观察时在特定的方向(例如x轴的正方向)邻接的另一条直线的相距距离(步骤S8)。由于这些直线方程Lp不是严格的相互平行，因此如下所述地规定直线的相距距离dp。
在本实施例中，如图5(a)所示，针对分别由注视的直线方程Lp以及邻接的直线方程Lp+1表示的直线，求出与通过观察图像的中心C且平行于y轴的直线(直线方程Ly)的交点。然后，将这些交点之间的距离设为两直线的相距距离dp。另外，如图5(b)所示，针对分别由注视的直线方程Lp以及邻接的直线方程Lp+1表示的直线，求出与通过观察图像的中心C且平行于x轴的直线(直线方程Lx)的交点，也能够将这些交点之间的距离设为两直线的相距距离dp。进而，如图5(c)所示，对于分别由注视的直线Lp以及邻接的直线Lp+1表示的直线，求出与通过观察图像的中心C的直线(直线方程Lp的法线L')的交点，也能够将这些交点之间的距离设为两直线的相距距离dp。
接着，对于针对k-1条直线分别求出的直线的相距距离dp，以规定的阶层宽度创建直方图(步骤S9)。本实施例的微流体器件100中形成的分支流路103a～103e的流路宽度和流路间隔均为固定的。从而，在创建的直方图中，应当是相当于该流路宽度的相距距离dp最多，其次是相当于流路间隔的相距距离dp较多。因此，针对k-1条直线分别判定与该直线相关的相距距离dp是否包含在最大阶层中。
本实施例的微流体器件100中，平行地形成有5条分支流路103a～103e。因此，理想情况下如图6(a)所示，与流路之间的距离对应的位置上存在4个数据，与流路宽度对应的位置上存在5个数据，除此以外的位置上不存在数据。若在得到了这样的直方图的情况下，则判断为对5条直线求出的相距距离dp包含在最大阶层中。对于被判断为是包含在最大阶层中的相距距离dp，通过提取与其相对应的直线Lp和与该直线邻接的直线Lp+1的小组，能够选择构成流路的边界的像素组(流路边界像素组)。
然而，实际上，即使经过上述各处理，也有可能存在包含构成流路的边界的直线以外的直线(源自对象菌的直线或源自噪声的直线)的情况。在该情况下，成为例如图6(b)和图6(c)所示的直方图。即使在这种情况下，构成流路的边界的直线也以与流路宽度、流路间距离相对应的固定的间隔而置位，与此相对地，除此以外的直线随机置位。因此，若选择直方图中的最大阶层，则将会选择流路宽度(图6(b))或者流路间距离(图6(c))的任一方。由此，能够通过提取与其对应的直线Lp、与该直线邻接的直线Lp+1的小组(步骤S10)来选择构成流路的边界的像素组(流路边界像素组)(步骤S11)。
若通过上述处理选择流路边界像素组，则如图7(a)或图7(b)所示，可以明确观察图像中流路的边界的位置。在图7(a)所示的状态(根据图6(a)或图6(b)的直方图得到的状态)中，从图像的端部开始将2条线作为1小组并将夹在其中的区域(带阴影的部分)作为流路即可。另一方面，在图7(b)所示的状态(根据图6(c)的直方图得到的状态)中，从图像的端部开始将2条线作为1小组而夹在其中的区域(带阴影的部分)不是流路。
因此，在决定了观察图像中流路的位置后，比较以下两种情况的流路宽度的哪一个更宽：从其端部起选择2条线作为1小组，将夹在其中的区域作为流路的情况下的流路宽度；从端部起第2条直线开始按顺序选择2条线作为1小组，将夹在其中的区域作为流路的情况下的流路宽度。如上所述，在图1中为了易于理解地示出流路而将流路宽度示出地较窄，但在实际使用的微流体器件中，流路宽度比流路间隔更宽。因此，将在上述比较的结果中被判定为更宽的一方设为流路。在判定为后者(从端部起第2条直线开始依次选择2条线作为1小组的情况)的流路宽度较宽的情况下，成为位于直线状的流路边界像素组在图像的两端各留下一条的状态。判断在两端留下的直线各自的外侧是否可以追加与其它流路相同宽度的流路(即，在该直线的外侧是否留有相当于流路宽度的空间)，在可以的情况下追加相当于流路的边界的直线(在图7(c)中以单点划线显示)。由此追加流路。
若通过上述处理确定观察图像中流路的位置，则流路图像提取部24提取根据观察图像确定的各流路103a～103e的图像(步骤S12)。然后，将这些图像数据保存在存储部11，并将这些图像显示在显示部40。此时，可以原样提取所确定的流路的位置的图像，但流路的边界的对比度会影响流路的图像，为了防止该对比度被误认为是对象菌，也可以将确定的流路的位置内侧的区域提取为流路的图像，该内侧的区域与该确定的流路的位置间隔规定数目的像素对应的距离。或者，可以不单独提取各流路的图像，而是可以创建对观察图像的流路以外的部分实施黑、白蒙版处理的图像，或者可以创建突出显示观察图像的流路部分的图像。
上述实施例是一例，且能根据本发明的主旨适当地进行变更。
在上述实施例中，说明了进行对象菌对抗菌药的感受性的检查的情况，在其它目的的检查中也能够使用与上述相同的微流体器件观察装置。
虽然在上述实施例中以微流体器件100中形成5条直线状的分支流路103a～103e的情况为例进行了说明，但流路的数目也可以根据检查所使用的抗菌液的数目(浓度的种类)适当变更。此外，流路的形状不限于直线状，也可以是曲线状。曲线状例如能够是圆弧状(包含椭圆弧)或者S形状(蛇行形状)。即使流路形状是曲线状，也可应用本说明书中说明的霍夫变换。特别是在流路形状为圆弧或椭圆弧的情况下，只要利用表示圆或椭圆的数学式来代替上述实施例的霍夫变换求出特征像素组的形状，并使用曲线的平行度来代替上述实施例中直线的平行度即可。例如能够使用平行曲线的思考方式，平行曲线被定义为相对于某条曲线，与该曲线上的各点沿法线方向具有固定距离的曲线。
上述实施例中使用了相位差显微镜作为拍摄部，但是拍摄部只要可获取在微流体器件中形成的流路的边界出现对比度这样的图像，则其种类就不被限定。例如能够使用光学显微镜、光学照相机、微分干涉显微镜。
在上述实施例中，在决定观察图像中流路的位置后，比较以下两种情况的流路宽度哪一个更宽来决定流路：从图像的端部起选择2条线作为1小组，将夹在其中的区域作为流路的情况下的流路宽度；从端部起第2条直线开始依次选择2条线作为1小组，将夹在其中的区域作为流路的情况下的流路宽度，但也可以将确定了观察图像中流路的位置的图像显示于显示部40，由检查者通过输入部30的操作来选择哪一方为流路。或者也能够构成为，不进行上述的比较而决定流路并将由流路图像提取部24提取出的该流路的图像显示于显示部40，在检查者对其进行确认并判断为不是流路的情况下，指示进行反转操作(将与在先作为构成流路的边界而使用的直线的小组不同的两条直线之间夹着的区域作为流路，由流路图像提取部24提取该图像的操作)。
附图标记说明
1 微流体器件观察装置
2 分注部
3 培养箱
4 相位差显微镜
10 控制与处理部
11 存储部
20 微流体器件观察用程序
21 提取像素选择部
22 特征像素组检测部
23 流路边界像素组选择部
24 流路图像提取部
30 输入部
40 显示部
100 微流体器件
101 导入口
102a～102e 空气口
103 菌液导入流路
103a～103e 分支流路
104 观察区域。

Claims (5)

1.一种微流体器件观察装置，对在至少一部分区域中平行地配设有具有相同宽度的多个流路的微流体器件进行观察，该微流体器件观察装置的特征在于，具备：
拍摄部，获取所述微流体器件的至少所述一部分区域的图像；
提取像素选择部，基于构成获取到的所述图像的多个像素的亮度值，利用规定的基准从该多个像素中选择提取像素；
特征像素组检测部，从分别由以线状连续排列的规定个数以上的所述提取像素构成的多个提取像素组中，检测出相互的平行度为预先决定的平行度以上的多个提取像素组并分别作为特征像素组；
流路边界像素组选择部，从多个所述特征像素组中，选择相距距离与所述流路的宽度对应的特征像素组的小组作为流路边界像素组；
流路图像提取部，基于所述图像中所述流路边界像素组的位置，确定所述多个流路的边界的位置来提取各流路的图像。
2.如权利要求1所述的微流体器件观察装置，其特征在于，
所述提取像素选择部使用微分滤波器求出所述图像的边缘强度。
3.如权利要求1所述的微流体器件观察装置，其特征在于，
所述流路形成为直线状，
所述特征像素组检测部针对所述提取像素组分别求出与构成该提取像素组的像素的位置对应的近似直线，检测出该近似直线的斜率与其他近似直线的斜率之差是预先决定的大小以下的提取像素组作为特征像素组。
4.如权利要求3所述的微流体器件观察装置，其特征在于，所述特征像素组检测部利用霍夫变换求出所述近似直线。
5.如权利要求1所述的微流体器件观察装置，其特征在于，所述流路边界像素组选择部创建与所述相距距离相关的直方图，选择属于该直方图中的最大阶层的所述特征像素组作为所述流路边界像素组。
CN201880093307.7A 2018-07-23 2018-07-23 微流体器件观察装置 Active CN112119313B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/027553 WO2020021603A1 (ja) 2018-07-23 2018-07-23 マイクロ流体デバイス観察装置

Publications (2)

Publication Number Publication Date
CN112119313A CN112119313A (zh) 2020-12-22
CN112119313B true CN112119313B (zh) 2024-04-05

Family

ID=69180941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880093307.7A Active CN112119313B (zh) 2018-07-23 2018-07-23 微流体器件观察装置

Country Status (4)

Country Link
US (1) US11852587B2 (zh)
JP (1) JP6954473B2 (zh)
CN (1) CN112119313B (zh)
WO (1) WO2020021603A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116679461B (zh) * 2022-09-29 2024-01-05 华为技术有限公司 图像传感器、成像装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003011A (ja) * 2011-06-17 2013-01-07 Shimadzu Corp マイクロ流体デバイス
CN103198468A (zh) * 2011-09-08 2013-07-10 株式会社Pfu 图像处理装置、图像处理方法和图像处理系统
CN104011541A (zh) * 2011-09-13 2014-08-27 国立大学法人大阪大学 细菌或真菌的抗菌药物敏感性的检查方法及其中使用的系统
JP2016026481A (ja) * 2014-03-31 2016-02-18 大日本印刷株式会社 コロニー検出システム、コロニー検出方法、及び、プログラム
JP2017184737A (ja) * 2016-03-31 2017-10-12 株式会社フコク Ｍｆｄ検査支援システムおよびｍｆｄを用いた検査方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3925166A (en) * 1974-09-06 1975-12-09 Us Health Automated system for the determination of bacterial antibiotic susceptibilities
JPH0787997A (ja) * 1993-09-27 1995-04-04 Nittetsu Mining Co Ltd 菌等の育成阻止領域の認識方法及びその装置
JP2791303B2 (ja) * 1995-11-18 1998-08-27 株式会社電脳技研 １つの連結領域が示すコロニーの個数を識別する識別方法及びこれを用いたコロニー計数装置
JPH1197512A (ja) 1997-07-25 1999-04-09 Nikon Corp 位置決め装置及び位置決め方法並びに位置決め処理プログラムを記録したコンピュータ読み取り可能な記録媒体
EP1636017A2 (en) * 2003-05-20 2006-03-22 Fluidigm Corporation Method and system for microfluidic device and imaging thereof
JP5066583B2 (ja) * 2008-01-22 2012-11-07 株式会社島津製作所 測定装置並びにそれらを備えた液体採取測定システム
EP2551664B1 (en) * 2010-03-24 2014-11-12 Shimadzu Corporation Measuring system
JP5298237B2 (ja) * 2010-03-24 2013-09-25 株式会社島津製作所 測定システム
US8508588B2 (en) * 2010-05-19 2013-08-13 General Electric Company Methods and systems for identifying well wall boundaries of microplates
JP5776782B2 (ja) * 2011-10-19 2015-09-09 株式会社島津製作所 測定システムに用いられる表示装置、表示方法並びに表示プログラム
EP2602608B1 (en) * 2011-12-07 2016-09-14 Imec Analysis and sorting of biological cells in flow
ITTO20130940A1 (it) * 2013-11-20 2015-05-21 St Microelectronics Srl Kit per analisi biochimiche e metodo per eseguire un processo biochimico di tipo migliorato
WO2016025809A1 (en) * 2014-08-14 2016-02-18 The Trustees Of The University Of Pennsylvania Apparatus and methods for analyzing the output of microfluidic devices
US9581800B2 (en) * 2014-11-21 2017-02-28 General Electric Company Slide holder for detection of slide placement on microscope
WO2016090148A1 (en) * 2014-12-03 2016-06-09 IsoPlexis Corporation Analysis and screening of cell secretion profiles
JP6448129B2 (ja) * 2015-01-05 2019-01-09 株式会社ニコン 細胞評価装置、インキュベータ、細胞評価方法、プログラム、及び細胞の培養方法
EP3605462A4 (en) * 2017-03-24 2020-08-12 SCREEN Holdings Co., Ltd. IMAGE PROCESSING METHOD AND IMAGE PROCESSING DEVICE
SG11202011180UA (en) * 2018-05-31 2020-12-30 Berkeley Lights Inc Automated detection and characterization of micro-objects in microfluidic devices
US11940451B2 (en) * 2021-12-20 2024-03-26 Instrumentation Laboratory Co. Microfluidic image analysis system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003011A (ja) * 2011-06-17 2013-01-07 Shimadzu Corp マイクロ流体デバイス
CN103198468A (zh) * 2011-09-08 2013-07-10 株式会社Pfu 图像处理装置、图像处理方法和图像处理系统
CN104011541A (zh) * 2011-09-13 2014-08-27 国立大学法人大阪大学 细菌或真菌的抗菌药物敏感性的检查方法及其中使用的系统
JP2016026481A (ja) * 2014-03-31 2016-02-18 大日本印刷株式会社 コロニー検出システム、コロニー検出方法、及び、プログラム
JP2017184737A (ja) * 2016-03-31 2017-10-12 株式会社フコク Ｍｆｄ検査支援システムおよびｍｆｄを用いた検査方法

Also Published As

Publication number Publication date
WO2020021603A1 (ja) 2020-01-30
JPWO2020021603A1 (ja) 2021-04-30
JP6954473B2 (ja) 2021-10-27
CN112119313A (zh) 2020-12-22
US20210285880A1 (en) 2021-09-16
US11852587B2 (en) 2023-12-26

Similar Documents

Publication Publication Date Title
US8265393B2 (en) Photo-document segmentation method and system
US20190156476A1 (en) Image analysis method, image analysis apparatus, program, learned deep layer learning algorithm manufacturing method and learned deep layer learning algorithm
EP2976745B1 (en) Referencing in multi-acquisition slide imaging
EP3088511B1 (en) Image processing device, program, information storage medium, and image processing method
JP6497039B2 (ja) 粒子画像流速測定方法および粒子画像流速測定装置
US11620751B2 (en) Image analysis algorithms using control slides
CN102177435A (zh) 组织病理学诊断支持系统、组织病理学诊断支持程序以及组织病理学诊断支持方法
US9964557B2 (en) Apparatus for optical microfluidics slug edge detection
US10591402B2 (en) Image processing apparatus, image processing method, and image processing program
JP7250795B2 (ja) マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法
Piccinini et al. Improving reliability of live/dead cell counting through automated image mosaicing
CN112119313B (zh) 微流体器件观察装置
JP2019032314A (ja) 組織スライスの画像の位置合わせを行う画像処理デバイス
KR101836830B1 (ko) 광학적 세포 식별방법
US20210325299A1 (en) Digital assessment of chemical dip tests
US20030083567A1 (en) Medical imaging station with a function of extracting a path within a ramified object
WO2017061112A1 (ja) 画像処理方法および画像処理装置
EP2623928B1 (en) Glass bottle inspection device
CN105389818B (zh) 元件的定位方法和系统
US20180098685A1 (en) Endoscope apparatus
EP2947624A1 (en) Image based correction for unwanted light signals in a specific region of interest
CN113554688A (zh) 一种基于单目视觉的o型密封圈尺寸测量方法
JPH0979985A (ja) 粒子反応パターン判定方法およびその装置
KR102297147B1 (ko) 어류의 시기능 평가를 위한 3차원 영상 분석 방법
CN109215068A (zh) 图像放大率测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant