CN111239044A - 细胞检测方法、装置与系统 - Google Patents
细胞检测方法、装置与系统 Download PDFInfo
- Publication number
- CN111239044A CN111239044A CN201911103101.0A CN201911103101A CN111239044A CN 111239044 A CN111239044 A CN 111239044A CN 201911103101 A CN201911103101 A CN 201911103101A CN 111239044 A CN111239044 A CN 111239044A
- Authority
- CN
- China
- Prior art keywords
- cell
- image
- hyperspectral
- time
- cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 230000000694 effects Effects 0.000 claims abstract description 30
- 238000001228 spectrum Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 19
- 230000003595 spectral effect Effects 0.000 claims description 19
- 238000006073 displacement reaction Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000007547 defect Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012899 de-mixing Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 2
- 230000001413 cellular effect Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 11
- 230000032823 cell division Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 210000001161 mammalian embryo Anatomy 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 6
- 210000002257 embryonic structure Anatomy 0.000 description 5
- 238000012216 screening Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000009087 cell motility Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/85—Investigating moving fluids or granular solids
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种细胞检测方法、装置与系统，在装置中，高光谱模块用以取得影像中跨电磁波光谱的信息，立体相机模块用以取得三维影像信息，与高光谱模块组成三目显微高光谱仪，装置设有显微光学模块，可让高光谱模块与立体相机模块通过一镜头以共光路取得细胞与分裂出的多个细胞的高光谱与三维影像信息。在所执行的检测方法中，先取得一时间内的多张连续影像，设定一观测影像数组，其中包括多个观测影像区域，在各观测影像区域取得不同时间的多个特征定位点的坐标值，以取得连续时间的高光谱与三维影像信息的变化得出整体性的细胞活动。
Description
技术领域
本发明公开一种细胞检测技术，特别涉及取得细胞活动时的高光谱与三维影像信息的细胞检测方法、装置与系统。
背景技术
胚胎等这类细胞的监测技术在生物科技上是很重要的项目，如何快速、便利又有效量测细胞结构体的形变是生物科技业界致力发展的目标。
众所周知，量测细胞位移的仪器可以分为接触式与非接触式两种类型。其中接触式的位移量测技术需要在位移方向上先设定一个参考点(不动点)，并同时校准仪器，设定这个参考点，再以仪器上的一个探针设定在另一个量测点，之后从探针位置的改变转换得出参考点与量测点之间的相对移动。然而，在此接触式的量测方法中，需要找出适合的参考点成为量测仪器中最富挑战的问题，加上仪器与量测点需要接触，也使得这个接触式量测技术有较多的限制。
而非接触式的方法多数是用光学原理进行量测，例如，可将光学系统的信号源设在一个量测点，信号源可为激光、发光二极管(LED)、相机或其他。接着再感测信号源的位置而得出相对位移，然而，非接触式的量测技术仍需要一个用于比对的基准点，也就是一个不动的点，虽可以不用接触细胞的量测点，但在量测上仍有死角(blind spot)的问题。
众所周知，技术已有采用激光光学感测法量测细胞的移动，但是因为激光光斑会发散，加上光源可能不稳定，使得量测时产生误差。
发明内容
说明书提出的细胞检测方法、装置与系统的主要技术目的是通过立体相机取得细胞的立体信息，可避免平面影像因为细胞分裂产生堆栈后的影像死角，进而取得更完整的细胞影像信息，并更准确地判断细胞状态，并同时共光路取得细胞的高光谱，可以得出复数光谱信道的影像值，进行更细致的分割，增加影像辨识准确度。
根据实施例，提出一种细胞检测方法，在方法中，以一特征定位点坐标系描述细胞分裂出多个细胞的过程，并以一细胞检测装置取得一时间内的多张连续影像，之后，于各观测影像区域取得第一时间的多个特征定位点的坐标值，以此建立一参考影像，再于各观测影像区域取得第二时间的该多个特征定位点的坐标值，可在各观测影像区域中，根据参考影像，取一个时间内多个特征定位点前后的变化，之后，根据观测影像数组中多个观测影像区域的多个特征定位点变化建立一形变向量图，得出第一时间与第二时间内细胞的活动。如此，通过取得连续时间的多个观测影像区域中高光谱与三维影像信息的变化得出整体性的细胞活动。
进一步地，于涵盖细胞与分裂出多个细胞的影像中取得一感兴趣区域，以建立所述的观测影像数组影像。
在一实施例中，所述的细胞检测装置包括一高光谱模块与一立体相机模块，通过共光路取得涵盖细胞与分裂出多个细胞的观测影像数组中多个观测影像区域的高光谱与三维影像信息。
进一步地，细胞检测装置以高光谱模块撷取一连续波长的影像，绘制出感兴趣区域内像素的光谱信息，执行光谱分类、合并以及去混合，区分出各观测影像区域中细胞影像中不要的信息，以提高影像与数据质量。
说明书提出一种细胞检测系统，即包括上述细胞检测装置与一计算机系统，可利用细胞检测装置产生的细胞与分裂出的细胞的影像高光谱与三维信息，以计算机系统中的处理器执行所述的细胞检测方法。
附图说明
图1A至1E显示检测细胞分裂的细胞活动信息的情境示意图；
图2显示细胞检测装置的实施例示意图；
图3显示细胞检测装置的另一实施例示意图；
图4显示细胞检测装置的再一实施例示意图；
图5显示细胞检测方法实施例流程图；
图6A至图6E显示使用数字影像相关法描述特征定位点随着时间变化的演算示意图；
图7显示使用数字影像相关法描述观测影像区域变化的实施例示意图。
具体实施方式
说明书公开一种细胞检测方法、装置与系统，其中检测系统以一个光学系统实现，这个光学系统主要包括有一高光谱模块(hyperspectrum module)与一立体相机模块，两者组成三目显微高光谱仪，以共光路方式进行细胞检测，其中高光谱模块主要是能够取得影像(如细胞与分裂出的多个细胞)中跨电磁波光谱的信息，立体相机模块则是可以取得细胞与分裂出的多个细胞的三维影像信息，使得细胞检测系统可以得到更精确检测结果。之后，将所取得的影像信息结合数字影像相关法(digital image correlation method)，能计算细胞在活动(如细胞分裂(cell division))时的力学分析，可以得出细胞在高光谱与立体信息分析下的活动信息。
所述细胞检测方法、装置与系统提出一种非接触式的细胞变化的量测技术，利用上述光学系统取得细胞高光谱与立体信息，配合软件影像分析的技术，还准确地量测细胞相对移动，并能通过网络系统进行远距观测的目的。
其中采用的高光谱仪产生的高光谱影像(hyperspectral image)为光谱维度上进行了细致的分割，不仅是传统灰阶或是红(R)绿(G)蓝(B)的区别，而是在光谱维度上也有多个通道，例如可以把400nm至1000nm分为300个通道。通过高光谱仪获得的数据是一个数据立方体，不但有影像的信息，还可以在光谱维度上进行展开，可以获得影像上每个点的光谱数据，同时可以获得任一光谱段的影像信号。高光谱影像在空间成像的同时，以相同的空间分辨率纪录几十至成百的光谱信道数据，迭合后可构成高光谱影像立方体。这个以高光谱仪建立的影像立方体的每个像素均可撷取到一条连续的光谱曲线，在对高光谱影像进行处理和应用，可以利用影像的空间信息外，还可利用其光谱信息提升定量分析能力，大大提高待测物(如细胞)的检测能力。
其中采用的立体相机可以采用数字摄影技术，能对拍摄到的细胞影像中的量测位置特定标点进行定位，可称量测标点，并持续记录不同时间的量测标点的位置，可计算出量测标点的位移，更者，所述细胞检测系统采用了立体相机，或是其他产生立体信息的照相技术，能更精准地得出细胞的活动。
当以影像分析技术得出细胞活动的相关信息(如移动、形变)后，可以继续使用力学分析，若细胞为一种胚胎时，为一种胚胎力学分析。根据所提出的细胞检测方法实施例，可以利用此细胞检测系统取得一个连续时间的多次细胞影像与其中量测点的活动信息，可以建制缩时摄影(time lapse)的影像序列，此时，应用数字影像相关法，可进细胞三维生物力学分析，并可应用人工智能(AI)生医影像辨识技术。
所述细胞检测方法的主要目的的一个是能够通过影像技术判断细胞活动，并能筛选出符合特定条件的细胞。举例来说，若应用在细胞筛选的目的，目的之一是判断出细胞中的缺陷，得出缺陷的位置、形状与大小。例如，可先得出胚胎成长5天序列影像，使得在胚胎植入母体前，根据胚胎形态上的观察标准，筛选出符合需求的胚胎，如活力强、基因表现正常的胚胎，如此，可以提高胚胎着床率与活产率。
实施例可参考图1A至1E所示揭露书提出的细胞检测方法、装置与系统适用在检测细胞分裂时提供更精确的细胞活动信息的情境示意图。
图1A示意显微影像中初始状态细胞的样态；接着一段时间后分裂成两个细胞，如图1B所示；两个细胞接着会分裂成四个细胞，如图1C所示，此时，有可能如图1D显示细胞之间可能有堆栈的情况发生，图1E显示分裂到八个细胞时，还可能有其他堆栈的情况，如此，如果仅通过一个平面影像来判断细胞活动，则可能会有误判的问题。其中，当细胞分裂到四个或以上时，系统将可以立体图表示分裂后细胞，立体影像可以观测到垂直位移变化，将可以观测到传统无法看到的死角。
从以上细胞分裂的示意图可知，若细胞在分裂时产生了平面影像无法检测到的特征时，则比较不容易作出正确的筛选决定，特别是应用在人工生育时胚胎从第一日(Day 1)到第五日(Day 5)执行胚囊筛选的黄金时间，揭露书公开的细胞检测系统所提出的解决方案就是通过高光谱与立体信息而提供更准确的筛选信息。
相关细胞检测装置可参考图2所示的装置实施例示意图。
图中示意显示一个细胞检测装置的主要组件有高光谱模块21、立体相机模块23与显微光学模块25，彼此结构上链接以得出三目显微高光谱仪共光路的影像应用，所述三目即结合了高光谱模块21得出的影像以及立体相机模块23得出形成三维影像信息的至少两个影像。
其中高光谱模块21主要是能够取得跨电磁波光谱的信息，除了可见光外，还可处理不可见光的部分，如红外线与紫外线，细胞检测装置通过高光谱模块21取得跨电磁波光谱信息，可通过不同波段的电磁频谱来检测细胞，利用得到的光谱特性来识别细胞活动状态，使得细胞检测系统可以得到更精确检测结果。
其中立体相机模块23的实施例的一个是采用两个镜头模块(镜片与感光器)的照相机，两个镜头模块的镜头彼此有一个距离差，模拟人眼之间的视差，可在同一时间分别取得一个待测物的两张影像，两张影像因为有像差(disparity)而得出待测物的三维影像信息，包括平面二维影像信息以及一个垂直影像信息，如此，若应用在细胞检测的用途，可以更精确地得到三维细胞活动的信息。
显微光学模块25则是细胞检测装置中的光学机构，通过结构与镜片组的设计，让高光谱模块21与立体相机模块23可以通过镜头251共光路取得待测物承载单元27上待测物(如细胞)的高光谱影像与立体信息，以得到细胞的三目影像信息。
图3接着显示细胞检测装置的实施例示意图，此实施例显示有一细胞检测装置30，其中包括具备双镜头的立体相机301，通过光学结构303(在此并不赘述其中光学机构)以取得在焦距内待测物承载单元305上的待测物的三维影像信息，配合高光谱模块307通过光学结构303在共光路下取得高光谱，同时得到细胞高光谱与三维影像信息。
图4显示细胞检测装置的再一实施例示意图，此实施例显示的细胞检测装置包括有高光谱模块41，通过显微光学模块45与镜头451取得待测物承载单元47上待测物的高光谱，此例立体相机模块以具有一个镜头的相机模块实现，先在第一位置43通过显微光学模块45与镜头451先取得待测物的一个视角的影像，再于第二位置43’取得另一个视角的影像，因此可以形成待测物的三维影像信息。
在取得细胞分裂立体影像的实施例中，可通过至少两个视角的细胞影像(单一相机多个拍摄位置，或多相机同时拍摄)，其主要目的是重建细胞三维影像。
上述几个细胞检测装置实施例可配合一个计算机系统执行细胞检测方法，如通过计算机系统中的处理器执行一个运行细胞检测方法的软件程序，包括数字影像相关法(DIC)，主要的工作是取得细胞检测装置所得出的待测物的高光谱与三维影像信息，能够在其中决定作为检测细胞活动的特征定位点，并执行影像分析判断细胞随着时间的变化。
应用上述细胞检测装置所实施的细胞检测方法可参考图5显示的实施例流程图。
在描述细胞(如胚胎)成长力学时，成长过程具有一深度层层迭上三维细胞分析过程，所述细胞检测方法主要是采用细胞力学分析的概念先建立一个时间内连续影像，就如缩时摄影一般的影像序列，可以取得细胞连续的高光谱与三维影像信息，若要检测细胞分裂时的活动，则一开始如步骤S501，先取得一段时间内的细胞分裂影像，在步骤S503中，通过高光谱与三维影像的处理建立精确的细胞三维的影像信息。
在一实施例中，如步骤S505，根据演算的需求，或是实际上的影像分布，可将取得的三维影像信息分割为多个观测影像区域，并能针对各个观测影像区域分别判断细胞上的特定位置的移动与相对变化，最后形成整体细胞活动的信息。进一步地，当系统取得细胞的高光谱，还可以得出复数光谱信道的影像值，进行更细致的分割，增加影像辨识准确度。
在一实施例中，如步骤S507，在各观测影像区域上决定至少两个特征定位点，这些特征定位点可能是影像上可辨识位置的明暗点、色块或线条，并可予以编号。步骤如S509，细胞检测系统通过软件分析观测影像区域的影像，取得其中可辨识位置，在第一时间设定一或多个特征定位点的坐标，如步骤S511，以此第一时机的特征定位点的相关影像信息建立参考影像，时间继续进入第二时间。在步骤S513中，细胞检测系统同样通过软件分析观测影像区域以取得第二时间的一或多个特征定位点的坐标，再如步骤S515，能根据第一时间与第二时间的特征定位点的坐标计算位移，并可以根据多个特征定位点随时间的变化得出整体细胞的应变量。
图6A至图6E接着显示使用数字影像相关法描述特征定位点随着时间变化的演算示意图。
图6A示意以平面图形表示以一细胞检测装置拍摄涵盖一细胞与分裂出的多个细胞在一段时间内的连续多张影像，细胞检测装置包括高光谱模块与立体相机模块，通过共光路取得涵盖细胞与分裂出多个细胞的一观测影像数组中多个观测影像区域的高光谱与三维影像信息。
根据图示的实施例，在第一时间拍摄得到细胞影像，其中分割为多乘多(mxn)数组的观测影像数组60，其中涵盖有多个观测影像区域，细胞检测系统根据每个观测影像区域的影像特征设定多个(至少两个)特征定位点，图中示意表示一个观测影像区域601(VIB)，并以图6B放大显示。图6B中示意表示有4个特征定位点，成为描述这个观测影像区域601细胞活动的参考坐标。
当时间进入第二时间，整个细胞活动变化为图6C所示的观测影像数组62，其中对应第一时间取得的观测影像区域601，相同的区域成为图6D显示的观测影像区域602(VID)，在这个时间差在二维坐标上可得出各特征定位点位移变化，因此可以显示出如图6E显示的形变向量图63，当中每个向量都可表示特征定位点在第一时间到第二时间的位移(距离)与移动方向，图中有许多带着箭头的向量，不是规则地朝向同一个方向，可以藉此描述的细胞活动。实施例若以缩时摄影的概念取得一段时间的多张观测影像数组的影像信息，并取得当中每个观测影像区域的形变向量图，即可准确地描述细胞活动以及检测细胞，例如，若应用在胚胎筛选，可以藉此判断出胚胎(或适用的细胞类型)中的缺陷，得出缺陷的位置、形状与大小，进而在特定实施例中成为筛选细胞的依据。
根据实施例，检测细胞活动的方法中可以采用数字影像相关法，数字影像相关法的主要概念是针对随时间变化的影像比对变形前与变形后的影像，以获得感兴趣区域(Region of Interest，ROI)的位移与形变等信息。在执行此数字影像相关法时，将变形前的影像设定为参考影像(reference image)，其中可设定用于量测形变的种子点(seedpoint)作为影像相关性比对的初始点，之后这个感兴趣区域随着时间产生形变，依据实际变形的情况与所需时间，再取得一或多张连续影像。此时，可以从待测物(细胞，如胚胎)表面特征(大小、颜色、深度)设定子区域(subset)以及每个子区域间的间隔，通过参考影像比对得出影像的形变。最后，在一实施例，在影像分析的方法中，得出感兴趣区域变形前后灰阶值中最相似的区域，以计算出位移与应变量(感兴趣区域产生的形变强度)。
实施例示意图如图7所示，其中描述的为使用数字影像相关法描述观测影像区域变化的范例。
在检测细胞过程中，可将一细胞与分裂出的多个细胞整体影像以图7所描绘的特征定位点坐标系70描述，其中于涵盖一个细胞与分裂出多个细胞的影像中选取感兴趣区域，再从各观测影像区域中取得第一时间的多个(至少两个)特征定位点坐标值，并同时建立参考影像(reference image)，也就是图中示意显示的第一观测影像区域701，其中设有细胞影像上第一时间的特征定位点P与Q，根据实施例的一个，可以选择更多的特征定位点，能更准确地描述细胞活动。
以系统设定的参考点703为基准，接着在第二时间(或是多次拍摄的多张影像)，第一观测影像区域701描述的细胞产生变化，包括位移与形变，经影像分析得到位移量与形变产生的应变量，若以第一时间的特征定位点P与Q为观察活动的参考(相对参考点703)，在第二时间成为第二观测影像区域702中的P’与Q’，如此，在各观测影像区域中，根据参考影像，取得各特征定位点前后的变化，产生如上述实施例所提出的形变向量图，也就是经过一段时间(第一时间到第二时间)的分析，根据观测影像数组中多个观测影像区域的多个特征定位点变化建立形变向量图，可读出细胞随着时间的活动。最后，根据一段时间内的多张高光谱与三维影像信息的分析，通过取得连续时间的多个观测影像区域中高光谱与三维影像信息的变化得出整体性的细胞活动。
在以上影像分析的技术中，可同时取得细胞的高光谱影像，通过高光谱影像分析细胞影像的不同光谱特性，如此可建立出高光谱影像分析的模型，例如可利用大量光谱数据建立人工智能(AI)数据影像信息库，如此可在细胞检测方法中采用立体相机模块与高光谱模块形成的装置执行影像分析时，通过撷取一连续波长的影像，绘制出感兴趣区域内影像像素的光谱信息，执行光谱分类、合并、去混合等处理，把各种光谱信息分离、归类，适合用来区分出各观测影像区域中细胞影像中不要的信息，使得提供的高光谱影像技术可以有效且精准地区分细胞影像中不同的光谱特性分析，最后提供细胞影像与定量空间分析的结果，提高影像与数据质量。
综上所述，根据细胞检测方法、装置与系统的实施例，其中细胞检测装置主要以高光谱模块与立体相机模块得出细胞随着时间的高光谱与三维影像信息，配合数字影像相关法，这类非接触式的光学检测技术能够准确地得出细胞的移动与形变，除了进一步得出三维方向的位移，还可加上立体角度的应变量，如此，通过取得细胞在分裂时同时造成平面与垂直位移与应变得到更准确的细胞变化量。
应用上，所述细胞检测方法与相关设置可得出细胞缺陷的位置、形状与大小等信息，以筛选出活力强、基因表现正常的胚胎，以提高着床率、活产率。
以上所述仅为本发明的较佳可行实施例，非因此即局限本发明的专利范围，故举凡运用本发明说明书及图示内容所为的等效结构变化，均同理包含于本发明的范围内，合予陈明。
Claims (10)
1.一种细胞检测方法，其特征在于，所述的方法包括：
以一特征定位点坐标系描述一细胞分裂出多个细胞的过程，并以一细胞检测装置取得一时间内的多张连续影像，其中该细胞检测装置包括一高光谱模块与一立体相机模块，通过共光路取得涵盖该细胞与分裂出多个细胞的一观测影像数组中多个观测影像区域的高光谱与三维影像信息；
于各观测影像区域取得一第一时间的多个特征定位点的坐标值，以此建立一参考影像；
于各观测影像区域取得一第二时间的该多个特征定位点的坐标值；
在各观测影像区域中，根据该参考影像，取得该第二时间的该多个特征定位点前后的变化；以及
根据该观测影像数组中多个观测影像区域的该多个特征定位点变化建立一形变向量图，得出该第一时间与该第二时间内细胞的活动；
其中，通过取得连续时间的该多个观测影像区域中高光谱与三维影像信息的变化得出整体性的细胞活动。
2.如权利要求1所述的细胞检测方法，其特征在于，于涵盖该细胞与分裂出多个细胞的影像中取得一感兴趣区域，以建立该观测影像数组影像。
3.如权利要求2所述的细胞检测方法，其特征在于，所述的细胞的活动包括该第一时间至该第二时间的该多个特征定位点的位移与该感兴趣区域的形变。
4.如权利要求1至3中任一项所述的细胞检测方法，其特征在于，所述的细胞检测装置以该高光谱模块撷取一连续波长的影像，绘制出该感兴趣区域内像素的光谱信息，执行光谱分类、合并以及去混合，区分出各观测影像区域中细胞影像中不要的信息，以提高影像与数据质量。
5.如权利要求4所述的细胞检测方法，其特征在于，根据该形变向量图判断出细胞中的缺陷，得出缺陷的位置、形状与大小。
6.一种应用于如权利要求1所述的细胞检测方法的细胞检测装置，其特征在于，所述的细胞检测装置包括：
一高光谱模块，用以取得包括一细胞与分裂出的多个细胞的影像中跨电磁波光谱的信息；
一立体相机模块，用以取得该细胞与分裂出的该多个细胞的三维影像信息，其中，该高光谱模块与该立体相机模块组成一三目显微高光谱仪，以共光路方式进行细胞检测；以及
一显微光学模块，为该细胞检测装置中的光学机构，通过结构与镜片组的设计，让该高光谱模块与该立体相机模块通过一镜头以共光路取得该细胞与分裂出的多个细胞的高光谱与三维影像信息。
7.如权利要求6所述的细胞检测装置，其特征在于，所述的立体相机模块为一采用两个镜头模块的照相机，同时取得具有视差的两个影像；或具有一个镜头的照相机，先在一第一位置通过该显微光学模块取得一个视角的影像，再于一第二位置取得另一个视角的影像，以形成三维影像信息。
8.一种细胞检测系统，其特征在于，所述的系统包括：
一高光谱模块，用以取得包括一细胞与分裂出的多个细胞的影像中跨电磁波光谱的信息；
一立体相机模块，用以取得该细胞与分裂出的该多个细胞的三维影像信息，其中，该高光谱模块与该立体相机模块组成一三目显微高光谱仪，以共光路方式进行细胞检测；
一显微光学模块，为一光学机构，通过结构与镜片组的设计，让该高光谱模块与该立体相机模块通过一镜头以共光路取得该细胞与分裂出的多个细胞的高光谱与三维影像信息；以及
一计算机系统，以一处理器执行一细胞检测方法，该方法包括：
以一特征定位点坐标系描述一细胞分裂出多个细胞的过程，并以一细胞检测装置取得一时间内的多张连续影像，其中该细胞检测装置包括一高光谱模块与一立体相机模块，通过共光路取得涵盖该细胞与分裂出多个细胞的一观测影像数组中多个观测影像区域的高光谱与三维影像信息；
于各观测影像区域取得一第一时间的多个特征定位点的坐标值，以此建立一参考影像；
于各观测影像区域取得一第二时间的该多个特征定位点的坐标值；
在各观测影像区域中，根据该参考影像，取得该第二时间的该多个特征定位点前后的变化；以及
根据该观测影像数组中多个观测影像区域的该多个特征定位点变化建立一形变向量图，得出该第一时间与该第二时间内细胞的活动；
其中，通过取得连续时间的该多个观测影像区域中高光谱与三维影像信息的变化得出整体性的细胞活动。
9.如权利要求8所述的细胞检测系统，其特征在于，于涵盖该细胞与分裂出多个细胞的影像中取得一感兴趣区域，以建立该观测影像数组影像，而该细胞的活动包括该第一时间至该第二时间的该多个特征定位点的位移与该感兴趣区域的形变。
10.如权利要求8或9所述的细胞检测系统，其特征在于，通过该高光谱模块以相同的空间分辨率纪录多个光谱信道数据，迭合后可构成一高光谱影像立方体，以提高细胞的检测能力；以该立体相机模块取得的三维影像信息，以准确量测细胞相对移动与形变。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107142496 | 2018-11-28 | ||
| TW107142496A TWI664582B (zh) | 2018-11-28 | 2018-11-28 | 細胞檢測方法、裝置與系統 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111239044A true CN111239044A (zh) | 2020-06-05 |
Family
ID=68049436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911103101.0A Pending CN111239044A (zh) | 2018-11-28 | 2019-11-12 | 细胞检测方法、装置与系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11049249B2 (zh) |
| CN (1) | CN111239044A (zh) |
| TW (1) | TWI664582B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112082957A (zh) * | 2020-07-22 | 2020-12-15 | 北京理工大学 | 一种检测单克隆抗体的方法及其应用 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI781408B (zh) * | 2019-11-27 | 2022-10-21 | 靜宜大學 | 利用高光譜資料分析技術之人工智慧的細胞檢測方法及其系統 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6640130B1 (en) * | 1999-07-02 | 2003-10-28 | Hypermed, Inc. | Integrated imaging apparatus |
| CN101303315A (zh) * | 2008-04-08 | 2008-11-12 | 上海理工大学 | 细胞分析的光纤共聚焦显微光谱与成像装置 |
| US20100246927A1 (en) * | 2009-03-25 | 2010-09-30 | Arbuckle John D | Darkfield imaging system and methods for automated screening of cells |
| US20110013821A1 (en) * | 2008-03-24 | 2011-01-20 | Nikon Corporation | Image analysis method for cell observation, image-processing program, and image-processing device |
| WO2011054040A1 (en) * | 2009-11-03 | 2011-05-12 | Commonwealth Scientific And Industrial Research Organisation | System and method for integration of spectral and 3-dimensional imaging data |
| US20110216953A1 (en) * | 2000-06-08 | 2011-09-08 | The Regents Of The University Of California | Visual-servoing optical microscopy |
| CN102917634A (zh) * | 2010-03-23 | 2013-02-06 | 神经视觉成像有限责任公司 | 对眼睛成像的装置和方法 |
| CN103604737A (zh) * | 2013-12-10 | 2014-02-26 | 山东大学 | 一种自动化血细胞识别装置及工作方法 |
| JP2014157158A (ja) * | 2014-04-17 | 2014-08-28 | Olympus Corp | 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 |
| CN106226247A (zh) * | 2016-07-15 | 2016-12-14 | 暨南大学 | 一种基于高光谱显微成像技术的细胞检测方法 |
| CN106461558A (zh) * | 2014-05-26 | 2017-02-22 | 株式会社日立制作所 | 光学分析装置 |
| CN107271037A (zh) * | 2017-05-23 | 2017-10-20 | 天津大学 | 光谱显微成像方法及系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7756305B2 (en) * | 2002-01-23 | 2010-07-13 | The Regents Of The University Of California | Fast 3D cytometry for information in tissue engineering |
| GB2401431B (en) * | 2003-04-02 | 2005-04-27 | Amersham Biosciences Uk Ltd | Method of, and computer software for, classification of cells into subpopulations |
| WO2009120543A1 (en) * | 2008-03-27 | 2009-10-01 | Doheny Eye Institute | Optical coherence tomography device, method, and system |
| NZ598293A (en) * | 2009-08-22 | 2014-06-27 | Univ Leland Stanford Junior | Imaging and evaluating embryos, oocytes, and stem cells |
| US20140378843A1 (en) * | 2012-01-20 | 2014-12-25 | The Trustees Of Dartmouth College | Method And Apparatus For Quantitative Hyperspectral Fluorescence And Reflectance Imaging For Surgical Guidance |
| WO2015085216A1 (en) * | 2013-12-06 | 2015-06-11 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Spatial-domain low-coherence quantitative phase microscopy |
| US20180211380A1 (en) * | 2017-01-25 | 2018-07-26 | Athelas Inc. | Classifying biological samples using automated image analysis |
| TWI756365B (zh) * | 2017-02-15 | 2022-03-01 | 美商脫其泰有限責任公司 | 圖像分析系統及相關方法 |
| US11566993B2 (en) * | 2018-01-24 | 2023-01-31 | University Of Connecticut | Automated cell identification using shearing interferometry |
| CA3090672A1 (en) * | 2018-02-06 | 2019-08-15 | The Regents Of The University Of Michigan | Systems and methods for analysis and remote interpretation of optical histologic images |
-
2018
- 2018-11-28 TW TW107142496A patent/TWI664582B/zh active
-
2019
- 2019-11-12 CN CN201911103101.0A patent/CN111239044A/zh active Pending
- 2019-11-14 US US16/683,339 patent/US11049249B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6640130B1 (en) * | 1999-07-02 | 2003-10-28 | Hypermed, Inc. | Integrated imaging apparatus |
| US20110216953A1 (en) * | 2000-06-08 | 2011-09-08 | The Regents Of The University Of California | Visual-servoing optical microscopy |
| US20110013821A1 (en) * | 2008-03-24 | 2011-01-20 | Nikon Corporation | Image analysis method for cell observation, image-processing program, and image-processing device |
| CN101303315A (zh) * | 2008-04-08 | 2008-11-12 | 上海理工大学 | 细胞分析的光纤共聚焦显微光谱与成像装置 |
| US20100246927A1 (en) * | 2009-03-25 | 2010-09-30 | Arbuckle John D | Darkfield imaging system and methods for automated screening of cells |
| WO2011054040A1 (en) * | 2009-11-03 | 2011-05-12 | Commonwealth Scientific And Industrial Research Organisation | System and method for integration of spectral and 3-dimensional imaging data |
| CN102917634A (zh) * | 2010-03-23 | 2013-02-06 | 神经视觉成像有限责任公司 | 对眼睛成像的装置和方法 |
| CN103604737A (zh) * | 2013-12-10 | 2014-02-26 | 山东大学 | 一种自动化血细胞识别装置及工作方法 |
| JP2014157158A (ja) * | 2014-04-17 | 2014-08-28 | Olympus Corp | 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 |
| CN106461558A (zh) * | 2014-05-26 | 2017-02-22 | 株式会社日立制作所 | 光学分析装置 |
| CN106226247A (zh) * | 2016-07-15 | 2016-12-14 | 暨南大学 | 一种基于高光谱显微成像技术的细胞检测方法 |
| CN107271037A (zh) * | 2017-05-23 | 2017-10-20 | 天津大学 | 光谱显微成像方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 郭培源 等, 北京航空航天大学出版社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112082957A (zh) * | 2020-07-22 | 2020-12-15 | 北京理工大学 | 一种检测单克隆抗体的方法及其应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200167924A1 (en) | 2020-05-28 |
| US11049249B2 (en) | 2021-06-29 |
| TWI664582B (zh) | 2019-07-01 |
| TW202020728A (zh) | 2020-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11423562B2 (en) | Device and method for obtaining distance information from views | |
| US7769205B2 (en) | Fast three dimensional recovery method and apparatus | |
| JP7037876B2 (ja) | 自動工業検査における３ｄビジョンの使用 | |
| CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
| US20120307047A1 (en) | Imaging system and control method thereof | |
| CN109215063A (zh) | 一种事件触发相机与三维激光雷达的配准方法 | |
| Andersen et al. | Geometric plant properties by relaxed stereo vision using simulated annealing | |
| WO2011013079A1 (en) | Depth mapping based on pattern matching and stereoscopic information | |
| US20200383631A1 (en) | Hair analysis methods and apparatuses | |
| Lou et al. | Accurate multi-view stereo 3D reconstruction for cost-effective plant phenotyping | |
| CN114241031A (zh) | 基于双视角融合的鱼类体尺测量和体重预测的方法及装置 | |
| JP2018029250A (ja) | 信号処理装置、信号処理方法、およびプログラム | |
| Liang et al. | 3D plant modelling via hyperspectral imaging | |
| CN111239044A (zh) | 细胞检测方法、装置与系统 | |
| CN113822852A (zh) | 图像处理方法、程序以及记录介质 | |
| Xiang et al. | Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system | |
| JP6237032B2 (ja) | 色と三次元形状の計測方法及び装置 | |
| JP5336325B2 (ja) | 画像処理方法 | |
| CN113272639B (zh) | 一种提取待测物质的光谱信息的方法 | |
| CN115717865A (zh) | 环形结构全场变形测量方法 | |
| KR20190134426A (ko) | 트리오 영상장치를 통한 태양광 모듈 열화상 촬영 시스템 | |
| CN211205210U (zh) | 四维高光谱深度成像系统 | |
| Sun et al. | Spectral 3D Computer Vision--A Review | |
| JP7151873B2 (ja) | 検査装置 | |
| JP5686376B2 (ja) | 画像処理装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220708 Address after: Hsinchu, Taiwan, China Eastern Guangfu Road, paragraph 101, No. two Applicant after: Wang Weizhong Address before: Taichung City Applicant before: PROVIDENCE University Applicant before: Wang Weizhong |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |