CN110120096A - 一种基于显微单目视觉的单细胞三维重建方法 - Google Patents

一种基于显微单目视觉的单细胞三维重建方法 Download PDF

Info

Publication number
CN110120096A
CN110120096A CN201910397661.5A CN201910397661A CN110120096A CN 110120096 A CN110120096 A CN 110120096A CN 201910397661 A CN201910397661 A CN 201910397661A CN 110120096 A CN110120096 A CN 110120096A
Authority
CN
China
Prior art keywords
target cell
video
cell
sports ground
unicellular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910397661.5A
Other languages
English (en)
Inventor
贾达宇
于丁文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University Qinhuangdao Branch
Original Assignee
Northeastern University Qinhuangdao Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University Qinhuangdao Branch filed Critical Northeastern University Qinhuangdao Branch
Priority to CN201910397661.5A priority Critical patent/CN110120096A/zh
Publication of CN110120096A publication Critical patent/CN110120096A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于显微单目视觉的单细胞三维重建方法，包括以下步骤：S1、将显微镜观察到的细胞拍成视频放置到计算机中，并对视频进行预处理；S2、操控计算机在视频中找到需要进行三维重建的目标细胞；S3、将视频中每一帧里出现的目标细胞找出来，并将出现目标细胞的图像截取保存；S4、判断截取下来图像中的目标细胞是否存在过大的晃动，对目标细胞进行重合度匹配，消除目标细胞匹配误差；S5、提取出目标细胞的细胞轮廓；S6、去除视频中目标细胞的背景信息；S7、求解目标细胞的运动场；S8、去除目标细胞的运动场噪声；S9、根据目标细胞的运动场信息以及目标细胞的细胞轮廓生成点云数据；S10、分割点云数据完成三维重建。

Description

一种基于显微单目视觉的单细胞三维重建方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于显微单目视觉的单细胞三维重建方法。
背景技术
现有的三维重建方法对硬件或者重建目标有一定的要求，比如在单目视觉下的三维重建，比如SFM算法，需要重建目标有明显的特征(角点，直线等)；在双目以及多目视觉下进行三维重建，即需要多台相机配合着相关算法进行计算，比如双目测距算法；基于深度相机的三维重建，深度相机，即可以测算目标表面各个位置到相机距离的相机；例如微软开发的Kinect Fusion、BundleFusion、Elastic Fusion、Voxel hashing等。然而在显微视觉下，现有的硬件无法满足以上要求，首先，现有的显微视觉都是单目视觉，无法运用双(多)目视觉重建算法；其次，由于细胞的体积较小，深度相机无法测算距离；再者，现有的基于单目视觉三维重建的算法大多对重建对象有一定要求，尤其是要求重建目标表面要有足够多的可提取的特征；而细胞由于高度透明，表面光滑，加上光线的干涉衍射的干扰，使得细胞表面的特征难以提取，因此，依靠现有技术无法在显微视觉下对单细胞进行三维重建。
发明内容
本发明目的是针对上述问题，提供一种简单快捷的对细胞进行三维重建的基于显微单目视觉的单细胞三维重建方法。
为了实现上述目的，本发明的技术方案是：
一种基于显微单目视觉的单细胞三维重建方法，包括以下步骤：
S1、将显微镜观察到的细胞拍成视频放置到计算机中，并对视频进行预处理；
S2、操控计算机在视频中找到需要进行三维重建的目标细胞；
S3、将视频中每一帧里出现的目标细胞找出来，并将出现目标细胞的图像截取保存；
S4、判断截取下来图像中的目标细胞是否存在过大的晃动，对目标细胞进行重合度匹配，消除目标细胞匹配误差；
S5、提取出目标细胞的细胞轮廓；
S6、去除视频中目标细胞的背景信息；
S7、求解目标细胞的运动场；
S8、去除目标细胞的运动场噪声；
S9、根据目标细胞的运动场信息以及目标细胞的细胞轮廓生成点云数据；
S10、分割点云数据完成三维重建。
进一步的，所述步骤S4中，当判断出截取下来图像中的目标细胞存在过大的晃动时，则调整重合度匹配结果，再次进行步骤S4的操作；当判断出截取下来图像中的目标细胞不存在过大的晃动时，则不需要调整重合度匹配结果，直接进行步骤S5。
进一步的，所述步骤S7中利用可微分编程或者深度学习技术求解目标细胞的运动场。
进一步的，所述步骤S8中利用数理统计方法去除目标细胞的运动场噪声。
与现有技术相比，本发明具有的优点和积极效果是：
本发明通过首先将视频中每一帧目标细胞的图像截取下来，然后通过检测目标细胞是否存在过大晃动，对目标细胞进行重合度匹配，从而消除了目标细胞匹配误差，极大的提高了点云数据准确度；并且利用可微分编程或者深度学习技术结合常规图像处理以及数理统计方法，可以有效的测出目标细胞的运动信息，将目标的运动信息与细胞轮廓结合在一起则可以检测出目标细胞的三维状态，从而可以完成目标细胞的三维重建操作；该方法操作简单，高效快捷，给单细胞方面的三维重建工作指引了新的方向。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
如图1所示，一种基于显微单目视觉的单细胞三维重建方法，包括以下步骤：
S1、将显微镜观察到的细胞拍成视频放置到计算机中，并对视频进行预处理；
S2、操控计算机在视频中找到需要进行三维重建的目标细胞；
S3、将视频中每一帧里出现的目标细胞找出来，并将出现目标细胞的图像截取保存；
S4、判断截取下来图像中的目标细胞是否存在过大的晃动，当判断出截取下来图像中的目标细胞存在过大的晃动时，则调整重合度匹配结果，再次进行步骤S4的操作；当判断出截取下来图像中的目标细胞不存在过大的晃动时，则不需要调整重合度匹配结果，直接进行步骤S5；
S5、提取出目标细胞的细胞轮廓；
S6、去除视频中目标细胞的背景信息；
S7、利用可微分编程或者深度学习技术求解目标细胞的运动场；
S8、利用数理统计方法去除目标细胞的运动场噪声；步骤S7、S8即图1中的求解目标细胞的旋转信息；
S9、根据目标细胞的运动场信息(即目标细胞的旋转信息)以及目标细胞的细胞轮廓生成点云数据；
S10、分割点云数据完成三维重建。
本发明通过首先将视频中每一帧目标细胞的图像截取下来，然后通过检测目标细胞是否存在过大晃动，对目标细胞进行重合度匹配，从而消除了目标细胞匹配误差，极大的提高了点云数据准确度；并且利用可微分编程或者深度学习技术结合常规图像处理以及数理统计方法，可以有效的测出目标细胞的运动信息，将目标的运动信息与细胞轮廓结合在一起则可以检测出目标细胞的三维状态，从而可以完成目标细胞的三维重建操作；该方法操作简单，高效快捷，给单细胞方面的三维重建工作指引了新的方向。

Claims (4)

1.一种基于显微单目视觉的单细胞三维重建方法，其特征在于：包括以下步骤：
S1、将显微镜观察到的细胞拍成视频放置到计算机中，并对视频进行预处理；
S2、操控计算机在视频中找到需要进行三维重建的目标细胞；
S3、将视频中每一帧里出现的目标细胞找出来，并将出现目标细胞的图像截取保存；
S4、判断截取下来图像中的目标细胞是否存在过大的晃动，对目标细胞进行重合度匹配，消除目标细胞匹配误差；
S5、提取出目标细胞的细胞轮廓；
S6、去除视频中目标细胞的背景信息；
S7、求解目标细胞的运动场；
S8、去除目标细胞的运动场噪声；
S9、根据目标细胞的运动场信息以及目标细胞的细胞轮廓生成点云数据；
S10、分割点云数据完成三维重建。
2.如权利要求1所述的基于显微单目视觉的单细胞三维重建方法，其特征在于：所述步骤S4中，当判断出截取下来图像中的目标细胞存在过大的晃动时，则调整重合度匹配结果，再次进行步骤S4的操作；当判断出截取下来图像中的目标细胞不存在过大的晃动时，则不需要调整重合度匹配结果，直接进行步骤S5。
3.如权利要求1所述的基于显微单目视觉的单细胞三维重建方法，其特征在于：所述步骤S7中利用可微分编程或者深度学习技术求解目标细胞的运动场。
4.如权利要求1所述的基于显微单目视觉的单细胞三维重建方法，其特征在于：所述步骤S8中利用数理统计方法去除目标细胞的运动场噪声。
CN201910397661.5A 2019-05-14 2019-05-14 一种基于显微单目视觉的单细胞三维重建方法 Pending CN110120096A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910397661.5A CN110120096A (zh) 2019-05-14 2019-05-14 一种基于显微单目视觉的单细胞三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910397661.5A CN110120096A (zh) 2019-05-14 2019-05-14 一种基于显微单目视觉的单细胞三维重建方法

Publications (1)

Publication Number Publication Date
CN110120096A true CN110120096A (zh) 2019-08-13

Family

ID=67522298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910397661.5A Pending CN110120096A (zh) 2019-05-14 2019-05-14 一种基于显微单目视觉的单细胞三维重建方法

Country Status (1)

Country Link
CN (1) CN110120096A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866906A (zh) * 2019-11-12 2020-03-06 安徽师范大学 基于图像边缘提取的三维培养人体心肌细胞搏动检测方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202916A (zh) * 2007-12-04 2008-06-18 南京邮电大学 基于运动预测和三维约束的序列图像分割方法
CN101719264A (zh) * 2009-12-28 2010-06-02 清华大学 一种多视角动态场景采集的视觉场计算方法
CN102592290A (zh) * 2012-02-16 2012-07-18 浙江大学 一种针对水下显微视频的运动目标区域检测方法
US20130271458A1 (en) * 2012-04-11 2013-10-17 Disney Enterprises, Inc. Modeling human-human interactions for monocular 3d pose estimation
CN103761738A (zh) * 2014-01-22 2014-04-30 杭州匡伦科技有限公司 一种三维立体重建中提取视频序列关键帧的方法
CN104580830A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种面向视频监控的准静态图像抗抖动方法
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法
US20160210761A1 (en) * 2013-09-20 2016-07-21 Eth Zurich 3d reconstruction
CN106023072A (zh) * 2016-05-10 2016-10-12 中国航空无线电电子研究所 一种用于曲面大屏幕的图像拼接显示方法
CN106887043A (zh) * 2017-03-08 2017-06-23 景致三维（江苏）股份有限公司 三维建模外点去除的方法、装置及三维建模的方法
CN107044833A (zh) * 2017-03-24 2017-08-15 南京理工大学 一种基于改进的傅立叶变换轮廓技术的超快三维形貌测量方法及其系统
CN107346547A (zh) * 2017-07-04 2017-11-14 易视腾科技股份有限公司 基于单目平台的实时前景提取方法及装置
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
EP3268938A1 (en) * 2015-03-12 2018-01-17 Happy L-Lord AB System, method and device for three-dimensional voxel-based modeling
CN109145290A (zh) * 2018-07-25 2019-01-04 东北大学 基于字向量与自注意力机制的语义相似度计算方法
CN109191562A (zh) * 2018-07-15 2019-01-11 黑龙江科技大学 基于彩色伪随机编码结构光的三维重建方法
US20190026938A1 (en) * 2017-07-18 2019-01-24 Fuscoe Engineering, Inc. Three-dimensional modeling from optical capture
US20190026400A1 (en) * 2017-07-18 2019-01-24 Fuscoe Engineering, Inc. Three-dimensional modeling from point cloud data migration
CN109872371A (zh) * 2019-01-24 2019-06-11 哈尔滨理工大学 一种基于改进Sift算法的单目视觉三维重建方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202916A (zh) * 2007-12-04 2008-06-18 南京邮电大学 基于运动预测和三维约束的序列图像分割方法
CN101719264A (zh) * 2009-12-28 2010-06-02 清华大学 一种多视角动态场景采集的视觉场计算方法
CN102592290A (zh) * 2012-02-16 2012-07-18 浙江大学 一种针对水下显微视频的运动目标区域检测方法
US20130271458A1 (en) * 2012-04-11 2013-10-17 Disney Enterprises, Inc. Modeling human-human interactions for monocular 3d pose estimation
US20160210761A1 (en) * 2013-09-20 2016-07-21 Eth Zurich 3d reconstruction
CN103761738A (zh) * 2014-01-22 2014-04-30 杭州匡伦科技有限公司 一种三维立体重建中提取视频序列关键帧的方法
CN104580830A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种面向视频监控的准静态图像抗抖动方法
EP3268938A1 (en) * 2015-03-12 2018-01-17 Happy L-Lord AB System, method and device for three-dimensional voxel-based modeling
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法
CN106023072A (zh) * 2016-05-10 2016-10-12 中国航空无线电电子研究所 一种用于曲面大屏幕的图像拼接显示方法
CN106887043A (zh) * 2017-03-08 2017-06-23 景致三维（江苏）股份有限公司 三维建模外点去除的方法、装置及三维建模的方法
CN107044833A (zh) * 2017-03-24 2017-08-15 南京理工大学 一种基于改进的傅立叶变换轮廓技术的超快三维形貌测量方法及其系统
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN107346547A (zh) * 2017-07-04 2017-11-14 易视腾科技股份有限公司 基于单目平台的实时前景提取方法及装置
US20190026938A1 (en) * 2017-07-18 2019-01-24 Fuscoe Engineering, Inc. Three-dimensional modeling from optical capture
US20190026400A1 (en) * 2017-07-18 2019-01-24 Fuscoe Engineering, Inc. Three-dimensional modeling from point cloud data migration
CN109191562A (zh) * 2018-07-15 2019-01-11 黑龙江科技大学 基于彩色伪随机编码结构光的三维重建方法
CN109145290A (zh) * 2018-07-25 2019-01-04 东北大学 基于字向量与自注意力机制的语义相似度计算方法
CN109872371A (zh) * 2019-01-24 2019-06-11 哈尔滨理工大学 一种基于改进Sift算法的单目视觉三维重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SHI W C等: "Three-dimensional reconstruction method for machined surface topography based on gray gradient constraints", 《APPLIED SCIENCES》 *
任经伟: "基于单目视觉的三维重构算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
张聪炫: "基于单目图像序列光流的三维重建关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
朱树锴: "基于单目视觉的空间三维重建方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
韩夏冰: "基于单目视觉的物体形状三维重建方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866906A (zh) * 2019-11-12 2020-03-06 安徽师范大学 基于图像边缘提取的三维培养人体心肌细胞搏动检测方法

Similar Documents

Publication Publication Date Title
US10540576B1 (en) Panoramic camera systems
CN112639664B (zh) 用于确定和/或评价图像显示设备的定位地图的方法和装置
CN103400409B (zh) 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
KR100748719B1 (ko) 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
CN110223383A (zh) 一种基于深度图修补的植物三维重建方法及系统
CN106251399A (zh) 一种基于lsd‑slam的实景三维重建方法
CN104820991B (zh) 一种基于代价矩阵的多重软约束立体匹配方法
CN104537709A (zh) 一种基于位姿变化的实时三维重建关键帧确定方法
CN103345751A (zh) 一种基于鲁棒特征跟踪的视觉定位方法
CN104864849B (zh) 视觉导航方法和装置以及机器人
CN107665506A (zh) 实现增强现实的方法及系统
Yuan et al. SDV-LOAM: semi-direct visual–LiDAR Odometry and mapping
CN104809759A (zh) 基于小型无人直升机的大面积非结构化场景三维建模方法
CN106023147B (zh) 一种基于gpu的快速提取线阵遥感影像中dsm的方法及装置
CN105654547A (zh) 三维重建方法
CN106203429A (zh) 基于双目立体视觉复杂背景下的遮挡目标检测方法
CN111126116A (zh) 无人船河道垃圾识别方法及系统
CN102982524A (zh) 玉米果穗有序图像的拼接方法
CN103700082B (zh) 基于对偶四元数相对定向的图像拼接方法
CN113989758A (zh) 一种用于自动驾驶的锚引导3d目标检测方法及装置
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
Letouzey et al. Progressive shape models
CN110120096A (zh) 一种基于显微单目视觉的单细胞三维重建方法
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
CN115908731A (zh) 一种基于云边协同的双无人机三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190813