CN107749060A - 机器视觉设备及基于飞行时间技术三维信息采集算法 - Google Patents

机器视觉设备及基于飞行时间技术三维信息采集算法 Download PDF

Info

Publication number
CN107749060A
CN107749060A CN201710900506.1A CN201710900506A CN107749060A CN 107749060 A CN107749060 A CN 107749060A CN 201710900506 A CN201710900506 A CN 201710900506A CN 107749060 A CN107749060 A CN 107749060A
Authority
CN
China
Prior art keywords
data
image
ccd camera
tof
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710900506.1A
Other languages
English (en)
Inventor
赖勉力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN NANOVISION Corp
Original Assignee
SHENZHEN NANOVISION Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN NANOVISION Corp filed Critical SHENZHEN NANOVISION Corp
Priority to CN201710900506.1A priority Critical patent/CN107749060A/zh
Publication of CN107749060A publication Critical patent/CN107749060A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明提出一种机器视觉设备及基于飞行时间技术三维信息采集算法，包括：采集图像过程，通过两台可见光CCD相机与一台ToF传感器进行图像信息采集；数据转换过程，对ToF传感器的数据与CCD相机的数据进行转换；图像分割过程，对CCD相机的数据进行切割；以及数据整合过程，将已被分割好数据的重新整合，实现目标信息还原。能够有效地扩大机器视觉的使用场景。

Description

机器视觉设备及基于飞行时间技术三维信息采集算法
技术领域
本发明涉及机器视觉，尤其涉及一种基于飞行时间技术的三维视觉。
背景技术
机器视觉是人工智能的一个前沿领域。机器视觉技术如今已成功应用到了工业机器人当中，并成为一项核心关键技术。机器视觉行业市场调查分析报告表明，工业机器人市场发展潜力巨大，势必引起机器视觉新增长。机器视觉一般可区分为二维视觉和三维视觉。三维视觉相比于二维视觉，多了一个维度，可以实现更加正确的物体分割，合适精度的三维测量，三维数据的模型重建以及智能视觉识别和分析。虽然深度摄像头，又称3D(三维)传感器，从视觉数据获取的角度可以提升机器感知能力，但是由于其具有一定的技术门槛，目前涉足此研发的比较少。
在当前的市面上，主流方案的技术包含三种类型：第一类、单目结构光技术，其主要优势是识别距离远，但该技术的硬件难度大且成本较高，适合应用于室内环境。代表产品包括微软Kinect I代、英特尔PrimeSence及大恒2017年推出的立体成像相机。第二类、双目视觉技术，其通过两个RGB(红-绿-蓝)摄像头模仿人的双眼进行测距，精度较高，成像数据点数多，但受光照影响较大。代表产品包括灰点的BumbleBee、德国巴斯勒的立体采集相机等。第三类、TOF(Time of Flight，飞行时间技术)，TOF能够实时快速的计算深度信息，在立体成像上表现优异，对光线干扰敏感性低。但是成本相对较高，成像数据点数少。市面上存在的产品较多，例如：基恩士的激光面纸传感器、易恬科技的传感器等。市面上的这些机器视觉的方案均由其中一种技术方案开发而成，存在使用场景有限的问题。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提出一种机器视觉设备及基于飞行时间技术三维信息采集算法，能够有效地扩大机器视觉的使用场景。
本发明解决其技术问题所采用的技术方案是：提供一种基于飞行时间技术三维信息采集算法，包括：
采集图像过程，通过两台可见光CCD相机与一台ToF传感器进行图像信息采集；
数据转换过程，对ToF传感器的数据与CCD相机的数据进行转换；
图像分割过程，对CCD相机的数据进行切割；以及
数据整合过程，将已被分割好数据的重新整合，实现目标信息还原。
其中，所述的采集图像过程，使用硬件信号同步方式，保证每次采集时，CCD相机及ToF传感器都可采集到数据；所述的数据转换过程，采用罗德里格矩阵与布沙尔七参数模型方法求得。
其中，所述的图像分割过程，利用以ToF传感器的数据投影在CCD相机中的数据点为中心的K-means聚类算法进行图像分割。
其中，所述的数据整合过程，首先根据SGBM算法查找对应分割块中CCD相机的数据，然后根据三角成像原理，进行更多数据的还原，最后与ToF传感器的数据整合在一起形成最后数据。
其中，在所述的采集图像过程还之前，该算法包括：采用张氏标定方法，进行两个CCD相机的标定。
本发明解决其技术问题所采用的技术方案还是：提供一种机器视觉设备，包括：位于中间的ToF传感器，分别位于该ToF传感器两侧的两个可见光CCD相机，以及嵌入式系统；其中，该嵌入式系统运行的软件，实现上述算法。
本发明的有益效果在于，通过ToF传感器和两个可见光CCD相机的配合，并通过采集图像过程、数据转换过程、图像分割过程和数据整合过程，可以将ToF传感器的数据和两个可见光CCD相机的数据有机地结合到一起，形成最终的视觉结果，能够有效地扩大机器视觉的使用场景。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的机器视觉设备的结构原理图。
图2是本发明的基于飞行时间技术三维信息采集算法的流程图。
具体实施方式
现结合附图，对本发明的较佳实施例作详细说明。
参见图1，图1是本发明的机器视觉设备的结构原理图。本发明提出一种机器视觉设备100包括位于中间的ToF传感器10，分别位于该ToF传感器10两侧的两个可见光CCD相机20，以及嵌入式系统30。其中，在该嵌入式系统30中，硬件系统(包括处理器)上运行的软件，能够实现本发明的基于飞行时间技术三维信息采集算法。该机器视觉设备100计算得到的视觉结果，能够通过千兆网口直接输出到用户的上位软件系统中。
可以理解的是，本发明利用ToF技术及双目视觉技术两类方案的技术思想，通过两台可见光CCD相机20与一台ToF传感器10，开发一套独有的算法。该算法不但保持了ToF技术对光线敏感度低及精度高的特点，还结合了双目视觉技术成像点数多的优势。本发明并将该算法投入到设置在与该ToF传感器10和两台可见光CCD相机20配合设置的嵌入式系统30中运行。
ToF技术的原理是利用传感器发射一点激光光斑，光斑触碰到物体后会进行反射。ToF传感器中另一个传感器对反射的光信号进行接收，通过计算整个过程中光飞行的时间来计算出目标物与传感器的距离。
双目视觉技术是基于三角成像原理。其中，两个CCD相机20所在的两点A、B，可以当做两只人眼，当两个CCD相机20集中观察目标物P点时，目标物P点与两个CCD相机20所在的两点A、B共同组成一个三角形A-B-P。
其中，P点与A-B连线的距离Z，即为该三角形的高H。通过三角成像原理，只要能够找到一个目标物P点在两个CCD相机20中的位置，即可求得目标物P点在立体空间下的坐标。
本发明的算法的思路：首先，利用张氏标定方法(又称“张正友标定”，是指张正友教授于1998年提出的单平面棋盘格的摄像机标定方法，“A Flexible New TechniqueforCamera Calibration”，目前已经作为工具箱或封装好的函数被广泛应用。)进行立体相机(即两个CCD相机20)的标定，标定数据记为C。
相机标定后，两个CCD相机20所组成的三维立体空间坐标系即可通过标定数据求出，坐标系记为O-XYZ。与此同时，ToF传感器10由于其自身能够产生三维信息，因此有自身的三维坐标系，记为O-UVW。然后，计算出O-XYZ与O-UVW两个坐标系的转换关系R。
本发明的算法的具体过程：
(1)先用ToF传感器10与两个CCD相机20进行采集，其中ToF传感器10采集得到的数据为{Am|m＝1,2,3…}；
(2)利用关系R，将数据{Am}投影到O-XYZ中得到数据{Bm|m＝1,2,3…}；
(3)利用关系C，将数据{Bm}分别映射到两个相机各自的图像之中，分别得到左右两个CCD相机20中的像素点坐标{PLm|m＝1,2,3…}及{PRm|m＝1,2,3…}；
(4)由于两个CCD相机20的图像的数据较为密集，ToF传感器10的参数的数据较为稀疏，{Am}最终投影到两个CCD相机20上时，以每个点为中心进行图像分割，得到两个CCD相机20之间对应的数据块{ILn|n＝1,2,3…}及{IRn|n＝1,2,3…}；
(5)在对应的图像块中，找出相同的点，根据参数C计算出其在O-XYZ下的坐标得到数据集{PCLp|p＝1,2,3…}；
(6)通过数据{Am}对{PCLp}进行调整，最后得到数据{PCL}；
(7)输出结果{PCL}。
结合参见图2，图2是本发明的基于飞行时间技术三维信息采集算法的流程图。本发明的算法大致包括以下步骤：
S201、判断是否已经标定？是的话，转步骤S203，否者转步骤S207。
S203、采集图像；CCD相机20与ToF传感器10同时采集到图片，也就是，使用硬件信号同步方式，保证每次采集时，CCD相机20及ToF传感器10都可采集到数据。
S205、数据转换，跳转步骤S213；数据转换具体是指，ToF传感器10的数据与CCD相机20的数据的转换，也就是，CCD相机20的O-XYZ坐标系与ToF传感器10的O-UVW坐标系的转换，具体可以采用罗德里格矩阵与布沙尔七参数模型方法求得。
S207、采集图像；CCD相机20与ToF传感器10同时采集到图片，也就是，使用硬件信号同步方式，保证每次采集时，CCD相机20及ToF传感器10都可采集到数据。
S209、标定计算；得到两个CCD相机20与ToF传感器10的数据关系矩阵，也就是，利用张氏标定法计算出两个CCD相机20的内外参，并组成三维坐标O-XYZ。
S211、数据记录；记录下的数据，将用于目标立体信息的计算。
S213、图像分割；对CCD相机20的图像数据进行切割，也就是，利用以ToF传感器10的数据投影在CCD相机20中的数据点为中心的K-means聚类算法进行图像分割。
S215、数据整合；将已被分割好数据的重新整合，最后实现目标信息还原，也就是，首先根据SGBM算法查找对应分割块中CCD相机20的数据，然后根据三角成像原理，进行更多数据的还原，最后与ToF传感器10的数据整合在一起形成最后数据。
S217、数据输出。
S219、判断是否继续采集？是的话，转步骤S203，否者结束。
本发明的有益效果在于，通过ToF传感器10和两个可见光CCD相机20的配合，并通过嵌入式系统30实现的采集图像过程、数据转换过程、图像分割过程和数据整合过程，可以将ToF传感器10的数据和两个可见光CCD相机20的数据有机地结合到一起，形成最终的视觉结果，能够有效地扩大机器视觉的使用场景。
值得一提的是，本发明的机器视觉设备及基于飞行时间技术三维信息采集算法应用范围广泛，举例而言，包括：1、农业方面：牛羊等活体动物体尺寸测量，植物生长过程三维监控，自动采摘机器人导航，海洋生物实时跟踪，农作物联合自动收割，农产品加工过程自动识别等；2、工业生产：自动包装机械手引导，无人驾驶车自动导航，生产过程自动监控，工件立体尺寸非接触式测量等；3、科研应用：空间物体三维姿态识别，三维还原，运动目标实时跟踪，人体三维信息数据库快速建立，非接触式体感人机交互等；4、国防航天：无人机降落位置预判，投弹靶场位置判别，空间机器人自动控制，飞机自动加油、对接等。
应当理解的是，以上实施例仅用以说明本发明的技术方案，而非对其限制，对本领域技术人员来说，可以对上述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改和替换，都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于飞行时间技术三维信息采集算法，包括：
采集图像过程，通过两台可见光CCD相机与一台ToF传感器进行图像信息采集；
数据转换过程，对ToF传感器的数据与CCD相机的数据进行转换；
图像分割过程，对CCD相机的数据进行切割；以及
数据整合过程，将已被分割好数据的重新整合，实现目标信息还原。
2.根据权利要求1所述的算法，其特征在于：所述的采集图像过程，使用硬件信号同步方式，保证每次采集时，CCD相机及ToF传感器都可采集到数据；所述的数据转换过程，采用罗德里格矩阵与布沙尔七参数模型方法求得。
3.根据权利要求1所述的算法，其特征在于：所述的图像分割过程，利用以ToF传感器的数据投影在CCD相机中的数据点为中心的K-means聚类算法进行图像分割。
4.根据权利要求1所述的算法，其特征在于：所述的数据整合过程，首先根据SGBM算法查找对应分割块中CCD相机的数据，然后根据三角成像原理，进行更多数据的还原，最后与ToF传感器的数据整合在一起形成最后数据。
5.根据权利要求1至4任一项所述的算法，其特征在于：在所述的采集图像过程还之前，该算法包括：采用张氏标定方法，进行两个CCD相机的标定。
6.一种机器视觉设备，其特征在于：包括：位于中间的ToF传感器，分别位于该ToF传感器两侧的两个可见光CCD相机，以及嵌入式系统；其中，该嵌入式系统运行的软件，实现以下算法：
采集图像过程，通过两台可见光CCD相机与一台ToF传感器进行图像信息采集；
数据转换过程，对ToF传感器的数据与CCD相机的数据进行转换；
图像分割过程，对CCD相机的数据进行切割；以及
数据整合过程，将已被分割好数据的重新整合，实现目标信息还原。
7.根据权利要求6所述的机器视觉设备，其特征在于：所述的采集图像过程，使用硬件信号同步方式，保证每次采集时，CCD相机及ToF传感器都可采集到数据；所述的数据转换过程，采用罗德里格矩阵与布沙尔七参数模型方法求得。
8.根据权利要求6所述的机器视觉设备，其特征在于：所述的图像分割过程，利用以ToF传感器的数据投影在CCD相机中的数据点为中心的K-means聚类算法进行图像分割。
9.根据权利要求6所述的机器视觉设备，其特征在于：所述的数据整合过程，首先根据SGBM算法查找对应分割块中CCD相机的数据，然后根据三角成像原理，进行更多数据的还原，最后与ToF传感器的数据整合在一起形成最后数据。
10.根据权利要求6所述的机器视觉设备，其特征在于：在所述的采集图像过程还之前，该算法包括：采用张氏标定方法，进行两个CCD相机的标定。
CN201710900506.1A 2017-09-28 2017-09-28 机器视觉设备及基于飞行时间技术三维信息采集算法 Pending CN107749060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710900506.1A CN107749060A (zh) 2017-09-28 2017-09-28 机器视觉设备及基于飞行时间技术三维信息采集算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710900506.1A CN107749060A (zh) 2017-09-28 2017-09-28 机器视觉设备及基于飞行时间技术三维信息采集算法

Publications (1)

Publication Number Publication Date
CN107749060A true CN107749060A (zh) 2018-03-02

Family

ID=61255842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710900506.1A Pending CN107749060A (zh) 2017-09-28 2017-09-28 机器视觉设备及基于飞行时间技术三维信息采集算法

Country Status (1)

Country Link
CN (1) CN107749060A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110312056A (zh) * 2019-06-10 2019-10-08 青岛小鸟看看科技有限公司 一种同步曝光方法和图像采集设备
CN111145240A (zh) * 2019-11-18 2020-05-12 西宁市动物疫病预防控制中心(挂西宁市畜牧兽医站牌子) 一种基于3d相机的活体西门塔尔牛体尺在线测量方法
CN112325767A (zh) * 2020-10-16 2021-02-05 华中科技大学鄂州工业技术研究院 一种融合机器视觉和飞行时间测量的空间平面尺寸测量方法
CN112424641A (zh) * 2018-05-14 2021-02-26 ams 国际有限公司 使用用于立体图像处理的飞行时间技术
CN114429497A (zh) * 2020-10-14 2022-05-03 西北农林科技大学 一种基于3d相机的活体秦川牛体尺测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
CN103337069A (zh) * 2013-06-05 2013-10-02 余洪山 基于复合摄像机的高质量三维彩色图像获取方法及装置
CN103955954A (zh) * 2014-04-21 2014-07-30 杭州电子科技大学 一种结合同场景立体图对的高分辨率深度图像重建方法
CN106826833A (zh) * 2017-03-01 2017-06-13 西南科技大学 基于3d立体感知技术的自主导航机器人系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
CN103337069A (zh) * 2013-06-05 2013-10-02 余洪山 基于复合摄像机的高质量三维彩色图像获取方法及装置
CN103955954A (zh) * 2014-04-21 2014-07-30 杭州电子科技大学 一种结合同场景立体图对的高分辨率深度图像重建方法
CN106826833A (zh) * 2017-03-01 2017-06-13 西南科技大学 基于3d立体感知技术的自主导航机器人系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JINWOOK CHOI ET AL: "3D JBU based depth video filtering for temporal fluctuation reduction", 《2010 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
SERBAN OPRISESCU ET AL: "Automatic 2D/3D ToF image fusion using the intrinsic dimension", 《2012 9TH INTERNATIONAL CONFERENCE ON COMMUNICATIONS (COMM)》 *
余洪山等: "融合2D/3D摄像机的方法与获取高精度三维视觉信息的装置", 《控制理论与应用》 *
周颖: "基于摄像机阵列的三维实时获取技术与系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
崔炳光著: "《摄影测量学》", 30 June 1984 *
汪懋华，李民赞主编: "《现代精细农业理论与实践》", 31 October 2012 *
赖锡安，黄立人，徐菊生等编著: "《中国大陆现今地壳运动》", 31 August 2004 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424641A (zh) * 2018-05-14 2021-02-26 ams 国际有限公司 使用用于立体图像处理的飞行时间技术
CN110312056A (zh) * 2019-06-10 2019-10-08 青岛小鸟看看科技有限公司 一种同步曝光方法和图像采集设备
CN111145240A (zh) * 2019-11-18 2020-05-12 西宁市动物疫病预防控制中心(挂西宁市畜牧兽医站牌子) 一种基于3d相机的活体西门塔尔牛体尺在线测量方法
CN114429497A (zh) * 2020-10-14 2022-05-03 西北农林科技大学 一种基于3d相机的活体秦川牛体尺测量方法
CN112325767A (zh) * 2020-10-16 2021-02-05 华中科技大学鄂州工业技术研究院 一种融合机器视觉和飞行时间测量的空间平面尺寸测量方法

Similar Documents

Publication Publication Date Title
CN107749060A (zh) 机器视觉设备及基于飞行时间技术三维信息采集算法
CN112025729B (zh) 基于ros的多功能智能医疗服务机器人系统
CN101419055B (zh) 基于视觉的空间目标位姿测量装置和方法
EP2485692B1 (en) Vision enhancement for a vision impaired user
CN106020201A (zh) 移动机器人3d导航定位系统及导航定位方法
CN104238566B (zh) 电子电路用基于图像识别的巡线机器人控制系统
US10750157B1 (en) Methods and systems for creating real-time three-dimensional (3D) objects from two-dimensional (2D) images
CN106859929A (zh) 一种基于双目视觉的多功能导盲仪
CN106162144A (zh) 一种用于夜视环境的视觉图像处理设备、系统和智能机器
CN106197452A (zh) 一种视觉图像处理设备及系统
CN104036488A (zh) 一种基于双目视觉的人体姿态动作研究方法
CN107610086A (zh) 一种基于仿生复眼结构的工业并联机器人快速视觉检测算法
CN102106758A (zh) 立体定向神经外科手术中病人头部标记的自动视觉定位装置及方法
CN113358665A (zh) 一种无人机隧洞缺陷检测方法及系统
US10893190B2 (en) Tracking image collection for digital capture of environments, and associated systems and methods
CN114782626A (zh) 基于激光与视觉融合的变电站场景建图及定位优化方法
CN108780319A (zh) 软件更新方法、系统、移动机器人及服务器
CN109213138A (zh) 一种避障方法、装置及系统
US20230401419A1 (en) Generating and/or using training instances that include previously captured robot vision data and drivability labels
CN113743391A (zh) 应用于低速自主驾驶机器人的三维障碍物检测系统与方法
Gundewar et al. A review on an obstacle detection in navigation of visually impaired
CN110136186A (zh) 一种用于移动机器人目标测距的检测目标匹配方法
KR102467234B1 (ko) 작물 및 가축의 크기 및 무게 추정 방법 및 장치
Guo et al. 3D scanning of live pigs system and its application in body measurements
EP4354401A1 (en) Method and system of detecting obstacle elements with a visual aid device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180302