CN113513987B - 一种3d点云坐标生成装置 - Google Patents

一种3d点云坐标生成装置 Download PDF

Info

Publication number
CN113513987B
CN113513987B CN202110781031.5A CN202110781031A CN113513987B CN 113513987 B CN113513987 B CN 113513987B CN 202110781031 A CN202110781031 A CN 202110781031A CN 113513987 B CN113513987 B CN 113513987B
Authority
CN
China
Prior art keywords
projection
laser
pixel
code
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110781031.5A
Other languages
English (en)
Other versions
CN113513987A (zh
Inventor
韦卫
陈荣欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smarteye Tech Ltd
Original Assignee
Smarteye Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smarteye Tech Ltd filed Critical Smarteye Tech Ltd
Priority to CN202110781031.5A priority Critical patent/CN113513987B/zh
Publication of CN113513987A publication Critical patent/CN113513987A/zh
Application granted granted Critical
Publication of CN113513987B publication Critical patent/CN113513987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种3D点云坐标生成装置，针对被测物体的复杂环境影响，设计多种编码方式，激光编码投影装置通过投射一字线激光，利用激光振镜旋转形成激光阵面，投射多幅携带编码信息的面阵光到被测物体，经相机传感器采集被测物体反射光形成的多幅由像素组成的图像数据，计算装置处理采集的像素图像数据，利用光刀平面与相机小孔成像原理，从而生成被测物体每个像素的3D坐标信息。

Description

一种3D点云坐标生成装置
技术领域
本发明属于机器视觉、人工智能和3D传感器装备技术领域。
背景技术
目前，基于LED结构光投影的3D相机，由于使用的是视差法生成3D坐标，在对高反光物体、黑色低反光物体、表面油污以及复杂强环境光的被测物体成像有很多局限。即使是使用DOE激光投影机的3D相机，投影固定无编码的图案，在高精度要求或大视野的情况下，单纯使用格雷码和相移码投影结构光方法很容易被干扰，导致成像不清晰，使得成像像素与投影空间难以形成一一对应关系，导致无法精确计算出每一个成像像素的XY坐标，进而无法计算Z轴坐标。
由此可以看出，要使3D相机解决上述问题，就必须从结构光编码、投影装置和抗干扰光源等方面进行创新解决上述问题。
发明内容
本发明公开了一种3D点云坐标生成装置，针对被测物体的复杂环境影响，设计多种编码方式，激光编码投影装置通过投射一字线激光，利用激光振镜旋转形成激光阵面，投射多幅携带编码信息的面阵光到被测物体，经相机传感器采集被测物体反射光形成的多幅由像素组成的图像数据，计算装置处理采集的像素图像数据，利用光刀平面与相机小孔成像原理，从而生成被测物体每个像素的3D坐标信息。
为达到上述目的，本发明的技术方案是这样实现的：
一种3D点云坐标生成装置，由计算装置、编码装置、激光发射器、激光扫描装置和相机传感器组成，其特征在于，编码装置生成多个携带编码信息的投影，投影装置依次控制激光发射器和激光扫描装置将携带编码信息的激光投射到需要生成3D点云坐标的被测物体上，同时利用相机传感器依次采集物体上反射形成的多帧像素图像，计算装置对采集的多帧像素图像利用光刀平面与相机小孔成像原理，生成被测物体的3D点云坐标，光刀平面可描述为AX+BY+CZ+D＝0，其中：X,Y,Z为被测物体的3D点云坐标，A，B，C，D为相机的标定参数；本发明装置的具体工作过程还包括以下步骤：
a、计算装置接收外部拍照指令，通知编码装置取第一帧投影编码，其中，投影装置预存
n帧投影编码，n大于等于1；
b、编码装置向投影装置发出预存的一帧投影编码；
c、投影装置将携带编码的激光投射到被测物体上，激光发射器按照接收编码装置的控制信息发射激光到扫描装置；扫描装置按照接收编码装置的控制信息旋转一个角度，将上
述激光反射到被测物体上；
d、相机传感器采集由被测物体反射步骤c投射激光形成的图像，生成由像素灰度值数据组成的一帧像素图像，发送给计算装置；
e、计算装置预处理采集的像素图像；
f、重复步骤b～e，直到n帧图像采集完成；
g、计算装置处理n帧图像及其预处理结果，利用一字线激光形成的光刀平面与被测物体表面相交形成的线，通过采集的多帧像素图像，计算线上每个像素对应的X轴和Y轴坐标，利用小孔成像原理计算Z轴形成的3D点云坐标。
本发明装置对相机在被测物体环境标定时利用编码信息预先记录像素的标定坐标(x1,y1)，在实际工作时，投影装置将带编码信息的投影图像按顺序投射到被测物体上，计算装置找出被测物体与预先标定具有相同编码信息的两个像素，被测物体像素坐标为(x2,y2)，通过已知的(x1,y1)、(x2,y2)以及相机基线等标定参数，可以计算出被测物体实际的3D点云坐标(X，Y，Z)，X＝x2*Z/f,Y＝
y2*Z/f，Z＝-D*f/(AX+BY+Cf)，其中，f为相机的焦距。
较佳地，相机传感器为图像传感器阵列芯片及其光学模组，通过高速数据接口将ADC模数转换后的像素灰度值数据传送给计算装置。
较佳地，投影装置由激光发射器和激光振镜组成。
较佳地，标定激光振镜的安装误差，将误差数据提供给计算装置，对3D坐标生成做自动补偿。
更进一步，所述编码装置的n帧投影编码，是为了计算装置可以快速计算由相机采集到的被测物体图像像素坐标，本发明装置对相机在被测物体环境标定时利用编码信息预先记录像素的标定坐标，在实际工作时，投影装置将带编码信息的投影图像按顺序投射到被测物体上。
较佳地，投影编码可以为a)格雷码；b)按二进制位取反的格雷码；c)相移码；d)全零编码；e)全1编码。
计算装置通过计算采集的n帧像素图像，生成该物体的3D点云坐标；
较佳地：利用格雷码信息生成被采集像素的X和Y轴坐标；
较佳地，利用相移码信息生成被采集像素的X和Y轴坐标；
较佳地，利用相移码信息和格雷码信息配合生成被采集像素的X和Y轴坐标。
为了抗干扰和提高3D坐标的精度，本发明利用相移码信息和格雷码信息配合生成被采集像素的x和y轴坐标的方法，相移码计算被采集像素的x轴和y轴坐标，格雷码计算像素的相移周期。
较佳地，为适应不同的成像环境，用全零编码投影和全1编码投影，采集被测物体的成像，标定格雷码的零-1阀值。
较佳地，激光发射器为一字线激光发射器，激光发射器的亮度灰度可以根据输入不同的激励电压调节。
较佳地，扫描装置采用激光振镜，且激光振镜的旋转范围弧度和旋转最小弧度可以满足相机分辨率的要求，将多个一字线激光形成面阵投影。
计算装置预处理采集的图像，其目的在于提高3D点云坐标的生成速度，在投影装置投影下一帧图像以及相机采集这一帧图像的同时，计算装置并行计算处理已经采集的图像信息，处理工作包括，生成像素的格雷码，畸形矫正等处理。
较佳地，利用GPU做加速处理。
较佳地，利用集成电路芯片ASIC，FPGA，CPLD做加速处理。
相移码为正弦波曲线上从零度到2π一个周期之间取m个点，且m大于等于1，相邻点的相移为2π/m，投影装置按正弦波一个周期形成不多于m个不同亮度的光线，k步相移投影生成步骤如下：
a)、第一帧投影从正弦波曲线上起点S＝零度点，开始生成投射的光线；
b)、按正弦波曲线上的下一个点，生成投射的光线；
c)、按正弦波周期，重复步骤b)，直到生成投射的光线数量与达到相机的分辨率；
d)、起点S＝S+2π/m点，相移2π/m，开始生成投射的光线；
e)、重复步骤b)，直到k步相移完成；
较佳地，k＝4，使用4步相移；
较佳地，k＝16，使用16步相移，以提高3D坐标的精度；
较佳地，利用格雷码标定相移码的周期，格雷码计算像素的相移周期，一个格雷码对应每一个周期的m个点。
较佳地，正弦波上m个点对应激光发射器的m个输入激励电压，进而由投影装置发射m个灰度值的光线。
附图说明
图1所示为应用本发明的原理示意图
图2所示为应用本发明算法实施例
图3所示为应用本发明第一实施例
图4所示为应用本发明第二实施例
具体实施方式
图1所示为应用本发明的原理示意图
本发明的组成包括：计算装置，编码装置，激光发射器，扫描装置和相机传感器。
其实现过程如下：
101 3D坐标生成装置接收外部设备拍照指令
102计算装置通知编码装置，投影装置预存n帧投影编码；
103编码装置按编码向投影装置中的激光发射器和激光振镜同时发出控制信号；
104投影装置中的激光振镜发出带编码的投影投射到被测物体上；
105相机传感器采集由被测物体反射形成的一帧图像，生成由像素灰度值数据组成的一帧像素图像；
106相机传感器将像素图像传送给计算装置，计算装置预处理采集的像素图像；
107重复步骤102～106，直至将n帧像素图像采集完成；
108计算装置处理多帧像素图像及其预处理结果，利用一字线激光形成的光刀平面与被测物体表面相交形成的线，通过采集的多帧像素图像，计算线上每个像素对应的X轴和Y轴坐标，利用小孔成像原理计算Z轴形成的3D点云坐标；
109计算装置将3D点云坐标发送给外部设备；
图2所示为应用本发明算法实施例
201预先生成n帧编码信息，其中包含：8帧格雷码，8帧反向给雷码，4帧相移码，n＝20帧；
202投影1帧，编码装置根据编码信息控制激光发射器发光，同时控制激光振镜按分辨率旋转一个弧度，直到一帧投影完成；
203相机采集图像，在编码装置控制激光器发光的同时，控制相机曝光采集一帧图像；
204 3D坐标预处理，在3D坐标生成装置进行下一帧投影和图像采集的过程中，并行处理上一帧采集的数据，包括：uchar类型转为float类型，图像去畸变、高斯模糊；
205判断n帧投影图像采集完成，如果未完成，则转向步骤202；
206计算像素坐标，解包相移码图像，生成每个像素的X和Y轴坐标；
207 3D坐标生成，利用每个像素的XY坐标、投影装置与相机的距离基线以及投影装置射线到被测物体与基线的夹角，计算装置计算出被测物体的3D坐标。
图3所示为应用本发明第一实施例
本实施例中包含以下工作单元，其工作原理如下：
301计算装置主要由CPU和GPU加速单元完成3D点云坐标的计算生成，输出一个相机拍照信号给编码装置，通过数据接口，USB或LVDS高速接口接收相机采集的图像像素数据，通过千兆以太网将生成的3D点云坐标传送给外部控制设备；
302编码装置由CPLD(可编程逻辑阵列)将预先生成的投影编码转换成两路12比特数字控制信号，一路控制激光发射器，另一路控制激光振镜，同时生成一位相机拍照触发信号；
303DAC控制转换芯片，将302的两路12bit信号转换成两路模拟信号分别控制激光发射器和激光振镜；
304激光发射器，根据303的控制信号可以发射出不同亮度的激光到激光振镜；
305激光振镜，根据303的控制信号转动镜片角度，将接收的激光投射到被测物体上；
306相机传感器，为图像传感器阵列芯片及其光学模组或2D相机，接收编码装置的拍照信号，开始曝光，采集被测物体的图像，将一帧图像像素数据通过数据接口传送给计算装置，其中，像素数据是图像传感器阵列ADC模数转换后的像素灰度值数据，也可以是经ISP处理后的RGB数据。
图4所示为应用本发明第二实施例
本实施例与第一实施例对比，使用了ASIC集成电路和FPGA现场可编程芯片实现3D坐标的计算加速，使用集成了DAC转换模块的MCU实现编码装置，其工作原理如下：
401计算装置主要由CPU和ASIC/FPGA芯片完成3D点云坐标的计算生成，输出一个相机拍照信号给编码装置，通过数据接口，USB或LVDS高速接口接收相机采集的图像，通过千兆以太网将生成的3D点云坐标传送给外部控制设备；
402编码装置由集成了双路DAC转换模块的MCU将预先生成的投影编码转换成两路模拟控制信号，一路控制激光发射器，另一路控制激光振镜，同时生成一位相机拍照触发信号；
403激光发射器，根据402的控制信号可以发射出不同亮度的激光到激光振镜；
404激光振镜，根据402的控制信号转动镜片角度，将接收的激光投射到被测物体上；
405相机传感器，为图像传感器阵列芯片及其光学模组或2D相机，接收编码装置的拍照信号，开始曝光，采集被测物体的图像，将一帧图像像素数据通过数据接口传送给计算装置，其中，像素数据是图像传感器阵列ADC模数转换后的像素灰度值数据，也可以是经ISP处理后的RGB数据。

Claims (10)

1.一种3D点云坐标生成装置，由计算装置、编码装置、激光发射器、激光扫描装置和相机传感器组成，其特征在于，编码装置生成多个携带编码信息的投影，投影装置依次控制激光发射器和激光扫描装置将携带编码信息的激光投射到需要生成3D点云坐标的被测物体上，同时利用相机传感器依次采集物体上反射形成的多帧像素图像，计算装置对采集的多帧像素图像利用光刀平面与相机小孔成像原理，生成被测物体的3D点云坐标；该装置执行以下步骤：
a、计算装置接收外部拍照指令，通知编码装置取第一帧投影编码，其中，投影装置预存n帧投影编码，n大于等于1；
b、编码装置向投影装置发出预存的一帧投影编码；
c、投影装置将携带编码的激光投射到被测物体上；
d、相机传感器采集由被测物体反射步骤c投射激光形成的图像，生成由像素灰度值数据组成的一帧像素图像，发送给计算装置；
e、计算装置预处理采集的像素图像；
f、重复步骤b～e，直到n帧像素图像采集完成；
g、计算装置处理n帧像素图像及其预处理结果，利用一字线激光形成的光刀平面与被测物体表面相交形成的线，通过采集的多帧像素图像，计算线上每个像素对应的X轴和Y
轴坐标，利用小孔成像原理计算Z轴形成的3D点云坐标。
2.根据权利要求1所述的装置，其特征在于，所述编码装置的n帧投影编码，是一种为了计算装置快速计算被测物体图像像素坐标而预先设定的编码，投影编码包含：a)格雷码；b)按二进制位取反的格雷码；c)相移码；d)全零编码；e)全1编码。
3.根据权利要求1所述的装置，其特征在于，所述投影装置，进一步包括：激光发射器和扫描装置；所属步骤c具体执行步骤为：
c1、激光发射器按照接收编码装置的控制信息发射一字线激光到扫描装置；
c2、扫描装置按照接收编码装置的控制信息旋转一个角度，将步骤c1的激光反射到被测物体上。
4.根据权利要求1所述的装置，其特征在于，计算装置通过计算采集的n帧像素图像，生成该物体的3D点云坐标，该方法进一步包括：a)利用格雷码信息生成被采集像素的X和Y轴坐标；b)利用相移码信息生成被采集像素的X和Y轴坐标；c)利用相移码信息和格雷码信息配合生成被采集像素的X和Y轴坐标。
5.根据权利要求4所述的装置，其特征在于，利用相移码信息和格雷码信息配合生成被采集像素的X和Y轴坐标的方法，相移码计算被采集像素的X轴和Y轴坐标，格雷码计算像素的相移周期。
6.根据权利要求1和权利要求4中任一项所述的装置，其特征在于：计算装置预处理采集的图像，具体为在投影装置投影下一帧像素图像以及相机采集这一帧像素图像的同时，计算装置并行计算处理已经采集的图像信息，包含：生成像素的格雷码，畸形矫正处理。
7.根据权利要求2所述的装置，其特征在于，投影编码包括全零编码和全1编码，相机传感器采集全零编码投影的结果作为判断格雷码为零的阀值，相机传感器采集全1编码投影的结果作为判断格雷码为1的阀值。
8.根据权利要求2所述的装置，其特征在于，所述相移码为正弦波曲线上从零度到2π一个周期之间取m个点，相邻点的相移为2π/m，投影装置按正弦波一个周期形成不多于m个不同亮度的光线，k步相移投影生成步骤如下：
a)、第一帧投影从正弦波曲线上起点S＝零度点，开始生成投射的光线；
b)、按正弦波曲线上的下一个点，生成投射的光线；
c)、按正弦波周期，重复步骤b)，直到生成投射的光线数量与达到相机的分辨率；
d)、起点S＝S+2π/m点，相移2π/m，开始生成投射的光线；
e)、重复步骤b)，直到k步相移完成。
9.根据权利要求8所述的装置，其特征在于，格雷码计算图像像素的相移周期，一个格雷码对应每一个周期的m个点。
10.根据权利要求8所述装置，其特征在于，正弦波上m个点对应投影的m个输入激励，投影装置发射的m个灰度值的光线。
CN202110781031.5A 2021-07-10 2021-07-10 一种3d点云坐标生成装置 Active CN113513987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110781031.5A CN113513987B (zh) 2021-07-10 2021-07-10 一种3d点云坐标生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110781031.5A CN113513987B (zh) 2021-07-10 2021-07-10 一种3d点云坐标生成装置

Publications (2)

Publication Number Publication Date
CN113513987A CN113513987A (zh) 2021-10-19
CN113513987B true CN113513987B (zh) 2023-04-18

Family

ID=78066766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110781031.5A Active CN113513987B (zh) 2021-07-10 2021-07-10 一种3d点云坐标生成装置

Country Status (1)

Country Link
CN (1) CN113513987B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
US7978892B2 (en) * 2006-10-25 2011-07-12 D4D Technologies, Llc 3D photogrammetry using projected patterns
CN101739717B (zh) * 2009-11-12 2011-11-16 天津汇信软件有限公司 三维彩色点云非接触扫描方法
CN106796721B (zh) * 2014-09-11 2021-05-04 赛博光学公司 三维轮廓测量中根据多个相机和源的点云合并
JP6353573B1 (ja) * 2017-03-02 2018-07-04 Ckd株式会社 三次元計測装置
CN109751969A (zh) * 2017-11-01 2019-05-14 天津微深科技有限公司 一种利用正反格雷码线移光栅的三维非接触扫描方法
GB2569656B (en) * 2017-12-22 2020-07-22 Zivid Labs As Method and system for generating a three-dimensional image of an object
CN111402411A (zh) * 2020-04-10 2020-07-10 贵刚 一种基于线结构光的散乱物识别抓取方法

Also Published As

Publication number Publication date
CN113513987A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN104506838B (zh) 一种符号阵列面结构光的深度感知方法、装置及系统
CN111536904B (zh) 一种基于结构照明的三维测量方法及系统、存储介质
CN109727290B (zh) 基于单目视觉三角测距法的变焦相机动态标定方法
CN101373135B (zh) 基于瞬时随机光照的三维曲面测量装置及方法
CN102519390B (zh) 三编码周期灰度梯形相移结构光三维信息获取方法
JP2011141174A (ja) ３次元計測装置及びその制御方法
CN111649691A (zh) 基于单像素探测器的数字条纹投影三维成像系统及方法
CN113129430B (zh) 基于双目结构光的水下三维重建方法
JP6169096B2 (ja) 深さが制限された物体の３次元測定方法
JP2015184056A (ja) 計測装置、方法及びプログラム
CN113160298A (zh) 一种深度真值获取方法、装置、系统及深度相机
CN105158275B (zh) 基于近红外编码点阵结构光的苹果果梗/花萼检测方法
CN101782369A (zh) 影像量测对焦系统及方法
CN113513987B (zh) 一种3d点云坐标生成装置
CN112945089A (zh) 一种基于条纹宽度调制的结构光编码方法
EP4302133A1 (en) Time-of-flight data generation circuitry and time-of-flight data generation method
CN117557485A (zh) 彩色图像获取方法、系统、设备、介质及口内扫描装置
RU2573767C1 (ru) Устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения
CN113160416A (zh) 一种用于煤流检测的散斑成像装置及方法
CN113052890A (zh) 一种深度真值获取方法、装置、系统及深度相机
CN102519396B (zh) 三个灰度对称线性编码周期的采样点三维信息获取方法
CN112987021A (zh) 一种飞行时间法和结构光法相融合的结构光三维成像系统及方法
Gu et al. 3dunderworld-sls: an open-source structured-light scanning system for rapid geometry acquisition
CN116520348A (zh) 基于调制光场的深度成像系统、方法、设备及介质
CN118212257A (zh) 训练方法及位姿追踪方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant