CN115942096A - 一种rgb-d图像的采集系统 - Google Patents

一种rgb-d图像的采集系统 Download PDF

Info

Publication number
CN115942096A
CN115942096A CN202211466845.0A CN202211466845A CN115942096A CN 115942096 A CN115942096 A CN 115942096A CN 202211466845 A CN202211466845 A CN 202211466845A CN 115942096 A CN115942096 A CN 115942096A
Authority
CN
China
Prior art keywords
image
rgb
line
array camera
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211466845.0A
Other languages
English (en)
Inventor
封善斋
李醒飞
时春峰
易晓满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haikeshong Manufacturing Intelligent Technology Qingdao Co ltd
Tianjin University
Original Assignee
Haikeshong Manufacturing Intelligent Technology Qingdao Co ltd
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haikeshong Manufacturing Intelligent Technology Qingdao Co ltd, Tianjin University filed Critical Haikeshong Manufacturing Intelligent Technology Qingdao Co ltd
Priority to CN202211466845.0A priority Critical patent/CN115942096A/zh
Publication of CN115942096A publication Critical patent/CN115942096A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种RGB‑D图像的采集系统包括:光源;线阵相机;多个线激光器,其位于所述线阵相机的两侧;面阵相机;所述线阵相机的光轴与所述面阵相机的光轴共面,所述第二视野范围在Y方向上的宽度与所述第一视野范围在Y方向上的宽度相等;图像处理模块,其用于根据接收的所述激光线条图像计算得到深度图像;还用于将所述深度图像和所述RGB图像合成所述RGB‑D图像。本发明通过面阵相机与线激光器的配合以及增加线阵相机,使其能够在相对狭小的空间内,动态连续地测量计算待测件的深度图像和RGB图像,提高了图像采集的速度;同时因为线阵相机与线激光器交替触发,深度图像和RGB图像在空间上相互交错,经过融合得到高质量的RGB‑D图像,提升了图像的分辨率。

Description

一种RGB-D图像的采集系统
技术领域
本发明涉及图像采集的技术领域,具体涉及一种RGB-D图像的采集系统。
背景技术
目前,RGB-D图像通常应用在3D物体的提取过程中,例如焊缝检测过程中对焊趾的提取。但是,现有的 RGB-D图像采集的设备无论是基于RGB 面阵相机结合结构光投影的形式,还是基于飞行时间法的方式,都存在相应的问题,无法满足高精度提取的需求:其一,体积大,无法进入逼仄空间,面对小型复杂结构件的检测时容易产生光路或结构干涉;其二,计算量大、计算缓慢,无法动态连续测量,无法应用于工件在传送运动时的在线测量场景;其三,为了保证计算量的可控,目前的RGB-D相机的分辨率相对低,无法获取精细的点位。
综上,现需要设计一种RGB-D图像的采集系统来解决上述问题。
发明内容
本发明提供了一种RGB-D图像的采集系统,解决了目前的 RGB-D 相机体积大容易干涉、采集和计算慢、无法动态测量、分辨率低的问题。
为达到上述目的,本发明采用如下技术方案:
一种RGB-D图像的采集系统,包括:
光源;
线阵相机,其沿Y方向形成第一视野范围,用于采集待测件的RGB图像;
多个线激光器,其位于所述线阵相机的两侧,多个所述线激光器的光照平面共面,且与所述线阵相机的中心平面重合;
面阵相机,其沿X方向和Y方向形成第二视野范围,用于采集多个所述线激光器的激光线条图像;
其中,所述线阵相机的光轴与所述面阵相机的光轴共面,所述第二视野范围在Y方向上的宽度与所述第一视野范围在Y方向上的宽度相等;
图像处理模块,其用于根据接收的所述激光线条图像计算得到深度图像;还用于将所述深度图像和所述RGB图像合成所述RGB-D图像。
在本发明的一些实施例中,所述线激光器的触发频率与所述线阵相机的触发频率相同,且所述线激光器与所述线阵相机交替触发。
在本发明的一些实施例中,当所述线阵相机采集所述RGB图像时,所述线激光器为关闭状态。
在本发明的一些实施例中,所述线激光器在板材上所形成的激光线条的长度不小于所述第一视野范围在Y方向上的宽度。
在本发明的一些实施例中,在所述待测件静止状态下,所述面阵相机采集的所述激光线条图像的位置与所述线阵相机采集的所述RGB图像的位置重合。
在本发明的一些实施例中,在所述待测件运动过程中,所述面阵相机采集的所述激光线条图像与所述线阵相机采集的所述RGB图像的在空间上相互交错。
在本发明的一些实施例中,所述图像处理模块还用于沿X方向按照2倍的长度将所述RGB图像和所述深度图像进行上采样,得到插补后的RGB图像和插补后的深度图像。
在本发明的一些实施例中,所述图像处理模块还用于按照RGB的方向添加插补后的深度图像的矩阵,完成RGB-D图像的合成。
在本发明的一些实施例中,所述RGB图像在Y方向上的像素数为m,所述深度图像在Y方向上的像素数为n;当m>n时,所述图像处理模块还用于在Y方向对所述深度图像进行上采样至其Y方向上的像素数等于m;当m<n时,所述图像处理模块还用于在Y方向对所述RGB图像进行上采样至其Y方向上的像素数等于n。
本发明的技术方案相对现有技术具有如下技术效果:
本发明通过面阵相机与线激光器的配合以及增加线阵相机,使其能够在相对狭小的空间内,动态连续地测量计算待测件的深度图像和RGB图像,提高了图像采集的速度;同时因为线阵相机与线激光器交替触发,因此深度图像和RGB图像在空间上相互交错,经过融合后即可得到高质量的RGB-D图像,提升了图像的分辨率。
另外利用深度图像和RGB图像合成的RGB-D图像精度高,利于提高后续待测件的提取和测量精度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为实施例中所示出的面阵相机的第一视野范围的示意图。
图2为实施例中所示出的所述RGB-D图像的合成流程的图像示意图。
图3为实施例中所示出的所述RGB-D图像的获取流程示意图。
图4为实施例中所示出的根据所述RGB-D图像提取所述焊趾的3D数据的流程示意图。
附图标记:100-线阵相机;200-面阵相机;310-第一线激光器;320-第二线激光器;400-光源。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
实施例1
参照图1所示,一种RGB-D图像的采集系统,包括:
光源400;
线阵相机100,其沿Y方向形成第一视野范围,用于采集待测件的RGB图像;
多个线激光器,其位于所述线阵相机100的两侧,多个所述线激光器的光照平面共面,且与所述线阵相机100的中心平面重合;
面阵相机200,其沿X方向和Y方向形成第二视野范围,用于采集多个所述线激光器的激光线条图像;
其中,所述线阵相机100的光轴与所述面阵相机200的光轴共面,所述第二视野范围在Y方向上的宽度与所述第一视野范围在Y方向上的宽度相等;
图像处理模块(图中未示出),其用于根据接收的所述激光线条图像计算得到深度图像;还用于将所述深度图像和所述RGB图像合成所述RGB-D图像。
具体地,在该实施例中线激光器包括第一线激光器310和第二线激光器320,其位于所述线阵相机100的两侧,所述第一线激光器310的光照平面与所述第二线激光器320的光照平面共面,且与所述线阵相机100的中心平面重合。
在本发明的一些实施例中,第一线激光器310和第二线激光器320的触发频率与所述线阵相机100的触发频率相同,且所述线激光器与所述线阵相机100交替触发;进行焊缝表面处的激光线条图像和RGB图像采集。采集所述RGB图像时必须关闭线激光器,以避免线阵相机100采集不到色彩区分度高的RGB图像。
在本发明的一些实施例中,如图1中实线部分为线阵相机100形成的第一视野范围,点虚线部分为面阵相机200形成的第二视野范围;虚线部分为第一线激光器310和第二线激光器320的激光线条。
线阵相机100的设置满足以下条件:第一视野范围的中心平面与各个线激光的光照平面重合;线阵相机100的光轴与面阵相机200的光轴共面,且其公共平面垂直Y方向;第一视野范围的Y方向上的视野大小与第二视野范围的Y方向上的视野大小相同,且相互平行。
通过以上条件,在所述待测件静止状态下,所述面阵相机200采集的所述激光线条图像的位置与所述线阵相机100采集的所述RGB图像的位置重合。
在所述待测件运动过程中,所述面阵相机200采集的所述激光线条图像与所述线阵相机100采集的所述RGB图像的在空间上相互交错。
利用线阵相机100采集RGB图像,能够保证足够高的采样频率,具体地是不低于1kHz,以实现全动态的采样需求。
继续参照图1所示,面阵相机200所形成的第二视野范围为矩形,第二视野范围的长度方向与X方向平行,其宽度方向与Y方向平行;在图像采集过程中,带有焊缝的板材沿X方向运动,焊缝的表面法向与Z方向平行,焊缝的焊接方向与X方向平行。
在本发明的一些实施例中,所述第一线激光器310和第二线激光器320所形成的的光照平面参照图1中虚线部分所示,所述第一线激光器310和第二线激光器320在板材上所形成的激光线条的长度不小于所述第一视野范围在Y方向上的宽度。线激光器形成的激光线条在焊缝表面的投影能够填充面阵相机200在Y方向上的视野范围。既能满足线条精度需求,也能避免激光的光路干涉;在所述深度图像的采集过程中采用激光作为光源,面阵相机200可以进行低曝光时间下的高帧率图像采集,达到不低于1 kHz的采样频率。
在本发明的一些实施例中,当所述线阵相机100采集所述RGB图像时,所述第一线激光器310和第二线激光器320为关闭状态。
在本发明的一些实施例中,关于光源400,其位于面阵相机200和线阵相机100之间,所述光源400采用白光条形光源。
所述图像处理模块还用于将深度图像和RGB图像合成为RGB-D图像;
由于RGB图像和深度图像是通过线阵相机100和线激光器交替触发采集,因此采集的RGB图像和深度图像在空间上相互交错;需要对RGB图像和深度图像进行线性插补;
参照图2和图3所示,所述RGB-D图像的合成具体包括以下步骤:
S1、沿X方向按照2倍的长度将所述RGB图像和所述深度图像进行上采样,得到插补后的RGB图像和插补后的深度图像;当所述RGB图像和所述深度图像在Y方向的像素数不同时,则图像处理模块先在Y方向进行上采样至宽度方向上的像素等于所述RGB图像和所述深度图像中Y方向上像素数的较大值;例如,所述RGB图像在Y方向上的像素数为m,所述深度图像在Y方向上的像素数为n;当m>n时,所述图像处理模块还用于在Y方向对所述深度图像进行上采样至其Y方向上的像素数等于m;当m<n时,所述图像处理模块还用于在Y方向对所述RGB图像进行上采样至其Y方向上的像素数等于n。
S2、插补后的RGB图像和插补后的深度图像大小相同,且在三维空间中对应的位置完全相同;按照RGB的方向添加插补后的深度图像的矩阵,即完成RGB-D图像的合成。
在本发明的一些实施例中,结合该RGB-D图像的采集系统在焊缝检测领域上的应用,阐述该采集系统的工作原理,参照图4所示:
开始测量后,首先打开光源400,待测件沿X方向相对所述面阵相机200和所述线阵相机100运动进入测量周期;
在一个测量周期内,先打开所述第一线激光器310和所述第二线激光器320,所述面阵相机200采集激光线条图像;而后关闭所述第一线激光器310和所述第二线激光器320,所述线阵相机100采集焊缝表面的RGB图像;
随着待测件的运动,重复多个测量周期,得到多个所述激光线条图像和所述RGB图像,关闭光源400;
然后所述图像处理模块根据所述激光线条图像基于激光三角法计算得到深度图像,按照上述步骤合成RGB-D图像;
对于焊趾坐标的提取过程:
所述图像处理模块首先将RGB-D图像抽取为标准深度图像和标准RGB图像;
然后将所述标准RGB图像转为灰度图后利用高斯滤波去除干扰,即去除图像采集时的噪声干扰;
接着使用Sobel算子沿所述灰度图的Y方向计算梯度值,得到每个像素点沿Y方向的一阶偏导矩阵,而后求解其绝对值,得到沿Y方向的梯度图的幅值矩阵Gy;另外,由于X方向平行于焊接方向,实际焊趾的位置沿X方向不一定存在差异,因此沿X方向的梯度幅值矩阵Gx在焊趾处相对于焊趾左右的其他像素位置不会有明显的幅值差异,实质上为噪声干扰项,因此Gx不得参与后续的计算;
之后对所述幅值矩阵 Gy沿X方向的每一行依次提取幅值最大的两个点,即为此行的左右焊趾,其对应的XY坐标,即为焊趾的左右两个2D坐标;
基于高频采样下相邻行的焊趾位置不会发生骤变的原理,所述步骤S63中还包括对所述2D坐标沿X方向进行均值和/或中值滤波,去除因噪声引起的焊趾位置异常;
最后按照焊趾的2D坐标,在深度图像中查询对应2D坐标的深度,即可得到焊趾的3D坐标,完成焊趾的3D坐标提取。
本发明的技术方案相对现有技术具有如下技术效果:
本发明通过面阵相机与线激光器的配合以及增加线阵相机,使其能够在相对狭小的空间内,动态连续地测量焊缝表面的RGB-D图像;另外利用的深度图像和的RGB图像合成RGB-D图像后再进行焊趾坐标的提取,提取结果更加准确,提升焊缝表面尺寸和形位的测量精度。
在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种RGB-D图像的采集系统,其特征在于,包括:
光源;
线阵相机,其沿Y方向形成第一视野范围,用于采集待测件的RGB图像;
多个线激光器,其位于所述线阵相机的两侧,多个所述线激光器的光照平面共面,且与所述线阵相机的中心平面重合;
面阵相机,其沿X方向和Y方向形成第二视野范围,用于采集多个所述线激光器的激光线条图像;
其中,所述线阵相机的光轴与所述面阵相机的光轴共面,所述第二视野范围在Y方向上的宽度与所述第一视野范围在Y方向上的宽度相等;
图像处理模块,其用于根据接收的所述激光线条图像计算得到深度图像;还用于将所述深度图像和所述RGB图像合成所述RGB-D图像。
2.根据权利要求1所述的一种RGB-D图像的采集系统,其特征在于,所述线激光器的触发频率与所述线阵相机的触发频率相同,且所述线激光器与所述线阵相机交替触发。
3.根据权利要求1所述的一种RGB-D图像的采集系统,其特征在于当所述线阵相机采集所述RGB图像时,所述线激光器为关闭状态。
4.根据权利要求1所述的一种RGB-D图像的采集系统,其特征在于,所述线激光器在板材上所形成的激光线条的长度不小于所述第一视野范围在Y方向上的宽度。
5.根据权利要求1所述的一种RGB-D图像的采集系统,其特征在于,在所述待测件静止状态下,所述面阵相机采集的所述激光线条图像的位置与所述线阵相机采集的所述RGB图像的位置重合。
6.根据权利要求1所述的一种RGB-D图像的采集系统,其特征在于,在所述待测件运动过程中,所述面阵相机采集的所述激光线条图像与所述线阵相机采集的所述RGB图像的在空间上相互交错。
7.根据权利要求1所述的一种RGB-D图像的采集系统,其特征在于,所述图像处理模块还用于沿X方向按照2倍的长度将所述RGB图像和所述深度图像进行上采样,得到插补后的RGB图像和插补后的深度图像。
8.根据权利要求7所述的一种RGB-D图像的采集系统,其特征在于,所述图像处理模块还用于按照RGB的方向添加插补后的深度图像的矩阵,完成RGB-D图像的合成。
9.根据权利要求8所述的一种RGB-D图像的采集系统,其特征在于,所述RGB图像在Y方向上的像素数为m,所述深度图像在Y方向上的像素数为n;当m>n时,所述图像处理模块还用于在Y方向对所述深度图像进行上采样至其Y方向上的像素数等于m;当m<n时,所述图像处理模块还用于在Y方向对所述RGB图像进行上采样至其Y方向上的像素数等于n。
CN202211466845.0A 2022-11-22 2022-11-22 一种rgb-d图像的采集系统 Pending CN115942096A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211466845.0A CN115942096A (zh) 2022-11-22 2022-11-22 一种rgb-d图像的采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211466845.0A CN115942096A (zh) 2022-11-22 2022-11-22 一种rgb-d图像的采集系统

Publications (1)

Publication Number Publication Date
CN115942096A true CN115942096A (zh) 2023-04-07

Family

ID=86696845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211466845.0A Pending CN115942096A (zh) 2022-11-22 2022-11-22 一种rgb-d图像的采集系统

Country Status (1)

Country Link
CN (1) CN115942096A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106289106A (zh) * 2016-08-04 2017-01-04 北京航空航天大学 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
US20180342100A1 (en) * 2017-05-25 2018-11-29 Onsiteiq, Inc. Interactive Image Based 3D Panograph
CN112887577A (zh) * 2021-02-08 2021-06-01 革点科技(深圳)有限公司 一种抗环境光的rgb-d三维相机
WO2021124452A1 (ja) * 2019-12-17 2021-06-24 三菱電機株式会社 壁面計測システムおよび壁面計測方法
CN114332083A (zh) * 2022-03-09 2022-04-12 齐鲁工业大学 一种基于PFNet的工业品伪装瑕疵识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106289106A (zh) * 2016-08-04 2017-01-04 北京航空航天大学 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
US20180342100A1 (en) * 2017-05-25 2018-11-29 Onsiteiq, Inc. Interactive Image Based 3D Panograph
WO2021124452A1 (ja) * 2019-12-17 2021-06-24 三菱電機株式会社 壁面計測システムおよび壁面計測方法
CN112887577A (zh) * 2021-02-08 2021-06-01 革点科技(深圳)有限公司 一种抗环境光的rgb-d三维相机
CN114332083A (zh) * 2022-03-09 2022-04-12 齐鲁工业大学 一种基于PFNet的工业品伪装瑕疵识别方法

Similar Documents

Publication Publication Date Title
CN106796721B (zh) 三维轮廓测量中根据多个相机和源的点云合并
CN111351450A (zh) 基于深度学习的单帧条纹图像三维测量方法
CN107860337B (zh) 基于阵列相机的结构光三维重建方法与装置
KR20150107822A (ko) 회로 기판의 삼차원 이미징을 위한 멀티 카메라 센서
JP5633058B1 (ja) 3次元計測装置及び3次元計測方法
EP2106527A2 (en) A method, device and system for imaging
CN112945141B (zh) 基于微透镜阵列的结构光快速成像方法及系统
CN108986070A (zh) 一种基于高速视频测量的岩石裂缝扩展实验监测方法
WO2017138210A1 (ja) 撮像装置、撮像方法及び撮像システム
EP3680607A1 (en) Surface roughness measurement
US9157874B2 (en) System and method for automated x-ray inspection
CN113310433A (zh) 基于线结构光的虚拟双目立体视觉测量方法
CN115942096A (zh) 一种rgb-d图像的采集系统
CN117092659A (zh) 一种激光成像雷达和相机联合测量船舶高度的系统及方法
CN116008177A (zh) Smt元器件高度缺陷识别方法、系统及其可读介质
JP2014238299A (ja) 被検物の計測装置、算出装置、計測方法および物品の製造方法
Hongsheng et al. Three-dimensional reconstruction of complex spatial surface based on line structured light
Wang et al. A fast and precise three-dimensional measurement system based on multiple parallel line lasers
Mure-Dubois et al. Fusion of time of flight camera point clouds
Salah et al. New and optimal set up for 3D-based stereovision system for manufacturing inspection in 4.0 industry
CN112710234A (zh) 基于线阵面阵的三维动态测量装置及测量方法
CN110827230A (zh) 一种利用tof提升rgb图像质量的方法和装置
DE102006013316A1 (de) 3D-Rekonstruktion von statischen Szenen durch vereinheitlichte Kombination der Methode des Depth from Defokus und der des Shape from Motion
CN117522944A (zh) 一种基于深度感知的自适应面外振动测量系统及方法
Deng et al. A three-dimensional imaging system for surface profilometry of moving objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination