CN112150372A - 一种深度图矫正方法、深度图矫正装置和机器人 - Google Patents

一种深度图矫正方法、深度图矫正装置和机器人 Download PDF

Info

Publication number
CN112150372A
CN112150372A CN201910580654.9A CN201910580654A CN112150372A CN 112150372 A CN112150372 A CN 112150372A CN 201910580654 A CN201910580654 A CN 201910580654A CN 112150372 A CN112150372 A CN 112150372A
Authority
CN
China
Prior art keywords
image
correction
depth
depth map
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910580654.9A
Other languages
English (en)
Other versions
CN112150372B (zh
Inventor
林天麟
陈先开
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chuangxiangweilai Robot Co ltd
Original Assignee
Shenzhen Chuangxiangweilai Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chuangxiangweilai Robot Co ltd filed Critical Shenzhen Chuangxiangweilai Robot Co ltd
Priority to CN201910580654.9A priority Critical patent/CN112150372B/zh
Publication of CN112150372A publication Critical patent/CN112150372A/zh
Application granted granted Critical
Publication of CN112150372B publication Critical patent/CN112150372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供了一种深度图矫正方法、深度图矫正装置和机器人,通过将图像矫正设备初始化,并将图像矫正设备保持头部水平,且在头部的正前方的预设距离点上设置标定板;将干扰源设置在图像矫正设备和标定板之间,并采用预设标定方法对图像矫正设备进行标定,得出标定结果,干扰源为使采集图像发生畸变的物体;根据标定结果以及预设的矫正算法对采集到的图像进行矫正。通过在图像矫正设备的正前方设置标定板,并采用预设标定方法对所述图像矫正设备进行标定得出标定结果,最后再根据标定结果以及预设的矫正算法对采集到的图像进行配准和矫正,将畸变图像配准和矫正为正确的图像,从而避免了干扰源对检测结果的干扰。

Description

一种深度图矫正方法、深度图矫正装置和机器人
技术领域
本发明涉及RGBD领域,更具体地说,涉及一种深度图矫正方法、深度图矫正装置和机器人。
背景技术
RGBD=RGB+Depth Map;RGB色彩模式是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一。在3D计算机图形中,Depth Map(深度图)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中,Depth Map类似于灰度图像,只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的,因而像素点之间具有一对一的对应关系。
随着机器人的普及,RGBD技术在机器人上也开始逐渐的应用,目前的RGBD技术应用在机器人上时,为了避免图像畸变导致深度图测量不准确,在机器人上设置的相机大多是外露在外面,且相机前方不能有任何的弯曲面的遮挡,否则会导致相机的成像产生形变,尤其对于主动结构光的深度相机影响更大,由于这个问题的存在,导致相机的保护以及对机器人形态设计产生了很多的限制,例如为了配合机器人的形态,将相机前的保护罩设计成圆形保护罩时,由于弧面玻璃会对光线产生折射,导致进入RGB-D相机的图像数据与实际数据产生畸变,导致出现测量误差,因此提供一种畸变图形配准和矫正方法,对于RGBD技术的广泛应用具有十分有价值的意义。
发明内容
本发明要解决的技术问题在于当目前的RGBD相机前方出现干扰源,使得采集到的深度图出现畸变,导致深度测量结果出现误差的问题,针对该技术问题,提供一种深度图矫正方法、深度图矫正装置和机器人。
为解决上述技术问题,本发明提供一种深度图矫正方法,所述深度图矫正方法包括:
将图像矫正设备初始化,并将所述图像矫正设备保持头部水平,且在头部的正前方的预设距离点上设置标定板;
将干扰源设置在所述图像矫正设备和标定板之间,并采用预设标定方法对所述图像矫正设备进行标定,得出标定结果,所述干扰源为使采集图像发生畸变的物体;
根据所述标定结果以及预设的矫正算法对采集到的图像进行矫正。
可选的,所述图像矫正设备包括:彩色RGB相机和红外IR相机;
所述彩色RGB相机用于采集彩色图像的图像数据;
所述红外IR相机用于采集深度图像的图像数据。
可选的,当所述预设标定方法为张正友标定法时,所述标定结果包括:
标定后红外IR相机的内参数矩阵KL,畸变参数{kL1,kL2,pL1,pL2,kL3};
标定后彩色RGB相机的内参数矩阵KR,畸变参数{kR1,kR2,pR1,pR2,kR3};
标定后红外IR相机到彩色RGB相机的外参变换矩阵为MRL
其中所述KL、KR和MRL分别为:
Figure BDA0002112972620000031
Figure BDA0002112972620000032
Figure BDA0002112972620000033
fLx表示红外IR相机焦距除以每个像素的宽度,fLy表示红外IR相机焦距除以每个像素的高度,cLx表示深度图像中心的像素横坐标,cLy表示深度图像中心的像素纵坐标。fRx表示彩色RGB相机焦距除以每个像素的宽度,fRy表示彩色RGB相机焦距除以每个像素的高度,cRx表示彩色图像中心的像素横坐标,cRy表示彩色图像中心的像素纵坐标。kL1,kL2,kL3表示红外IR相机的径向畸变参数,pL1,pL2表示红外IR相机的切向畸变参数。kR1,kR2,kR3表示彩色RGB相机的径向畸变参数,pR1,pR2表示彩色RGB相机的切向畸变参数。mij,i,j∈{1,2,3}表示外参变换中的旋转变换参数,mij,i∈{1,2,3},j=4表示外参变换中的平移部分参数。
可选的,所述根据所述标定结果以及预设的矫正算法对采集到的图像进行矫正包括以下步骤:配准深度图、畸变矫正、矫正图像中心位置深度,以及矫正图像所有像素位置深度。
可选的,所述配准深度图包括:
计算深度图像到彩色图像的像素变换矩阵
Figure BDA0002112972620000034
得到
Figure BDA0002112972620000035
其中所述*表示矩阵乘法;
计算每个深度图像的像素坐标(uL,vL,dL)到彩色图像像素的坐标(uR,vR,dR),得到
Figure BDA0002112972620000041
可选的,所述畸变矫正包括:
根据OpenCV张正友标定法,对彩色图像的每个像素(uR,vR)坐标畸变矫正,得到(u'R,v'R)=φ(uR,vR,kR1,kR2,kR3,pR1,pR2);
以及对彩色图像的图像中心(cRx,cRy)进行畸变矫正,得到(c'Rx,c'Ry)=φ(cRx,cRy,kR1,kR2,kR3,pR1,pR2);
根据畸变矫正后的彩色图像,得到畸变矫正后的深度图像的坐标为(u'R,v'R,dR)。
可选的,所述校正图像中心位置深度包括:
计算彩色图像的图像中心(c'Rx,c'Ry)的深度修正值d'R=f(dR),其中所述f(dR)表示修正函数,所述修正函数采用预设拟合函数得到。
可选的,所述预设拟合函数包括:
Figure BDA0002112972620000042
所述a,b,c系数通过采集样本进行估计得到。
可选的,所述校正图像所有像素位置深度包括:
根据预设矫正函数计算所述深度图像中每个像素点(u'R,v'R,d'R)下的深度修正值d'R'=g(u'R,v'R,d'R,c'Rx,c'Ry),得到矫正后的深度图的像素(u'R,v'R,d″R)。
可选的,所述预设矫正函数包括:
Figure BDA0002112972620000043
进一步地,本发明还提供了一种深度图矫正装置,所述深度图矫正装置包括彩色RGB相机、红外IR相机、干扰源和处理器;
所述干扰源设置在所述彩色RGB相机和红外IR相机的正前方;
所述处理器用于执行上述任一项所述的深度图矫正方法,对所述彩色RGB相机和红外IR相机采集到的深度图进行矫正。
进一步地,本发明还提供了一种机器人,所述机器人包括如权利要求11所述的深度图矫正装置和机器人本体;
所述深度图矫正装置固定并电性连接在所述机器人本体上。
有益效果
本发明实施例提供了一种深度图矫正方法、深度图矫正装置和机器人,针对RGBD相机前方出现干扰源,使得采集到的深度图出现畸变,导致深度测量结果出现误差的问题,通过将图像矫正设备初始化,并将图像矫正设备保持头部水平,且在头部的正前方的预设距离点上设置标定板;将干扰源设置在图像矫正设备和标定板之间,并采用预设标定方法对图像矫正设备进行标定,得出标定结果,干扰源为使采集图像发生畸变的物体;根据标定结果以及预设的矫正算法对采集到的图像进行矫正。通过在图像矫正设备的正前方设置标定板,并采用预设标定方法对所述图像矫正设备进行标定得出标定结果,最后再根据标定结果以及预设的矫正算法对采集到的图像进行配准和矫正,将畸变图像配准和矫正为正确的图像,从而避免了干扰源对检测结果的干扰。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1为实现本发明各个实施例一个可选的移动终端的硬件结构示意图。
图2为如图1所示的移动终端的无线通信系统示意图;
图3为本发明第一实施例提供的……方法基本流程图;
图4为本发明第二实施例提供的……方法细化流程图;
图5为本发明第三实施例提供的终端的结构示意图;
……..。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
第一实施例:
本发明实施例提供了一种深度图矫正方法,该深度图像矫正方法的步骤如图1所示,图1位本实施例提供的一种深度图矫正方法的基本流程图,深度图像矫正方法的步骤包括:
S101、将图像采集设备初始化,并在正前方的预设距离点上设置标定板。
将图像矫正设备初始化,并将所述图像矫正设备保持头部水平,且在头部的正前方的预设距离点上设置标定板;由于不同的干扰源对于光线产生的干扰不同,因此在矫正开始时,首先需要将图像采集设备初始化,并通过标定板对图像采集设备重新进行标定。
S102、设置干扰源,并对图像矫正设备进行标定,得出标定结果。
将干扰源设置在所述图像矫正设备和标定板之间,并采用预设标定方法对所述图像矫正设备进行标定,得出标定结果,所述干扰源为使采集图像发生畸变的物体;在将图像矫正设备和标定板设置到位后,将干扰源设置在预设的位置上,这个预设位置就是深度图矫正装置在装配时干扰源内的装配位置,然后通过预设的标定方法对图像矫正设备的参数进行标定,得出标定结果。
S103、根据所述标定结果以及预设的矫正算法对采集到的图像进行矫正。
在本实施例中,所述图像矫正设备包括:彩色RGB相机和红外IR相机;彩色RGB相机用于采集彩色图像的图像数据;红外IR相机用于采集深度图像的图像数据。
在本实施例中预设标定方法包括但不限于张正友标定法,在采用张正友标定法时,标定结果包括:
标定后红外IR相机的内参数矩阵KL,畸变参数{kL1,kL2,pL1,pL2,kL3};
标定后彩色RGB相机的内参数矩阵KR,畸变参数{kR1,kR2,pR1,pR2,kR3};
标定后红外IR相机到彩色RGB相机的外参变换矩阵为MRL
其中所述KL、KR和MRL分别为:
Figure BDA0002112972620000071
Figure BDA0002112972620000072
和;
Figure BDA0002112972620000073
其中fLx表示红外IR相机焦距除以每个像素的宽度,fLy表示红外IR相机焦距除以每个像素的高度,cLx表示深度图像中心的像素横坐标,cLy表示深度图像中心的像素纵坐标。fRx表示彩色RGB相机焦距除以每个像素的宽度,fRy表示彩色RGB相机焦距除以每个像素的高度,cRx表示彩色图像中心的像素横坐标,cRy表示彩色图像中心的像素纵坐标。kL1,kL2,kL3表示红外IR相机的径向畸变参数,pL1,pL2表示红外IR相机的切向畸变参数。kR1,kR2,kR3表示彩色RGB相机的径向畸变参数,pR1,pR2表示彩色RGB相机的切向畸变参数。mij,i,j∈{1,2,3}表示外参变换中的旋转变换参数,mij,i∈{1,2,3},j=4表示外参变换中的平移部分参数。
在本实施例中,根据标定结果以及预设的矫正算法对采集到的图像进行矫正包括以下步骤:配准深度图、畸变矫正、矫正图像中心位置深度,以及矫正图像所有像素位置深度。
其中,配准深度图包括:计算深度图像到彩色图像的像素变换矩阵
Figure BDA0002112972620000081
得到
Figure BDA0002112972620000082
其中*表示矩阵乘法;计算每个深度图像的像素坐标(uL,vL,dL)到彩色图像像素的坐标(uR,vR,dR),得到
Figure BDA0002112972620000083
其中,畸变矫正包括:根据OpenCV张正友标定法,对彩色图像的每个像素(uR,vR)坐标畸变矫正,得到(u'R,v'R)=φ(uR,vR,kR1,kR2,kR3,pR1,pR2);以及对彩色图像的图像中心(cRx,cRy)进行畸变矫正,得到(c'Rx,c'Ry)=φ(cRx,cRy,kR1,kR2,kR3,pR1,pR2);根据畸变矫正后的彩色图像,得到畸变矫正后的深度图像的坐标为(u'R,v'R,dR)。
其中,校正图像中心位置深度包括:计算彩色图像的图像中心(c'Rx,c'Ry)的深度修正值d'R=f(dR),其中f(dR)表示修正函数,修正函数采用预设拟合函数得到。
其中,预设拟合函数包括但不限于一下方式:
Figure BDA0002112972620000084
a,b,c系数通过采集样本进行估计得到。
其中,校正图像所有像素位置深度包括:根据预设矫正函数计算深度图像中每个像素点(u'R,v'R,d'R)下的深度修正值d″R=g(u'R,v'R,d'R,c'Rx,c'Ry),得到矫正后的深度图的像素(u'R,v'R,d″R)。
其中,所述预设矫正函数包括但不限于以下方式:
Figure BDA0002112972620000091
本实施例提供了一种深度图矫正方法,该深度图矫正方法包括:将图像矫正设备初始化,并将图像矫正设备保持头部水平,且在头部的正前方的预设距离点上设置标定板;将干扰源设置在图像矫正设备和标定板之间,并采用预设标定方法对图像矫正设备进行标定,得出标定结果,干扰源为使采集图像发生畸变的物体;根据标定结果以及预设的矫正算法对采集到的图像进行矫正。本实施例对设置干扰源的图像矫正设备通过标定板进行标定得到标定结果,并对采集到畸变深度图使用标定结果和预设的矫正算法,对畸变深度图进行矫正,从而得到正确的深度采集图像,使得RGBD相机的检测结果更佳准确。
第二实施例:
本实施提供了一种干扰源为球形玻璃面罩的机器人,在应用本发明实施的一种深度图矫正方法的具体实施方式。
在本实施例中,将RGBD相机作为机器人的眼睛,并在RGBD相机的前方设置球形玻璃外罩作为RGBD相机的保护罩,机器人眼睛包含红外IR相机和彩色RGB相机,相机前方有一个透明的球形面罩遮挡,如图5所示,本实施例采用本发明实施例的深度图矫正方法,对深度图像的深度图进行配准和矫正,确保深度信息的准确性。具体的步骤如图2所示,图2为本实施提供的一种深度图矫正方法的细化流程图。具体的步骤包括:
S201、初始化,准备好机器人,保持机器人头部水平,准备标定板。
初始化,将机器人摆放在合适的位置,保持头部水平,准备好标定板。以下计算步骤中采用的长度单位为米制。
S202、标定相机,加入面罩下,估计红外相机,彩色相机内外参数,畸变参数。
对相机加上面罩,标定RGBD相机中的红外IR相机,彩色RGB相机。本专利使用张正友标定法,但不限于该方法。标定后红外IR相机的内参数矩阵为KL,畸变参数{kL1,kL2,pL1,pL2,kL3};标定后彩色RGB相机的内参数矩阵为KR,畸变参数{kR1,kR2,pR1,pR2,kR3};标定后红外IR相机到彩色RGB相机的外参变换矩阵为MRL,其中
Figure BDA0002112972620000101
fLx表示红外IR相机焦距除以每个像素的宽度,fLy表示红外IR相机焦距除以每个像素的高度,cLx表示IR图像中心的像素横坐标,cLy表示IR图像中心的像素纵坐标。fRx表示彩色RGB相机焦距除以每个像素的宽度,fRy表示彩色RGB相机焦距除以每个像素的高度,cRx表示彩色RGB相机图像中心的像素横坐标,cRy表示彩色RGB相机图像中心的像素纵坐标。kL1,kL2,kL3表示红外IR相机的径向畸变参数,pL1,pL2表示红外IR相机的切向畸变参数。kR1,kR2,kR3表示彩色RGB相机的径向畸变参数,pR1,pR2表示彩色RGB相机的切向畸变参数。mij,i,j∈{1,2,3}表示外参变换中的旋转变换参数,mij,i∈{1,2,3},j=4表示外参变换中的平移部分参数。
S203、配准深度图,将深度图配准到彩色图上。
计算深度图像到RGB图像的像素变换矩阵
Figure BDA0002112972620000111
*表示矩阵乘法,运算后得到矩阵
Figure BDA0002112972620000112
计算每个深度图的像素坐标(uL,vL,dL)到RGB像素的坐标(uR,vR,dR),公式如下:
Figure BDA0002112972620000113
S204、畸变矫正,矫正深度图和彩色图的畸变。
对RGB图像的每个像素(uR,vR)坐标以及图像中心(cRx,cRy)进行畸变矫正,计算公式如下:
(u'R,v'R)=φ(uR,vR,kR1,kR2,kR3,pR1,pR2)
(c'Rx,c'Ry)=φ(cRx,cRy,kR1,kR2,kR3,pR1,pR2)
具体计算可参考OpenCV或者张正友标定法中的计算,不做赘述。根据矫正后的RGB图,可得到畸变矫正后的深度图的坐标为(u'R,v'R,dR)。
S205、图像中心点矫正,矫正深度图中心位置的深度值。
计算RGB图像(c'Rx,c'Ry)中心的深度修正值
d'R=f(dR)
其中f(dR)表示修正函数,本专利采用二次多项式进行拟合:
Figure BDA0002112972620000114
但不限于该拟合函数,其中a,b,c系数通过采集样本进行估计得到。本专利提出一种估计的方法,但不限于该实现方法,如图3的示意图所示,具体步骤如下:
①,将机器人头部设置在水平的位置,相机平视前方,在机器人正前方的同样高度放置一块标定板。
②,将相机移动到dr1=0.5米位置,测量校准图像下标定板黑框的中心位置的深度dd1,记为(dd1,dr1)。
③,重复,步骤②获得1米,1.5米,...,5米位置的相机深度值,得到所有的观测数据,记为{(dR1,d'R1),(dR2,d'R2),...,(dR10,d'R10)}。
④,根据收集的观测数据集合,利用最小二乘法或其他方法对
Figure BDA0002112972620000121
进行拟合,从而得到a,b,c系数的估计。
S206、矫正深度图的深度,矫正深度图的所有像素的深度值。
计算深度图每个像素点(u'R,v'R,d'R)下的深度d'R修正值
d″R=g(u'R,v'R,d'R,c'Rx,c'Ry)
本专利g的矫正函数采用如下计算公式,但不限于其他的实现手段。
Figure BDA0002112972620000122
至此矫正后的深度图的像素为(u'R,v'R,d″R)。
第三实施例:
本实施例提供了一种深度图矫正装置,具体的如图4所示,该深度图矫正装置包括彩色RGB相机、红外IR相机、干扰源和处理器;
所述干扰源设置在所述彩色RGB相机和红外IR相机的正前方;
所述处理器用于执行第一实施例和第二实施例所述的深度图矫正方法,对所述彩色RGB相机和红外IR相机采集到的深度图进行矫正。
本实施例还提供了一种机器人,具体的如图5所示,该机器人包括上述的深度图矫正装置以及机器人本体,其中深度图矫正装置固定并电性连接在所述机器人本体上。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (12)

1.一种深度图矫正方法,应用于RGBD技术领域,其特征在于,所述深度图矫正方法包括:
将图像矫正设备初始化,并将所述图像矫正设备保持头部水平,且在头部的正前方的预设距离点上设置标定板;
将干扰源设置在所述图像矫正设备和标定板之间,并采用预设标定方法对所述图像矫正设备进行标定,得出标定结果,所述干扰源为使采集图像发生畸变的物体;
根据所述标定结果以及预设的矫正算法对采集到的图像进行矫正。
2.如权利要求1所述的深度图矫正方法,其特征在于,所述图像矫正设备包括:彩色RGB相机和红外IR相机;
所述彩色RGB相机用于采集彩色图像的图像数据;
所述红外IR相机用于采集深度图像的图像数据。
3.如权利要求2所述的深度图矫正方法,其特征在于,当所述预设标定方法为张正友标定法时,所述标定结果包括:
标定后红外IR相机的内参数矩阵KL,畸变参数{kL1,kL2,pL1,pL2,kL3};
标定后彩色RGB相机的内参数矩阵KR,畸变参数{kR1,kR2,pR1,pR2,kR3};
标定后红外IR相机到彩色RGB相机的外参变换矩阵为MRL
其中所述KL、KR和MRL分别为:
Figure FDA0002112972610000011
Figure FDA0002112972610000012
Figure FDA0002112972610000013
fLx表示红外IR相机焦距除以每个像素的宽度,fLy表示红外IR相机焦距除以每个像素的高度,cLx表示深度图像中心的像素横坐标,cLy表示深度图像中心的像素纵坐标。fRx表示彩色RGB相机焦距除以每个像素的宽度,fRy表示彩色RGB相机焦距除以每个像素的高度,cRx表示彩色图像中心的像素横坐标,cRy表示彩色图像中心的像素纵坐标。kL1,kL2,kL3表示红外IR相机的径向畸变参数,pL1,pL2表示红外IR相机的切向畸变参数。kR1,kR2,kR3表示彩色RGB相机的径向畸变参数,pR1,pR2表示彩色RGB相机的切向畸变参数。mij,i,j∈{1,2,3}表示外参变换中的旋转变换参数,mij,i∈{1,2,3},j=4表示外参变换中的平移部分参数。
4.如权利要求3所述的深度图矫正方法,其特征在于,所述根据所述标定结果以及预设的矫正算法对采集到的图像进行矫正包括以下步骤:配准深度图、畸变矫正、矫正图像中心位置深度,以及矫正图像所有像素位置深度。
5.如权利要求4所述的深度图矫正方法,其特征在于,所述配准深度图包括:
计算深度图像到彩色图像的像素变换矩阵
Figure FDA0002112972610000021
得到
Figure FDA0002112972610000022
其中所述*表示矩阵乘法;
计算每个深度图像的像素坐标(uL,vL,dL)到彩色图像像素的坐标(uR,vR,dR),得到
Figure FDA0002112972610000023
6.如权利要求4所述的深度图矫正方法,其特征在于,所述畸变矫正包括:
根据OpenCV张正友标定法,对彩色图像的每个像素(uR,vR)坐标畸变矫正,得到(u′R,v′R)=φ(uR,vR,kR1,kR2,kR3,pR1,pR2);
以及对彩色图像的图像中心(cRx,cRy)进行畸变矫正,得到(c′Rx,c′Ry)=φ(cRx,cRy,kR1,kR2,kR3,pR1,pR2);
根据畸变矫正后的彩色图像,得到畸变矫正后的深度图像的坐标为(u′R,v′R,dR)。
7.如权利要求4所述的深度图矫正方法,其特征在于,所述校正图像中心位置深度包括:
计算彩色图像的图像中心(c′Rx,c′Ry)的深度修正值d′R=f(dR),其中所述f(dR)表示修正函数,所述修正函数采用预设拟合函数得到。
8.如权利要求7所述的深度图矫正方法,其特征在于,所述预设拟合函数包括:
Figure FDA0002112972610000031
所述a,b,c系数通过采集样本进行估计得到。
9.如权利要求4所述的深度图矫正方法,其特征在于,所述校正图像所有像素位置深度包括:
根据预设矫正函数计算所述深度图像中每个像素点(u′R,v′R,d′R)下的深度修正值d″R=g(u′R,v′R,d′R,c′Rx,c′Ry),得到矫正后的深度图的像素(u′R,v′R,d″R)。
10.如权利要求9所述的深度图矫正方法,其特征在于,所述预设矫正函数包括:
Figure FDA0002112972610000032
11.一种深度图矫正装置,其特征在于,所述深度图矫正装置包括彩色RGB相机、红外IR相机、干扰源和处理器;
所述干扰源设置在所述彩色RGB相机和红外IR相机的正前方;
所述处理器用于执行如权利要求1-10任一项所述的深度图矫正方法,对所述彩色RGB相机和红外IR相机采集到的深度图进行矫正。
12.一种机器人,其特征在于,所述机器人包括如权利要求11所述的深度图矫正装置和机器人本体;
所述深度图矫正装置固定并电性连接在所述机器人本体上。
CN201910580654.9A 2019-06-28 2019-06-28 一种深度图矫正方法、深度图矫正装置和机器人 Active CN112150372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910580654.9A CN112150372B (zh) 2019-06-28 2019-06-28 一种深度图矫正方法、深度图矫正装置和机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910580654.9A CN112150372B (zh) 2019-06-28 2019-06-28 一种深度图矫正方法、深度图矫正装置和机器人

Publications (2)

Publication Number Publication Date
CN112150372A true CN112150372A (zh) 2020-12-29
CN112150372B CN112150372B (zh) 2024-02-02

Family

ID=73891767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910580654.9A Active CN112150372B (zh) 2019-06-28 2019-06-28 一种深度图矫正方法、深度图矫正装置和机器人

Country Status (1)

Country Link
CN (1) CN112150372B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734862A (zh) * 2021-02-10 2021-04-30 北京华捷艾米科技有限公司 深度图像的处理方法、装置、计算机可读介质以及设备
CN116075148A (zh) * 2023-03-14 2023-05-05 四川易景智能终端有限公司 一种基于人工智能的pcba板生产线智能监管系统
CN117111046A (zh) * 2023-10-25 2023-11-24 深圳市安思疆科技有限公司 畸变矫正方法、系统、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014101955A1 (en) * 2012-12-28 2014-07-03 Metaio Gmbh Method of and system for projecting digital information on a real object in a real environment
CN104376558A (zh) * 2014-11-13 2015-02-25 浙江大学 一种基于长方体的Kinect深度相机的内参标定方法
CN105043720A (zh) * 2015-07-01 2015-11-11 上海交通大学 基于单摄像机的红外滤光片折射率的测量方法
CN107507235A (zh) * 2017-08-31 2017-12-22 山东大学 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法
CN109816731A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种rgb和深度信息精确配准的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014101955A1 (en) * 2012-12-28 2014-07-03 Metaio Gmbh Method of and system for projecting digital information on a real object in a real environment
CN104376558A (zh) * 2014-11-13 2015-02-25 浙江大学 一种基于长方体的Kinect深度相机的内参标定方法
CN105043720A (zh) * 2015-07-01 2015-11-11 上海交通大学 基于单摄像机的红外滤光片折射率的测量方法
CN107507235A (zh) * 2017-08-31 2017-12-22 山东大学 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法
CN109816731A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种rgb和深度信息精确配准的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUANGDA CHEN 等: "Accurate Intrinsic and Extrinsic Calibration of RGB-D Cameras With GP-Based Depth Correction", 《IEEE SENSORS JOURNAL》, vol. 19, no. 7, pages 2685 - 2694, XP011713554, DOI: 10.1109/JSEN.2018.2889805 *
周杰 等: "飞行时间深度相机和彩色相机的联合标定", 《信号处理》, vol. 33, no. 1, pages 69 - 77 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734862A (zh) * 2021-02-10 2021-04-30 北京华捷艾米科技有限公司 深度图像的处理方法、装置、计算机可读介质以及设备
CN116075148A (zh) * 2023-03-14 2023-05-05 四川易景智能终端有限公司 一种基于人工智能的pcba板生产线智能监管系统
CN116075148B (zh) * 2023-03-14 2023-06-20 四川易景智能终端有限公司 一种基于人工智能的pcba板生产线智能监管系统
CN117111046A (zh) * 2023-10-25 2023-11-24 深圳市安思疆科技有限公司 畸变矫正方法、系统、设备及计算机可读存储介质
CN117111046B (zh) * 2023-10-25 2024-01-12 深圳市安思疆科技有限公司 畸变矫正方法、系统、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112150372B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN112150372B (zh) 一种深度图矫正方法、深度图矫正装置和机器人
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
CN106952219B (zh) 一种基于外参数修正鱼眼像机的图像生成方法
CN109285195B (zh) 基于大尺寸靶标的单目投影系统逐像素畸变校正方法及其应用
CN110986998B (zh) 一种基于有理函数模型的卫星视频相机在轨几何定标方法
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
CN111461963A (zh) 一种鱼眼图像拼接方法及装置
CN113409396A (zh) 一种adas单目相机的标定方法
CN112465915A (zh) 一种车载环视系统标定方法
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
CN110763306A (zh) 一种基于单目视觉的液位测量系统及方法
CN115239820A (zh) 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法
CN113129384A (zh) 基于一维编码靶标的双目视觉系统灵活标定方法
CN110992429B (zh) 一种单一场景大视场相机外参数标定方法
CN114359055B (zh) 一种多相机拍摄屏体的图像拼接方法及相关装置
CN112950719A (zh) 一种基于无人机主动式光电平台的无源目标快速定位方法
CN108917722B (zh) 植被覆盖度计算方法及装置
CN104766276A (zh) 一种基于颜色空间的偏色校正方法
CN117665841A (zh) 一种地理空间信息采集测绘方法及装置
CN111815714B (zh) 一种鱼眼相机标定方法、装置、终端设备及存储介质
CN111696141B (zh) 一种三维全景扫描采集方法、设备及存储设备
CN116894907A (zh) 一种rgbd相机纹理贴图优化方法及系统
CN116297181A (zh) 一种通过标定板快速精确校正激光扫描振镜的方法
CN115880369A (zh) 线结构光3d相机和线阵相机联合标定的装置、系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant