CN109974623A - 基于线激光和双目视觉的三维信息获取方法和装置 - Google Patents

基于线激光和双目视觉的三维信息获取方法和装置 Download PDF

Info

Publication number
CN109974623A
CN109974623A CN201811066604.0A CN201811066604A CN109974623A CN 109974623 A CN109974623 A CN 109974623A CN 201811066604 A CN201811066604 A CN 201811066604A CN 109974623 A CN109974623 A CN 109974623A
Authority
CN
China
Prior art keywords
camera
image
correction
laser
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811066604.0A
Other languages
English (en)
Other versions
CN109974623B (zh
Inventor
曾洪庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wei Wei Intelligent Technology Co Ltd
Original Assignee
Beijing Wei Wei Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wei Wei Intelligent Technology Co Ltd filed Critical Beijing Wei Wei Intelligent Technology Co Ltd
Priority to CN201811066604.0A priority Critical patent/CN109974623B/zh
Publication of CN109974623A publication Critical patent/CN109974623A/zh
Application granted granted Critical
Publication of CN109974623B publication Critical patent/CN109974623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本说明书提供一种基于线激光和双目视觉的三维信息获取方法和装置,其中该方法包括:控制线激光器发出的线激光投射到测量对象上;通过双目相机的左摄像头和右摄像头分别获取测量对象的左图像和右图像,其中所述左摄像头和所述右摄像头的参数相同,测量对象在所述左图像和所述右图像中与图像边缘的距离小于第一设定值;对所述左图像和所述右图像进行立体校正,使校正后的左图像和加校正后的右图像行对准/所述左图像和所述右图像的重投影畸变小于第二设定值;对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹配点对;根据所述线激光匹配点对得到左右视图视差,并根据所述左右视图视差计算得到测量对象的三维信息。

Description

基于线激光和双目视觉的三维信息获取方法和装置
技术领域
本说明书涉及机器视觉技术领域,特别涉及一种基于线激光和双目视觉的 三维信息获取方法和装置。
背景技术
机器人技术的快速发展,使机器人的应用从传统的固定目标高精度重复作 业扩展到操作对象可变和操作对象位置可变的柔性作业,机器人迫切需要机器 视觉的配合以得到操作对象的三维信息。
在深度机器视觉中,基于双摄像机的双目立体视觉模仿人的双目工作模 式,能够提取物体的三维信息。但是目前的双目立体视觉对没有纹理或纹理很弱、 边界模糊的物体无法可靠稳定的提取目标的三维信息。
发明内容
有鉴于此,本说明书实施例提供了一种基于线激光和双目视觉的三维信息 获取方法和装置,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种基于线激光和双目视觉的三 维信息获取方法,包括以下步骤:
控制线激光器发出的线激光投射到测量对象上;
通过双目相机的左摄像头和右摄像头分别获取测量对象的左图像和右图像, 其中所述左摄像头和所述右摄像头的参数相同,测量对象在所述左图像和所述 右图像中与图像边缘的距离小于第一设定值;
对所述左图像和所述右图像进行立体校正,使校正后的左图像和加校正后 的右图像行对准/所述左图像和所述右图像的重投影畸变小于第二设定值;
对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹配点对;
根据所述线激光匹配点对得到左右视图视差,并根据所述左右视图视差计 算得到测量对象的三维信息。
可选的,在所述控制线激光器发出的线激光投射到测量对象上步骤之前还 包括:
对线激光器和双目相机位置进行调整,使所述线激光器发出的线激光投射 到测量对象上。
可选的,在所述控制线激光器发出的线激光投射到测量对象上步骤之前还 包括:
对双目相机的左摄像头和有摄像头进行立体标定,得到所述双目相机的内 参矩阵A、左摄像头和右摄像头之间的旋转矩阵R与平移向量T。
可选的,所述对双目相机的左摄像头和有摄像头进行立体标定,得到所述双 目相机的内参矩阵A、左摄像头和右摄像头之间的旋转矩阵R与平移向量T包 括:
对双目相机的左摄像头和右摄像头分别进行标定,得到所述双目相机的内 参矩阵A、所述左摄像头的旋转矩阵R1和所述右摄像头的旋转矩阵Rr,以及所 述左摄像头的平移向量T1和所述右摄像头的平移向量T;
通过如下公式计算得到所述左摄像头和所述右摄像头之间的旋转矩阵R和 平移向量T:
可选的,所述对所述左图像和所述右图像进行立体校正包括:
将所述旋转矩阵R分解为两个旋转矩阵r1和rr,其中r1和rr通过假设将所 述左摄像头和所述右摄像头各旋转一半使所述左摄像头和所述右摄像头的光轴 平行而得到;
对所述左图像和所述右图像进行行对准通过下式实现:
其中,Rrect为使行对准的旋转矩阵:
旋转矩阵Rrect由极点e1方向开始,以所述左图像的原点为主,所述左摄像 头至所述右摄像头的平移向量的方向为主点方向:
e1与e2正交,将e1归一化到单位向量:
其中,Tx为平移向量T在双目相机所处平面内水平方向的分量,Ty为平 移向量T在双目相机所处平面内竖直方向的分量;
e3与e1和e2正交,e3通过如下公式计算得到:
e3=e2×e1
根据上述旋转矩阵物理意义有:
其中,α表示为使行对准,所述左摄像头和所述右摄像头在其所处平面内 需要旋转的角度,0≤α≤180°;对于所述左摄像头,使其绕e3方向旋转α′,对于右 相机,使其绕e3方向旋转α″。
可选的,所述对校正后的左视图和校正后的右视图进行匹配得到线激光成 像匹配点对包括:
根据所述线激光器和所述双目相机的安装位置以及测量对象的位置,确定 图像的处理区域ROI;
对校正后的左图像和校正后的右图像进行预处理,分别转换为左灰度图和 右灰度图;
分别对所述左灰度图和所述右灰度图位于ROI内的部分进行水平扫描,计 算每个扫描点的窗口能量:
其中,(x,y)表示扫描点坐标,也是计算窗口的中心坐标;n表示从所述左 灰度图所选窗口中心到边缘的距离,I(x+i,y+j)表示图像坐标(x+i,y+j)处的图像 灰度值;
每个扫描行E(x,y)的极大值处为线激光的成像处,根据线激光条数M,得 到M个极值,按x坐标从左到右进行排序,记为(x,y)k,k=1,2,...M;
对所述左灰度图和所述右灰度图的坐标y相同的水平扫描行构成的水平极 线进行扫描得到所述左灰度图和所述右灰度图的线激光成像点(xL,y)k和 (xR,y)k,L和R分别表示左灰度图和右灰度图,左右序列中k相同的点构成匹 配点对。
可选的,所述根据所述线激光匹配点对得到左右视图视差,并根据所述左右 视图视差计算得到测量对象的三维信息包括:
第y行水平极线上线激光成像的视差通过如下公式计算:
dyk=xL-xR,k=1,2,...M,
其中,dyk为纵坐标为y的极线第k条激光成像点的视差;
根据双目相机的内参矩阵A和外参矩阵[R T]和如下公式计算得到测量对象 各点在空间中的三维坐标(Z,X,Y):
其中,f是外参矩阵[R T]中双目相机的焦距,B是内参矩阵A中所述左摄像 头和所述右摄像头的间距,由标定信息给出;XL-XR为空间一点在所述左灰度图 和所述右灰度图之间的视差,由匹配信息给出;(x,y)为测量目标上的物体点在 成像平面上的坐标
可选的,所述线激光器内置于所述双目相机中,或所述线激光器外挂于所述 双目相机上并与所述双目相机形成共体结构或所述线激光器与所述双目相机采 用分体式安装。
可选的,所述左摄像头和所述右摄像头分别设置有与所述线激光器的激光 波长对应的滤光片。
根据本说明书实施例的第二方面,还提供了一种基于线激光和双目视觉的 三维信息获取装置,包括:
线激光控制模块,被配置为通过双目相机的左摄像头和右摄像头分别获取 测量对象的左图像和右图像,其中所述左摄像头和所述右摄像头的参数相同,测 量对象在所述左图像和所述右图像中与图像边缘的距离小于第一设定值;
校正模块,被配置为对所述左图像和所述右图像进行立体校正,使校正后的 左图像和加校正后的右图像行对准/所述左图像和所述右图像的重投影畸变小于 第二设定值;
匹配模块,被配置为对校正后的左视图和校正后的右视图进行匹配得到线 激光成像匹配点对;
坐标计算模块,被配置为根据所述线激光匹配点对得到左右视图视差,并根 据所述左右视图视差计算得到测量对象的三维信息。
本说明书实施例通过将线激光与双目立体视觉相结合,能够对没有纹理或 者纹理较弱的测量对象进行测量,即使对没有纹理或者纹理较弱的测量对象也 可以获得较好的立体三维信息,测量准确,测量精度较高,同时本说明书实施例 的技术方案具有较好的实时性。
附图说明
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所 需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书 的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下, 还可以根据这些附图获得其他的附图。
图1是示出了根据本说明书一实施例的基于线激光和双目视觉的三维信 息获取方法的示意性流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说 明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不 违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实 施的限制。
图1是示出了根据本说明书一实施例的基于线激光和双目视觉的三维信 息获取方法的示意性流程图,该方法包括:
步骤102:控制线激光器发出的线激光投射到测量对象上;
步骤104:通过双目相机的左摄像头和右摄像头分别获取测量对象的左图像 和右图像,其中所述左摄像头和所述右摄像头的参数相同,测量对象在所述左图 像和所述右图像中与图像边缘的距离小于第一设定值;
步骤106:对所述左图像和所述右图像进行立体校正,使校正后的左图像和 加校正后的右图像行对准/所述左图像和所述右图像的重投影畸变小于第二设定 值;
步骤108:对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹 配点对;
步骤110:根据所述线激光匹配点对得到左右视图视差,并根据所述左右视 图视差计算得到测量对象的三维信息。
本说明书实施例通过将线激光与双目立体视觉相结合,能够对没有纹理或 者纹理较弱的测量对象进行测量,即使对没有纹理或者纹理较弱的测量对象也 可以获得较好的立体三维信息,测量准确,测量精度较高,同时本说明书实施例 的技术方案具有较好的实时性。
一种实现方式中,在所述控制线激光器发出的线激光投射到测量对象上步 骤之前还包括:
对线激光器和双目相机位置进行调整,使所述线激光器发出的线激光投射 到测量对象上。
一种实现方式中,在所述控制线激光器发出的线激光投射到测量对象上步 骤之前还包括:
对双目相机的左摄像头和有摄像头进行立体标定,得到所述双目相机的内 参矩阵A、左摄像头和右摄像头之间的旋转矩阵R与平移向量T。
一种实现方式中,所述对双目相机的左摄像头和有摄像头进行立体标定,得 到所述双目相机的内参矩阵A、左摄像头和右摄像头之间的旋转矩阵R与平移 向量T包括:
对双目相机的左摄像头和右摄像头分别进行标定,得到所述双目相机的内 参矩阵A、所述左摄像头的旋转矩阵R1和所述右摄像头的旋转矩阵Rr,以及所 述左摄像头的平移向量T1和所述右摄像头的平移向量T;
通过如下公式计算得到所述左摄像头和所述右摄像头之间的旋转矩阵R和 平移向量T:
一种实现方式中,所述对所述左图像和所述右图像进行立体校正包括:
将所述旋转矩阵R分解为两个旋转矩阵r1和rr,其中r1和rr通过假设将所 述左摄像头和所述右摄像头各旋转一半使所述左摄像头和所述右摄像头的光轴 平行而得到;
对所述左图像和所述右图像进行行对准通过下式实现:
其中,Rrect为使行对准的旋转矩阵:
旋转矩阵Rrect由极点e1方向开始,以所述左图像的原点为主,所述左摄像 头至所述右摄像头的平移向量的方向为主点方向:
e1与e2正交,将e1归一化到单位向量:
其中,Tx为平移向量T在双目相机所处平面内水平方向的分量,Ty为平 移向量T在双目相机所处平面内竖直方向的分量;
e3与e1和e2正交,e3通过如下公式计算得到:
e3=e2×e1
根据上述旋转矩阵物理意义有:
其中,α表示为使行对准,所述左摄像头和所述右摄像头在其所处平面内 需要旋转的角度,0≤α≤180°;对于所述左摄像头,使其绕e3方向旋转α′,对于右 相机,使其绕e3方向旋转α″。
一种实现方式中,所述对校正后的左视图和校正后的右视图进行匹配得到 线激光成像匹配点对包括:
根据所述线激光器和所述双目相机的安装位置以及测量对象的位置,确定 图像的处理区域ROI;
对校正后的左图像和校正后的右图像进行预处理,分别转换为左灰度图和 右灰度图;
分别对所述左灰度图和所述右灰度图位于ROI内的部分进行水平扫描,计 算每个扫描点的窗口能量:
其中,(x,y)表示扫描点坐标,也是计算窗口的中心坐标;n表示从所述左 灰度图所选窗口中心到边缘的距离,I(x+i,y+j)表示图像坐标(x+i,y+j)处的图像 灰度值;
每个扫描行E(x,y)的极大值处为线激光的成像处,根据线激光条数M,得 到M个极值,按x坐标从左到右进行排序,记为(x,y)k,k=1,2,...M;
对所述左灰度图和所述右灰度图的坐标y相同的水平扫描行构成的水平极 线进行扫描得到所述左灰度图和所述右灰度图的线激光成像点(xL,y)k和 (xR,y)k,L和R分别表示左灰度图和右灰度图,左右序列中k相同的点构成匹 配点对。
一种实现方式中,所述根据所述线激光匹配点对得到左右视图视差,并根据 所述左右视图视差计算得到测量对象的三维信息包括:
第y行水平极线上线激光成像的视差通过如下公式计算:
dyk=xL-xR,k=1,2,...M,
其中,dyk为纵坐标为y的极线第k条激光成像点的视差;
根据双目相机的内参矩阵A和外参矩阵[R T]和如下公式计算得到测量对象 各点在空间中的三维坐标(Z,X,Y):
其中,f是外参矩阵[R T]中双目相机的焦距,B是内参矩阵A中所述左摄像 头和所述右摄像头的间距,由标定信息给出;XL-XR为空间一点在所述左灰度图 和所述右灰度图之间的视差,由匹配信息给出;(x,y)为测量目标上的物体点在 成像平面上的坐标。
一种实现方式中,所述线激光器内置于所述双目相机中,或所述线激光器外 挂于所述双目相机上并与所述双目相机形成共体结构或所述线激光器与所述双 目相机采用分体式安装。
一种实现方式中,所述左摄像头和所述右摄像头分别设置有与所述线激光 器的激光波长对应的滤光片。
与前述方法相对应,本说明书还提供了装置实施例,所述装置实施例 可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为 例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器 中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,本说明书 的装置所在设备的一种硬件结构可以包括处理器、网络接口、内存以及非易失性 存储器之外,实施例中装置所在的设备通常根据实际功能,还可以包括其他硬件, 对此不再赘述。
本说明书一实施例提供的基于线激光和双目视觉的三维信息获取装置。该 装置包括:
线激光控制模块,被配置为通过双目相机的左摄像头和右摄像头分别获取 测量对象的左图像和右图像,其中所述左摄像头和所述右摄像头的参数相同,测 量对象在所述左图像和所述右图像中与图像边缘的距离小于第一设定值;
校正模块,被配置为对所述左图像和所述右图像进行立体校正,使校正后的 左图像和加校正后的右图像行对准/所述左图像和所述右图像的重投影畸变小于 第二设定值;
匹配模块,被配置为对校正后的左视图和校正后的右视图进行匹配得到线 激光成像匹配点对;
坐标计算模块,被配置为根据所述线激光匹配点对得到左右视图视差,并根 据所述左右视图视差计算得到测量对象的三维信息。
本说明书实施例通过将线激光与双目立体视觉相结合,能够对没有纹理或 者纹理较弱的测量对象进行测量,即使对没有纹理或者纹理较弱的测量对象也 可以获得较好的立体三维信息,测量准确,测量精度较高,同时本说明书实施例 的技术方案具有较好的实时性。
上述实施例阐明的装置、模块或单元,具体可以由计算机芯片或实体实现,
或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机 的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、 个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板 计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步 骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方 法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述 作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示 的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布 到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现 本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可 以理解并实施。
本说明书一实施例还提供一种计算设备,包括存储器、处理器及存储在存储 器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现所述 的方法的步骤。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令, 该指令被处理器执行时实现所述的方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是, 该存储介质的技术方案与上述的自动化测试方法的技术方案属于同一构思,存 储介质的技术方案未详细描述的细节内容,均可以参见上述自动化测试方法的 技术方案的描述。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码 形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以 包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动 硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、 随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及 软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法 管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据 立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为 一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动 作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。
其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实 施例,所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述 的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例 并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然, 根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实 施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术 人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和 等效物的限制。

Claims (10)

1.一种基于线激光和双目视觉的三维信息获取方法,其特征在于,包括以下步骤:
控制线激光器发出的线激光投射到测量对象上;
通过双目相机的左摄像头和右摄像头分别获取测量对象的左图像和右图像,其中所述左摄像头和所述右摄像头的参数相同,测量对象在所述左图像和所述右图像中与图像边缘的距离小于第一设定值;
对所述左图像和所述右图像进行立体校正,使校正后的左图像和加校正后的右图像行对准/所述左图像和所述右图像的重投影畸变小于第二设定值;
对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹配点对;
根据所述线激光匹配点对得到左右视图视差,并根据所述左右视图视差计算得到测量对象的三维信息。
2.根据权利要求1所述的三维信息获取方法,其特征在于,在所述控制线激光器发出的线激光投射到测量对象上步骤之前还包括:
对线激光器和双目相机位置进行调整,使所述线激光器发出的线激光投射到测量对象上。
3.根据权利要求1所述的三维信息获取方法,其特征在于,在所述控制线激光器发出的线激光投射到测量对象上步骤之前还包括:
对双目相机的左摄像头和有摄像头进行立体标定,得到所述双目相机的内参矩阵A、左摄像头和右摄像头之间的旋转矩阵R与平移向量T。
4.根据权利要求3所述的测量对象,其特征在于,所述对双目相机的左摄像头和有摄像头进行立体标定,得到所述双目相机的内参矩阵A、左摄像头和右摄像头之间的旋转矩阵R与平移向量T包括:
对双目相机的左摄像头和右摄像头分别进行标定,得到所述双目相机的内参矩阵A、所述左摄像头的旋转矩阵R1和所述右摄像头的旋转矩阵Rr,以及所述左摄像头的平移向量T1和所述右摄像头的平移向量T;
通过如下公式计算得到所述左摄像头和所述右摄像头之间的旋转矩阵R和平移向量T:
5.根据权利要求4所述的三维信息获取方法,其特征在于,所述对所述左图像和所述右图像进行立体校正包括:
将所述旋转矩阵R分解为两个旋转矩阵r1和rr,其中r1和rr通过假设将所述左摄像头和所述右摄像头各旋转一半使所述左摄像头和所述右摄像头的光轴平行而得到;
对所述左图像和所述右图像进行行对准通过下式实现:
其中,Rrect为使行对准的旋转矩阵:
旋转矩阵Rrect由极点e1方向开始,以所述左图像的原点为主,所述左摄像头至所述右摄像头的平移向量的方向为主点方向:
e1与e2正交,将e1归一化到单位向量:
其中,Tx为平移向量T在双目相机所处平面内水平方向的分量,Ty为平移向量T在双目相机所处平面内竖直方向的分量;
e3与e1和e2正交,e3通过如下公式计算得到:
e3=e2×e1
根据上述旋转矩阵物理意义有:
其中,α表示为使行对准,所述左摄像头和所述右摄像头在其所处平面内需要旋转的角度,0≤α≤180°;对于所述左摄像头,使其绕e3方向旋转α′,对于右相机,使其绕e3方向旋转α″。
6.根据权利要求5所述的三维信息获取方法,其特征在于,所述对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹配点对包括:
根据所述线激光器和所述双目相机的安装位置以及测量对象的位置,确定图像的处理区域ROI;
对校正后的左图像和校正后的右图像进行预处理,分别转换为左灰度图和右灰度图;
分别对所述左灰度图和所述右灰度图位于ROI内的部分进行水平扫描,计算每个扫描点的窗口能量:
其中,(x,y)表示扫描点坐标,也是计算窗口的中心坐标;n表示从所述左灰度图所选窗口中心到边缘的距离,I(x+i,y+j)表示图像坐标(x+i,y+j)处的图像灰度值;
每个扫描行E(x,y)的极大值处为线激光的成像处,根据线激光条数M,得到M个极值,按x坐标从左到右进行排序,记为(x,y)k,k=1,2,...M;
对所述左灰度图和所述右灰度图的坐标y相同的水平扫描行构成的水平极线进行扫描得到所述左灰度图和所述右灰度图的线激光成像点(xL,y)k和(xR,y)k,L和R分别表示左灰度图和右灰度图,左右序列中k相同的点构成匹配点对。
7.根据权利要求6所述的三维信息获取方法,其特征在于,所述根据所述线激光匹配点对得到左右视图视差,并根据所述左右视图视差计算得到测量对象的三维信息包括:
第y行水平极线上线激光成像的视差通过如下公式计算:
dyk=xL-xR,k=1,2,...M,
其中,dyk为纵坐标为y的极线第k条激光成像点的视差;
根据双目相机的内参矩阵A和外参矩阵[R T]和如下公式计算得到测量对象各点在空间中的三维坐标(Z,X,Y):
其中,f是外参矩阵[R T]中双目相机的焦距,B是内参矩阵A中所述左摄像头和所述右摄像头的间距,由标定信息给出;XL-XR为空间一点在所述左灰度图和所述右灰度图之间的视差,由匹配信息给出;(x,y)为测量目标上的物体点在成像平面上的坐标。
8.根据权利要求1所述的三维信息获取方法,其特征在于,所述线激光器内置于所述双目相机中,或所述线激光器外挂于所述双目相机上并与所述双目相机形成共体结构或所述线激光器与所述双目相机采用分体式安装。
9.根据权利要求1所述的三维信息获取方法,其特征在于,所述左摄像头和所述右摄像头分别设置有与所述线激光器的激光波长对应的滤光片。
10.一种基于线激光和双目视觉的三维信息获取装置,其特征在于,包括:
线激光控制模块,被配置为通过双目相机的左摄像头和右摄像头分别获取测量对象的左图像和右图像,其中所述左摄像头和所述右摄像头的参数相同,测量对象在所述左图像和所述右图像中与图像边缘的距离小于第一设定值;
校正模块,被配置为对所述左图像和所述右图像进行立体校正,使校正后的左图像和加校正后的右图像行对准/所述左图像和所述右图像的重投影畸变小于第二设定值;
匹配模块,被配置为对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹配点对;
坐标计算模块,被配置为根据所述线激光匹配点对得到左右视图视差,并根据所述左右视图视差计算得到测量对象的三维信息。
CN201811066604.0A 2018-09-13 2018-09-13 基于线激光和双目视觉的三维信息获取方法和装置 Active CN109974623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811066604.0A CN109974623B (zh) 2018-09-13 2018-09-13 基于线激光和双目视觉的三维信息获取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811066604.0A CN109974623B (zh) 2018-09-13 2018-09-13 基于线激光和双目视觉的三维信息获取方法和装置

Publications (2)

Publication Number Publication Date
CN109974623A true CN109974623A (zh) 2019-07-05
CN109974623B CN109974623B (zh) 2021-01-05

Family

ID=67076016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811066604.0A Active CN109974623B (zh) 2018-09-13 2018-09-13 基于线激光和双目视觉的三维信息获取方法和装置

Country Status (1)

Country Link
CN (1) CN109974623B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110644334A (zh) * 2019-09-30 2020-01-03 湖北文理学院 路面三维纹理形貌的检测方法、检测系统及存储介质
CN110966956A (zh) * 2019-11-19 2020-04-07 北京伟景智能科技有限公司 一种基于双目视觉的三维检测装置和方法
CN111397529A (zh) * 2020-03-30 2020-07-10 武汉比天科技有限责任公司 一种基于双目视觉结构光的复杂表面形状检测方法
CN111829435A (zh) * 2019-08-27 2020-10-27 北京伟景智能科技有限公司 一种多双目相机与线激光协同检测方法
CN112767455A (zh) * 2021-01-08 2021-05-07 北京的卢深视科技有限公司 一种双目结构光的校准方法及系统
CN117629105A (zh) * 2023-12-06 2024-03-01 北京锐达仪表有限公司 物料三维形态测量系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295024A (zh) * 2007-04-29 2008-10-29 同济大学 一种测量粒子粒径的方法
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
CN101908230A (zh) * 2010-07-23 2010-12-08 东南大学 一种基于区域深度边缘检测和双目立体匹配的三维重建方法
CN106183995A (zh) * 2016-07-26 2016-12-07 武汉大学 一种基于立体视觉的可视倒车方法
CN107167169A (zh) * 2017-07-03 2017-09-15 吉林大学 基于机器视觉系统的指针式仪表读数识别测量方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN107992820A (zh) * 2017-11-29 2018-05-04 北京伟景智能科技有限公司 基于双目视觉的货柜自助售货方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295024A (zh) * 2007-04-29 2008-10-29 同济大学 一种测量粒子粒径的方法
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
CN101908230A (zh) * 2010-07-23 2010-12-08 东南大学 一种基于区域深度边缘检测和双目立体匹配的三维重建方法
CN106183995A (zh) * 2016-07-26 2016-12-07 武汉大学 一种基于立体视觉的可视倒车方法
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN107167169A (zh) * 2017-07-03 2017-09-15 吉林大学 基于机器视觉系统的指针式仪表读数识别测量方法
CN107992820A (zh) * 2017-11-29 2018-05-04 北京伟景智能科技有限公司 基于双目视觉的货柜自助售货方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111829435A (zh) * 2019-08-27 2020-10-27 北京伟景智能科技有限公司 一种多双目相机与线激光协同检测方法
CN110644334A (zh) * 2019-09-30 2020-01-03 湖北文理学院 路面三维纹理形貌的检测方法、检测系统及存储介质
CN110644334B (zh) * 2019-09-30 2021-10-22 湖北文理学院 路面三维纹理形貌的检测方法、检测系统及存储介质
CN110966956A (zh) * 2019-11-19 2020-04-07 北京伟景智能科技有限公司 一种基于双目视觉的三维检测装置和方法
CN111397529A (zh) * 2020-03-30 2020-07-10 武汉比天科技有限责任公司 一种基于双目视觉结构光的复杂表面形状检测方法
CN112767455A (zh) * 2021-01-08 2021-05-07 北京的卢深视科技有限公司 一种双目结构光的校准方法及系统
CN112767455B (zh) * 2021-01-08 2022-09-02 合肥的卢深视科技有限公司 一种双目结构光的校准方法及系统
CN117629105A (zh) * 2023-12-06 2024-03-01 北京锐达仪表有限公司 物料三维形态测量系统

Also Published As

Publication number Publication date
CN109974623B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN109974623A (zh) 基于线激光和双目视觉的三维信息获取方法和装置
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN106600686B (zh) 一种基于多幅未标定图像的三维点云重建方法
CN106949845B (zh) 基于双目立体视觉的二维激光振镜扫描系统及标定方法
WO2015188684A1 (zh) 三维模型重建方法与系统
CN102980556B (zh) 一种测距方法及装置
CN105654547B (zh) 三维重建方法
CN109297436B (zh) 双目线激光立体测量基准标定方法
CN107154014B (zh) 一种实时彩色及深度全景图像拼接方法
CN109919911A (zh) 基于多视角光度立体的移动三维重建方法
CN108288292A (zh) 一种三维重建方法、装置及设备
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN107543496B (zh) 一种双目立体视觉三维坐标测量方法
CN107038753B (zh) 立体视觉三维重建系统及方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN114998499A (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN105378794A (zh) 3d拍摄装置、用于建立3d图像的方法和用于构建3d拍摄装置的方法
CN109559349A (zh) 一种用于标定的方法和装置
EP3622481B1 (en) Method and system for calibrating a velocimetry system
EP3382645A2 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
CN111678459A (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
CN110517309A (zh) 一种基于卷积神经网络的单目深度信息获取方法
Kumar et al. High-throughput 3D reconstruction of plant shoots for phenotyping
CN108010125A (zh) 基于线结构光和图像信息的真实尺度三维重建系统及方法
CN112243518A (zh) 获取深度图的方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant