CN110969665B - 一种外参标定方法、装置、系统及机器人 - Google Patents
一种外参标定方法、装置、系统及机器人 Download PDFInfo
- Publication number
- CN110969665B CN110969665B CN201811162833.2A CN201811162833A CN110969665B CN 110969665 B CN110969665 B CN 110969665B CN 201811162833 A CN201811162833 A CN 201811162833A CN 110969665 B CN110969665 B CN 110969665B
- Authority
- CN
- China
- Prior art keywords
- pose
- coordinate system
- conversion
- relation
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Abstract
本发明实施例提供了一种外参标定方法、装置、系统及机器人,方法包括:分别获取第一设备在多个测量位置处的第一位姿;其中,第一位姿为第一坐标系中的位姿;分别获取第二设备在该多个测量位置处的第二位姿;其中,第二位姿为第二坐标系中的位姿;根据每个测量位置处的第一位姿和第二位姿、以及第一坐标系与第二坐标系之间的坐标转换关系,求解第一设备与第二设备之间的外参;可见,本方案中,实现了直接确定两台设备之间的外参,而不需要将这两台设备都转换到世界坐标系中。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种外参标定方法、装置、系统及机器人。
背景技术
外参标定方案中,大多是计算待标定设备坐标系与世界坐标系之间的外参。比如,相机外参标定方案中,通常计算相机坐标系与世界坐标系之间的旋转平移关系。平移关系可以表达为平移向量,旋转关系可以表达为旋转矩阵。
而在一些场景中,通常需要计算不同设备之间的外参。目前,只能利用上述方案,分别计算各设备坐标系与世界坐标系之间的旋转平移关系,基于该旋转平移关系,将不同设备都转换到世界坐标系中,然后再确定该不同设备之间的外参。
利用上述方案,并不能直接确定不同设备之间的外参,而是需要世界坐标系作为媒介,转换过程较复杂。
发明内容
本发明实施例的目的在于提供一种外参标定方法、装置、系统及机器人,以实现直接确定不同设备之间的外参。
为达到上述目的,本发明实施例提供了一种外参标定方法,包括:
分别获取第一设备在多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿;
分别获取第二设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿;
根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述第一设备与所述第二设备之间的外参。
可选的,所述根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述第一设备与所述第二设备之间的外参,包括:
针对每个测量位置,以该位置处的第一位姿和第二位姿为已知量,以所述第一坐标系与所述第二坐标系之间的坐标转换关系、以及所述第一设备与所述第二设备之间的外参为未知量,构建该位置处的转换方程;
将所述外参设定为初始值,利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述第一设备与所述第二设备之间的外参标定结果。
可选的,所述分别获取第一设备在多个测量位置处的第一位姿,包括:
分别获取相机在多个测量位置处的第一位姿;其中,所述第一位姿为视觉坐标系中的位姿;
所述分别获取第二设备在所述多个测量位置处的第二位姿,包括:
分别获取携带所述相机的设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为世界坐标系中的位姿。
可选的,所述分别获取相机在多个测量位置处的第一位姿,包括:
获取相机在多个测量位置处针对标定板采集的标定图像;
基于所述标定图像,获取所述相机在每个测量位置处的第一位姿;
在所述分别获取携带所述相机的设备在所述多个测量位置处的第二位姿之后,还包括:
将所述第二位姿转换为与所述第一位姿自由度相同的位姿。
可选的,所述方法还包括:
控制携带相机的设备进行一段折线运动;其中,所述折线运动中包括第一直线运动和第二直线运动;
所述分别获取相机在多个测量位置处的第一位姿,包括:
分别获取所述相机在所述第一直线运动中第一位置和第二位置处的位姿、以及在所述第二直线运动中第三位置和第四位置处的位姿,作为第一位姿;
所述分别获取携带所述相机的设备在所述多个测量位置处的第二位姿,包括:
分别获取所述设备在所述第一位置、所述第二位置、所述第三位置和所述第四位置处的位姿,作为第二位姿。
可选的,所述利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述第一设备与所述第二设备之间的外参标定结果,包括:
将初始值代入每个测量位置处的转换方程,得到每个转换方程对应的坐标转换关系的中间值;
通过将每个坐标转换关系的中间值代回对应的转换方程,得到一个以所述外参为未知量的方程组;
对所述方程组进行求解,得到所述外参的中间值;
判断是否满足迭代停止条件;
如果不满足,将所述外参的中间值作为新的初始值,并返回执行所述将初始值代入每个测量位置处的转换方程的步骤;
如果满足,将所述外参的中间值确定为所述第一设备与所述第二设备之间的外参标定结果。
可选的,所述将初始值代入每个测量位置处的转换方程,得到每个转换方程对应的坐标转换关系的中间值,包括:
将初始值代入每个测量位置处的转换方程,得到所述第一设备在所述第二坐标系中的第一轨迹;
通过将所述第一轨迹与所述第一位姿形成的第二轨迹进行配准,得到所述第一坐标系与所述第二坐标系之间的坐标转换关系的中间值。
可选的,所述转换方程为:坐标转换关系×第一位姿=第二位姿×外参;
所述转换方程的展开表达式为:
其中,R表示旋转关系,t表示平移关系,下标中g表示第二坐标系,v表示第一坐标系,b表示第二设备的坐标系,c表示第一设备的坐标系,下标中的两个字母表示由右边字母表示的坐标系转换至由左边字母表示的坐标系;i表示第i个测量位置处;
由所述表达式推导得到旋转分量等式:
由所述表达式推导得到平移分量等式:
所述将初始值代入每个测量位置处的转换方程,得到所述第一设备在所述第二坐标系中的第一轨迹,包括:
将tbc的初始值代入所述平移分量等式右侧,得到所述第一设备在所述第二坐标系中的第一轨迹
所述通过将所述第一轨迹与所述第一位姿形成的第二轨迹进行配准,得到所述第一坐标系与所述第二坐标系之间的坐标转换关系的中间值,包括:
根据所述平移分量等式,得到 表示所述第一位姿形成的第二轨迹;
通过对所述第一轨迹与所述第二轨迹/>进行刚体变换,得到所述坐标转换关系的中间值。
可选的,所述将所述外参的中间值确定为所述第一设备与所述第二设备之间的外参标定结果,包括:
将所述外参的中间值确定为所述第一设备与所述第二设备之间的平移关系;
所述方法还包括:
将所述平移关系代回所述转换方程,得到所述坐标转换关系;
根据所述坐标转换关系中的旋转关系、所述第一位姿中的旋转关系、以及所述第二位姿中的旋转关系,计算所述第一设备与所述第二设备之间的旋转关系。
可选的,所述根据所述坐标转换关系中的旋转关系、所述第一位姿中的旋转关系、以及所述第二位姿中的旋转关系,计算所述第一设备与所述第二设备之间的旋转关系,包括:
利用如下算式,计算所述第一设备与所述第二设备之间的旋转关系:
其中,Rbc表示所述第一设备与所述第二设备之间的旋转关系,表示第i个位置处的第二位姿中的旋转关系,Rgv表示所述坐标转换关系中的旋转关系,/>表示第i个位置处的第一位姿中的旋转关系。
可选的,所述利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述第一设备与所述第二设备之间的外参标定结果,包括:
利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述外参和所述坐标转换关系;
将得到的外参和坐标转换关系代回每个转换方程,判断每个转换方程的残差是否满足校验条件;
如果满足,将得到的外参确定为所述第一设备与所述第二设备之间的外参标定结果。
为达到上述目的,本发明实施例还提供了一种外参标定装置,包括:
第一获取模块,用于分别获取第一设备在多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿;
第二获取模块,用于分别获取第二设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿;
求解模块,用于根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述第一设备与所述第二设备之间的外参。
可选的,所述求解模块,包括:
构建子模块,用于针对每个测量位置,以该位置处的第一位姿和第二位姿为已知量,以所述第一坐标系与所述第二坐标系之间的坐标转换关系、以及所述第一设备与所述第二设备之间的外参为未知量,构建该位置处的转换方程;
求解子模块,用于将所述外参设定为初始值,利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述第一设备与所述第二设备之间的外参标定结果。
可选的,所述第一获取模块,具体用于:分别获取相机在多个测量位置处的第一位姿;其中,所述第一位姿为视觉坐标系中的位姿;
所述第二获取模块,具体用于:分别获取携带所述相机的设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为世界坐标系中的位姿。
可选的,所述第一获取模块,具体用于:获取相机在多个测量位置处针对标定板采集的标定图像;基于所述标定图像,获取所述相机在每个测量位置处的第一位姿;
所述第二获取模块,还用于:将所述第二位姿转换为与所述第一位姿自由度相同的位姿。
可选的,所述装置还包括:
控制模块,用于控制携带相机的设备进行一段折线运动;其中,所述折线运动中包括第一直线运动和第二直线运动;
所述第一获取模块,具体用于:分别获取所述相机在所述第一直线运动中第一位置和第二位置处的位姿、以及在所述第二直线运动中第三位置和第四位置处的位姿,作为第一位姿;
所述第二获取模块,具体用于:分别获取所述设备在所述第一位置、所述第二位置、所述第三位置和所述第四位置处的位姿,作为第二位姿。
可选的,所述求解子模块,包括:
第一代入单元,用于将初始值代入每个测量位置处的转换方程,得到每个转换方程对应的坐标转换关系的中间值;
第二代入单元,用于通过将每个坐标转换关系的中间值代回对应的转换方程,得到一个以所述外参为未知量的方程组;
求解单元,用于对所述方程组进行求解,得到所述外参的中间值;
判断单元,用于判断是否满足迭代停止条件;如果不满足,触发第一确定单元;如果满足,触发第二确定单元;
第一确定单元,用于将所述外参的中间值作为新的初始值,并触发所述第一代入单元;
第二确定单元,用于将所述外参的中间值确定为所述第一设备与所述第二设备之间的外参标定结果。
可选的,所述第一代入单元,具体用于:
将初始值代入每个测量位置处的转换方程,得到所述第一设备在所述第二坐标系中的第一轨迹;通过将所述第一轨迹与所述第一位姿形成的第二轨迹进行配准,得到所述第一坐标系与所述第二坐标系之间的坐标转换关系的中间值。
可选的,所述转换方程为:坐标转换关系×第一位姿=第二位姿×外参;
所述转换方程的展开表达式为:
其中,R表示旋转关系,t表示平移关系,下标中g表示第二坐标系,v表示第一坐标系,b表示第二设备的坐标系,c表示第一设备的坐标系,下标中的两个字母表示由右边字母表示的坐标系转换至由左边字母表示的坐标系;i表示第i个测量位置处;
由所述表达式推导得到旋转分量等式:
由所述表达式推导得到平移分量等式:
所述第一代入单元,具体用于:
将tbc的初始值代入所述平移分量等式右侧,得到所述第一设备在所述第二坐标系中的第一轨迹根据所述平移分量等式,得到/> 表示所述第一位姿形成的第二轨迹;通过对所述第一轨迹/>与所述第二轨迹/>进行刚体变换,得到所述坐标转换关系的中间值。
可选的,所述求解子模块,还用于:
将所述外参的中间值确定为所述第一设备与所述第二设备之间的平移关系;将所述平移关系代回所述转换方程,得到所述坐标转换关系;根据所述坐标转换关系中的旋转关系、所述第一位姿中的旋转关系、以及所述第二位姿中的旋转关系,计算所述第一设备与所述第二设备之间的旋转关系。
可选的,所述求解子模块,还用于:
利用如下算式,计算所述第一设备与所述第二设备之间的旋转关系:
其中,Rbc表示所述第一设备与所述第二设备之间的旋转关系,表示第i个位置处的第二位姿中的旋转关系,Rgv表示所述坐标转换关系中的旋转关系,/>表示第i个位置处的第一位姿中的旋转关系。
可选的,所述求解子模块,还用于:
利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述外参和所述坐标转换关系;将得到的外参和坐标转换关系代回每个转换方程,判断每个转换方程的残差是否满足校验条件;如果满足,将得到的外参确定为所述第一设备与所述第二设备之间的外参标定结果。
为达到上述目的,本发明实施例还提供了一种电子设备,包括处理器和存储器;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一种外参标定方法。
为达到上述目的,本发明实施例还提供了一种外参标定系统,包括:第一设备、第二设备和标定设备;其中,
所述第二设备,用于携带所述第一设备移动至多个测量位置;
所述标定设备,用于分别获取所述第一设备在所述多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿;分别获取第二设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿;根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述第一设备与所述第二设备之间的外参。
可选的,所述第一设备为相机;
所述相机,还用于在所述多个测量位置处,针对标定板进行图像采集,得到多张标定图像,将所述多张标定图像发送至所述标定设备;
所述第二设备,还用于将所述第二设备在所述多个测量位置处的第二位姿发送至所述标定设备;
所述标定设备,还用于根据所述多张标定图像,获取所述相机在每个测量位置处的第一位姿;接收所述第二设备发送的第二位姿。
为达到上述目的,本发明实施例还提供了一种机器人,所述机器人携带相机同步移动,所述机器人包括移动部件和处理器,
所述移动部件,用于将所述机器人移动至多个测量位置;
所述处理器,用于分别获取所述相机在多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿;分别获取所述机器人在所述多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿;根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述相机与所述机器人之间的外参。
应用本发明实施例进行外参标定时,分别获取第一设备在多个测量位置处的第一位姿;其中,第一位姿为第一坐标系中的位姿;分别获取第二设备在该多个测量位置处的第二位姿;其中,第二位姿为第二坐标系中的位姿;根据每个测量位置处的第一位姿和第二位姿、以及第一坐标系与第二坐标系之间的坐标转换关系,求解第一设备与第二设备之间的外参;可见,本方案中,实现了直接确定两台设备之间的外参,而不需要将这两台设备都转换到世界坐标系中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的外参标定方法的第一种流程示意图;
图1b为本发明实施例提供的外参标定方法的第二种流程示意图;
图2为本发明例提供的一种应用场景示意图;
图3为本发明例提供的一种运动轨迹示意图;
图4为本发明例提供的一种交替迭代求解方案流程示意图;
图5为本发明实施例提供的外参标定方法的第三种流程示意图;
图6为本发明实施例提供的一种外参标定装置的结构示意图;
图7为本发明实施例提供的一种电子设备的结构示意图;
图8为本发明实施例提供的一种外参标定系统的结构示意图;
图9为本发明实施例提供的一种机器人的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决上述技术问题,本发明实施例提供了一种外参标定方法、装置、系统及机器人,该方法及装置可以应用于各种电子设备,具体不做限定。下面首先对本发明实施例提供的一种外参标定方法进行详细介绍。
图1a为本发明实施例提供的外参标定方法的第一种流程示意图,包括:
S101:分别获取第一设备在多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿。
本实施例中需要标定两台设备之间的外参,为了区分描述,将该两台设备中的一台设备称为第一设备,将另一台设备称为第二设备。
举例来说,第一设备可以为相机,第二设备可以为携带相机的设备,如扫地机、机器人、或者车辆等,具体不做限定。再举一例,第二设备为扫地机,第一设备可以为扫地机携带的手柄或者其他传感设备,等等。第一设备与第二设备也可以互换,本发明实施例可以对任意两台设备进行外参标定,不再一一列举。
本实施例中第一设备移动至多个测量位置,分别获取第一设备在这多个测量位置的位姿,该多个测量位置可以为预先设定的,或者也可以为根据实际场景确定的,具体不做限定。为了区分描述,将第一设备的位姿称为第一位姿,将第二设备的位姿称为第二位姿。位姿可以理解为位置与姿态,包括旋转关系和平移关系,旋转关系可以用旋转矩阵R表示,平移关系可以用平移向量t表示。
举例来说,如果第一设备为相机,则S101可以包括:分别获取相机在多个测量位置处的第一位姿;其中,所述第一位姿为视觉坐标系中的位姿。
一种实施方式中,可以在相机所在场景中设置标定板,相机移动至多个测量位置,并在这多个测量位置处针对标定板进行图像采集,得到标定图像。基于该标定图像,获取相机在每个测量位置处的第一位姿。
可以理解,标定板可以为棋盘格,标定板的规格尺寸已知。比如,可以假设标定板左上角为视觉坐标系原点,标定板平面为xy平面,z轴垂直于标定板为。这样,可以得到棋盘格中各角点在视觉坐标系中的坐标。在相机采集的标定图像中进行角点提取,可以得到各角点在图像坐标系中的坐标。
各角点在视觉坐标系中的坐标可以为三维坐标,各角点在图像坐标系中的坐标可以为二维坐标。在相机内参已知的情况下,可以利用该三维坐标及该二维坐标,求解得到相机采集每张标定图像时相对于标定板的位姿,也就是相机在视觉坐标系中的第一位姿。
比如,可以利用PnP(Perspective-N-Points,透视N点法)算法,求解该第一位姿,这样得到的第一位姿通常是6DOF(degree of freedom,自由度)的位姿。该6DOF的位姿可以由一个4×4的矩阵T来表示,其中包含一个3×3的旋转矩阵R和一个3×1的平移向量t:
或者,如果第一设备为其他携带定位装置的设备,则可以通过该定位装置确定第一设备在第一坐标系中的位姿。这种情况下,定位装置输出的位姿所在的坐标系即为第一坐标系,具体不做限定。
S102:分别获取第二设备在该多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿。
举例来说,第二设备中可以携带定位装置,可以通过该定位装置确定第二设备在第二坐标系中的位姿。这种情况下,定位装置输出的位姿所在的坐标系即为第二坐标系,具体不做限定。
S102中的多个测量位置与S101中的多个测量位置相同。一种情况下,假设第一设备为相机,第二设备为携带相机的设备,则S102包括:分别获取携带所述相机的设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为世界坐标系中的位姿。
可以理解,第二设备携带相机一起移动,比如,第二设备携带相机移动至一个测量位置后,第二设备获取自身在该位置处的第二位姿,相机获取自身在该位置处的第一位姿。具体的,第二设备可以通过自身携带的定位装置,得到自身在该位置处的第二位姿,第一设备可以通过采集标定图像,得到自身在该位置处的第一位姿。
或者,第二设备携带相机移动至一个测量位置后,相机在该位置处针对标定板采集标定图像,在采集到各位置处的标定图像之后,再一并计算相机在各位置处的第一位姿,这也是可以的。
参考图2和图3,一种情况下,可以控制携带相机的设备进行一段折线运动;其中,所述折线运动中包括第一直线运动和第二直线运动;这样,S101为:分别获取所述相机在所述第一直线运动中第一位置和第二位置处的位姿、以及在所述第二直线运动中第三位置和第四位置处的位姿,作为第一位姿;S102为:分别获取所述设备在所述第一位置、所述第二位置、所述第三位置和所述第四位置处的位姿,作为第二位姿。
举例来说,第一直线运动形成的轨迹与第二直线运动形成的轨迹构成一个角度,该角度可以为直角90度,或者也可以为45度-100度之间的任意角度,具体不做限定。
下面为角度为直角进行举例说明,如图2及图3中所示,第二设备为轮式机器人,一般来说,轮式机器人只能在地面上运动,因此,轮式机器人的第二位姿所在的世界坐标系也可以理解为地面坐标系。比如,地面坐标系可以以轮式机器人的出发点为原点,以出发时的前向为x轴,以垂直地面向上为y轴。轮式机器人携带相机在棋盘格标定板附近运动,运动轨迹如图3中所示为0→1→2→3。
0可以理解为上述第一位置,1可以理解为上述第二位置,0→1即为第一直线运动;2可以理解为上述第三位置,3可以理解为上述第四位置,2→3即为第二直线运动。0→1、2→3的直线运动距离可以为50cm,或者,也可以为其他,具体不做限定。1→2可以为轮式机器人的原地旋转,旋转角度为90度。
相机位于0、1、2、3这四个位置时都可以采集到完整的棋盘格标定板。举例来说,相机在初始位置0时,相机光轴与标定板夹角可以约为45度,而且棋盘格在图像中可以约占二分之一。
上述一种实施方式中,利用PnP算法,求解得到的第一位姿为6DOF的位姿,而通过轮式机器人定位装置输出的第二位姿可以为3DOF的位姿其中,下标i表示第i个位置,xi、yi表示平面坐标,θi表示偏航角。一种情况下,可以将所述第二位姿转换为与所述第一位姿自由度相同的位姿。
具体的,可以假设z轴与xy平面垂直,并遵守右手坐标原则,以上述轮式机器人为例来说,它只能在地面上运动,z轴坐标为零,则6DOF的第二位姿的齐次表达式为:
其中,旋转矩阵为/>平移向量为t=[xi yi 0]T。
上述表达式中,i表示第i个测量位置处,下标中g表示第二坐标系,b表示第二设备的坐标系,下标中的两个字母表示由右边字母表示的坐标系转换至由左边字母表示的坐标系。
可以理解,第二坐标系为世界坐标系,或者理解为地面坐标系,g表示ground,地面坐标系。b表示第二设备的坐标系,b表示body,轮式机器人的坐标系,举例来说,轮式机器人的坐标系可以以轮式机器人本体中心为原点,以轮式机器人前方朝向为x轴,轮式机器人出发时与地面坐标系对齐。下标gb即表示由第二设备的坐标系转换至第二坐标系。
S103:根据每个测量位置处的第一位姿和第二位姿、以及第一坐标系与第二坐标系之间的坐标转换关系,求解第一设备与第二设备之间的外参。
作为一种实施方式,如图1b所示,S103可以包括:S103A和S103B。
S103A:针对每个测量位置,以该位置处的第一位姿和第二位姿为已知量,以第一坐标系与第二坐标系之间的坐标转换关系、以及第一设备与第二设备之间的外参为未知量,构建该位置处的转换方程。
一种实施方式中,转换方程为:坐标转换关系×第一位姿=第二位姿×外参。先介绍等式左侧:第一位姿是第一设备在第一坐标系中的位姿,坐标转换关系可以将第一坐标系转换至第二坐标系,因此,坐标转换关系×第一位姿,得到第一设备在第二坐标系中的位姿。再介绍等式右侧:第二位姿是第二设备在第二坐标系中的位姿,外参可以将第二设备转换至第一设备,因此,第二位姿×外参,得到第一设备在第二坐标系中的位姿。可见,等式左右两侧是相等的。
下面利用算式介绍上述推导过程:
假设在第i个位置处,相机在地面坐标系(第一设备在第二坐标系)下的位姿为针对/>可以列出两个等式:
如上所述,i表示第i个测量位置处;下标中的两个字母表示由右边字母表示的坐标系转换至由左边字母表示的坐标系;下标中g表示第二坐标系(ground,地面坐标系或世界坐标系),v表示第一坐标系(vision,视觉坐标系),b表示第二设备的坐标系(body,机器人的坐标系),c表示第一设备的坐标系(camera,相机的坐标系)。
Tgv也就是视觉坐标系转换至地面坐标系,也就是上述第一坐标系与第二坐标系之间的坐标转换关系;也就是第i个位置处的相机的坐标系转换至视觉坐标系,也就是第i个位置处的第一位姿;/>也就是坐标转换关系×第一位姿。
也就是第i个位置处的机器人的坐标系转换至地面坐标系,也就是第i个位置处的第二位姿;Tbc也就是相机的坐标系转换至机器人的坐标系,也就是第一设备与第二设备之间的外参;/>也就是第二位姿×外参。
将这两个等式联立后得到也就是转换方程:坐标转换关系×第一位姿=第二位姿×外参。
上述T中均包含旋转关系和平移关系,将上述T中的旋转关系和平移关系展开,得到转换方程的展开表达式为:
其中,R表示旋转关系,t表示平移关系;i表示第i个测量位置处;下标中的两个字母表示由右边字母表示的坐标系转换至由左边字母表示的坐标系;下标中g表示第二坐标系(ground,地面坐标系或世界坐标系),v表示第一坐标系(vision,视觉坐标系),b表示第二设备的坐标系(body,机器人的坐标系),c表示第一设备的坐标系(camera,相机的坐标系)。
由上述展开式推导得到其中旋转分量等式为:/>平移分量等式为:/>
先介绍平移分量等式,其中的Rgv和tgv都属于第一坐标系与第二坐标系之间的坐标转换关系,Rgv为坐标转换关系中的旋转关系,tgv为坐标转换关系中的平移关系,Rgv和tgv都是未知量。其中的属于第一位姿中的平移关系,是已知量。其中的/>和/>都属于第二位姿,/>为第二位姿中的旋转关系,/>为第二位姿中的平移关系,/>和/>都是已知量。其中的tbc表示第一设备与第二设备之间的外参,是未知量。
也就是S103A中所说的,以该位置(第i位置)处的第一位姿和第二位姿为已知量,以坐标转换关系及外参为未知量,构建该位置(第i位置)处的转换方程。
上述一种实施方式中,将第二位姿转换为与第一位姿自由度相同的位姿,这样,方便转换方程的求解。
S103B:将外参设定为初始值,利用初始值对每个测量位置处的转换方程中的坐标转换关系和外参进行交替迭代求解,得到第一设备与第二设备之间的外参标定结果。
上述转换方程中包括“坐标转换关系”和“外参”两方面的未知量,交替迭代求解可以理解为:将外参初始值代入转换方程,得到坐标转换关系,这里得到的坐标转换关系并不是最终结果,因此称为坐标转换关系的中间值;将坐标转换关系的中间值再代回转换方程,得到外参,这里的外参也不一定是最终结果,因此称为外参的中间值;再将该外参的中间值代回转换方程……以此类推,迭代更新“坐标转换关系”和“外参”两方面的未知量,直至满足迭代停止条件时,得到最终的“坐标转换关系”和“外参”。
迭代停止条件可以有多种,比如迭代次数达到预设阈值,或者外参更新步长(或者说变化幅度)小于预设阈值,等等,具体不做限定。
一种实施方式中,S103B可以如图4所示,包括:
S401:将外参设定为初始值。
外参初始值可以为零向量,或者也可以为其他向量,具体不做限定。下面为零向量为例进行说明。
S402:将初始值代入每个测量位置处的转换方程,得到每个转换方程对应的坐标转换关系的中间值。
一种情况下,S402可以包括:将初始值代入每个测量位置处的转换方程,得到所述第一设备在所述第二坐标系中的第一轨迹;通过将所述第一轨迹与所述第一位姿形成的第二轨迹进行配准,得到所述第一坐标系与所述第二坐标系之间的坐标转换关系的中间值。
具体的,将tbc的初始值代入上述平移分量等式右侧,得到所述第一设备在所述第二坐标系中的第一轨迹
如上所述,为第二位姿(第二设备的坐标系转换至第二坐标系)中的旋转关系,/>为第二位姿中的平移关系,tbc表示第一设备与第二设备之间的外参,因此,可以推导出/>为第一设备在第二坐标系中的轨迹,为了方便描述,将其称为第一轨迹。第一轨迹也可以理解为相机在世界坐标系中的轨迹。
由上述平移分量等式左侧可得如上所述,/>为第一位姿(第一设备的坐标系转换至第一坐标系)中的平移关系,当i取不同值时,/>表示第一位姿形成的轨迹,为了方便描述,将其称为第二轨迹。
第一轨迹和第二轨迹都是第一设备的轨迹,只是因其所在坐标系不同,而导致其数值不同,因此,可以通过将第一轨迹和第二轨迹进行配准,求解转换方程中的Rgv和tgv(坐标转换关系)。具体的,可以通过对第一轨迹与第二轨迹/>进行刚体变换,得到所述坐标转换关系的中间值。比如,可以通过Kabsch算法,对第一轨迹/>与第二轨迹/>进行刚体变换,得到所述坐标转换关系的中间值Rgv和tgv。
S403:通过将每个坐标转换关系的中间值代回对应的转换方程,得到一个以外参为未知量的方程组。
将S402中得到的Rgv和tgv的中间值代回转换方程,每个测量位置都得到一个关于外参tbc的方程,因此得到一个关于外参tbc的方程组:
该方程组中的0、1……N表示原方程中i的取值。
S404:对方程组进行求解,得到外参的中间值。
该方程中可以表示为A3N×3x3×1=b3N×1的形式:
通过最小二乘法求解该方程组,可以得到tbc=A\b,其中,\表示矩阵间的除号。
S405:判断是否满足迭代停止条件。如果不满足,执行S406;如果满足,执行S407。
迭代停止条件可以有多种,比如迭代次数达到预设阈值,或者外参更新步长(或者说变化幅度)小于预设阈值,等等,具体不做限定。
S406:将该外参的中间值作为新的初始值,并返回执行S402。
S407:将该外参的中间值确定为第一设备与第二设备之间的外参标定结果。
S407中得到的外参标定结果为平移关系,一种实施方式中,还可以求解得到外参中的旋转关系。比如,可以将S407中得到的平移关系代回上述转换方程,得到坐标转换关系;根据坐标转换关系中的旋转关系、第一位姿中的旋转关系、以及第二位姿中的旋转关系,计算第一设备与第二设备之间的旋转关系。
具体的,利用如下算式,计算所述第一设备与所述第二设备之间的旋转关系:其中,Rbc表示所述第一设备与所述第二设备之间的旋转关系,/>表示第i个位置处的第二位姿中的旋转关系,Rgv表示所述坐标转换关系中的旋转关系,表示第i个位置处的第一位姿中的旋转关系。
上述算式由上述旋转分量等式推导得到。
一种实施方式中,在通过交替迭代求解,得到外参和坐标转换关系后,还可以将得到的外参和坐标转换关系代回每个转换方程,判断每个转换方程的残差是否满足校验条件;如果满足,将得到的外参确定为所述第一设备与所述第二设备之间的外参标定结果。
具体的,可以将得到的“坐标转换关系”Rgv和tgv、以及“外参”tbc都代回上述转换方程,然后计算转换方程左右两侧的残差:
求解各测量位置对应的转换方程的残差的平均模长:
其中,||ei||表示向量ei的模长,如果计算得到的平均模长小于预设阈值,则表示外参标定结果符合要求。比如,预设阈值可以为1cm,或者,也可以为其他,具体不做限定。
作为另一种实施方式,S103可以包括:先标定得到第一坐标系和第二坐标系之间的坐标转换关系;然后针对每个测量位置,以该位置处的第一位姿和第二位姿、以及该坐标转换关系为已知量,以第一设备与第二设备之间的外参为未知量,构建该位置处的转换方程;对每个测量位置处的转换方程中的外参进行求解,得到第一设备与第二设备之间的外参标定结果。
如上所述,各测量位置处的转换方程为:坐标转换关系×第一位姿=第二位姿×外参,也就是可以把式1中的/>变换为以初始位置时的第一位姿为基准的位姿/>表示:/>
其中,表示初始位置时第一设备在第一坐标系的位姿,/>表示第i个位置处第一设备相对于初始位置第一设备的相对位姿,由此将式1变换为:
式3最左边两项结合后为/> 表示初始位置第一设备相对于第二坐标系的位姿,又因为第二坐标系是以初始位置第二设备的位姿定义的,那么实际上/>也就是外参Tbc,这样将式3变换为:
式4中的未知量为Tbc,将式4展开后得到:
其中,和/>都属于第二位姿,/>为第二位姿中的旋转关系,/>为第二位姿中的平移关系,/>和/>都是已知量;Rbc和tbc表示第一设备与第二设备之间的外参,Rbc表示外参中的旋转关系,tbc外参中的平移关系,Rbc和tbc是未知量;/>和/>属于第i个位置处第一设备相对于初始位置第一设备的相对位姿,/>为该相对位姿中的旋转关系,为该相对位姿中的平移关系,/>和/>都是已知量。
由式5得到的旋转方程为:
由式5得到的平移方程为:
对外参进行求解时,可以先求解旋转方程,再求解平移方程。每个测量位置对应一个旋转方程(式6),通过罗德里格斯变换和SVD(Singular Value Decomposition,奇异值分解)算法,可以求解出这多个旋转方程的最优解Rbc,然后再将Rbc带入每个测量位置对应的平移方程(式7),通过最小二乘的方式求出得到tbc。
本实施方式的整体思路也可以这样理解:假设第一设备在第一坐标系的初始位姿准确,则可以将“第一坐标系与第二坐标系之间的坐标转换关系”变换为外参乘一个已知量,这样求解的转换方程就只有外参一个未知量,因此可以通过先求解旋转关系再求解平移关系的方法求解该外参。
本实施方式较依赖于初始位置时第一设备的位姿,而图1b所示的交替迭代求解的方式不需要依赖于初始位置时第一设备的位姿,而是将坐标转换关系也作为未知量求解,因此,相较于本实施方式,图1b实施方式的准确度更高。
应用本发明实施例进行外参标定时,分别构建每个位置对应的转换方程,转换方程中以两台设备的外参、及两个坐标系的转换关系为未知量,设定该外参的初始值,利用该初始值对这两个未知量进行交替迭代求解,得到这两台设备之间的外参标定结果;可见,本方案中,实现了直接确定两台设备之间的外参,而不需要将这两台设备都转换到世界坐标系中。
图5为本发明实施例提供的外参标定方法的第三种流程示意图,包括:
S501:控制携带相机的机器人进行一段折线运动。
其中,折线运动中包括第一直线运动和第二直线运动,第一直线运动形成的轨迹与第二直线运动形成的轨迹构成一个角度,举例来说,该角度可以为直角90度,或者也可以为45度-100度之间的任意角度,具体不做限定。下面为角度为直角进行举例说明,参考图2及图3,轮式机器人携带相机在棋盘格标定板附近运动,运动轨迹如图3中所示为0→1→2→3。
0为第一位置,1为第二位置,0→1即为第一直线运动;2为第三位置,3为第四位置,2→3即为第二直线运动。0→1、2→3的直线运动距离可以为50cm,或者,也可以为其他,具体不做限定。1→2可以为轮式机器人的原地旋转,旋转角度为90度。相机位于0、1、2、3这四个位置时都可以采集到完整的棋盘格标定板。
S502:分别获取相机在第一直线运动中第一位置和第二位置处、以及在第二直线运动中第三位置和第四位置处、针对标定板采集的标定图像。
S503:基于所获取的标定图像,获取相机在第一位置、第二位置、第三位置和第四位置处的第一位姿。第一位姿为视觉坐标系中的位姿。
可以理解,标定板可以为棋盘格,标定板的规格尺寸已知。比如,可以假设标定板左上角为视觉坐标系原点,标定板平面为xy平面,z轴垂直于标定板为。这样,可以得到棋盘格中各角点在视觉坐标系中的坐标。在相机采集的标定图像中进行角点提取,可以得到各角点在图像坐标系中的坐标。
各角点在视觉坐标系中的坐标可以为三维坐标,各角点在图像坐标系中的坐标可以为二维坐标。在相机内参已知的情况下,可以利用该三维坐标及该二维坐标,求解得到相机采集每张标定图像时相对于标定板的位姿,也就是相机在视觉坐标系中的第一位姿。
比如,可以利用PnP(Perspective-N-Points,透视N点法)算法,求解该第一位姿,这样得到的第一位姿通常是6DOF(degree of freedom,自由度)的位姿。该6DOF的位姿可以由一个4×4的矩阵T来表示,其中包含一个3×3的旋转矩阵R和一个3×1的平移向量t:
S504:分别获取机器人在第一位置、第二位置、第三位置和第四位置处的第二位姿;将第二位姿转换为与第一位姿自由度相同的位姿。
第二位姿为世界坐标系中的位姿。一般来说,轮式机器人只能在地面上运动,因此,轮式机器人的第二位姿所在的世界坐标系也可以理解为地面坐标系。举例来说,轮式机器人中可以携带定位装置,可以通过该定位装置确定轮式机器人在世界坐标系中的位姿。
延续上述例子,利用PnP算法,求解得到的第一位姿为6DOF的位姿,而通过轮式机器人定位装置输出的第二位姿可以为3DOF的位姿这种情况下,可以将第二位姿转换为与第一位姿自由度相同的位姿,这样,后续转换方程中,第二位姿与第一位姿的自由度相同。
具体的,可以假设z轴与xy平面垂直,并遵守右手坐标原则,轮式机器人只能在地面上运动,因此z轴坐标为零,则6DOF的第二位姿的齐次表达式为:
其中,旋转矩阵为/>平移向量为t=[xi yi 0]T。
上述表达式中,i表示第i个测量位置处(图3中i可以取0-3),下标中g表示ground,地面坐标系(世界坐标系);b表示body,轮式机器人的坐标系。下标中的两个字母表示由右边字母表示的坐标系转换至由左边字母表示的坐标系;下标gb即表示由轮式机器人的坐标系转换至世界坐标系。
S505:针对每个位置,以该位置处的第一位姿和第二位姿为已知量,以视觉坐标系与世界坐标系之间的坐标转换关系、以及相机与机器人之间的外参为未知量,构建该位置处的转换方程。
假设在第i个位置处,相机在地面坐标系下的位姿为针对/>可以列出两个等式:
以图3为例来说,i可以取0-3,也就是上述第一位置-第四位置;如上所述,下标中的两个字母表示由右边字母表示的坐标系转换至由左边字母表示的坐标系;下标中g表示ground,地面坐标系或世界坐标系,v表示vision,视觉坐标系,b表示body,机器人的坐标系,c表示camera,相机的坐标系。
Tgv也就是视觉坐标系转换至地面坐标系,也就是上述“坐标转换关系”;也就是第i个位置处的相机的坐标系转换至视觉坐标系,也就是第i个位置处的第一位姿;/>也就是第i个位置处的机器人的坐标系转换至地面坐标系,也就是第i个位置处的第二位姿;Tbc也就是相机的坐标系转换至机器人的坐标系,也就是上述“外参”。
将这两个等式联立后得到也就是转换方程:坐标转换关系×第一位姿=第二位姿×外参。
上述T中均包含旋转关系和平移关系,将上述T中的旋转关系和平移关系展开,得到转换方程的展开表达式为:
其中,R表示旋转关系,t表示平移关系;i表示第i个测量位置处;下标中的两个字母表示由右边字母表示的坐标系转换至由左边字母表示的坐标系;下标中g表示ground,地面坐标系或世界坐标系,v表示vision,视觉坐标系,b表示body,机器人的坐标系,c表示camera,相机的坐标系。
由上述展开式推导得到其中旋转分量等式为:/>平移分量等式为:/>
先介绍平移分量等式,其中的Rgv和tgv都属于该“坐标转换关系”,Rgv为坐标转换关系中的旋转关系,tgv为坐标转换关系中的平移关系,Rgv和tgv都是未知量。其中的属于第一位姿中的平移关系,是已知量。其中的/>和/>都属于第二位姿,/>为第二位姿中的旋转关系,/>为第二位姿中的平移关系,/>和/>都是已知量。其中的tbc表示该“外参”,是未知量。
S506:将外参设定为初始值。
外参初始值可以为零向量,或者也可以为其他向量,具体不做限定。下面为零向量为例进行说明。
S507:将初始值代入每个位置处的转换方程,得到每个转换方程对应的坐标转换关系的中间值。
具体的,将tbc的初始值代入上述平移分量等式右侧,得到相机在世界坐标系中的第一轨迹
如上所述,为第二位姿(机器人的坐标系转换至世界坐标系)中的旋转关系,为第二位姿中的平移关系,tbc表示相机与机器人之间的外参,因此,可以推导出/>为相机在世界坐标系中的轨迹,为了方便描述,将其称为第一轨迹。
由上述平移分量等式左侧可得如上所述,/>为第一位姿(相机的坐标系转换至视觉坐标系)中的平移关系,当i取不同值时,/>表示第一位姿形成的轨迹,为了方便描述,将其称为第二轨迹。
第一轨迹和第二轨迹都是相机的轨迹,只是因其所在坐标系不同,而导致其数值不同,因此,可以通过将第一轨迹和第二轨迹进行配准,求解转换方程中的Rgv和tgv(坐标转换关系)。具体的,可以通过对第一轨迹与第二轨迹/>进行刚体变换,得到所述坐标转换关系的中间值。比如,可以通过Kabsch算法,对第一轨迹/>与第二轨迹/>进行刚体变换,得到所述坐标转换关系的中间值Rgv和tgv。
S508:通过将每个坐标转换关系的中间值代回对应的转换方程,得到一个以外参为未知量的方程组。
将S507中得到的Rgv和tgv的中间值代回转换方程,每个测量位置都得到一个关于外参tbc的方程,因此得到一个关于外参tbc的方程组:
该方程组中的0、1……N表示原方程中i的取值。
S509:对方程组进行求解,得到外参的中间值。
该方程中可以表示为A3N×3x3×1=b3N×1的形式:
通过最小二乘法求解该方程组,可以得到tbc=A\b,其中,\表示矩阵间的除号。
S510:判断是否满足迭代停止条件;如果不满足,执行S511,如果满足,执行。
迭代停止条件可以有多种,比如迭代次数达到预设阈值,或者外参更新步长(或者说变化幅度)小于预设阈值,等等,具体不做限定。
S511:将该外参的中间值作为新的初始值,并返回执行S507。
S512:将该外参的中间值确定为相机与机器人之间的平移关系。
S513:通过将平移关系代回转换方程,求解相机与机器人之间的旋转关系。
具体的,通过上述旋转分量等式推导得到:
其中,Rbc表示相机与机器人之间的旋转关系,/>表示第i个位置处的第二位姿中的旋转关系,Rgv表示所述坐标转换关系中的旋转关系,/>表示第i个位置处的第一位姿中的旋转关系。/>
应用本发明图5实施例,控制机器人携带相机进行一段折线运动,便可实现直接确定相机与携带相机的机器人之间的外参。另外,还可以将图5实施例中的机器人替换为车辆,这样,可以实现对车载相机的外参标定。图5实施例中,第一位姿和第二位姿可以为6DOF,因此,求解得到的外参最多可为6DOF的外参。
与上述方法实施例相对应,本发明实施例还提供了一种外参标定装置,如图6所示,包括:
第一获取模块601,用于分别获取第一设备在多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿;
第二获取模块602,用于分别获取第二设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿;
求解模块603,用于根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述第一设备与所述第二设备之间的外参。
作为一种实施方式,求解模块603,包括:构建子模块和求解子模块(图中未示出),其中,
构建子模块,用于针对每个测量位置,以该位置处的第一位姿和第二位姿为已知量,以所述第一坐标系与所述第二坐标系之间的坐标转换关系、以及所述第一设备与所述第二设备之间的外参为未知量,构建该位置处的转换方程;
求解子模块,用于将所述外参设定为初始值,利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述第一设备与所述第二设备之间的外参标定结果。
作为一种实施方式,第一获取模块601,具体可以用于:分别获取相机在多个测量位置处的第一位姿;其中,所述第一位姿为视觉坐标系中的位姿;
第二获取模块602,具体可以用于:分别获取携带所述相机的设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为世界坐标系中的位姿。
作为一种实施方式,第一获取模块601,具体可以用于:获取相机在多个测量位置处针对标定板采集的标定图像;基于所述标定图像,获取所述相机在每个测量位置处的第一位姿;
第二获取模块602,还用于:将所述第二位姿转换为与所述第一位姿自由度相同的位姿。
作为一种实施方式,所述装置还可以包括:
控制模块(图中未示出),用于控制携带相机的设备进行一段折线运动;其中,所述折线运动中包括第一直线运动和第二直线运动;
第一获取模块601,具体可以用于:分别获取所述相机在所述第一直线运动中第一位置和第二位置处的位姿、以及在所述第二直线运动中第三位置和第四位置处的位姿,作为第一位姿;
第二获取模块602,具体可以用于:分别获取所述设备在所述第一位置、所述第二位置、所述第三位置和所述第四位置处的位姿,作为第二位姿。
作为一种实施方式,求解子模块可以包括:第一代入单元、第二代入单元、求解单元、判断单元、第一确定单元和第二确定单元(图中未示出),其中,
第一代入单元,用于将初始值代入每个测量位置处的转换方程,得到每个转换方程对应的坐标转换关系的中间值;
第二代入单元,用于通过将每个坐标转换关系的中间值代回对应的转换方程,得到一个以所述外参为未知量的方程组;
求解单元,用于对所述方程组进行求解,得到所述外参的中间值;
判断单元,用于判断是否满足迭代停止条件;如果不满足,触发第一确定单元;如果满足,触发第二确定单元;
第一确定单元,用于将所述外参的中间值作为新的初始值,并触发所述第一代入单元;
第二确定单元,用于将所述外参的中间值确定为所述第一设备与所述第二设备之间的外参标定结果。
作为一种实施方式,所述第一代入单元,具体可以用于:
将初始值代入每个测量位置处的转换方程,得到所述第一设备在所述第二坐标系中的第一轨迹;通过将所述第一轨迹与所述第一位姿形成的第二轨迹进行配准,得到所述第一坐标系与所述第二坐标系之间的坐标转换关系的中间值。
作为一种实施方式,所述转换方程为:坐标转换关系×第一位姿=第二位姿×外参;
所述转换方程的展开表达式为:
其中,R表示旋转关系,t表示平移关系,下标中g表示第二坐标系,v表示第一坐标系,b表示第二设备的坐标系,c表示第一设备的坐标系,下标中的两个字母表示由右边字母表示的坐标系转换至由左边字母表示的坐标系;i表示第i个测量位置处;
由所述表达式推导得到旋转分量等式:
由所述表达式推导得到平移分量等式:
所述第一代入单元,具体用于:
将tbc的初始值代入所述平移分量等式右侧,得到所述第一设备在所述第二坐标系中的第一轨迹根据所述平移分量等式,得到/> 表示所述第一位姿形成的第二轨迹;通过对所述第一轨迹/>与所述第二轨迹/>进行刚体变换,得到所述坐标转换关系的中间值。
作为一种实施方式,求解子模块还用于:
将所述外参的中间值确定为所述第一设备与所述第二设备之间的平移关系;将所述平移关系代回所述转换方程,得到所述坐标转换关系;根据所述坐标转换关系中的旋转关系、所述第一位姿中的旋转关系、以及所述第二位姿中的旋转关系,计算所述第一设备与所述第二设备之间的旋转关系。
作为一种实施方式,作为一种实施方式,求解子模块还用于:
利用如下算式,计算所述第一设备与所述第二设备之间的旋转关系:
其中,Rbc表示所述第一设备与所述第二设备之间的旋转关系,表示第i个位置处的第二位姿中的旋转关系,Rgv表示所述坐标转换关系中的旋转关系,/>表示第i个位置处的第一位姿中的旋转关系。
作为一种实施方式,求解子模块还用于:
利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述外参和所述坐标转换关系;将得到的外参和坐标转换关系代回每个转换方程,判断每个转换方程的残差是否满足校验条件;如果满足,将得到的外参确定为所述第一设备与所述第二设备之间的外参标定结果。
本发明实施例还提供了一种电子设备,如图7所示,包括处理器701和存储器702,
存储器702,用于存放计算机程序;
处理器701,用于执行存储器702上所存放的程序时,实现上述任一种外参标定方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种外参标定方法。
本发明实施例还提供了一种外参标定系统,如图8所示,包括:第一设备、第二设备和标定设备;其中,
所述第二设备,用于携带所述第一设备移动至多个测量位置;
所述标定设备,用于分别获取所述第一设备在所述多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿;分别获取第二设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿;根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述第一设备与所述第二设备之间的外参。
作为一种实施方式,所述第一设备为相机;
所述相机,还用于在所述多个测量位置处,针对标定板进行图像采集,得到多张标定图像,将所述多张标定图像发送至所述标定设备;
所述第二设备,还用于将所述第二设备在所述多个测量位置处的第二位姿发送至所述标定设备;
所述标定设备,还用于根据所述多张标定图像,获取所述相机在每个测量位置处的第一位姿;接收所述第二设备发送的第二位姿。
该标定设备还可以实现上述任一种外参标定方法。
本发明实施例还提供了一种机器人,所述机器人携带相机同步移动,所述机器人可以如图9所示,包括移动部件902和处理器901,
移动部件902,用于将所述机器人移动至多个测量位置;
处理器901,用于分别获取所述相机在多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿;分别获取所述机器人在所述多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿;根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述相机与所述机器人之间的外参。
作为一种实施方式,该机器人可以为轮式机器人,如图2所示,移动部件包括轮子。或者,该机器人也可以为其他形式的机器人,具体不做限定。
该机器人还可以实现上述任一种外参标定方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、设备实施例、计算机可读存储介质实施例、系统实施例和机器人实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (16)
1.一种外参标定方法,其特征在于,包括:
分别获取第一设备在多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿;
分别获取第二设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿;
根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述第一设备与所述第二设备之间的外参;
所述根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述第一设备与所述第二设备之间的外参,包括:
针对每个测量位置,以该位置处的第一位姿和第二位姿为已知量,以所述第一坐标系与所述第二坐标系之间的坐标转换关系、以及所述第一设备与所述第二设备之间的外参为未知量,构建该位置处的转换方程;
将所述外参设定为初始值,利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述第一设备与所述第二设备之间的外参标定结果;
所述利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述第一设备与所述第二设备之间的外参标定结果,包括:
将初始值代入每个测量位置处的转换方程,得到每个转换方程对应的坐标转换关系的中间值;
通过将每个坐标转换关系的中间值代回对应的转换方程,得到一个以所述外参为未知量的方程组;
对所述方程组进行求解,得到所述外参的中间值;
判断是否满足迭代停止条件;
如果不满足,将所述外参的中间值作为新的初始值,并返回执行所述将初始值代入每个测量位置处的转换方程的步骤;
如果满足,将所述外参的中间值确定为所述第一设备与所述第二设备之间的外参标定结果;
所述将所述外参的中间值确定为所述第一设备与所述第二设备之间的外参标定结果,包括:
将所述外参的中间值确定为所述第一设备与所述第二设备之间的平移关系;
所述方法还包括:
将所述平移关系代回所述转换方程,得到所述坐标转换关系;
根据所述坐标转换关系中的旋转关系、所述第一位姿中的旋转关系、以及所述第二位姿中的旋转关系,计算所述第一设备与所述第二设备之间的旋转关系;
所述根据所述坐标转换关系中的旋转关系、所述第一位姿中的旋转关系、以及所述第二位姿中的旋转关系,计算所述第一设备与所述第二设备之间的旋转关系,包括:
利用如下算式,计算所述第一设备与所述第二设备之间的旋转关系:
其中,Rbc表示所述第一设备与所述第二设备之间的旋转关系,表示第i个位置处的第二位姿中的旋转关系,Rgv表示所述坐标转换关系中的旋转关系,/>表示第i个位置处的第一位姿中的旋转关系。
2.根据权利要求1所述的方法,其特征在于,所述第一设备为相机,所述第二设备为携带所述相机的设备;
所述分别获取第一设备在多个测量位置处的第一位姿,包括:
分别获取相机在多个测量位置处的第一位姿;其中,所述第一位姿为视觉坐标系中的位姿;
所述分别获取第二设备在所述多个测量位置处的第二位姿,包括:
分别获取携带所述相机的设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为世界坐标系中的位姿。
3.根据权利要求2所述的方法,其特征在于,所述分别获取相机在多个测量位置处的第一位姿,包括:
获取相机在多个测量位置处针对标定板采集的标定图像;
基于所述标定图像,获取所述相机在每个测量位置处的第一位姿;
在所述分别获取携带所述相机的设备在所述多个测量位置处的第二位姿之后,还包括:
将所述第二位姿转换为与所述第一位姿自由度相同的位姿。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
控制携带相机的设备进行一段折线运动;其中,所述折线运动中包括第一直线运动和第二直线运动;
所述分别获取相机在多个测量位置处的第一位姿,包括:
分别获取所述相机在所述第一直线运动中第一位置和第二位置处的位姿、以及在所述第二直线运动中第三位置和第四位置处的位姿,作为第一位姿;
所述分别获取携带所述相机的设备在所述多个测量位置处的第二位姿,包括:
分别获取所述设备在所述第一位置、所述第二位置、所述第三位置和所述第四位置处的位姿,作为第二位姿。
5.根据权利要求1所述的方法,其特征在于,所述将初始值代入每个测量位置处的转换方程,得到每个转换方程对应的坐标转换关系的中间值,包括:
将初始值代入每个测量位置处的转换方程,得到所述第一设备在所述第二坐标系中的第一轨迹;
通过将所述第一轨迹与所述第一位姿形成的第二轨迹进行配准,得到所述第一坐标系与所述第二坐标系之间的坐标转换关系的中间值。
6.根据权利要求5所述的方法,其特征在于,所述转换方程为:坐标转换关系×第一位姿=第二位姿×外参;
所述转换方程的展开表达式为:
其中,R表示旋转关系,t表示平移关系,下标中g表示第二坐标系,v表示第一坐标系,b表示第二设备的坐标系,c表示第一设备的坐标系,下标中的两个字母表示由右边字母表示的坐标系转换至由左边字母表示的坐标系;i表示第i个测量位置处;
由所述表达式推导得到旋转分量等式:
由所述表达式推导得到平移分量等式:
所述将初始值代入每个测量位置处的转换方程,得到所述第一设备在所述第二坐标系中的第一轨迹,包括:
将tbc的初始值代入所述平移分量等式右侧,得到所述第一设备在所述第二坐标系中的第一轨迹
所述通过将所述第一轨迹与所述第一位姿形成的第二轨迹进行配准,得到所述第一坐标系与所述第二坐标系之间的坐标转换关系的中间值,包括:
根据所述平移分量等式,得到 表示所述第一位姿形成的第二轨迹;
通过对所述第一轨迹与所述第二轨迹/>进行刚体变换,得到所述坐标转换关系的中间值。
7.根据权利要求1所述的方法,其特征在于,所述利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述第一设备与所述第二设备之间的外参标定结果,包括:
利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述外参和所述坐标转换关系;
将得到的外参和坐标转换关系代回每个转换方程,判断每个转换方程的残差是否满足校验条件;
如果满足,将得到的外参确定为所述第一设备与所述第二设备之间的外参标定结果。
8.一种外参标定装置,其特征在于,包括:
第一获取模块,用于分别获取第一设备在多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿;
第二获取模块,用于分别获取第二设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿;
求解模块,用于根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述第一设备与所述第二设备之间的外参;
所述求解模块,包括:
构建子模块,用于针对每个测量位置,以该位置处的第一位姿和第二位姿为已知量,以所述第一坐标系与所述第二坐标系之间的坐标转换关系、以及所述第一设备与所述第二设备之间的外参为未知量,构建该位置处的转换方程;
求解子模块,用于将所述外参设定为初始值,利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述第一设备与所述第二设备之间的外参标定结果;
所述求解子模块,包括:
第一代入单元,用于将初始值代入每个测量位置处的转换方程,得到每个转换方程对应的坐标转换关系的中间值;
第二代入单元,用于通过将每个坐标转换关系的中间值代回对应的转换方程,得到一个以所述外参为未知量的方程组;
求解单元,用于对所述方程组进行求解,得到所述外参的中间值;
判断单元,用于判断是否满足迭代停止条件;如果不满足,触发第一确定单元;如果满足,触发第二确定单元;
第一确定单元,用于将所述外参的中间值作为新的初始值,并触发所述第一代入单元;
第二确定单元,用于将所述外参的中间值确定为所述第一设备与所述第二设备之间的外参标定结果;
所述求解子模块,还用于:
将所述外参的中间值确定为所述第一设备与所述第二设备之间的平移关系;将所述平移关系代回所述转换方程,得到所述坐标转换关系;根据所述坐标转换关系中的旋转关系、所述第一位姿中的旋转关系、以及所述第二位姿中的旋转关系,计算所述第一设备与所述第二设备之间的旋转关系;
所述求解子模块,具体用于利用如下算式,计算所述第一设备与所述第二设备之间的旋转关系:
其中,Rbc表示所述第一设备与所述第二设备之间的旋转关系,表示第i个位置处的第二位姿中的旋转关系,Rgv表示所述坐标转换关系中的旋转关系,/>表示第i个位置处的第一位姿中的旋转关系。
9.根据权利要求8所述的装置,其特征在于,所述第一设备为相机,所述第二设备为携带所述相机的设备;
所述第一获取模块,具体用于:分别获取相机在多个测量位置处的第一位姿;其中,所述第一位姿为视觉坐标系中的位姿;
所述第二获取模块,具体用于:分别获取携带所述相机的设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为世界坐标系中的位姿。
10.根据权利要求9所述的装置,其特征在于,所述第一获取模块,具体用于:获取相机在多个测量位置处针对标定板采集的标定图像;基于所述标定图像,获取所述相机在每个测量位置处的第一位姿;
所述第二获取模块,还用于:将所述第二位姿转换为与所述第一位姿自由度相同的位姿。
11.根据权利要求9所述的装置,其特征在于,所述装置还包括:
控制模块,用于控制携带相机的设备进行一段折线运动;其中,所述折线运动中包括第一直线运动和第二直线运动;
所述第一获取模块,具体用于:分别获取所述相机在所述第一直线运动中第一位置和第二位置处的位姿、以及在所述第二直线运动中第三位置和第四位置处的位姿,作为第一位姿;
所述第二获取模块,具体用于:分别获取所述设备在所述第一位置、所述第二位置、所述第三位置和所述第四位置处的位姿,作为第二位姿。
12.根据权利要求8所述的装置,其特征在于,所述第一代入单元,具体用于:
将初始值代入每个测量位置处的转换方程,得到所述第一设备在所述第二坐标系中的第一轨迹;通过将所述第一轨迹与所述第一位姿形成的第二轨迹进行配准,得到所述第一坐标系与所述第二坐标系之间的坐标转换关系的中间值。
13.根据权利要求8所述的装置,其特征在于,所述求解子模块,还用于:
利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述外参和所述坐标转换关系;将得到的外参和坐标转换关系代回每个转换方程,判断每个转换方程的残差是否满足校验条件;如果满足,将得到的外参确定为所述第一设备与所述第二设备之间的外参标定结果。
14.一种外参标定系统,其特征在于,包括:第一设备、第二设备和标定设备;其中,
所述第二设备,用于携带所述第一设备移动至多个测量位置;
所述标定设备,用于分别获取所述第一设备在所述多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿;分别获取第二设备在所述多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿;根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述第一设备与所述第二设备之间的外参;
所述标定设备,具体用于针对每个测量位置,以该位置处的第一位姿和第二位姿为已知量,以所述第一坐标系与所述第二坐标系之间的坐标转换关系、以及所述第一设备与所述第二设备之间的外参为未知量,构建该位置处的转换方程;将所述外参设定为初始值,利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述第一设备与所述第二设备之间的外参标定结果;
所述标定设备,具体用于将初始值代入每个测量位置处的转换方程,得到每个转换方程对应的坐标转换关系的中间值;通过将每个坐标转换关系的中间值代回对应的转换方程,得到一个以所述外参为未知量的方程组;对所述方程组进行求解,得到所述外参的中间值;判断是否满足迭代停止条件;如果不满足,将所述外参的中间值作为新的初始值,并返回执行所述将初始值代入每个测量位置处的转换方程的步骤;如果满足,将所述外参的中间值确定为所述第一设备与所述第二设备之间的外参标定结果;
所述标定设备,具体用于将所述外参的中间值确定为所述第一设备与所述第二设备之间的平移关系;将所述平移关系代回所述转换方程,得到所述坐标转换关系;根据所述坐标转换关系中的旋转关系、所述第一位姿中的旋转关系、以及所述第二位姿中的旋转关系,计算所述第一设备与所述第二设备之间的旋转关系;
所述标定设备,具体用于利用如下算式,计算所述第一设备与所述第二设备之间的旋转关系:
其中,Rbc表示所述第一设备与所述第二设备之间的旋转关系,表示第i个位置处的第二位姿中的旋转关系,Rgv表示所述坐标转换关系中的旋转关系,/>表示第i个位置处的第一位姿中的旋转关系。
15.根据权利要求14所述的系统,其特征在于,所述第一设备为相机;
所述相机,还用于在所述多个测量位置处,针对标定板进行图像采集,得到多张标定图像,将所述多张标定图像发送至所述标定设备;
所述第二设备,还用于将所述第二设备在所述多个测量位置处的第二位姿发送至所述标定设备;
所述标定设备,还用于根据所述多张标定图像,获取所述相机在每个测量位置处的第一位姿;接收所述第二设备发送的第二位姿。
16.一种机器人,其特征在于,所述机器人携带相机同步移动,所述机器人包括移动部件和处理器,
所述移动部件,用于将所述机器人移动至多个测量位置;
所述处理器,用于分别获取所述相机在多个测量位置处的第一位姿;其中,所述第一位姿为第一坐标系中的位姿;分别获取所述机器人在所述多个测量位置处的第二位姿;其中,所述第二位姿为第二坐标系中的位姿;根据每个测量位置处的第一位姿和第二位姿、以及所述第一坐标系与所述第二坐标系之间的坐标转换关系,求解所述相机与所述机器人之间的外参;
所述处理器,具体用于针对每个测量位置,以该位置处的第一位姿和第二位姿为已知量,以所述第一坐标系与所述第二坐标系之间的坐标转换关系、以及所述相机与所述机器人之间的外参为未知量,构建该位置处的转换方程;将所述外参设定为初始值,利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述相机与所述机器人之间的外参标定结果;
所述处理器,具体用于针对每个测量位置,以该位置处的第一位姿和第二位姿为已知量,以所述第一坐标系与所述第二坐标系之间的坐标转换关系、以及所述相机与所述机器人之间的外参为未知量,构建该位置处的转换方程;将所述外参设定为初始值,利用所述初始值对每个测量位置处的转换方程中的坐标转换关系和所述外参进行交替迭代求解,得到所述相机与所述机器人之间的外参标定结果;
所述处理器,具体用于将初始值代入每个测量位置处的转换方程,得到每个转换方程对应的坐标转换关系的中间值;通过将每个坐标转换关系的中间值代回对应的转换方程,得到一个以所述外参为未知量的方程组;对所述方程组进行求解,得到所述外参的中间值;判断是否满足迭代停止条件;如果不满足,将所述外参的中间值作为新的初始值,并返回执行所述将初始值代入每个测量位置处的转换方程的步骤;如果满足,将所述外参的中间值确定为所述相机与所述机器人之间的外参标定结果;
所述处理器,具体用于将所述外参的中间值确定为所述相机与所述机器人之间的平移关系;将所述平移关系代回所述转换方程,得到所述坐标转换关系;根据所述坐标转换关系中的旋转关系、所述第一位姿中的旋转关系、以及所述第二位姿中的旋转关系,计算所述相机与所述机器人之间的旋转关系;
所述处理器,具体用于利用如下算式,计算所述相机与所述机器人之间的旋转关系:
其中,Rbc表示所述相机与所述机器人之间的旋转关系,表示第i个位置处的第二位姿中的旋转关系,Rgv表示所述坐标转换关系中的旋转关系,/>表示第i个位置处的第一位姿中的旋转关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811162833.2A CN110969665B (zh) | 2018-09-30 | 2018-09-30 | 一种外参标定方法、装置、系统及机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811162833.2A CN110969665B (zh) | 2018-09-30 | 2018-09-30 | 一种外参标定方法、装置、系统及机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110969665A CN110969665A (zh) | 2020-04-07 |
CN110969665B true CN110969665B (zh) | 2023-10-10 |
Family
ID=70029323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811162833.2A Active CN110969665B (zh) | 2018-09-30 | 2018-09-30 | 一种外参标定方法、装置、系统及机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110969665B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179359B (zh) * | 2020-04-10 | 2023-03-14 | 浙江欣奕华智能科技有限公司 | 一种拍照系统的外参数的确定方法及装置 |
CN111856988A (zh) * | 2020-06-05 | 2020-10-30 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种采血装置的运动控制方法和装置 |
CN111784783B (zh) * | 2020-08-14 | 2022-05-17 | 支付宝(杭州)信息技术有限公司 | 相机外参标定的系统和方法 |
CN111982305A (zh) * | 2020-08-27 | 2020-11-24 | 杭州海康威视数字技术股份有限公司 | 温度测量方法、装置及计算机存储介质 |
WO2022134060A1 (en) * | 2020-12-25 | 2022-06-30 | Intel Corporation | Camera registration via robot |
CN113538598B (zh) * | 2021-07-21 | 2022-03-25 | 北京能创科技有限公司 | 主动立体视觉系统标定方法 |
CN114565683B (zh) * | 2022-03-02 | 2022-09-27 | 禾多科技(北京)有限公司 | 一种精度确定方法、装置、设备、介质及产品 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009059323A1 (en) * | 2007-11-01 | 2009-05-07 | Rimrock Automation, Inc. Dba Wolf Robotics | A method and system for finding a tool center point for a robot using an external camera |
CN102063721A (zh) * | 2011-01-06 | 2011-05-18 | 大连理工大学 | 一种视觉系统外部参数标定过程中直线标定物倾斜的补偿方法 |
WO2011143576A2 (en) * | 2010-05-14 | 2011-11-17 | Cognex Technology And Investment Corporation | System and method for robust calibration between a machine vision system and a robot |
CN102496160A (zh) * | 2011-12-09 | 2012-06-13 | 河海大学常州校区 | 集控式足球机器人视觉系统标定方法 |
CN105014667A (zh) * | 2015-08-06 | 2015-11-04 | 浙江大学 | 一种基于像素空间优化的相机与机器人相对位姿标定方法 |
CN106803273A (zh) * | 2017-01-17 | 2017-06-06 | 湖南优象科技有限公司 | 一种全景摄像机标定方法 |
CN106840111A (zh) * | 2017-03-27 | 2017-06-13 | 深圳市鹰眼在线电子科技有限公司 | 物体间位置姿态关系实时统一系统及方法 |
CN107862719A (zh) * | 2017-11-10 | 2018-03-30 | 未来机器人(深圳)有限公司 | 相机外参的标定方法、装置、计算机设备和存储介质 |
CN107995885A (zh) * | 2016-11-18 | 2018-05-04 | 深圳配天智能技术研究院有限公司 | 一种坐标系标定方法 、系统及装置 |
CN108399643A (zh) * | 2018-03-15 | 2018-08-14 | 南京大学 | 一种激光雷达和相机间的外参标定系统和方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102576842B1 (ko) * | 2017-01-04 | 2023-09-12 | 삼성전자주식회사 | 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치 |
-
2018
- 2018-09-30 CN CN201811162833.2A patent/CN110969665B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009059323A1 (en) * | 2007-11-01 | 2009-05-07 | Rimrock Automation, Inc. Dba Wolf Robotics | A method and system for finding a tool center point for a robot using an external camera |
WO2011143576A2 (en) * | 2010-05-14 | 2011-11-17 | Cognex Technology And Investment Corporation | System and method for robust calibration between a machine vision system and a robot |
CN102063721A (zh) * | 2011-01-06 | 2011-05-18 | 大连理工大学 | 一种视觉系统外部参数标定过程中直线标定物倾斜的补偿方法 |
CN102496160A (zh) * | 2011-12-09 | 2012-06-13 | 河海大学常州校区 | 集控式足球机器人视觉系统标定方法 |
CN105014667A (zh) * | 2015-08-06 | 2015-11-04 | 浙江大学 | 一种基于像素空间优化的相机与机器人相对位姿标定方法 |
CN107995885A (zh) * | 2016-11-18 | 2018-05-04 | 深圳配天智能技术研究院有限公司 | 一种坐标系标定方法 、系统及装置 |
WO2018090323A1 (zh) * | 2016-11-18 | 2018-05-24 | 深圳配天智能技术研究院有限公司 | 一种坐标系标定方法、系统及装置 |
CN106803273A (zh) * | 2017-01-17 | 2017-06-06 | 湖南优象科技有限公司 | 一种全景摄像机标定方法 |
CN106840111A (zh) * | 2017-03-27 | 2017-06-13 | 深圳市鹰眼在线电子科技有限公司 | 物体间位置姿态关系实时统一系统及方法 |
CN107862719A (zh) * | 2017-11-10 | 2018-03-30 | 未来机器人(深圳)有限公司 | 相机外参的标定方法、装置、计算机设备和存储介质 |
CN108399643A (zh) * | 2018-03-15 | 2018-08-14 | 南京大学 | 一种激光雷达和相机间的外参标定系统和方法 |
Non-Patent Citations (3)
Title |
---|
刘涛 ; 贾刚 ; 王宗义 ; .一种基于运动的线结构光视觉测量系统标定方法.传感技术学报.2011,(第04期),全文. * |
张旭 ; 李爱国 ; 马孜 ; 胡英 ; .机器人手眼关系、基坐标系和世界坐标系关系的同时标定.控制与决策.2009,(第10期),全文. * |
朱常琳等.摄像机与车体之间的坐标变化关系的研究.兰州铁道学院学报.2001,第20卷(第4期),正文第1-4节. * |
Also Published As
Publication number | Publication date |
---|---|
CN110969665A (zh) | 2020-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969665B (zh) | 一种外参标定方法、装置、系统及机器人 | |
CN110296691B (zh) | 融合imu标定的双目立体视觉测量方法与系统 | |
CN104596502B (zh) | 一种基于cad模型与单目视觉的物体位姿测量方法 | |
CN104616292B (zh) | 基于全局单应矩阵的单目视觉测量方法 | |
Wu et al. | Hand-eye calibration: 4-D procrustes analysis approach | |
Hol | Sensor fusion and calibration of inertial sensors, vision, ultra-wideband and GPS | |
US20190371003A1 (en) | Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium | |
CN108629831B (zh) | 基于参数化人体模板和惯性测量的三维人体重建方法及系统 | |
Ke et al. | Quasiconvex optimization for robust geometric reconstruction | |
Vasconcelos et al. | A minimal solution for the extrinsic calibration of a camera and a laser-rangefinder | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
WO2021004416A1 (zh) | 一种基于视觉信标建立信标地图的方法、装置 | |
Zhang et al. | A universal and flexible theodolite-camera system for making accurate measurements over large volumes | |
CN112184824A (zh) | 一种相机外参标定方法、装置 | |
CN108106637B (zh) | 一种分布式pos的精度检校方法和装置 | |
SG189284A1 (en) | Rapid 3d modeling | |
CN103679693A (zh) | 一种多相机单视图标定装置及其标定方法 | |
CN102147918A (zh) | 基于体育场标志线的摄像机外参数确定方法及系统 | |
WO2018233514A1 (zh) | 一种位姿测量方法、设备及存储介质 | |
CN112229323A (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
Pi et al. | On-orbit geometric calibration using a cross-image pair for the linear sensor aboard the agile optical satellite | |
Fu et al. | Calibration of multiple fish‐eye cameras using a wand | |
CN112857328B (zh) | 一种无标定摄影测量方法 | |
KR102265081B1 (ko) | 벡터내적과 3차원 좌표변환을 이용한 카메라의 위치 및 자세를 결정하는 시스템 | |
CN111145267A (zh) | 基于imu辅助的360度全景视图多相机标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |