CN111862242A - 光学惯性混合动作捕捉设备的标定系统和方法 - Google Patents

光学惯性混合动作捕捉设备的标定系统和方法 Download PDF

Info

Publication number
CN111862242A
CN111862242A CN202010747511.5A CN202010747511A CN111862242A CN 111862242 A CN111862242 A CN 111862242A CN 202010747511 A CN202010747511 A CN 202010747511A CN 111862242 A CN111862242 A CN 111862242A
Authority
CN
China
Prior art keywords
optical
inertial
calibration
data
dimensional rotating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010747511.5A
Other languages
English (en)
Other versions
CN111862242B (zh
Inventor
郭*
郭
黄永鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zvr Technology Co ltd
Original Assignee
Beijing Zvr Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zvr Technology Co ltd filed Critical Beijing Zvr Technology Co ltd
Priority to CN202010747511.5A priority Critical patent/CN111862242B/zh
Publication of CN111862242A publication Critical patent/CN111862242A/zh
Application granted granted Critical
Publication of CN111862242B publication Critical patent/CN111862242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration

Abstract

本发明提供了光学惯性混合动作捕捉设备的标定系统和方法,包括:惯性传感器用于当二维旋转台旋转位于不同位置,标定本体固定在正六面体治具内的不同面时,采集惯性数据;控制器用于向二维旋转台发送控制指令信息,以使二维旋转台根据控制指令信息进行旋转,并记录二维旋转台的旋转角度;红外动捕相机用于采集光学数据,光学数据包括多个红外灯的光学三维点坐标数据;上位机用于利用旋转角度校准惯性数据,得到误差校正数值;以及根据惯性数据和光学数据,得到旋转矩阵,可以采用二维旋转台进行内参标定和外参标定,使用二维旋转台成本低,占用空间小,且可以实现刚体坐标系与惯性坐标系的统一。

Description

光学惯性混合动作捕捉设备的标定系统和方法
技术领域
本发明涉及数据处理技术领域,尤其是涉及光学惯性混合动作捕捉设备的标定系统和方法。
背景技术
目前,在对光学惯性混合动作捕捉设备进行标定时,采用三维旋转台进行标定,三维旋转台可以对光学惯性混合动作捕捉设备进行内参标定,但是不能进行外参标定,从而无法实现刚体坐标系与惯性坐标系的统一。其中,内参标定是指对光学惯性混合动作捕捉设备内的惯性传感器进行校正;外参标定是指对光学惯性混合动作捕捉设备内的惯性数据和红外动捕相机采集的光学数据进行坐标统一的过程。
三维旋转台虽然可以进行内参标定,但是三维旋转台相比于二维旋转台成本高,且占用空间大。
发明内容
有鉴于此,本发明的目的在于提供光学惯性混合动作捕捉设备的标定系统和方法,可以采用二维旋转台进行内参标定和外参标定,使用二维旋转台成本低,占用空间小,且可以实现刚体坐标系与惯性坐标系的统一。
第一方面,本发明实施例提供了光学惯性混合动作捕捉设备的标定系统,所述系统包括正六面体治具、红外动捕相机、POE交换机、二维旋转台、控制器和上位机,将所述光学惯性混合动作捕捉设备作为标定本体,所述标定本体包括惯性传感器和多个红外灯;
所述标定本体固定在正六面体治具内,所述正六面体治具固定在二维旋转台上,所述惯性传感器与所述上位机相连接,所述控制器与所述二维旋转台相连接,所述红外动捕相机通过所述POE交换机与所述上位机相连接;
所述惯性传感器,用于当所述二维旋转台旋转位于不同位置,所述标定本体固定在所述正六面体治具内的不同面时,采集惯性数据;
所述控制器,用于向所述二维旋转台发送控制指令信息,以使所述二维旋转台根据所述控制指令信息进行旋转,并记录所述二维旋转台的旋转角度;
所述红外动捕相机,用于采集光学数据,所述光学数据包括所述多个红外灯的光学三维点坐标数据;
所述上位机,用于利用所述旋转角度校准所述惯性数据,得到误差校正数值;以及根据所述惯性数据和所述光学数据,得到旋转矩阵。
进一步的,所述旋转角度包括第一旋转角度,所述惯性传感器包括加速计;
所述加速计,用于当所述二维旋转台旋转位于所述不同位置,所述标定本体固定在所述正六面体治具内的不同面时,采集加速度测量值;
所述上位机,用于设定第一方向数值和第一零偏数值,其中,所述第一方向数值、所述第一零偏数值、所述加速度测量值和所述第一旋转角度满足第一预设条件;在所述第一预设条件下,根据所述加速度测量值和所述第一旋转角度得到所述加速计的内参值。
进一步的,所述旋转角度还包括第二旋转角度,所述惯性传感器还包括陀螺仪;
所述陀螺仪,用于当所述二维旋转台旋转位于所述不同位置,所述标定本体固定在所述正六面体治具内的不同面时,采集角速度测量值;
所述上位机,用于设定第二方向数值和第二零偏数值,其中,所述第二方向数值、所述第二零偏数值、所述角速度测量值和所述第二旋转角度满足第二预设条件;在所述第二预设条件下,根据所述角速度测量值和所述第二旋转角度得到所述陀螺仪的内参值。
进一步的,所述上位机,用于在第一状态下,构建光学刚体模板;在第二状态下,将所述光学三维点坐标数据和所述光学刚体模板的坐标数据通过点集匹配算法,得到所述光学三维点坐标数据和所述光学刚体模板的坐标数据的第一旋转向量;在第三状态下,获取所述上位机输出的第二旋转向量,以及根据所述光学三维点坐标数据和所述光学刚体模板的坐标数据,得到第三旋转向量;根据所述第一旋转向量、所述第二旋转向量和所述第三旋转向量,得到所述旋转矩阵;
其中,所述第一状态为构建所述光学刚体模板时的状态,所述第二状态为所述上位机输出的所述第二旋转向量为0的状态,所述第三状态为光学刚体处于任意运动状态,所述多个红外灯构成所述光学刚体。
进一步的,所述上位机,用于在所述第三状态下,获取多组所述第三旋转向量,将多组所述第三旋转向量和所述旋转矩阵的初始值通过LM非线性优化算法,得到优化估计值;其中,所述旋转矩阵的初始值是当所述第一状态时,通过所述惯性传感器的坐标系相对于所述红外动捕相机中房间坐标系的相对方向确定。
进一步的,所述正六面体治具通过多个螺钉或具有旋钮控制的夹子固定在所述二维旋转台上;
所述正六面体治具为空心,所述正六面体治具包括第一侧面和与所述第一侧面相邻并且垂直的第二侧面,所述第一侧面内设置有第一固定夹,所述第二侧面内设置有第二固定夹,所述第一固定夹和所述第二固定夹均用于固定所述标定本体,所述第一侧面的外侧或所述第二侧面的外侧固定所述二维旋转台的插头。
进一步的,当所述正六面体治具的任意侧面内设置有第三固定夹时,至少存在任意两个相邻且垂直的侧面外固定所述二维旋转台的插头;
当所述第一侧面内设置所述第一固定夹,所述第二侧面内设置所述第二固定夹时,所述正六面体治具的任意侧面的外侧固定所述二维旋转台的插头。
第二方面,本发明实施例提供了光学惯性混合动作捕捉设备的标定方法,应用于如上所述的光学惯性混合动作捕捉设备的标定系统,所述光学惯性混合动作捕捉设备的标定包括正六面体治具、红外动捕相机、POE交换机、二维旋转台、控制器和上位机,将所述光学惯性混合动作捕捉设备作为标定本体,所述标定本体包括惯性传感器和多个红外灯;
当所述二维旋转台旋转位于不同位置,所述标定本体固定在所述正六面体治具内的不同面时,通过所述惯性传感器采集惯性数据;
所述控制器向所述二维旋转台发送控制指令信息,以使所述二维旋转台根据所述控制指令信息进行旋转,并记录所述二维旋转台的旋转角度;
通过所述红外动捕相机采集光学数据,所述光学数据包括所述多个红外灯的光学三维点坐标数据;
通过所述上位机利用所述旋转角度校准所述惯性数据,得到误差校正数值;
通过所述上位机根据所述惯性数据和所述光学数据,得到旋转矩阵。
第三方面,本发明实施例提供了电子设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的方法。
第四方面,本发明实施例提供了具有处理器可执行的非易失的程序代码的计算机可读介质,所述程序代码使所述处理器执行如上所述的方法。
本发明实施例提供了光学惯性混合动作捕捉设备的标定系统和方法,包括正六面体治具、红外动捕相机、POE交换机、二维旋转台、控制器和上位机,将所述光学惯性混合动作捕捉设备作为标定本体,标定本体包括惯性传感器和多个红外灯;标定本体固定在正六面体治具内,正六面体治具固定在二维旋转台上,惯性传感器与上位机相连接,控制器与二维旋转台相连接,红外动捕相机通过POE交换机与上位机相连接;惯性传感器用于当二维旋转台旋转位于不同位置,标定本体固定在正六面体治具内的不同面时,采集惯性数据;控制器用于向二维旋转台发送控制指令信息,以使二维旋转台根据控制指令信息进行旋转,并记录二维旋转台的旋转角度;红外动捕相机用于采集光学数据,光学数据包括多个红外灯的光学三维点坐标数据;上位机用于利用旋转角度校准惯性数据,得到误差校正数值;以及根据惯性数据和光学数据,得到旋转矩阵,可以采用二维旋转台进行内参标定和外参标定,使用二维旋转台成本低,占用空间小,且可以实现刚体坐标系与惯性坐标系的统一。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的光学惯性混合动作捕捉设备的标定系统示意图;
图2为本发明实施例一提供的正六面体治具结构示意图;
图3为本发明实施例一提供的通过旋钮固定正六面体治具在二维旋转台的结构示意图;
图4(a)为本发明实施例一提供的房间坐标系示意图;
图4(b)为本发明实施例一提供的00状态的坐标系示意图;
图4(c)为本发明实施例一提供的SS状态的坐标系示意图;
图4(d)为本发明实施例一提供的MT状态的坐标系示意图;
图5为本发明实施例二提供的光学惯性混合动作捕捉设备的标定方法流程图。
图标:
1-正六面体治具;2-红外动捕相机;3-POE交换机;4-二维旋转台;5-控制器;6-上位机;7-惯性传感器;8-红外灯;9-标定本体;10-螺丝孔;11-旋钮。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为便于对本实施例进行理解,下面对本发明实施例进行详细介绍。
实施例一:
图1为本发明实施例一提供的光学惯性混合动作捕捉设备的标定系统示意图。
参照图1,该系统包括:正六面体治具1、红外动捕相机2、POE交换机3、二维旋转台4、控制器5和上位机6,将光学惯性混合动作捕捉设备作为标定本体9,标定本体9包括惯性传感器7和多个红外灯8;
这里,将光学惯性混合动作捕捉设备作为标定本体9,光学惯性混合动作捕捉设备即为标定本体9,标定本体9在标定过程中处于工作状态,标定本体9内部设置有电池,该电池可以为标定本体9供电,并与上位机6通过无线传输的方式进行通信。
标定本体9固定在正六面体治具1内,正六面体治具1固定在二维旋转台4上,惯性传感器7与上位机6相连接,控制器5与二维旋转台4相连接,红外动捕相机2通过POE(PowerOver Ethernet,以太网供电)交换机3与上位机6相连接;
这里,红外动捕相机2与POE交换机3有线连接,POE交换机3和上位机6有线连接,其中,POE交换机3可以为红外动捕相机2供电,也可以将红外动捕相机2采集的光学数据发送给上位机6。二维旋转台4与控制器5有线连接。
惯性传感器7,用于当二维旋转台4旋转位于不同位置,标定本体9固定在正六面体治具1内的不同面时,采集惯性数据;
控制器5,用于向二维旋转台4发送控制指令信息,以使二维旋转台4根据控制指令信息进行旋转,并记录二维旋转台4的旋转角度;
这里,二维旋转台4可以在两个维度上旋转,二维旋转台4在旋转过程中受控制器5的控制,二维旋转台4根据控制器5发出的控制指令信息旋转固定角度,控制器5记录二维旋转台4的旋转角度。
红外动捕相机2,用于采集光学数据,光学数据包括多个红外灯8的光学三维点坐标数据;
上位机6,用于利用旋转角度校准惯性数据,得到误差校正数值;以及根据惯性数据和光学数据,得到旋转矩阵。
进一步的,旋转角度包括第一旋转角度,惯性传感器7包括加速计;
加速计,用于当二维旋转台4旋转位于不同位置,标定本体9固定在正六面体治具1内的不同面时,采集加速度测量值;
上位机6,用于设定第一方向数值和第一零偏数值,其中,第一方向数值、第一零偏数值、加速度测量值和第一旋转角度满足第一预设条件;在第一预设条件下,根据加速度测量值和第一旋转角度得到加速计的内参值。
具体地,标定本体9包括惯性传感器7,惯性传感器7包括加速计,对加速计的标定过程称为内参标定。
零偏为加速计静止时的偏差,静止时的加速计对应的数值为0,但是因为存在一些误差,需要对零偏进行校正。
加速计所在坐标系的三个坐标轴轴向并不一定是完全互相垂直的三个轴向,故需校正。
加速计在二维旋转台4旋转位于不同位置,标定本体9固定在正六面体治具1内的不同面时,采集加速度测量值。例如,标定本体9在状态aA、状态bA、状态bB或状态cB下向上位机6发送加速度测量值。其中,状态aA为二维旋转台4固定于位置a,标定本体9固定在正六面体治具1的A面;状态bA为二维旋转台4固定于位置b,标定本体9固定在正六面体治具1的A面;状态bB为二维旋转台4固定于位置b,标定本体9固定在正六面体治具1的B面;状态cB为二维旋转台4固定于位置c,标定本体9固定在正六面体治具1的B面。
设加速度测量值为D,参照公式(1):
Figure BDA0002607282790000091
设二维旋转台4的旋转角度为E,参照公式(2):
Figure BDA0002607282790000092
将加速计的第一方向数值设定为3×3矩阵,参照公式(3):
Figure BDA0002607282790000093
将加速计的第一零偏数值设定为1×3矩阵,参照公式(4):
Figure BDA0002607282790000094
第一方向数值、第一零偏数值、加速度测量值和第一旋转角度满足第一预设条件,第一预设条件参照公式(5):
Figure BDA0002607282790000095
加速度测量值和二维旋转台4的旋转角度为已知,为了求解上述其他未知参数,针对每种状态获得一组加速度测量值和二维旋转台4的旋转角度,将四组加速度测量值和二维旋转台4的旋转角度代入公式(5),即可求出上述未知参数,上述未知参数,即为误差校正数值,也是加速计的内参值。另外,还可以采集多组加速度测量值和二维旋转台4的旋转角度,获取平均值,以实现优化的目的。
进一步的,旋转角度还包括第二旋转角度,惯性传感器7还包括陀螺仪;
陀螺仪,用于当二维旋转台4旋转位于不同位置,标定本体9固定在正六面体治具1内的不同面时,采集角速度测量值;
上位机6,用于设定第二方向数值和第二零偏数值,其中,第二方向数值、第二零偏数值、角速度测量值和第二旋转角度满足第二预设条件;在第二预设条件下,根据角速度测量值和第二旋转角度得到陀螺仪的内参值。
零偏是陀螺仪静止时的偏差;陀螺仪所在坐标系的三个坐标轴轴向并不一定是完全互相垂直的三个轴向,故需要进行校准。
陀螺仪在二维旋转台4旋转位于不同位置,标定本体9固定在正六面体治具1内的不同面时,采集角速度测量值。例如,标定本体9在状态aA、状态bA、状态bB或状态cB下向上位机6发送加速度测量值。其中,状态aA为二维旋转台4固定于位置a,标定本体9固定在正六面体治具1的A面;状态bA为二维旋转台4固定于位置b,标定本体9固定在正六面体治具1的A面;状态bB为二维旋转台4固定于位置b,标定本体9固定在正六面体治具1的B面;状态cB为二维旋转台4固定于位置c,标定本体9固定在正六面体治具1的B面。
在第二预设条件下,根据角速度测量值和第二旋转角度得到陀螺仪的内参值。陀螺仪的内参值的计算过程与加速计的内参值的计算过程类似,在此不作赘述。为了提高校准的精确度,可以采集多组角速度测量值和第二旋转角度进行优化计算。
进一步的,正六面体治具1通过多个螺钉或具有旋钮控制的夹子固定在二维旋转台4上;
正六面体治具1为空心,正六面体治具1包括第一侧面和与第一侧面相邻并且垂直的第二侧面,第一侧面内设置有第一固定夹,第二侧面内设置有第二固定夹,第一固定夹和第二固定夹均用于固定标定本体9,第一侧面的外侧或第二侧面的外侧固定二维旋转台4的插头。
进一步的,当正六面体治具1的任意侧面内设置有第三固定夹时,至少存在任意两个相邻且垂直的侧面外固定二维旋转台4的插头;
当第一侧面内设置第一固定夹,第二侧面内设置第二固定夹时,正六面体治具1的任意侧面的外侧固定二维旋转台4的插头。
具体地,参照图2,正六面体治具1为空心,正六面体治具1的侧面设置有多个螺丝孔10,螺丝孔10的数量为6个,通过上面两个螺丝孔10和下面两个螺丝孔10将正六面体治具1固定在二维旋转台4上,其中,二维旋转台4也有相对应的四个螺丝孔,通过螺钉固定即可。
参照图3,通过旋钮11将正六面体治具1固定在二维旋转台4上。当旋转旋钮11时,可以推近B点到C点的距离,此时,将正六面体治具1固定在B点和C点之间;当反向旋转旋钮11时,可以拉远B点和C点的距离。
对标定本体9内的惯性数据和光学数据之间的坐标系统一的过程称为外参标定过程。
刚体是指在运动中和受力作用后,形状和大小不变,并且内部各点的相对位置不变的物体。一个刚体在三维空间中的状态描述称为刚体位姿,刚体位姿包括刚体位置和刚体姿态,其中,刚体位置对应平移量,刚体姿态对应旋转量。
当外参标定时,需要设定三种状态,即第一状态、第二状态和第三状态。其中,IMU(Inertial measurement unit,惯性测量单元)为惯性传感器7。
参照图4(b),第一状态为00状态,是系统在人为控制或设定下,建立光学刚体模板时对应的状态。所有的红外灯8在空间上组成一个光学刚体,建立光学刚体模板的过程为:选定的多个红外灯8在红外动捕相机2下全部处于可见的静止状态(00状态),记录当前状态下所有红外灯8的三维点坐标。设定光学刚体的状态为零位移和零旋转,其中,零位移是指输出三维平移量为0,零旋转是指输出三维旋转量为单位矩阵。
第二状态为SS(Start-Static)状态,参照图4(c),是系统在人为控制或设定下,将上位机6输出的第二旋转向量重置为0,即三维旋转向量重新开始积分的一个静止状态。
IMU内部的陀螺仪输出三轴方向的角速度测量数据,在上位机6中,对角速度测量数据进行积分计算,得到IMU在x、y、z三轴方向的角度变化量,即IMU的三维旋转向量。在SS状态下,IMU输出的三维旋转向量为零旋转(单位矩阵)。
第三状态为MT(Motion)状态,参照图4(d),MT状态为刚体的任意一个运动状态。在MT状态下,红外动捕相机2要有光学数据输出,IMU要有惯性数据输出。
当外参标定时,参照图4(a),设定房间坐标系{FRoom}。房间坐标系是红外动捕相机2完成标定时确定的坐标系。
00状态时的光学刚体坐标系为{FRGB00}。当标定本体9进入红外动捕相机2的场景时,人为控制完成建立光学模板刚体这一过程时,附着在该系统的标定本体9上的一个坐标系。
该坐标系的原点一般设为所有光学点中心点(或加上一个平移量),轴向与房间坐标系轴向重合,通常有{FRGB00}={FRoom},或两个坐标系间相差一个平移量。
{FIMU00}为00状态时的IMU坐标系;{FRGBSS}为SS状态时的光学刚体坐标系;
Figure BDA0002607282790000121
表示由{FRGB00}到{FRGBSS}的坐标系映射变换,可以由Goku光学数据直接得到。
{FIMUSS}为SS状态时的IMU坐标系。在上位机6中,对IMU输出的三维旋转向量开始进行积分,输出得到相对旋转向量。
{FRGBMT}为MT状态时的光学刚体坐标系。认为是由附着在标定本体9上的{FRGB00}经变换得到。
Figure BDA0002607282790000131
表示由{FRGB00}到{FRGBMT}的坐标系映射变换。由红外动捕相机2输出的刚体数据得到。
{FIMUMT}为MT状态时的IMU坐标系。此时IMU的陀螺仪已经积分了一段时间。
Figure BDA0002607282790000132
表示由{FIMUSS}到{FIMUMT}的坐标系映射变换。即为在上位机6中,对IMU的三维旋转向量进行积分,输出得到第二旋转向量。
由于红外灯8和惯性传感器7(IMU)是绑定在标定本体9上的,所以参照公式(6):
Figure BDA0002607282790000133
某一时刻的光学刚体坐标系和IMU器件坐标系间的映射变换关系,称为系统外参。对于一个固定安装来说,需要确定旋转量和平移量,将旋转量和平移量作为计算前标定好的参数。系统外参需要标定,才可以保证红外动捕相机2的光学数据和惯性传感器7的惯性数据的互相转化和统一,进一步拟合出一个融合后更理想的位姿结果。需要说明的是,在外参标定过程中,只需要标定旋转量,即旋转矩阵R0即可。在实际操作中,上位机6利用IMU输出的三轴加速度经过二次积分计算,得到的三维平移向量并不准确,因此不能标定外参中的平移向量。
进一步的,上位机6,用于在第一状态下,构建光学刚体模板;在第二状态下,将光学三维点坐标数据和光学刚体模板的坐标数据通过点集匹配算法,得到光学三维点坐标数据和光学刚体模板的坐标数据的第一旋转向量;在第三状态下,获取上位机6输出的第二旋转向量,以及根据光学三维点坐标数据和光学刚体模板的坐标数据,得到第三旋转向量;根据第一旋转向量、第二旋转向量和第三旋转向量,得到旋转矩阵;
其中,第一状态为构建光学刚体模板时的状态,第二状态为上位机6输出的第二旋转向量为0的状态,第三状态为光学刚体处于任意运动状态,多个红外灯构成光学刚体。
具体地,在建立光学刚体模板的过程中,将内参标定完成的标定本体9放在红外动捕相机2的可视范围内,确保所有红外灯8在红外动捕相机2的三维坐标下可见无遮挡,将{FIMU00}摆放在与房间坐标系{FRoom}映射变换已知的初始状态。当把{FIMU00}坐标系的X轴与房间坐标系{FRoom}的X轴重合,{FIMU00}坐标系的Y轴与房间坐标系{FRoom}的Z轴在一条直线上时,此时对应的旋转矩阵R0的初始值
Figure BDA0002607282790000141
即为一个绕X轴旋转90度的旋转变换矩阵。
在SS状态下,将光学三维点坐标数据和光学刚体模板的坐标数据通过点集匹配算法,得到光学三维点坐标数据和光学刚体模板的坐标数据的映射变换关系,即第一旋转向量
Figure BDA0002607282790000142
在MT状态下,获取上位机6输出的第二旋转向量
Figure BDA0002607282790000143
以及根据光学三维点坐标数据和光学刚体模板的坐标数据,得到第三旋转向量
Figure BDA0002607282790000144
因此,根据光学数据和惯性数据可以获取不同位置、不同姿态下的M组数据。
对于光学数据,参照公式(7):
Figure BDA0002607282790000145
对于惯性数据,参照公式(8):
Figure BDA0002607282790000146
从而可以得到公式(9):
Figure BDA0002607282790000147
此时,旋转矩阵R0未知,通过公式(9)可以得到旋转矩阵R0。而旋转矩阵的初始值
Figure BDA0002607282790000148
已知。另外,旋转矩阵R0的代价函数参照公式(10):
Figure BDA0002607282790000151
其中,J(R0)为代价函数。
进一步的,上位机6,用于在第三状态下,获取多组第三旋转向量,将多组第三旋转向量和旋转矩阵的初始值通过LM非线性优化算法,得到优化估计值;其中,旋转矩阵的初始值
Figure BDA0002607282790000152
是当第一状态时,通过惯性传感器的坐标系相对于红外动捕相机中房间坐标系的相对方向确定。
具体地,获取多组第三旋转向量
Figure BDA0002607282790000153
结合初始值
Figure BDA0002607282790000154
利用LM(Levenberg-Marquard)非线性优化算法,计算优化估计值
Figure BDA0002607282790000155
实施例二:
图5为本发明实施例二提供的光学惯性混合动作捕捉设备的标定方法流程图。
参照图5,应用于如上所述的光学惯性混合动作捕捉设备的标定系统,光学惯性混合动作捕捉设备的标定包括正六面体治具、红外动捕相机、POE交换机、二维旋转台、控制器和上位机,将光学惯性混合动作捕捉设备作为标定本体,标定本体包括惯性传感器和多个红外灯;该方法包括以下步骤:
步骤S101,当二维旋转台旋转位于不同位置,标定本体固定在正六面体治具内的不同面时,通过惯性传感器采集惯性数据;
步骤S102,控制器向二维旋转台发送控制指令信息,以使二维旋转台根据控制指令信息进行旋转,并记录二维旋转台的旋转角度;
步骤S103,通过红外动捕相机采集光学数据,光学数据包括多个红外灯的光学三维点坐标数据;
步骤S104,通过上位机利用旋转角度校准惯性数据,得到误差校正数值;
步骤S105,通过上位机根据惯性数据和光学数据,得到旋转矩阵。
本发明实施例提供了光学惯性混合动作捕捉设备的标定方法,包括:当二维旋转台旋转位于不同位置,标定本体固定在正六面体治具内的不同面时,通过惯性传感器采集惯性数据;控制器向二维旋转台发送控制指令信息,以使二维旋转台根据控制指令信息进行旋转,并记录二维旋转台的旋转角度;通过红外动捕相机采集光学数据,光学数据包括多个红外灯的光学三维点坐标数据;通过上位机利用旋转角度校准惯性数据,得到误差校正数值;通过上位机根据惯性数据和光学数据,得到旋转矩阵,可以采用二维旋转台进行内参标定和外参标定,使用二维旋转台成本低,占用空间小,且可以实现刚体坐标系与惯性坐标系的统一。
本发明实施例还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例提供的光学惯性混合动作捕捉设备的标定方法的步骤。
本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质,计算机可读介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例的光学惯性混合动作捕捉设备的标定方法的步骤。
本发明实施例所提供的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种光学惯性混合动作捕捉设备的标定系统,其特征在于,所述系统包括正六面体治具、红外动捕相机、POE交换机、二维旋转台、控制器和上位机,将所述光学惯性混合动作捕捉设备作为标定本体,所述标定本体包括惯性传感器和多个红外灯;
所述标定本体固定在正六面体治具内,所述正六面体治具固定在二维旋转台上,所述惯性传感器与所述上位机相连接,所述控制器与所述二维旋转台相连接,所述红外动捕相机通过所述POE交换机与所述上位机相连接;
所述惯性传感器,用于当所述二维旋转台旋转位于不同位置,所述标定本体固定在所述正六面体治具内的不同面时,采集惯性数据;
所述控制器,用于向所述二维旋转台发送控制指令信息,以使所述二维旋转台根据所述控制指令信息进行旋转,并记录所述二维旋转台的旋转角度;
所述红外动捕相机,用于采集光学数据,所述光学数据包括所述多个红外灯的光学三维点坐标数据;
所述上位机,用于利用所述旋转角度校准所述惯性数据,得到误差校正数值;以及根据所述惯性数据和所述光学数据,得到旋转矩阵。
2.根据权利要求1所述的光学惯性混合动作捕捉设备的标定系统,其特征在于,所述旋转角度包括第一旋转角度,所述惯性传感器包括加速计;
所述加速计,用于当所述二维旋转台旋转位于所述不同位置,所述标定本体固定在所述正六面体治具内的不同面时,采集加速度测量值;
所述上位机,用于设定第一方向数值和第一零偏数值,其中,所述第一方向数值、所述第一零偏数值、所述加速度测量值和所述第一旋转角度满足第一预设条件;在所述第一预设条件下,根据所述加速度测量值和所述第一旋转角度得到所述加速计的内参值。
3.根据权利要求1所述的光学惯性混合动作捕捉设备的标定系统,其特征在于,所述旋转角度还包括第二旋转角度,所述惯性传感器还包括陀螺仪;
所述陀螺仪,用于当所述二维旋转台旋转位于所述不同位置,所述标定本体固定在所述正六面体治具内的不同面时,采集角速度测量值;
所述上位机,用于设定第二方向数值和第二零偏数值,其中,所述第二方向数值、所述第二零偏数值、所述角速度测量值和所述第二旋转角度满足第二预设条件;在所述第二预设条件下,根据所述角速度测量值和所述第二旋转角度得到所述陀螺仪的内参值。
4.根据权利要求1所述的光学惯性混合动作捕捉设备的标定系统,其特征在于,所述上位机,用于在第一状态下,构建光学刚体模板;在第二状态下,将所述光学三维点坐标数据和所述光学刚体模板的坐标数据通过点集匹配算法,得到所述光学三维点坐标数据和所述光学刚体模板的坐标数据的第一旋转向量;在第三状态下,获取所述上位机输出的第二旋转向量,以及根据所述光学三维点坐标数据和所述光学刚体模板的坐标数据,得到第三旋转向量;根据所述第一旋转向量、所述第二旋转向量和所述第三旋转向量,得到所述旋转矩阵;
其中,所述第一状态为构建所述光学刚体模板时的状态,所述第二状态为所述上位机输出的所述第二旋转向量为0的状态,所述第三状态为光学刚体处于任意运动状态,所述多个红外灯构成所述光学刚体。
5.根据权利要求4所述的光学惯性混合动作捕捉设备的标定系统,其特征在于,所述上位机,用于在所述第三状态下,获取多组所述第三旋转向量,将多组所述第三旋转向量和所述旋转矩阵的初始值通过LM非线性优化算法,得到优化估计值;其中,所述旋转矩阵的初始值是当所述第一状态时,通过所述惯性传感器的坐标系相对于所述红外动捕相机中房间坐标系的相对方向确定。
6.根据权利要求1所述的光学惯性混合动作捕捉设备的标定系统,其特征在于,所述正六面体治具通过多个螺钉或具有旋钮控制的夹子固定在所述二维旋转台上;
所述正六面体治具为空心,所述正六面体治具包括第一侧面和与所述第一侧面相邻并且垂直的第二侧面,所述第一侧面内设置有第一固定夹,所述第二侧面内设置有第二固定夹,所述第一固定夹和所述第二固定夹均用于固定所述标定本体,所述第一侧面的外侧或所述第二侧面的外侧固定所述二维旋转台的插头。
7.根据权利要求6所述的光学惯性混合动作捕捉设备的标定系统,其特征在于,当所述正六面体治具的任意侧面内设置有第三固定夹时,至少存在任意两个相邻且垂直的侧面外固定所述二维旋转台的插头;
当所述第一侧面内设置所述第一固定夹,所述第二侧面内设置所述第二固定夹时,所述正六面体治具的任意侧面的外侧固定所述二维旋转台的插头。
8.一种光学惯性混合动作捕捉设备的标定方法,其特征在于,应用于权利要求1至7任一项所述的光学惯性混合动作捕捉设备的标定系统,所述光学惯性混合动作捕捉设备的标定包括正六面体治具、红外动捕相机、POE交换机、二维旋转台、控制器和上位机,将所述光学惯性混合动作捕捉设备作为标定本体,所述标定本体包括惯性传感器和多个红外灯;
当所述二维旋转台旋转位于不同位置,所述标定本体固定在所述正六面体治具内的不同面时,通过所述惯性传感器采集惯性数据;
所述控制器向所述二维旋转台发送控制指令信息,以使所述二维旋转台根据所述控制指令信息进行旋转,并记录所述二维旋转台的旋转角度;
通过所述红外动捕相机采集光学数据,所述光学数据包括所述多个红外灯的光学三维点坐标数据;
通过所述上位机利用所述旋转角度校准所述惯性数据,得到误差校正数值;
通过所述上位机根据所述惯性数据和所述光学数据,得到旋转矩阵。
9.一种电子设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求8所述的方法。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质,其特征在于,所述程序代码使所述处理器执行所述权利要求8所述的方法。
CN202010747511.5A 2020-07-29 2020-07-29 光学惯性混合动作捕捉设备的标定系统和方法 Active CN111862242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010747511.5A CN111862242B (zh) 2020-07-29 2020-07-29 光学惯性混合动作捕捉设备的标定系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010747511.5A CN111862242B (zh) 2020-07-29 2020-07-29 光学惯性混合动作捕捉设备的标定系统和方法

Publications (2)

Publication Number Publication Date
CN111862242A true CN111862242A (zh) 2020-10-30
CN111862242B CN111862242B (zh) 2023-11-03

Family

ID=72945683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010747511.5A Active CN111862242B (zh) 2020-07-29 2020-07-29 光学惯性混合动作捕捉设备的标定系统和方法

Country Status (1)

Country Link
CN (1) CN111862242B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112781589A (zh) * 2021-01-05 2021-05-11 北京诺亦腾科技有限公司 一种基于光学数据和惯性数据的位置追踪设备及方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245593A1 (en) * 2009-03-27 2010-09-30 Electronics And Telecommunications Research Institute Apparatus and method for calibrating images between cameras
CN103278177A (zh) * 2013-04-27 2013-09-04 中国人民解放军国防科学技术大学 基于摄像组网测量的惯性测量组合标定方法
CN104021554A (zh) * 2014-04-23 2014-09-03 北京大学深圳研究生院 基于部分传感器信息的相机-惯性传感器标定方法
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
CN104834917A (zh) * 2015-05-20 2015-08-12 北京诺亦腾科技有限公司 一种混合运动捕捉系统及方法
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
CN105823784A (zh) * 2016-05-06 2016-08-03 杭州沃镭智能科技股份有限公司 卡钳内沟槽缺陷快速检测装置
CN109814126A (zh) * 2018-12-29 2019-05-28 北京农业信息技术研究中心 一种移动式平面激光雷达植物形态测量装置
CN110208795A (zh) * 2019-06-13 2019-09-06 成都汇蓉国科微系统技术有限公司 一种移动平台高精度低慢小目标探测识别系统及方法
CN209364470U (zh) * 2019-01-02 2019-09-10 深圳市奥科立自动化有限公司 多功能旋转治具
US20190279399A1 (en) * 2018-03-08 2019-09-12 Toshiba Tec Kabushiki Kaisha Coordinate calibration between two dimensional coordinate system and three dimensional coordinate system
CN110393533A (zh) * 2019-07-25 2019-11-01 森博迪(深圳)科技有限公司 一种结合惯性和红外的穿戴式动作捕捉系统及其方法
CN110544278A (zh) * 2018-05-29 2019-12-06 杭州海康机器人技术有限公司 刚体运动捕捉方法及装置、agv位姿捕捉系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245593A1 (en) * 2009-03-27 2010-09-30 Electronics And Telecommunications Research Institute Apparatus and method for calibrating images between cameras
CN103278177A (zh) * 2013-04-27 2013-09-04 中国人民解放军国防科学技术大学 基于摄像组网测量的惯性测量组合标定方法
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
CN104021554A (zh) * 2014-04-23 2014-09-03 北京大学深圳研究生院 基于部分传感器信息的相机-惯性传感器标定方法
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
CN104834917A (zh) * 2015-05-20 2015-08-12 北京诺亦腾科技有限公司 一种混合运动捕捉系统及方法
CN105823784A (zh) * 2016-05-06 2016-08-03 杭州沃镭智能科技股份有限公司 卡钳内沟槽缺陷快速检测装置
US20190279399A1 (en) * 2018-03-08 2019-09-12 Toshiba Tec Kabushiki Kaisha Coordinate calibration between two dimensional coordinate system and three dimensional coordinate system
CN110544278A (zh) * 2018-05-29 2019-12-06 杭州海康机器人技术有限公司 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN109814126A (zh) * 2018-12-29 2019-05-28 北京农业信息技术研究中心 一种移动式平面激光雷达植物形态测量装置
CN209364470U (zh) * 2019-01-02 2019-09-10 深圳市奥科立自动化有限公司 多功能旋转治具
CN110208795A (zh) * 2019-06-13 2019-09-06 成都汇蓉国科微系统技术有限公司 一种移动平台高精度低慢小目标探测识别系统及方法
CN110393533A (zh) * 2019-07-25 2019-11-01 森博迪(深圳)科技有限公司 一种结合惯性和红外的穿戴式动作捕捉系统及其方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JIAN ZHOU等: "A novel laser Doppler velocimeter and its integrated navigation system with strapdown inertial navigation", 《OPTICS&LASERTECHNOLOGY》, vol. 64, pages 319 - 323, XP029038323, DOI: 10.1016/j.optlastec.2014.06.001 *
张瑒等: "基于RGB-D摄像机与IMU数据融合的动作捕捉系统", 《系统仿真学报》, vol. 27, no. 10, pages 2582 - 2588 *
张雅琴: "相位辅助三维测量系统标定关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 7, pages 138 - 919 *
汪俊: "基于惯性传感器的动作捕捉系统研究与设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 9, pages 138 - 1557 *
赵萌萌: "空间六自由度对接中机器视觉技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 3, pages 138 - 1357 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112781589A (zh) * 2021-01-05 2021-05-11 北京诺亦腾科技有限公司 一种基于光学数据和惯性数据的位置追踪设备及方法
CN112781589B (zh) * 2021-01-05 2021-12-28 北京诺亦腾科技有限公司 一种基于光学数据和惯性数据的位置追踪设备及方法

Also Published As

Publication number Publication date
CN111862242B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN109910016B (zh) 基于多自由度机械臂的视觉采集标定方法、装置及系统
CN113532311B (zh) 点云拼接方法、装置、设备和存储设备
CN104842352B (zh) 利用了视觉反馈的机器人系统
KR20210084622A (ko) 시간 동기화 처리 방법, 전자 기기 및 저장 매체
CN108318027B (zh) 载体的姿态数据的确定方法和装置
CN114216456B (zh) 一种基于imu与机器人本体参数融合的姿态测量方法
CN113870366B (zh) 基于位姿传感器的三维扫描系统的标定方法及其标定系统
JP2022500793A (ja) 多自由度可動視覚システムのキャリブレーション方法
CN111862242A (zh) 光学惯性混合动作捕捉设备的标定系统和方法
CN115439633A (zh) 标定方法、装置和电子设备
CN112229323A (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN113436267B (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
CN107492124B (zh) 鱼眼摄像头的平面标定装置
CN111932637B (zh) 一种车身相机外参自适应标定方法和装置
CN110991085B (zh) 一种机器人图像仿真数据的构建方法、介质、终端和装置
CN112631200A (zh) 一种机床轴线测量方法以及装置
Zhang et al. Monocular visual-inertial and robotic-arm calibration in a unifying framework
CN116652970A (zh) 一种四轴机械臂2d手眼标定方法及系统、存储介质
CN114516051B (zh) 三个及以上自由度机器人视觉测量的前方交会方法及系统
CN110954081A (zh) 一种磁罗盘快速校准装置及方法
CN114894116B (zh) 一种测量数据融合方法及非接触式测量设备
CN109451216A (zh) 一种拍摄照片的显示处理方法和装置
WO2022205207A1 (zh) 云台及其构型识别方法、装置
WO2019148431A1 (zh) 多关节机构标定的方法、装置和计算机系统
CN113566709A (zh) 一种结构光测量系统的标定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OR01 Other related matters
OR01 Other related matters