CN117745834A - 相机标定方法、系统、设备、介质及产品 - Google Patents
相机标定方法、系统、设备、介质及产品 Download PDFInfo
- Publication number
- CN117745834A CN117745834A CN202211112278.9A CN202211112278A CN117745834A CN 117745834 A CN117745834 A CN 117745834A CN 202211112278 A CN202211112278 A CN 202211112278A CN 117745834 A CN117745834 A CN 117745834A
- Authority
- CN
- China
- Prior art keywords
- camera
- measurement sensor
- image data
- calibration
- inertial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005259 measurement Methods 0.000 claims abstract description 230
- 238000006243 chemical reaction Methods 0.000 claims description 122
- 230000006698 induction Effects 0.000 claims description 31
- 230000001133 acceleration Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 8
- 230000001934 delay Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开实施例提供一种相机标定方法、系统、设备、介质及产品。该方法包括:接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据;利用相机采集的图像数据和惯性量测传感器采集的惯性数据,确定相机和惯性量测传感器之间的位置标定关系,以获取多个相机分别与惯性量测传感器对应的位置标定关系;利用多个相机分别与惯性量测传感器之间的位置标定关系,确定多个相机对应的位置标定结果。解决了同一待标定设备上的多个相机标定效率较低的问题。
Description
技术领域
本公开实施例涉及计算机技术领域,尤其涉及一种相机标定方法、系统、设备、介质及产品。
背景技术
随着科技的迅速发展,待标定设备的种类日益丰富,例如,VR(Virtual Reality,虚拟现实)设备、手机等。通常,为了提高拍摄的图像或者视频的质量,可以在一个待标定设备中设置多个相机。每个相机可以采集图像或视频,然后在将图像或视频进行合成或者综合处理。
通常,为了将同一待标定设备中多个相机分别采集的数据进行合成,需要确定两两相机之间的位置对应关系,这种位置对应关系的确定过程可以称为相机标定。目前,相机的标定方式一般是多个相机两两标定,需要两两相机分别采集的数据进行位置差异计算,导致相机标定的方式较为复杂,效率较低。
发明内容
本公开实施例提供一种相机标定方法、系统、设备、介质及产品,以克服同一待标定设备的多个相机标定的方式较为复杂,效率较低的问题。
第一方面,本公开实施例提供一种相机标定方法,包括:
接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据;
利用所述相机采集的图像数据和所述惯性量测传感器采集的惯性数据,确定所述相机和所述惯性量测传感器之间的位置标定关系,以获取多个所述相机分别与所述惯性量测传感器对应的位置标定关系;
利用多个所述相机分别与所述惯性量测传感器之间的位置标定关系,确定多个所述相机对应的位置标定结果。
第二方面,提供一种相机标定系统,包括:接收器、处理器和标定数据采集结构,所述标定数据采集结构包括:多边形标定板拼接形成的开放球体、从所述开放球体的开放区域进入所述开放球体内的机械臂以及设置于所述机械臂第一端上的待标定设备;所述待标定设备在所述开放性球体内;
所述待标定设备上设置有多个相机和惯性量测传感器;所述机械臂的第二端控制所述待标定设备在所述开放球体中按照目标运动模式运动时,所述待标定设备将多个相机分别采集的图像数据和所述惯性量测传感器采集的惯性数据传输至所述接收器;
所述接收器用于:接收所述待标定设备发送的多个所述相机分别采集的图像数据和所述惯性量测传感器采集的惯性数据;
所述处理器用于:利用所述相机采集的图像数据和所述惯性量测传感器采集的惯性数据,确定所述相机和所述惯性量测传感器之间的位置标定关系,以获取多个所述相机分别与所述惯性量测传感器对应的位置标定关系;
利用多个所述相机分别与所述惯性量测传感器之间的位置标定关系,确定多个所述相机对应的位置标定结果。
第三方面,提供一种电子设备,包括处理器及存储器;所述电子设备与标定数据采集系统的接收器建立通信连接;所述标定数据采集结构包括:多边形标定板拼接形成的开放球体、从所述开放球体的开放区域进入所述开放球体内的机械臂以及设置于所述机械臂第一端上的待标定设备;所述待标定设备在所述开放性球体内;
所述待标定设备上设置有多个相机和惯性量测传感器;所述机械臂的第二端控制所述待标定设备在所述开放球体中按照目标运动模式运动时,所述待标定设备将多个相机分别采集的图像数据和所述惯性量测传感器采集的惯性数据传输至所述接收器;所述接收器用于:接收所述待标定设备发送的多个所述相机分别采集的图像数据和所述惯性量测传感器采集的惯性数据;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,用以执行第一方面以及第一方面各种可能的相机标定方法。
第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的相机标定方法。
第五方面,本公开实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的相机标定方法。
本实施例中,待标定设备可以在标定数据采集结构中运动,以利用多个相机分别采集图像数据利用惯性量测传感器采集惯性数据。接收器接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据。处理器可以利用多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据,对多个相机分别与惯性量测传感器进行位置标定,可以获得多个相机分别与惯性量测传感器之间的位置标定关系,从而确定多个相机对应的位置标定结果。通过以惯性量测传感器可以对待标定设备中的多个相机进行分别标定,实现一次数据采集即完成多个相机的联合标定,提高同一待标定设备中的多个相机的标定效率。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种相机标定系统的一个结构示意图;
图2为本公开实施例提供的一种相机标定方法的一个实施例的流程图;
图3为本公开实施例提供的一种相机标定方法的又一个实施例的流程图;
图4为本公开实施例提供的一种相机标定方法的又一个实施例的流程图;
图5为本公开实施例提供的一种电子设备的一个实施例的结构示意图;
图6为本公开实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
本公开的技术方案可以应用于同一待标定设备的多个相机的联合标定场景中,采用待标定设备中的惯性量测传感器分别对多个相机进行标定,可以实现多个相机的同时标定,获得准确的标定结果,提高标定效率。
相关技术中,同一待标定设备上可能配置有多个相机,每个相机均可以用于采集图像数据。一般而言,在同一待标定设备上设置多个相机,可以使用多个相机分别采集的图像数据进行图像或者视频的合成,以获得更清晰的图像。为了对多个相机分别采集的图像数据进行管理,一般需要确定两两相机之间的坐标转换关系,完成相机的两两标定。目前,一般是分别采集两个相机之间的位姿,并利用两个相机各自的位姿进行计算,获得两个相机的准确标定。这就需要对两两相机分别进行标定,导致同一待标定设备中的多个相机的标定效率较低。
为了解决上述技术问题,发明人想到是否可以从待标定设备本身入手,直接为多个相机设置一个参照物,然后计算参照物和每个相机之间的位置标定,这样通过一次数据采集即可以完成多个相机的同时标定,提高标定效率。而待标定设备中通常会设置惯性量测传感器,一般而言,惯性量测传感器是一种感应系统,可以感应待标定设备的运动姿态,因此,惯性量测传感器可以作为待标定设备的多个相机的参照物,对多个相机进行标定。同时,为了提高相机对待标定设备的位姿检测效果,可以设置有定位点的待标定设备。
本公开的实施例中,提供一种相机标定方法、系统、设备、介质及产品。待标定设备可以在标定数据采集结构中运动,以利用多个相机分别采集图像数据利用惯性量测传感器采集惯性数据。接收器接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据。处理器可以利用多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据,对多个相机分别与惯性量测传感器进行位置标定,可以获得多个相机分别与惯性量测传感器之间的位置标定关系,从而确定多个相机对应的位置标定结果。通过以惯性量测传感器可以对待标定设备中的多个相机进行分别标定,实现一次数据采集即完成多个相机的联合标定,提高同一待标定设备中的多个相机的标定效率。
下面将以具体实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面几个具体实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图对本发明的实施例进行详细描述。
图1是本公开实施例提供的一种相机标定系统的一个结构示意图。该系统可以包括:接收器1、处理器2和标定数据采集结构3,标定数据采集结构3可以包括:多边形标定板拼接形成的开放球体31、从开放性球体的开放区域进入开放球体31内的机械臂32以及设置于机械臂一端上的待标定设备33;待标定设备在开放性球体31内。
待标定设备33上可以设置有多个相机331和惯性量测传感器332;机械臂32的另一端(图中未示出)控制待标定设备33在开放球体31中按照目标运动模式运动时,待标定设备33将多个相机331分别采集的图像数据和惯性量测传感器332采集的惯性数据传输至处理器。
接收器1用于:接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据。
处理器2用于:利用相机采集的图像数据和惯性量测传感器采集的惯性数据,确定相机和惯性量测传感器之间的位置标定关系,以获取多个相机分别与惯性量测传感器对应的位置标定关系;
处理器2还用于:利用多个相机分别与惯性量测传感器之间的位置标定关系,确定多个相机对应的位置标定结果。
可选地,多边形标定板可以包括六边形标定板。开放球体可以指具有开发性区域的圆弧,使得机械臂能够携带待标定设备进入到开放性的球体内。多变形标定板上可以设置有定位图片,该定位图片例如可以是通过Apriltag(标志识别)图案打印获得的照片。
其中,该待标定设备33可以为手机、平板电脑、智能家电、可穿戴设备等终端设备,本公中对待标定设备的具体类型并不作出过多限定。在实际应用中处理器2可以为云服务器、个人计算机、超级个人计算机等设备,本公中对处理器2的具体类型并不作出过多限定。
本公开实施例中,相机标定系统可以包括接收器、处理器和标定数据采集结构。待标定设备可以在标定数据采集结构中运动,以利用多个相机分别采集图像数据利用惯性量测传感器采集惯性数据。接收器接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据。处理器可以利用多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据,对多个相机分别与惯性量测传感器进行位置标定,可以获得多个相机分别与惯性量测传感器之间的位置标定关系,从而确定多个相机对应的位置标定结果。通过以惯性量测传感器可以对待标定设备中的多个相机进行分别标定,实现一次数据采集即完成多个相机的联合标定,提高同一待标定设备中的多个相机的标定效率。
本公开的相机标定系统的处理器可以执行下述相机标定方法,关于各相机标定系统各步骤的具体实现方式在此不再赘述。
如图2所示,为本公开实施例提供的一种相机标定方法的一个实施例的流程图,相机标定方法可以应用于上述图1-图3等实施例中任一项的相机标定系统,相机标定方法可以包括下列几个步骤:
201:接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据。
202:利用相机采集的图像数据和惯性量测传感器采集的惯性数据,确定相机和惯性量测传感器之间的位置标定关系,以获取多个相机分别与惯性量测传感器对应的位置标定关系。
203:利用多个相机分别与惯性量测传感器之间的位置标定关系,确定多个相机对应的位置标定结果。
本公开实施例中,相机标定系统可以包括接收器、处理器和标定数据采集结构。待标定设备可以在标定数据采集结构中运动,以利用多个相机分别采集图像数据利用惯性量测传感器采集惯性数据。接收器接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据。处理器可以利用多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据,对多个相机分别与惯性量测传感器进行位置标定,可以获得多个相机分别与惯性量测传感器之间的位置标定关系,从而确定多个相机对应的位置标定结果。通过以惯性量测传感器可以对待标定设备中的多个相机进行分别标定,实现一次数据采集即完成多个相机的联合标定,提高同一待标定设备中的多个相机的标定效率。
作为一个实施例,相机采集的图像数据和惯性量测传感器采集的惯性数据的采集时间相同;在利用相机采集的图像数据和惯性量测传感器采集的惯性数据,确定相机和惯性量测传感器之间的位置标定关系,可以包括:
利用相机采集的图像数据和惯性量测传感器采集的惯性数据,对相机的相机坐标系和惯性量测传感器的感应坐标系之间的坐标转换信息进行解算,获得相机和惯性量测传感器之间的位置标定关系。
多个相机可以分别采集图像数据,每个相机的图像数据均可以与惯性量测传感器进行坐标转换信息的计算,实现每个相机和惯性量测传感器之间的位置标定。
本公开实施例中,通过对相机的相机坐标系和惯性量测传感器的感应坐标系之间的坐标转换信息进行解算,可以获得相机和惯性量测传感器之间的位置标定关系,可以实现位置标定关系的准确解算,提高标定准确度。
作为一个实施例,如图3所示,为本公开实施例提供的一种相机标定方法的又一个实施例的流程图,与前述实施例的不同之处在于,利用相机采集的图像数据和惯性量测传感器采集的惯性数据,对相机的相机坐标系和惯性量测传感器的感应坐标系之间的坐标转换信息进行解算时,可以包括:
301:构建相机的相机坐标系和惯性量测传感器的感应坐标系之间待求解的转换变量。
302:利用相机采集的图像数据和惯性量测传感器采集的惯性数据,对转换变量进行解算,获得转换变量对应的求解结果。
303:确定转换变量的求解结果为相机的相机坐标系和惯性量测传感器的感应坐标系之间的坐标转换信息。
待求解变量为未知量,需要进行求解计算。
可选地,相机坐标系和惯性量测传感器的感应坐标系之间待求解的转换变量可以使用Tbc。转换变量实际为一转换矩阵,可以包括旋转分量和平移分量。转换变量Tbc可以表示为:
其中Rbc表示旋转分量,tbc表示平移分量。
对于相机和惯性量测传感器,惯性量测传感器的角速度信息wi=Rbc×wc。wc可以为对相机的旋转矢量求导得到角加速度。惯性量测传感器的线加速度模型可通过ai=Rbc×ac构建。
本公开实施例中,通过构建相机的相机坐标系和惯性量测传感器的感应坐标系之间待求解的转换变量,可以利用相机采集的图像数据和惯性量测传感器采集的惯性数据,对该转换变量进行计算,获得转换变量的求解结果。通过图像数据和惯性数据可以对转换变量进行准确计算,可以获得准确的求解结果。通过确定转换变量的求解结果为相机的相机坐标系和惯性量测传感器的感应坐标系之间的坐标转换信息,实现坐标转换信息的准确获取。
作为一个实施例,如图4所示,为本公开实施例提供的一种相机标定方法的又一个实施例的流程图,与前述实施例的不同之处在于,利用相机采集的图像数据和惯性量测传感器采集的惯性数据,对转换变量进行解算,获得转换变量对应的求解结果时,可以包括:
401:基于相机采集的图像数据,对相机的相机坐标系与世界坐标系之间的坐标转化关系进行解算,获得第一位姿转换信息。
402:基于惯性量测传感器采集的惯性数据,对惯性量测传感器进行姿态解算,获得惯性量测传感器对应的感应位姿信息。
403:根据转换变量、相机的位姿转换信息和惯性量测传感器对应的感应位姿信息,构建世界坐标系和惯性量测传感器之间的第二位姿转换信息。
404:根据第一位姿转换信息、转换变量、感应位姿信息和第二位姿转换信息,构建转换误差函数。
405:对转换误差函数中的转换变量进行求解计算,获得的转换变量的求解结果。
第一位姿转换信息可以通过相机采集的多个图像数据分别对应的位置姿态信息转换获得。为了便于理解,多个图像数据分别对应的二维坐标点可以表示为:其中,i为图像数据的标识,Q为二维坐标点。多个图像数据分别对应的三维坐标点可以表示为:多个图像数据分别对应的位置姿态信息可以进行矩阵转换,获得第一位姿转换信息,具体可以表示为:/>Tcw可以通过Q和P计算获得,其可以表示为世界坐标系到相机坐标系的位姿转换矩阵。
基于惯性量测传感器采集的惯性数据,对惯性量测传感器进行姿态解算,可以获得该惯性数据对应的惯性姿态数据Tb,惯性量测传感器采集的多个惯性数据进行姿态综合,可以获得惯性量测传感器的感应位姿信息
由相机坐标系到惯性量测传感器的感应坐标系的转换矩阵可以表示为:Tbc×Tcw=Tbw,其中,Tbc为未知的转换变量。由该公式可知Tbw可以通过Tbc和相机的位姿转换信息表示。
因此,可以通过第一位姿转换信息转换变量Tbc、感应位姿信息/>和第二位姿转换信息:/>构建转换误差函数。
转换误差函数可以包括:角速度误差模型ω、加速度误差模型a和重投影误差模型P组成。
也即转换误差函数可以包括:角速度误差模型、加速度误差模型和重投影误差模型,可以将第一位姿转换信息、转换变量和第二位姿转换信息输入到转换误函数,作为转换误差函数的输入,其中,转换变量是未知的。
角速度误差模型ω可以通过计算第二位姿转换信息和感应位姿信息之间的误差获得,也即,/>
加速度误差模型a可以通过计算第二位姿转换信息和感应位姿信息之间的误差获得,也即/>
重投影误差模型P可以通过第二位姿转换信息的逆矩阵和感应位姿信息之间的误差获得,也即/>
综上,转换误差函数可以表示为:
对转换误差函数中的转换变量进行求解计算,获得的转换变量的求解结果,可以包括对转换误差函数进行一阶求导,获得一阶导数方程,在一阶导数方程取值极小值,例如取零,计算获得对应的Tbc。
本公开实施例中,可以基于相机采集的图像数据,对相机的相机坐标系和世界坐标系之间的坐标转化关系进行解算,获得第一位姿转换信息,通过第一位姿转换信息的获取可以对相机的姿态进行准确定义。基于惯性量测传感器采集的惯性数据,对惯性量测传感器进行姿态解算,获得惯性量测传感器对应的感应位姿信息,通过感应位姿信息可以对惯性量测传感器本身的姿态进行准确定义。从而可以利用待求解的转换变量、位姿转换信息和感应位姿信息,构建世界坐标系和惯性量测传感器之间的第二位姿转换信息,第二位姿转换信息可以对世界坐标系和惯性量测传感器之间的转换关系进行准确定义。由此,即完成了从相距坐标系和世界坐标系、世界坐标系和感应坐标系之间的转换关系的定义,通过定义的转换关系,可以对转换误差函数进行构建并求解,以获得待求解的转换变量对应的求解结果,实现对转换变量的准确计算,进而完成相机的相机坐标系和惯性量测传感器的感应坐标系之间的标定,提高标定效率和标定准确性。
作为一个实施例,多边形标定板上设置有包含定位点的定位图片;在基于相机采集的图像数据,对相机的相机坐标系与世界坐标系之间的坐标转化关系进行解算,获得第一位姿转换信息时,可以包括:
获取相机采集的多个图像数据;图像数据为对多边形定位板上的定位图片采集获得;
根据相机采集的图像数据,在相机坐标系和世界坐标系对图像数据中包含的定位图片的定位点进行位姿解算,获得图像数据对应的位置姿态信息,以获得多个图像数据分别对应的位置姿态信息;
将多个图像数据分别对应的位置姿态信息对相机的运动姿态进行拟合,获得相机的第一位姿转换信息。
本公开实施例中,对相机坐标系和世界坐标系之间的坐标转化关系进行解算时,可以将相机采集的图像数据中的定位点,在相机坐标系和世界坐标系中进行位姿解算,以该定位点在两个坐标系中的位置,可以实现位置姿态的准确而有效的解算,获得多个图像数据分别对应的位置姿态信息。通过将多个图像数据分别对应的位置姿态信息对相机的运动姿态进行拟合,可以获得相机的第一位姿转换信息,第一位姿转换信息中综合了多个图像数据分别对应的位置姿态信息,定义更准确。
在一种可能的设计中,根据相机采集的图像数据,在相机坐标系和世界坐标系对图像数据中包含的定位图片的定位点进行位姿解算,获得图像数据对应的位置姿态信息,可以包括:
识别相机采集的图像数据中的定位点,获得定位点在图像坐标系中的二维坐标点;
基于多边形标定板在开放性球体中的空间位置,确定定位点在世界坐标系中的三维坐标点;
根据定位点的三维坐标点和二维坐标点,确定定位点对应的位置姿态信息,以获得图像数据对应的位置姿态信息。
每个图像数据均可以识别定位点的二维坐标点Q和三维坐标点P,并通过该图像数据的二维坐标点Q和三维坐标点P计算获得该图像数据对应的位置姿态信息Tcw。在实际应用中,可以待标定设备可以采集多次数据,每次采集的图像数据均可以获得对应的位置姿态信息,可以使用i来标记数据采集次数和区分不同的图像数据。在实际应用中,定位点可以包括一个或多个,此时,Q可以包括q1-qm个定位点,P可以包括p1-pm个定位点。
本公开实施例中,对图像数据的位置姿态信息进行求解时,可以识别相机采集的图像数据中的定位点,获得该定位点的二维坐标点,同时基于多边形标定板在开放性球体中的空间位置,确定该定位点在世界坐标系中的三维坐标。通过定位点的三维坐标点和二维坐标点,可以对该定位点从图像坐标系到世界坐标系的位置姿态进行准确解算,获得该定位点的位置姿态信息,提高图像数据的位置姿态信息的获取精度。
作为又一个实施例,基于惯性量测传感器采集的惯性数据,对惯性量测传感器进行姿态解算,获得惯性量测传感器对应的感应位姿信息时,可以包括:
根据惯性量测传感器采集的惯性数据,对惯性量测传感器进行姿态解算,获得惯性姿态数据;
确定相机和惯性量测传感器的采集延时;
根据采集延时,对惯性姿态数据进行时间调整,获得调整后的感应位姿信息。
可选地,根据采集延时,对惯性姿态数据进行时间调整,获得调整后的感应位姿信息可以包括:将惯性姿态数据按照采集延时移动,获得调整后的感应位姿信息。
本公开实施例中,相机和惯性量测传感器之间存在采集延时,若直接将相机采集的图像数据和惯性量测传感器采集的惯性数据进行姿态解算,由于采集延时的存在可能存在解算误差。通过确定相机和惯性量测传感器的采集延时,可以对传感器的惯性姿态数据进行时间调整,获得实际采集时间更精确的感应位姿信息,提高感应位姿信息的准确度。
作为一种可能的实现方式,确定相机和惯性量测传感器的采集延时,可以包括:
确定多个图像数据分别对应的位置姿态信息;
根据多个图像数据分别对应的位置姿态信息,提取相机的速度矢量;
基于惯性量测传感器采集的惯性数据,确定加速度信息;
根据加速度信息和速度矢量,计算惯性量测传感器和相机之间的采集延时。
基于惯性量测传感器采集的惯性数据,确定加速度信息,可以包括:基于惯性量测传感器采集的惯性数据,对惯性量测传感器的加速度信息进行提取,获得加速度信息。惯性数据可以包括线加速度ai惯性数据和角速度wi惯性数据,加速速度信息可以包括线加速度惯性数据。
加速度信息和速度矢量相乘可以获得对应的图像数据和惯性数据的采集时间误差,在包含多个图像数据时,图像数据同时触发采集获得的惯性数据也可以包括多个,图像数据和对应的惯性数据是同时触发采集的,但是在实际采集过程中存在延时。惯性量测传感器和相机之间的采集延时可以通过将多个图像数据和各个图像数据对应的惯性数据之间的采集时间误差相加获得。
惯性量测传感器和相机之间的采集延时可以表示为:s=argmax∑iai×vi+k,其中,ai为加速度信息,vi为速度矢量。
本公开实施例中,可以根据多个图像分别对应的位置姿态信息,提取相机的速度矢量,同时基于惯性量测传感器采集的惯性数据,确定加速度信息,可以对相机和惯性量测传感器之间的延时进行计算,获得惯性量测传感器和相机之间的采集延时。通过相机的速度矢量和惯性量测传感器的加速度信息可以实现相机和惯性量测传感器之间时间延时的准确计算,获得准确的采集延时。
在一种可能的设计中,根据多个图像数据分别对应的位置姿态信息,提取相机的速度矢量时,可以包括:
根据多个图像数据分别对应的位置姿态信息,对相机的姿态曲线进行拟合,获得相机位姿曲线;
基于相机位姿曲线,确定相机的空间位置移动矢量;
利用空间位置移动矢量,确定相机的速度矢量。
根据多个图像数据分别对应的位置姿态信息,对相机的姿态曲线进行拟合,获得相机位姿曲线,可以包括:调用姿态拟合工具,将多个图像分别对应的位置姿态信息输入到姿态拟合工具,获得姿态拟合工具输出的相机姿态曲线。姿态拟合工具可以包括g2o(Gerneral Graphic Optimization,通用的图优化库)工具,姿态拟合工具可以将多个图像数据分别对应的位置姿态信息作为图结构的顶点,拟合出相机在采集多个图像数据的过程中的相机姿态曲线F。
相机的相机位姿曲线F可以拟合为相机位姿方程,基于相机位姿曲线,确定相机的空间位置移动矢量可以包括:基于相机位姿曲线,确定相机的相机位姿方程;相机位姿方程可以包括位移矢量和旋转矢量;可以对相机位姿方程中提取相机的位移矢量,获得相机的空间位置移动矢量。利用空间位置移动矢量确定相机的速度矢量可以包括:对相机的空间位置移动矢量对应的位移矢量进行一阶求导,计算获得速度矢量。假设速度矢量使用表示。此外,还可以对位移矢量进行二介求导获得加速度矢量,加速度矢量可以表示为:/>其中,t表示位移矢量。
在某些实施例中,还可以从相机位姿方程中提取旋转矢量,可以对旋转矢量求导获得相机的角加速度,角加速度可以表示为:
本公开实施例中,可以根据多个图像数据分别对应的位置姿态信息,对相机的姿态曲线进行拟合,获得相机位姿曲线,通过相机位姿曲线可以对相机的空间位置移动矢量进行计算,利用该空间位置移动矢量,确定相机的速度矢量。相机的速度矢量与空间位置移动矢量相关,而空间位置移动矢量通过相机的位姿曲线获取,相机的位姿曲线可以对相机的空间位置移动进行准确表示,提高相机的位姿曲线的获取效率和准确性。
在一种可能的设计中,利用多个相机分别与惯性量测传感器之间的位置标定关系,确定多个相机对应的位置标定结果时,可以包括:
根据多个相机分别与惯性量测传感器之间的标定位置关系,确定任意两个相机之间的标定结果,获得所有两两相机对应的标定结果;
确定所有两两相机之间的标定结果为多个相机之间的位置标定结果。
标定结果可以包括两个相机之间的坐标转换矩阵。
本公开实施例中,可以利用多个相机分别与惯性量测传感器之间的标定位置关系,对任意两个相机之间的标定结果进行获取,实现所有两两相机之间的标定,获得准确的位置标定结果。通过多个相机分别与惯性量测传感器的标定位置关系,可以对所有两两相机进行快速标定,提高标定效率和标定准确性。
在一种可能的设计中,目标运动模式包括:上下运动模式、左右摆动模式、前后摆动模式、旋转模式中的至少一种。
本公开实施例中,可以设置目标运动模式包括上下运动模型、左右摆动模式、前后摆动模式、旋转模式中的至少一种,通过运动模式的设置可以对相机和惯性量测传感器在不同运动模式下进行数据采集,实现多方面数据的获取,提高采集的图像数据和惯性数据的数据全面性,进而实现相机的准确标定。
作为一个实施例,本公开的技术方案可以应用联合标定系统的处理器,联合标定系统还包括:接收器和标定数据采集结构,标定数据采集结构包括:多边形标定板拼接形成的开放球体、从开放球体的开放区域进入开放球体内的机械臂以及设置于机械臂第一端上的待标定设备;待标定设备在开放性球体内。
待标定设备上设置有多个相机和惯性量测传感器;机械臂的第二端控制待标定设备在开放球体中按照目标运动模式运动时,待标定设备将多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据传输至接收器;
接收器用于:接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据。
本公开实施例中,相机标定系统可以包括接收器、处理器和标定数据采集结构。待标定设备可以在标定数据采集结构中运动,以利用多个相机分别采集图像数据利用惯性量测传感器采集惯性数据。接收器接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据。处理器可以利用多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据,对多个相机分别与惯性量测传感器进行位置标定,可以获得多个相机分别与惯性量测传感器之间的位置标定关系,从而确定多个相机对应的位置标定结果。通过以惯性量测传感器可以对待标定设备中的多个相机进行分别标定,实现一次数据采集即完成多个相机的联合标定,提高同一待标定设备中的多个相机的标定效率。
相机标定系统的处理器可以为电子设备的处理器。
如图5所示,为本公开实施例提供的一种电子设备的一个实施例的结构示意图,该设备501可以包括:处理器5011、存储器5012;电子设备501可以为标定数据采集系统500的处理器,电子设备501与标定数据采集系统500的接收器502建立通信连接,标定数据采集系统500还包括标定数据采集结构503;标定数据采集结构503包括:多边形标定板拼接形成的开放球体、从开放球体的开放区域进入开放球体内的机械臂以及设置于机械臂第一端上的待标定设备504;待标定设备504在开放性球体内。
待标定设备504上设置有多个相机和惯性量测传感器;机械臂的第二端控制待标定设备在开放球体中按照目标运动模式运动时,待标定设备504将多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据传输至接收器;接收器502用于:接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据。待标定设备504可以位于标定数据采集结构503中。
存储器5012存储计算机执行指令;标定数据采集结构503,用于供待标定设备的多个相机分别采集图像数据和惯性量测传感器采集惯性数据;
处理器5011执行存储器存储的计算机执行指令,使得处理器用以执行图2的相机标定方法。
此外,该相机标定设备中的存储器5012可以包括只读存储器(Read Only Memory,简称ROM)或者随机访问存储器(Random Access Memory,简称RAM)。
本实施例提供的电子设备,可用于执行上述方法实施例的方法技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
为了实现上述实施例,本公开实施例还提供了一种电子设备。与图5所示实施例的不同之处在于,除图5所示的结构中的处理器、存储器之外,电子设备还可以包括其它装置。
参考图6,其示出了适于用来实现本公开实施例的电子设备600的结构示意图,该电子设备600可以为终端设备或服务器。其中,终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant,简称PDA)、平板电脑(Portable Android Device,简称PAD)、便携式多媒体播放器(Portable MediaPlayer,简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(Read Only Memory,简称ROM)602中的程序或者从存储装置608加载到随机访问存储器(Random Access Memory,简称RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(Liquid CrystalDisplay,简称LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
此外,需要说明的是,本公开的技术方案中,待标定设备的设备结构可以与图6所示的电子设备的硬件结构相同,可以包括处理装置、ROM、RAM、总线、I/O接口、输入装置、输出装置、存储装置、通信装置等装置,在此不再赘述。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network,简称LAN)或广域网(Wide Area Network,简称WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面,根据本公开的一个或多个实施例,提供了一种相机标定方法,包括:
接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据;
利用相机采集的图像数据和惯性量测传感器采集的惯性数据,确定相机和惯性量测传感器之间的位置标定关系,以获取多个相机分别与惯性量测传感器对应的位置标定关系;
利用多个相机分别与惯性量测传感器之间的位置标定关系,确定多个相机对应的位置标定结果。
根据本公开的一个或多个实施例,相机采集的图像数据和惯性量测传感器采集的惯性数据的采集时间相同;
利用相机采集的图像数据和惯性量测传感器采集的惯性数据,确定相机和惯性量可以包括:
利用相机采集的图像数据和惯性量测传感器采集的惯性数据,对相机的相机坐标系和惯性量测传感器的感应坐标系之间的坐标转换信息进行解算,获得相机和惯性量测传感器之间的位置标定关系。
根据本公开的一个或多个实施例,利用相机采集的图像数据和惯性量测传感器采集的惯性数据,对相机的相机坐标系和惯性量测传感器的感应坐标系之间的坐标转换信息进行解算时,可以包括:
构建相机的相机坐标系和惯性量测传感器的感应坐标系之间待求解的转换变量;
利用相机采集的图像数据和惯性量测传感器采集的惯性数据,对转换变量进行解算,获得转换变量对应的求解结果;
确定转换变量的求解结果为相机的相机坐标系和惯性量测传感器的感应坐标系之间的坐标转换信息。
根据本公开的一个或多个实施例,利用相机采集的图像数据和惯性量测传感器采集的惯性数据,对转换变量进行解算,获得转换变量对应的求解结果时,可以包括:
基于相机采集的图像数据,对相机的相机坐标系与世界坐标系之间的坐标转化关系进行解算,获得第一位姿转换信息;
基于惯性量测传感器采集的惯性数据,对惯性量测传感器进行姿态解算,获得惯性量测传感器对应的感应位姿信息;
根据转换变量、相机的位姿转换信息和惯性量测传感器对应的感应位姿信息,构建世界坐标系和惯性量测传感器之间的第二位姿转换信息;
根据第一位姿转换信息、转换变量、感应位姿信息和第二位姿转换信息,构建转换误差函数;
对转换误差函数中的转换变量进行求解计算,获得的转换变量的求解结果。
根据本公开的一个或多个实施例,多边形标定板上设置有包含定位点的定位图片;基于相机采集的图像数据,对相机的相机坐标系与世界坐标系之间的坐标转化关系进行解算,获得第一位姿转换信息时,可以包括:
获取相机采集的多个图像数据;图像数据为对多边形定位板上的定位图片采集获得;
根据相机采集的图像数据,在相机坐标系和世界坐标系对图像数据中包含的定位图片的定位点进行位姿解算,获得图像数据对应的位置姿态信息,以获得多个图像数据分别对应的位置姿态信息;
将多个图像数据分别对应的位置姿态信息对相机的运动姿态进行拟合,获得相机的第一位姿转换信息。
根据本公开的一个或多个实施例,根据相机采集的图像数据,在相机坐标系和世界坐标系对图像数据中包含的定位图片的定位点进行位姿解算,获得图像数据对应的位置姿态信息时,可以包括:
识别相机采集的图像数据中定位图片的定位点,获得定位点在图像坐标系中的二维坐标点;
基于多边形标定板在开放性球体中的空间位置,确定定位点在世界坐标系中的三维坐标点;
根据定位点的三维坐标点和二维坐标点,确定定位点对应的位置姿态信息,以获得图像数据对应的位置姿态信息。
根据本公开的一个或多个实施例,基于惯性量测传感器采集的惯性数据,对惯性量测传感器进行姿态解算,获得惯性量测传感器对应的感应位姿信息时,可以包括:
根据惯性量测传感器采集的惯性数据,对惯性量测传感器进行姿态解算,获得惯性姿态数据;
确定相机和惯性量测传感器的采集延时;
根据采集延时,对惯性姿态数据进行时间调整,获得调整后的感应位姿信息。
根据本公开的一个或多个实施例,确定相机和惯性量测传感器的采集延时,可以包括:
确定多个图像数据分别对应的位置姿态信息;
根据多个图像数据分别对应的位置姿态信息,提取相机的速度矢量;
基于惯性量测传感器采集的惯性数据,确定加速度信息;
根据加速度信息和速度矢量,计算惯性量测传感器和相机之间的采集延时。
根据本公开的一个或多个实施例,根据多个图像数据分别对应的位置姿态信息,提取相机的速度矢量时,可以包括:
根据多个图像数据分别对应的位置姿态信息,对相机的姿态曲线进行拟合,获得相机位姿曲线;
基于相机位姿曲线,确定相机的空间位置移动矢量;
利用空间位置移动矢量,确定相机的速度矢量。
根据本公开的一个或多个实施例,利用多个相机分别与惯性量测传感器之间的位置标定关系,确定多个相机对应的位置标定结果时,可以包括:
根据多个相机分别与惯性量测传感器之间的位置标定关系,确定任意两个相机之间的标定结果,获得所有两两相机对应的标定结果;
确定所有两两相机之间的标定结果为多个相机之间的位置标定结果。
根据本公开的一个或多个实施例,目标运动模式包括:上下运动模式、左右摆动模式、前后摆动模式、旋转模式中的至少一种。
根据本公开的一个或多个实施例,应用于联合标定系统的处理器,联合标定系统还包括:接收器和标定数据采集结构,标定数据采集结构包括:多边形标定板拼接形成的开放球体、从开放球体的开放区域进入开放球体内的机械臂以及设置于机械臂第一端上的待标定设备;待标定设备在开放性球体内;
待标定设备上设置有多个相机和惯性量测传感器;机械臂的第二端控制待标定设备在开放球体中按照目标运动模式运动时,待标定设备将多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据传输至接收器;
接收器用于:接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据。
第二方面,根据本公开的一个或多个实施例,提供了一种相机标定系统,包括:接收器、处理器和标定数据采集结构,标定数据采集结构包括:多边形标定板拼接形成的开放球体、从开放球体的开放区域进入开放球体内的机械臂以及设置于机械臂第一端上的待标定设备;待标定设备在开放性球体内;
待标定设备上设置有多个相机和惯性量测传感器;机械臂的第二端控制待标定设备在开放球体中按照目标运动模式运动时,待标定设备将多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据传输至接收器;
接收器用于:接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据;
处理器用于:利用相机采集的图像数据和惯性量测传感器采集的惯性数据,确定相机和惯性量测传感器之间的位置标定关系,以获取多个相机分别与惯性量测传感器对应的位置标定关系;
利用多个相机分别与惯性量测传感器之间的位置标定关系,确定多个相机对应的位置标定结果。
第三方面,根据本公开的一个或多个实施例,提供了一种电子设备,包括:处理器及存储器;电子设备与标定数据采集系统的接收器建立通信连接;标定数据采集结构包括:多边形标定板拼接形成的开放球体、从开放球体的开放区域进入开放球体内的机械臂以及设置于机械臂第一端上的待标定设备;待标定设备在开放性球体内;
待标定设备上设置有多个相机和惯性量测传感器;机械臂的第二端控制待标定设备在开放球体中按照目标运动模式运动时,待标定设备将多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据传输至接收器;接收器用于:接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据;
存储器存储计算机执行指令;
处理器执行存储器存储的计算机执行指令,用以执行上述实施例的相机标定方法。
第四方面,根据本公开的一个或多个实施例,提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现上述实施例的相机标定方法。
第五方面,根据本公开的一个或多个实施例,提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行,以配置有上述实施例的相机标定方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (16)
1.一种相机标定方法,其特征在于,包括:
接收待标定设备发送的多个相机分别采集的图像数据和惯性量测传感器采集的惯性数据;
利用所述相机采集的图像数据和所述惯性量测传感器采集的惯性数据,确定所述相机和所述惯性量测传感器之间的位置标定关系,以获取多个所述相机分别与所述惯性量测传感器对应的位置标定关系;
利用多个所述相机分别与所述惯性量测传感器之间的位置标定关系,确定多个所述相机对应的位置标定结果。
2.根据权利要求1所述的方法,其特征在于,所述相机采集的图像数据和所述惯性量测传感器采集的惯性数据的采集时间相同;
所述利用所述相机采集的图像数据和所述惯性量测传感器采集的惯性数据,确定所述相机和所述惯性量测传感器之间的位置标定关系,包括:
利用所述相机采集的图像数据和所述惯性量测传感器采集的惯性数据,对所述相机的相机坐标系和所述惯性量测传感器的感应坐标系之间的坐标转换信息进行解算,获得所述相机和所述惯性量测传感器之间的位置标定关系。
3.根据权利要求2所述的方法,其特征在于,所述利用所述相机采集的图像数据和所述惯性量测传感器采集的惯性数据,对所述相机的相机坐标系和所述惯性量测传感器的感应坐标系之间的坐标转换信息进行解算,包括:
构建所述相机的相机坐标系和所述惯性量测传感器的感应坐标系之间待求解的转换变量;
利用所述相机采集的图像数据和所述惯性量测传感器采集的惯性数据,对所述转换变量进行解算,获得所述转换变量对应的求解结果;
确定所述转换变量的求解结果为所述相机的相机坐标系和所述惯性量测传感器的感应坐标系之间的坐标转换信息。
4.根据权利要求3所述的方法,其特征在于,所述利用所述相机采集的图像数据和所述惯性量测传感器采集的惯性数据,对所述转换变量进行解算,获得所述转换变量对应的求解结果,包括:
基于所述相机采集的图像数据,对所述相机的相机坐标系与世界坐标系之间的坐标转化关系进行解算,获得第一位姿转换信息;
基于所述惯性量测传感器采集的惯性数据,对所述惯性量测传感器进行姿态解算,获得所述惯性量测传感器对应的感应位姿信息;
根据所述转换变量、所述相机的位姿转换信息和所述惯性量测传感器对应的感应位姿信息,构建所述世界坐标系和所述惯性量测传感器之间的第二位姿转换信息;
根据所述第一位姿转换信息、所述转换变量、所述感应位姿信息和所述第二位姿转换信息,构建转换误差函数;
对所述转换误差函数中的所述转换变量进行求解计算,获得的所述转换变量的求解结果。
5.根据权利要求4所述的方法,其特征在于,所述相机采集多边形标定板上设置有包含定位点的定位图片对应的图像数据;所述基于所述相机采集的图像数据,对所述相机的相机坐标系与世界坐标系之间的坐标转化关系进行解算,获得第一位姿转换信息,包括:
获取所述相机采集的多个图像数据;所述图像数据为对所述多边形定位板上的定位图片采集获得;
根据所述相机采集的图像数据,在所述相机坐标系和所述世界坐标系对所述图像数据中包含的所述定位图片的定位点进行位姿解算,获得所述图像数据对应的位置姿态信息,以获得多个所述图像数据分别对应的位置姿态信息;
将多个所述图像数据分别对应的位置姿态信息对所述相机的运动姿态进行拟合,获得所述相机的第一位姿转换信息。
6.根据权利要求5所述的方法,其特征在于,所述根据所述相机采集的图像数据,在所述相机坐标系和所述世界坐标系对所述图像数据中包含的所述定位图片的定位点进行位姿解算,获得所述图像数据对应的位置姿态信息,包括:
识别所述相机采集的图像数据中所述定位图片的定位点,获得所述定位点在图像坐标系中的二维坐标点;
基于所述多边形标定板在开放性球体中的空间位置,确定所述定位点在世界坐标系中的三维坐标点;
根据所述定位点的所述三维坐标点和所述二维坐标点,确定所述定位点对应的位置姿态信息,以获得所述图像数据对应的位置姿态信息。
7.根据权利要求5所述的方法,其特征在于,所述基于所述惯性量测传感器采集的惯性数据,对所述惯性量测传感器进行姿态解算,获得所述惯性量测传感器对应的感应位姿信息,包括:
根据所述惯性量测传感器采集的惯性数据,对所述惯性量测传感器进行姿态解算,获得惯性姿态数据;
确定所述相机和所述惯性量测传感器的采集延时;
根据所述采集延时,对所述惯性姿态数据进行时间调整,获得调整后的感应位姿信息。
8.根据权利要求7所述的方法,其特征在于,所述确定所述相机和所述惯性量测传感器的采集延时,包括:
确定多个所述图像数据分别对应的位置姿态信息;
根据多个所述图像数据分别对应的位置姿态信息,提取所述相机的速度矢量;
基于所述惯性量测传感器采集的惯性数据,确定加速度信息;
根据所述加速度信息和所述速度矢量,计算所述惯性量测传感器和所述相机之间的采集延时。
9.根据权利要求8所述的方法,其特征在于,所述根据多个所述图像数据分别对应的位置姿态信息,提取所述相机的速度矢量,包括:
根据多个所述图像数据分别对应的位置姿态信息,对所述相机的姿态曲线进行拟合,获得所述相机位姿曲线;
基于所述相机位姿曲线,确定所述相机的空间位置移动矢量;
利用所述空间位置移动矢量,确定所述相机的速度矢量。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述利用多个所述相机分别与所述惯性量测传感器之间的位置标定关系,确定多个所述相机对应的位置标定结果,包括:
根据多个所述相机分别与所述惯性量测传感器之间的位置标定关系,确定任意两个相机之间的标定结果,获得所有两两相机对应的标定结果;
确定所有两两相机之间的标定结果为所述多个相机之间的位置标定结果。
11.根据权利要求1-9任一项所述的方法,其特征在于,应用于联合标定系统的处理器,所述联合标定系统还包括:接收器和标定数据采集结构,所述标定数据采集结构包括:多边形标定板拼接形成的开放球体、从所述开放球体的开放区域进入所述开放球体内的机械臂以及设置于所述机械臂第一端上的待标定设备;所述待标定设备在所述开放性球体内;
所述待标定设备上设置有多个相机和惯性量测传感器;所述机械臂的第二端控制所述待标定设备在所述开放球体中按照目标运动模式运动时,所述待标定设备将多个相机分别采集的图像数据和所述惯性量测传感器采集的惯性数据传输至所述接收器;
所述接收器用于:接收所述待标定设备发送的多个所述相机分别采集的图像数据和所述惯性量测传感器采集的惯性数据。
12.根据权利要求11所述的方法,其特征在于,所述目标运动模式包括:上下运动模式、左右摆动模式、前后摆动模式、旋转模式中的至少一种。
13.一种相机标定系统,其特征在于,包括:接收器、处理器和标定数据采集结构,所述标定数据采集结构包括:多边形标定板拼接形成的开放球体、从所述开放球体的开放区域进入所述开放球体内的机械臂以及设置于所述机械臂第一端上的待标定设备;所述待标定设备在所述开放性球体内;
所述待标定设备上设置有多个相机和惯性量测传感器;所述机械臂的第二端控制所述待标定设备在所述开放球体中按照目标运动模式运动时,所述待标定设备将多个相机分别采集的图像数据和所述惯性量测传感器采集的惯性数据传输至所述接收器;
所述接收器用于:接收所述待标定设备发送的多个所述相机分别采集的图像数据和所述惯性量测传感器采集的惯性数据;
所述处理器用于:利用所述相机采集的图像数据和所述惯性量测传感器采集的惯性数据,确定所述相机和所述惯性量测传感器之间的位置标定关系,以获取多个所述相机分别与所述惯性量测传感器对应的位置标定关系;
利用多个所述相机分别与所述惯性量测传感器之间的位置标定关系,确定多个所述相机对应的位置标定结果。
14.一种电子设备,其特征在于,包括:处理器及存储器;所述电子设备与标定数据采集系统的接收器建立通信连接;所述标定数据采集结构包括:多边形标定板拼接形成的开放球体、从所述开放球体的开放区域进入所述开放球体内的机械臂以及设置于所述机械臂第一端上的待标定设备;所述待标定设备在所述开放性球体内;
所述待标定设备上设置有多个相机和惯性量测传感器;所述机械臂的第二端控制所述待标定设备在所述开放球体中按照目标运动模式运动时,所述待标定设备将多个相机分别采集的图像数据和所述惯性量测传感器采集的惯性数据传输至所述接收器;所述接收器用于:接收所述待标定设备发送的多个所述相机分别采集的图像数据和所述惯性量测传感器采集的惯性数据;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行有如权利要求1至12任一项所述的相机标定方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至12所述的相机标定方法。
16.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行,以配置有如权利要求1-12所述的相机标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211112278.9A CN117745834A (zh) | 2022-09-13 | 2022-09-13 | 相机标定方法、系统、设备、介质及产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211112278.9A CN117745834A (zh) | 2022-09-13 | 2022-09-13 | 相机标定方法、系统、设备、介质及产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117745834A true CN117745834A (zh) | 2024-03-22 |
Family
ID=90276221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211112278.9A Pending CN117745834A (zh) | 2022-09-13 | 2022-09-13 | 相机标定方法、系统、设备、介质及产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117745834A (zh) |
-
2022
- 2022-09-13 CN CN202211112278.9A patent/CN117745834A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107888828B (zh) | 空间定位方法及装置、电子设备、以及存储介质 | |
JP7236565B2 (ja) | 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
US20210056751A1 (en) | Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method | |
WO2020140431A1 (zh) | 相机位姿确定方法、装置、电子设备及存储介质 | |
JP2022511427A (ja) | 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス | |
CN110660098B (zh) | 基于单目视觉的定位方法和装置 | |
US11042984B2 (en) | Systems and methods for providing image depth information | |
CN107329671B (zh) | 模型显示方法和装置 | |
KR20220079978A (ko) | 보정 방법 및 장치, 프로세서, 전자 기기, 저장 매체 | |
WO2020253716A1 (zh) | 图像生成方法和装置 | |
JP2022531186A (ja) | 情報処理方法、装置、電子機器、記憶媒体およびプログラム | |
CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
CN112818898B (zh) | 模型训练方法、装置和电子设备 | |
CN111928861B (zh) | 地图构建方法及装置 | |
CN112270242B (zh) | 轨迹的显示方法、装置、可读介质和电子设备 | |
WO2023151558A1 (zh) | 用于显示图像的方法、装置和电子设备 | |
CN112880675B (zh) | 用于视觉定位的位姿平滑方法、装置、终端和移动机器人 | |
CN117745834A (zh) | 相机标定方法、系统、设备、介质及产品 | |
CN114740854A (zh) | 一种机器人避障控制方法和装置 | |
CN113628284A (zh) | 位姿标定数据集生成方法、装置、系统、电子设备及介质 | |
CN109255095B (zh) | Imu数据的积分方法、装置、计算机可读介质及电子设备 | |
CN113596336B (zh) | 图像获取方法及装置、电子设备及存储介质 | |
KR102534449B1 (ko) | 이미지 처리 방법, 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체 | |
CN117906634A (zh) | 一种设备检测方法、装置、设备及介质 | |
CN115482275A (zh) | 位置参数获取方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |