CN115359128A - 一种少量重合区域无需特制标定物的多深度相机外参标定的方法 - Google Patents
一种少量重合区域无需特制标定物的多深度相机外参标定的方法 Download PDFInfo
- Publication number
- CN115359128A CN115359128A CN202210976978.6A CN202210976978A CN115359128A CN 115359128 A CN115359128 A CN 115359128A CN 202210976978 A CN202210976978 A CN 202210976978A CN 115359128 A CN115359128 A CN 115359128A
- Authority
- CN
- China
- Prior art keywords
- registration
- error
- point
- depth camera
- external
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000005457 optimization Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 26
- 210000000988 bone and bone Anatomy 0.000 claims description 17
- 238000009616 inductively coupled plasma Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 230000002068 genetic effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 239000002245 particle Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims 1
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 239000008000 CHES buffer Substances 0.000 description 1
- MKWKNSIESPFAQN-UHFFFAOYSA-N N-cyclohexyl-2-aminoethanesulfonic acid Chemical compound OS(=O)(=O)CCNC1CCCCC1 MKWKNSIESPFAQN-UHFFFAOYSA-N 0.000 description 1
- 101710186755 Putative pterin-4-alpha-carbinolamine dehydratase 1 Proteins 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 101150017059 pcd1 gene Proteins 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明主要涉及计算机三维视觉领域,具体为一种少量重合区域无需特制标定物的多深度相机外参标定的方法;本发明包括:使用人体三维骨骼点作为特征点、适用于两台以上的深度相机仅有少量重合区域的情况、使用了能提取出xyz空间坐标的人体骨骼提取算法,并发明了一种多帧优化和引入外部特征点进行外参误差判断的方法等特征;本发明具有适用于多深度相机间仅有少量重合区域且无需特征标定物即可实现相对较高的外参标定的优点。
Description
技术领域
本发明主要涉及计算机三维视觉领域,具体为一种少量重合区域无需特制标定物的多深度相机外参标定的方法。
背景技术
随着计算机视觉技术的发展,基于深度相机的三维计算机视觉应用越来越多,与二维相机相比,深度相机可以直接拍摄出图像的深度信息,尤其是激光雷达拍摄出的深度信息已经非常准确;有了这样的深度信息,现实中使用场景也越来越多,如三维重建、全息捕捉、姿态捕捉、物体识别等。
一旦涉及2个及以上的深度相机联合获取图像数据并对数据进行处理的场景,就需要对深度相机进行外参标定,深度相机又分为纯深度相机和RGB-D深度相机,纯深度相机由于无法获取RGB图像数据,故无法使用类似张正友棋盘格的外参标定方法。
RGB-D相机在业界往往使用张正友棋盘格标定法进行外参配准,张正友在1999年发布的论文“Flexible Camera Calibration By Viewing a Plane From UnknownOrientations”,包括根据张正友棋盘格升级版的ArUco二维码棋盘格进行外参配准的方法,均需要特制刚体标定物,且对尺寸有严格要求,如张正友棋盘格标定法就需要一块大小占据视野范围1/2的绝对刚体棋盘格;故使用棋盘格的方法,不适合少量重合区域的场景,且需要特制标定物,也无法应用于纯深度相机。
在发明专利CN2022104736610中提到了一种方法,可以对RGB-D相机进行外参配准,其描述的纸张制作的标定物进行外参标定的方法,即便没有刚体和视野范围的严格要求,适用于少量重合区域,但是由于其需要获取RGB图像数据,无法应用于纯深度相机。
在发明专利CN202110906366中提到了一种方法,该方法也可以对RGB-D相机进行外参标定,但是不适用于少量重合区域,且由于其需要获取RGB图像数据,故无法应用于纯深度相机。
在发明专利CN2007100628256和CN2017113988037中提到的基于RGB相机的多相机标定方法,此类方法也可以对RGB-D相机进行外参标定,也适用于少量重合区域,但该方法任然需要特制标定物,且由于其需要获取RGB图像数据,无法应用于纯深度相机。
现有的纯深度相机外参配准的方法,往往需要定制特制的立体标定物,如申请号CN2020116264908的发明专利中记载了一种方法,其适用于纯深度相机,但是要求较多的重合区域,且仍需要特制标定物。
现有的许多无需特制标定物纯深度相机外参标定的方法,往往要求较多的重合区域,否则效果不佳,因此,需要一种适用于少量重合区域,无需特制标定物的适用于所有深度相机的多深度相机外参标定的方法。
发明内容
本发明针对上述现有技术存在的问题,提供了一种适用于少量重合区域,无需特制标定物的多深度相机外参标定的方法;仅需一个人进入相机的少量重合视野,利用人体特征点做外参配准,此方法既可以用在RGB-D相机上,也可以应用在纯深度相机上。
需要说明的是,本发明的前置操作为:以人部分身体进入深度相机1、深度相机2的重合区域,然后用多深度相机拍摄图像后提取骨骼数据。
获取深度相机1、深度相机2的深度图像,将其分别转换为点云1、点云2(以下简称PCD1、PCD2),此时PCD1、PCD2之间仅有少量重合区域,如说明书附图图1所示,深度相机1、2的夹角达到了180度。
为了相关领域熟练技术人员能更好的理解本发明,以下给出详细计算步骤:
Step1:通过两个深度相机,分别获取人体骨骼数据;
Step2:通过对人体骨骼点进行筛选,选择至少三个点作为特征点使用ICP配准配法进行相机外参配准;
Step3:通过使用点对点ICP算法进行初步的配准,计算出相机局部配准外参矩阵T1;
其中ICP算法如下:
给定两个点云的点集如(1)所示:
其中X表示源点集,P表示目标点集,N表示点集对应的数量;
点云的配准过程中需要找到两个点集的相对位姿变换,从而使得两个点集的距离最小化,其最小化形式如(2)所示:
其中R表示为旋转矩阵,t 表示为平移矩阵.;
由于旋转矩阵R会引进三角量,因此不能采用最小二乘法来进行求解,这里将引入两组点云的质心,如(3)所示:
通过对误差函数进行如下的处理:
其中
这里需要先计算出两组点的质心坐标之后,再计算每个点的去质心坐标,其中去质心坐标表示如(6)所示:
接下来将R的误差项进行展开:
通过引入矩阵的迹的性质将问题进行转换,如(8)所示:
通过上式可知可以获得最大值,ICP的最终解为:
Step4:通过使用T1作为初值,对全局骨骼点进行全局配准从而得到新的相机之间的全局配准外参矩阵T2作为最终外参标定结果。
需要说明的是,上述方法通过选取的至少三个特征点,可保证配准时有良好的效果,并将由此得到外参矩阵作为局部配准的初值可将整体配准更加精细优化,以此大大减少初始值对配准的影响,该方法具有强鲁棒性,适用于少量重合区域,无需特制任何标定物。
需要说明的是,上述方法只介绍的有两台深度相机的情况,但本方法也适用于2台及以上的深度相机外参标定,相关领域熟练技术人员可根据实际需求做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内。
需要说明的是,上述方法中的骨骼提取算法也可以替换为能提取出骨骼三维坐标的骨骼提取算法,相关领域熟练技术人员可根据实际需求做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内。
优选的,可以把奇异值分解(SVD)的非线性优化方法替换为任意非线性优化方法,如随机梯度下降、高斯牛顿法、遗传算法或粒子群算法,相关领域熟练技术人员可根据实际需求做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内。
优选的,本发明也提供了一种使用多帧的优化方法,详见说明书附图3,使用多帧优化,可以利用在时间空间的维度,降低最初的骨骼提取算法的影响,并使其配准效果提升,实际应用更稳定,通过此方法即使中间的帧采用上述配准方法计算出错误的值,也会因为循环迭代将其引入正确的值,提高了其鲁棒性,并且提高了外参标定的精度。
优选的,本发明也提供了一种使用外部特征点进行验证和精配准的优化方法,该方法可以与多帧优化的方法结合使用,也可以单独使用作为检测本次外参标定误差的有效方法,如误差未达到阈值,则本次获取的外参矩阵精度较佳,可以作为最终外参标定结果,如误差过大超过阈值,则应该手动测量,这里所指的阈值没有一个确切的数值,应当视实际应用场景的需求而定,详见说明书附图4,这种方法可以降低由于骨骼提取算法导致的最终配准的误差,提高了其鲁棒性,并且进一步提高了外参标定的精度。
附图说明
如图,图1是本发明一种典型使用场景,该场景下深度相机呈180度对角摆放,夹角极大,只有少量的重合区域,且场景中几乎无特征物可以作为无特征点的选择凭据。
如图,图2是本发明的实施例1流程图,该实施例展示了使用1帧的三维人体骨骼数据做点云配准的流程。
如图,图3是本发明的一种对实施例1进行多帧优化的方法,该方法可以利用在时间空间的维度,降低最初的骨骼提取算法的影响,并使其配准效果提升,实际应用更稳定,通过此方法即使中间的帧采用上述配准方法计算出错误的值,也会因为循环迭代将其引入正确的值,提高了其鲁棒性。
如图,图4是本发明的一种对实施例1进行使用外部特征点进行验证和精配准的优化方法,这种方法可以降低由于骨骼提取算法导致的最终配准的误差,提高了其鲁棒性。
具体实施方式
参见图2,图2展示了本发明的实施例1,该实施例展示了使用1帧的人体三维骨骼做外参标定的流程,该方法适用于少量重合区域,且无需特制标定物,仅需一个人进入相机的少量重合视野,利用人体特征点做外参配准,此方法既可以用在RGB-D相机上,也可以应用在纯深度相机上;需要说明的是,本实施例的给出仅用于解释本发明,并不构成对本发明的限制,本领域的熟练技术人员可根据需要做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内,具体实施方法如下:
S201:数据采集,两台深度相机分别使用Kinect Body Tracking SDK获取1帧的三维人体骨骼数据1、骨骼数据2。
S202、S203:选取骨骼点,从骨骼数据1、骨骼数据2中分别选取SPINE_CHES,HIP_LEFT,ANKLE_LEFT,FOOT_LEFT4个骨骼点,用以下个步骤的局部配准。
S204:使用点对点ICP算法对上述选择的2组4个共8个骨骼点进行配准,得到相机外参T1。
S205:将T1作为初始外参矩阵,通过ICP算法对骨骼数据1、骨骼数据2中的所有32个骨骼点进行配准,从而计算出相机外参矩阵T2,得到外参标定结果。
参见图3,图3是一种对实施例1进行多帧优化的方法,使用多帧优化,可以利用在时间空间的维度,降低最初的骨骼提取算法的影响,并使其配准效果提升,实际应用更稳定,通过此方法即使中间的帧采用上述配准方法计算出错误的值,也会因为循环迭代将其引入正确的值,提高了其鲁棒性,并且提高了外参标定的精度;实施例的给出仅用于解释本发明,并不构成对本发明的限制,本领域的熟练技术人员可根据需要做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内,具体实施方法如下:
S302:判断该组n帧的误差是否收敛或趋于稳定,如是,取该组相机外参平均值;如否,重复S301步骤。
S303:输出最终相机外参矩阵,得到外参标定结果。
参见图4,图4是一种对实施例1使用外部特征点进行验证和精配准的优化方法,本实施例中所述的优化方法与上述多帧优化方法进行了结合,但其也可以单独使用作为检测本次外参标定误差的有效方法,这种方法可以进一步降低由于骨骼提取算法导致的最终配准的误差,并且相对于只使用说明书附图3实施例中的优化方法,进一步提高了外参标定的精度和鲁棒性;需要说明的是,本实施例的给出仅用于解释本发明,并不构成对本发明的限制,本领域的熟练技术人员可根据需要做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内,使用外部特征点进行验证和精配准的优化方法的具体实施方法如下:
S401:放入两个相机重合视野的N个ArCou二维码,使用OPEN CV读取并识别两个深度相机一帧的RGB图像,找到ArCou二维码的4N个角点,将四个角点映射到点云里的2组4N个点云。
S402:对n帧使用实施例1中的方法得出的单帧相机外参进行记录。
S404:判断判断该组n帧的误差是否收敛或趋于稳定,如是,取该组相机外参平均值;如否,重复S402、S403步骤。
S405:输出最终相机外参矩阵,得到外参标定结果。
上面结合附图及其实时例描述了本发明的几种实施方式,只是为了使本发明的目的、优点更加清楚明白,实施例的给出仅用于解释本发明,并不构成对本发明的限制,本领域的熟练技术人员可根据需要做出调整,在所属权利要求的范围内做出的各种变形或修改均在保护范围内。
需要说明的是,在本发明中涉及“S301”、“S302”、步骤的名称如:“数据采集”、“验证及精配准”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“S301”、“S302”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术本实施例可以相互结合,但是必须是以本领域熟练技术人员能够实现为基础,当技术本实施例的结合出现相互矛盾或无法实现时应当认为这种技术本实施例的结合不存在,也不在本发明要求的保护范围之内。
Claims (9)
1.一种少量重合区域无需特制标定物的多深度相机外参配准的方法,其特征在于,包括:
使用人体骨骼提取算法提取三维人体骨骼点作为特征点,进行相机外参配准。
2.根据权利要求1中所述的多深度相机,其特征在于,使用两台及以上的深度相机。
3.根据权利要求1中所述的深度相机,其特征在于,使用的深度相机为TOF激光雷达、结构光深度相机、双目深度相机或基于深度学习的单目深度相机。
4.根据权利要求1中所述的人体骨骼提取算法,其特征在于,所述的骨骼提取算法包括:提取出xyz空间坐标的人体骨骼提取算法。
5.一种少量重合区域无需特制标定物的多深度相机外参配准的方法,其特征在于,包括:
通过使用点对点ICP算法,使用三维人体骨骼的至少三个骨骼点,进行初步的配准,计算出相机局部配准外参矩阵T1;
其中ICP算法如下:
给定两个点云的点集如(1)所示:
其中X表示源点集,P表示目标点集,N表示点集对应的数量;
点云的配准过程中需要找到两个点集的相对位姿变换,从而使得两个点集的距离最小化,其最小化形式如(2)所示:
其中R表示为旋转矩阵,t 表示为平移矩阵.;
由于旋转矩阵R会引进三角量,因此不能采用最小二乘法来进行求解,这里将引入两组点云的质心,如(3)所示:
通过对误差函数进行如下的处理:
其中
这里需要先计算出两组点的质心坐标之后,再计算每个点的去质心坐标,其中去质心坐标表示如(6)所示:
接下来将R的误差项进行展开:
通过引入矩阵的迹的性质将问题进行转换,如(8)所示:
通过上式可知可以获得最大值,ICP的最终解为:
通过使用T1作为初值,对全局骨骼点进行全局配准从而得到新的相机之间的外参矩阵T2,T2为最终外参标定结果。
6.根据权利要求5中所述的外参配准方法,其特征在于,包括:
可以把奇异值分解(SVD)的非线性优化方法替换为任意非线性优化方法,如随机梯度下降、高斯牛顿法、遗传算法或粒子群算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210976978.6A CN115359128A (zh) | 2022-08-16 | 2022-08-16 | 一种少量重合区域无需特制标定物的多深度相机外参标定的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210976978.6A CN115359128A (zh) | 2022-08-16 | 2022-08-16 | 一种少量重合区域无需特制标定物的多深度相机外参标定的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115359128A true CN115359128A (zh) | 2022-11-18 |
Family
ID=84033090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210976978.6A Pending CN115359128A (zh) | 2022-08-16 | 2022-08-16 | 一种少量重合区域无需特制标定物的多深度相机外参标定的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115359128A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117994357A (zh) * | 2024-04-03 | 2024-05-07 | 江苏开放大学(江苏城市职业学院) | 一种基于时序性的多深度相机联合优化方法及系统 |
-
2022
- 2022-08-16 CN CN202210976978.6A patent/CN115359128A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117994357A (zh) * | 2024-04-03 | 2024-05-07 | 江苏开放大学(江苏城市职业学院) | 一种基于时序性的多深度相机联合优化方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108648240B (zh) | 基于点云特征地图配准的无重叠视场相机姿态标定方法 | |
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及系统 | |
US9117269B2 (en) | Method for recognizing objects in a set of images recorded by one or more cameras | |
CN108010036A (zh) | 一种基于rgb-d相机的物体对称轴检测方法 | |
WO2012039043A1 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
CN103983186B (zh) | 双目视觉系统校正方法及校正设备 | |
Tamas et al. | Targetless calibration of a lidar-perspective camera pair | |
CN103971378A (zh) | 一种混合视觉系统中全景图像的三维重建方法 | |
CN109961485A (zh) | 一种基于单目视觉进行目标定位的方法 | |
CN110738703B (zh) | 定位方法及装置、终端、存储介质 | |
CN110532865B (zh) | 基于可见光与激光融合的航天器结构识别方法 | |
KR20240089161A (ko) | 촬영 측정 방법, 장치, 기기 및 저장 매체 | |
CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN111047652B (zh) | 一种快速的多tof相机外参标定方法和装置 | |
CN115359128A (zh) | 一种少量重合区域无需特制标定物的多深度相机外参标定的方法 | |
CN115311369A (zh) | 一种低成本适用少量重合区域的高精度多rgb-d相机的外参标定方法 | |
Shen et al. | A 3D modeling method of indoor objects using Kinect sensor | |
CN116630423A (zh) | 一种基于orb特征的微小型机器人多目标双目定位方法及系统 | |
KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
KR20200057929A (ko) | 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램 | |
CN115797466A (zh) | 一种快速的三维空间标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20221118 |