CN116597020A - 外参数标定方法、计算设备、图像采集系统和存储介质 - Google Patents
外参数标定方法、计算设备、图像采集系统和存储介质 Download PDFInfo
- Publication number
- CN116597020A CN116597020A CN202310588383.8A CN202310588383A CN116597020A CN 116597020 A CN116597020 A CN 116597020A CN 202310588383 A CN202310588383 A CN 202310588383A CN 116597020 A CN116597020 A CN 116597020A
- Authority
- CN
- China
- Prior art keywords
- image acquisition
- image
- dimensional coordinate
- target object
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013507 mapping Methods 0.000 claims abstract description 42
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000036544 posture Effects 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004429 Calibre Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种外参数标定方法、计算设备、图像采集系统和存储介质，该包括：获取目标对象的多个不同角度的多张图像；提取目标对象的多个特征点，确定每个特征点在每张图像中的第一二维坐标；基于所述图像采集系统中的指定图像采集装置的三维坐标系与目标对象的世界坐标系之间的第一外参数，以及所述指定图像采集装置与其他图像采集装置的三维坐标系之间的第二外参数，建立第一映射关系和第二映射关系；对于多张图像中的多个特征点，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，在所述误差满足预设误差条件时，确定所述第一外参数和所述第二外参数。可以在用户无感知情况下利用用户人脸图像完成图像采集装置的外参数标定。
Description
技术领域
本发明涉及全息成像技术领域，尤其涉及一种外参数标定方法、计算设备、图像采集系统和存储介质。
背景技术
相关技术中，VR(Virtual Reality，虚拟现实)/AR(Augmented Reality，增强现实)以及全息远程视频通信等相关产品大多包含多个相机模块，参考图1，产品所呈现出的立体显示效果或三维交互效果均依赖于产品内部的基于立体视觉的各种算法，而各算法的输出精度则很大程度上受限于各相机模块的内、外参数的准确性。通常，相机的内参数(即相机内参矩阵与畸变系数)自相机出厂后即保持固定不变，但相机外参数(即各相机模块坐标系之间的变换矩阵或与指定的世界坐标系之间的变换矩阵)通常由于相机模块的装配误差以及维修或搬运中震动产生的偏移等原因而产生变化，如果此时不对相机外参数进行重新标定，产品内部算法将使用不准确的外参数(即出厂参数)进行运算，最终影响系统的交互体验效果。
目前，相机外参数的标定通常需要专业操作人员利用各相机模块同步拍摄多张包含各种角度和位置的规定尺寸标定板(参考图2)的图像，并利用专业标定工具(例如matlab、OpenCV等)计算出各相机模块坐标系之间的变换矩阵。在此标定过程中，需要操作人员具有一定的专业理论基础(例如，设置合理的标定板摆放位置)，采购指定的专业设备(例如，标定板)以及付出一定的工作量(标定板的移动)才能实现，复杂且专业的标定过程将大大降低用户的体验效果。
因此，需要一种新的相机外参数的标定方法，以至少解决上述问题。
发明内容
本发明的主要目的是提供一种外参数标定方法、计算设备、图像采集系统和存储介质，以简化图像采集装置的外参数标定方法，为用户带来更好的使用体验。
本发明提供一种图像采集装置的外参数标定方法，包括：获取目标对象的多个不同角度的多张图像，其中，所述多张图像由图像采集系统的多个图像采集装置采集，所述目标对象包括目标人脸；提取目标对象的多个特征点，确定每个特征点在每张图像中的第一二维坐标；基于所述图像采集系统中的指定图像采集装置的三维坐标系与目标对象的世界坐标系之间的第一外参数，以及所述指定图像采集装置与其他图像采集装置的三维坐标系之间的第二外参数，建立所述特征点在目标对象的世界坐标系中的三维坐标与其在每个图像采集装置的三维坐标系中的三维坐标之间的第一映射关系；基于所述第一映射关系，建立所述特征点在每个图像采集装置的三维坐标系中的三维坐标与其在该图像采集装置的二维坐标系中的第二二维坐标之间的第二映射关系；对于多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，在所述误差满足预设误差条件时，确定所述第一外参数和所述第二外参数。
在一实施例中，获取目标对象的多个不同角度的多张图像，包括：获取目标对象处于不同姿态时的多个不同角度的多张图像；对于多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，在所述误差满足预设误差条件时，确定所述第一外参数和所述第二外参数，包括：对于目标对象处于不同姿态时的多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，在所述误差满足预设误差条件时，确定所述第一外参数和所述第二外参数。
在一实施例中，提取目标对象的多个特征点，确定每个特征点在每张图像中的第一二维坐标，包括：利用opencv算法或机器学习模型，提取目标人脸的多个特征点，确定每个特征点在每张图像中的第一二维坐标。
在一实施例中，基于所述图像采集系统中的指定图像采集装置的三维坐标系与目标对象的世界坐标系之间的第一外参数，以及所述指定图像采集装置与其他图像采集装置的三维坐标系之间的第二外参数，建立所述特征点在目标对象的世界坐标系中的三维坐标与其在每个图像采集装置的三维坐标系中的三维坐标之间的第一映射关系，包括：
利用下式建立所述第一映射关系：
其中，表示在目标对象处于第t个姿态时，所述特征点在第i个图像采集装置的三维坐标系中的三维坐标，t＝0,1,…,n，i＝0,1,…,k,…,m-1，c表示图像采集装置，/>表示所述第一外参数，iTk表示所述第二外参数，k表示第k个图像采集装置为指定图像采集装置，current_shape_3Dt表示所述特征点处于第t个姿态时在世界坐标系中的三维坐标。
在一实施例中，基于所述第一映射关系，建立所述特征点在每个图像采集装置的三维坐标系中的三维坐标与其在该图像采集装置的二维坐标系中的第二二维坐标之间的第二映射关系，包括：
利用下式建立所述第二映射关系：
其中，表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置的二维坐标系中的第二二维坐标，t＝0,1,…,n，i＝0,1,…,m-1，j＝0,1,…,67，c表示图像采集装置，Ki表示第i个图像采集装置的内参数，/>表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置的三维坐标系中的三维坐标。
在一实施例中，对于目标对象处于不同姿态时的多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，包括：利用下式确定所述误差：
其中，error_All表示所述第二二维坐标与相应的所述第一二维坐标之间的误差，表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置的二维坐标系中的第二二维坐标，t＝0,1,…,n，i＝0,1,…,m-1，j＝0,1,…,67，c表示图像采集装置，Landmarks_2dt,i,j表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置所采集的图像中的第一二维坐标。
在一实施例中，所述指定图像采集装置包括：所述多个图像采集装置中最正对所述目标人脸的图像采集装置；或二维坐标平面平行于目标人脸的双眼与嘴巴连线所形成的平面的图像采集装置。
在一实施例中，包括：利用最小二乘法确定满足预设误差条件的误差，以继而确定所述第一外参数和所述第二外参数。
在一实施例中，还包括：对每张图像进行畸变校正处理，以消除每个图像采集装置自身造成的图像畸变。
在一实施例中，所述畸变包括径向畸变和切向畸变；
利用下式对图像的径向畸变进行校正：
x0＝x(1+k1r2+k2r4+k3r6)
y0＝y(1+k1r2+k2r4+k3r6)
其中，(x0，y0)为校正前图像上任意一点的坐标，(x，y)为校正后图像上所述任意一点的坐标，r2＝x2+y2，k1～k3表示径向畸变系数；
利用下式对图像的切向畸变进行校正：
x0＝x+[2p1xy+p2(r2+2x2)]
y0＝x+[2p2xy+p1(r2+2y2)]
其中，(x0，y0)为校正前图像上任意一点的坐标，(x，y)为校正后图像上得到任意一点的坐标，p1与p2表示切向畸变系数。
在一实施例中，还包括：利用下式确定所述特征点在目标人脸的世界坐标系中的三维坐标：
current_shape_3Dt＝mean_shape+pv·paramst
其中，current_shape_3Dt表示在目标对象处于第t个姿态时，所述特征点在目标人脸的世界坐标系中的三维坐标，mean_shape表示预设的平均人脸模型，pv表示人脸特征向量，mean_shape和pv均为固定常数，paramst表示在目标对象处于第t个姿态时的迭代参数。
本发明提供一种计算设备，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，实现上述的图像采集装置的外参数标定方法的步骤。
本发明提供一种图像采集系统，包括多个图像采集装置以及上述的计算设备。
本发明提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序被所述处理器执行时，实现上述的图像采集装置的外参数标定方法的步骤。
利用本发明的方法，可以在用户无感知情况下拍摄包含用户人脸的图像，利用用户人脸图像进行图像采集装置的外参数标定，整个过程无需用户主动配合，也无需专业人员操作，操作简便，用户可自行完成标定，相比于相关技术中的标定方法，能够为用户带来更好的使用体验。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，在附图中：
图1为相关技术中全息远程视频通信系统中各相机模块的分布示意图；
图2为相关技术中的标定板的示意图；
图3为根据本申请一示例性实施方式的图像采集装置的外参数标定方法的流程图；
图4为根据本申请一实施例的提取的目标人脸的68个特征点的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
在全息产品的体验或参观过程中，用户人脸大多会出现在产品各相机模块的视野范围中，而人脸为典型的非刚性目标，在自然状态下人脸上的特征点的位置会产生丰富的变化，人脸完全可以替代相机外参数标定过程中的标定板的作用。
据此，本发明可以利用用户使用产品时各相机模块拍摄到的用户自然状态下的人脸图像，求解出各相机模块坐标系之间的变换矩阵即相机外参数的最优解，实现产品的相机模块的外参数标定。
参考图3，本实施例提供一种图像采集装置的外参数标定方法，包括：
S100：获取目标对象的多个不同角度的多张图像，其中，所述多张图像由图像采集系统的多个图像采集装置采集，所述目标对象包括目标人脸。
S200：提取目标对象的多个特征点，确定每个特征点在每张图像中的第一二维坐标。
S300：基于所述图像采集系统中的指定图像采集装置的三维坐标系与目标对象的世界坐标系之间的第一外参数，以及所述指定图像采集装置与其他图像采集装置的三维坐标系之间的第二外参数，建立所述特征点在目标对象的世界坐标系中的三维坐标与其在每个图像采集装置的三维坐标系中的三维坐标之间的第一映射关系。
S400：基于所述第一映射关系，建立所述特征点在每个图像采集装置的三维坐标系中的三维坐标与其在该图像采集装置的二维坐标系中的第二二维坐标之间的第二映射关系。
S500：对于多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，在所述误差满足预设误差条件时，确定所述第一外参数和所述第二外参数。
在本实施例中，图像采集装置可以包括摄像机和相机等能够采集图像的装置，本申请对此不做具体限定。图像采集系统可以包括多个图像采集装置，多个图像采集装置可以分布于目标对象的四周，多个图像采集装置可以同时采集目标对象的不同角度的图像，从而得到目标对象的多个不同角度的多张图像。参考图1，其中1～4为图像采集装置，5～8为同步触发信号，9为同步盒，10为目标对象，在进行图像采集时，可以控制同步盒同时向4个图像采集装置发送同步触发信号，各图像采集装置则同时获取目标对象的多个不同角度的图像。
在本实施例中，目标对象可以包括目标人脸，在其他实施例中，也可以包括刚性物体或其他非刚性物体。在目标对象为人脸的情况下，可以利用OpenCV算法(在OpenCV中，图像即为矩阵，在读取图像的像素时，灰度图像直接返回灰度值，彩色图像则返回R、G、B三个分量(分别对应三原色红、绿、蓝))提取目标人脸的多个特征点，也可以利用机器学习模型来提取目标人脸的多个特征点，其中，机器学习模型例如dlib(基于深度学习的人脸特征点检测算法)、PFLD(Pratical Facial Landmark Detector，人脸关键点检测)，等等。特征点的数量例如可以为5个、29个、68个、106个或202个等，本领域技术人员可以根据需要进行选择，在本实施例中，可以提取68个特征点，参考图4。
在本实施例中，基于所述图像采集系统中的指定图像采集装置的三维坐标系与目标对象的世界坐标系之间的第一外参数，以及所述指定图像采集装置与其他图像采集装置的三维坐标系之间的第二外参数，建立所述特征点在目标对象的世界坐标系中的三维坐标与其在每个图像采集装置的三维坐标系中的三维坐标之间的第一映射关系，从而可以将特征点在目标对象的世界坐标系中的三维坐标转换为每个图像采集装置的三维坐标系中的三维坐标。
在本实施例中，基于所述第一映射关系，建立所述特征点在每个图像采集装置的三维坐标系中的三维坐标与其在该图像采集装置的二维坐标系中的第二二维坐标之间的第二映射关系，从而将特征点在每个图像采集装置中的三维坐标转换为其在该图像采集装置中的二维坐标。
在本实施例中，对于多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，从而将利用各个图像采集装置的外参数转换得到的二维坐标与直接获取的图像中的二维坐标进行比较，通过控制误差满足的预设误差条件，确定出第一外参数和第二外参数，并且，所确定出的第一和第二外参数满足准确性要求。
通过本实施例的图像采集装置的外参数标定方法，可以在用户无感知情况下获取包含用户人脸的图像，利用用户人脸图像进行图像采集装置的外参数标定，整个过程无需专业人员操作，也无需用户主动配合，操作简便，用户可自行完成标定，相比于相关技术中的标定方法，能够为用户带来更好的使用体验。
在一实施方式中，获取目标对象的多个不同角度的多张图像，可以包括：获取目标对象处于不同姿态时的多个不同角度的多张图像。对于多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，在所述误差满足预设误差条件时，确定所述第一外参数和所述第二外参数，可以包括：对于目标对象处于不同姿态时的多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，在所述误差满足预设误差条件时，确定所述第一外参数和所述第二外参数。
在本实施方式中，在目标对象为目标人脸的情况下，无需用户配合，可以在某一时刻获取目标人脸在一姿态下的多个不同角度的多张图像，可以在多个时刻获取目标人脸的图像，从而采集到丰富的图像数据。
通过获取目标对象处于不同姿态时的多个不同角度的多张图像，可以提高图像数据的多样性，使得对图像采集装置的外参数的标定结果更加准确。
在一实施方式中，基于所述图像采集系统中的指定图像采集装置的三维坐标系与目标对象的世界坐标系之间的第一外参数，以及所述指定图像采集装置与其他图像采集装置的三维坐标系之间的第二外参数，建立所述特征点在目标对象的世界坐标系中的三维坐标与其在每个图像采集装置的三维坐标系中的三维坐标之间的第一映射关系，包括：
利用下式建立所述第一映射关系：
其中，表示在目标对象处于第t个姿态时，所述特征点在第i个图像采集装置的三维坐标系中的三维坐标，t＝0,1,…,n，i＝0,1,…,k,…,m-1，c表示图像采集装置，/>表示所述第一外参数，随着目标对象的姿态变化而变化，iTk表示所述第二外参数，与多个图像采集装置之间的相对位置关系有关，k表示第k个图像采集装置为指定图像采集装置，current_shape_3Dt表示所述特征点处于第t个姿态时在世界坐标系中的三维坐标。
在一实施方式中，所述指定图像采集装置可以包括：所述多个图像采集装置中最正对所述目标人脸的图像采集装置；或二维坐标平面平行于目标人脸的双眼与嘴巴连线所形成的平面的图像采集装置。
在本实施方式中，指定图像采集装置可以选用能够拍摄到平铺开的尽可能多的特征点的图像采集装置，例如，正对目标人脸的图像采集装置，或二维坐标平面与目标人脸的双眼与嘴的连线平面平行的图像采集装置。
通过选用合适的图像采集装置作为指定图像采集装置，能够降低图像上重合的特征点或位置接近的特征点的数量，避免后续进行误差计算时信息量减少，有利于提高外参数估计的准确性。
例如，参考图4，可以通过判断左脸最边缘点(特征点1)到鼻子所在直线(特征点28～31)的距离与右脸最边缘点(特征点17)到鼻子所在直线的距离之间的比例关系，来判断目标人脸是否左右转动；同理，可以根据眉毛距离嘴巴的距离与嘴巴距离下巴的距离之间的比例关系，来判断目标人脸是否俯仰，从而判断图像采集装置所面对的目标人脸是否处于正面。
例如，还可以根据图像采集装置与目标人脸的双眼以及嘴巴之间的距离，来判断该图像采集装置的二维坐标平面与目标人脸的双眼与嘴巴连线所形成的平面是否平行。
在一实施方式中，还可以包括：利用下式确定所述目标人脸的特征点在目标人脸的世界坐标系中的三维坐标：
current_shape_3Dt＝mean_shape+pv·paramst
其中，current_shape_3Dt表示在目标对象处于第t个姿态时，所述特征点在目标人脸的世界坐标系中的三维坐标，mean_shape表示预设的平均人脸模型，pv表示人脸特征向量，mean_shape和pv均为固定常数；paramst表示在目标对象处于第t个姿态时的迭代参数，随着特征点的坐标的变化而变化。本实施方式的确定所述特征点在目标人脸的世界坐标系中的三维坐标的方法，具体可参见申请号为202280004769.3的专利文献。
在其他实施方式中，也可以借助深度图像采集装置来确定特征点在目标人脸的世界坐标系中的三维坐标，本领域技术人员可以根据需要采用合适的方法。
在一实施方式中，基于所述第一映射关系，建立所述特征点在每个图像采集装置的三维坐标系中的三维坐标与其在该图像采集装置的二维坐标系中的第二二维坐标之间的第二映射关系，包括：
利用下式建立所述第二映射关系：
其中，表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置的二维坐标系中的第二二维坐标，t＝0,1,…,n，i＝0,1,…,m-1，j＝0,1,…,67，c表示图像采集装置，Ki表示第i个图像采集装置的内参数，/>表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置的三维坐标系中的三维坐标。
其中，目标对象处于第t个姿态时，所述特征点在世界坐标系中的三维坐标可以表示为
在一实施方式中，对于目标对象处于不同姿态时的多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，包括：
利用下式确定所述误差：
其中，error_All表示所述第二二维坐标与相应的所述第一二维坐标之间的误差，表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置的二维坐标系中的第二二维坐标，t＝0,1,…,n，i＝0,1,…,m-1，j＝0,1,…,67，c表示图像采集装置，Landmarks_2dt,i,j表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置所采集的图像中的第一二维坐标。
其中，在目标对象处于第t个姿态时，第i个图像采集装置所对应多个特征点的第二二维坐标与第一二维坐标之间的误差可以用下式表示：
其中，对于目标对象的n个姿态，第i个图像采集装置所对应的多个特征点的的第二二维坐标与第一二维坐标之间的误差可以用下式表示：
其中，对于目标对象的n个姿态，m-1个图像采集装置所对应的多个特征点的第二二维坐标与第一二维坐标之间的误差可以用下式表示：
也即上述的第一二维坐标与第二二维坐标之间的误差。
在本实施方式中，利用目标对象在不同姿态下的多张图像中的多个特征点的第一二维坐标与第二二维坐标之间的距离差，来表示第一二维坐标与第二二维坐标之间的误差，从而在该误差满足预设误差条件时，可以确定出第一外参数和第二外参数。
在一实施方式中，可以包括：利用最小二乘法确定满足预设误差条件的误差，，以继而确定所述第一外参数和所述第二外参数。例如，可以借助ceres-solver寻求满足预设误差条件的误差。在其他实施方式中，例如，也可以通过梯度下降法、牛顿法等方法来确定满足预设误差条件的误差。其中，预设误差条件例如可以包括误差不超过5，10等等，在可能的情况下，也可以设定为百分数，本申请对此不做具体限定。
通过确定满足预设误差条件的误差，可以求解出第一外参数第二外参数iTk以及迭代参数paramst。
在一实施方式中，还可以包括：对每张图像进行畸变校正处理，以消除每个图像采集装置自身造成的图像畸变。
通常，图像采集装置的透镜不完全平行于图像屏幕，从而产生切向畸变；由于光线弯曲从而产生径向畸变。对于图像的几何校正，可以采用坐标变换对畸变进行校正。
在一实施方式中，
利用下式对图像的径向畸变进行校正：
x0＝x(1+k1r2+k2r4+k3r6)
y0＝y(1+k1r2+k2r4+k3r6)
其中，(x0，y0)为校正前图像上任意一点的坐标，(x，y)为校正后图像上所述任意一点的坐标，r2＝x2+y2，表示图像上距离中心点越远则畸变越大，k1～k3表示径向畸变系数；
利用下式对图像的切向畸变进行校正：
x0＝x+[2p1xy+p2(r2+2x2)]
y0＝x+[2p2xy+p1(r2+2y2)]
其中，(x0，y0)为校正前图像上任意一点的坐标，(x，y)为校正后图像上所述任意一点的坐标，p1与p2表示切向畸变系数。
将图像上每个点经过上述坐标变换，即可得到校正后的图像。其中，径向畸变系数k1～k3以及切向畸变系数p1与p2可以借助软件算法来获取，例如，可以利用matlab的CameraCalibrator工具箱或OpenCV库的calibrate Camera函数等工具来获取获取，本申请对此不做具体限定。
在一实施方式中，在对每张图像进行畸变校正处理之后，还可以包括：更新每个图像采集装置的内参数。可以根据畸变校正后的各像素坐标更新图像采集装置的内参数。
利用本发明的方法，可以在用户无感知情况下拍摄包含用户人脸的图像，利用用户人脸图像进行图像采集装置的外参数标定，整个过程无需专业人员操作或指导，也无需用户主动配合，操作简便，用户可自行完成标定，相比于相关技术中的标定方法，能够为用户带来更好的使用体验。
本实施例提供一种计算设备，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，实现上述的图像采集装置的外参数标定方法的步骤。
在一个实施例中，该计算设备可以包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash FLASH RAM)。内存是计算机可读介质的示例。
本实施例提供一种图像采集系统，包括多个图像采集装置以及上述的计算设备。
本实施例的图像采集系统，能够在用户无感知的情况下，利用用户的人脸图像实现对图像采集系统中各个图像采集装置的外参数进行标定，整个过程无需用户主动配合，也无需专业技术人员操作，可由用户自行完成，能够为用户带来更好的使用体验。
本实施例提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序被所述处理器执行时，实现上述的图像采集装置的外参数标定方法的步骤。
计算机程序可以采用一个或多个存储介质的任意组合。存储介质可以是可读信号介质或可读存储介质。
可读存储介质例如可以包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)可以包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，例如可以包括电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何存储介质，该存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的计算机程序可以用任何适当的介质传输，例如可以包括无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序。程序设计语言可以包括面向对象的程序设计语言——例如Java、C++等，还可以包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户计算设备上执行、部分地在用户设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网(例如可以包括局域网或广域网)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换。
应当理解的是，本说明书中的示例性实施方式可以由多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施方式。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。提供这些实施方式是为了使得本申请的公开彻底且完整，并且将这些示例性实施方式的构思充分传达给本领域普通技术人员，而不应当理解为对本发明的限制。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (14)
1.一种图像采集装置的外参数标定方法，其特征在于，包括：
获取目标对象的多个不同角度的多张图像，其中，所述多张图像由图像采集系统的多个图像采集装置采集，所述目标对象包括目标人脸；
提取目标对象的多个特征点，确定每个特征点在每张图像中的第一二维坐标；
基于所述图像采集系统中的指定图像采集装置的三维坐标系与目标对象的世界坐标系之间的第一外参数，以及所述指定图像采集装置与其他图像采集装置的三维坐标系之间的第二外参数，建立所述特征点在目标对象的世界坐标系中的三维坐标与其在每个图像采集装置的三维坐标系中的三维坐标之间的第一映射关系；
基于所述第一映射关系，建立所述特征点在每个图像采集装置的三维坐标系中的三维坐标与其在该图像采集装置的二维坐标系中的第二二维坐标之间的第二映射关系；
对于多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，在所述误差满足预设误差条件时，确定所述第一外参数和所述第二外参数。
2.根据权利要求1所述的图像采集装置的外参数标定方法，其特征在于，获取目标对象的多个不同角度的多张图像，包括：
获取目标对象处于不同姿态时的多个不同角度的多张图像；
对于多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，在所述误差满足预设误差条件时，确定所述第一外参数和所述第二外参数，包括：
对于目标对象处于不同姿态时的多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，在所述误差满足预设误差条件时，确定所述第一外参数和所述第二外参数。
3.根据权利要求1所述的图像采集装置的外参数标定方法，其特征在于，提取目标对象的多个特征点，确定每个特征点在每张图像中的第一二维坐标，包括：
利用opencv算法或机器学习模型，提取目标人脸的多个特征点，确定每个特征点在每张图像中的第一二维坐标。
4.根据权利要求2所述的图像采集装置的外参数标定方法，其特征在于，基于所述图像采集系统中的指定图像采集装置的三维坐标系与目标对象的世界坐标系之间的第一外参数，以及所述指定图像采集装置与其他图像采集装置的三维坐标系之间的第二外参数，建立所述特征点在目标对象的世界坐标系中的三维坐标与其在每个图像采集装置的三维坐标系中的三维坐标之间的第一映射关系，包括：
利用下式建立所述第一映射关系：
其中，表示在目标对象处于第t个姿态时，所述特征点在第i个图像采集装置的三维坐标系中的三维坐标，t＝0,1,…,n，i＝0,1,…,k,…,m-1，c表示图像采集装置，/>表示所述第一外参数，iTk表示所述第二外参数，k表示第k个图像采集装置为指定图像采集装置，current_shape_3Dt表示所述特征点处于第t个姿态时在世界坐标系中的三维坐标。
5.根据权利要求2所述的图像采集装置的外参数标定方法，其特征在于，基于所述第一映射关系，建立所述特征点在每个图像采集装置的三维坐标系中的三维坐标与其在该图像采集装置的二维坐标系中的第二二维坐标之间的第二映射关系，包括：
利用下式建立所述第二映射关系：
其中，表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置的二维坐标系中的第二二维坐标，t＝0,1,…,n，i＝0,1,…,m-1，j＝0,1,…,67，c表示图像采集装置，Ki表示第i个图像采集装置的内参数，/>表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置的三维坐标系中的三维坐标。
6.根据权利要求2所述的图像采集装置的外参数标定方法，其特征在于，对于目标对象处于不同姿态时的多张图像中的多个特征点，基于所述第二映射关系，确定所述第二二维坐标与相应的所述第一二维坐标之间的误差，包括：
利用下式确定所述误差：
其中，error_All表示所述第二二维坐标与相应的所述第一二维坐标之间的误差，表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置的二维坐标系中的第二二维坐标，t＝0,1,…,n，i＝0,1,…,m-1，j＝0,1,…,67，c表示图像采集装置，Landmarks_2dt,i,j表示在目标对象处于第t个姿态时，第j个所述特征点在第i个图像采集装置所采集的图像中的第一二维坐标。
7.根据权利要求1所述的图像采集装置的外参数标定方法，其特征在于，所述指定图像采集装置包括：
所述多个图像采集装置中最正对所述目标人脸的图像采集装置；或
二维坐标平面平行于目标人脸的双眼与嘴巴连线所形成的平面的图像采集装置。
8.根据权利要求1所述的图像采集装置的外参数标定方法，其特征在于，包括：
利用最小二乘法确定满足预设误差条件的误差，以继而确定所述第一外参数和所述第二外参数。
9.根据权利要求1所述的图像采集装置的外参数标定方法，其特征在于，还包括：
对每张图像进行畸变校正处理，以消除每个图像采集装置自身造成的图像畸变。
10.根据权利要求9所述的图像采集装置的外参数标定方法，其特征在于，所述畸变包括径向畸变和切向畸变；
利用下式对图像的径向畸变进行校正：
x0＝x(1+k1r2+k2r4+k3r6)
y0＝y(1+k1r2+k2r4+k3r6)
其中，(x0,y0)为校正前图像上任意一点的坐标，(x,y)为校正后图像上所述任意一点的坐标，r2＝x2+y2，k1～k3表示径向畸变系数；
利用下式对图像的切向畸变进行校正：
x0＝x+[2p1xy+p2(r2+2x2)]
y0＝x+[2p2xy+p1(r2+2y2)]
其中，(x0,y0)为校正前图像上任意一点的坐标，(x,y)为校正后图像上得到任意一点的坐标，p1与p2表示切向畸变系数。
11.根据权利要求1所述的图像采集装置的外参数标定方法，其特征在于，还包括：
利用下式确定所述特征点在目标人脸的世界坐标系中的三维坐标：
current_shape_3Dt＝mean_shape+pv·paramst
其中，current_shape_3Dt表示在目标对象处于第t个姿态时，所述特征点在目标人脸的世界坐标系中的三维坐标，mean_shape表示预设的平均人脸模型，pv表示人脸特征向量，mean_shape和pv均为固定常数，paramst表示在目标对象处于第t个姿态时的迭代参数。
12.一种计算设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1至11中任一项所述的图像采集装置的外参数标定方法的步骤。
13.一种图像采集系统，其特征在于，包括多个图像采集装置以及如权利要求12所述的计算设备。
14.一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1至11中任一项所述的图像采集装置的外参数标定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310588383.8A CN116597020A (zh) | 2023-05-23 | 2023-05-23 | 外参数标定方法、计算设备、图像采集系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310588383.8A CN116597020A (zh) | 2023-05-23 | 2023-05-23 | 外参数标定方法、计算设备、图像采集系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116597020A true CN116597020A (zh) | 2023-08-15 |
Family
ID=87589472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310588383.8A Pending CN116597020A (zh) | 2023-05-23 | 2023-05-23 | 外参数标定方法、计算设备、图像采集系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597020A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333928A (zh) * | 2023-12-01 | 2024-01-02 | 深圳市宗匠科技有限公司 | 一种人脸特征点检测方法、装置、电子设备及存储介质 |
-
2023
- 2023-05-23 CN CN202310588383.8A patent/CN116597020A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333928A (zh) * | 2023-12-01 | 2024-01-02 | 深圳市宗匠科技有限公司 | 一种人脸特征点检测方法、装置、电子设备及存储介质 |
| CN117333928B (zh) * | 2023-12-01 | 2024-03-22 | 深圳市宗匠科技有限公司 | 一种人脸特征点检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210266518A1 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| WO2020046066A1 (en) | Method for training convolutional neural network to reconstruct an image and system for depth map generation from an image | |
| CN110427917B (zh) | 用于检测关键点的方法和装置 | |
| TWI591378B (zh) | 擴增實境系統之光學透視頭戴式顯示器之校準方法及非暫態電腦可讀媒體 | |
| CN112613609B (zh) | 基于联合位姿优化的神经辐射场增强方法 | |
| CN108363995B (zh) | 用于生成数据的方法和装置 | |
| CN110751681B (zh) | 一种增强现实的配准方法、装置、设备及存储介质 | |
| EP3633606B1 (en) | Information processing device, information processing method, and program | |
| CN108038886A (zh) | 双目摄像系统标定方法、装置及其汽车 | |
| US11403781B2 (en) | Methods and systems for intra-capture camera calibration | |
| CN109785373A (zh) | 一种基于散斑的六自由度位姿估计系统及方法 | |
| CN113129451A (zh) | 基于双目视觉定位的全息三维影像空间定量投影方法 | |
| CN116597020A (zh) | 外参数标定方法、计算设备、图像采集系统和存储介质 | |
| JP7474137B2 (ja) | 情報処理装置およびその制御方法 | |
| CN112329649A (zh) | 一种城市植被种类识别方法、系统、设备以及介质 | |
| Bianchi et al. | High-fidelity visuo-haptic interaction with virtual objects in multi-modal AR systems | |
| CN113662663B (zh) | 一种ar全息手术导航系统坐标系转换方法、装置及系统 | |
| WO2022184928A1 (en) | Calibration method of a portable electronic device | |
| CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
| WO2018222181A1 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| CN109587469B (zh) | 基于人工智能识别的影像处理方法及装置 | |
| CN110349109A (zh) | 基于鱼眼畸变校正方法及其系统、电子设备 | |
| KR102260754B1 (ko) | 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법 | |
| US11630510B2 (en) | System, method and storage medium for 2D on-screen user gaze estimation | |
| CN113920191B (zh) | 一种基于深度相机的6d数据集构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |