CN110490943B - 4d全息捕捉系统的快速精确标定方法、系统及存储介质 - Google Patents
4d全息捕捉系统的快速精确标定方法、系统及存储介质 Download PDFInfo
- Publication number
- CN110490943B CN110490943B CN201910791276.9A CN201910791276A CN110490943B CN 110490943 B CN110490943 B CN 110490943B CN 201910791276 A CN201910791276 A CN 201910791276A CN 110490943 B CN110490943 B CN 110490943B
- Authority
- CN
- China
- Prior art keywords
- calibration
- camera
- control
- holographic
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
本发明公开一种4D全息捕捉系统的快速精确标定方法、系统及存储介质，将具有若干标定面的标定装置置于4D全息捕捉系统的表演空间中，其中，标定装置的每一个标定面上均设置有若干控制点与控制直线，通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体包括以下步骤：步骤101，获取标定图像；步骤102，对所有标定图像进行识别，获得各标定图像中的控制点与控制直线的二维图像表示；步骤103，通过各控制点与控制直线在标定装置上的三维空间表示与二维图像表示结合摄像机标定方法进行摄像机标定，得到4D全息捕捉系统中各摄像机的内外参数，对4D全息捕捉系统中的多个摄像机同时进行高效、高精度、高稳定性的标定。
Description
技术领域
本发明涉及视频成像技术领域，具体是一种4D全息捕捉系统的快速精确标定方法、系统及存储介质。
背景技术
4D全息捕捉是指对现实空间静态或动态场景高质量、逼真的4D虚拟复现方法。具体的，4D是指3D空间及1D时间，即对场景物体不仅在空间上进行三维复现，也在时间维度上是可针对动态物体的4D全息捕捉也就是一种三维动态影像创建技术。全息是指对物体的虚拟复现是全方位的，包含的细节很丰富和逼真，例如人体的表情、姿态、服装、毛发等各种细节都能逼真复现。4D全息捕捉得到的三维动态影像我们称为4D视频或立体视频。
4D视频或立体视频相对于传统的媒介，具有以下特点：1)传统的媒介如图片、视频或全景视频，本质上都是2D内容，其视角和视点是不可以主动改变的；而4D视频本质是3D内容，其视角可以主动改变，并且视点位置是可以主动移动的；2)4D视频能够与传统的视频、全景视频等进行融合。所谓融合是指4D视频的内容可以以三维到二维的投影方式与普通视频、全景视频相叠加，得到虚拟和现实相互叠加的新图像内容。
如何快速、高精度对4D全息捕捉系统进行标定是4D全息捕捉的关键问题之一，关系到4D全息捕捉能复现的物体的三维精度。现有技术中常规4D全息捕捉系统的标定方法，需要对4D全息捕捉系统中的每一个摄像机一一进行标定，每一个摄像机标定过程中都需要单独对标定板进行拍摄获得标定图像，效率很低，使得4D全息捕捉系统中所有的摄像机全部获得标定图像将花费大量的时间成本；同时现有技术中对摄像机标定过程中获取的标定图像中所有的控制点在三维坐标系中都是处于同一个平面，使得在摄像机的标定过程中较易受到误差的影响，使得标定精度不高。
发明内容
针对现有技术中4D全息捕捉系统的标定效率、精度低的问题，本发明提供一种4D全息捕捉系统的快速精确标定方法、系统及存储介质。
为实现上述目的，本发明提供一种4D全息捕捉系统的快速精确标定方法，将具有若干标定面的标定装置置于4D全息捕捉系统的表演空间中，其中，标定装置的每一个标定面上均设置有若干控制点与控制直线，通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体包括以下步骤：
步骤101，获取标定图像；
步骤102，对所有标定图像进行识别，获得各标定图像中的控制点与控制直线的二维图像表示；
步骤103，通过各控制点与控制直线在标定装置上的三维空间表示与二维图像表示结合摄像机标定方法进行摄像机标定，得到4D全息捕捉系统中各摄像机的内外参数。
进一步优选的，所述控制点为黑白棋盘格图像中黑方块和/或白方块的角点，所述控制直线为黑白棋盘图像中由各黑方块与白方块之间的分割线。
进一步优选的，黑白棋盘格图像中至少有一部分黑方块和/或白方块上设置有标识，用于对控制点和控制直线进行识别，进而匹配同一个控制点和/或控制直线的二维图像表示与三维空间表示。
进一步优选的，所述通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体为：
通过4D全息捕捉系统中各摄像机对标定装置处于4D全息捕捉系统的表演空间中不同位置时的情况分别进行拍摄。
进一步优选的，步骤102中，获得各标定图像中的控制点与控制直线的二维图像表示的具体过程为：
步骤201，采用Harris角点检测算法得到各标定图像中黑白棋盘格图像中的控制点的第一二维图像坐标；
步骤202，采用Hough变换方法对各标定图像中黑白棋盘格图像中的各条控制直线进行检测，得到各条控制直线的二维图像坐标方程，即控制直线的二维图像表示；
步骤203，由检测到的所有控制直线确定各个交叉点，从而得到控制点的第二二维图像坐标；
步骤204，将同一个控制点的第一二维图像坐标与第二二维图像坐标进行加权平均，得到该控制点的二维图像坐标，即控制点的二维图像表示。
进一步优选的，步骤103中，所述摄像机标定方法分为两步标定过程：
第一步为采用Tsai标定方法，获得各摄像机内部参数以及粗糙外部参数；
第二步为通过建立基于各控制点和控制直线的三维空间表示与二维图像空间表示的残差模型，结合Tsai标定法获得的外部参数粗糙值作为初始值，获取最终的摄像机外部参数三维空间。
进一步优选的，所述摄像机的外部参数获取过程为：
步骤301，通过已知的各控制点的三维空间表示与二维图像表示获得若干控制点所在控制直线的二维位置表示与三维位置表示；
步骤302，根据步骤301中所有直线的二维图像表示与三维空间表示建立基于方向向量的残差方程模型：
式中，ec1表示摄像机c基于方向向量的残差，N表示由摄像机c拍摄的标定图像中所有已知控制直线的总数，i表示摄像机c拍摄的标定图像中的第i个控制直线，Ki表示摄像机c拍摄的标定图像中的第i个控制直线从三维投影到二维的投影算子，Di表示摄像机c拍摄的标定图像中的第i个控制直线的三维向量，Rc表示该摄像机c的姿态向量；
步骤303，根据已知的各控制点的三维空间表示与二维图像表示建立基于空间点位置的残差方程模型：
式中，ec2表示摄像机c基于空间点位置的残差，M表示由摄像机c拍摄的标定图像中所有已知控制点的总数，Pi表示摄像机c拍摄的标定图像中的第i个控制直线上的已知的控制点，Vi表示摄像机c拍摄的标定图像中的第i个控制直线上已知的控制点从三维投影到二维的投影算子，Tc表示该摄像机c的位置向量；
步骤304，将摄像机c的姿态向量与位置向量的最初值代入基于方向向量的残差方程模型与基于空间点位置的残差方程模型进行优化计算，即得到摄像机的最终姿态向量与位置向量，即外部参数，其中，摄像机c的姿态向量与位置向量的最初值由Tsai标定法获得。
进一步优选的，步骤304中，所述优化计算为最小化迭代优化。
为实现上述目的，本发明还提供一种4D全息捕捉系统的快速精确标定系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
本发明公开了一种4D全息捕捉系统的快速精确标定方法、系统及存储介质，通过将具有若干标定面的标定装置置于4D全息捕捉系统的表演空间中，通过4D全息捕捉系统中的各个摄像机同时对标定装置进行拍摄获得标定图像，进而根据标定图像中控制点与控制直线的三维空间表示与二维图像表示对4D全息捕捉系统中的多个摄像机同时进行高效、高精度、高稳定性的标定，有效的提升了工作效率与减少了工作量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例中标定装置的结构示意图；
图2为本发明实施例中ArUco编码在黑白棋盘格图像上的分布示意图；
图3为本发明实施例中4D全息捕捉系统的快速精确标定方法的流程示意图；
图4为本发明实施例中标定图像中的控制点的二维图像坐标的获取流程示意图；
图5为本发明实施例中摄像机外部参数的优化估计计算的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本实施例提供一种4D全息捕捉系统的快速精确标定方法，其中，标定是指对4D全息捕捉系统的摄像机标定。
本实施例首先提出一种标定装置，标定装置为多面刚性结构，可以是如图1所示的正八棱柱结构；也可以由相互叠加的正八棱柱与正八棱锥组合形成；标定装置的每一个标定面上均设贴装或标刻有控制图像，控制图像中具有若干控制点与控制直线，优选的，本实施例中，控制图像为由若干黑方块与白方块组成的黑白棋盘格图像，各黑方块与白方块的大小相同，控制图像每一行或列上黑方块与白方块的总数在7个以上，控制点为黑白棋盘格图像中黑方块和/或白方块的角点，控制直线为黑白棋盘图像中由各黑方块与白方块之间的分割线；采用黑白棋盘格图像作为控制图像，其中控制点为黑白棋盘格图像中黑方块和/或白方块的角点，使得各个控制点之间的位置关系相对固定，在利用全站仪测量控制点的三维空间坐标时，也能通过一个控制点的三维空间坐标直接推导出标定装置上同一面上其他控制点的三维空间坐标，减少了三维空间坐标的测量工序；同时也能与全站仪的测量结果相互印证，进而增加各控制点三维空间坐标测量的准确性，同时也能使得各控制直线为水平或竖直的情况，便于测量控制直线在三维空间坐标系下的表达式。其中，控制点在三维空间坐标系下的坐标即为控制点的三维控制表示，控制直线在在三维空间坐标系下的表达式即为控制直线的三维空间表示。
进一步的，黑白棋盘格图像中部分或全部的黑方块和/或白方块上设置有标识，用于对控制点进行识别。本实施例中的标识为固定粘结或绘制在黑方块或白方块中心区域的ArUco编码，ArUco编码标识是一种二进制方块标识，它由一个宽的黑边和一个内部的二进制矩阵组成，内部的矩阵决定了它们的ID号。ArUco编码标识是基于ArUco库，是一种检测二进制标识的计算机视觉库，是由Rafael 
and Sergio Garrido提出的，具体的方法参见文献：S.Garrido-Jurado,R.
F.J.Madrid-Cuevas,and M.J.Marín-Jiménez.2014."Automatic generation and detection of highly reliable fiducialmarkers under occlusion".Pattern Recogn.47,6(June2014),2280-2292.DOI＝10.1016/j.patcog.2014.01.005。每一个黑方块或白方块上的ArUco编码都各不相同，通过ArUco编码即能完成对部分或全部的控制点进行定位识别，进而完成后续过程中同一个控制点和/控制直线的三维空间表示与二维图像表示之间的匹配工作。如图2所示，黑白棋盘格图像中的白方块中均设置有不同的ArUco编码，通过对ArUco编码的识别即能完成对所有的控制点的识别定位。标识还可以是二维码、条形码等能够被计算机识别的图案。
将上述的标定装置置于4D全息捕捉系统的表演空间中，测得部分或全部控制点与控制直线的三维空间表示，并通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，将4D全息捕捉系统中各摄像机拍摄的具有标定面的图像作为标定图像，以用于后续的摄像机标定；
优选的，所述通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体为：通过4D全息捕捉系统中各摄像机对标定装置处于4D全息捕捉系统的表演空间中不同位置时的情况分别进行拍摄。即标定装置在4D全息捕捉系统的表演空间的一个位置被各摄像机拍摄获得标定图像后4D全息捕捉系统的表演空间内移动标定装置位置并再次使用各摄像机拍摄获得标定图像。本实施例中，标定装置在4D全息捕捉系统的表演空间内的拍摄位置为5～10个，获得多种不同角度的标定图像，进而提升后续过程中摄像机标定的精度。
在获得4D全息捕捉系统中各摄像机在多种不同角度拍摄的标定图像后，即能进行摄像机的标定，查考图3，具体包括以下步骤：
步骤101，获取4D全息捕捉系统中各摄像机所拍摄的具有标定面的标定图像；
步骤102，对步骤101中获得的所有标定图像进行识别，获得各标定图像中的控制点与控制直线的二维图像表示，其中，控制点的二维图像表示即控制点在图像坐标系下的坐标，控制直线的二维图像表示即为控制直线在图像坐标系下的表达式；同一个控制点和/或控制直线的三维空间表示与二维图像表示相对应，其中，获得各标定图像中的控制点的二维图像表示中的控制点具体指的是能够通过ArUco编码进行定位识别的控制点；
步骤103，通过各控制点与控制直线的三维空间表示与二维图像表示结合摄像机标定方法进行摄像机标定，得到4D全息捕捉系统中各摄像机的内外参数。
参考图4，步骤102中，获得各标定图像中的控制点的二维图像坐标的具体过程为：
步骤201，采用Harris角点检测算法得到各标定图像中黑白棋盘格图像中的控制点的第一二维图像坐标，其中，Harris角点检测是图像处理、计算机视觉领域常用的角点检测方法，因此本实施例中不再赘述；
步骤202，采用Hough变换方法对各标定图像中黑白棋盘格图像中的各条直线进行检测，得到各条控制直线的二维图像坐标方程，即控制直线的二维图像表示，其中，Hough变换直线检测是图像处理、计算机视觉常用的直线检测方法，因此本实施例中不再赘述；
步骤203，由检测到的所有直线确定各个交叉点，从而得到控制点的第二二维图像坐标；
步骤204，将同一个控制点的第一二维图像坐标与第二二维图像坐标进行加权平均，得到该控制点的二维图像坐标，即控制点的二维图像表示。
其中，首先通过Harris角点检测算法直接检测出黑白棋盘格图像中各个角点的坐标，即得到控制点在第一种图像识别方式下的二维图像坐标；随后通过Hough变换方法检测出黑白棋盘格图像中黑方块与白方块之间的分割线，得到各分割线的之间交点的坐标，即得到控制点在第二种图像识别方式下的二维图像坐标；最后将控制点在两种识别方式下的二维图像坐标进行加权融合，得到最终的控制点二维图像坐标，使得检测得到的控制点二维图像坐标具有更高的精度和鲁棒性。
优选的，步骤103中，摄像机标定方法分为两步标定过程：
第一步为采用Tsai标定方法，获得各摄像机内部参数以及粗糙外部参数；
第二步为通过建立基于各控制点和控制直线的三维空间表示与二维图像空间表示的残差模型，结合Tsai标定法获得的外部参数粗糙值作为初始值，获取最终的摄像机外部参数三维空间。
摄像机的内部参数具体包括等效焦距、主点坐标、畸变参数，Tsai摄像机标定方法是计算机视觉、遥感测量等领域的典型摄像机标定方法，采用Tsai摄像机标定方法估算摄像机的等效焦距、主点坐标、畸变参数属于常规技术手段，因此本实施例中不再赘述；
所述摄像机的外部参数通过各控制点的三维空间坐标与二维图像坐标结合Tsai标定法获得。摄像机的外部参数具体指的是摄像机的位置向量与姿态向量，本实施例中采用两步法对摄像机的位置向量与姿态向量进行计算：
第一步为通过Tsai摄像机标定方法计算出摄像机位置向量与姿态向量的最初值，这一过程属于常规技术手段，因此不再赘述；第二步综合利用控制点与ArUco编码特征对每个摄像机的位置向量Tc和姿态向量Rc的外部参数优化估计计算，本实施例通过采用一种基于2D-3D直线和点特征对应的摄像机位姿估计迭代优化方法进行外部参数的优化估计计算，参考图5，其过程具体为：
步骤301，通过已知的各控制点的三维空间坐标与二维图像坐标获得若干控制点所在控制直线的二维图像表示与三维空间表示，其中，已知的各控制点指的是已测量出三维空间坐标与二维图像坐标的控制点，控制点所在控制直线指的是黑白棋盘格图像上黑方块与白方块之间的分割线；
步骤302，根据步骤301中所有直线的二维图像表示与三维空间表示建立基于方向向量的残差方程模型，该方向向量残差方程模型的几何意义是所有标定图像中的图像直线对应的空间直线的方向向量应与由对应的空间直线、图像直线以及摄像机光心点组成的平面的法向量垂直。具体的，假定Di表示空间直线i的方向向量，Ki表示该直线对应的一种正交投影算子，该算子是将三维空间直线投影到二维图像像面，对于已知N个2D-3D直线对应，该投影算子是已知确定的。综合Di、Ki、对摄像机c对应的旋转矩阵Rc，因此所建立的残差方程模型为：
式中，ec1表示摄像机c基于方向向量的残差，N表示由摄像机c拍摄的标定图像中所有已知控制直线的总数，i表示摄像机c拍摄的标定图像中的第i个直线，Ki表示摄像机c拍摄的标定图像中的第i个控制直线从三维投影到二维的投影算子，Di表示摄像机c拍摄的标定图像中的第i个直线的三维向量，Rc表示该摄像机c的姿态向量；
步骤303，根据已知的各控制点的三维空间坐标与二维图像坐标建立基于空间点位置的残差方程模型具体为：假定Pi为空间控制直线i的已知的控制点，针对所有控制直线对应的已知控制点，以及所有控制点的2D-3D对应信息(设已知控制点对应个数为M)，建立一种基于空间点位置的残差方程模型。该残差方程的几何意义是所有二维投影点向空间反投影与实际的空间位置点在理想情况下应该是重合的。Vi表示三维空间点投影到二维图像的一种正交投影算子，对于已知的2D-3D点对应，该投影算子是已知确定的。综合Pi、Vi、对摄像机c对应的旋转矩阵Rc、位置平移向量Tc，因此建立的残差方程模型为：
式中，ec2表示摄像机c基于空间点位置的残差，M表示由摄像机c拍摄的标定图像中所有已知控制点的总数，Pi表示摄像机c拍摄的标定图像中的第i个控制直线上的已知的控制点，Vi表示摄像机c拍摄的标定图像中的第i个控制直线上已知的控制点从三维投影到二维的投影算子，Tc表示该摄像机c的位置向量；
步骤304，将摄像机c的姿态向量与位置向量的最初值代入基于方向向量的残差方程模型与基于空间点位置的残差方程模型进行最小化优化计算，可采用迭代优化的计算框架，先由当前第k次迭代得到的姿态向量Rc k和位置向量Tc k来最小化残差ec1得到更新的姿态向量Rc k′，再由更新的姿态向量Rc k′计算更新的位置向量值Tc k′；由得到的Rc k′和Tc k′，再最小化残差ec2得到新的Rc k+1和Tc k+1。由此可以得到最终的姿态和位置向量，即得到摄像机的最终外部参数。为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (8)
1.一种4D全息捕捉系统的快速精确标定方法，其特征在于，将具有若干标定面的标定装置置于4D全息捕捉系统的表演空间中，其中，标定装置的每一个标定面上均设置有若干控制点与控制直线，通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体包括以下步骤：
步骤101，获取标定图像；
步骤102，对所有标定图像进行识别，获得各标定图像中的控制点与控制直线的二维图像表示；
步骤103，通过各控制点与控制直线在标定装置上的三维空间表示与二维图像表示结合摄像机标定方法进行摄像机标定，得到4D全息捕捉系统中各摄像机的内外参数；
所述控制点为黑白棋盘格图像中黑方块和/或白方块的角点，所述控制直线为黑白棋盘图像中由各黑方块与白方块之间的分割线；
步骤102中，获得各标定图像中的控制点与控制直线的二维图像表示的具体过程为：
步骤201，采用Harris角点检测算法得到各标定图像中黑白棋盘格图像中的控制点的第一二维图像坐标；
步骤202，采用Hough变换方法对各标定图像中黑白棋盘格图像中的各条控制直线进行检测，得到各条控制直线的二维图像坐标方程，即控制直线的二维图像表示；
步骤203，由检测到的所有控制直线确定各个交叉点，从而得到控制点的第二二维图像坐标；
步骤204，将同一个控制点的第一二维图像坐标与第二二维图像坐标进行加权平均，得到该控制点的二维图像坐标，即控制点的二维图像表示。
2.根据权利要求1所述4D全息捕捉系统的快速精确标定方法，其特征在于，黑白棋盘格图像中至少有一部分黑方块和/或白方块上设置有标识，用于对控制点和控制直线进行识别，进而匹配同一个控制点和/或控制直线的二维图像表示与三维空间表示。
3.根据权利要求1所述4D全息捕捉系统的快速精确标定方法，其特征在于，所述通过4D全息捕捉系统中各摄像机对标定装置进行拍摄，具体为：
通过4D全息捕捉系统中各摄像机对标定装置处于4D全息捕捉系统的表演空间中不同位置时的情况分别进行拍摄。
4.根据权利要求2或3所述4D全息捕捉系统的快速精确标定方法，其特征在于，步骤103中，所述摄像机标定方法分为两步标定过程：
第一步为采用Tsai标定方法，获得各摄像机内部参数以及粗糙外部参数；
第二步为通过建立基于各控制点和控制直线的三维空间表示与二维图像空间表示的残差模型，结合Tsai标定法获得的外部参数粗糙值作为初始值，获取最终的摄像机外部参数三维空间。
5.根据权利要求4所述4D全息捕捉系统的快速精确标定方法，其特征在于，所述摄像机的外部参数获取过程为：
步骤301，通过已知的各控制点的三维空间表示与二维图像表示获得若干控制点所在控制直线的二维位置表示与三维位置表示；
步骤302，根据步骤301中所有直线的二维图像表示与三维空间表示建立基于方向向量的残差方程模型：
式中，ec1表示摄像机c基于方向向量的残差，N表示由摄像机c拍摄的标定图像中所有已知控制直线的总数，i表示摄像机c拍摄的标定图像中的第i个控制直线，Ki表示摄像机c拍摄的标定图像中的第i个控制直线从三维投影到二维的投影算子，Di表示摄像机c拍摄的标定图像中的第i个控制直线的三维向量，Rc表示该摄像机c的姿态向量；
步骤303，根据已知的各控制点的三维空间表示与二维图像表示建立基于空间点位置的残差方程模型：
式中，ec2表示摄像机c基于空间点位置的残差，M表示由摄像机c拍摄的标定图像中所有已知控制点的总数，Pi表示摄像机c拍摄的标定图像中的第i个控制直线上的已知的控制点，Vi表示摄像机c拍摄的标定图像中的第i个控制直线上已知的控制点从三维投影到二维的投影算子，Tc表示该摄像机c的位置向量；
步骤304，将摄像机c的姿态向量与位置向量的最初值代入基于方向向量的残差方程模型与基于空间点位置的残差方程模型进行优化计算，即得到摄像机的最终姿态向量与位置向量，即外部参数，其中，摄像机c的姿态向量与位置向量的最初值由Tsai标定法获得。
6.根据权利要求5所述4D全息捕捉系统的快速精确标定方法，其特征在于，步骤304中，所述优化计算为最小化迭代优化。
7.一种4D全息捕捉系统的快速精确标定系统，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910791276.9A CN110490943B (zh) | 2019-08-26 | 2019-08-26 | 4d全息捕捉系统的快速精确标定方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910791276.9A CN110490943B (zh) | 2019-08-26 | 2019-08-26 | 4d全息捕捉系统的快速精确标定方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110490943A CN110490943A (zh) | 2019-11-22 |
| CN110490943B true CN110490943B (zh) | 2022-04-15 |
Family
ID=68554164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910791276.9A Active CN110490943B (zh) | 2019-08-26 | 2019-08-26 | 4d全息捕捉系统的快速精确标定方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490943B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179356A (zh) * | 2019-12-25 | 2020-05-19 | 北京中科慧眼科技有限公司 | 基于Aruco码的双目相机标定方法、装置、系统和标定板 |
| CN113496520B (zh) * | 2020-04-02 | 2024-05-28 | 北京四维图新科技股份有限公司 | 摄像机转俯视图的方法、装置及存储介质 |
| CN111932631A (zh) * | 2020-06-12 | 2020-11-13 | 北京中科慧眼科技有限公司 | ArucoInChess标定板及其双目相机标定方法 |
| CN112150560B (zh) * | 2020-09-27 | 2024-02-02 | 上海高德威智能交通系统有限公司 | 确定消失点的方法、装置及计算机存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103759670A (zh) * | 2014-01-06 | 2014-04-30 | 四川虹微技术有限公司 | 一种基于数字近景摄影的物体三维信息获取方法 |
| CN108010086A (zh) * | 2017-12-04 | 2018-05-08 | 深圳市赢世体育科技有限公司 | 基于网球场标志线交点的摄像机标定方法、装置和介质 |
| CN108364345A (zh) * | 2018-02-11 | 2018-08-03 | 陕西师范大学 | 基于像素标记和合成孔径成像的遮挡目标三维重建方法 |
| CN108510540A (zh) * | 2017-02-23 | 2018-09-07 | 杭州海康威视数字技术股份有限公司 | 立体视觉摄像机及其高度获取方法 |
| CN109285192A (zh) * | 2017-07-19 | 2019-01-29 | 上海盟云移软网络科技股份有限公司 | 全息系统的双目摄像标定方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9940717B2 (en) * | 2014-12-23 | 2018-04-10 | Intel Corporation | Method and system of geometric camera self-calibration quality assessment |
-
2019
- 2019-08-26 CN CN201910791276.9A patent/CN110490943B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103759670A (zh) * | 2014-01-06 | 2014-04-30 | 四川虹微技术有限公司 | 一种基于数字近景摄影的物体三维信息获取方法 |
| CN108510540A (zh) * | 2017-02-23 | 2018-09-07 | 杭州海康威视数字技术股份有限公司 | 立体视觉摄像机及其高度获取方法 |
| CN109285192A (zh) * | 2017-07-19 | 2019-01-29 | 上海盟云移软网络科技股份有限公司 | 全息系统的双目摄像标定方法 |
| CN108010086A (zh) * | 2017-12-04 | 2018-05-08 | 深圳市赢世体育科技有限公司 | 基于网球场标志线交点的摄像机标定方法、装置和介质 |
| CN108364345A (zh) * | 2018-02-11 | 2018-08-03 | 陕西师范大学 | 基于像素标记和合成孔径成像的遮挡目标三维重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| "4D digital holographic microscopy";Alexey Brodoline.et al;《IEEE》;20171030;全文 * |
| "光场相机成像模型及参数标定方法综述";张春萍等;《中国激光》;20160630;第43卷(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110490943A (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490943B (zh) | 4d全息捕捉系统的快速精确标定方法、系统及存储介质 | |
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
| US11039121B2 (en) | Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method | |
| US10147192B2 (en) | Coordinate-conversion-parameter determination apparatus, coordinate-conversion-parameter determination method, and non-transitory computer readable recording medium having therein program for coordinate-conversion-parameter determination | |
| CN107843251B (zh) | 移动机器人的位姿估计方法 | |
| CN108629829B (zh) | 一种球幕相机与深度相机结合的三维建模方法和系统 | |
| CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
| CN113592721B (zh) | 摄影测量方法、装置、设备及存储介质 | |
| CN113808220A (zh) | 双目摄像机的标定方法、系统、电子设备和存储介质 | |
| CN110349257B (zh) | 一种基于相位伪映射的双目测量缺失点云插补方法 | |
| CN115861445B (zh) | 一种基于标定板三维点云的手眼标定方法 | |
| CN108269234B (zh) | 一种全景相机镜头姿态估计方法及全景相机 | |
| CN108921889A (zh) | 一种基于扩增现实应用的室内三维定位方法 | |
| Resch et al. | On-site semi-automatic calibration and registration of a projector-camera system using arbitrary objects with known geometry | |
| CN114359406A (zh) | 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法 | |
| CN115830135A (zh) | 一种图像处理方法、装置及电子设备 | |
| CN105513074A (zh) | 一种羽毛球机器人相机标定方法 | |
| JP3842988B2 (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| CN111105467A (zh) | 一种图像标定方法、装置及电子设备 | |
| CN114549660A (zh) | 基于圆柱形自识别标记物的多相机标定方法、装置及设备 | |
| CN116894907A (zh) | 一种rgbd相机纹理贴图优化方法及系统 | |
| CN112070844A (zh) | 结构光系统的校准方法及装置、校准工具图、设备及介质 | |
| JP7033294B2 (ja) | 撮像システム、撮像方法 | |
| CN114511637A (zh) | 一种基于构造强特征的弱特征物体图像三维重建系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200401 Address after: 518000 Henggang Street joint road, Longgang District, Shenzhen, Guangdong province 13-1 Applicant after: SHENZHEN FREEDOM4D TECHNOLOGY CO.,LTD. Address before: Room 6211, haibingyuan production plant, No.229, Guyuan Road, high tech Development Zone, Yuelu District, Changsha City, Hunan Province Applicant before: Changsha free video information technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230621 Address after: 410008 Room 107-B77, Building 18, No. 118, Luodaozui, Jinxia Road, Furongbeilu, Kaifu District, Changsha, Hunan Province Patentee after: Changsha Stereoscopic Vision Technology Co.,Ltd. Address before: 518000 13-1, Lianhe Road, Henggang street, Longgang District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN FREEDOM4D TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right |