CN116309881A - 一种云台相机外参测算方法、装置、设备及介质 - Google Patents
一种云台相机外参测算方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116309881A CN116309881A CN202310325485.0A CN202310325485A CN116309881A CN 116309881 A CN116309881 A CN 116309881A CN 202310325485 A CN202310325485 A CN 202310325485A CN 116309881 A CN116309881 A CN 116309881A
- Authority
- CN
- China
- Prior art keywords
- parameter
- component
- camera
- physical
- external
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims 6
- 230000003287 optical effect Effects 0.000 abstract description 16
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明公开一种云台相机外参测算方法、装置、设备及介质，涉及相机标定技术领域，以解决没有光学定位系统无法计算相机外参的问题。一种云台相机外参测算方法，包括：根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量；调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量；在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值；基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。本发明提供的云台相机外参测算方法用于没有光学定位系统的情况下计算相机外参。
Description
技术领域
本发明涉及相机标定技术领域，尤其涉及一种云台相机外参测算方法、装置、设备及介质。
背景技术
虚拟直播、虚拟演播室是近几年发展起来的一种独特的电视节目的制作技术，实质是将计算机制作的虚拟三维场景与电视相机现场拍摄的人物活动图像进行数字化的实时合成，使人物与虚拟背景能够同步变化，从而实现两者的融合，以获得完美的合成画面，其中需要获取相机的位置和姿势信息，然后将其实时传送至虚拟渲染引擎，为引擎中的虚拟相机提供物理相机在三维空间中的位置和姿势信息以及镜头参数信息等；通常采用光学定位系统进行定位，由于有定位点的存在，云台和相机的坐标原点相同，可以使用标记点的方式计算得出外参，从而获得相机的位置和姿势信息，发送给虚拟渲染引擎。
但是光学定位系统往往造价高昂，并不适用于小成本制作的虚拟制片和虚拟演播室，而在没有光学定位系统的情况下，虚拟渲染引擎中虚拟相机的原点在镜头中心，物理相机的相机原点在云台的旋转轴上，由于参考坐标系不同，无法计算相机的外参，虚拟相机便无法获取物理相机准确的位置和姿势信息。
发明内容
本发明的目的在于提供一种云台相机外参测算方法、装置、设备及介质，用于解决没有光学定位系统无法计算相机外参的问题。
为了实现上述目的，本发明提供如下技术方案：
第一方面，本发明提供一种云台相机外参测算方法，包括：
根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量；
调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量；所述基准物与参考物的形状相同，均为规则形状；
在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值；所述第三外参分量为偏移参数；
基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。
与现有技术相比，本发明提供的一种云台相机外参测算方法，包括：根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量；调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量；在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值；基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。通过本发明中确定物理相机的第一外参分量和第二外参分量的步骤，可以确定物理相机的五个外参分量均为零的位置，可以快速确定外参分量中不需要测算的五个外参分量，仅需测算一个第三外参分量即得到六个外参分量值从而计算物理相机的外参，大大降低了测算外参的复杂度，且通过偏移范围和旋转角度范围即可确定第一外参分量，通过移动物理相机在云台中的位置，参考物和基准物各边重合情况可以确定第二外参分量，确定轴枢点的方式简单；同时解决了现有技术没有光学定位系统就无法测算物理相机外参的问题，降低了成本；基准物和参考物为形状相同和规则形状可以便于判断各边是否重合。
第二方面，本发明还提供一种云台相机外参测算装置，包括：
第一外参分量确定模块，用于根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量；
第二外参分量确定模块，用于调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量；所述基准物与参考物的形状相同，均为规则形状；
第三外参分量确定模块，用于在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值；所述第三外参分量为偏移参数；
外参计算模块，用于基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。
与现有技术相比，本发明提供的一种云台相机外参测算装置的有益效果与上述技术方案所述一种云台相机外参测算方法的有益效果相同，此处不做赘述。
第三方面，本发明还提供一种云台相机外参测算设备，包括：
通信单元/通信接口，用于获取理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围；
处理单元/处理器，用于根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量；
调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量；所述基准物与参考物的形状相同，均为规则形状；
在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值；所述第三外参分量为偏移参数；
基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。
与现有技术相比，本发明提供的一种云台相机外参测算设备的有益效果与上述技术方案所述一种云台相机外参测算方法的有益效果相同，此处不做赘述。
第四方面，本发明还提供一种计算机存储介质，所述计算机存储介质中存储有指令，当所述指令被运行时，实现上述云台相机外参测算方法。
与现有技术相比，本发明提供的一种计算机可读存储介质的有益效果与上述技术方案所述一种云台相机外参测算方法的有益效果相同，此处不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明提供的一种云台相机外参测算方法的流程图；
图2为本发明提供的在y轴方向对应的边重合时基准物和参考物的位置关系示意图；
图3为本发明提供的一种云台相机外参测算装置的结构示意图；
图4为本发明提供的一种云台相机外参测算设备的结构示意图。
具体实施方式
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。
虚拟演播室技术包括相机跟踪技术、计算机虚拟场景设计、色键技术、灯光技术等。一般采用光学定位系统进行相机的定位跟踪，但是光学定位系统成本高，而没有光学定位系统的情况下无法计算物理相机的外参值。
为解决上述技术问题，本发明提供一种云台相机外参测算方法、装置、设备及介质，在不使用光学定位系统的情况下，计算物理相机的外参。接下来结合附图进行说明。
图1为本发明提供的一种云台相机外参测算方法的流程图，如图1所示，本方法包括以下步骤：
步骤101：根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量。
相机外参的作用是把坐标从世界坐标系转换到虚拟相机坐标系中，在云台系统中世界坐标系为云台坐标系，物理相机的坐标原点在云台的旋转轴上，某一云台系统中，物理相机镜头水平方向为云台三维坐标系的y轴，物理相机镜头垂直方向为云台三维坐标系的z轴，垂直于镜头平面的方向为x轴；虚拟相机的虚拟相机坐标系的原点为镜头中心点，垂直镜头平面的方向为z轴，镜头水平方向为x轴，镜头垂直方向为y轴；假设某点P在云台坐标系中的坐标为Pw，在虚拟相机坐标系中的坐标为Pc，则二者之间的转换关系如公式(1)所示：
其中，
为相机外参矩阵，旋转矩阵R是三个矩阵Rx(ψ)，/>
Rz(θ)的乘积，ψ为绕x轴的旋转角度对应的旋转参数，/>
为绕y轴的旋转角度对应的旋转参数，θ为绕z轴的旋转角度对应的旋转参数；平移向量T表示点P从云台坐标系到虚拟相机坐标系的偏移量，T由云台坐标系三个轴对应的偏移参数Tx、Ty、Tz组成，因此物理相机的外参由x轴偏移参数Tx、y轴偏移参数Ty、z轴偏移参数Tz、x轴旋转参数ψ、y轴旋转参数/>
z轴旋转参数θ六个外参分量组成。
作为一种可选的方式，所述根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量，包括：
获取物理相机能够在云台中x轴、y轴和z轴三个维度上移动的偏移范围和旋转角度范围；
判断每个维度对应的偏移范围和旋转角度范围是否为零；
若任意一个偏移范围和旋转角度范围为零，则将对应的偏移参数和/或旋转参数确定为第一外参分量。
具体的，实际应用中并不是所有的云台系统都可以使物理相机在三个轴上平移并且可以绕三个轴旋转，示例性的，若云台系统不能使物理相机绕x轴旋转，即获取的物理相机能够在云台中x轴上移动的旋转角度范围为零，则将x轴旋转参数ψ确定为第一外参分量且x轴旋转参数ψ为零；若云台系统不能使物理相机在x轴方向上平移，即获取的物理相机能够在云台中x轴方向上移动的偏移范围为零，则将x轴偏移参数Tx确定为第一外参分量，且x轴偏移参数Tx为零，本说明书以不能使物理相机在x轴上旋转，能够在x轴，y轴，z轴上平移，能够绕y轴，z轴旋转的云台系统为例继续进行说明，则确定的第一外参分量为x轴旋转参数ψ。
步骤102：调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量。
作为一种可选的方式，所述调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量，包括：
获取物理相机拍摄的基准物图像和参考物图像；
分别在云台中每个维度方向上移动物理相机，判断基准物图像和参考物图像对应的边是否能够重合；
若能够重合，则将重合边对应维度的偏移参数和旋转参数确定为第二外参分量。
具体的，将物理相机安装在云台系统中后，基准物和参考物的位置关系可以结合图2进行说明，首先在物理相机的正前方放置一个基准物，在基准物后方放置一个参考物，基准物和参考物均与镜头平面平行，基准物和参考物各边均不重合，基准物和参考物的形状相同，尺寸不同，且基准物和参考物各对应的边方向相同，为了方便对照观察基准物和参考物的边缘是否重合，选择规则形状的物体作为基准物和参考物，例如，长方形，正方向等。先在y轴方向上移动物理相机，使物理相机拍摄的图像中基准物和参考物的左边重合，如图2所示，基准物和参考物在y轴方向上对应的边重合，此时将y轴偏移参数Ty和y轴旋转参数
确定为第二外参分量，且y轴偏移参数Ty和y轴旋转参数/>
均为零；然后在z轴方向上移动物理相机，使物理相机拍摄的图像中基准物和参考物的上边重合，将z轴偏移参数Tz和z轴旋转参数θ确定为第二外参分量，且z轴偏移参数Tz和z轴旋转参数θ为零，然后在x轴方向上移动物理相机，使物理相机拍摄的图像中基准物和参考物的另外两条边重合，如果另外两条边也能重合，则将该位置记为物理相机的轴枢点，此时物理相机的六个外参分量均为零，然而由于本说明书举例说明的云台系统使物理相机在x轴方向上偏移的范围有限，不能使物理相机拍摄的图像中基准物和参考物的另外两条边重合，x轴偏移参数Tx的值不为零，因此通过移动物理相机在云台中的位置确定的第二外参分量包括y轴偏移参数Ty，y轴旋转参数
z轴偏移参数Tz以及z轴旋转参数θ，需要对x轴偏移参数Tx进行调整测算，来确定轴枢点。通过上述第一外参分量和第二外参分量的确定方法可以快速确定五个不需要测算的外参分量，此时仅需测算x轴偏移参数Tx的值即可计算相机外参，大大降低了外参测算的难度和复杂度。
需要理解的是，上述确定的第一外参分量和第二外参分量仅为举例说明，不做具体限定。示例性的，云台系统可以为摇臂系统，安装时物理相机和摇臂需要水平垂直调试，即物理相机在摇臂系统的三个维度方向上均不能进行旋转，因此对应的三个旋转参数ψ1，
和θ1均为0，影响较大的是偏移参数Tx1、Ty1以及Tz1，但由于物理相机在摇臂系统中的Y轴和Z轴上均不能移动，所以物理相机的偏移参数Ty1、Tz1也为0，因此将ψ1，/>
θ1，Ty1、Tz1等五个外参分量确定为第一外参分量，然后通过步骤102的方法对偏移参数Tx1进行确定，若偏移参数Tx1不为零则通过步骤103对该偏移参数进行测算。
接下来通过步骤103对x轴偏移参数Tx的测算方法进行说明。
步骤103：在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值。第三外参分量为x轴偏移参数。
由于x轴偏移参数为垂直于镜头的坐标轴对应的偏移参数，轴枢点的位置会随着镜头的聚焦值和景深值的变化而变化，所以需要添加数据点，绘制Tx函数曲线以计算外参分量Tx。
作为一种可选的方式，所述在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值，包括：
将调整位置后的物理相机的位姿信息实时传送给虚拟引擎，使虚拟相机与物理相机的运动及构图同步；位姿信息为位置和姿势信息。
具体的，在测算x轴偏移参数Tx之前，需要连接好硬件设备，硬件设备包括计算机，计算机安装有虚拟引擎以及OpenCV等计算机视觉系统，虚拟引擎连接追踪系统，追踪系统用于获取物理相机的位置和姿势信息，然后将位置和姿势信息实时传送给虚拟引擎，虚拟引擎根据位置和姿势信息采用渲染合成技术使得虚拟相机和物理相机运动及构图同步，物理相机拍摄的图像与虚拟相机对应的图像通过计算机的显示屏进行显示，其中计算机视觉系统用于根据外参分量实时处理、计算物理相机外参，以及进行外参分量的曲线拟合计算；硬件设备中还包括存储器，用于存储所有数据，如图像信息，参数信息等。同时计算机通过集成的采集单元获取物理相机拍摄的图像信息。
在物理相机前方放置一个物理标靶；使物理标靶的中心点与物理相机的视口中心对应；记录物理标靶到物理相机的距离。在虚拟相机前方同样距离位置放置一个虚拟标靶，使虚拟标靶的中心点与虚拟相机的视口中心对应；然后将物理相机拍摄的物理标靶图像和虚拟标靶对应的图像传送到显示屏中进行显示；具体的将物理标靶图像的坐标映射到虚拟相机坐标系中，通过计算机构建虚拟标靶对应的图像。二者在同一坐标系下显示图像位置。
然后调整物理相机的聚焦参数和x轴偏移参数，以使显示屏中的物理标靶图像和虚拟标靶图像在任何聚焦参数下均完全对齐，得到各聚焦参数对应的x轴偏移参数值。
具体的，将物理相机的聚焦参数调整为零，物理相机的景深值调整为零，然后将物理相机分别向左和向右旋转，此时物理标靶图像和虚拟标靶图像不重合，调整x轴偏移参数，直至显示屏中的物理标靶图像和虚拟标靶图像完全对齐，则得到第一x轴偏移参数；然后将物理相机的聚焦参数调整为一，物理相机的景深值为零，然后将物理相机分别向左和向右旋转，此时物理标靶图像和虚拟标靶图像不重合，调整x轴偏移参数，直至显示屏中的物理标靶图像和虚拟标靶图像完全对齐，则得到第二x轴偏移参数；根据第一x轴偏移参数、第二x轴偏移参数以及对应的聚焦参数和景深值，采用插值法，计算聚焦参数从零到一对焦段中各点对应的x轴偏移参数值，从而得到各聚焦参数对应的x轴偏移参数值，生成x轴偏移参数值随聚焦参数变化曲线，完成初步曲线拟合。
然后将物理相机的聚焦参数调整为任意值，将物理相机向左和向右旋转，判断显示屏中的物理标靶图像和虚拟标靶图像是否完全重合，若重合则说明当前曲线合理，完成第三外参分量即的x轴偏移参数值调整修正；
若不重合，调整当前聚焦参数对应的x轴偏移参数值，直至显示屏中的物理标靶图像和虚拟标靶图像完全重合，得到数据点；例如当前聚焦参数为0.6，景深值为0，调整后的聚焦参数0.6对应的x轴偏移参数值为5，则数据点为(0.6，5)。
将所述数据点添加到初步曲线中，再次进行曲线拟合，得到的曲线再次进行调整聚焦参数值，将物理相机向左和向右旋转测试，观察显示屏中的物理标靶图像和虚拟标靶图像是否完全重合，若完全重合，则完成第三外参分量的修正。每测算一个Tx值，OpenCV计算视觉库便可根据已知外参分量实时计算相机的外参并进行调整。
步骤104：基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。
根据第一外参分量和第二外参分量中的旋转参数，确定旋转矩阵；
具体的，第一外参分量中x轴旋转参数ψ为零，第二外参分量中的y轴旋转参数
和z轴旋转参数θ为零，根据公式(2)公式(3)以及公式(4)分别计算矩阵Rx(ψ)，/>
Rz(θ)，如公式(2)、公式(3)以及公式(4)所示：
根据公式(5)计算旋转矩阵R，如公式(5)所示：
根据第一外参分量、第二外参分量以及第三外参分量中的偏移参数，确定平移矩阵；
具体的，y轴偏移参数为零，z轴偏移参数为零，x轴偏移参数的值随聚焦参数的变化而变化，根据公式(6)计算平移矩阵T，如公式(6)所示：
T＝(Tx、Ty、Tz) (6)
根据所述旋转矩阵和所述平移矩阵计算物理相机的外参。
具体的，将旋转矩阵R和平移矩阵T代入
中，计算得到物理相机的外参。
为了保证测算结果的准确性，在调整完第三外参分量后需进行最终测试和外参调整：具体的，在地面上放一个标定板，将物理相机对准标定板；将一个虚拟标定板放到虚拟相机相同位置角度时，如果物理标定板和虚拟标定板重合在一起，此时标定板下方的地面与相机的关系和VPW中相机和场景地面的关系基本一致，说明当前外参测算合理、无需调整；若物理标定板和虚拟标定板没有重合在一起，则在标定板旁找到一个点作为基准点，通过移动物理相机来判断标定板和基准点之间的关系，再调整聚焦参数fcous和景深值zoom继续测试，直到位置关系变化基本一致时外参调整完成。
本发明通过本发明中确定物理相机的第一外参分量和第二外参分量的步骤，可以确定物理相机的五个外参分量均为零的位置，可以快速确定外参分量中不需要测算的五个外参分量，仅需测算一个第三外参分量即得到六个外参分量值从而计算物理相机的外参，大大降低了测算外参的复杂度，且通过偏移范围和旋转角度范围即可确定第一外参分量，通过移动物理相机在云台中的位置，参考物和基准物各边重合情况可以确定第二外参分量，确定轴枢点的方式简单；同时解决了现有技术没有光学定位系统就无法测算物理相机外参的问题，降低了成本；基准物和参考物为形状相同和规则形状可以便于判断各边是否重合。
基于同样的思路，本发明还提供一种云台相机外参测算装置。如图3所示，所述装置可以包括：
第一外参分量确定模块301，用于根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量；
第二外参分量确定模块302，用于调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量；所述基准物与参考物的形状相同，均为规则形状；
第三外参分量确定模块303，用于在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值；所述第三外参分量为偏移参数；
外参计算模块304，用于基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。
可选的，物理相机的外参分量包括x轴偏移参数、y轴偏移参数、z轴偏移参数、x轴旋转参数、y轴旋转参数、z轴旋转参数；所述第一外参分量确定模块301，具体可以用于：
获取物理相机能够在云台中x轴、y轴和z轴三个维度上移动的偏移范围和旋转角度范围；
判断每个维度对应的偏移范围和旋转角度范围是否为零；
若任意一个偏移范围和旋转角度范围为零，则将对应的偏移参数和/或旋转参数确定为第一外参分量。
可选的，所述第二外参分量确定模块302，具体可以用于：
获取物理相机拍摄的基准物图像和参考物图像；
分别在云台中每个维度方向上移动物理相机，判断基准物图像和参考物图像对应的边是否能够重合；
若能够重合，则重合边对应维度的偏移参数和旋转参数的数值为零，将重合边对应维度的偏移参数和旋转参数确定为第二外参分量。
可选的，所述第三外参分量为x轴偏移参数，所述x轴与物理相机镜头垂直，所述第三外参分量确定模块303可以包括：
系统追踪以及渲染单元，用于将调整位置后的物理相机的位姿信息实时传送给虚拟引擎，使虚拟相机与物理相机的运动及构图同步；
物理标靶放置单元，用于在物理相机前方放置一个物理标靶；所述物理标靶的中心点与物理相机的视口中心对应；
虚拟标靶放置单元，用于在虚拟相机前方同样位置放置一个虚拟标靶，所述虚拟标靶的中心点与虚拟相机的视口中心对应；
显示单元，用于将物理相机拍摄的物理标靶图像和虚拟标靶对应的图像传送到显示屏中进行显示；
第三外参分量调整单元，用于调整物理相机的聚焦参数和x轴偏移参数，以使显示屏中的物理标靶图像和虚拟标靶图像在任何聚焦参数下均完全对齐，得到各聚焦参数对应的x轴偏移参数值。
可选的，所述第三外参分量调整单元具体可以用于：
将物理相机的聚焦参数调整为零，然后调整x轴偏移参数，直到显示屏中的物理标靶图像和虚拟标靶图像完全对齐，得到第一x轴偏移参数；
将物理相机的聚焦参数调整为一，然后调整x轴偏移参数，直到显示屏中的物理标靶图像和虚拟标靶图像完全对齐，得到第二x轴偏移参数；
根据第一x轴偏移参数、第二x轴偏移参数以及对应的聚焦参数，采用插值法，计算得到各聚焦参数对应的x轴偏移参数值。
可选的，所述第三外参分量调整单元还可以用于：
将物理相机的聚焦参数调整为任意值，将物理相机向左和向右旋转，判断显示屏中的物理标靶图像和虚拟标靶图像是否完全重合，若重合则完成第三外参分量的修正；
若不重合，调整当前聚焦参数对应的x轴偏移参数值，直到显示屏中的物理标靶图像和虚拟标靶图像是否完全重合，得到数据点；
将所述数据点添加到各聚焦参数对应的x轴偏移参数值组成的曲线中，完成第三外参分量的修正。
可选的，所述外参计算模块304，具体可以用于：
根据第一外参分量和第二外参分量中的旋转参数，确定旋转矩阵；
根据第一外参分量、第二外参分量以及第三外参分量中的偏移参数，确定平移矩阵；
根据所述旋转矩阵和所述平移矩阵计算物理相机的外参。
基于同样的思路，本发明还提供一种云台相机外参测算设备。如图4所示，可以包括：
通信单元/通信接口，用于获取理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围；
处理单元/处理器，用于根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量；
调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量；所述基准物与参考物的形状相同，均为规则形状；
在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值；所述第三外参分量为偏移参数；
基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。
如图4所示，上述处理器可以是一个通用中央处理器(central processing unit，CPU)，微处理器，专用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。上述通信接口可以为一个或多个。通信接口可使用任何收发器一类的装置，用于与其他设备或通信网络通信。
如图4所示，上述终端设备还可以包括通信线路。通信线路可包括一通路，在上述组件之间传送信息。
如图4所示，存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-onlymemory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。
在具体实现中，作为一种实施例，如图4所示，处理器可以包括一个或多个CPU，如图4中的CPU0和CPU1。
在具体实现中，作为一种实施例，如图4所示，终端设备可以包括多个处理器，如图4中的处理器。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。
基于同样的思路，本发明还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令被运行时，实现：
根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量；
调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量；所述基准物与参考物的形状相同，均为规则形状；
在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值；所述第三外参分量为偏移参数；
基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。
上述主要从各个模块之间交互的角度对本发明实施例提供的方案进行了介绍。可以理解的是，为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例可以根据上述方法示例进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
可选的，本发明中的计算机执行指令也可以称之为应用程序代码，本发明对此不作具体限定。
上述本发明揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种云台相机外参测算方法，其特征在于，包括：
根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量；
调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量；所述基准物与参考物的形状相同，均为规则形状；
在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值；所述第三外参分量为偏移参数；
基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。
2.根据权利要求1所述云台相机外参测算方法，其特征在于，物理相机的外参分量包括x轴偏移参数、y轴偏移参数、z轴偏移参数、x轴旋转参数、y轴旋转参数、z轴旋转参数；所述根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量，包括：
获取物理相机能够在云台中x轴、y轴和z轴三个维度上移动的偏移范围和旋转角度范围；
判断每个维度对应的偏移范围和旋转角度范围是否为零；
若任意一个偏移范围和旋转角度范围为零，则将对应的偏移参数和/或旋转参数确定为第一外参分量。
3.根据权利要求1所述云台相机外参测算方法，其特征在于，所述调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量，包括：
获取物理相机拍摄的基准物图像和参考物图像；
分别在云台中每个维度方向上移动物理相机，判断基准物图像和参考物图像对应的边是否能够重合；
若能够重合，则重合边对应维度的偏移参数和旋转参数的数值为零，将重合边对应维度的偏移参数和旋转参数确定为第二外参分量。
4.根据权利要求1所述云台相机外参测算方法，其特征在于，所述第三外参分量为x轴偏移参数，所述x轴与物理相机镜头垂直，所述在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值，包括：
将调整位置后的物理相机的位姿信息实时传送给虚拟引擎，使虚拟相机与物理相机的运动及构图同步；
在物理相机前方放置一个物理标靶；所述物理标靶的中心点与物理相机的视口中心对应；
在虚拟相机前方同样位置放置一个虚拟标靶，所述虚拟标靶的中心点与虚拟相机的视口中心对应；
将物理相机拍摄的物理标靶图像和虚拟标靶对应的图像传送到显示屏中进行显示；
调整物理相机的聚焦参数和x轴偏移参数，以使显示屏中的物理标靶图像和虚拟标靶图像在任何聚焦参数下均完全对齐，得到各聚焦参数对应的x轴偏移参数值。
5.根据权利要求4所述云台相机外参测算方法，其特征在于，所述调整物理相机的聚焦参数和x轴偏移参数，以使显示屏中的物理标靶图像和虚拟标靶图像在任何聚焦参数下均完全对齐，得到各聚焦参数对应的x轴偏移参数值，包括：
将物理相机的聚焦参数调整为零，然后调整x轴偏移参数，直到显示屏中的物理标靶图像和虚拟标靶图像完全对齐，得到第一x轴偏移参数；
将物理相机的聚焦参数调整为一，然后调整x轴偏移参数，直到显示屏中的物理标靶图像和虚拟标靶图像完全对齐，得到第二x轴偏移参数；
根据第一x轴偏移参数、第二x轴偏移参数以及对应的聚焦参数，采用插值法，计算得到各聚焦参数对应的x轴偏移参数值。
6.根据权利要求5所述云台相机外参测算方法，其特征在于，所述根据第一x轴偏移参数、第二x轴偏移参数以及对应的聚焦参数，采用插值法，计算得到各聚焦参数对应的x轴偏移参数值，之后还包括：
将物理相机的聚焦参数调整为任意值，将物理相机向左和向右旋转，判断显示屏中的物理标靶图像和虚拟标靶图像是否完全重合，若重合则完成第三外参分量的修正；
若不重合，调整当前聚焦参数对应的x轴偏移参数值，直到显示屏中的物理标靶图像和虚拟标靶图像是否完全重合，得到数据点；
将所述数据点添加到各聚焦参数对应的x轴偏移参数值组成的曲线中，完成第三外参分量的修正。
7.根据权利要求1所述云台相机外参测算方法，其特征在于，所述基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参，包括：
根据第一外参分量和第二外参分量中的旋转参数，确定旋转矩阵；
根据第一外参分量、第二外参分量以及第三外参分量中的偏移参数，确定平移矩阵；
根据所述旋转矩阵和所述平移矩阵计算物理相机的外参。
8.一种云台相机外参测算装置，其特征在于，包括：
第一外参分量确定模块，用于根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量；
第二外参分量确定模块，用于调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量；所述基准物与参考物的形状相同，均为规则形状；
第三外参分量确定模块，用于在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值；所述第三外参分量为偏移参数；
外参计算模块，用于基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。
9.一种云台相机外参测算设备，其特征在于，包括：
通信单元/通信接口，用于获取理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围；
处理单元/处理器，用于根据物理相机能够在云台中三个维度上移动的偏移范围和旋转角度范围，确定第一外参分量；
调整物理相机在云台上的位置，根据物理相机图像中的基准物和参考物的重合边，确定第二外参分量；所述基准物与参考物的形状相同，均为规则形状；
在第一外参分量以及第二外参分量均为零时，对数值非零的第三外参分量进行修正，得到修正后的第三外参分量的数值；所述第三外参分量为偏移参数；
基于所述第一外参分量、所述第二外参分量以及所述第三外参分量确定物理相机的外参。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，当所述指令被运行时，实现权利要求1～7任一项所述云台相机外参测算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310325485.0A CN116309881A (zh) | 2023-03-29 | 2023-03-29 | 一种云台相机外参测算方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310325485.0A CN116309881A (zh) | 2023-03-29 | 2023-03-29 | 一种云台相机外参测算方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309881A true CN116309881A (zh) | 2023-06-23 |
Family
ID=86814940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310325485.0A Pending CN116309881A (zh) | 2023-03-29 | 2023-03-29 | 一种云台相机外参测算方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309881A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456012A (zh) * | 2023-12-20 | 2024-01-26 | 绘见科技(深圳)有限公司 | 虚拟相机的视场角标定方法及装置、设备及存储介质 |
-
2023
- 2023-03-29 CN CN202310325485.0A patent/CN116309881A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456012A (zh) * | 2023-12-20 | 2024-01-26 | 绘见科技(深圳)有限公司 | 虚拟相机的视场角标定方法及装置、设备及存储介质 |
| CN117456012B (zh) * | 2023-12-20 | 2024-03-26 | 绘见科技(深圳)有限公司 | 虚拟相机的视场角标定方法及装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10084962B2 (en) | Spherical video stabilization based on accelerometer data | |
| US10375381B2 (en) | Omnistereo capture and render of panoramic virtual reality content | |
| US10038887B2 (en) | Capture and render of panoramic virtual reality content | |
| US20170363949A1 (en) | Multi-tier camera rig for stereoscopic image capture | |
| EP3410388A2 (en) | Capture and render of panoramic virtual reality content | |
| CN111445533B (zh) | 一种双目相机标定方法、装置、设备及介质 | |
| CN108830906B (zh) | 一种基于虚拟双目视觉原理的摄像机参数自动标定方法 | |
| CN108574825B (zh) | 一种云台摄像机的调整方法和装置 | |
| CN108257183A (zh) | 一种相机镜头光轴校准方法和装置 | |
| CN106910221B (zh) | 一种全局标定的方法及装置 | |
| CN113345028B (zh) | 一种确定目标坐标变换信息的方法与设备 | |
| US11272153B2 (en) | Information processing apparatus, method for controlling the same, and recording medium | |
| US11514608B2 (en) | Fisheye camera calibration system, method and electronic device | |
| WO2018035347A1 (en) | Multi-tier camera rig for stereoscopic image capture | |
| US11380016B2 (en) | Fisheye camera calibration system, method and electronic device | |
| WO2020020021A1 (zh) | 测温处理方法、装置及热成像设备 | |
| CN110136207B (zh) | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 | |
| CN110335307A (zh) | 标定方法、装置、计算机存储介质和终端设备 | |
| CN116309881A (zh) | 一种云台相机外参测算方法、装置、设备及介质 | |
| CN103533326A (zh) | 用于立体视图对齐的系统和方法 | |
| WO2022036512A1 (zh) | 数据处理方法、装置、终端和存储介质 | |
| US20170142331A1 (en) | Electronic device and method for capturing images | |
| CN113421300A (zh) | 确定鱼眼相机图像中物体实际位置的方法及装置 | |
| CN117255247B (zh) | 一种全景相机与细节球机联动的方法及装置 | |
| CN110785792A (zh) | 3d建模方法、电子设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |