CN117812466B - 一种大场景双机联动相机校准方法、设备及系统 - Google Patents
一种大场景双机联动相机校准方法、设备及系统 Download PDFInfo
- Publication number
- CN117812466B CN117812466B CN202410224473.3A CN202410224473A CN117812466B CN 117812466 B CN117812466 B CN 117812466B CN 202410224473 A CN202410224473 A CN 202410224473A CN 117812466 B CN117812466 B CN 117812466B
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- wide
- angle
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000006870 function Effects 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 230000009466 transformation Effects 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 229920001651 Cyanoacrylate Polymers 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 239000004830 Super Glue Substances 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Studio Devices (AREA)
Abstract
本发明公开了一种大场景双机联动相机校准方法、设备及系统，该方法包括以下步骤：基于广角相机拍摄整体场景区域得到广角图像，得到对应的长焦图像集与实时云台位置信息；对广角ROI图像集与长焦图像集逐一进行特征点与特征向量提取；基于LightGlue深度学习特征匹配网络，对提取的特征点和特征向量进行匹配计算，找到广角ROI图像与长焦图像中的同名点对，计算射影变换矩阵，建立广角图像像素位置和长焦相机位置的空间关联关系；基于多项式回归方法拟合函数；完成广角相机与长焦相机双机联动校准并可视化输出。本发明实现了细节长焦云台摄像机与广角相机的空间坐标自动校准，在监控、摄影和视频拍摄等领域提供了更高的校准效率、准确性和灵活性。
Description
技术领域
本发明涉及计算机视觉和深度学习技术领域，特别是一种大场景双机联动相机校准方法、设备及系统。
背景技术
在监控、摄影和视频拍摄等领域，为了实现更广泛的监测范围和更高的细节分辨率，通常需要同时使用广角和长焦距的摄像机。然而长焦镜头因其焦距带来巨大的放大倍数的同时，也会将角度误差急剧放大，0.1°的误差，在3km外产生达5.2m取景偏差。由于焦距不同导致的视野角度和分辨率的差异，以及长焦镜头引入的角度误差，使得不同摄像机之间的联动成为一个挑战。
通过结合深度学习中的特征提取与特征匹配技术，能够从输入图像中准确提取出相同的特征区域，实现广角相机和长焦相机之间的角度映射关系。具体而言，通过广角相机拍摄广角图，长焦相机拍摄局部图和记录云台位置，建立两者之间的像素位置和云台位置的对应映射。这样，可以通过广角相机的广角图观察广泛区域，而通过长焦相机在局部区域进行高倍率的放大观察。实现精准标定长广角镜头角度映射关系，综合抵消镜头畸变、设计误差、工艺误差、安装误差等不利因素。
发明内容
鉴于此，本发明提供一种大场景双机联动相机校准方法、设备及系统，通过智能标定算法引擎，实现对广角摄像机像素坐标和细节摄像机空间坐标对应关系，实现细节长焦云台摄像机与广角相机的空间坐标自动校准，实现自动扫描、自动建立主画面和细节摄像机的关联关系。
本发明公开了一种大场景双机联动相机校准方法，其包括以下步骤：
步骤1：基于广角相机拍摄整体场景区域得到广角图像，根据广角图像设置长焦相机自动巡航拍摄局部细节，得到对应的长焦图像集与实时云台位置信息；
步骤2：基于自适应算法，将步骤1得到的广角图像划分为广角ROI图像集，基于SuperPoints深度学习特征提取网络，对广角ROI图像集与长焦图像集逐一进行特征点与特征向量提取；
步骤3：基于LightGlue深度学习特征匹配网络，对步骤2提取的特征点和特征向量进行匹配计算，找到广角ROI图像与长焦图像中的同名点对，计算射影变换矩阵，建立广角图像像素位置和长焦相机位置的空间关联关系；
步骤4：根据步骤3得到的空间关联关系，基于多项式回归方法拟合函数；
步骤5：根据拟合的函数关系式，完成广角相机与长焦相机双机联动校准并可视化输出。
进一步地，所述自动巡航拍摄局部细节，包括：
记录长焦相机图像对应广角相机图像的左上角与右下角时长焦相机云台的PTZ坐标，根据此时记录的PTZ坐标设定图像自动扫描程序，按照横向和纵向巡航方式采集指定数量的图像和对应的云台PTZ坐标，将其分别保存；PTZ坐标中P表示相机水平方向上移动，即相机的旋转，T表示垂直方向上的移动，即相机镜头的高低俯仰，Z表示变焦，即调整相机的焦距。
进一步地，所述将步骤1得到的广角图像划分为广角ROI图像集，包括：
步骤21：根据长焦相机PTZ坐标的Z值取值范围将其设定为三个区间；
步骤22：根据设定的三个区间将广角相机广角图按梯度划为多个ROI图像，记录每个ROI图像的顶点像素坐标；
步骤23：根据当前长焦相机PTZ坐标的Z值所处区间，将广角相机广角图自适应划分为对应梯度的广角ROI图像集。
进一步地，在所述步骤2中，SuperPoints深度学习特征提取网络是一种自监督网络框架，SuperPoint网络提出了一种单应性适应的策略以增强特征点的复检率以及跨域的实用性，稳定的提取到像素级精度的特征点的位置及其特征向量。
进一步地，所述基于LightGlue深度学习特征匹配网络，对步骤2提取的特征点和特征向量进行匹配计算，找到广角ROI图像与长焦图像中的同名点对，包括：
将广角ROI图像记为图像A，将长焦图像记为图像B，对于图像A和图像B中提取的两组特征点和特征向量，每个特征点i由归一化的2D坐标表示，特征向量由d维实数集/>表示；对图像I∈{A,B}的特征点i都关联一个状态/>，初始化为特征向量/>，然后基于Transformer的注意力机制进行特征匹配，通过一个轻量级的检测头计算匹配矩阵；对应构造一个软分配矩阵/>，其中/>和/>为点对相似度矩阵，/>和/>为特征点匹配度分数，Pij表示第A幅第i个特征点与第B幅第j个特征点匹配的概率；当Pij的值大于阈值且大于其所在列和行的其他值，则Pij对应的两个点确认为同名点对，计算得到图像中的同名点对数量。
进一步地，所述计算射影变换矩阵，建立广角图像像素位置和长焦相机位置的空间关联关系，包括：
步骤31：设定广角ROI图像与长焦图像同名点对数量阈值参数；
步骤32：当同名点对数量大于阈值时，图像对匹配成功；计算广角ROI图像与长焦局部图像的射影变换矩阵；
步骤33：根据射影变换矩阵求得长焦相机图像的四个角点映射到广角ROI图像中的角点位置，绘制矩形框，得到图像对投影映射；
步骤34：计算长焦图像中心像素坐标，将其与射影变换矩阵进行矩阵运算求得长焦图像中心像素坐标投影映射至广角ROI图像像素坐标，将广角ROI图像像素坐标与记录的ROI图像顶点像素坐标进行相对坐标转换得到广角图像像素坐标，建立广角图像像素坐标与长焦相机位置PTZ坐标的空间关联关系。
进一步地，所述步骤4包括：
步骤41：将建立的空间关联关系转换为广角相机图像的像素坐标(x,y)与对应的长焦相机位置PTZ坐标的数组对；x和y分别表示x轴坐标和y轴坐标；
步骤42：将数组对按照PTZ坐标的P和T分解为两个数组，根据两个数组分别设定P函数参数模型和T函数参数模型；P表示水平方向的旋转移动，T表示垂直方向的仰俯转动；
步骤43：通过最小二乘法分别对P函数参数模型和T函数参数模型进行拟合，通过多项式回归分别得到P和T对应的函数与对应函数参数值。
进一步地，所述步骤包括：
将拟合得到的P和T对应的函数与对应函数参数值应用到界面终端完成双机联动相机校准；在广角相机画面中移动步骤33得到的矩形框，根据拟合的函数计算得到长焦相机P，T位置，长焦相机自动移动到指定位置，矩形框内画面与长焦画面中心一致。
本发明还公开了一种大场景双机联动相机校准设备，其包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载时执行上述任一项所述的大场景双机联动相机校准方法。
本发明还公开了一种大场景双机联动相机校准系统，包括上述所述的大场景双机联动相机校准设备。
由于采用了上述技术方案，本发明具有如下的优点：
1.准确特征提取：使用深度学习的特征匹配算法对广角图和局部细节图像进行特征点提取，有助于更精确地捕捉图像中的关键信息。
2.可靠特征匹配：使用深度学习的特征匹配算法，逐一对提取的特征点进行匹配，提高了匹配的可靠性和精度。
3.函数拟合与校准：利用建立的映射关系，通过拟合函数实现了广角相机与长焦相机的双机联动校准。这有助于确保两相机之间的空间坐标自动校准，提高了监控、摄影和视频拍摄等领域的校准效率和准确性。
4.双机联动可视化输出：根据拟合的函数模型，将广角相机与长焦相机的联动校准结果可视化输出，使用户能够直观地了解两个相机之间的准确定位关系，实现更全面的监测和观察。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种大场景双机联动相机校准方法的流程示意图；
图2为本发明实施例中一种双机联动整体框架示意图；
图3为本发明实施例中一种自动巡航拍摄局部细节示意图；
图4为本发明实施例中一种广角ROI图像与长焦图像特征匹配结果图；
图5(a)为本发明实施例中一种平面函数拟合结果图；
图5(b)为本发明实施例中又一种平面函数拟合结果图；
图6(a)为本发明实施例中一种完成广角相机与长焦相机双机联动校准示意图；
图6(b)为本发明实施例中一种双机联动可视化结果图；
图6(c)为本发明实施例中又一种完成广角相机与长焦相机双机联动校准示意图；
图6(d)为本发明实施例中又一种双机联动可视化结果图。
具体实施方式
结合附图和实施例对本发明作进一步说明，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
参见图1和图2，本发明提供了一种大场景双机联动相机校准方法的实施例，其包括以下步骤：
S1，基于广角相机拍摄整体场景区域得到广角图像，根据广角图像设置长焦相机自动巡航拍摄局部细节，得到对应的长焦图像集与实时云台位置信息；如图3所示；
S2，将步骤S1得到的广角图像基于自适应算法划分为广角ROI（region ofinterest，感兴趣区域）图像集，基于SuperPoints深度学习特征提取网络对广角ROI图像集与长焦图像集逐一进行特征点与特征向量提取；
S3，基于LightGlue深度学习特征匹配网络，对步骤2提取的特征点和特征向量进行匹配计算，找到广角ROI图像与长焦图像中的同名点对，如图4所示。计算射影变换矩阵，建立广角图像像素位置和长焦相机位置的空间关联关系；
其中，基于LightGlue深度学习特征匹配网络，对步骤2提取的特征点和特征向量进行匹配计算，找到广角ROI图像与长焦图像中的同名点对，包括：
将广角ROI图像记为图像A，将长焦图像记为图像B，对于图像A和图像B中提取的两组特征点和特征向量，每个特征点i由归一化的2D坐标表示，特征向量由d维实数集/>表示；对图像I∈{A,B}的特征点i都关联一个状态/>，初始化为特征向量/>，然后基于Transformer的注意力机制进行特征匹配，通过一个轻量级的检测头计算匹配矩阵；对应构造一个软分配矩阵/>，其中/>和/>为点对相似度矩阵，/>和/>为特征点匹配度分数，Pij表示第A幅第i个特征点与第B幅第j个特征点匹配的概率；当Pij的值大于阈值且大于其所在列和行的其他值，则Pij对应的两个点确认为同名点对，计算得到图像中的同名点对数量。
S4，根据步骤S3得到的空间关联关系，基于多项式回归方法拟合函数；如图5(a)和图5(b)所示。
S5，根据拟合的函数关系式，完成广角相机与长焦相机双机联动校准并可视化输出，如图6(a)、图6(b)、图6(c)、图6(d)所示。
在实际应用过程中，自动巡航拍摄局部细节包括子步骤：记录长焦相机图像对应广角相机图像左上角与右下角时长焦相机云台的PTZ坐标，根据这两个坐标设定图像自动扫描程序，按照横向和纵向巡航方式采集指定数量的图像和对应的云台PTZ坐标，将其分别保存。PTZ坐标具体含义P全称pan，表示相机水平方向上移动，即相机的旋转。T全称Tilt，表示垂直方向上的移动，即相机镜头的高低俯仰。Z全称Zoom，表示变焦，即调整相机的焦距。
在实际应用过程中，在步骤S2中，自适应算法划分为广角ROI图像集包括子步骤：
S21，根据长焦相机PTZ坐标的Z值取值范围，将Z值设定为三个区间；
S22，根据设定的三个区间将广角相机广角图按梯度划为1，4，9个ROI图像，记录每个ROI图像顶点像素坐标；
S23，根据当前长焦相机PTZ坐标Z值所处区间将广角相机广角图自适应划分为对应梯度的广角ROI图像集。
在实际应用过程中，在步骤S2中，特征提取采用SuperPoints深度学习的特征提取算法，SuperPoints设计了一种自监督网络框架，提出了一种单应性适应的策略以增强特征点的复检率以及跨域的实用性，能够稳定提取到像素级精度的特征点的位置及其特征向量。SuperPoints特征提取算法由magicLeap于2018年发表，基于自监督训练的特征点检测和描述符提取方法，是一个深度学习用于特征点提取和匹配的方法，能够在原始图像提取到像素级精度的特征点的位置及其描述子。SuperPoints是全卷积神经网络结构，它在全尺寸图像上运行，并在单次前向传播过程中产生兴趣点检测，伴随有固定长度描述符。该模型采用单一共享的编码器来处理和降低输入图像的维数。编码器完成后，架构分成两个解码器头，分别学习任务特定权重，一个用于兴趣点检测，另一个用于兴趣点描述。相比于传统算法，该算法能够检测到更丰富全面的特征点，并且可以对季节和环境光照具有更强的鲁棒性。
在实际应用过程中，在步骤S3中，特征匹配采用算法LightGlue，基于Transformer的注意力机制模拟人类的注意力思维进行特征匹配，对每个图像对进行难度自适应特征匹配，在易于匹配的图像对上实现更快的推理速度，而在具有挑战性的图像对上仍然保持准确性，快速准确的得到图像中的同名点对数量。特征匹配算法LightGlue，是一种用于特征匹配的深度神经网络。LightGlue由L个相同的层组成，这些层共同处理两个特征集合。每个层由自注意力和交叉注意力单元组成，用于更新每个点的表示。然后，一个分类器在每个层次上决定是否停止推理，从而避免不必要的计算。最后，一个轻量级的head从这些表示中计算出部分匹配。LightGlue将注意力机制的力量与关于匹配问题的见解以及Transformer最近的创新相结合，赋予这个模型反思其自身预测可信度的能力，使计算量适应每个图像对的难度。该算法是SuperGlue的加强版本，SuperGlue是近几年来表现最好的特征匹配算法，LightGlue在内存和计算方面更高效，同时结果更准确，也更容易训练。
在实际应用过程中，在步骤S3中，空间关联关系建立包括子步骤：
S31，设定同名点对数量阈值参数；
S32，当同名点对数量大于阈值时，图像对匹配成功。计算广角ROI图像与长焦局部图像的射影变换矩阵；
S33，根据射影变换矩阵求得长焦相机图像的四个角点映射到广角ROI图像中的角点位置，绘制矩形框，得到图像对投影映射；
S34，计算长焦图像中心像素坐标，将其与射影变换矩阵进行矩阵运算求得其投影映射至广角ROI图像像素坐标，与记录的ROI图像顶点像素坐标进行相对坐标转换得到广角图像像素坐标，建立广角图像像素坐标与长焦相机位置PTZ坐标的空间关联关系。
在实际应用过程中，在步骤S4中，函数拟合包含子步骤：
S41，将建立的空间关联关系转换为广角相机图像的像素坐标(x,y)与对应的长焦相机位置PTZ坐标的数组对；
S42，将数组对按照PTZ坐标的P（水平方向的旋转移动）和T（垂直方向的仰俯转动）分解为两个数组，根据数组数据设定函数参数模型，设定函数参数模型为P=ax+by+c和T=dx+ey+f线性平面模型；P、T均为函数参数模型，x和y分别为x轴坐标和y轴坐标，a、b、c、d、e、f均为参数。
S43，通过最小二乘法对函数参数模型进行拟合，通过多项式回归得到拟合的函数与对应函数参数值。
在实际应用过程中，在步骤S5中，可视化结果包含子步骤：将拟合得到的P和T的函数参数和函数模型应用到界面终端完成双机联动相机校准。在广角相机画面中移动矩形框，根据拟合的函数计算得到长焦相机P,T位置，长焦相机自动移动到指定位置，矩形框内画面与长焦画面中心一致，双机联动校准完成。
在实际应用过程中，本发明还提供了一种大场景双机联动相机校准设备的实施例，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载时并执行如上实施例任一项所述的双机联动相机校准方法。
在实际应用过程中，本发明还提供一种大场景双机联动相机校准系统的实施例，包括如上实施例所述的双机联动相机校准设备。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (7)
1.一种大场景双机联动相机校准方法，其特征在于，包括以下步骤：
步骤1：基于广角相机拍摄整体场景区域得到广角图像，根据广角图像设置长焦相机自动巡航拍摄局部细节，得到对应的长焦图像集与实时云台位置信息；
步骤2：基于自适应算法，将步骤1得到的广角图像划分为广角ROI图像集，基于SuperPoints深度学习特征提取网络，对广角ROI图像集与长焦图像集逐一进行特征点与特征向量提取；
步骤3：基于LightGlue深度学习特征匹配网络，对步骤2提取的特征点和特征向量进行匹配计算，找到广角ROI图像与长焦图像中的同名点对，计算射影变换矩阵，建立广角图像像素位置和长焦相机位置的空间关联关系；
步骤4：根据步骤3得到的空间关联关系，基于多项式回归方法拟合函数；
步骤5：根据拟合的函数关系式，完成广角相机与长焦相机双机联动校准并可视化输出；
所述计算射影变换矩阵，建立广角图像像素位置和长焦相机位置的空间关联关系，包括：
步骤31：设定广角ROI图像与长焦图像同名点对数量阈值参数；
步骤32：当同名点对数量大于阈值时，图像对匹配成功；计算广角ROI图像与长焦局部图像的射影变换矩阵；
步骤33：根据射影变换矩阵求得长焦相机图像的四个角点映射到广角ROI图像中的角点位置，绘制矩形框，得到图像对投影映射；
步骤34：计算长焦图像中心像素坐标，将其与射影变换矩阵进行矩阵运算求得长焦图像中心像素坐标投影映射至广角ROI图像像素坐标，将广角ROI图像像素坐标与记录的ROI图像顶点像素坐标进行相对坐标转换得到广角图像像素坐标，建立广角图像像素坐标与长焦相机位置PTZ坐标的空间关联关系；
所述步骤4包括：
步骤41：将建立的空间关联关系转换为广角相机图像的像素坐标(x,y)与对应的长焦相机位置PTZ坐标的数组对；x和y分别表示x轴坐标和y轴坐标；
步骤42：将数组对按照PTZ坐标的P和T分解为两个数组，根据两个数组分别设定P函数参数模型和T函数参数模型；P表示水平方向的旋转移动，T表示垂直方向的仰俯转动；
步骤43：通过最小二乘法分别对P函数参数模型和T函数参数模型进行拟合，通过多项式回归分别得到P和T对应的函数与对应函数参数值；
所述步骤5包括：
将拟合得到的P和T对应的函数与对应函数参数值应用到界面终端完成双机联动相机校准；在广角相机画面中移动步骤33得到的矩形框，根据拟合的函数计算得到长焦相机P，T位置，长焦相机自动移动到指定位置，矩形框内画面与长焦画面中心一致。
2.根据权利要求1所述的大场景双机联动相机校准方法，其特征在于，所述自动巡航拍摄局部细节，包括：
记录长焦相机图像对应广角相机图像的左上角与右下角时长焦相机云台的PTZ坐标，根据此时记录的PTZ坐标设定图像自动扫描程序，按照横向和纵向巡航方式采集指定数量的图像和对应的云台PTZ坐标，将其分别保存；PTZ坐标中P表示相机水平方向上移动，即相机的旋转，T表示垂直方向上的移动，即相机镜头的高低俯仰，Z表示变焦，即调整相机的焦距。
3.根据权利要求1所述的大场景双机联动相机校准方法，其特征在于，所述将步骤1得到的广角图像划分为广角ROI图像集，包括：
步骤21：根据长焦相机PTZ坐标的Z值取值范围将其设定为三个区间；
步骤22：根据设定的三个区间将广角相机广角图按梯度划为多个ROI图像，记录每个ROI图像的顶点像素坐标；
步骤23：根据当前长焦相机PTZ坐标的Z值所处区间，将广角相机广角图自适应划分为对应梯度的广角ROI图像集。
4.根据权利要求1所述的大场景双机联动相机校准方法，其特征在于，在所述步骤2中，SuperPoints深度学习特征提取网络是一种自监督网络框架，SuperPoint网络提出了一种单应性适应的策略以增强特征点的复检率以及跨域的实用性，能够提取到像素级精度的特征点的位置及其特征向量。
5.根据权利要求1所述的大场景双机联动相机校准方法，其特征在于，所述基于LightGlue深度学习特征匹配网络，对步骤2提取的特征点和特征向量进行匹配计算，找到广角ROI图像与长焦图像中的同名点对，包括：
将广角ROI图像记为图像A，将长焦图像记为图像B，对于图像A和图像B中提取的两组特征点和特征向量，每个特征点i由归一化的2D坐标表示，特征向量由d维实数集/>表示；对图像I∈{A,B}的特征点i都关联一个状态/>，初始化为特征向量/>，然后基于Transformer的注意力机制进行特征匹配，通过一个轻量级的检测头计算匹配矩阵；对应构造一个软分配矩阵/>，其中/>和为点对相似度矩阵，/>和/>为特征点匹配度分数，Pij表示第A幅第i个特征点与第B幅第j个特征点匹配的概率；当Pij的值大于阈值且大于其所在列和行的其他值，则Pij对应的两个点确认为同名点对，计算得到图像中的同名点对数量。
6.一种大场景双机联动相机校准设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载时执行权利要求1~5任一项所述的大场景双机联动相机校准方法。
7.一种大场景双机联动相机校准系统，其特征在于，包括权利要求6所述的大场景双机联动相机校准设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410224473.3A CN117812466B (zh) | 2024-02-29 | 2024-02-29 | 一种大场景双机联动相机校准方法、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410224473.3A CN117812466B (zh) | 2024-02-29 | 2024-02-29 | 一种大场景双机联动相机校准方法、设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117812466A CN117812466A (zh) | 2024-04-02 |
| CN117812466B true CN117812466B (zh) | 2024-05-28 |
Family
ID=90430495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410224473.3A Active CN117812466B (zh) | 2024-02-29 | 2024-02-29 | 一种大场景双机联动相机校准方法、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117812466B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537659A (zh) * | 2014-12-23 | 2015-04-22 | 金鹏电子信息机器有限公司 | 双摄像机的自动标定方法和系统 |
| CN109523492A (zh) * | 2019-01-24 | 2019-03-26 | 重庆邮电大学 | 广角相机非规则畸变全域校正方法 |
| CN110622497A (zh) * | 2017-06-05 | 2019-12-27 | 三星电子株式会社 | 具备具有不同焦距的相机的设备及实现相机的方法 |
| CN113538310A (zh) * | 2021-07-15 | 2021-10-22 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113706635A (zh) * | 2021-10-28 | 2021-11-26 | 中国测绘科学研究院 | 一种基于点特征和线特征融合的长焦距相机标定方法 |
| CN117315033A (zh) * | 2023-11-29 | 2023-12-29 | 上海仙工智能科技有限公司 | 一种基于神经网络的识别定位方法及系统、存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6267961B2 (ja) * | 2012-08-10 | 2018-01-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 映像提供方法および送信装置 |
| US9819865B2 (en) * | 2015-10-30 | 2017-11-14 | Essential Products, Inc. | Imaging device and method for generating an undistorted wide view image |
-
2024
- 2024-02-29 CN CN202410224473.3A patent/CN117812466B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537659A (zh) * | 2014-12-23 | 2015-04-22 | 金鹏电子信息机器有限公司 | 双摄像机的自动标定方法和系统 |
| CN110622497A (zh) * | 2017-06-05 | 2019-12-27 | 三星电子株式会社 | 具备具有不同焦距的相机的设备及实现相机的方法 |
| CN109523492A (zh) * | 2019-01-24 | 2019-03-26 | 重庆邮电大学 | 广角相机非规则畸变全域校正方法 |
| CN113538310A (zh) * | 2021-07-15 | 2021-10-22 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113706635A (zh) * | 2021-10-28 | 2021-11-26 | 中国测绘科学研究院 | 一种基于点特征和线特征融合的长焦距相机标定方法 |
| CN117315033A (zh) * | 2023-11-29 | 2023-12-29 | 上海仙工智能科技有限公司 | 一种基于神经网络的识别定位方法及系统、存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Philipp Lindenberger ETH Zurich.LightGlue: Local Feature Matching at Light Speed.《2023 IEEE/CVF International Conference on Computer Vision (ICCV)》.全文. * |
| 航空大视场角镜头畸变校正技术;徐芳;刘晶红;;计算机应用;20130901(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117812466A (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111899164B (zh) | 一种针对多焦段场景的图像拼接方法 | |
| CN108537844B (zh) | 一种融合几何信息的视觉slam回环检测方法 | |
| US11810366B1 (en) | Joint modeling method and apparatus for enhancing local features of pedestrians | |
| CN110889829A (zh) | 一种基于鱼眼镜头的单目测距方法 | |
| WO2019075948A1 (zh) | 移动机器人的位姿估计方法 | |
| CN110555377B (zh) | 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 | |
| CN113686314B (zh) | 船载摄像头的单目水面目标分割及单目测距方法 | |
| CN114905512B (zh) | 一种智能巡检机器人全景追踪及避障方法及系统 | |
| CN111144349A (zh) | 一种室内视觉重定位方法及系统 | |
| CN112767480A (zh) | 一种基于深度学习的单目视觉slam定位方法 | |
| CN116579962A (zh) | 一种基于鱼眼相机的全景感知方法、装置、设备及介质 | |
| CN109544584B (zh) | 一种实现巡检稳像精度测量的方法及系统 | |
| CN113971715A (zh) | 基于深度学习的三维脸部重建的系统 | |
| CN111222459A (zh) | 一种视角无关的视频三维人体姿态识别方法 | |
| CN117812466B (zh) | 一种大场景双机联动相机校准方法、设备及系统 | |
| CN117133041A (zh) | 一种基于深度学习的三维重建网络人脸识别方法、系统、设备及介质 | |
| CN112001224A (zh) | 基于卷积神经网络的视频采集方法和视频采集系统 | |
| CN115984592A (zh) | 基于SuperPoint+SuperGlue的点线融合特征匹配方法 | |
| CN112288824B (zh) | 一种基于现实场景的长焦相机标定装置及标定方法 | |
| CN115967852B (zh) | 一种基于光学补偿优化算法的图像处理方法 | |
| CN115358930B (zh) | 一种基于多无人机实时图像拼接方法及目标检测方法 | |
| CN114630024B (zh) | 一种基于阵列相机系统的仿视网膜非均匀成像方法 | |
| CN114677859B (zh) | 无人机航线自动校正方法和装置 | |
| Zhang et al. | Research on binocular real-time ranging method in window area | |
| Lei et al. | Radial coverage strength for optimization of multi-camera deployment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |