CN112419424B - 一种枪球联动标定方法、装置及相关设备 - Google Patents

一种枪球联动标定方法、装置及相关设备 Download PDF

Info

Publication number
CN112419424B
CN112419424B CN202011293805.1A CN202011293805A CN112419424B CN 112419424 B CN112419424 B CN 112419424B CN 202011293805 A CN202011293805 A CN 202011293805A CN 112419424 B CN112419424 B CN 112419424B
Authority
CN
China
Prior art keywords
gun
image
camera image
coordinates
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011293805.1A
Other languages
English (en)
Other versions
CN112419424A (zh
Inventor
唐亚健
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202011293805.1A priority Critical patent/CN112419424B/zh
Publication of CN112419424A publication Critical patent/CN112419424A/zh
Application granted granted Critical
Publication of CN112419424B publication Critical patent/CN112419424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种枪球联动标定方法、装置、设备及计算机可读存储介质，方法包括当枪机图像和球机图像的重合度超出预设阈值时，获取枪机的视场角和球机的云台坐标；将枪机图像划分为预设数量个区域图像，根据视场角和云台坐标计算获得各区域图像对应于球机图像的区域云台坐标；获取各区域云台坐标对应的球机图像，对各区域图像与对应的球机图像进行特征点匹配，获得各最优匹配点；计算各最优匹配点的特征点坐标对；其中，特征点坐标对包括最优匹配点在枪机图像中的平面坐标和最优匹配点在球机图像中的空间坐标；根据各特征点坐标对生成坐标映射矩阵；利用坐标映射矩阵进行枪球联动标定。该方法可有效提高枪球联动标定效率及其标定结果的准确性。

Description

一种枪球联动标定方法、装置及相关设备
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种枪球联动标定方法，还涉及一种枪球联动标定装置、系统以及计算机可读存储介质。
背景技术
枪球联动网络摄像机，结合枪机看全局、球机看细节的优势，同时结合深度学习全结构化智能特性，支持机动车、非机动车、人体、以及人脸抓拍，并能够提取结构化信息。
然而，枪球联动网络摄像机在枪机和球机之间的联动功能需要进行提前的标定行为，该行为需要使用手动标定的方法在单目枪机上标定5～12个点进行映射计算，对于操作者而言费时费力，若使用不同视场范围的相机组合，则需要重新进行统计，极大地降低了枪球联动标定效率；而且，由于上述标定过程过于使用人为干预，在水平边界点和垂直边界点的范围均需要人为统计，因此，枪球联动标定结果具有较大的误差。
因此，如何更为快速高效的实现枪球联动标定是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种枪球联动标定方法，该枪球联动标定方法可以有效提高枪球联动标定效率及其标定结果的准确性；本申请的另一目的是提供一种枪球联动标定装置、系统以及计算机可读存储介质，也具有上述有益效果。
第一方面，本申请提供了一种枪球联动标定方法，包括：
当枪机图像和球机图像的重合度超出预设阈值时，获取枪机的视场角和球机的云台坐标；
将所述枪机图像划分为预设数量个区域图像，并根据所述视场角和所述云台坐标计算获得各所述区域图像对应于所述球机图像的区域云台坐标；
获取各所述区域云台坐标对应的球机图像，并对各所述区域图像与对应的球机图像进行特征点匹配，获得各最优匹配点；
计算各所述最优匹配点的特征点坐标对；其中，所述特征点坐标对包括所述最优匹配点在所述枪机图像中的平面坐标和所述最优匹配点在所述球机图像中的空间坐标；
根据各所述特征点坐标对生成坐标映射矩阵；
利用所述坐标映射矩阵进行枪球联动标定。
优选的，所述当枪机图像和球机图像的重合度超出预设阈值时，获取枪机的视场角和球机的云台坐标，包括：
根据图像坐标信息对各枪机图像和各球机图像进行重合度计算，获得所述重合度超出所述预设阈值时所述枪机的视场角和所述球机的云台坐标；其中，所述图像坐标信息包括中心坐标和所述中心坐标的邻域坐标。
优选的，所述对各所述区域图像与对应的球机图像进行特征点匹配，获得各最优匹配点，包括：
对所述区域图像与对应的球机图像进行端到端的特征提取，获得多个特征点；
计算各所述特征点在所述区域图像中的描述因子和在对应球机图像中的描述因子，生成描述因子对；
计算各所述描述因子对的余弦距离，并将所述余弦距离取值最小的特征点作为所述最优匹配点。
优选的，所述对所述区域图像与对应的球机图像进行端到端的特征提取，获得多个特征点，包括：
通过ORB算法对所述区域图像与对应的球机图像进行端到端的特征提取，获得所述多个特征点。
优选的，计算所述最优匹配点在所述球机图像中的空间坐标，包括：
计算所述最优匹配点在所述球机图像中的平面坐标；
对所述最优匹配点在所述球机图像中的平面坐标进行坐标转换，获得所述最优匹配点在所述球机图像中的空间坐标。
优选的，计算所述最优匹配点在所述枪机图像中的平面坐标，包括：
计算所述最优匹配点在对应区域图像中的平面坐标；
将所述最优匹配点在对应区域图像中的平面坐标转换为所述最优匹配点在所述枪机图像中的平面坐标。
优选的，所述利用所述坐标映射矩阵进行枪球联动标定，包括：
根据标定指令获取枪机平面坐标；
通过所述坐标映射矩阵对所述枪机平面坐标进行处理，获得球机空间坐标；
根据所述球机空间坐标对所述球机进行标定。
第二方面，本申请还公开了一种枪球联动标定装置，包括：
信息获取模块，用于当枪机图像和球机图像的重合度超出预设阈值时，获取枪机的视场角和球机的云台坐标；
图像划分模块，用于将所述枪机图像划分为预设数量个区域图像，并根据所述视场角和所述云台坐标计算获得各所述区域图像对应于所述球机图像的区域云台坐标；
特征匹配模块，用于获取各所述区域云台坐标对应的球机图像，并对各所述区域图像与对应的球机图像进行特征点匹配，获得各最优匹配点；
坐标计算模块，用于计算各所述最优匹配点的特征点坐标对；其中，所述特征点坐标对包括所述最优匹配点在所述枪机图像中的平面坐标和所述最优匹配点在所述球机图像中的空间坐标；
矩阵生成模块，用于根据各所述特征点坐标对生成坐标映射矩阵；
联动标定模块，用于利用所述坐标映射矩阵进行枪球联动标定。
第三方面，本申请还公开了一种枪球联动标定设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上所述的任一种枪球联动标定方法的步骤。
第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种枪球联动标定方法的步骤。
本申请所提供的一种枪球联动标定方法，包括当枪机图像和球机图像的重合度超出预设阈值时，获取枪机的视场角和球机的云台坐标；将所述枪机图像划分为预设数量个区域图像，并根据所述视场角和所述云台坐标计算获得各所述区域图像对应于所述球机图像的区域云台坐标；获取各所述区域云台坐标对应的球机图像，并对各所述区域图像与对应的球机图像进行特征点匹配，获得各最优匹配点；计算各所述最优匹配点的特征点坐标对；其中，所述特征点坐标对包括所述最优匹配点在所述枪机图像中的平面坐标和所述最优匹配点在所述球机图像中的空间坐标；根据各所述特征点坐标对生成坐标映射矩阵；利用所述坐标映射矩阵进行枪球联动标定。
可见，本申请所提供的枪球联动标定方法，借助枪机视场角作为辅助实现球机云台坐标的计算，由于枪机的视场角是固有参数，在其焦距及其余工艺参数固定后，其视场角是一个定值，可以直接获取，因此，可以使用该参数计算出球机的云台坐标，在此基础上，建立枪机与球机之间的坐标映射关系，从而基于该坐标映射关系实现枪球联动标定，相较于传统的人工标定方法，该种实现方式将诸多需要人力的工作取缔，使用自动化计算方式进行操作，大幅度降低了人力成本，进一步提高了枪球联动标定效率以及标定结果的准确性。
本申请所提供的一种枪球联动标定装置、设备以及计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。
图1为本申请所提供的一种枪球联动标定方法的流程示意图；
图2为本申请所提供的一种枪球联动标定系统的结构示意图；
图3为本申请所提供的一种枪机图像划分示意图；
图4为本申请所提供的一种枪球联动标定装置的结构示意图；
图5为本申请所提供的一种枪球联动标定设备的结构示意图。
具体实施方式
本申请的核心是提供一种枪球联动标定方法，该枪球联动标定方法可以有效提高枪球联动标定效率及其标定结果的准确性；本申请的另一核心是提供一种枪球联动标定装置、系统以及计算机可读存储介质，也具有上述有益效果。
为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请所提供的一种枪球联动标定方法的流程示意图，该枪球联动标定方法可包括：
S101：当枪机图像和球机图像的重合度超出预设阈值时，获取枪机的视场角和球机的云台坐标；
本步骤旨在获取枪机与球机画面重叠时枪机的视场角和球机的云台坐标，在枪球联动系统中，枪机是静态摄像机，当枪机固定好后，其焦距倍率无法大范围变换，视场范围相对稳定；球机是动态摄像机，具有一定范围镜头变倍，用以获取不同倍率下的视场。具体而言，在枪球联动标定过程中，可以对枪机图像和球机图像进行重合度计算，当重合度取值超出预设阈值时，说明当前枪机和球机的画面高度重叠，进一步，获取当前状态下枪机的视场角和球机的云台坐标。其中，上述预设阈值的具体取值并不影响本技术方案的实施，由技术人员根据实际需求进行自定义设定即可，本申请对此不做限定，可以理解的是，该预设阈值的取值越大，两相机的画面重合度越高，可以有效提高枪球联动标定结果的准确性。
作为一种优选实施例，上述当枪机图像和球机图像的重合度超出预设阈值时，获取枪机的视场角和球机的云台坐标，可以包括：根据图像坐标信息对各枪机图像和各球机图像进行重合度计算，获得重合度超出预设阈值时枪机的视场角和球机的云台坐标；其中，图像坐标信息包括中心坐标和中心坐标的邻域坐标。
本优选实施例提供了一种较为具体的计算枪机图像和球机图像重合度的方法，进而实现枪机视场角和球机云台坐标的获取。具体而言，两相机图像的重合度可基于相关的图像坐标信息实现，该图像坐标信息可以包括图像的中心坐标及其邻域坐标，通过坐标相似度计算实现图像重合度计算，从而在重合度超出预设阈值时获取相应的枪机视场角和球机视场角。
S102：将枪机图像划分为预设数量个区域图像，并根据视场角和云台坐标计算获得各区域图像对应于球机图像的区域云台坐标；
本步骤旨在实现枪机图像的区域划分以及划分区域对应于球机的云台坐标计算。具体而言，上述枪机图像为重合度超出预设阈值时枪机采集到的图像数据，球机图像为重合度超出预设阈值时球机采集到的图像数据，在此基础上，对枪机图像进行划分，获得预设数量个区域图像，当然，该预设数量的具体取值并不唯一，由技术人员根据实际需求进行设定即可，此外，上述图像划分为平均划分；进一步，根据枪机视场角和球机云台坐标对各个区域图像对应于球机图像的经纬度空间坐标进行计算，即可获得各个区域图像对应的区域云台坐标。
S103：获取各区域云台坐标对应的球机图像，并对各区域图像与对应的球机图像进行特征点匹配，获得各最优匹配点；
本步骤旨在通过图像特征匹配获得各个划分区域与其对应的球机图像之间的最优匹配点。具体而言，在完成枪机图像的区域划分后，以各个区域云台坐标为基准，利用球机进行图像采集，获得相应的预设数量个球机图像；进一步，通过特征点匹配即可获得各区域图像与其对应的球机图像之间的最优匹配点。
作为一种优选实施例，上述对各区域图像与对应的球机图像进行特征点匹配，获得各最优匹配点，可以包括：对区域图像与对应的球机图像进行端到端的特征提取，获得多个特征点；计算各特征点在区域图像中的描述因子和在对应球机图像中的描述因子，生成描述因子对；计算各描述因子对的余弦距离，并将余弦距离取值最小的特征点作为最优匹配点。
本优选实施例提供了一种较为具体的最优匹配点的获取方法。首先，由于预设数量个球机图像是按照预设数量个区域云台坐标获取到，且分别与对应的区域图像近似相同，因此，对于每个划分区域而言，可以通过特征提取算法对其与对应的球机图像进行端到端特征提取，获得多个特征点，该过程可基于相应的特征提取算法实现；进一步，从以上多个特征点中选取获得最优匹配点，在此过程中，可以对各个特征点的描述因子进行计算，该描述因子包括特征点在区域图像中的描述因子和在该区域图像对应的球机图像中的描述因子，二者组成描述因子对；最后，对各描述因子对进行余弦距离计算，并将描述因子对的余弦距离取值最小的特征点作为最优匹配点。
作为一种优选实施例，上述对区域图像与对应的球机图像进行端到端的特征提取，获得多个特征点，可以包括：通过ORB算法(Oriented FAST and Rotated BRIEF，快速特征点提取和描述算法)对区域图像与对应的球机图像进行端到端的特征提取，获得多个特征点。
本优选实施例提供了一种较为具体的特征提取方法，即基于ORB算法实现，ORB算法的最大特点在于计算速度快，可以有效提高枪球联动标定效率。当然，ORB算法仅为本优选实施例所提供的一种实现方式，并不唯一，还可以为其它类型的特征提取算法，如SIFT(Scale-invariant feature transform，尺度不变特征转换)、SURF(Speeded Up RobustFeatures)、FAST、Harris(角点检测)等。
S104：计算各最优匹配点的特征点坐标对；其中，特征点坐标对包括最优匹配点在枪机图像中的平面坐标和最优匹配点在球机图像中的空间坐标；
本步骤旨在实现最优匹配点的特征点坐标对的计算，即计算各最优匹配点的坐标信息，该坐标信息包括平面坐标和空间坐标，其中，平面坐标是指最优匹配点在枪机图像中的坐标信息，空间坐标是指最优匹配点在球机图像中的坐标信息，二者组成特征点坐标对，以便实现枪机与球机之间关联关系的创建。
作为一种优选实施例，计算最优匹配点在球机图像中的空间坐标，可以包括：计算最优匹配点在球机图像中的平面坐标；对最优匹配点在球机图像中的平面坐标进行坐标转换，获得最优匹配点在球机图像中的空间坐标。
本优选实施例提供了一种特征点坐标对中空间坐标的计算方法，具体的，可以先计算最优匹配点在球机图像中的平面坐标，再对其进行坐标转换，即平面至空间的坐标转换，将平面坐标转换为空间坐标，由此，实现最优匹配点在球机图像中的空间坐标的计算。
作为一种优选实施例，计算最优匹配点在枪机图像中的平面坐标，可以包括：计算最优匹配点在对应区域图像中的平面坐标；将最优匹配点在对应区域图像中的平面坐标转换为最优匹配点在枪机图像中的平面坐标。
本优选实施例提供了一种特征点坐标对中平面坐标的计算方法，具体的，可以先计算最优匹配点在对应区域图像中的平面坐标，再对其进行坐标转换，即图像到图像的坐标转换，将在区域图像中的平面坐标转换为在枪机图像中的平面坐标，由此，实现最优匹配点在枪机图像中的平面坐标的计算。
S105：根据各特征点坐标对生成坐标映射矩阵；
本步骤旨在实现坐标映射矩阵的生成，该坐标映射矩阵体现了枪机与球机之间的关联关系，可用于实现枪球联动标定。具体的，将各特征点坐标对作为输入，对其进行矩阵计算即可转换为对应的坐标映射矩阵。
S106：利用坐标映射矩阵进行枪球联动标定。
本步骤旨在基于坐标映射矩阵实现枪球联动标定，该坐标映射矩阵代表枪机与球机之间的关联关系，可以实现将枪机的平面坐标转换为球机的空间坐标，进而实现枪球联动标定。
作为一种优选实施例，上述利用坐标映射矩阵进行枪球联动标定，可以包括：根据标定指令获取枪机平面坐标；通过坐标映射矩阵对枪机平面坐标进行处理，获得球机空间坐标；根据球机空间坐标对球机进行标定。
本优选实施例提供了具体的枪球联动标定方法，具体的，当接收到标定指令时，获取当前枪机平面坐标，将其输入至上述坐标映射矩阵进行处理，即可获得对应的球机空间坐标，由此，根据球机空间坐标对球机进行标定即可实现枪球联动标定。
可见，本申请所提供的枪球联动标定方法，借助枪机视场角作为辅助实现球机云台坐标的计算，由于枪机的视场角是固有参数，在其焦距及其余工艺参数固定后，其视场角是一个定值，可以直接获取，因此，可以使用该参数计算出球机的云台坐标，在此基础上，建立枪机与球机之间的坐标映射关系，从而基于该坐标映射关系实现枪球联动标定，相较于传统的人工标定方法，该种实现方式将诸多需要人力的工作取缔，使用自动化计算方式进行操作，大幅度降低了人力成本，进一步提高了枪球联动标定效率以及标定结果的准确性。
在上述各实施例的基础上，本优选实施例提供了一种更为具体的枪球联动标定方法。
首先，请参考图2，图2为本申请所提供的一种枪球联动标定系统的结构示意图，该枪球联动标定系统包括预标定模块、近似区域匹配云台坐标计算模块、图像获取模块、特征提取模块、坐标转换模块、映射矩阵计算模块共计六个功能模块，各个功能模块之间存在一定顺序连接，箭尾连接功能模块的输出为箭头所指功能模块的输入。进一步，基于上述各个功能模块，该枪球联动标定方法的具体实现流程如下(下述静态摄像机即为枪机，动态摄像机即为球机)：
1、预标定模块：
该功能模块是一个近似获取静态摄像机与动态摄像机画面重叠的功能模块，以中心坐标及其邻域坐标为基准，获取静态摄像机图像和动态摄像机图像，对静态摄像机图像和动态摄像机图像进行重合度计算，当重合度取值超出预设阈值时，将当前动态摄像机的空间坐标点(球机的云台坐标)与静态摄像机的视场角一同传入下一功能模块。
2、近似区域云台坐标计算模块：
该功能模块利用空间中相对位置不变的特性，将静态摄像机图像均分成9个区域，如图3所示，图3为本申请所提供的一种枪机图像划分示意图；同时，利用静态摄像机的视场角和预标定坐标(即上述空间坐标点)直接计算9个区域对应的动态摄像机图像的9个经纬度空间坐标点(区域云台坐标)，其中，9个空间坐标点计算公式为：
Figure BDA0002784607790000091
/>
Figure BDA0002784607790000092
其中，θ为预标定时输入的动态摄像机云台坐标，α为静态摄像机视场角的1/2，β为静态摄像机视场角的1/6，p代表空间上经度方向数值，t代表空间上纬度方向数值，A1和A2在计算中分别取-1，0，1，对应的，按照A1和A2取值为(-1，-1)，(-1，0)，(-1，1)，(0，-1)，(0，0)，(0，1)，(1，-1)，(1，0)，(1，1)计算获得9个空间坐标点，进一步，将9个空间坐标点传入下一功能模块。
3、图像获取模块：
该功能该模块分别以9个云台坐标点为基准，利用动态摄像机在云台旋转稳定后获取图像，并将静态摄像机图像与九幅动态摄像机图像作为结果传入下一功能模块。
4、特征提取模块：
该功能模块利用ORB算法进行特征提取，由于动态摄像机获取的9幅图像是按照9个空间坐标点获取到的，且分别与静态摄像机的9个区域图像近似相同，因此，以ORB算法进行端到端的图像特征提取后，将每一对图像的所有特征点的描述因子以其余弦距离进行排列，将余弦距离取值最低的特征点作为最优匹配点，并将9个最优匹配点的平面坐标传入下一功能模块。
5、坐标转换模块：
该功能模块利用算法将动态摄像机图像中匹配上的特征点的平面坐标(x,y)转换成为该点在空间上对应的坐标点(P,T)(空间坐标)，获得9对图像上匹配的坐标点对，其中，坐标转换的计算公式为：
Figure BDA0002784607790000101
Figure BDA0002784607790000102
其中，picW和PicH分别为动态摄像机图像的宽和高，X和Y分别为动态摄像机上准备转换的平面坐标点的坐标值，ViewH为动态摄像机垂直方向视场角，P为动态摄像机图像中心对应的经度坐标。
在经度计算后，对0-360度分界线进行越界处理：
Figure BDA0002784607790000111
最后，将9对坐标点对传入下一功能模块。
6、映射矩阵计算模块：
该功能模块是将上述静态摄像机和动态摄像机的特征点对作为输入，其中静态摄像机的特征点为平面坐标，动态摄像机的特征点为空间坐标，进而利用矩阵计算将坐标点对转换成一个映射矩阵，用于将静态摄像机的平面坐标转换成动态摄像机的空间坐标，由此，即可利用该映射矩阵实现枪球联动标定。
可见，本申请实施例所提供的枪球联动标定方法，借助枪机视场角作为辅助实现球机云台坐标的计算，由于枪机的视场角是固有参数，在其焦距及其余工艺参数固定后，其视场角是一个定值，可以直接获取，因此，可以使用该参数计算出球机的云台坐标，在此基础上，建立枪机与球机之间的坐标映射关系，从而基于该坐标映射关系实现枪球联动标定，相较于传统的人工标定方法，该种实现方式将诸多需要人力的工作取缔，使用自动化计算方式进行操作，大幅度降低了人力成本，进一步提高了枪球联动标定效率以及标定结果的准确性。
为解决上述技术问题，本申请还提供了一种枪球联动标定装置，请参考图4，图4为本申请所提供的一种枪球联动标定装置的结构示意图，该枪球联动标定装置可包括：
信息获取模块1，用于当枪机图像和球机图像的重合度超出预设阈值时，获取枪机的视场角和球机的云台坐标；
图像划分模块2，用于将枪机图像划分为预设数量个区域图像，并根据视场角和云台坐标计算获得各区域图像对应于球机图像的区域云台坐标；
特征匹配模块3，用于获取各区域云台坐标对应的球机图像，并对各区域图像与对应的球机图像进行特征点匹配，获得各最优匹配点；
坐标计算模块4，用于计算各最优匹配点的特征点坐标对；其中，特征点坐标对包括最优匹配点在枪机图像中的平面坐标和最优匹配点在球机图像中的空间坐标；
矩阵生成模块5，用于根据各特征点坐标对生成坐标映射矩阵；
联动标定模块6，用于利用坐标映射矩阵进行枪球联动标定。
可见，本申请实施例所提供的枪球联动标定装置，借助枪机视场角作为辅助实现球机云台坐标的计算，由于枪机的视场角是固有参数，在其焦距及其余工艺参数固定后，其视场角是一个定值，可以直接获取，因此，可以使用该参数计算出球机的云台坐标，在此基础上，建立枪机与球机之间的坐标映射关系，从而基于该坐标映射关系实现枪球联动标定，相较于传统的人工标定方法，该种实现方式将诸多需要人力的工作取缔，使用自动化计算方式进行操作，大幅度降低了人力成本，进一步提高了枪球联动标定效率以及标定结果的准确性。
作为一种优选实施例，上述信息获取模块1可具体用于根据图像坐标信息对各枪机图像和各球机图像进行重合度计算，获得重合度超出预设阈值时枪机的视场角和球机的云台坐标；其中，图像坐标信息包括中心坐标和中心坐标的邻域坐标。
作为一种优选实施例，上述特征匹配模块3可包括：
特征提取单元，用于对区域图像与对应的球机图像进行端到端的特征提取，获得多个特征点；
描述因子对计算单元，用于计算各特征点在区域图像中的描述因子和在对应球机图像中的描述因子，生成描述因子对；
最优匹配点选择单元，用于计算各描述因子对的余弦距离，并将余弦距离取值最小的特征点作为最优匹配点。
作为一种优选实施例，上述特征提取单元可具体用于通过ORB算法对区域图像与对应的球机图像进行端到端的特征提取，获得多个特征点。
作为一种优选实施例，上述坐标计算模块4可具体用于计算最优匹配点在球机图像中的平面坐标；对最优匹配点在球机图像中的平面坐标进行坐标转换，获得最优匹配点在球机图像中的空间坐标。
作为一种优选实施例，上述坐标计算模块4可具体用于计算最优匹配点在对应区域图像中的平面坐标；将最优匹配点在对应区域图像中的平面坐标转换为最优匹配点在枪机图像中的平面坐标。
作为一种优选实施例，上述联动标定模块6可具体用于根据标定指令获取枪机平面坐标；通过坐标映射矩阵对枪机平面坐标进行处理，获得球机空间坐标；根据球机空间坐标对球机进行标定。
对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述技术问题，本申请还提供了一种枪球联动标定系统，请参考图5，图5为本申请所提供的一种枪球联动标定系统的结构示意图，该枪球联动标定系统可包括：
存储器10，用于存储计算机程序；
处理器20，用于执行计算机程序时可实现如上述任意一种枪球联动标定方法的步骤。
对于本申请提供的系统的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种枪球联动标定方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。

Claims (9)

1.一种枪球联动标定方法，其特征在于，包括：
当枪机图像和球机图像的重合度超出预设阈值时，获取枪机的视场角和球机的云台坐标；
将所述枪机图像划分为预设数量个区域图像，并根据所述视场角和所述云台坐标计算获得各所述区域图像对应于所述球机图像的区域云台坐标；
获取各所述区域云台坐标对应的球机图像，并对各所述区域图像与对应的球机图像进行特征点匹配，获得各最优匹配点；
计算各所述最优匹配点的特征点坐标对；其中，所述特征点坐标对包括所述最优匹配点在所述枪机图像中的平面坐标和所述最优匹配点在所述球机图像中的空间坐标；
根据各所述特征点坐标对生成坐标映射矩阵；
利用所述坐标映射矩阵进行枪球联动标定；
其中，所述对各所述区域图像与对应的球机图像进行特征点匹配，获得各最优匹配点，包括：
对所述区域图像与对应的球机图像进行端到端的特征提取，获得多个特征点；
计算各所述特征点在所述区域图像中的描述因子和在对应球机图像中的描述因子，生成描述因子对；
计算各所述描述因子对的余弦距离，并将所述余弦距离取值最小的特征点作为所述最优匹配点。
2.根据权利要求1所述的枪球联动标定方法，其特征在于，所述当枪机图像和球机图像的重合度超出预设阈值时，获取枪机的视场角和球机的云台坐标，包括：
根据图像坐标信息对各枪机图像和各球机图像进行重合度计算，获得所述重合度超出所述预设阈值时所述枪机的视场角和所述球机的云台坐标；其中，所述图像坐标信息包括中心坐标和所述中心坐标的邻域坐标。
3.根据权利要求1所述的枪球联动标定方法，其特征在于，所述对所述区域图像与对应的球机图像进行端到端的特征提取，获得多个特征点，包括：
通过ORB算法对所述区域图像与对应的球机图像进行端到端的特征提取，获得所述多个特征点。
4.根据权利要求1所述的枪球联动标定方法，其特征在于，计算所述最优匹配点在所述球机图像中的空间坐标，包括：
计算所述最优匹配点在所述球机图像中的平面坐标；
对所述最优匹配点在所述球机图像中的平面坐标进行坐标转换，获得所述最优匹配点在所述球机图像中的空间坐标。
5.根据权利要求1所述的枪球联动标定方法，其特征在于，计算所述最优匹配点在所述枪机图像中的平面坐标，包括：
计算所述最优匹配点在对应区域图像中的平面坐标；
将所述最优匹配点在对应区域图像中的平面坐标转换为所述最优匹配点在所述枪机图像中的平面坐标。
6.根据权利要求1所述的枪球联动标定方法，其特征在于，所述利用所述坐标映射矩阵进行枪球联动标定，包括：
根据标定指令获取枪机平面坐标；
通过所述坐标映射矩阵对所述枪机平面坐标进行处理，获得球机空间坐标；
根据所述球机空间坐标对所述球机进行标定。
7.一种枪球联动标定装置，其特征在于，包括：
信息获取模块，用于当枪机图像和球机图像的重合度超出预设阈值时，获取枪机的视场角和球机的云台坐标；
图像划分模块，用于将所述枪机图像划分为预设数量个区域图像，并根据所述视场角和所述云台坐标计算获得各所述区域图像对应于所述球机图像的区域云台坐标；
特征匹配模块，用于获取各所述区域云台坐标对应的球机图像，并对各所述区域图像与对应的球机图像进行特征点匹配，获得各最优匹配点；
坐标计算模块，用于计算各所述最优匹配点的特征点坐标对；其中，所述特征点坐标对包括所述最优匹配点在所述枪机图像中的平面坐标和所述最优匹配点在所述球机图像中的空间坐标；
矩阵生成模块，用于根据各所述特征点坐标对生成坐标映射矩阵；
联动标定模块，用于利用所述坐标映射矩阵进行枪球联动标定；
其中，所述特征匹配模块具体用于对所述区域图像与对应的球机图像进行端到端的特征提取，获得多个特征点；计算各所述特征点在所述区域图像中的描述因子和在对应球机图像中的描述因子，生成描述因子对；计算各所述描述因子对的余弦距离，并将所述余弦距离取值最小的特征点作为所述最优匹配点。
8.一种枪球联动标定设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至6任一项所述的枪球联动标定方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至6任一项所述的枪球联动标定方法的步骤。
CN202011293805.1A 2020-11-18 2020-11-18 一种枪球联动标定方法、装置及相关设备 Active CN112419424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011293805.1A CN112419424B (zh) 2020-11-18 2020-11-18 一种枪球联动标定方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011293805.1A CN112419424B (zh) 2020-11-18 2020-11-18 一种枪球联动标定方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN112419424A CN112419424A (zh) 2021-02-26
CN112419424B true CN112419424B (zh) 2023-05-26

Family

ID=74773855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011293805.1A Active CN112419424B (zh) 2020-11-18 2020-11-18 一种枪球联动标定方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN112419424B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038031B (zh) * 2021-03-02 2023-05-30 天津天地伟业智能安全防范科技有限公司 一种枪球联动的标定方法、装置、电子设备及存储介质
CN115379165A (zh) * 2022-07-22 2022-11-22 交通运输部路网监测与应急处置中心 一种基于枪机球机联动的隧道监控方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537659A (zh) * 2014-12-23 2015-04-22 金鹏电子信息机器有限公司 双摄像机的自动标定方法和系统
CN111800605A (zh) * 2020-06-15 2020-10-20 深圳英飞拓科技股份有限公司 基于枪球联动的车形、车牌传输的方法及系统、设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198487B (zh) * 2013-04-15 2016-05-25 厦门博聪信息技术有限公司 一种用于视频监控系统中的自动定标方法
CN110969657B (zh) * 2018-09-29 2023-11-03 杭州海康威视数字技术股份有限公司 一种枪球坐标关联方法、装置、电子设备及存储介质
CN111698455B (zh) * 2019-03-13 2022-03-11 华为技术有限公司 控制球机与枪机联动的方法、装置及介质
CN111885301A (zh) * 2020-06-29 2020-11-03 浙江大华技术股份有限公司 枪球联动跟踪方法、装置、计算机设备和存储介质
CN111815715A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 变焦云台摄像机的标定方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537659A (zh) * 2014-12-23 2015-04-22 金鹏电子信息机器有限公司 双摄像机的自动标定方法和系统
CN111800605A (zh) * 2020-06-15 2020-10-20 深圳英飞拓科技股份有限公司 基于枪球联动的车形、车牌传输的方法及系统、设备

Also Published As

Publication number Publication date
CN112419424A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112419424B (zh) 一种枪球联动标定方法、装置及相关设备
CN106485753B (zh) 用于无人驾驶汽车的摄像机标定的方法和装置
EP3598385B1 (en) Face deblurring method and device
CN111340737B (zh) 图像矫正方法、装置和电子系统
CN112367474A (zh) 一种自适应光场成像方法、装置及设备
CN108564551A (zh) 鱼眼图像处理方法及鱼眼图像处理装置
CN111815715A (zh) 变焦云台摄像机的标定方法、装置及存储介质
CN110599586A (zh) 一种半稠密场景重建方法、装置、电子设备及存储介质
CN112414403A (zh) 一种机器人的定位定姿方法、设备及存储介质
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
CN111582180B (zh) 车牌定位方法、图像处理装置及具有存储功能的装置
CN107680035B (zh) 一种参数标定方法和装置、服务器及可读存储介质
CN112580434A (zh) 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN110136205B (zh) 多目相机的视差校准方法、装置及系统
CN116310105B (zh) 基于多视图的物体三维重建方法、装置、设备及存储介质
CN116012227A (zh) 图像处理方法、装置、存储介质及处理器
CN110706288A (zh) 目标检测的方法、装置、设备及可读存储介质
CN116363238A (zh) 视差图生成方法、装置、设备及计算机可读存储介质
CN115311336A (zh) 多相机的图像配准方法、装置、设备及存储介质
CN115705621A (zh) 一种基于嵌入式平台的单目视觉实时测距方法及测距系统
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN111739072A (zh) 像素点的匹配方法及装置、存储介质和电子装置
CN115514877B (zh) 图像处理装置和降低噪声的方法
US20220254065A1 (en) Camera calibration method and apparatus and electronic device
CN111524087B (zh) 图像处理方法及装置、存储介质、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant