CN116704046B - 一种跨镜图像匹配方法及装置 - Google Patents

一种跨镜图像匹配方法及装置 Download PDF

Info

Publication number
CN116704046B
CN116704046B CN202310952786.6A CN202310952786A CN116704046B CN 116704046 B CN116704046 B CN 116704046B CN 202310952786 A CN202310952786 A CN 202310952786A CN 116704046 B CN116704046 B CN 116704046B
Authority
CN
China
Prior art keywords
coordinate system
homography matrix
camera
image
data pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310952786.6A
Other languages
English (en)
Other versions
CN116704046A (zh
Inventor
江敏
董涵
唐矗
蒲立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jijia Technology Co ltd
Original Assignee
Beijing Jijia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jijia Technology Co ltd filed Critical Beijing Jijia Technology Co ltd
Priority to CN202310952786.6A priority Critical patent/CN116704046B/zh
Publication of CN116704046A publication Critical patent/CN116704046A/zh
Application granted granted Critical
Publication of CN116704046B publication Critical patent/CN116704046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请提供了一种跨镜图像匹配方法及装置，属于数据处理技术领域。所述方法包括步骤S1、获取各从机系统发送来的与各从机连接的摄像头所采集的图像；步骤S2、确定各所述图像中的多个在世界坐标系下进行坐标标定的标定点，并基于多个所述标定点确定各摄像头的图像坐标系与所述世界坐标系的单应性矩阵；步骤S3、基于各所述单应性矩阵计算各摄像头的图像坐标系下的各像素点对应的世界坐标系下的坐标。本申请实现了世界坐标系与多个相机图像坐标系自动标定配准任务，解决了标定步骤复杂，维护困难的问题。

Description

一种跨镜图像匹配方法及装置
技术领域
本申请属于数据处理技术领域，特别涉及一种跨镜图像匹配的方法及装置。
背景技术
近年来，数字化、网络化的智能视频监控系统依靠其集成性、灵活性和可靠性在安防领域占据着重要地位。跨镜图像匹配在智能安防、视频监控等方面有巨大的应用前景，已经成为计算机视觉领域的研究焦点。
目前监控摄像机在商业应用中己经普遍存在，但并没有充分发挥其实时主动的监督作用，因为它们通常是将摄像机的输出结果记录下来，当异常情况发生后，保安人员才通过记录的结果观察发生的事实，但往往为时已晚。而我们需要监控系统应能够每天连续24小时的实时智能监视，并自动分析摄像机捕捉的图像数据，当异常发生时，系统能向保卫人员准确及时地发出警报，同时也减少雇佣大批监视人员所需要的人力、物力和财力的投入。
智能视觉监控就是要用计算机视觉的方法，在不需要人为干预的情况下，通过对摄像机拍录的图像序列进行自动分析，实现对动态场景中目标的定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而做到既能完成日常管理又能在异常情况发生的时候及时做出反应。
智能监控系统的需求主要来自那些对安全要求敏感的场合，如银行、商店、停车场等。另外，智能监控系统在自动售货机、ATM机、交通管理、公共场所行人的拥挤状态分析及商店中消费者流量统计等方面也有着相应的应用。
现有的智能监控系统相互独立、缺乏联动，发生紧急事件时，不能高效发挥预警联防的作用；存在以下几个问题：首先，摄像头的视野比较局限，难以获得全景图像，较小的视野不能很好的支持实时多目标追踪的需求。其次，即使是使用广角镜头获得了更大的视野，单一的角度也很难全方位地表达目标特征。最后，传统的图像匹配方法一半比较消耗人力，现场容易被破坏，相机的轻微移动都需要重新标定，造成维护起来比较困难；这些缺点会限制智能监控系统在室内应用场景的普及。
发明内容
为了解决上述技术问题，本申请提供一种跨镜图像匹配方法及装置，解决智能监控系统相互独立、缺乏联动、单个摄像头图像视野小、角度单一的问题。
本申请的第一个方面，一种跨镜图像匹配方法，应用于主机系统，主要包括：步骤S1、获取各从机系统发送来的与各从机连接的摄像头所采集的图像；步骤S2、确定各所述图像中的多个在世界坐标系下进行坐标标定的标定点，并基于多个所述标定点确定各摄像头的图像坐标系与所述世界坐标系的单应性矩阵；步骤S3、基于各所述单应性矩阵计算各摄像头的图像坐标系下的各像素点对应的世界坐标系下的坐标。
优选的是，步骤S3之后进一步包括：步骤S4、获取智能视觉监控程序发送的异常目标及所述异常目标的世界坐标系下的坐标；步骤S5、向各从机发送目标跟踪信号，所述目标跟踪信号用于使各摄像头联动，以获得所述异常目标的多方位特征。
优选的是，步骤S2进一步包括：步骤S21、获取移动机器人发送的第一数据对列表，所述第一数据对列表中具有多个数据对，每个数据对包括移动机器人在某一时刻的世界坐标系下的坐标及记录该时刻的时间戳；步骤S22、对每一个摄像头所采集的图像，确定多个由图像的采集时间及对应的移动机器人在图像坐标系下的坐标所构成的数据对，并形成第二数据对列表；步骤S23、基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵。
优选的是，步骤S21之前，进一步包括：步骤S201、获取顶部带有依次闪烁不同颜色的移动机器人在第一时刻的第一指示灯颜色；步骤S202、获取各摄像头采集的图像中具有与所述第一指示灯颜色相同的指示灯颜色的图像，并确定该图像的采集时刻；步骤S203，基于所述第一时刻校正所述采集时刻，实现所述移动机器人与各摄像头的同步对时。
优选的是，步骤S2进一步包括：步骤S24、获取通过激光网格线投射的固定大小的网格的各节点在世界坐标系下的坐标，并基于所述激光网格线的中心点作为原点，确定各节点在各摄像头的图像坐标系下的坐标；步骤S25、计算所述世界坐标系与各所述图像坐标系所对应的第二单应性矩阵；步骤S26、将基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵作为第一单应性矩阵，对每一个摄像头，通过以下模型确定最终的单应性矩阵：
C=aA+bB；
其中，A为第一单应性矩阵，B为与第一单应性矩阵同构的第二单应性矩阵，C为最终的单应性矩阵，a与b为权重调整参数，且a+b=1，本申请中，第一单应性矩阵A与第二单应性矩阵B具有相同的几何结构和特征，以使得两者能够进行合法运算。
本申请第二方面，一种跨镜图像匹配装置，应用于主机系统，主要包括：图像获取模块，用于获取各从机系统发送来的与各从机连接的摄像头所采集的图像；单应性矩阵计算模块，用于确定各所述图像中的多个在世界坐标系下进行坐标标定的标定点，并基于多个所述标定点确定各摄像头的图像坐标系与所述世界坐标系的单应性矩阵；坐标对应模块，用于基于各所述单应性矩阵计算各摄像头的图像坐标系下的各像素点对应的世界坐标系下的坐标。
优选的是，所述跨镜图像匹配装置还包括：异常目标确定模块，用于获取智能视觉监控程序发送的异常目标及所述异常目标的世界坐标系下的坐标；异常目标联动跟踪模块，用于向各从机发送目标跟踪信号，所述目标跟踪信号用于使各摄像头联动，以获得所述异常目标的多方位特征。
优选的是，所述单应性矩阵计算模块包括：第一数据对列表获取单元，用于获取移动机器人发送的第一数据对列表，所述第一数据对列表中具有多个数据对，每个数据对包括移动机器人在某一时刻的世界坐标系下的坐标及记录该时刻的时间戳；第二数据对列表获取单元，用于对每一个摄像头所采集的图像，确定多个由图像的采集时间及对应的移动机器人在图像坐标系下的坐标所构成的数据对，并形成第二数据对列表；单应性矩阵计算单元，用于基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵。
优选的是，所述单应性矩阵计算模块还包括：指示灯颜色获取单元，用于获取顶部带有依次闪烁不同颜色的移动机器人在第一时刻的第一指示灯颜色；图像采集时刻获取单元，用于获取各摄像头采集的图像中具有与所述第一指示灯颜色相同的指示灯颜色的图像，并确定该图像的采集时刻；同步对时单元，用于基于所述第一时刻校正所述采集时刻，实现所述移动机器人与各摄像头的同步对时。
优选的是，所述单应性矩阵计算模块还包括：激光网格坐标标定单元，用于获取通过激光网格线投射的固定大小的网格的各节点在世界坐标系下的坐标，并基于所述激光网格线的中心点作为原点，确定各节点在各摄像头的图像坐标系下的坐标；第二单应性矩阵计算单元，用于计算所述世界坐标系与各所述图像坐标系所对应的第二单应性矩阵；单应性矩阵修正单元，用于将基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵作为第一单应性矩阵，对每一个摄像头，通过以下模型确定最终的单应性矩阵：
C=aA+bB；
其中，A为第一单应性矩阵，B为与第一单应性矩阵同构的第二单应性矩阵，C为最终的单应性矩阵，a与b为权重调整参数，且a+b=1。
本申请的第三方面，一种计算机设备，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序用于实现如上任一项所述的跨镜图像匹配方法。
本申请的第四方面，一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的跨镜图像匹配方法。
本申请实现了世界坐标系与多个相机图像坐标系自动标定配准任务，解决了标定步骤复杂，维护困难的问题。
附图说明
图1是本申请跨镜图像匹配方法的一优选实施例的流程图。
图2为适于用来实现本申请实施方式的终端或服务器的计算机设备的结构示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。下面结合附图对本申请的实施方式进行详细说明。
根据本申请第一方面，如图1所示，一种跨镜图像匹配方法，应用于主机系统，主要包括：
步骤S1、获取各从机系统发送来的与各从机连接的摄像头所采集的图像；
步骤S2、确定各所述图像中的多个在世界坐标系下进行坐标标定的标定点，并基于多个所述标定点确定各摄像头的图像坐标系与所述世界坐标系的单应性矩阵；
步骤S3、基于各所述单应性矩阵计算各摄像头的图像坐标系下的各像素点对应的世界坐标系下的坐标。
本申请采用了主从机系统架构，主从式多级系统要求系统具备一台主处理机和多台从机。监控管理程序始终由同一个主处理机执行，从机的任务分配完全由主机负责。如果从机需要主机的服务，可向主机申请，等待主机执行相应的管理程序。主从式操作系统对软硬件要求简单，适合于工作负荷较轻且比较明确的应用场合，特别是从机能力小于主机的非对称情况。本申请的主机一方面获取世界坐标系下的各标定点坐标，另一方面获取各从机发送来的图像坐标系下的各标定点坐标，从而计算出单应性矩阵，以便各从机摄像头进行联动，或者图像拼接。该实施例中，单应性矩阵有8个自由度，旋转矩阵R有三个自由度，平移矩阵t有3个自由度，法向量n有2个自由度，相机中心距平面的距离d有1个自由度。单应性矩阵可以看成从二维的操作到三维操作的一个过度。在计算机视觉中，平面的单应性被定义为一个平面到另外一个平面的投影映射。因此一个二维平面上的点映射到摄像机CCD上的映射就是平面单应性的例子。
本申请通过单应性矩阵实现了室内大场景下跨镜图像像素级自动匹配功能。
在一些可选实施方式中，步骤S3之后进一步包括：
步骤S4、获取智能视觉监控程序发送的异常目标及所述异常目标的世界坐标系下的坐标；
步骤S5、向各从机发送目标跟踪信号，所述目标跟踪信号用于使各摄像头联动，以获得所述异常目标的多方位特征。
在该实施例中，主机安装有已有的智能视觉监控程序，多个摄像头的图像汇集到主机之后，通过智能视觉监控程序发现异常目标，通过步骤S5促使各摄像头进行联动监控，聚焦异常目标，实现对异常目标的跟踪，基于多个摄像头的不同视角，能够发现异常目标的更多行为特征。
在一些可选实施方式中，步骤S2进一步包括：
步骤S21、获取移动机器人发送的第一数据对列表，所述第一数据对列表中具有多个数据对，每个数据对包括移动机器人在某一时刻的世界坐标系下的坐标及记录该时刻的时间戳；
步骤S22、对每一个摄像头所采集的图像，确定多个由图像的采集时间及对应的移动机器人在图像坐标系下的坐标所构成的数据对，并形成第二数据对列表；
步骤S23、基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵。
该实施例提供了一种单应性矩阵计算方法，包括多个相机和一个搭载精确定位系统的可移动机器人，在整个标定过程中，机器人通过自动驾驶，在不同时刻记录不同的世界坐标系下信号灯的坐标以及当前时间戳信息，组成一个数据对列表；与此同时，多个相机从不同角度采集机器人以及依次闪烁不同颜色信号灯的图像，通过计算机视觉检测算法获得信号灯在图像坐标系下的坐标以及当前时间戳信息，同样组成一个数据对列表；在采集到足够多的样本以后，通过时间戳确定所有对应点，并求解每个相机与世界坐标系的单应性矩阵，得到每个相机图像坐标系与世界坐标系的映射关系，就能知道每个相机里面每个像素点对应的世界坐标系的坐标。以上，实现了多个相机与同一个世界坐标系的匹配过程，达到了简单高效、自动化、高精度像素级的跨镜匹配效果，是一种针对室内大型场景的跨镜图像匹配智能监控方案。
在一些可选实施方式中，步骤S21之前，进一步包括：步骤S201、获取顶部带有依次闪烁不同颜色的移动机器人在第一时刻的第一指示灯颜色；步骤S202、获取各摄像头采集的图像中具有与所述第一指示灯颜色相同的指示灯颜色的图像，并确定该图像的采集时刻；步骤S203，基于所述第一时刻校正所述采集时刻，实现所述移动机器人与各摄像头的同步对时。
该实施例中，移动机器人顶部带有一颗依次闪烁不同颜色的信号灯，从而实现主机与各从机摄像头之间的同步对时功能。
在一些可选实施方式中，步骤S2进一步包括：步骤S24、获取通过激光网格线投射的固定大小的网格的各节点在世界坐标系下的坐标，并基于所述激光网格线的中心点作为原点，确定各节点在各摄像头的图像坐标系下的坐标；步骤S25、计算所述世界坐标系与各所述图像坐标系所对应的第二单应性矩阵。
上述方式提供了第二种计算单应性矩阵的方式，使用激光网格线代替可移动机器人实现跨境匹配。在室内大场景使用多个摄像头，作为匹配图像的输入设备，在地平面上使用激光网格线投射，并在网格线的中间确定一个所有相机都能采集到的中心点作为原点；由于激光网格大小固定，所以可以自动推算每个网格节点在世界坐标系下的坐标；通过计算机视觉算法计算出每个网格节点在图像坐标系下的坐标，同样可以通过上述单应性矩阵求解出每个相机图像坐标系与世界坐标系的映射关系。
备选实施方式中，还可以将上述两种方式计算的单应性矩阵进行加权处理，即步骤S25之后可以进一步包括：步骤S26、将基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵作为第一单应性矩阵，对每一个摄像头，通过以下模型确定最终的单应性矩阵：
C=aA+bB；
其中，A为第一单应性矩阵，B为与第一单应性矩阵同构的第二单应性矩阵，C为最终的单应性矩阵，a与b为权重调整参数，且a+b=1。
该实施例中，第一单应性矩阵A的计算精度受时间同步影响，也即是受颜色灯持续时间影响，设定各颜色灯亮起时的持续时间为t，第二单应性矩阵B的计算精度受激光网格线粗细影响，也可以理解为受网格交叉点面积的影响，设定面积大小s，但是受摄像头拍摄精度及图像识别精度影响，持续时间t与面积s不可能做成无限小，为此，本申请首先给定理论上的具有较小值的设定时间t1及设定面积s1，由此b=(t/t1)/(t/t1+s/s1)；a=1-b。上述公式表明，持续时间t越大，对应的第一单应性矩阵A的可信度越低，第一单应性矩阵A的权重a应当越小，反之第二单应性矩阵B的权重b应当越大，因此公式中权重b与持续时间t呈正相关。
本申请使用自动化主从多机系统和计算机视觉算法结合集成的自动跨镜配准方案替代传统人工标定图像配准方案，完成了室内大场景的世界坐标系与多个相机图像坐标系自动标定配准任务。
本申请第二方面提供了一种与上述方法对应的跨镜图像匹配装置，主要包括：图像获取模块，用于获取各从机系统发送来的与各从机连接的摄像头所采集的图像；单应性矩阵计算模块，用于确定各所述图像中的多个在世界坐标系下进行坐标标定的标定点，并基于多个所述标定点确定各摄像头的图像坐标系与所述世界坐标系的单应性矩阵；坐标对应模块，用于基于各所述单应性矩阵计算各摄像头的图像坐标系下的各像素点对应的世界坐标系下的坐标。
在一些可选实施方式中，所述跨镜图像匹配装置还包括：异常目标确定模块，用于获取智能视觉监控程序发送的异常目标及所述异常目标的世界坐标系下的坐标；异常目标联动跟踪模块，用于向各从机发送目标跟踪信号，所述目标跟踪信号用于使各摄像头联动，以获得所述异常目标的多方位特征。
在一些可选实施方式中，所述单应性矩阵计算模块包括：第一数据对列表获取单元，用于获取移动机器人发送的第一数据对列表，所述第一数据对列表中具有多个数据对，每个数据对包括移动机器人在某一时刻的世界坐标系下的坐标及记录该时刻的时间戳；第二数据对列表获取单元，用于对每一个摄像头所采集的图像，确定多个由图像的采集时间及对应的移动机器人在图像坐标系下的坐标所构成的数据对，并形成第二数据对列表；单应性矩阵计算单元，用于基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵。
在一些可选实施方式中，所述单应性矩阵计算模块还包括：指示灯颜色获取单元，用于获取顶部带有依次闪烁不同颜色的移动机器人在第一时刻的第一指示灯颜色；图像采集时刻获取单元，用于获取各摄像头采集的图像中具有与所述第一指示灯颜色相同的指示灯颜色的图像，并确定该图像的采集时刻；同步对时单元，用于基于所述第一时刻校正所述采集时刻，实现所述移动机器人与各摄像头的同步对时。
在一些可选实施方式中，所述单应性矩阵计算模块还包括：激光网格坐标标定单元，用于获取通过激光网格线投射的固定大小的网格的各节点在世界坐标系下的坐标，并基于所述激光网格线的中心点作为原点，确定各节点在各摄像头的图像坐标系下的坐标；第二单应性矩阵计算单元，用于计算所述世界坐标系与各所述图像坐标系所对应的第二单应性矩阵；单应性矩阵修正单元，用于将基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵作为第一单应性矩阵，对每一个摄像头，通过以下模型确定最终的单应性矩阵：
C=aA+bB；
其中，A为第一单应性矩阵，B为与第一单应性矩阵同构的第二单应性矩阵，C为最终的单应性矩阵，a与b为权重调整参数，且a+b=1。
本申请第三方面，一种计算机设备，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序用于实现跨镜图像匹配方法。
本申请第四方面，一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的跨镜图像匹配方法。该计算机可读存储介质可以是上述实施方式中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时按上述方法对数据进行处理。
下面参考图2，其示出了适于用来实现本申请实施方式的计算机设备400的结构示意图。图2示出的计算机设备仅仅是一个示例，不应对本申请实施方式的功能和使用范围带来任何限制。
如图2所示，计算机设备400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有设备400操作所需的各种程序和数据。CPU401、ROM402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本申请的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施方式包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施方式中所涉及到的模块或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块或单元也可以设置在处理器中，这些模块或单元的名称在某种情况下并不构成对该模块或单元本身的限定。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种跨镜图像匹配方法，应用于主机系统，其特征在于，所述跨镜图像匹配方法包括：
步骤S1、获取各从机系统发送来的与各从机连接的摄像头所采集的图像；
步骤S2、确定各所述图像中的多个在世界坐标系下进行坐标标定的标定点，并基于多个所述标定点确定各摄像头的图像坐标系与所述世界坐标系的单应性矩阵；
步骤S3、基于各所述单应性矩阵计算各摄像头的图像坐标系下的各像素点对应的世界坐标系下的坐标；
其中，步骤S2进一步包括：
步骤S21、获取移动机器人发送的第一数据对列表，所述第一数据对列表中具有多个数据对，每个数据对包括移动机器人在某一时刻的世界坐标系下的坐标及记录该时刻的时间戳；
步骤S22、对每一个摄像头所采集的图像，确定多个由图像的采集时间及对应的移动机器人在图像坐标系下的坐标所构成的数据对，并形成第二数据对列表；
步骤S23、基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵；
步骤S24、获取通过激光网格线投射的固定大小的网格的各节点在世界坐标系下的坐标，并基于所述激光网格线的中心点作为原点，确定各节点在各摄像头的图像坐标系下的坐标；
步骤S25、计算所述世界坐标系与各所述图像坐标系所对应的第二单应性矩阵；
步骤S26、将基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵作为第一单应性矩阵，对每一个摄像头，通过以下模型确定最终的单应性矩阵：
C=aA+bB；
其中，A为第一单应性矩阵，B为与第一单应性矩阵同构的第二单应性矩阵，C为最终的单应性矩阵，a与b为权重调整参数，且a+b=1；
其中，b=(t/t1)/(t/t1+s/s1)；a=1-b；t为第一单应性矩阵中进行各机器人同步对时过程中的信号灯持续时间，t1为设定时间，s为第二单应性矩阵中所述激光网格线的交叉点面积，s1为设定面积。
2.如权利要求1所述的跨镜图像匹配方法，其特征在于，步骤S3之后进一步包括：
步骤S4、获取智能视觉监控程序发送的异常目标及所述异常目标的世界坐标系下的坐标；
步骤S5、向各从机发送目标跟踪信号，所述目标跟踪信号用于使各摄像头联动，以获得所述异常目标的多方位特征。
3.如权利要求1所述的跨镜图像匹配方法，其特征在于，步骤S21之前，进一步包括：
步骤S201、获取顶部带有依次闪烁不同颜色的移动机器人在第一时刻的第一指示灯颜色；
步骤S202、获取各摄像头采集的图像中具有与所述第一指示灯颜色相同的指示灯颜色的图像，并确定该图像的采集时刻；
步骤S203，基于所述第一时刻校正所述采集时刻，实现所述移动机器人与各摄像头的同步对时。
4.一种跨镜图像匹配装置，应用于主机系统，其特征在于，所述跨镜图像匹配装置包括：
图像获取模块，用于获取各从机系统发送来的与各从机连接的摄像头所采集的图像；
单应性矩阵计算模块，用于确定各所述图像中的多个在世界坐标系下进行坐标标定的标定点，并基于多个所述标定点确定各摄像头的图像坐标系与所述世界坐标系的单应性矩阵；
坐标对应模块，用于基于各所述单应性矩阵计算各摄像头的图像坐标系下的各像素点对应的世界坐标系下的坐标；
其中，所述单应性矩阵计算模块包括：
第一数据对列表获取单元，用于获取移动机器人发送的第一数据对列表，所述第一数据对列表中具有多个数据对，每个数据对包括移动机器人在某一时刻的世界坐标系下的坐标及记录该时刻的时间戳；
第二数据对列表获取单元，用于对每一个摄像头所采集的图像，确定多个由图像的采集时间及对应的移动机器人在图像坐标系下的坐标所构成的数据对，并形成第二数据对列表；
单应性矩阵计算单元，用于基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵；
激光网格坐标标定单元，用于获取通过激光网格线投射的固定大小的网格的各节点在世界坐标系下的坐标，并基于所述激光网格线的中心点作为原点，确定各节点在各摄像头的图像坐标系下的坐标；
第二单应性矩阵计算单元，用于计算所述世界坐标系与各所述图像坐标系所对应的第二单应性矩阵；
单应性矩阵修正单元，用于将基于所述第一数据对列表与各摄像头的所述第二数据对列表计算各摄像头的所述单应性矩阵作为第一单应性矩阵，对每一个摄像头，通过以下模型确定最终的单应性矩阵：
C=aA+bB；
其中，A为第一单应性矩阵，B为与第一单应性矩阵同构的第二单应性矩阵，C为最终的单应性矩阵，a与b为权重调整参数，且a+b=1；
其中，b=(t/t1)/(t/t1+s/s1)；a=1-b；t为第一单应性矩阵中进行各机器人同步对时过程中的信号灯持续时间，t1为设定时间，s为第二单应性矩阵中所述激光网格线的交叉点面积，s1为设定面积。
5.如权利要求4所述的跨镜图像匹配装置，其特征在于，所述跨镜图像匹配装置还包括：
异常目标确定模块，用于获取智能视觉监控程序发送的异常目标及所述异常目标的世界坐标系下的坐标；
异常目标联动跟踪模块，用于向各从机发送目标跟踪信号，所述目标跟踪信号用于使各摄像头联动，以获得所述异常目标的多方位特征。
6.如权利要求4所述的跨镜图像匹配装置，其特征在于，所述单应性矩阵计算模块还包括：
指示灯颜色获取单元，用于获取顶部带有依次闪烁不同颜色的移动机器人在第一时刻的第一指示灯颜色；
图像采集时刻获取单元，用于获取各摄像头采集的图像中具有与所述第一指示灯颜色相同的指示灯颜色的图像，并确定该图像的采集时刻；
同步对时单元，用于基于所述第一时刻校正所述采集时刻，实现所述移动机器人与各摄像头的同步对时。
CN202310952786.6A 2023-08-01 2023-08-01 一种跨镜图像匹配方法及装置 Active CN116704046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310952786.6A CN116704046B (zh) 2023-08-01 2023-08-01 一种跨镜图像匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310952786.6A CN116704046B (zh) 2023-08-01 2023-08-01 一种跨镜图像匹配方法及装置

Publications (2)

Publication Number Publication Date
CN116704046A CN116704046A (zh) 2023-09-05
CN116704046B true CN116704046B (zh) 2023-11-10

Family

ID=87837736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310952786.6A Active CN116704046B (zh) 2023-08-01 2023-08-01 一种跨镜图像匹配方法及装置

Country Status (1)

Country Link
CN (1) CN116704046B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
CN110223222A (zh) * 2018-03-02 2019-09-10 株式会社理光 图像拼接方法、图像拼接装置和计算机可读存储介质
CN110599548A (zh) * 2019-09-02 2019-12-20 Oppo广东移动通信有限公司 摄像头的标定方法、装置、相机及计算机可读存储介质
CN112833883A (zh) * 2020-12-31 2021-05-25 杭州普锐视科技有限公司 一种基于多相机的室内移动机器人定位方法
CN113052919A (zh) * 2021-04-23 2021-06-29 深圳市商汤科技有限公司 一种视觉传感器的标定方法及装置、电子设备和存储介质
CN113393520A (zh) * 2020-03-12 2021-09-14 华为技术有限公司 定位方法与系统、电子设备与计算机可读存储介质
WO2021218694A1 (zh) * 2020-04-27 2021-11-04 华为技术有限公司 一种视频处理方法及移动终端
WO2022193448A1 (zh) * 2021-03-19 2022-09-22 上海商汤临港智能科技有限公司 一种定位方法、装置、电子设备及存储介质
CN115272473A (zh) * 2022-06-14 2022-11-01 上海先导慧能技术有限公司 相机标定方法、装置、电子设备及存储介质
CN115578469A (zh) * 2022-09-23 2023-01-06 武汉理工大学 一种面向大型复杂工件的多视角联合标定方法
CN115830142A (zh) * 2022-12-13 2023-03-21 重庆长安汽车股份有限公司 相机标定和相机的目标检测与定位方法、装置及电子设备
CN116309686A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 游泳运动员视频定位测速方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570475A (zh) * 2018-06-05 2019-12-13 上海商汤智能科技有限公司 车载摄像头自标定方法及装置和车辆驾驶方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
CN110223222A (zh) * 2018-03-02 2019-09-10 株式会社理光 图像拼接方法、图像拼接装置和计算机可读存储介质
CN110599548A (zh) * 2019-09-02 2019-12-20 Oppo广东移动通信有限公司 摄像头的标定方法、装置、相机及计算机可读存储介质
CN113393520A (zh) * 2020-03-12 2021-09-14 华为技术有限公司 定位方法与系统、电子设备与计算机可读存储介质
WO2021218694A1 (zh) * 2020-04-27 2021-11-04 华为技术有限公司 一种视频处理方法及移动终端
CN112833883A (zh) * 2020-12-31 2021-05-25 杭州普锐视科技有限公司 一种基于多相机的室内移动机器人定位方法
WO2022193448A1 (zh) * 2021-03-19 2022-09-22 上海商汤临港智能科技有限公司 一种定位方法、装置、电子设备及存储介质
CN113052919A (zh) * 2021-04-23 2021-06-29 深圳市商汤科技有限公司 一种视觉传感器的标定方法及装置、电子设备和存储介质
CN115272473A (zh) * 2022-06-14 2022-11-01 上海先导慧能技术有限公司 相机标定方法、装置、电子设备及存储介质
CN115578469A (zh) * 2022-09-23 2023-01-06 武汉理工大学 一种面向大型复杂工件的多视角联合标定方法
CN115830142A (zh) * 2022-12-13 2023-03-21 重庆长安汽车股份有限公司 相机标定和相机的目标检测与定位方法、装置及电子设备
CN116309686A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 游泳运动员视频定位测速方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116704046A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN108965687B (zh) 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
CN107016367B (zh) 一种跟踪控制方法及跟踪控制系统
CN106204595B (zh) 一种基于双目摄像机的机场场面三维全景监视方法
CN108737738B (zh) 一种全景相机及其曝光方法和装置
WO2015085779A1 (en) Method and system for calibrating surveillance cameras
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
CN115187742B (zh) 自动驾驶仿真测试场景生成方法、系统及相关装置
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN111460967A (zh) 一种违法建筑识别方法、装置、设备及存储介质
CN105809658A (zh) 关心区域设定方法及装置
US10129471B2 (en) Method, apparatus and system for detecting location of laser point on screen
CN103929592A (zh) 全方位智能监控设备及方法
CN110544273B (zh) 运动捕捉方法、装置以及系统
CN113869231B (zh) 一种用于获取目标对象的实时图像信息的方法与设备
CN109688328A (zh) 一种基于不同点位摄像机的视频拼接融合及分割的方法和装置
CN114820758A (zh) 植物生长高度测量方法、装置、电子设备及介质
EP3994665A1 (en) Digital image processing system for object location and facing
CN109903308B (zh) 用于获取信息的方法及装置
TW202242803A (zh) 定位方法、裝置、電子設備及儲存媒體
CN114299230A (zh) 一种数据生成方法、装置、电子设备及存储介质
CN116704046B (zh) 一种跨镜图像匹配方法及装置
CN114184127B (zh) 一种基于单相机无标靶的建筑物全局位移监测方法
CN110533577B (zh) 鱼眼图像校正方法及装置
JP7258101B2 (ja) 画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォーム
CN115601738A (zh) 停车信息获取方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant