CN111614907B - 一种双相机目标匹配方法、系统、卡口相机及存储介质 - Google Patents

一种双相机目标匹配方法、系统、卡口相机及存储介质 Download PDF

Info

Publication number
CN111614907B
CN111614907B CN202010476930.XA CN202010476930A CN111614907B CN 111614907 B CN111614907 B CN 111614907B CN 202010476930 A CN202010476930 A CN 202010476930A CN 111614907 B CN111614907 B CN 111614907B
Authority
CN
China
Prior art keywords
target
image
camera
stop line
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010476930.XA
Other languages
English (en)
Other versions
CN111614907A (zh
Inventor
潘宇翔
张福成
张乃心
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202010476930.XA priority Critical patent/CN111614907B/zh
Publication of CN111614907A publication Critical patent/CN111614907A/zh
Application granted granted Critical
Publication of CN111614907B publication Critical patent/CN111614907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种双相机目标匹配方法、系统、卡口相机及存储介质，在搭建监控同一目标区域的电警相机与卡口相机时，将两台相机中配置的触发标识选用同一参照物，卡口相机在接收到电警相机发送的第一图像后，对目标区域进行抓拍得到第二图像，计算第二图像中的第二目标与卡口相机中的第二触发标识的第二相对位置信息，根据第二相对位置信息以及第一目标与电警相机中的第一触发标识的第一相对位置信息，即可快速确定与第一目标匹配的第二目标，相较于现有技术中采用多个特征点进行复杂的目标匹配运算，本发明公开的双相机目标匹配方法利用同一参照物下的相对位置信息转换，能够快速实现目标匹配，简化了目标匹配运算，降低了对硬件性能的要求。

Description

一种双相机目标匹配方法、系统、卡口相机及存储介质
技术领域
本发明涉及监控技术领域，特别是涉及一种双相机目标匹配方法、系统、卡口相机及存储介质。
背景技术
随着监控技术的发展，用户对于产品的需求越来越高，对于违规越线监控，需要至少获悉目标的正面信息和背面信息，如在交通领域的闯红灯监控，从而能够既存留目标的违规证据，又能存留目标的人脸信息。而这些监控场景，仅靠单一相机已不能满足应用的需求。
现有技术中的双相机监控方案，通常是根据多个特征点来进行两个相机的目标匹配的。然而，由于目标的正面特征和反面特征存在差异，利用特征点匹配成功率较低，且匹配计算较为复杂，如果应用低性能的相机，可能会出现耗时较长、不能满足实时性要求的问题。
因而在预算较低的情况下，只能采用两台相机分别获取目标的正面信息和反面信息后，进行人工匹配，匹配效率低下，不利于监控技术的智能化发展。
发明内容
本发明的目的是提供一种双相机目标匹配方法、系统、卡口相机及存储介质，简化了目标匹配运算，能够基于电警相机和卡口相机实现双相机监控场景下对目标的自动化检测跟踪与匹配。
为解决上述技术问题，本发明提供一种双相机目标匹配方法，基于卡口相机，包括：
在接收到电警相机发送的第一图像后，对目标区域进行抓拍得到第二图像；
计算所述第二图像中的第二目标与第二触发标识的第二相对位置信息；
根据所述第二相对位置信息以及第一目标与第一触发标识的第一相对位置信息，确定与所述第一目标匹配的第二目标；
其中，所述电警相机与所述卡口相机监控同一目标区域；所述第一触发标识为所述电警相机的监控画面中的触发标识，所述第二触发标识为所述卡口相机的监控画面中的触发标识，且所述第一触发标识和所述第二触发标识来自所述目标区域的同一参照物；所述第一图像为所述电警相机在检测到所述第一目标越过所述第一触发标识时抓拍得到的图像。
可选的，所述计算所述第二图像中的第二目标与第二触发标识的第二相对位置信息，具体为：
基于预先通过所述第二触发标识建立的第二坐标系，计算在所述第二坐标系中所述第二目标的第二坐标信息；
相应的，所述根据所述第二相对位置信息以及第一目标与第一触发标识的第一相对位置信息，确定与所述第一目标匹配的第二目标，具体包括：
基于预先通过所述第一触发标识建立的第一坐标系，计算在所述第一坐标系中所述第一目标的第一坐标信息；
根据预先建立的所述第一坐标系和所述第二坐标系的转换规则，将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息；
根据所述第二目标的第二坐标信息和所述第一目标的第二坐标信息，确定与所述第一目标匹配的第二目标。
可选的，所述第一目标的第一坐标信息具体为在所述第一图像中所述第一目标的识别框的第一边框坐标信息，所述第一目标的第二坐标信息具体为将所述第一边框坐标信息根据所述转换规则转换后得到的在所述第二坐标系中所述第一目标的识别框的第二边框坐标信息，所述第二目标的第二坐标信息具体为在所述第二图像中所述第二目标的识别框的第三边框坐标信息；
相应的，所述根据所述第二目标的第二坐标信息和所述第一目标的第二坐标信息，确定与所述第一目标匹配的第二目标，具体为：
确定所述第三边框坐标信息与所述第二边框坐标信息重叠度最高的第二目标为与所述第一目标匹配的第二目标。
可选的，所述参照物具体为道路停止线；在所述第一图像中，以所述道路停止线的右端点为参考原点；在所述第二图像中，以所述道路停止线的左端点为参考原点；
相应的，所述基于预先通过所述第一触发标识建立的第一坐标系，计算在所述第一坐标系中所述第一目标的第一坐标信息，具体通过以下公式计算：
Figure BDA0002516148050000031
Figure BDA0002516148050000032
所述根据预先建立的所述第一坐标系和所述第二坐标系的转换规则，将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息，具体通过以下公式计算：
TWl＝L2·Fr+O2
TWr＝L2·Fl+O2
其中，Fl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点距所述参考原点的长度占所述道路停止线的长度的比例，Fr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点距所述参考原点的长度占所述道路停止线的长度的比例，X1为所述第一图像中所述道路停止线左端点的坐标，EPl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标，EPr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标，L1为所述第一图像中所述道路停止线的长度；TWl为所述第二图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标，TWr为所述第二图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标，L2为所述第二图像中所述道路停止线的长度，O2为所述第二图像中所述参考原点的坐标。
可选的，所述根据所述第二目标的第二坐标信息和所述第一目标的第二坐标信息，确定与所述第一目标匹配的第二目标，具体包括：
判断在预设横坐标误差范围内，与所述第一目标的横坐标匹配的第二目标是否仅有一个；
如果是，则以所述第二目标为与所述第一目标匹配的第二目标；
如果否，则在所述第二坐标系内，对比各所述第二目标的识别框的中心点与所述第一目标的识别框的中心点的偏差值，以所述偏差值最小的第二目标为与所述第一目标匹配的第二目标。
可选的，在所述判断在预设横坐标误差范围内，与所述第一目标的横坐标匹配的第二目标是否仅有一个之前，还包括：
在所述第二图像中，根据识别框与所述道路停止线的位置关系，删除未处于越过所述道路停止线位置的无效第二目标。
可选的，还包括：
识别与所述第一目标匹配的第二目标的人脸信息；
将所述人脸信息发送至NVR主机。
为解决上述技术问题，本发明还提供一种卡口相机，包括：
获取单元，用于在接收到电警相机发送的第一图像后，对目标区域进行抓拍得到第二图像；
计算单元，用于计算所述第二图像中的第二目标与第二触发标识的第二相对位置信息；
匹配单元，用于根据所述第二相对位置信息以及第一目标与第一触发标识的第一相对位置信息，确定与所述第一目标匹配的第二目标；
其中，所述电警相机与卡口相机监控同一目标区域；所述第一触发标识为所述电警相机的监控画面中的触发标识，所述第二触发标识为所述卡口相机的监控画面中的触发标识，且所述第一触发标识和所述第二触发标识来自所述目标区域的同一参照物；所述第一图像为所述电警相机在检测到第一目标越过所述第一触发标识时抓拍得到的图像。
为解决上述技术问题，本发明还提供一种双相机目标匹配系统，包括：卡口相机，与所述卡口相机通信连接的电警相机，以及分别与所述卡口相机和所述电警相机通信连接的NVR主机；
其中，所述电警相机与所述卡口相机用于监控同一目标区域；所述电警相机中的监控场景中的第一触发标识和所述卡口相机的监控场景中的第二触发标识来自于所述目标区域的同一参照物；
所述电警相机用于在检测跟踪到第一目标越过所述第一触发标识时抓拍得到第一图像，并将所述第一图像分别发送至所述卡口相机和所述NVR主机；
所述卡口相机用于在接收到所述第一图像后对目标区域进行抓拍得到第二图像；计算所述第二图像中的第二目标与第二触发标识的第二相对位置信息；根据所述第二相对位置信息以及所述第一目标与第一触发标识的第一相对位置信息，确定与所述第一目标匹配的第二目标；识别与所述第一目标匹配的第二目标的人脸信息；将所述人脸信息发送至NVR主机。
为解决上述技术问题，本发明还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述双相机目标匹配方法的步骤。
本发明所提供的双相机目标匹配方法，在搭建监控同一目标区域的电警相机与卡口相机时，先将两台相机中配置的触发标识选用目标区域的同一参照物，卡口相机在接收到电警相机发送的第一图像后，对目标区域进行抓拍得到第二图像，计算第二图像中的第二目标与卡口相机的监控画面中的第二触发标识的第二相对位置信息，最后根据第二相对位置信息以及第一目标与电警相机的监控画面中的第一触发标识的第一相对位置信息，即可快速确定与第一目标匹配的第二目标，相较于现有技术中采用多个特征点进行复杂的目标匹配运算，本发明提供的双相机目标匹配方法利用同一参照物下的相对位置信息转换，能够快速实现目标匹配，简化了目标匹配运算，降低了对硬件性能的要求。
本发明还提供一种双相机目标匹配系统、卡口相机及存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种双相机目标匹配方法的流程图；
图2为本发明实施例提供的另一种双相机目标匹配方法的流程图；
图3为本发明实施例提供的一种电警相机和卡口相机坐标转换示意图；
图4为本发明实施例提供的一种卡口相机的结构示意图。
具体实施方式
本发明的核心是提供一种双相机目标匹配方法、系统、卡口相机及存储介质，简化了目标匹配运算，能够基于电警相机和卡口相机实现双相机监控场景下对目标的自动化检测跟踪与匹配。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种双相机目标匹配方法的流程图。
如图1所示，基于卡口相机，本发明实施例提供的双相机目标匹配方法包括：
S101：在接收到电警相机发送的第一图像后，对目标区域进行抓拍得到第二图像。
S102：计算第二图像中的第二目标与第二触发标识的第二相对位置信息。
S103：根据第二相对位置信息以及第一目标与第一触发标识的第一相对位置信息，确定与第一目标匹配的第二目标。
其中，电警相机与卡口相机监控同一目标区域；第一触发标识为电警相机的监控画面中的触发标识，第二触发标识为卡口相机的监控画面中的触发标识，且第一触发标识和第二触发标识来自目标区域的同一参照物；第一图像为电警相机在检测到第一目标越过第一触发标识时抓拍得到的图像。
本发明实施例提供的具体实施方式可以适用于由电警相机和卡口相机搭建的监控系统中。
如针对非机动车道进行监控，则电警相机设置于非机动车道的路口来车方向，镜头面向行车背面，监控场景中包含红绿灯用于红绿灯检测。卡口相机同时设置于非机动车道，可以设置于与电警相机对应的路口的另一侧，与电警相机监控同一路口，镜头面向行车正面。为基于电警相机和卡口相机实现双相机监控方案，在本发明实施例中，以电警相机为主相机，以卡口相机为从相机，预先在两台相机的处理芯片载入检测跟踪算法，在卡口相机的处理芯片中载入参照物位置信息转换算法，以使电警相机在检测到目标经过参照物时对目标背面进行抓拍并发送至卡口相机，由卡口相机对目标正面进行抓拍并利用参照物位置信息转换算法和目标与参照物的相对位置进行目标匹配。
在安装好电警相机和卡口相机后，在目标场景中选择一个或多个参照物，在电警相机的监控场景中确定第一触发标识，在卡口相机的监控场景中确定第二触发标识。如选择道路停止线作为参照物，则将电警相机的监控场景中的道路停止线作为第一触发标识，将卡口相机的监控场景中的道路停止线作为第二触发标识。
电警相机检测跟踪自己监控场景内的目标，确定发生违规行为(如在道路上闯红灯)的目标为第一目标，对第一目标的违规行为进行抓拍得到第一图像(如第一目标在红灯期间越过道路停止线的场景)，将第一图像发送至卡口相机。第一图像携带有第一目标与第一触发标识的第一相对位置信息，可以在第一图像中用识别框框出第一目标。
卡口相机同时对自己的监控场景内的目标进行检测跟踪，在接收到第一图像的同时对自己的监控场景进行抓拍，得到第二图像，第二图像中的目标均为第二目标。
在实际应用中，第一图像中可能有多个第一目标，第二图像中有多个第二目标，则对于每个第一目标，均要为其匹配第二目标。
除第一图像外，电警相机还可以在目标处于第一触发标识前时抓拍第一张图像，若目标未发生违规行为(如未在红灯亮起时越过第一触发标识或在绿灯期间越过第一触发标识)，则可以不拍摄第一图像，若目标发生违规行为，则确定为第一目标并拍摄第一图像，将第一图像发送至卡口相机触发卡口相机联动抓拍，而后电警相机再抓拍第一目标离开第一触发标识后的第三张图像，此时电警相机得到了对第一目标的三张违规证据图像，识别第一目标的车牌信息或其他背面特征，结合三张违规证据图像和第一目标的信息完成证据链组装。同时，对于非越线的违规内容，如不在规定道路行驶、违规载人、未戴头盔等，电警相机记录并生成证据链。电警相机可以将组装的证据链上传NVR(Network VideoRecorder，网络视频录像机)主机。
卡口相机在接收到第一图像的触发联动抓拍得到第二图像后，在完成第二目标与第一目标的匹配后，还可以识别与第一目标匹配的第二目标的人脸信息，根据人脸信息和匹配信息完成证据链的组装，将包含人脸信息的证据链发送至NVR主机。
NVR主机基于关联ID，根据电警相机上传的证据链和卡口相机上传的证据链进行记录匹配，形成最终的证据链(如可以包括闯红灯车辆的三张闯红灯过程图、司机人脸信息、车牌信息)，进行信息发布，提供违章查询。
本发明实施例提供的双相机目标匹配方法，在搭建监控同一目标区域的电警相机与卡口相机时，先将两台相机中配置的触发标识选用目标区域的同一参照物，卡口相机在接收到电警相机发送的第一图像后，对目标区域进行抓拍得到第二图像，计算第二图像中的第二目标与卡口相机的监控画面中的第二触发标识的第二相对位置信息，最后根据第二相对位置信息以及第一目标与电警相机的监控画面中的第一触发标识的第一相对位置信息，即可快速确定与第一目标匹配的第二目标，相较于现有技术中采用多个特征点进行复杂的目标匹配运算，本发明实施例提供的双相机目标匹配方法利用同一参照物下的相对位置信息转换，能够快速实现目标匹配，简化了目标匹配运算，降低了对硬件性能的要求。
图2为本发明实施例提供的另一种双相机目标匹配方法的流程图。
在上述实施例的基础上，如图2所示，在本发明实施例提供的双相机目标匹配方法中，步骤S102：计算第二图像中的第二目标与第二触发标识的第二相对位置信息，具体为：
S201：基于预先通过第二触发标识建立的第二坐标系，计算在第二坐标系中第二目标的第二坐标信息。
相应的，步骤S103：根据第二相对位置信息以及第一目标与第一触发标识的第一相对位置信息，确定与第一目标匹配的第二目标，具体包括：
S202：基于预先通过第一触发标识建立的第一坐标系，计算在第一坐标系中第一目标的第一坐标信息。
S203：根据预先建立的第一坐标系和第二坐标系的转换规则，将第一目标的第一坐标信息转换为在第二坐标系中第一目标的第二坐标信息。
S204：根据第二目标的第二坐标信息和第一目标的第二坐标信息，确定与第一目标匹配的第二目标。
基于同一参照物，可以在电警相机的监控场景中和卡口相机的监控场景中建立具有对应关系的坐标系。由于相机的安装位置不同，参照物在两台相机中的位置和尺寸也会有差异。预先分别在两台相机的处理芯片中载入坐标系生成脚本。在完成第一触发标识和第二触发标识的配置后，电警相机基于第一触发标识生成第一坐标系，卡口相机基于第二触发标识生成第二坐标系，基于参照物在两个坐标系中不同的坐标即可得到两个坐标系之间的转换规则。在得到第一目标在第一图像中的第一坐标信息后，即可根据转换规则得到第一目标在第二坐标系中的第二坐标信息，确定第二坐标信息与第一目标的第二坐标信息匹配的第二目标为与第一目标匹配的第二目标。
在实际应用中，两台相机跟踪目标时可以利用方框将目标圈起来，即识别框。则第一目标的第一坐标信息可以选用在第一图像中第一目标的识别框的第一边框坐标信息，将第一边框坐标信息根据转换规则转换后，得到第一目标在第二坐标系中的识别框的坐标信息，即第二边框坐标信息；第二目标的第二坐标信息选用在第二图像中第二目标的识别框的第三边框坐标信息；
相应的，步骤S204：根据第二目标的第二坐标信息和第一目标的第二坐标信息，确定与第一目标匹配的第二目标，具体为：
确定第三边框坐标信息与第二边框坐标信息重叠度最高的第二目标为与第一目标匹配的第二目标。
图3为本发明实施例提供的一种电警相机和卡口相机坐标转换示意图。
在待匹配的第二目标较多时，如对每个第二目标都进行识别框重叠度比较的话，将非常耗费计算时间，因此除了这种直接采用识别框重叠度对比的方式外，在交通监控场景中，如图3所示，参照物可以选用道路停止线；在第一图像中，以道路停止线的右端点为参考原点；在第二图像中，以道路停止线的左端点为参考原点；
相应的，步骤S202：基于预先通过第一触发标识建立的第一坐标系，计算在第一坐标系中第一目标的第一坐标信息，具体通过以下公式计算：
Figure BDA0002516148050000091
Figure BDA0002516148050000092
步骤S203：根据预先建立的第一坐标系和第二坐标系的转换规则，将第一目标的第一坐标信息转换为在第二坐标系中第一目标的第二坐标信息，具体通过以下公式计算：
TWl＝L2·Fr+O2 (3)
TWr＝L2·Fl+O2 (4)
其中，Fl为第一图像中第一目标的识别框与道路停止线的左侧交点距参考原点的长度占道路停止线的长度的比例，Fr为第一图像中第一目标的识别框与道路停止线的右侧交点距参考原点的长度占道路停止线的长度的比例，X1为第一图像中道路停止线左端点的坐标，EPl为第一图像中第一目标的识别框与道路停止线的左侧交点的坐标，EPr为第一图像中第一目标的识别框与道路停止线的右侧交点的坐标，L1为第一图像中道路停止线的长度；TWl为第二图像中第一目标的识别框与道路停止线的左侧交点的坐标，TWr为第二图像中第一目标的识别框与道路停止线的右侧交点的坐标，L2为第二图像中道路停止线的长度，O2为第二图像中参考原点的坐标。此外，O1为第一图像中参考原点的坐标，X2为第二图像中道路停止线左端点的坐标
通过将第二目标与第一目标的重叠度对比简化为一维坐标的对比，简化了重叠度对比运算，加快了匹配过程。
进而，步骤S103：根据第二目标的第二坐标信息和第一目标的第二坐标信息，确定与第一目标匹配的第二目标，具体包括：
判断在预设横坐标误差范围内，与第一目标的横坐标匹配的第二目标是否仅有一个；
如果是，则以第二目标为与第一目标匹配的第二目标；
如果否，则在第二坐标系内，对比各第二目标的识别框的中心点与第一目标的识别框的中心点的偏差值，以偏差值最小的第二目标为与第一目标匹配的第二目标。
在进行与道路停止线的交点坐标(横坐标)匹配时，满足预设横坐标误差范围，即认为第二目标与第一目标匹配。
若第二图像中有多个前后邻近的第二目标，经过上述横坐标匹配过程将出现多个与第一目标匹配的第二目标。基于电警相机检测的第一目标在第一坐标系中会有与道路停止线相交的两个点的横坐标EPl、EPr，可以计算得到在第二坐标系中第一目标的识别框的中心点位置EPcent和第一目标的识别框的宽度EPlen，结合第二坐标系中第二目标的识别框的中心点位置Trkcent和第二目标的识别框的宽度Trklen，可以得到三种情况：
完全重合：
Figure BDA0002516148050000111
完全不重合：
Figure BDA0002516148050000112
部分重合：
Figure BDA0002516148050000113
若出现与第一目标完全重合的第二目标，则该第二目标为与第一目标匹配的第二目标。如出现多个与第一目标部分重合的第二目标，则需要在第二目标中选择最优匹配目标：
Figure BDA0002516148050000114
Figure BDA0002516148050000115
……
Figure BDA0002516148050000116
选择MIN(ΔLen1,ΔLen2,…ΔLenn)为与第一目标匹配的第二目标。
由于上述匹配过程只考虑了横坐标，可能会出现同一横坐标上有多个第一目标的情况，为了不匹配到同一横坐标区域内的错误目标，在判断在预设横坐标误差范围内，与第一目标的横坐标匹配的第二目标是否仅有一个之前，还包括：
在第二图像中，根据识别框与道路停止线的位置关系，删除未处于越过道路停止线位置的无效第二目标。
在具体实施中，在第二图像中设定匹配区域的大小，如果第二目标的识别框超出了这个区域，则判断此第二目标为无效第二目标。具体可以通过如下公式表示：
(Ly-(TWr-TWl)·α)＜TrkbotY＜(Ly+(TWr-TWl)·α) (11)
其中，Ly为道路停止线在第二坐标系中的纵坐标，TrkbotY为第二目标的下边沿，α为比例系数，可根据匹配目标的宽高比例关系自由设定，如针对非机动车目标，非机动车目标在道路监控场景中宽高比大约在1:2.5左右，此处α值可以取1.5。
上文详述了双相机目标匹配方法对应的各个实施例，在此基础上，本发明还公开了与上述方法对应的卡口相机。
图4为本发明实施例提供的一种卡口相机的结构示意图。
如图4所示，本发明实施例提供的卡口相机包括：
获取单元401，用于在接收到电警相机发送的第一图像后，对目标区域进行抓拍得到第二图像；
计算单元402，用于计算第二图像中的第二目标与第二触发标识的第二相对位置信息；
匹配单元403，用于根据第二相对位置信息以及第一目标与第一触发标识的第一相对位置信息，确定与第一目标匹配的第二目标；
其中，电警相机与卡口相机监控同一目标区域；第一触发标识为电警相机的监控画面中的触发标识，第二触发标识为卡口相机的监控画面中的触发标识，且第一触发标识和第二触发标识来自目标区域的同一参照物；第一图像为电警相机在检测到第一目标越过第一触发标识时抓拍得到的图像。
本发明还公开了与上述方法及装置对应的双相机目标匹配系统，包括：卡口相机，与卡口相机通信连接的电警相机，以及分别与卡口相机和电警相机通信连接的NVR主机；
其中，电警相机与卡口相机用于监控同一目标区域；电警相机中的监控场景中的第一触发标识和卡口相机的监控场景中的第二触发标识来自于目标区域的同一参照物；
电警相机用于在检测跟踪到第一目标越过第一触发标识时抓拍得到第一图像，并将第一图像分别发送至卡口相机和NVR主机；
卡口相机用于在接收到第一图像后对目标区域进行抓拍得到第二图像；计算第二图像中的第二目标与第二触发标识的第二相对位置信息；根据第二相对位置信息以及第一目标与第一触发标识的第一相对位置信息，确定与第一目标匹配的第二目标；识别与第一目标匹配的第二目标的人脸信息；将人脸信息发送至NVR主机。
由于卡口相机及系统部分的实施例与方法部分的实施例相互对应，因此卡口相机及系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
需要说明的是，以上所描述的装置、系统实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例所述方法的全部或部分步骤。
为此，本发明实施例还提供一种存储介质，该存储介质上存储有计算机程序，计算机程序被处理器执行时实现如双相机目标匹配方法的步骤。
该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例中提供的存储介质所包含的计算机程序能够在被处理器执行时实现如上所述的双相机目标匹配方法的步骤，效果同上。
以上对本发明所提供的一种双相机目标匹配方法、系统、卡口相机及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的卡口相机、系统及存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (7)

1.一种双相机目标匹配方法，其特征在于，基于卡口相机，包括：
在接收到电警相机发送的第一图像后，对目标区域进行抓拍得到第二图像；
基于预先通过第二触发标识建立的第二坐标系，计算在所述第二坐标系中所述第二图像中的第二目标的第二坐标信息；
基于预先通过第一触发标识建立的第一坐标系，计算在所述第一坐标系中第一目标的第一坐标信息；
根据预先建立的所述第一坐标系和所述第二坐标系的转换规则，将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息；
根据所述第二目标的第二坐标信息和所述第一目标的第二坐标信息，确定与所述第一目标匹配的第二目标；
其中，所述电警相机与所述卡口相机监控同一目标区域；所述第一触发标识为所述电警相机的监控画面中的触发标识，所述第二触发标识为所述卡口相机的监控画面中的触发标识，且所述第一触发标识和所述第二触发标识来自所述目标区域的同一参照物；所述第一图像为所述电警相机在检测到所述第一目标越过所述第一触发标识时抓拍得到的图像；
所述参照物具体为道路停止线；在所述第一图像中，以所述道路停止线的右端点为参考原点；在所述第二图像中，以所述道路停止线的左端点为参考原点；
相应的，所述基于预先通过所述第一触发标识建立的第一坐标系，计算在所述第一坐标系中所述第一目标的第一坐标信息，具体通过以下公式计算：
Figure FDA0003124499210000011
Figure FDA0003124499210000012
所述根据预先建立的所述第一坐标系和所述第二坐标系的转换规则，将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息，具体通过以下公式计算：
TWl＝L2·Fr+O2
TWr＝L2·Fl+O2
其中，Fl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点距所述参考原点的长度占所述道路停止线的长度的比例，Fr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点距所述参考原点的长度占所述道路停止线的长度的比例，X1为所述第一图像中所述道路停止线左端点的坐标，EPl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标，EPr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标，L1为所述第一图像中所述道路停止线的长度；TWl为所述第二图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标，TWr为所述第二图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标，L2为所述第二图像中所述道路停止线的长度，O2为所述第二图像中所述参考原点的坐标。
2.根据权利要求1所述的双相机目标匹配方法，其特征在于，所述根据所述第二目标的第二坐标信息和所述第一目标的第二坐标信息，确定与所述第一目标匹配的第二目标，具体包括：
判断在预设横坐标误差范围内，与所述第一目标的横坐标匹配的第二目标是否仅有一个；
如果是，则以所述第二目标为与所述第一目标匹配的第二目标；
如果否，则在所述第二坐标系内，对比各所述第二目标的识别框的中心点与所述第一目标的识别框的中心点的偏差值，以所述偏差值最小的第二目标为与所述第一目标匹配的第二目标。
3.根据权利要求2所述的双相机目标匹配方法，其特征在于，在所述判断在预设横坐标误差范围内，与所述第一目标的横坐标匹配的第二目标是否仅有一个之前，还包括：
在所述第二图像中，根据识别框与所述道路停止线的位置关系，删除未处于越过所述道路停止线位置的无效第二目标。
4.根据权利要求1所述的双相机目标匹配方法，其特征在于，还包括：
识别与所述第一目标匹配的第二目标的人脸信息；
将所述人脸信息发送至NVR主机。
5.一种卡口相机，其特征在于，包括：
获取单元，用于在接收到电警相机发送的第一图像后，对目标区域进行抓拍得到第二图像；
计算单元，用于基于预先通过第二触发标识建立的第二坐标系，计算在所述第二坐标系中所述第二图像中的第二目标的第二坐标信息；
匹配单元，用于基于预先通过第一触发标识建立的第一坐标系，计算在所述第一坐标系中第一目标的第一坐标信息；根据预先建立的所述第一坐标系和所述第二坐标系的转换规则，将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息；根据所述第二目标的第二坐标信息和所述第一目标的第二坐标信息，确定与所述第一目标匹配的第二目标；
其中，所述电警相机与卡口相机监控同一目标区域；所述第一触发标识为所述电警相机的监控画面中的触发标识，所述第二触发标识为所述卡口相机的监控画面中的触发标识，且所述第一触发标识和所述第二触发标识来自所述目标区域的同一参照物；所述第一图像为所述电警相机在检测到第一目标越过所述第一触发标识时抓拍得到的图像；
所述参照物具体为道路停止线；在所述第一图像中，以所述道路停止线的右端点为参考原点；在所述第二图像中，以所述道路停止线的左端点为参考原点；
相应的，所述匹配单元基于预先通过所述第一触发标识建立的第一坐标系，计算在所述第一坐标系中所述第一目标的第一坐标信息，具体通过以下公式计算：
Figure FDA0003124499210000031
Figure FDA0003124499210000032
所述匹配单元根据预先建立的所述第一坐标系和所述第二坐标系的转换规则，将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息，具体通过以下公式计算：
TWl＝L2·Fr+O2
TWr＝L2·Fl+O2
其中，Fl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点距所述参考原点的长度占所述道路停止线的长度的比例，Fr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点距所述参考原点的长度占所述道路停止线的长度的比例，X1为所述第一图像中所述道路停止线左端点的坐标，EPl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标，EPr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标，L1为所述第一图像中所述道路停止线的长度；TWl为所述第二图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标，TWr为所述第二图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标，L2为所述第二图像中所述道路停止线的长度，O2为所述第二图像中所述参考原点的坐标。
6.一种双相机目标匹配系统，其特征在于，包括：卡口相机，与所述卡口相机通信连接的电警相机，以及分别与所述卡口相机和所述电警相机通信连接的NVR主机；
其中，所述电警相机与所述卡口相机用于监控同一目标区域；所述电警相机中的监控场景中的第一触发标识和所述卡口相机的监控场景中的第二触发标识来自于所述目标区域的同一参照物；
所述电警相机用于在检测跟踪到第一目标越过所述第一触发标识时抓拍得到第一图像，并将所述第一图像分别发送至所述卡口相机和所述NVR主机；
所述卡口相机用于在接收到所述第一图像后对目标区域进行抓拍得到第二图像；基于预先通过第二触发标识建立的第二坐标系，计算在所述第二坐标系中所述第二图像中的第二目标的第二坐标信息；基于预先通过第一触发标识建立的第一坐标系，计算在所述第一坐标系中第一目标的第一坐标信息；根据预先建立的所述第一坐标系和所述第二坐标系的转换规则，将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息；根据所述第二目标的第二坐标信息和所述第一目标的第二坐标信息，确定与所述第一目标匹配的第二目标；识别与所述第一目标匹配的第二目标的人脸信息；将所述人脸信息发送至NVR主机；
所述参照物具体为道路停止线；在所述第一图像中，以所述道路停止线的右端点为参考原点；在所述第二图像中，以所述道路停止线的左端点为参考原点；
相应的，所述基于预先通过所述第一触发标识建立的第一坐标系，计算在所述第一坐标系中所述第一目标的第一坐标信息，具体通过以下公式计算：
Figure FDA0003124499210000051
Figure FDA0003124499210000052
所述根据预先建立的所述第一坐标系和所述第二坐标系的转换规则，将所述第一目标的第一坐标信息转换为在所述第二坐标系中所述第一目标的第二坐标信息，具体通过以下公式计算：
TWl＝L2·Fr+O2
TWr＝L2·Fl+O2
其中，Fl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点距所述参考原点的长度占所述道路停止线的长度的比例，Fr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点距所述参考原点的长度占所述道路停止线的长度的比例，X1为所述第一图像中所述道路停止线左端点的坐标，EPl为所述第一图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标，EPr为所述第一图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标，L1为所述第一图像中所述道路停止线的长度；TWl为所述第二图像中所述第一目标的识别框与所述道路停止线的左侧交点的坐标，TWr为所述第二图像中所述第一目标的识别框与所述道路停止线的右侧交点的坐标，L2为所述第二图像中所述道路停止线的长度，O2为所述第二图像中所述参考原点的坐标。
7.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述双相机目标匹配方法的步骤。
CN202010476930.XA 2020-05-29 2020-05-29 一种双相机目标匹配方法、系统、卡口相机及存储介质 Active CN111614907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010476930.XA CN111614907B (zh) 2020-05-29 2020-05-29 一种双相机目标匹配方法、系统、卡口相机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010476930.XA CN111614907B (zh) 2020-05-29 2020-05-29 一种双相机目标匹配方法、系统、卡口相机及存储介质

Publications (2)

Publication Number Publication Date
CN111614907A CN111614907A (zh) 2020-09-01
CN111614907B true CN111614907B (zh) 2021-08-10

Family

ID=72202168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010476930.XA Active CN111614907B (zh) 2020-05-29 2020-05-29 一种双相机目标匹配方法、系统、卡口相机及存储介质

Country Status (1)

Country Link
CN (1) CN111614907B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829351A (zh) * 2017-11-23 2019-05-31 华为技术有限公司 车道信息的检测方法、装置及计算机可读存储介质
CN110738150A (zh) * 2019-09-29 2020-01-31 浙江大华技术股份有限公司 相机联动抓拍方法、装置以及计算机存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488976B (zh) * 2013-09-17 2017-02-08 北京联合大学 一种基于智能驾驶中停止线实时检测的距离测量的方法
JP6326641B2 (ja) * 2015-08-21 2018-05-23 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829351A (zh) * 2017-11-23 2019-05-31 华为技术有限公司 车道信息的检测方法、装置及计算机可读存储介质
CN110738150A (zh) * 2019-09-29 2020-01-31 浙江大华技术股份有限公司 相机联动抓拍方法、装置以及计算机存储介质

Also Published As

Publication number Publication date
CN111614907A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
US7321386B2 (en) Robust stereo-driven video-based surveillance
CN107688764B (zh) 检测车辆违章的方法及装置
CN102833478B (zh) 容错背景模型化
CN108389396B (zh) 一种基于视频的车型匹配方法、装置和计费系统
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
EP1560160A2 (en) A multiple camera system for obtaining high resolution images of objects
CN104574954A (zh) 一种基于自由流系统的车辆稽查方法、控制设备及系统
CN105160884A (zh) 一种融合视频监控和rfid的车辆识别方法及装置
CN112382104B (zh) 基于车辆轨迹分析的路侧停车管理方法
CN111739335A (zh) 一种基于视觉差的停车检测方法及装置
CN101924923A (zh) 嵌入式智能自动变焦抓拍系统及方法
CN112750317A (zh) 车辆逆行检测方法、装置、设备及计算机可读存储介质
CN113781827A (zh) 一种云平台的视频数据管理方法及云平台
CN111079782A (zh) 车辆交易方法和系统、存储介质及电子装置
CN111614907B (zh) 一种双相机目标匹配方法、系统、卡口相机及存储介质
CN113362592A (zh) 识别违规交通参与对象的方法、系统和计算机可读存储介质
CN113450578A (zh) 交通违章事件取证方法、装置、设备及系统
CN111368692B (zh) 信息融合方法及装置、停车位置定位方法及系统
CN115601738B (zh) 停车信息获取方法、装置、设备、存储介质及程序产品
KR20130062489A (ko) 객체추적 시스템 및 그 운영방법
CN115762172A (zh) 一种出入车位车辆识别方法、装置、设备及介质
Féret et al. Real-time parking slot detection for camera-equipped vehicles
CN116363539A (zh) 车辆状态确定方法、装置、电子设备及可读存储介质
KR101153919B1 (ko) 객체 추적 장치 및 프로그램이 기록된 기록매체
CN117784162B (zh) 目标标注数据获取方法、目标跟踪方法、智能设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant