CN110738150A

CN110738150A - 相机联动抓拍方法、装置以及计算机存储介质

Info

Publication number: CN110738150A
Application number: CN201910936659.0A
Authority: CN
Inventors: 林骏; 王亚运
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2019-09-29
Filing date: 2019-09-29
Publication date: 2020-01-31
Anticipated expiration: 2039-09-29
Also published as: CN110738150B

Abstract

本申请公开了一种相机联动抓拍方法、装置以及计算机存储介质，该相机联动抓拍方法包括：获取至少两个拍摄系统对同一监控区域拍摄的至少两个交通图像，其中，至少两个拍摄系统的拍摄角度不同；将至少两个交通图像映射到同一坐标系，以匹配至少两个交通图像中的相同目标；根据同一坐标系中的至少两个交通图像，对目标进行识别。通过上述方法，本申请可以实现交通图像中的车辆信息与人员信息的配对，精准实现交通监控。

Description

相机联动抓拍方法、装置以及计算机存储介质

技术领域

本发明涉及交通监控领域，特别是涉及一种相机联动抓拍方法、装置以及计算机存储介质。

背景技术

图像的采集与分析技术是当前交通管理常用的技术之一，如使用基于车牌图像识别的交通违法事件检测或基于其他车辆特征图像识别的其他交通事件检测，如何从车牌和车辆的信息快速确定违法的驾驶人员，以对交通违法事件进行监管显得尤为重要。

现有技术中，没有一种良好的方法将交通图像中的车辆信息和人员信息进行配对。

发明内容

本申请提供一种相机联动抓拍方法、装置以及计算机存储介质，以解决现有技术中无法将车辆信息与人员信息进行配对的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种相机联动抓拍方法，所述相机联动抓拍方法包括：

获取至少两个拍摄系统对同一监控区域拍摄的至少两个交通图像，其中，所述至少两个拍摄系统的拍摄角度不同；

将所述至少两个交通图像映射到同一坐标系，以匹配所述至少两个交通图像中的相同目标；

根据所述同一坐标系中的至少两个交通图像，对所述目标进行识别。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种相机联动抓拍装置，所述相机联动抓拍装置包括处理器和存储器，存储器中存储有计算机程序，处理器用于执行计算机程序以实现上述相机联动抓拍方法的步骤。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机存储介质，其中，计算机存储介质存储有计算机程序，计算机程序被执行时实现上述相机联动抓拍方法的步骤。

区别于现有技术，本申请的有益效果在于：相机联动抓拍装置获取至少两个拍摄系统对同一监控区域拍摄的至少两个交通图像，其中，至少两个拍摄系统的拍摄角度不同；将至少两个交通图像映射到同一坐标系，以匹配至少两个交通图像中的相同目标；根据同一坐标系中的至少两个交通图像，对目标进行识别。通过上述方法，本申请可以实现交通图像中的车辆信息与人员信息的配对，精准实现交通监控。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的相机联动抓拍方法第一实施例的流程示意图；

图2是本申请提供的第一拍摄系统和第二拍摄系统的场景示意图；

图3是本申请提供的相机联动抓拍方法第二实施例的流程示意图；

图4是本申请提供的相机联动抓拍方法第三实施例的流程示意图；

图5是本申请提供的相机联动抓拍装置一实施例的结构示意图；

图6是本申请提供的相机联动抓拍装置另一实施例的结构示意图；

图7是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为解决现有技术中无法将车辆信息与人员信息很好地进行配对的问题，本申请提供了一种具体的相机联动抓拍方法，其目的在于提供非机动车联动抓拍系统，无需任何人力成本智能地对人员卡口违章行为进行精准的抓拍取证以及对交通信息的二次识别。

具体请参阅图1，图1是本申请提供的相机联动抓拍方法第一实施例的流程示意图。本申请的相机联动抓拍方法应用于一种相机联动抓拍装置，相机联动抓拍装置可以为例如智能手机、平板电脑、笔记本电脑、电脑或者可穿戴设备等终端设备，也可以是卡口交通系统中的监控系统。在下述实施例的描述中，统一使用抓拍装置进行相机联动抓拍方法的描述。

如图1所示，本实施例的相机联动抓拍方法具体包括以下步骤：

S101：获取至少两个拍摄系统对同一监控区域拍摄的至少两个交通图像，其中，至少两个拍摄系统的拍摄角度不同。

其中，本实施例的至少两个拍摄系统为互相关联的拍摄系统，例如，至少两个拍摄系统包括相互关联的第一拍摄系统和第二拍摄系统，第一拍摄系统和第二拍摄系统相互间隔设置，对应的同一监控区域则位于第一拍摄系统和第二拍摄系统的间隔区域内。第一拍摄系统和第二拍摄系统的位置关系具体请参阅图2。

第一拍摄系统和第二拍摄系统的拍摄角度不同，以使得第一拍摄系统的监控区域与第二拍摄系统的监控区域有重合区域，甚至第一拍摄系统的监控区域与第二拍摄系统的监控区域完全重合，重合区域即本实施例中的同一监控区域。通过图2中的设置方式，第一拍摄系统和第二拍摄系统能够对监控目标所在的区域同时拍摄交通图像，以对监控目标实现同步监控。

具体地，如图2所示，当驾驶人员驾驶非机动车进行该监控区域时，第一拍摄系统能从位于监控区域的驾驶人员的前侧进行拍摄，从而获取非机动车的车辆信息以及位于非机动车上的人员信息；同时，第二拍摄系统能够从位于监控区域的驾驶人员的后侧进行拍摄，从而进一步获取非机动车更丰富的车辆信息。

在本实施例中，拍摄系统的数量为两个，第一拍摄系统和第二拍摄系统的拍摄角度差为180°。在其他实施例中，若拍摄系统的数量为三个时，三个拍摄系统之间的拍摄角度差为120°，即三个拍摄系统围绕同一监控区域等间距排列。

在同一时刻，第一拍摄系统拍摄出第一交通图像，第二拍摄系统拍摄出第二交通图像，抓拍装置分别从第一拍摄系统获取第一交通图像，从第二拍摄系统获取第二交通图像。

S102：将至少两个交通图像映射到同一坐标系，以匹配至少两个交通图像中的相同目标。

其中，由于第一交通图像和第二交通图像分别由第一拍摄系统和第二拍摄系统从不同的拍摄角度拍摄，抓拍装置需要将第一交通图像和第二交通图像进行坐标系变换，以映射到同一坐标系中，便于匹配同一监控区域内的相同目标。

具体地，为了提高统一坐标系的精度，工作人员会实现在监控区域内放置预设数量的标志物，或者抓拍装置通过识别明显形状的物体作为标志物，例如红绿灯柱、阻车柱等。抓拍装置获取第一拍摄系统所在的第一坐标系中标志物的第一坐标信息，以及第二拍摄系统所在的第二坐标系中标志物的第二坐标信息。抓拍装置采用标定算法根据第一坐标信息和第二坐标信息对第一坐标系和第二坐标系进行标定，以将第一拍摄系统和第二拍摄系统的坐标映射到同一坐标系中。其中，抓拍装置可以将第一坐标系或第二坐标系作为映射的坐标系，也可以建立新的坐标系作为映射的坐标系。

由于抓拍抓装置需要对交通图像进行二次识别和违章抓拍，在实际的交通场景中可能会存在密集遮挡情况，因此对目标配对精度要求较高，本实施例采用的标定算法对于卡口近距离拍摄场景精度可达到1cm以内。例如，本申请采用前后两个拍摄系统，在交通场景中防止4个标志物，抓拍装置通过标定算法和4和标志物将两个拍摄系统的坐标映射到同一坐标系中，从而将相同的目标进行配对。配对过程请继续参阅以下步骤：

S103：根据同一坐标系中的至少两个交通图像，对目标进行识别。

其中，完成坐标系映射过程后，抓拍装置根据同一坐标系中的至少两个交通图像，对监控目标进行识别。

具体地，抓拍装置将第一交通图像和第二交通图像映射到同一坐标系中后，抓拍装置获取监控目标在第一交通图像的像素点坐标范围，然后根据该像素点坐标范围在第二交通图像中获取关于监控目标更多的交通信息。

在本实施例中，相机联动抓拍装置获取至少两个拍摄系统对同一监控区域拍摄的至少两个交通图像，其中，至少两个拍摄系统的拍摄角度不同；将至少两个交通图像映射到同一坐标系，以匹配至少两个交通图像中的相同目标；根据同一坐标系中的至少两个交通图像，对目标进行识别。通过上述方法，本申请可以实现交通图像中的车辆信息与人员信息的配对，精准实现交通监控。

对于第一实施例中的S101，本申请还提出了另一种具体的相机联动抓拍方法，具体请参阅图3，图3是本申请提供的相机联动抓拍方法第二实施例的流程示意图。

如图3所示，本实施例的相机联动抓拍方法具体包括以下步骤：

S201：获取至少两个拍摄系统中的第一拍摄系统对监控区域拍摄的第一交通图像。

其中，抓拍装置分别控制第一拍摄系统和第二拍摄系统对监控区域进行实时抓拍。在实时抓拍过程中，抓拍装置进一步获取至少两个拍摄系统中的第一拍摄系统对监控区域拍摄的第一交通图像，并根据第一交通图像判断监控区域中是否存在违章行为以及对应的违章目标。

具体地，抓拍装置可以设置第一拍摄系统为主要拍摄系统，其中，第一拍摄系统可以认为为图2中目标行驶方向上的拍摄系统A。抓拍装置首先根据第一拍摄系统的第一交通图像对监控区域中的非机动车以及乘车人员进行识别，以判断是否存在违章目标。

例如，由于存在部分帧数的第一交通图像出现非机动车乘车人员被遮挡的情况，抓拍装置对此设置检测线，对于连续多帧第一交通图像检测出乘车人员大于两人的非机动车进行投票抓拍，判定为存在非机动车超载的违章目标。

又例如，抓拍装置根据第一交通图像对监控区域中非机动车中的乘车人员进行头盔检测，若无法检测到头盔信息，则判定为存在乘车未佩戴头盔的违章目标。

再例如，抓拍装置利用跟踪模型中的速度方向机制判断非机动车行驶方向，若判断出非机动车行驶方向与道路规定行驶方向相反，则判定该非机动车位逆向行驶目标，监控区域中存在逆行的违章目标。

再例如，抓拍装置还可以检测非机动车占用机动车道的违章行为，抓拍装置每间隔150像素抓拍一张交通图像，并将交通图像归一化到1024像素；通过判断目标为非机动车、目标在连续运动且所在车道为机动车道，判定监控区域中存在占道的违章目标。

S202：根据第一交通图像判断是否存在违章目标。

其中，抓拍装置根据S201的违章判断方法通过第一交通图像判断监控区域中是否存在违章目标；若存在，则进入步骤S203。

S203：获取至少两个拍摄系统中的第二拍摄系统对监控区域拍摄的第二交通图像。

其中，当第一拍摄系统拍摄的第一交通图像存在违章目标时，抓拍装置获取第一拍摄系统对监控区域进行违章目标监控而产生的采集指令，其中，采集指令至少包括违章目标在坐标系中的坐标信息。

抓拍装置根据采集指令上报第二拍摄系统，并获取第二拍摄系统跟采集指令对监控区域中的违章目标进行抓拍而产生的第二交通图像。

S204：识别第二交通图像中的违章目标的车牌。

其中，抓拍装置根据采集指令中的坐标信息对第二交通图像进行识别，以获取第二交通图像中违章目标的非机动车车牌信息。

进一步地，当抓拍装置无法从第二交通图像中识别违章目标的非机动车车牌信息时，抓拍装置对第一交通图像中的乘车人员进行人脸识别，以缓存无牌非机动车的乘车人员信息。

进一步地，在本实施例中，抓拍装置对非机动车检测可以采用yolo3模型检测，对非机动车车牌识别也可以才用yolo3模型检测。在其他实施例中，也可以引入其他检测模型，在此不再赘述。

对于第一实施例中的S103，本申请还提出了另一种具体的相机联动抓拍方法，具体请参阅图4，图4是本申请提供的相机联动抓拍方法第三实施例的流程示意图。

如图4所示，本实施例的相机联动抓拍方法具体包括以下步骤：

S301：对至少两个交通图像中的目标设置跟踪信息。

其中，在第一实施例的S103中，抓拍装置对监控区域的目标进行识别的同时，抓拍装置根据目标的拍摄时间以及坐标信息设置跟踪信息。其中，跟踪信息可以体现为跟踪ID。抓拍装置将该跟踪ID广播给第一拍摄系统和第二拍摄系统，以使第一拍摄系统和第二拍摄系统分别根据跟踪ID对对应的目标进行监控以及连续拍摄多帧交通图像。

进一步地，抓拍装置可以采用KCF(Kernel Correlation Filter)跟踪算法跟踪目标在多帧交通图像中的位置，以获取目标的交通信息。

S302：根据跟踪信息和至少两个拍摄系统按照时序拍摄的交通图像对目标进行二次识别。

其中，抓拍装置获取第一拍摄系统和第二拍摄系统按照时序拍摄的多帧第一交通图像和第二交通图像，并根据跟踪信息中的坐标信息对多帧第一交通图像和第二交通图像的目标进行定位以及二次识别。

进一步地，在进行二次识别之前，抓拍装置还可以从第一拍摄系统和第二拍摄系统按照时序拍摄的多帧第一交通图像和第二交通图像选择最优交通图像，即信息量大且图像清晰度高的交通图像。具体地，抓拍装置可以采用特征优选算法，对目标跟踪序列中采集的多帧第一交通图像和第二交通图像进行特征值估计，以筛选出最优目标交通图像进行后续的二次识别。

S303：缓存并输出目标的二次识别信息，其中，二次识别信息包括目标的非机动车种类属性、载人数属性、衣服属性以及装备属性。

其中，对于实际交通场景中非机动车以及乘车人员的部分信息容易被遮挡的情况，抓拍装置利用跟踪信息对监控目标的一系列交通图像信息进行缓存。在这个过程中，只要监控目标不是全程被遮挡，抓拍装置最终都可以输出该监控目标的二次识别信息。

具体地，二次识别信息可以包括但不局限于以下属性信息：目标的非机动车种类属性，如自行车、摩托车、电瓶车等；非机动车载人数属性；驾驶员衣服属性，以对驾驶员特殊职业进行识别，如饿了么、美团等送餐人员，便于对外卖车辆进行管控；装备属性，如是否配备伞具或头盔等装备。

为了实现上述实施例的相机联动抓拍方法，本申请还提供了一种相机联动抓拍装置，具体请参阅图5，图5是本申请提供的相机联动抓拍装置一实施例的结构示意图。

如图5所示，本实施例的相机联动抓拍装置500包括获取模块51、匹配模块52以及识别模块53。

其中，获取模块51，用于获取至少两个拍摄系统对同一监控区域拍摄的至少两个交通图像，其中，至少两个拍摄系统的拍摄角度不同。

匹配模块52，用于将至少两个交通图像映射到同一坐标系，以匹配至少两个交通图像中的相同目标。

识别模块53，用于根据同一坐标系中的至少两个交通图像，对目标进行识别。

为了实现上述实施例的相机联动抓拍方法，本申请还提供了另一种相机联动抓拍装置，具体请参阅图6，图6是本申请提供的相机联动抓拍装置另一实施例的结构示意图。

如图6所示，本实施例的相机联动抓拍装置600包括处理器61、存储器62、输入输出设备63以及总线64。

该处理器61、存储器62、输入输出设备63分别与总线64相连，该存储器62中存储有计算机程序，处理器61用于执行计算机程序以实现上述实施例的相机联动抓拍方法。

在本实施例中，处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器61也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，如图7所示，计算机存储介质700用于存储计算机程序71，计算机程序71在被处理器执行时，用以实现如本申请相机联动抓拍方法实施例中所述的方法。

本申请相机联动抓拍方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种相机联动抓拍方法，其特征在于，所述相机联动抓拍方法包括：

2.根据权利要求1所述的相机联动抓拍方法，其特征在于，所述获取至少两个拍摄系统对同一监控区域拍摄的至少两个交通图像，包括：

获取所述至少两个拍摄系统中的第一拍摄系统对所述监控区域拍摄的第一交通图像；

根据所述第一交通图像判断是否存在违章目标；

若存在，则获取所述至少两个拍摄系统中的第二拍摄系统对所述监控区域拍摄的第二交通图像；

所述根据所述同一坐标系中的至少两个交通图像，对所述目标进行识别，包括：

识别所述第二交通图像中的违章目标的车牌。

3.根据权利要求2所述的相机联动抓拍方法，其特征在于，

所述获取所述至少两个拍摄系统中的第二拍摄系统对所述监控区域拍摄的第二交通图像的步骤包括：

获取所述第一拍摄系统对所述监控区域进行违章目标监控而产生的采集指令；

根据所述采集指令获取所述第二拍摄系统对所述监控区域中的违章目标进行抓拍而产生的第二交通图像。

4.根据权利要求1所述的相机联动抓拍方法，其特征在于，

所述将所述至少两个交通图像映射到同一坐标系的步骤，包括：

在所述至少两个交通图像中识别出预设数量的标志物；

通过标定算法和所述标志物将所述至少两个交通图像映射到同一坐标系。

5.根据权利要求1所述的相机联动抓拍方法，其特征在于，

所述至少两个拍摄系统中的第一拍摄系统和第二拍摄系统间隔设置，对应的所述监控区域位于所述第一拍摄系统和所述第二拍摄系统的间隔区域内，以使得所述第一拍摄系统和所述第二拍摄系统能够从位于所述监控区域的非机动车的前后两侧进行拍摄，进而获得第一交通图像和第二交通图像。

6.根据权利要求1所述的相机联动抓拍方法，其特征在于，

所述根据所述同一坐标系中的至少两个交通图像，对所述目标进行识别的步骤，包括：

对所述至少两个交通图像中的目标设置跟踪信息；

根据所述跟踪信息和所述至少两个拍摄系统按照时序拍摄的交通图像对所述目标进行二次识别。

7.根据权利要求6所述的相机联动抓拍方法，其特征在于，

所述根据所述跟踪信息和所述至少两个拍摄系统按照时序拍摄的交通图像对所述目标进行二次识别的步骤之后，包括：

缓存并输出所述目标的二次识别信息，其中，所述二次识别信息包括所述目标的非机动车种类属性、载人数属性、衣服属性以及装备属性。

8.根据权利要求6所述的相机联动抓拍方法，其特征在于，

根据所述跟踪信息和所述至少两个拍摄系统按照时序拍摄的交通图像对所述目标进行二次识别的步骤，进一步包括：

根据所述跟踪信息获取所述至少两个拍摄系统按照时序拍摄的多个交通图像；

采用特征优选算法对所述多个交通图像进行特征值估计，并选取特征值满足预设条件的交通图像进行二次识别。

9.一种相机联动抓拍装置，其特征在于，所述装置包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1～8中任一项所述相机联动抓拍方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1～8中任一项所述相机联动抓拍方法的步骤。