CN110021172A - 一种车辆全要素特征采集方法和系统 - Google Patents

Abstract

本发明的实施例公开一种车辆全要素特征采集方法和系统，涉及道路交通侦查设备技术领域。所述方法包括：在预定周期采集时间到达时，同时采集指定道路卡口前方第一区域内车辆的车头图像、卡口下方第二区域内车辆的车顶图像以及卡口后方第三区域内车辆的车尾图像；计算相同时刻采集的车头图像和车顶图像或者车顶图像和车尾图像中车辆间的映射关系，以实现对同一车辆的位置跟踪；当所述被跟踪车辆到达卡口正中时，采集被跟踪车辆的正车顶图像，同时采集同一车辆的车两侧图像；将属于同一车辆的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中。本发明可得到更精准的车辆全要素信息。

Description

一种车辆全要素特征采集方法和系统

技术领域

本发明涉及道路交通侦查设备技术领域，尤其涉及一种车辆全要素特征采集方法和系统。

背景技术

随着社会的不断发展，汽车保有量越来越大，在各种违法犯罪活动中车辆的使用较为普遍，视频侦查在车辆特征搜索技术应用方面有了长足的进步。城市治安卡口侧重于治安事件取证，除了传统的车辆车牌识别，还可看清车辆内司乘人员的脸部特征、行人和非机动车的特征，其已成为当前公安机关基础信息化建设的重要部分。目前治安卡口只能对目标车辆拍摄单一角度(正面或者背面)照片，其他角度的车辆信息无法采集。但是随着犯罪分子反侦察意识也越来越强，能够应用的图像线索越来越隐蔽，各种套牌、遮挡号牌、躲避摄像头等行为在犯罪构成中应用越来越多，能够获取到的经常是一些局部信息或者较不清晰的信息。因此，在日常案件侦查中，获取的车辆特征经常都是非正面图像，在卡口系统进行以图搜图对比、车牌比对往往不能发挥作用，原本有效的信息不能得到充分应用。

发明内容

有鉴于此，本发明实施例提供一种车辆全要素特征采集方法和系统，不仅解决现有道路卡口摄像系统无法提供全方位车辆特征信息的问题，还能丰富车辆大数据信息，为刑侦和情报等专业侦查部门提供更好的应用保障。

第一方面，本发明实施例提供一种车辆全要素特征采集方法，包括：

在预定周期采集时间到达时，同时采集指定道路卡口前方第一区域内车辆的车头图像、所述卡口下方第二区域内车辆的车顶图像以及所述卡口后方第三区域内车辆的车尾图像；

计算相同时刻采集的车头图像和车顶图像中车辆间的映射关系，并计算相同时刻采集的车顶图像和车尾图像中车辆间的映射关系，以实现对同一车辆的位置跟踪；

当所述被跟踪车辆到达所述卡口正中时，采集所述被跟踪车辆的正车顶图像，同时采集同一车辆的车左侧图像和车右侧图像；

将属于同一车辆的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中。

结合第一方面，在第一方面的第一种实施方式中，所述计算相同时刻采集的车头图像和车顶图像中车辆间的映射关系，或者，所述计算相同时刻采集的车顶图像和车尾图像中车辆间的映射关系，包括：

检测待计算的相同时刻采集的两帧不同方位图像中的车辆所占区域；所述待计算的相同时刻采集的两帧不同方位图像为相同时刻采集的车头图像和车顶图像或者相同时刻采集的车顶图像和车尾图像；

计算所述两帧不同方位图像中的车辆所占区域在同一坐标系下的重叠度；

判断计算出的重叠度是否大于预定阈值；

若计算出的重叠度大于预定阈值，则确定所述两帧不同方位图像中的车辆为同一车辆。

结合第一方面的第一种实施方式，在第一方面的第二种实施方式中，所述计算所述两帧不同方位图像中的车辆所占区域在同一坐标系下的重叠度，包括：

将所述两帧不同方位图像中的一帧图像中的车辆所占区域，通过透视变换方法投影至所述两帧不同方位图像中的另一帧图像中；

计算所述另一帧图像中原有的车辆所占区域和投影的车辆所占区域的重叠度。

结合第一方面、第一方面的第一种或第二种实施方式，在第一方面的第三种实施方式中，在将属于同一车辆的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中之后，还包括：

对于每一车辆，从该车辆的主要素特征中提取该车辆的其他要素特征并存储至该车辆的全要素特征集中；所述其他要素特征包括以下至少一项：车牌号码、车牌类型、车身颜色、车辆品牌、车辆类型、车辆内特征物、正副驾驶人脸；

对海量车辆的全要素特征进行模型训练，得到车辆全要素特征结构化信息。

第二方面，本发明实施例提供一种车辆全要素特征采集系统，包括：三目摄像机、左侧面摄像机、右侧面摄像机、路口服务器；

所述三目摄像机，设置于指定道路卡口正上方，包括前摄像单元、中间摄像单元、后摄像单元；所述三目摄像机用于以预定周期通过所述前摄像单元、中摄像单元、后摄像单元同时分别采集指定道路卡口前方第一区域内车辆的车头图像、所述卡口下方第二区域内车辆的车顶图像以及所述卡口后方第三区域内车辆的车尾图像；所述三目摄像机还包括跟踪计算模块，所述跟踪计算模块用于计算相同时刻采集的车头图像和车顶图像中车辆间的映射关系，并计算相同时刻采集的车顶图像和车尾图像中车辆间的映射关系，以实现对同一车辆的位置跟踪；所述三目摄像机还用于当所述被跟踪车辆到达所述卡口正中时，通过所述中间摄像单元采集所述被跟踪车辆的正车顶图像，同时向所述左侧面摄像机、右侧面摄像机发送触发信号；

所述左侧面摄像机，设置于所述卡口左侧，用于在收到所述触发信号时，采集车左侧图像；

所述右侧面摄像机，设置于所述卡口右侧，用于在收到所述触发信号时，采集车右侧图像；

所述路口服务器，与所述三目摄像机、左侧面摄像机、右侧面摄像机网络连接，用于对所述三目摄像机、左侧面摄像机、右侧面摄像机进行设备管理，接收所述三目摄像机、左侧面摄像机、右侧面摄像机采集的图像，并将属于同一车辆的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中。

结合第二方面，在第二方面的第一种实施方式中，所述跟踪计算模块包括：

坐标检测子模块，用于检测待计算的相同时刻采集的两帧不同方位图像中的车辆所占区域；所述待计算的相同时刻采集的两帧不同方位图像为相同时刻采集的车头图像和车顶图像或者相同时刻采集的车顶图像和车尾图像；

重叠度计算子模块，用于计算所述两帧不同方位图像中的车辆所占区域在同一坐标系下的重叠度；

判断子模块，用于判断所述重叠度计算子模块计算出的重叠度是否大于预定阈值；

确定子模块，用于在所述判断子模块的判断结果为是时，确定所述两帧不同方位图像中的车辆为同一车辆。

结合第二方面的第一种实施方式，在第二方面的第二种实施方式中，所述重叠度计算子模块，包括：

透视变换单元，用于将所述两帧不同方位图像中的一帧图像中的车辆所占区域，通过透视变换方法投影至所述两帧不同方位图像中的另一帧图像中；

计算单元，用于计算所述另一帧图像中原有的车辆所占区域和经所述透视变换单元投影的车辆所占区域的重叠度。

结合第二方面、第二方面的第一种或第二种实施方式，在第二方面的第三种实施方式中，所述路口服务器包括：

管理模块，用于对所述三目摄像机、左侧面摄像机、右侧面摄像机进行设备管理；

存储模块，用于将所述三目摄像机、左侧面摄像机、右侧面摄像机采集的属于同一车辆的车头图像、车顶图像、车左侧图像、车右侧图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中；

特征提取模块，用于对于每一车辆，从该车辆的主要素特征中提取该车辆的其他要素特征并存储至所述存储模块存储的该车辆的全要素特征集中；所述其他要素特征包括以下至少一项：车牌号码、车牌类型、车身颜色、车辆品牌、车辆类型、车辆内特征物、正副驾驶人脸；

训练模块，用于对所述存储模块存储的海量车辆的全要素特征进行模型训练，得到车辆全要素特征结构化信息。

本发明实施例提供的一种车辆全要素特征采集方法和系统，通过在道路卡口同时对来车的前、上、左、右、后部全要素图像采集，快速形成区域内符合研判要求的同一光照环境、同一时间、同一视频获取和处理策略下的车辆全要素特征，解决一般卡口只能拍摄车辆正面信息以及车管所验车获取车辆更新信息周期长、频次低的问题。此外，采集的海量车辆全要素特征集存储在一起形成车辆全要素特征样本库，结合智能分析算法可以提高视频侦查过程中图像比对工作的准确率和速度，为涉车犯罪的视频侦查工作提供更精准有效的技术方案，为刑侦、情报等专业侦查部门提供更好的应用保障。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明一种车辆全要素特征采集方法的实施例一的流程图；

图2为本发明卡口处设置的三目摄像机的摄像视野示意图；

图3为计算相同时刻采集的不同方位图像中车辆间映射关系的实施方法流程图；

图4为本发明一种车辆全要素特征采集方法的实施例二的流程图；

图5为本发明车辆全要素特征采集系统实施例一的结构示意图；

图6为跟踪计算模块14的结构示意图；

图7为重叠度计算子模块142的结构示意图；

图8为本发明车辆全要素特征采集系统实施例二的结构示意图。

具体实施方式

下面结合附图对本发明实施例一种车辆全要素特征采集方案进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明一种车辆全要素特征采集方法的实施例一的流程图，如图1所示，本实施例的方法可以包括：

步骤101、在预定周期采集时间到达时，同时采集指定道路卡口前方第一区域内车辆的车头图像、所述卡口下方第二区域内车辆的车顶图像以及所述卡口后方第三区域内车辆的车尾图像；

本步骤中，可以通过在指定道路卡口断面安装龙门架，龙门架正上方安装三目摄像机，通过三目摄像机来进行本步骤所需的图像采集。三目摄像机包括前摄像单元、中间摄像单元、后摄像单元，其中前摄像单元覆盖卡口前方道路的视野区域称为第一区域，后摄像单元覆盖卡口后方道路的视野区域称为第三区域，中间摄像单元覆盖于龙门架下方的视野区域称为第二区域，且中间摄像单元的视野与前、后摄像单元的视野分别有部分重合，如图2中所示，假设卡口处车辆从右往左行驶，图中第一区域为前摄像单元的视野覆盖范围，第二区域为中间摄像单元的视野覆盖范围，第三区域为后摄像单元的视野覆盖范围，可见，前摄像单元能够抓拍到卡口前方来车的车头图像，中间摄像单元可以抓拍到所述卡口下方一定范围内车辆的车顶图像，后摄像单元可以抓拍到已经经过卡口后位于卡口后方一定范围内车辆的车尾图像。三目摄像机以预定周期通过前摄像单元、中间摄像单元、后摄像单元同时采集卡口处不同方位的图像，优选地，三目摄像机以25帧每秒的抓拍频率，每隔0.04秒控制前摄像单元、中间摄像单元、后摄像单元同时抓拍各自视野内的图像，例如：此步骤在某个时刻t1，前摄像单元采集到车辆B的车头图像，中间摄像单元采集到车辆B的车顶图像，后摄像单元采集到车辆A的车尾图像；或者，在另一个时刻t2，前摄像单元采集到车辆C的车头图像，中间摄像单元采集到车辆B的车顶图像，后摄像单元采集到车辆B的车尾图像。

步骤102、计算相同时刻采集的车头图像和车顶图像中车辆间的映射关系，同时计算相同时刻采集的车顶图像和车尾图像中车辆间的映射关系，以实现对同一车辆的位置跟踪；

本实施例中，由于用于采集车头、车顶、车尾图像的摄像单元的视野之间存在部分重合，例如在某一时刻t，当车辆在三目摄像机的前摄像单元视野中时，中间摄像单元图像中也可检测到同一车辆位置，若在时刻t三目摄像机进行拍摄，则可以通过计算该相同时刻t采集的车头图像和车顶图像中车辆间的映射关系来确定不同摄像单元采集到的图像中的车辆是否是同一辆车，从而实现对同一车辆的位置跟踪，实现不同摄像单元在同一时刻拍摄的图像之间的关系映射。例如，对步骤101中所举的时刻t1采集图像的例子而言，此步骤中102中可通过计算确定出上一步骤中t1时刻前摄像单元采集的图像中的车辆和中间摄像单元采集的图像中的车辆为同一车辆(车辆B)，但是t1时刻中间摄像单元采集的图像中的车辆和后摄像单元采集的图像中的车辆不是同一车辆。

本实施例中，当车辆只单独存在于某个摄像单元的视野中时，可以根据不同时刻同一摄像单元采集的多帧图像，通过现有的单目跟踪算法定位该车辆的位置，此处不再赘述。

步骤103、当所述被跟踪车辆到达所述卡口正中时，采集所述被跟踪车辆的正车顶图像，同时采集同一车辆的车左侧图像和车右侧图像；

如前所述，通过对目标车辆的多目跟踪结合通过中间摄像单元对目标车辆的单目跟踪，当被跟踪车辆到达所述卡口正中时，可通过三目摄像机的中间摄像单元采集所述被跟踪车辆的正车顶图像，同时触发安装于卡口处龙门架两侧的摄像机同时抓拍被跟踪车辆的左、右侧图像。此过程中，由于目标车辆的左、右侧图像的抓拍是由中间摄像单元的抓拍事件来触发的，因此中间摄像单元采集到的被跟踪车辆的正车顶图像和被跟踪车辆的左、右侧图像之间已经具有了直接关联，能够直接确定这三帧图片是属于同一车辆并将其关联存储。

步骤104、将属于同一车辆的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中。

如前所述，当被跟踪车辆驶过卡口，进入后摄像单元视野中后，由于三目摄像机周期性的拍摄行为，后摄像单元能够采集到多帧被跟踪车辆的车尾图片，根据步骤102中所述的方法，通过计算相同时刻采集的车顶图像和车尾图像中车辆间的映射关系，可以确定出采集到的车尾图片与中间摄像单元采集到的哪帧图片中的车辆属于同一辆车。例如：步骤101在时刻t2，前摄像单元采集到车辆C的车头图像，中间摄像单元采集到车辆B的车顶图像，后摄像单元采集到车辆B的车尾图像，随后在步骤102中计算出时刻t2后摄像单元采集到的图像中的车辆和同一时刻中间摄像单元采集到的图像中的车辆为同一车辆B，而在时刻t2之前，经过本发明方法的步骤101-103，已经获取并确定了同一车辆B的车头图像(时刻t1由前摄像单元采集)、正车顶图像(时刻t3由中间摄像单元采集)、车两侧图像(时刻t3由龙门架两侧摄像机采集)，则此步骤中将属于同一车辆B的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为车辆B的主要素特征存储于数据库中车辆B的全要素特征集中，例如可以在卡口所处位置设置路口服务器用于存储经过车辆的全要素特征集，并可实时或定期将本地车辆的全要素特征集传输至远程数据管理中心。

本实施例提供的一种车辆全要素特征采集方法，通过在道路卡口同时对来车的前、上、左、右、后部全要素图像采集，快速形成区域内符合研判要求的同一光照环境、同一时间、同一视频获取和处理策略下的车辆全要素特征，解决一般卡口只能拍摄车辆正面信息以及车管所验车获取车辆更新信息周期长、频次低的问题。此外，采集的海量车辆全要素特征集存储在一起形成车辆全要素特征样本库，结合智能分析算法可以提高视频侦查过程中图像比对工作的准确率和速度，为涉车犯罪的视频侦查工作提供更精准有效的技术方案，为刑侦、情报等专业侦查部门提供更好的应用保障。

上述实施例一是以系统(例如三目摄像机和两侧摄像机组成的系统)为执行主体以每个预定周期采集时间到达时刻为起点描述的本发明方法，显然，若以单一车辆为采集对象出发来描述本发明提供的方法，该方法可以包括以下步骤：

步骤一：在预定周期采集时间到达时，同时采集指定道路卡口前方第一区域内车辆的车头图像、所述卡口下方第二区域内车辆的车顶图像以及所述卡口后方第三区域内车辆的车尾图像；

步骤二：判断上一步骤采集的车头图像和车顶图像是否属于同一车辆；若是，则将该车辆作为目标车辆，记录所述目标车辆的车头图像，并执行步骤三；否则，返回执行步骤一；

其中，记录的目标车辆的车头图像可以为上一步骤采集的车头图像，也可以为上一步骤之前例如由三目摄像机的前摄像单元周期性采集的多帧所述目标车辆的车头图像中最佳视角或最清晰的一帧图像。

此步骤二中，由于三目摄像机的中间摄像单元和前摄像单元、后摄像单元视野只是部分重合，因此，在同一时刻，目标车辆只会单独出现在前摄像单元视野中或者同时出现在前摄像单元和中间摄像单元的视野中或者同时出现在中间摄像单元和后摄像单元的视野中，而不会同时出现在前摄像单元、中间摄像单元、后摄像单元的视野中。因此，步骤二中，上一步骤采集的车尾图像确定不是所述目标车辆的，目标车辆的车尾图像需要经过后续步骤再确定。值得说明的是，在步骤一之后，例如此步骤执行时，系统还会同时判断步骤一中采集的车顶图像和车尾图像是否属于同一车辆，若是，则将该车尾图像记录到之前已经记录的同一辆车的车头图像和车顶图像集中，具体执行情况类似步骤六和步骤七，此处不再赘述。

步骤三：周期性采集所述目标车辆的车头图像和车顶图像，对所述目标车辆进行位置跟踪；

其中，当同一时刻采集的车头图像和车顶图像都属于所述目标车辆时，由用于采集车头图像的前摄像单元和用于采集车顶图像的中间摄像单元实现对目标车辆的双目跟踪，当目标车辆离开所述前摄像单元视野后，由所述中间摄像对目标车辆进行单目跟踪。

步骤四：当跟踪到所述目标车辆到达所述卡口正中时，采集所述目标车辆的正车顶图像、车左侧图像和车右侧图像并记录；

步骤五：在下一预定周期采集时间到达时，同时采集所述卡口前方第一区域内来车的车头图像、所述卡口下方第二区域内所述目标车辆的车顶图像以及所述卡口后方第三区域内车辆的车尾图像；

此步骤五中，所述下一预定周期采集时间到达时刻为上一步骤执行之后到达的第一个预定周期采集时间，例如步骤一在t时刻执行，在t+n*Δt时刻和t+(n-1)*Δt时刻之间的某个时刻跟踪到所述目标车辆到达所述卡口正中，执行步骤四，则此步骤五在t+(n-1)*Δt时刻执行，其中，Δt为预定周期采集时间间隔。

步骤六：判断上一步骤采集的车尾图像和目标车辆的车顶图像是否属于同一车辆；若是，则记录所述目标车辆的车尾图像，否则，返回执行步骤五；

步骤七：将所述目标车辆的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为所述目标车辆的主要素特征存储于所述目标车辆的全要素特征集中。

上述步骤一至步骤七所述实施例以单一车辆为图像采集对象，描述了本发明提供的方法，事实上，该实施例和上述实施例一是对同一方法从不同角度的描述，本发明提供的车辆全要素特征采集方法实际上就是通过在卡口预先设置多个摄像单元，分别用于采集卡口所处道路上来车的车头、车顶、车尾和车两侧图像，对于首次被采集到图像的目标车辆，首先通过前摄像单元对其进行位置跟踪，随后在目标车辆进入中间摄像单元的视野中且同时存在于前摄像单元视野中时，通过同一时刻前摄像单元和中间摄像单元采集的图像确定图像中车辆的映射关系，从而实现对目标车辆的双目跟踪，在目标车辆到达卡口正中央时，采集正车顶图像和车两侧图像，随后通过中间摄像单元对目标车辆进行单目跟踪，在目标车辆位于中间摄像单元和后摄像单元的视野中时，又通过中间摄像单元和后摄像单元同一时刻采集的图像来实现双目跟踪。通过控制前、中间、后摄像单元以同样的周期同时采集图像，能够在不同摄像单元拍摄的图片之间建立关联，最终获取到目标车辆的5方位图像。

图3为计算相同时刻采集的不同方位图像中车辆间映射关系的实施方法流程图，如图3所示，包括以下步骤：

步骤201、检测待计算的相同时刻采集的两帧不同方位图像中的车辆所占区域；

其中，所述待计算的相同时刻采集的两帧不同方位图像为相同时刻采集的车头图像和车顶图像或者相同时刻采集的车顶图像和车尾图像。

此步骤可以使用深度学习目标检测算法，如SSD(Single Shot Detector，单镜头探测器)或者Faster-rcnn(Faster Region-based Convolutional Neural Networks，基于区域的更快卷积神经网络)等，检测相同时刻不同摄像单元(例如车头图像和车顶图像)采集的图像中的车辆，获取各个图像中的车辆图像所占区域，为方便后续计算，可将车辆在图像中所占区域记录为一矩形区域P_m(i)，P_m(i)可以以其在图像中上、下、左、右四个角的坐标值来表征，显然，为了使得计算更为准确，可将车辆在图像中所占区域记录为任意多边形，即P_m(i)可以采用数量不少于4的更多坐标点来进行表征。其中，m为摄像单元编号，P_m(i)中的i表示第m个摄像单元中的车辆编号，由于单个摄像单元具有车辆跟踪功能，本发明中定义同一摄像单元在不同时刻采集到的同一车辆编号始终唯一，同一摄像单元依次采集到的不同车辆按顺序编号，例如前摄像单元先后采集到车辆A和车辆B的图像，则前摄像单元采集到的图片中车辆A所占区域可以表示为P₁(1)，车辆B所占区域可以表示为P₁(2)，中间摄像单元先后采集到车辆E和车辆F的图像，则中间摄像单元采集到的图片中车辆E所占区域可以表示为P₂(1)，车辆F所占区域可以表示为P₂(2)。例如，某一段时间t1-t2内，通过三目摄像机采集到的图像中的车辆所占区域如下表1所示：

表1

时刻	前摄像单元	中间摄像单元	后摄像单元
				t1	P<sub>1</sub>(100)	P<sub>2</sub>(92)	P<sub>3</sub>(85)
t1+Δt	P<sub>1</sub>(100)	P<sub>2</sub>(92)	P<sub>3</sub>(86)
				…	…	…	…
t2	P<sub>1</sub>(210)	P<sub>2</sub>(200)	P<sub>3</sub>(196)

表1中，t2时刻前摄像单元采集的图像中P₁(210)和中间摄像单元采集的图像中P₂(200)可能对应同一辆车。

步骤202、计算所述两帧不同方位图像中的车辆所占区域在同一坐标系下的重叠度；

优选地，此步骤可以先将所述两帧不同方位图像中的一帧图像中的车辆所占区域，通过透视变换(Perspective Transformation)方法投影至所述两帧不同方位图像中的另一帧图像中，随后计算所述另一帧图像中原有的车辆所占区域P_m(i)和投影的车辆所占区域P_n(j)的重叠度(Intersection over Union)，记录为其中，符号∩表示交集，符号∪表示并集，A(P_m(i)∩P_n(j))表示两个多边形区域P_m(i)和P_n(j)的交集面积，A(P_m(i)∪P_n(j))表示两个多边形区域P_m(i)和P_n(j)的并集面积，IOU表示两个多边形区域P_m(i)和P_n(j)的交叠率，即它们交集与并集的比值。

其中，透视变换是将图片投影到一个新的视平面，也称作投影映射。通用的变换公式为：

公式(1)和(2)中，矩阵[u,v,w]中u,v分别为所述两帧不同方位图像中的一帧图像中的车辆所占区域P_m(i)对应的多个点的横坐标和纵坐标，w为所有元素都为1的列向量，[x,y]为所述两帧不同方位图像中的一帧图像中的车辆所占区域P_m(i)经公式(1)和(2)的透视变换投影到另一帧图像中的投影区域对应多个点坐标值。变换矩阵A，即可以通过对用于采集图像的摄像单元进行标定后预先计算而得，此处不再赘述。

步骤203、判断计算出的重叠度是否大于预定阈值；若是，则执行步骤204。

本实施例中，当所述两帧不同方位图像中的车辆所占区域之间存在矩形使得IOU(P_m(i),P_n(j))＞R成立时，认为这两帧不同方位图像中的车辆为同一车辆。其中R表示重叠率阈值，是个经验值，优先的，R的取值范围为[0.6，0.9]。

步骤204、确定两帧不同方位图像中的车辆属于同一车辆。

本实施例中，对于确定出属于同一车辆的不同方位图像，可以在本地缓存时将这些图像附上同样的记录标签，例如可以识别图像中车辆的车牌，以车牌为标签来标识属于同一车辆的不同方位图像，随后在存储该车辆的全要素特征集时，若同一辆车的同一方位图像具有多帧，可以根据预定选择条件，例如对于车头图像，选择拍摄到的第一帧图像或者选择车辆在图像中占据区域最大的一帧图像来作为该车辆的车头图像存储于该车辆的全要素特征集中。

图4为本发明一种车辆全要素特征采集方法的实施例二的流程图，如图4所示，本实施例的方法可以包括：

步骤301、在预定周期采集时间到达时，同时采集指定道路卡口前方第一区域内车辆的车头图像、所述卡口下方第二区域内车辆的车顶图像以及所述卡口后方第三区域内车辆的车尾图像；

步骤302、计算相同时刻采集的车头图像和车顶图像中车辆间的映射关系，并计算相同时刻采集的车顶图像和车尾图像中车辆间的映射关系，以实现对同一车辆的位置跟踪；

步骤303、当所述被跟踪车辆到达所述卡口正中时，采集所述被跟踪车辆的正车顶图像，同时采集同一车辆的车左侧图像和车右侧图像；

步骤304、将属于同一车辆的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中；

本实施例中，步骤301-304的实施方法与上述步骤101-104的实施方法类似，此处不再赘述。

步骤305、对于每一车辆，从该车辆的主要素特征中提取该车辆的其他要素特征并存储至该车辆的全要素特征集中；

本实施例中，基于车辆本身的图像，即正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，根据需要，例如根据图侦工作过程中积累的要素点，从车辆图像中提取车牌号码、车牌类型、车身颜色、车辆品牌、车辆类型、车辆内特征物、正副驾驶人脸等其他要素特征。具体地，还可以从5个不同方位的车辆图像中检测出驾驶员是否已系安全带，检测车内行李架上物品，驾驶员口罩检测、天窗检测、纸巾盒检测等等。

步骤306、对海量车辆的全要素特征进行模型训练，得到车辆全要素特征结构化信息。

本实施例中，通过对海量车辆的全要素特征进行模型训练，搭建出符合图侦使用习惯的结构化数据规则，并将这些数据提交给数据中心，通过数据中心平台进行展现。从而可以从视频和图像中直接检测人车物的位置和属性，实现360度无死角的人和车身份认证，信息结构化和语义搜索，以达到后期的快速检索和布控等目的。在车辆全要素特征结构化信息系统内自动搜索，能够极大地方便案件侦破工作中，充分利用已掌握涉案车辆的各种信息，在海量数据中自动查找、预警、布控、大数据分析。

此外，本发明提供的车辆多方位全要素特征采集进一步扩充了车辆的数据信息，配合一车一档更是完善了车辆的大数据信息，建立实时更新自学习的“一车一档”，将图像搜索的样本库从几千万条缩少到几十万条，极大的提高比对效率；自学习的车辆本底档案可以采集到带时间标记的车辆特征，在图侦过程中可以有针对性的选取案发时间段进行精准搜索，同时减少特征变动带来的结果误差；一旦发生涉车案件，如车辆侧面有较明显特征，可以将特征图片与车辆全要素特征库进行以图搜图比对分析，提高车辆排查效率。

在另一可选实施例中，本发明提供的方法还可以整合电子警察和车辆异常行为检测的功能，能够判断车辆违章压线、转弯、掉头、超速、车速异常、未系安全带、驾驶员打电话、违章占用公交车道等行为，为行车安全和规范提供信息保障。

对应于本发明实施例提供的车辆全要素特征采集方法，本发明实施例还提供了车辆全要素特征采集装置。图5为本发明车辆全要素特征采集系统实施例一的结构示意图，如图5所示，本实施例一提供的装置可以包括三目摄像机1、左侧面摄像机2、右侧面摄像机3、路口服务器4；其中：

三目摄像机1，设置于指定道路卡口正上方，包括前摄像单元11、中间摄像单元12、后摄像单元13；三目摄像机1用于以预定周期通过前摄像单元11、中摄像单元12、后摄像单元13同时分别采集指定道路卡口前方第一区域内车辆的车头图像、卡口下方第二区域内车辆的车顶图像以及卡口后方第三区域内车辆的车尾图像；三目摄像机1还包括跟踪计算模块14，跟踪计算模块14用于计算相同时刻采集的车头图像和车顶图像中车辆间的映射关系，并计算相同时刻采集的车顶图像和车尾图像中车辆间的映射关系，以实现对同一车辆的位置跟踪；三目摄像机1还用于在被跟踪车辆到达卡口正中时，通过中间摄像单元12采集被跟踪车辆的正车顶图像，同时向左侧面摄像机2、右侧面摄像机3发送触发信号；

左侧面摄像机2，设置于卡口左侧，用于在收到触发信号时，采集车左侧图像；

右侧面摄像机3，设置于卡口右侧，用于在收到触发信号时，采集车右侧图像；

路口服务器4，与三目摄像机1、左侧面摄像机2、右侧面摄像机3网络连接，例如路口服务器4可以通过交换机与三目摄像机1、左侧面摄像机2、右侧面摄像机3连接，三目摄像机1、左侧面摄像机2、右侧面摄像机3进行设备管理，接收三目摄像机1、左侧面摄像机2、右侧面摄像机3采集的图像，并将属于同一车辆的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中。

本实施例一的系统，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图6为跟踪计算模块14的结构示意图，如图6所示，跟踪计算模块14可以包括：

坐标检测子模块141，用于检测待计算的相同时刻采集的两帧不同方位图像中的车辆所占区域；所述待计算的相同时刻采集的两帧不同方位图像为相同时刻采集的车头图像和车顶图像或者相同时刻采集的车顶图像和车尾图像；

重叠度计算子模块142，用于计算所述两帧不同方位图像中的车辆所占区域在同一坐标系下的重叠度；

判断子模块143，用于判断重叠度计算子模块142计算出的重叠度是否大于预定阈值；

确定子模块144，用于在判断子模块143的判断结果为是时，确定所述两帧不同方位图像中的车辆为同一车辆。

本实施例可以用于执行图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为重叠度计算子模块142的结构示意图，如图7所示，重叠度计算子模块142可以包括：

透视变换单元21，用于将所述两帧不同方位图像中的一帧图像中的车辆所占区域，通过透视变换方法投影至所述两帧不同方位图像中的另一帧图像中；

计算单元22，用于计算所述另一帧图像中原有的车辆所占区域和经所述透视变换单元投影的车辆所占区域的重叠度。

图8为本发明车辆全要素特征采集系统实施例二的结构示意图，如图8所示，本实施例二的系统在图5所示装置结构的基础上，进一步地，路口服务器4可以包括：

管理模块41，用于对三目摄像机1、左侧面摄像机2、右侧面摄像机3进行设备管理；

存储模块42，用于将三目摄像机1、左侧面摄像机2、右侧面摄像机3采集的属于同一车辆的车头图像、车顶图像、车左侧图像、车右侧图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中；

特征提取模块43，用于对于每一车辆，从该车辆的主要素特征中提取该车辆的其他要素特征并存储至所述存储模块存储的该车辆的全要素特征集中；所述其他要素特征包括以下至少一项：车牌号码、车牌类型、车身颜色、车辆品牌、车辆类型、车辆内特征物、正副驾驶人脸；

训练模块44，用于对存储模块42存储的海量车辆的全要素特征进行模型训练，得到车辆全要素特征结构化信息。

本实施例二的系统，可以用于执行图4所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本发明实施例提供的方法和系统，通过在指定卡口采集过往车辆的多方位图像信息，并从多方为图像中提取车辆的车牌号码、车牌类型、车身颜色、车辆品牌、车辆类型、车辆特征物、随车手机信息、正副驾驶人脸等特征信息等与车辆图像信息一起作为车辆的全要素信息，车辆的多角度图像信息统一归档、并与车驾管等涉车数据库关联，能够最大程度扩大车辆档案的信息量，为刑侦和情报等专业侦查部门提供更好的应用保障。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种车辆全要素特征采集方法，其特征在于，包括：

在预定周期采集时间到达时，同时采集指定道路卡口前方第一区域内车辆的车头图像、所述卡口下方第二区域内车辆的车顶图像以及所述卡口后方第三区域内车辆的车尾图像；

计算相同时刻采集的车头图像和车顶图像中车辆间的映射关系，并计算相同时刻采集的车顶图像和车尾图像中车辆间的映射关系，以实现对同一车辆的位置跟踪；

当所述被跟踪车辆到达所述卡口正中时，采集所述被跟踪车辆的正车顶图像，同时采集同一车辆的车左侧图像和车右侧图像；

将属于同一车辆的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中。

2.如权利要求1所述的方法，其特征在于，所述计算相同时刻采集的车头图像和车顶图像中车辆间的映射关系，或者，所述计算相同时刻采集的车顶图像和车尾图像中车辆间的映射关系，包括：

检测待计算的相同时刻采集的两帧不同方位图像中的车辆所占区域；所述待计算的相同时刻采集的两帧不同方位图像为相同时刻采集的车头图像和车顶图像或者相同时刻采集的车顶图像和车尾图像；

计算所述两帧不同方位图像中的车辆所占区域在同一坐标系下的重叠度；

判断计算出的重叠度是否大于预定阈值；

若计算出的重叠度大于预定阈值，则确定所述两帧不同方位图像中的车辆为同一车辆。

3.如权利要求2所述的方法，其特征在于，所述计算所述两帧不同方位图像中的车辆所占区域在同一坐标系下的重叠度，包括：

将所述两帧不同方位图像中的一帧图像中的车辆所占区域，通过透视变换方法投影至所述两帧不同方位图像中的另一帧图像中；

计算所述另一帧图像中原有的车辆所占区域和投影的车辆所占区域的重叠度。

4.如权利要求1-3任一项所述的方法，其特征在于，在将属于同一车辆的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中之后，还包括：

对于每一车辆，从该车辆的主要素特征中提取该车辆的其他要素特征并存储至该车辆的全要素特征集中；所述其他要素特征包括以下至少一项：车牌号码、车牌类型、车身颜色、车辆品牌、车辆类型、车辆内特征物、正副驾驶人脸；

对海量车辆的全要素特征进行模型训练，得到车辆全要素特征结构化信息。

5.一种车辆全要素特征采集系统，其特征在于，包括：三目摄像机、左侧面摄像机、右侧面摄像机、路口服务器；

所述三目摄像机，设置于指定道路卡口正上方，包括前摄像单元、中间摄像单元、后摄像单元；所述三目摄像机用于以预定周期通过所述前摄像单元、中摄像单元、后摄像单元同时分别采集指定道路卡口前方第一区域内车辆的车头图像、所述卡口下方第二区域内车辆的车顶图像以及所述卡口后方第三区域内车辆的车尾图像；所述三目摄像机还包括跟踪计算模块，所述跟踪计算模块用于计算相同时刻采集的车头图像和车顶图像中车辆间的映射关系，并计算相同时刻采集的车顶图像和车尾图像中车辆间的映射关系，以实现对同一车辆的位置跟踪；所述三目摄像机还用于当所述被跟踪车辆到达所述卡口正中时，通过所述中间摄像单元采集所述被跟踪车辆的正车顶图像，同时向所述左侧面摄像机、右侧面摄像机发送触发信号；

所述左侧面摄像机，设置于所述卡口左侧，用于在收到所述触发信号时，采集车左侧图像；

所述右侧面摄像机，设置于所述卡口右侧，用于在收到所述触发信号时，采集车右侧图像；

所述路口服务器，与所述三目摄像机、左侧面摄像机、右侧面摄像机网络连接，用于对所述三目摄像机、左侧面摄像机、右侧面摄像机进行设备管理，接收所述三目摄像机、左侧面摄像机、右侧面摄像机采集的图像，并将属于同一车辆的正车顶图像、车左侧图像、车右侧图像、车头图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中。

6.根据权利要求5所述的系统，其特征在于，所述跟踪计算模块包括：

坐标检测子模块，用于检测待计算的相同时刻采集的两帧不同方位图像中的车辆所占区域；所述待计算的相同时刻采集的两帧不同方位图像为相同时刻采集的车头图像和车顶图像或者相同时刻采集的车顶图像和车尾图像；

重叠度计算子模块，用于计算所述两帧不同方位图像中的车辆所占区域在同一坐标系下的重叠度；

判断子模块，用于判断所述重叠度计算子模块计算出的重叠度是否大于预定阈值；

确定子模块，用于在所述判断子模块的判断结果为是时，确定所述两帧不同方位图像中的车辆为同一车辆。

7.根据权利要求6所述的系统，其特征在于，所述重叠度计算子模块，包括：

透视变换单元，用于将所述两帧不同方位图像中的一帧图像中的车辆所占区域，通过透视变换方法投影至所述两帧不同方位图像中的另一帧图像中；

计算单元，用于计算所述另一帧图像中原有的车辆所占区域和经所述透视变换单元投影的车辆所占区域的重叠度。

8.根据权利要求5-7任一项所述的系统，其特征在于，所述路口服务器包括：

管理模块，用于对所述三目摄像机、左侧面摄像机、右侧面摄像机进行设备管理；

存储模块，用于将所述三目摄像机、左侧面摄像机、右侧面摄像机采集的属于同一车辆的车头图像、车顶图像、车左侧图像、车右侧图像、车尾图像，作为对应车辆的主要素特征存储于该车辆的全要素特征集中；

特征提取模块，用于对于每一车辆，从该车辆的主要素特征中提取该车辆的其他要素特征并存储至所述存储模块存储的该车辆的全要素特征集中；所述其他要素特征包括以下至少一项：车牌号码、车牌类型、车身颜色、车辆品牌、车辆类型、车辆内特征物、正副驾驶人脸；

训练模块，用于对所述存储模块存储的海量车辆的全要素特征进行模型训练，得到车辆全要素特征结构化信息。