发明内容
鉴于此,本申请提供一种车辆信息采集方法及系统,以解决现有的取证效率低,信息滞后的问题。
第一方面,本申请提供的一种车辆采集方法,包括:
获取摄像头采集的第一车辆图像,提取所述第一车辆图像中的第一车辆信息;
将所述第一车辆信息与预设的黑名单信息进行对比;
当所述第一车辆信息与所述黑名单信息具有映射关系时,控制车载终端的显示屏显示确认信息,其中,所述确认信息用于提示用户确认所述第一车辆信息与所述黑名单信息是否对应;
当获取到用户输入的确认指令时,将车载终端的定位模块采集得到的位置信息与所述第一车辆信息上传至服务器。
可选的,当获取到控制按键的第一触发信息时,所述车辆信息采集方法还包括:
获取车辆信息集,并存储到指定的存储空间中,其中,所述车辆信息集为对摄像头采集到的图像进行提取后得到的图像内所有车辆的车辆信息的集合;
将所述第一车辆信息与所述车辆信息集中的车辆信息进行对比,判断所述第一车辆信息是否符合预设的违章条件;
当所述第一车辆信息符合所述违章条件时,控制所述摄像头采集第一录像数据,将所述第一录像数据第一车辆图像及第一车辆信息上传至服务器。
可选的,所述违章条件包括第一车辆信息与第二车辆信息的位置距离小于预设的距离值、车牌相同且采集时间间隔大于预设的时间间隔,其中,所述第二车辆信息为所述车辆信息集中其中一个车辆信息。
可选的,当所述存储空间中已经存储有车辆信息集时,所述获取到控制按键的第一触发信息后,清除所述存储空间中存储的车辆信息集。
可选的,当获取到控制按键的第二触发信息时,根据所述第二触发信息控制所述摄像头采集第二录像数据,其中,第二录像数据包括获取到所述第二触发信息前预设的第一时长的录像数据,以及获取到所述第二触发信息后的录像数据。
可选的,所述获取到控制按键的第二触发信息后,还包括:
提取所述第二录像数据中包含车牌信息的第二车辆图像,并将所述第二录像信息及第二车辆图像上传至所述服务器。
可选的,所述车辆信息采集方法还包括:
通过车载终端的无线通信模块,利用实时消息传输协议或实时流传输协议将所述摄像头采集的实时视频数据传输至服务器。
第二方面,本申请提供一种车辆信息采集系统,其特征在于,包括:
车载终端,所述车载终端包括壳体、处理器、显示屏及无线通信模块;所述处理器设置在所述壳体内部,所述处理器包括第一引脚、第二引脚及第三引脚;所述显示屏设置在所述壳体,与所述处理器的第一引脚连接;所述无线通信模块设置在壳体内,与所述处理器的第二引脚连接;
摄像头,设置在所述壳体外,与所述处理器的第三引脚连接;
服务器,与所述车载终端通过无线网络连接;
所述摄像头用于采集车辆图像并传输至所述处理器;
所述处理器用于从所述摄像头获取第一车辆图像,并提取第一车辆图像中的车辆信息;将所述第一车辆信息与预设的黑名单信息进行对比,当所述第一车辆信息与所述黑名单信息具有映射关系时,控制所述显示屏显示确认信息;
所述显示屏用于显示所述确认信息;
所述服务器用于接收所述车载终端上传的数据;
所述无线通信模块用于通过无线网络建立所述处理器与所述服务器的连接。
可选的,所述车辆信息采集系统还包括控制组件,所述控制组件包括连接线与至少两个控制按键,所述处理器包括第四引脚,所述控制按键通过所述连接线与所述处理器的第四引脚连接;
所述控制按键被用户触发时向所述处理器传输触发信息。
可选的,所述车载终端还包括定位模块,所述处理器还包括第五引脚,所述定位模块与所述处理器的第五引脚连接,用于采集位置信息并传输至所述处理器。
本申请上述车辆采集方法及系统,通过利用摄像头采集第一车辆图像,然后提取第一车辆图像中的第一车辆信息,将第一车辆信息与黑名单信息进行对比,当第一车辆信息与黑名单信息具有映射关系时,控制显示屏显示确认信息提醒用户进行确认,不需要人工进行车辆信息的整理与对比,节省人力消耗,当获取到用户输入的确认指令时,将定位模块采集到的定位信息及第一车辆信息上传到服务器中,可以第一时间将嫌疑车辆的信息及位置进行上报,有效提高了车辆信息的处理效率,减少了信息的滞后性。
具体实施方式
下面结合附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,下述各个实施例及其技术特征可以相互组合。
如图1所示,一种车辆信息采集方法,包括:
S1100、获取摄像头采集的第一车辆图像,提取所述第一车辆图像中的第一车辆信息;
在交警执勤的过程中,摄像头实时采集第一车辆图像,将第一车辆图像发送到车载终端的处理器,由处理器对第一车辆图像进行信息提取,提取图像中包含的其中一辆车的第一车辆信息。具体的,提取的信息包括但不限于采集时间、车牌号、采集位置等,第一车辆图像的采集方法可以是由摄像头每经过一定的时间间隔(例如1秒)获取一张图像,作为第一车辆图像,也可以是摄像头实时采集录像,然后从录像中每间隔一定的时间间隔(例如1秒)截取一张帧图像,作息作为第一车辆图像。
S1200、将所述第一车辆信息与预设的黑名单信息进行对比;
车载终端或服务器中存储有黑名单信息,黑名单信息中包括但不限于多次违章、被通缉等类型的车辆的信息,属于交通管理部门重点关注的车辆。在提取得到第一车辆信息后,处理器将第一车辆信息与黑名单信息进行对比,确定第一车辆信息是否与黑名单信息中的车辆的信息具备映射关系。
S1300、当所述第一车辆信息与所述黑名单信息具有映射关系时,控制显示屏显示确认信息,其中,所述确认信息用于提示用户确认所述第一车辆信息与所述黑名单信息是否对应;
当第一车辆信息与黑名单信息具有映射关系,即第一车辆信息与黑名单信息中的某一车辆信息相同或相似时,控制显示屏显示确认信息。具体的,确认信息用于提示用户确认第一车辆信息与黑名单信息是否对应,确认信息包括但不限于第一车辆信息、对第一车辆图像截取得到的对应车辆的图像、黑名单信息中与第一车辆信息对应的车辆的信息等,实现提醒用户确认两者的对应关系即可,例如在显示屏的左半部分显示对第一车辆图像截取得到的对应车辆的图像,然后在该图像的上方显示对应的第一车辆信息,在显示屏的右半部分显示黑名单信息中与第一车辆信息对应的车辆的信息,在显示屏的正中间显示确认按钮。
S1400、当获取到用户输入的确认指令时,将车载终端的定位模块采集得到的位置信息与所述第一车辆信息上传至服务器;
在显示屏中显示确认信息后,显示屏中可以显示对应的确认按钮,以引导用户进行确认,本实施例中的显示屏采用带有触控功能的显示屏,当用户确认第一车辆信息和黑名单信息具有映射关系时,通过触摸显示屏中的确认按钮发送确认指令,当获取到用户输入的确认指令时,将车载终端的定位模块采集到的位置信息与第一车辆信息上传至服务器。
在一些实施方式中,当用户确认第一车辆信息和黑名单信息不具有映射关系时,可以发送取消确认的指令,显示屏结束确认信息的显示。取消确认可以是用户进行输入,也可以设置显示屏显示一定的时间(例如1分钟)后未收到确认指令时默认进行取消确认等,但不限于此。上述确认指令及取消确认的指令也可以通过物理按键、其他终端发送等方式进行输入,在此不作限定。
上述实施例通过利用摄像头采集第一车辆图像,然后提取第一车辆图像中的第一车辆信息,将第一车辆信息与黑名单信息进行对比,当第一车辆信息与黑名单信息具有映射关系时,控制显示屏显示确认信息提醒用户进行确认,不需要人工进行车辆信息的整理与对比,节省人力消耗,当获取到用户输入的确认指令时,将定位模块采集到的定位信息及第一车辆信息上传到服务器中,可以第一时间将嫌疑车辆的信息及位置进行上报,有效提高了车辆信息的处理效率,减少了信息的滞后性。
在一些实施例中,摄像头采集的车辆图像为RGB图像,第一车辆信息和黑名单信息均可为车牌信息,所述方法还包括以下构建车牌检测及识别模型的步骤:
建立包含4个阶段的MTCNN模型作为车牌检测及识别模型;前三个阶段对应的子网络分别为P-Net、R-Net、O-Net,前三个阶段对应的子网络用于检测RGB图像中的车牌,并输出RGB车牌图像,最后一个阶段对应的子网络F-Net用于实现RGB车牌图像的车牌识别;第三个阶段对应的O-Net子网络的输出作为第四阶段子网络结构的输入;
最后一个阶段对应的子网络结构F-Net为:设置输入的图像大小为224*224,先经过一个3*3卷积核的Conv2D卷积层,3个3*3卷积核的MBConv卷积层,最后经过全连接层,全连接层的输出为属于黑名单车牌特征管理库中的车牌的概率,如果该概率大于一设定阈值TH,则判定输入图像对应的车牌特征值属于黑名单车牌。
在其中一个实施例中,用于训练第四阶段模型的损失函数为:
其中N为训练样本库的总的车牌类别,M为黑名单车牌特征管理库的总类别,一般地M<N,p
ij为输出层的概率,代表待识别RGB车牌图像是否属于黑名单车牌特征管理库的概率,s
ij为图像标签,若待识别RGB车牌图像属于黑名单车牌特征管理库中的图像,则s
ij为1,不属于黑名单车牌特征管理库中的图像则为0;黑名单车牌特征管理库的总类别等于黑名单车牌特征管理库中的车牌数,训练样本库的总的车牌类别等于黑名单车牌特征管理库车牌数加上非黑名单车牌特征管理库的车牌数。
如图2所示,在一些实施方式中,当获取到控制按键的第一触发信息时,车辆信息采集方法还包括:
S2100、获取车辆信息集,并存储到指定的存储空间中,其中,所述车辆信息集为对摄像头采集到的图像进行提取后得到的图像内所有车辆的车辆信息的集合;
在执勤过程中,进入违停路段时,用户通过触发外置的控制按键,向处理器发送第一触发信息,当收到控制按键的第一触发信息时,控制摄像头获取当前的图像并传输至处理器中,处理器提取该图像中所有车辆各自的车辆信息,将从该图像中提取得到的车辆信息的集合作为车辆信息集,然后存储到指定的存储空间中。本实施例中指定的存储空间可以是某一个专用存储器,也可以是存储器中指定的存储区域,但不限于此。
S2200、将所述第一车辆信息与所述车辆信息集中的车辆信息进行对比,判断所述第一车辆信息是否符合预设的违章条件;
将车辆信息集存储到指定的存储空间后,每次获取到第一车辆信息时,将第一车辆信息与车辆信息集中的内容进行对比,判断第一车辆信息是否符合违章条件。在一些实施方式中,车辆信息至少包括车牌信息,采集位置及采集时间,违章条件包括第一车辆信息与第二车辆信息的位置距离小于预设的距离值、车牌相同且采集时间间隔大于预设的时间间隔,其中,第二车辆信息为车辆信息集中的一个车辆信息。
具体的,在获取到第一车辆信息后,根据第一车辆信息与第二车辆信息的车牌信息,确定车牌是否相同,判断是否为同一辆车;根据采集位置,计算第一车辆信息与第二车辆信息的位置距离是否小于预设的距离值,判断该车辆是否位于同一个位置;根据采集时间,计算第一车辆信息与第二车辆信息的采集时间间隔是否大于预设的时间间隔,判断该车辆是否在该位置停车超过一定的时间。当第一车辆信息与第二车辆信息的位置距离小于预设的距离值、车牌相同且采集时间间隔大于预设的时间间隔时,说明同一辆车在同一个位置停放超过规定的时间,确定该车辆为违停车辆。如果第一车辆信息与第二车辆信息的上述多个条件至少一个不符合,依次将第一车辆信息与车辆信息集中的下一个车辆信息进行对比,直至与车辆信息集中的所有车辆信息都进行过对比后结束。
本实施方式中预设的距离值、预设的时间间隔可以根据实际的应用场景进行调整,例如考虑到定位模块采集的位置信息可能有偏差,可以增加上述距离值,预设的时间间隔可以与不同路段的交通规章进行适配,例如某路段禁停5分钟以上,则预设的时间间隔为5分钟。在另一些实施方式中,预设的时间间隔可以由服务器进行推送,服务器实时监控车载终端的位置,当车载终端进入某一违停路段时,服务器推送对应的违停时长到终端中,作为上述预设的时间间隔。
S2300、当所述第一车辆信息符合所述违章条件时,控制所述摄像头采集第一录像数据,将所述第一录像数据第一车辆图像及第一车辆信息上传至服务器;
当第一车辆信息与车辆信息集中的某一个车辆信息同时满足车牌相同,位置距离小于预设的距离值,采集时间间隔大于预设的时间间隔,确定第一车辆信息符合违章条件,控制摄像头采集预设时长(例如10秒)的录像,然后将录像、第一车辆图像及第一车辆信息通过无线网络上传至服务器。
上述实施方式通过设置违章条件,在进入违停路段时用户触发控制按键发送第一触发信息,以获取到的车辆信息集为依据,判断第一车辆信息是否符合违停条件,可以有效识别违停路段中的违停车辆并上传至系统,提高执勤效率。
在一些实施方式中,在用户离开违停路段后,可以再次触发控制按键发送第一触发信息,当所述存储空间中已经存储有车辆信息集时,获取到控制按键的第一触发信息后,清除指定存储空间中存储的车辆信息集数据,以空出存储空间以待下次进入违停路段后用于存储的新的车辆信息集。
在一些实施方式中,当获取到控制按键的第二触发信息时,根据所述第二触发信息控制所述摄像头采集第二录像数据,其中,第二录像数据包括获取到所述第二触发信息前预设的第一时长的录像数据,以及获取到所述第二触发信息后的录像数据。
具体的,摄像头实时采集录像,并保留一定时长的视频数据,例如实时保留3分钟的视频数据,一直迭代删除更久之的视频数据,在一些实施方式中,视频数据可以采取分段保存的方式,将一定时长的视频作为一个文件(例如10秒),依次进行保存,保存到一定的量之后开始迭代,保留新的视频文件,从头开始依次删除旧的视频文件,例如设定需要保存的时长为3分钟,每一个视频文件为10秒,从摄像头开始工作之后,采集录像数据,每10秒保存为一个视频文件,按时间顺序依次记为视频1,视频2……直至3分钟后得到视频18,然后当生成下一个视频文件,即视频19时,删除视频1,保留视频19;当再生成新的视频文件,即视频20时,删除视频2,保留视频20,依此类推。
在获取到第二触发信息时,在预先存储的一定时长的视频数据中截取获取第二触发信息前第一时长(例如15秒)的录像数据,设置保存的视频时长应大于上述处一时长,以确保获取到第二触发信息后可以有足够量的视频进行保存。摄像头在获取第二触发信息后继续采集录像数据,直至再次获取到第二触发信息后停止,将第一次第二触发信息前第一时长的录像数据,与两次第二触发信息中间的录像数据,整合为第二录像数据。
在一些实施方式中,在获取到第二触发信息并开始录像后,并在录像的过程中识别并提取视频中出现车牌信息的帧图像作为第二车辆图像,然后将第二车辆图像与第二录像数据上传至服务器。具体的,第二车辆图像可以为录像中包含车牌信息的帧图像,例如在获取到第二触发信息后,每隔一定的时间间隔截取一张帧图像,并识别其中是否包含车牌信息,当包含车牌信息时,将该图像作为第二车辆图像,若不包含车牌信息,继续按时间间隔截取下一张帧图像,直至帧图像中包含车牌信息。
在应用时,用户执勤过程中发现违章车辆(例如压线、违规超车等,但不限于此),通过触发控制按键发送第二触发信息,在取证完成后再次触发控制按键发送第二触发信息,系统自动截取触发前及两次触发之间的录像。然后从录像中截取带有车牌信息的图像,将录像和图像一起上传至服务器中。
通过将获取到第二触发信息前第一时间的录像和获取第二触发信息后的录像整合作为第二录像数据,在发现违章车辆时可以获取前一段时间的录像作为证据,可以有效记录车辆违章前后的录像,避免用户发现之后再取证导致证据有效性不足。
在一些实施方式中,车载终端与服务器通过无线网络保持连接,服务器可以同时与多个车载终端连接,在需要进行实时监控时,选择其中一个车载终端,向该车载终端发送视频传输指令,车载终端的处理器在收到视频传输指令后,通过车载终端的无线通信模块,利用实时消息传输协议(RTMP,Real Time Messaging Protocol)或实时流传输协议(RTSP,Real Time Streaming Protocol)将所述摄像头采集的实时视频图像传输至服务器。在视频传输的过程中,服务器可以向车载终端发送关闭传输指令,车载终端的处理器在收到关闭传输指令时,关闭视频图像的传输。
在一些实施方式中,获取到第一车辆图像后,还包括识别车辆是否违章压线的步骤,具体的,第一车辆图像的拍摄范围中包含有车辆、背景、道路,识别并确定图像中的车道线位置,然后判断第一车辆图像中的车辆是否压线,例如车道线不完整、或车辆位置与车道线重叠等,但不限于此,当判断车辆压线时,确定被压的车道线是否为实线,当被压的车道线为虚线时,不作处理;当被压的车道线为实线时,确定车辆为违章压线,将第一车辆图像中对应的车辆信息及压线信息上传至服务器。
通过识别车辆是否违章压线,在执勤过程中识别到违章压线的车辆时可以及时上传相关信息,有效提高了车辆违章的取证效率。
在另一些实施方式中,将第一车辆图像输入到已训练至收敛的神经网络模型中进行分类,根据分类结果判断第一车辆图像是否存在违章压线情况。
本实施方式中,神经网络模型的训练方法包括:采用若干个训练样本集(例如10万个),其中,每个训练样本集包括同一压线情况(例如未压线、压实线、压虚线等,但不限于此)的至少一张行驶图像。在对同一压线情况的至少一张行驶图像进行训练之前,需要对每个训练样本的压线信息期望值进行预判,预判可以采用现有技术中已经训练至收敛的车辆判断模型进行判断。本实施方式中,同一训练样本集中的多张行驶图像的压线信息期望值相同。
分类模型可以为现有技术中已经存在的各类神经网络模型,首先对同一压线情况在不同环境中拍摄的至少一张照片进行压线评判,然后将至少一张行驶图像依次输入到分类模型中,获取各行驶图像的压线分数。
获取到同一压线情况的至少一张行驶图像的压线分类结果后,以压线信息分类值的大小关系,对至少一张行驶图像的压线信息分类值进行降幂排序。取排序表中位于中间位置的压线信息分类值,作为同一压线情况至少一张行驶图像的共同压线期望值。当同一压线情况的行驶图像为奇数个时,获取排序表中的中间值作为压线信息期望值;当一个人的行驶图像为偶数个时,获取排序表中的两个中间值的平均值作为压线信息期望值。
将第一车辆图像输入到经过上述训练直至收敛的神经网络模型中进行分类,根据分类结果,确定第一车辆图像是否存在违章压线情况,当第一车辆图像中存在违章压线的情况时,提取其中的车辆信息,将车辆信息及第一车辆图像上传至服务器。通过上述方法训练至收敛的神经网络模型,由于在训练时同一压线情况不同环境下的压线信息期望值相同,因此,神经网络模型输出的同一压线情况在不同环境下的压线信息具有更高的收敛性,数据的离散度低,从而有效提高了车辆违章压线的判断有效性。
基于同样的发明构思,本申请实施例还提供一种车辆信息采集系统,如图3所示,包括:
车载终端,所述车载终端包括壳体、处理器、显示屏及无线通信模块;所述处理器设置在所述壳体内部,所述处理器包括第一引脚、第二引脚及第三引脚;所述显示屏设置在所述壳体,与所述处理器的第一引脚连接;所述无线通信模块设置在壳体内,与所述处理器的第二引脚连接;
摄像头,设置在所述壳体外,与所述处理器的第三引脚连接;
服务器,与所述车载终端通过无线网络连接;
所述摄像头用于采集车辆图像并传输至所述处理器;
所述处理器用于从所述摄像头获取第一车辆图像,并提取第一车辆图像中的车辆信息;将所述第一车辆信息与预设的黑名单信息进行对比,当所述第一车辆信息与所述黑名单信息具有映射关系时,控制所述显示屏显示确认信息;
所述显示屏用于显示所述确认信息;
所述服务器用于接收所述车载终端上传的数据;
所述无线通信模块用于通过无线网络建立所述处理器与所述服务器的连接。
在一些实施方式中,所述车辆信息采集系统还包括控制组件,所述控制组件包括连接线与至少两个控制按键,所述处理器包括第四引脚,所述控制按键通过所述连接线与所述处理器的第四引脚连接;
所述控制按键被用户触发时向所述处理器传输触发信息。
在一些实施方式中,所述车载终端还包括定位模块,所述处理器还包括第五引脚,所述定位模块与所述处理器的第五引脚连接,用于采集位置信息并传输至所述处理器。
尽管已经相对于一个或多个实现方式示出并描述了本申请,但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本申请包括所有这样的修改和变型,并且仅由所附权利要求的范围限制。特别地关于由上述组件执行的各种功能,用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示),即使在结构上与执行本文所示的本说明书的示范性实现方式中的功能的公开结构不等同。
即,以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,例如各实施例之间技术特征的相互结合,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
另外,在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。另外,对于特性相同或相似的结构元件,本申请可采用相同或者不相同的标号进行标识。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词是用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何一个实施例不一定被解释为比其它实施例更加优选或更加具优势。为了使本领域任何技术人员能够实现和使用本申请,本申请给出了以上描述。在以上描述中,为了解释的目的而列出了各个细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实施例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。