发明内容
针对上述技术缺陷,本发明实施例的目的在于提供一种车辆违法行为检测方法、装置及存储介质。
为实现上述目的,第一方面,本发明实施例提供了一种车辆违法行为检测方法,包括:
基于实时视频流获取待处理图片,所述待处理图片中包括目标车辆;
对所述待处理图片进行分析,得到所述目标车辆的坐标及场景中所有车道的坐标;
根据所述目标车辆的坐标及场景中所有车道的坐标确定所述目标车辆所在的目标车道;
根据所述目标车道确定目标信号灯位置及当前状态,所述当前状态包括类型、形状及颜色;
根据所述当前状态判定所述目标车辆是否发生违法行为。
作为本申请一种具体的实施方式,获取待处理图片具体包括:
获取实时视频流,对所述实时视频流进行解帧得到解帧图片;
对所述解帧图片进行分析,确定目标车辆;
对所述目标车辆进行跟踪及定位,获取预设时间段内的跟踪视频;
对所述跟踪视频进行解帧得到所述待处理图片。
作为本申请一种具体的实施方式,确定所述目标车辆所在的目标车道具体包括:
将所述目标车辆的坐标与场景中所有车道的坐标进行逐一比较,确定所述目标车辆所在的目标车道。
作为本申请一种具体的实施方式,根据所述车道确定目标信号灯位置及当前状态具体包括:
根据预先建立的车道与信号灯对应关系确定所述目标车道对应的目标信号灯的位置;
针对所述待处理图片中目标信号灯所在的区域进行分析,得到所述目标信号灯的类型、形状及颜色。
作为本申请一种具体的实施方式,根据所述当前状态判定所述目标车辆是否发生违法行为,具体包括:
若目标信号灯为绿色,则判定所述目标车辆未发生闯红灯的行为;
若目标信号灯为红色,则根据停止线及预先划定的辅助区域判定所述目标车辆是否发生闯红灯或越线停车的行为。
进一步地,所述方法具体包括:
若目标信号灯为红色,且若目标车辆未超过停止线,则跳过并进行下一张待处理图片的分析;
若目标信号灯为红色,且若目标车辆正在驶过停止线,则计算目标车辆的车身矩形框在竖直方向超过停止线的比例,若比例大于设定阈值,则判定所述目标车辆发生闯红灯的行为;
若目标信号灯为红色,且若目标车辆完全驶出车道区域,结合车道的类型、是否有待转区,判断目标车辆的坐标是否在辅助区域范围内,再判定所述目标车辆是否发生闯红灯或越线停车的行为。
第二方面,本发明实施例提供了一种车辆违法行为检测装置,包括:
获取单元,用于基于实时视频流获取待处理图片,所述待处理图片中包括目标车辆;
分析单元,用于对所述待处理图片进行分析,得到所述目标车辆的坐标及场景中所有车道的坐标;
确定单元,用于根据所述目标车辆的坐标及场景中所有车道的坐标确定所述目标车辆所在的目标车道;
所述确定单元还用于根据所述目标车道确定目标信号灯位置及当前状态,所述当前状态包括类型、形状及颜色;
判定单元,用于根据所述当前状态判定所述目标车辆是否发生违法行为。
第三方面,本发明实施例提供了另一种车辆违法行为检测装置,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第一方面的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
实施本发明实施例,基于实时视频流获取待处理图片,对待处理图片进行分析以实现车辆违法行为的实时检测,且在违法行为具体判定时,结合信号灯的类型、形状及颜色等,从而比单一采用触发线的方式具有更高的准确性。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,本发明实施例提供的车辆违法行为检测方法可以包括:
S101,基于实时视频流获取待处理图片。
其中,所述待处理图片中包括目标车辆。
具体地,步骤S101包括:
获取实时视频流,对所述实时视频流进行解帧得到解帧图片;
对所述解帧图片进行分析,确定目标车辆;
对所述目标车辆进行跟踪及定位,获取预设时间段(例如5分钟)内的跟踪视频;
对所述跟踪视频进行解帧得到所述待处理图片。
S102,对所述待处理图片进行分析,得到所述目标车辆的坐标及场景中所有车道的坐标。
S103,根据所述目标车辆的坐标及场景中所有车道的坐标确定所述目标车辆所在的目标车道。
具体地,根据目标车辆的位置信息,逐一与所有车道的坐标信息进行比较,判断其属于哪一车道。
S104,根据所述目标车道确定目标信号灯位置及当前状态。
其中,所述当前状态包括类型、形状及颜色。
具体地,步骤S104包括:
根据预先建立的车道与信号灯对应关系确定所述目标车道对应的目标信号灯的位置;例如车道1对应信号灯1;
针对所述待处理图片中目标信号灯所在的区域进行分析,得到所述目标信号灯的类型(圆形/箭头)、形状(横/竖)及颜色(红/绿)。
S105,根据所述当前状态判定所述目标车辆是否发生违法行为。
具体地,若信号灯为绿色,则认为当前数据中的目标车辆未发生闯红灯的行为。若信号灯为红灯,考察目标车辆与地面停止线的位置关系:(1)若车辆未超过停止线,则跳过并进行下一张图片的分析;(2)若车辆正在驶过停止线,判断其车身矩形框在竖直方向超过停止线的比例,若大于给定的阈值,认为这种情况下车辆已经闯红灯;(3)车辆完全驶出车道区域后,具体结合车道的类型、是否有待转区(道),并判断其位置坐标是否在辅助区域(左转区、直行区、右转区等)范围内,判断其是否的确有闯红灯&越线停车的行为。
实施上述方法,基于实时视频流获取待处理图片,对待处理图片进行分析以实现车辆违法行为的实时检测,且在违法行为具体判定时,结合信号灯的类型、形状及颜色等,从而比单一采用触发线的方式具有更高的准确性。
此外,本发明在实时检测的范畴内,相对传统的闯红灯&越线停车的检测逻辑,在以下几方面做出了优化:(1)若至少出现一张图片中信号灯的状态为绿灯或黄灯,判定为废片(未发生违法行为的数据);(2)针对右转车道,具体考虑信号灯的形状来决定其是否在红灯下通行会产生违法行为。例如,圆形信号灯情况下红灯右转是被允许的;(3)通过对待转区(道)的配置,将一些特殊路口的特殊情况包含在一般的检测逻辑中去。
基于相同的发明构思,本发明实施例提供了一种车辆驾乘人员违法行为检测装置。如图2所示,该检测装置包括:
获取单元,10用于基于实时视频流获取待处理图片,所述待处理图片中包括目标车辆;
分析单元11,用于对所述待处理图片进行分析,得到所述目标车辆的坐标及场景中所有车道的坐标;
确定单元12,用于根据所述目标车辆的坐标及场景中所有车道的坐标确定所述目标车辆所在的目标车道;
所述确定单元12还用于根据所述目标车道确定目标信号灯位置及当前状态,所述当前状态包括类型、形状及颜色;
判定单元13,用于根据所述当前状态判定所述目标车辆是否发生违法行为。
其中,获取单元10具体用于:
获取实时视频流,对所述实时视频流进行解帧得到解帧图片;
对所述解帧图片进行分析,确定目标车辆;
对所述目标车辆进行跟踪及定位,获取预设时间段内的跟踪视频;
对所述跟踪视频进行解帧得到所述待处理图片。
进一步地,所述确定单元12还用于:
将所述目标车辆的坐标与场景中所有车道的坐标进行逐一比较,确定所述目标车辆所在的目标车道;
根据预先建立的车道与信号灯对应关系确定所述目标车道对应的目标信号灯的位置;
针对所述待处理图片中目标信号灯所在的区域进行分析,得到所述目标信号灯的类型、形状及颜色。
进一步地,判定单元13具体用于:
若目标信号灯为绿色,则判定所述目标车辆未发生闯红灯的行为;
若目标信号灯为红色,则根据停止线及预先划定的辅助区域判定所述目标车辆是否发生闯红灯或越线停车的行为。
进一步地,所述方法具体包括:
若目标信号灯为红色,且若目标车辆未超过停止线,则跳过并进行下一张待处理图片的分析;
若目标信号灯为红色,且若目标车辆正在驶过停止线,则计算目标车辆的车身矩形框在竖直方向超过停止线的比例,若比例大于设定阈值,则判定所述目标车辆发生闯红灯的行为;
若目标信号灯为红色,且若目标车辆完全驶出车道区域,结合车道的类型、是否有待转区,判断目标车辆的坐标是否在辅助区域范围内,再判定所述目标车辆是否发生闯红灯或越线停车的行为。
可选地,在本发明的另一优选实施例中,如图3所示,该检测装置可以包括:一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104,上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序,所述计算机程序包括程序指令,所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法。
应当理解,在本发明实施例中,所称处理器101可以是中央处理单元(CentralProcessing Unit,CPU),深度学习显卡(如:华为NPU,英伟达GPU,谷歌TPU)该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等,输出设备103可以包括显示器(LCD等)、扬声器等。
该存储器104可以包括只读存储器和随机存取存储器,并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如,存储器104还可以存储设备类型的信息。
具体实现中,本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的车辆违法行为检测方法的实施例中所描述的实现方式,在此不再赘述。
需要说明的是,本发明实施例中检测装置的具体工作流程及相关细节,请参考前述方法实施例部分,在此不再赘述。
进一步地,对应于前述检测方法及检测装置,本发明实施例还提供了一种可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时实现:上述车辆违法行为检测方法。
所述计算机可读存储介质可以是前述任一实施例所述的系统的内部存储单元,例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备,例如所述系统上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。