CN113177509A - 一种倒车行为识别方法及装置 - Google Patents

一种倒车行为识别方法及装置 Download PDF

Info

Publication number
CN113177509A
CN113177509A CN202110543906.8A CN202110543906A CN113177509A CN 113177509 A CN113177509 A CN 113177509A CN 202110543906 A CN202110543906 A CN 202110543906A CN 113177509 A CN113177509 A CN 113177509A
Authority
CN
China
Prior art keywords
vehicle
determining
driving
reversing
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110543906.8A
Other languages
English (en)
Other versions
CN113177509B (zh
Inventor
魏东东
陆晓栋
吴忠人
周永哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110543906.8A priority Critical patent/CN113177509B/zh
Publication of CN113177509A publication Critical patent/CN113177509A/zh
Application granted granted Critical
Publication of CN113177509B publication Critical patent/CN113177509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种倒车行为识别方法及装置。该方法包括:通过第一时段内采集的视频图像,确定车辆在第一行驶轨迹中存在异常点。通过第二时段内采集的视频图像,确定车辆的行驶姿态和车辆的第二行驶轨迹;第二时段为确定异常点之后的设定时长。在行驶姿态与倒车姿态吻合且第二行驶轨迹与第一行驶轨迹方向相反,则确定车辆发生倒车行为。首先通过在第一时间段内采集的视频图像确定车辆在第一行驶轨迹上出现了拐点,然后通过对车辆在出现拐点之后的第二行驶轨迹上的行驶姿态和行驶方向进行分析,进一步确定了车辆是否发生倒车行为,如此,弥补了通过计算机视觉进行多目标检测跟踪所导致的检测误差,通过多方面的检测提高了倒车行为的检测精度。

Description

一种倒车行为识别方法及装置
技术领域
本发明实施例涉及车辆异常行为识别领域,尤其涉及一种倒车行为识别方法、装置、计算设备及计算机可读存储介质。
背景技术
随着机动车保有量的迅速增长,以及部分驾驶人员规范驾驶意识比较薄弱,在高速公路上时有发生车辆违章倒车的行为,该行为大大降低了道路的通行能力,容易造成交通事故,产生人员财产损失。
目前检测倒车行为的方法有如下两种,1、通过现场警力和协管人员等进行现场监督以及通过道路的监控视频进行人为识别道路的异常行为,这种方式耗费大量警力资源。2、随着计算机视觉的发展,计算机视觉技术逐渐在交通监控领域得到了快速的发展,通过大量的素材训练后,计算机对倒车行为进行识别检测,这样不仅节约了警力资源,而且能够及时对道路异常事件进行报警,避免重大的人员财产安全。
但是,在交通监控现有应用的计算机视觉技术中,也存在技术局限性。例如首先监控视频景深更大,大部分高速公路监控视频的实际距离到300米至700米左右,这就会导致在监控视频中出现的目标车辆非常多;其次高速公路周围环境复杂,有着多样的环境,既有城市场景、草原场景和高山场景,也有隧道等其他各式场景。因此,这对计算机的多目标检测跟踪技术的检测精度提出了极大的挑战。如果通过大量素材对计算机视觉技术进行训练的话,现实中训练素材不可能覆盖所有的场景和环境,这会导致出现错误的检测和错误的跟踪,比如在道路上出现车辆很多的情况下,跟踪ID易发生跳变。
综上,本发明实施例提供一种倒车行为识别方法,用以弥补多目标检测跟踪技术的ID跳变缺陷,提高违章倒车识别精度,减少误报。
发明内容
本发明实施例提供一种倒车行为识别方法,用以弥补多目标检测跟踪技术的ID跳变缺陷,提高违章倒车识别精度,减少误报。
第一方面,本发明实施例提供一种倒车行为识别方法,包括:
通过第一时段内采集的视频图像,确定车辆在第一行驶轨迹中存在异常点;所述异常点用于指示车辆行驶中出现拐点;
通过第二时段内采集的视频图像,确定所述车辆的行驶姿态和所述车辆的第二行驶轨迹;所述第二时段为确定所述异常点之后的设定时长;
在所述行驶姿态与倒车姿态吻合且所述第二行驶轨迹与所述第一行驶轨迹方向相反,则确定所述车辆发生倒车行为;所述倒车姿态是根据所述第一行驶轨迹确定的。
首先通过在第一时间段内采集的视频图像确定车辆在第一行驶轨迹上出现了拐点,然后通过对车辆在出现拐点之后的第二行驶轨迹上的行驶姿态和行驶方向进行分析,进一步确定了车辆是否发生倒车行为,如此,弥补了通过计算机视觉进行多目标检测跟踪所导致的检测误差,通过多方面的检测提高了倒车行为的检测精度。
可选地,通过第一时段内采集的视频图像,确定车辆在第一行驶轨迹中存在异常点,包括:
将所述车辆在第一视频图像中的位置作为初始位置;所述第一视频图像为第一时段内采集的视频图像中首次出现所述车辆的视频图像;
确定所述车辆在第二视频图像中的当前位置;
若所述当前位置与所述初始位置的第一差值大于最远点位置与所述初始位置的第二差值,则更新所述最远点位置为所述当前位置;
若所述第一差值小于所述第二差值,则所述最远点位置为所述异常点。
通过对车辆在第一视频图像中的初始位置和在第二视频图像中的当前位置进行分析,不断更新车辆在第一行驶轨迹中的最远位置,并通过最远位置的变化确定车辆异常点的出现,如此,通过车辆的位置变化监测出了异常点,而不是仅仅依靠计算机视觉监测倒车行为,方法简便可靠,检测精度高。
可选地,所述行驶姿态为车头朝向所述拍摄设备或车尾朝向所述拍摄设备;
通过如下方式确定所述行驶姿态与倒车姿态吻合,包括:
若所述异常点在所述第一行驶轨迹上是最靠近拍摄设备的位置点,则所述倒车姿态为车头朝向所述拍摄设备;
若所述异常点在所述第一行驶轨迹上是最远离拍摄设备的位置点,则所述倒车姿态为车尾朝向所述拍摄设备。
通过对车辆的行驶轨迹与拍摄设备的关系的分析,确定车辆的倒车姿态,如此可通过车辆的行驶姿态与倒车姿态进行对比,判断车辆是否发生倒车行为。
可选地,所述第二时段内采集的视频图像为N张;
通过第二时段内采集的视频图像,确定所述车辆的行驶姿态,包括:
确定所述车辆在N张视频图像中的车图像;
若存在至少M张车图像中具有车头,则确定所述车辆的行驶姿态为车头朝向所述拍摄设备;
若存在至少M张车图像中具有车尾,则确定所述车辆的行驶姿态为车尾朝向所述拍摄设备。
通过对视频图像的分析确定车辆的行驶姿态为车头或车尾,如此可以在后续使用车辆的行驶姿态来确定车辆是否发生倒车行为。
可选地,确定所述车辆发生倒车行为之前,还包括:
确定所述第二行驶轨迹上不存在所述车辆的障碍物。
因为若在车辆的第二行驶轨迹上存在车辆的障碍物,则车辆不能发生倒车行为。如此,从另一个方面确定了车辆是否发生了倒车行为,增加了对车辆倒车行为的检测的准确度。
可选地,通过如下方式确定所述第二行驶轨迹上是否存在所述车辆的障碍物,包括:
针对所述第二时段内的任一视频图像,确定所述车辆在所述第二行驶轨迹上的限定范围内是否存在车辆检测框,若是,则所述车辆检测框对应的车辆为障碍物;否则,不存在障碍物。
通过对车辆在第二行驶轨迹上的任一张图像进行分析,判断这张图像中车辆在第二行驶轨迹上的限定范围内是否存在另一个车辆检测框,若存在,则说明存在障碍物,进一步判断车辆不可能发生倒车行为。
可选地,若所述行驶姿态与所述倒车姿态不吻合,则确定所述车辆未发生倒车行为;或,
若所述第二行驶轨迹与所述第一行驶轨迹方向相同,则确定所述车辆未发生倒车行为;或,
若确定所述第二行驶轨迹上存在所述车辆的障碍物,则确定所述车辆未发生倒车行为。
若通过对车辆的行驶姿态、轨迹方向和是否存在障碍物这三个条件的判断中,任一个条件不符合,则可确定车辆没有发生倒车行为,在多目标检测跟踪的过程中可能发生了目标跳变。如此,弥补了多目标检测跟踪技术检测精度不足的缺陷,提高了倒车行为识别的准确度。
第二方面,本发明实施例还提供一种倒车行为识别装置,包括:
确定单元,用于通过第一时段内采集的视频图像,确定车辆在第一行驶轨迹中存在异常点;所述异常点用于指示车辆行驶中出现拐点;
所述确定单元还用于通过第二时段内采集的视频图像,确定所述车辆的行驶姿态和所述车辆的第二行驶轨迹;所述第二时段为确定所述异常点之后的设定时长;
处理单元,用于在所述行驶姿态与倒车姿态吻合且所述第二行驶轨迹与所述第一行驶轨迹方向相反,则确定所述车辆发生倒车行为;所述倒车姿态是根据所述第一行驶轨迹确定的。
第三方面,本发明实施例还提供一种计算设备,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行上述任一方式所列的倒车行为识别方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行上述任一方式所列的倒车行为识别方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图;
图2为本发明实施例提供的一种倒车行为识别方法的流程示意图;
图3为本发明实施例提供的一种可能的目标跳变的情况示意图;
图4为本发明实施例提供的一种确定车辆在第二行驶轨迹上存在障碍物的判断方法示意图;
图5为本发明实施例提供的一种倒车行为识别方法的流程示意图;
图6为本发明实施例提供的一种倒车行为识别方法装置的结构示意图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
图1示例性的示出了本发明实施例所适用的一种系统架构,该系统架构可以为服务器100,包括处理器110、通信接口120和存储器130。
其中,通信接口120用于与终端设备进行通信,收发该终端设备传输的信息,实现通信。
处理器110是服务器100的控制中心,利用各种接口和路线连接整个服务器100的各个部分,通过运行或执行存储在存储器130内的软件程序/或模块,以及调用存储在存储器130内的数据,执行服务器100的各种功能和处理数据。可选地,处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块,处理器110通过运行存储在存储器130的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据业务处理所创建的数据等。此外,存储器130可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是,上述图1所示的结构仅是一种示例,本发明实施例对此不做限定。
本发明实施例提供一种倒车行为识别方法,通过对车辆的行驶轨迹、车辆姿态的分析,弥补了单纯使用计算机进行多目标检测跟踪容易导致的目标跳变的缺陷,提高了倒车行为识别的准确度。
图2为本发明实施例提供的一种可能的倒车行为识别方法,包括如下步骤。
步骤201、通过第一时段内采集的视频图像,确定车辆在第一行驶轨迹中存在异常点,异常点用于指示车辆行驶中出现拐点。
将拍摄设备在某一时段内采集的视频图像进行分析,初步确定车辆可能出现倒车行为。本发明实施例对初步确定车辆存在倒车行为的方法不作限定,例如可以通过计算机视觉技术对图像进行识别,也可以运用数据处理的方式进行确定,也可以将两种方式结合使用用以提高初步识别的准确度。
可选地,本发明实施例提供一种通过提取车辆行驶过程中的坐标进行数据处理的方法,用以初步确定车辆存在倒车行为。
首先建立视频图像坐标系,坐标系的建立形式多种多样,在此不做限定。本文以图像左上角为原点,左上角至右上角为X轴正方向,左上角至左下角为Y轴正方向建立的坐标系为例,介绍倒车行为识别方法。
当车辆初次出现在拍摄设备的视野中时,拍摄设备拍摄下第一视频图像,通过车辆检测框所在的位置提取车辆在第一视频图像中的位置坐标为车辆的初始位置。位置坐标可以为车辆在第一视频图像中的像素坐标,对此不作具体限制。例如初始位置为(100,0)。
接下来,车辆在拍摄设备的视野中继续行驶,拍摄设备按照一定的规律拍摄图像,例如每2s拍一张,每10s拍3张等等,或者也可以逐帧拍摄。
对接下来拍摄的视频图像提取车辆的位置坐标,例如当前位置1为(100,1),则当前位置1为车辆的最远位置。继续提取逐帧拍摄的图像中该车辆的坐标位置,若得到车辆的当前位置2为(100,2),判断当前位置与初始位置的第一差值是否大于最远位置与初始位置的第二差值,在本例中,当前位置2与初始位置的差值为2,最远位置与初始位置的差值为1,因此第一差值大于第二差值,则将当前位置2更新为车辆的最远位置。
然后继续判断车辆的当前位置与最远位置是否为同一位置,在本例中,当前位置与最远位置为同一位置,则说明车辆的行驶轨迹是一直往前开的,并未出现异常点。
随着车辆在拍摄设备的视野中继续行驶,车辆的最远位置也在实时更新,若某一时刻得到的最远位置为(100,100),下一时刻的当前位置为(100,90),则当前位置与初始位置的第一差值小于最远位置与初始位置的第二差值,则不会将最远位置更新为当前位置,最远位置依然为(100,100)。再次判断最远位置与当前位置是否为同一位置,在本例中,当前位置为(100,90),与最远位置不是同一位置,则判断车辆的行驶轨迹出现了异常点,车辆形成了“先前再后”的行驶轨迹。
步骤202、通过第二时段内采集的视频图像,确定车辆的行驶姿态和车辆的第二行驶轨迹,第二时段为确定异常点之后的设定时长。
由于计算机在进行多目标检测过程中,会出现目标的跳变,图3示出了一种可能的目标跳变的情况,即车辆A一直在直行,但在某一时刻,出现了目标跳变,车辆A的检测框跳变到了逆向行驶的车辆B上,根据步骤201的检测,此时车辆A的第一行驶轨迹出现了异常点,即拐点,若此时即判断车辆A发生倒车行为,就会出现倒车行为的误报。若在某一时刻,车辆A的检测框跳变到了同向行驶但行驶速度比车辆A慢的车辆C上,根据步骤201的检测,也会认为车辆A出现了异常点,若此时即判断车辆A发生了倒车行为,也会出现倒车行为的误报。实际出现误报的情况非常多,并不限于以上提到的两种,由于篇幅限制,本发明实施例不再一一列举。
因此当确定车辆的行驶轨迹出现异常点之后,需要进一步判断车辆是否出现倒车行为。采集车辆出现异常点之后的在第二时段内的视频图像进行分析,确定车辆在第二时段内的行驶姿态和第二行驶轨迹。确定行驶姿态和第二行驶轨迹的方法可以为通过计算机数据进行图像识别,也可以通过对车辆行驶的数据进行处理,本发明实施例对此不作限制。
车辆的行驶姿态可以为车头朝向拍摄设备或车尾朝向拍摄设备,当采用计算机视觉技术识别车辆的行驶姿态时,可采用如下方法:例如,在第二时段内采集的包含该车辆的视频图像为N张,识别到N张图像中的M张图像中拍到的该车辆具有车头,则确定车辆在第二行驶轨迹中的行驶姿态为车头朝向拍摄设备;当识别到N张图像中的M张图像中拍到的该车辆具有车尾,则确定车辆在第二行驶轨迹中的行驶姿态为车尾。
需要说明的是,拍摄的N张视频图像可以按照一定的规律进行拍摄,也可无规拍摄。例如可以设置时间阈值和拍摄次数,在10s内拍摄3张图像或者每5s拍摄一张图像共拍摄10张等等,本发明实施例对拍摄的N张视频图像之间的间隔不作限制。
车辆的第二行驶轨迹可以为向拍摄设备驶近或驶远,判断驶近或驶远的方法有很多,可以通过计算机进行图像识别,也可以提取车辆的坐标位置进行数据处理分析。本发明实施例对此不作限制。
以在本发明实施例中建立的坐标系为例,若判断在第二行驶轨迹中拍摄的多张视频图像中,按照时间顺序,车辆的位置坐标逐渐增大,则说明车辆的第二行驶轨迹为向拍摄设备驶近;若车辆的位置坐标逐渐减小,则说明车辆的第二行驶轨迹为向拍摄设备驶远。以上仅为示例,通过提取车辆的坐标位置进行数据处理分析从而判断车辆的行驶轨迹的其他方法也属于本发明的保护范围内。
步骤203、在行驶姿态与倒车姿态吻合且第二行驶轨迹与第一行驶轨迹方向相反,则确定车辆发生倒车行为,倒车姿态是根据所述第一行驶轨迹确定的。
进一步地,还需结合车辆在第一行驶轨迹中的状态确定该车辆如果倒车的话,所应该具有的倒车姿态。如果车辆是从拍摄设备的视野顶部进入拍摄设备的话,那么拍摄设备在该车辆倒车时拍摄到的应该大部分为车头;若车辆是从拍摄设备的视野底部进入拍摄设备的话,那么拍摄设备在该车辆倒车时拍摄到的应该大部分为车尾。
确定车辆的倒车姿态的方法多种多样,例如可以提取车辆在第一行驶轨迹中的最远位置和初始位置,在本发明实施例示意出的坐标系中,若最远位置与初始位置的差值大于0,则确定车辆是从拍摄设备的视野顶部进入拍摄设备的,那么拍摄设备在该车辆倒车时拍摄到的应该大部分为车头;若最远位置与初始位置的差值小于0,则确定车辆是从拍摄设备的视野底部进入拍摄设备的,那么拍摄设备在该车辆倒车时拍摄到的应该大部分为车尾。又比如,还可以提取在第一行驶轨迹上的异常点位置,即之前确定的最远位置,判断该最远点位置是第一行驶轨迹的所有位置中若是最靠近拍摄设备的位置,则确定车辆是从拍摄设备的视野顶部进入拍摄设备的,那么拍摄设备在该车辆倒车时拍摄到的应该大部分为车头;若该最远点位置是第一行驶轨迹的所有位置中最远离拍摄设备的位置,则确定车辆是从拍摄设备的视野底部进入拍摄设备的,那么拍摄设备在该车辆倒车时拍摄到的应该大部分为车尾。
在通过车辆的第一行驶轨迹确定了该车辆应该具备的倒车姿态后,将之前判断的该车辆在第二行驶轨迹上的行驶姿态与倒车姿态进行对比,若行驶姿态与倒车姿态吻合,则可初步确定该车辆是在倒车,若不吻合,则确定车辆并未发生倒车行为。
例如在图3中,虽然计算机将车辆A误识别为车辆B,但是通过车辆的行驶姿态的判断,即可排除这种误报的可能。通过对车辆A在第一行驶轨迹的分析,可知车辆A若发生倒车应该有的倒车姿态为车头朝向拍摄设备,而实际上拍摄到的车辆B的行驶姿态为车尾朝向拍摄设备,行驶姿态与倒车姿态不相吻合,如此,即可认为计算机在对车辆A的检测中可能出现了目标跳变,因而不会上报车辆A出现了倒车行为。
还可以通过对车辆在第二行驶轨迹上的方向与第一行驶轨迹的方向是否相同来进一步判断车辆是否发生倒车行为,从而可以提高倒车识别的准确度。
首先对第一行驶轨迹进行分析,确定第一行驶轨迹的方向。以本发明实施例建立的坐标系为例,若在第一行驶轨迹中,最远位置与初始位置的差值大于0,则说明第一行驶轨迹为向拍摄设备驶近;若在第一行驶轨迹中,最远位置与初始位置的差值小于0,则说明第一行驶轨迹为向拍摄设备驶远。判断车辆的第一行驶轨迹方向的方法多种多样,本发明对此不作限制,例如还可以判断在第一行驶轨迹中拍摄的视频图像中,按照时间顺序,纵坐标的值是否逐渐增大,若逐渐增大,说明第一行驶轨迹方向为向拍摄设备驶近,若逐渐减小,则说明第一行驶轨迹方向为向拍摄设备驶远。
再结合步骤202判断的第二行驶轨迹方向进行判断,若第一行驶轨迹与第二行驶轨迹方向相反,则说明车辆出现了倒车行为;若第一行驶轨迹与第二行驶轨迹方向相同,则按照常理可知,这样的现象不可能是发生了倒车行为,则可确定计算机在多目标检测中,可能出现了目标跳变从而导致检测出错。
例如在图3中,车辆A若跳变到了同向但行驶缓慢的车辆C上,通过对车辆A在第一行驶轨迹上的分析可知,第一行驶轨迹为驶近,而对车辆C在第二行驶轨迹上的分析可知,第二行驶轨迹同样为驶近。所以此时不可能发生了倒车,计算机在对车辆A的检测中可能出现了目标跳变,因而不会上报车辆A出现了倒车行为。
若车辆的行驶姿态与倒车姿态吻合且第二行驶轨迹也与第一行驶轨迹方向相反,则可确定车辆发生了倒车行为。
首先通过在第一时间段内采集的视频图像确定车辆在第一行驶轨迹上出现了拐点,然后通过对车辆在出现拐点之后的第二行驶轨迹上的行驶姿态和行驶方向进行分析,进一步确定了车辆是否发生倒车行为,如此,弥补了通过计算机视觉进行多目标检测跟踪所导致的检测误差,通过多方面的检测提高了倒车行为的检测精度。
可选地,在确定车辆发生倒车行为之前,还包括,确定第二行驶轨迹上不存在车辆的障碍物。因为在车辆数量很多的情况下,计算机进行多目标检测时容易发生目标跳变,此时再对车辆的前后障碍物进行检测,若车辆在行驶中的后方存在障碍物的话,车辆是无法发生倒车行为的,因此从这个角度再一次对车辆是否发生倒车进行了判断。
判断车辆在第二轨迹上是否存在障碍物的方法多种多样,例如可以通过对拍摄的N张图像进行图像识别,判断在某一张图像中,之前初步认为正在倒车的车辆的行驶后方是否存在其他车辆检测框,若存在,则说明不可能发生倒车行为。还可以通过提取车辆的位置坐标进行数据处理的方式进行确定,还可以图像识别与数据处理的方式结合使用进行判断。本发明实施例对此不作限制。下面对通过数据处理的方式进行判断的方法做具体介绍。
首先对车辆在第二行驶轨迹上拍摄的N张图像中的坐标位置进行提取,例如提取的坐标分别为(x1,y1)…(xi,yi)。然后根据这些坐标用直线拟合的方式拟合出第二行驶轨迹。拟合的方法可以为最小二乘法,梯度下降法,高斯牛顿,列-马算法等,对此不作具体限制。
例如使用最小二乘法进行直线拟合。
1.设直线方程为截距式:y=kx+b(其中k:斜率,b:截距);
2.已知点集(x1,y1)…(xi,yi);
3.根据最小二乘法,求取误差平方和:
Figure BDA0003072841660000121
4.由中极值定理,误差方程一阶导数等于0处取得极值,因此分别对其关于k和b求导,解k,b值使得误差函数取最小值。可得:
Figure BDA0003072841660000122
Figure BDA0003072841660000131
因此:
Figure BDA0003072841660000132
Figure BDA0003072841660000133
由此确定了第二行驶轨迹的直线方程。
图4示出了一种确定车辆在第二行驶轨迹上存在障碍物的判断方法示意图。如图4所示,示出了在第二时段内的任一视频图像,在该图像中,车辆A位于图示位置,虚线为拟合的车辆的第二行驶轨迹,以车辆A的位置为中心,在第二行驶轨迹上上下各移一个车辆检测框的高度,得到了一条直线段,该条直线段为该车辆的限定范围。判断在此限定范围内是否存在其他的车辆检测框。若存在,则说明车辆A无法发生倒车行为。进一步说明检测出发生倒车行为是由于多目标检测跟踪发生了目标跳变导致的,若不存在,则上报车辆A发生倒车行为。
在上述例子中,车辆的限定范围可以根据需求进行调整,例如上下各移两个车辆检测框或仅向下移一个车辆检测框或者上下各移一个特定的距离如10米等,本发明实施例对此不作限制。
可选地,还可以在拍摄设备的视野范围内绘制车辆倒车规则区域,当判断车辆倒车行为发生在该倒车规则区域时,才会将倒车行为进行上报。
为了更好的解释本发明实施例,下面将在具体实施场景下来描述上述倒车行为识别跟踪的流程。如图5所示,包括如下步骤。
步骤501、建立坐标系。
步骤502、绘制车辆倒车规则区域。
步骤503、获取车辆初始位置和当前位置。
步骤504、判断车辆在第一行驶轨迹中是否存在异常点,若是,则进入步骤505,若否,仅返回步骤503。
步骤505、对车辆在第二行驶轨迹中进行抓拍,确定车辆的行驶姿态和坐标变化情况。
步骤506、判断第一行驶轨迹中(最远位置-初始位置)的数值与0的关系。若小于0,则说明车辆是从拍摄设备的底部进入拍摄设备的视野中的,进入步骤507;若大于0,则说明车辆是从拍摄设备的顶部进入拍摄设备的视野中的,进入步骤509。
步骤507、判断车辆的行驶姿态是否为车尾,若是,则进入步骤508,若否,则结束。
步骤508、判断多次抓拍的车辆的位置y是否按照时间顺序逐渐增大,若是,则进入步骤511,若否,则结束。
步骤509、判断车辆的行驶姿态是否为车头,若是,则进入步骤510,若否,则结束。
步骤510、判断多次抓拍的车辆的位置y是否按照时间顺序逐渐减小,若是,则进入步骤511,若否,则结束。
步骤511、判断第二行驶轨迹上是否存在该车辆的障碍物,若是,则结束,若否,则进入步骤512。
步骤512、判断倒车行为是否发生在车辆倒车规则区域,若是,则进入步骤513,若否,则结束。
步骤513、上报该车辆发生倒车行为。
基于相同的技术构思,图6示例性的示出了本发明实施例提供的一种倒车行为识别装置的结构,该结构可以执行倒车行为识别的流程。
如图6所示,该装置具体包括:
确定单元601,用于通过第一时段内采集的视频图像,确定车辆在第一行驶轨迹中存在异常点;所述异常点用于指示车辆行驶中出现拐点;
所述确定单元还用于通过第二时段内采集的视频图像,确定所述车辆的行驶姿态和所述车辆的第二行驶轨迹;所述第二时段为确定所述异常点之后的设定时长;
处理单元602,用于在所述行驶姿态与倒车姿态吻合且所述第二行驶轨迹与所述第一行驶轨迹方向相反,则确定所述车辆发生倒车行为;所述倒车姿态是根据所述第一行驶轨迹确定的。
基于相同的技术构思,本发明实施例还提供一种计算设备,包括:
存储器,用于存储计算机程序;
处理器,用于调用存储器中存储的计算机程序,按照获得的程序执行上述任一方式所列倒车行为识别的方法。
基于相同的技术构思,本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行程序,计算机可执行程序用于使计算机执行上述任一方式所列的倒车行为识别的方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种倒车行为识别方法,其特征在于,包括:
通过第一时段内采集的视频图像,确定车辆在第一行驶轨迹中存在异常点;所述异常点用于指示车辆行驶中出现拐点;
通过第二时段内采集的视频图像,确定所述车辆的行驶姿态和所述车辆的第二行驶轨迹;所述第二时段为确定所述异常点之后的设定时长;
在所述行驶姿态与倒车姿态吻合且所述第二行驶轨迹与所述第一行驶轨迹方向相反,则确定所述车辆发生倒车行为;所述倒车姿态是根据所述第一行驶轨迹确定的。
2.如权利要求1所述的方法,其特征在于,通过第一时段内采集的视频图像,确定车辆在第一行驶轨迹中存在异常点,包括:
将所述车辆在第一视频图像中的位置作为初始位置;所述第一视频图像为第一时段内采集的视频图像中首次出现所述车辆的视频图像;
确定所述车辆在第二视频图像中的当前位置;
若所述当前位置与所述初始位置的第一差值大于最远位置与所述初始位置的第二差值,则更新所述最远点位置为所述当前位置;
若所述第一差值小于所述第二差值,则所述最远位置为所述异常点。
3.如权利要求1所述的方法,其特征在于,所述行驶姿态为车头朝向所述拍摄设备或车尾朝向所述拍摄设备;
通过如下方式确定所述行驶姿态与倒车姿态吻合,包括:
若所述异常点在所述第一行驶轨迹上是最靠近拍摄设备的位置点,则所述倒车姿态为车头朝向所述拍摄设备;
若所述异常点在所述第一行驶轨迹上是最远离拍摄设备的位置点,则所述倒车姿态为车尾朝向所述拍摄设备。
4.如权利要求1所述的方法,其特征在于,所述第二时段内采集的视频图像为N张;
通过第二时段内采集的视频图像,确定所述车辆的行驶姿态,包括:
确定所述车辆在N张视频图像中的车图像;
若存在至少M张车图像中具有车头,则确定所述车辆的行驶姿态为车头朝向所述拍摄设备;
若存在至少M张车图像中具有车尾,则确定所述车辆的行驶姿态为车尾朝向所述拍摄设备。
5.如权利要求1-4中任一项所述的方法,其特征在于,确定所述车辆发生倒车行为之前,还包括:
确定所述第二行驶轨迹上不存在所述车辆的障碍物。
6.如权利要求5所述的方法,其特征在于,通过如下方式确定所述第二行驶轨迹上是否存在所述车辆的障碍物,包括:
针对所述第二时段内的任一视频图像,确定所述车辆在所述第二行驶轨迹上的限定范围内是否存在车辆检测框,若是,则所述车辆检测框对应的车辆为障碍物;否则,不存在障碍物。
7.如权利要求5所述的方法,其特征在于,若所述行驶姿态与所述倒车姿态不吻合,则确定所述车辆未发生倒车行为;或,
若所述第二行驶轨迹与所述第一行驶轨迹方向相同,则确定所述车辆未发生倒车行为;或,
若确定所述第二行驶轨迹上存在所述车辆的障碍物,则确定所述车辆未发生倒车行为。
8.一种倒车行为识别装置,其特征在于,包括:
确定单元,用于通过第一时段内采集的视频图像,确定车辆在第一行驶轨迹中存在异常点;所述异常点用于指示车辆行驶中出现拐点;
所述确定单元还用于通过第二时段内采集的视频图像,确定所述车辆的行驶姿态和所述车辆的第二行驶轨迹;所述第二时段为确定所述异常点之后的设定时长;
处理单元,用于在所述行驶姿态与倒车姿态吻合且所述第二行驶轨迹与所述第一行驶轨迹方向相反,则确定所述车辆发生倒车行为;所述倒车姿态是根据所述第一行驶轨迹确定的。
9.一种计算设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行权利要求1至7任一项所述的方法。
CN202110543906.8A 2021-05-19 2021-05-19 一种倒车行为识别方法及装置 Active CN113177509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110543906.8A CN113177509B (zh) 2021-05-19 2021-05-19 一种倒车行为识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110543906.8A CN113177509B (zh) 2021-05-19 2021-05-19 一种倒车行为识别方法及装置

Publications (2)

Publication Number Publication Date
CN113177509A true CN113177509A (zh) 2021-07-27
CN113177509B CN113177509B (zh) 2022-10-25

Family

ID=76929783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110543906.8A Active CN113177509B (zh) 2021-05-19 2021-05-19 一种倒车行为识别方法及装置

Country Status (1)

Country Link
CN (1) CN113177509B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114942450A (zh) * 2022-05-17 2022-08-26 苏州思卡信息系统有限公司 一种激光雷达检测车辆过秤行为的检测方法
WO2024098992A1 (zh) * 2022-11-11 2024-05-16 京东方科技集团股份有限公司 倒车检测方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2971761A1 (fr) * 2011-02-23 2012-08-24 Metalliance Train de vehicules de transport a fonctionnement reversible
CN105574502A (zh) * 2015-12-15 2016-05-11 中海网络科技股份有限公司 一种自助发卡机违章行为自动检测方法
CN107886722A (zh) * 2016-11-10 2018-04-06 清华大学合肥公共安全研究院 行驶信息处理方法及系统、终端和计算机可读存储介质
CN108437981A (zh) * 2018-03-01 2018-08-24 东软集团股份有限公司 一种自动倒车方法及装置
US20190202476A1 (en) * 2017-12-28 2019-07-04 Beijing Baidu Netcom Science Technology Co., Ltd. Method, apparatus and device for obstacle in lane warning
CN111832667A (zh) * 2020-09-17 2020-10-27 中汽研(天津)汽车工程研究院有限公司 一种园区无人驾驶观光车的驾驶行为决策系统
CN111985356A (zh) * 2020-07-31 2020-11-24 星际控股集团有限公司 交通违章的证据生成方法及装置、电子设备、存储介质
CN112446902A (zh) * 2020-11-24 2021-03-05 浙江大华技术股份有限公司 目标车辆异常的确定方法及装置、存储介质、电子装置
CN112528747A (zh) * 2020-11-13 2021-03-19 浙江大华技术股份有限公司 机动车掉头行为识别方法、系统、电子装置和存储介质
CN112530170A (zh) * 2020-12-16 2021-03-19 济南博观智能科技有限公司 一种车辆行驶状态检测方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2971761A1 (fr) * 2011-02-23 2012-08-24 Metalliance Train de vehicules de transport a fonctionnement reversible
CN105574502A (zh) * 2015-12-15 2016-05-11 中海网络科技股份有限公司 一种自助发卡机违章行为自动检测方法
CN107886722A (zh) * 2016-11-10 2018-04-06 清华大学合肥公共安全研究院 行驶信息处理方法及系统、终端和计算机可读存储介质
US20190202476A1 (en) * 2017-12-28 2019-07-04 Beijing Baidu Netcom Science Technology Co., Ltd. Method, apparatus and device for obstacle in lane warning
CN108437981A (zh) * 2018-03-01 2018-08-24 东软集团股份有限公司 一种自动倒车方法及装置
CN111985356A (zh) * 2020-07-31 2020-11-24 星际控股集团有限公司 交通违章的证据生成方法及装置、电子设备、存储介质
CN111832667A (zh) * 2020-09-17 2020-10-27 中汽研(天津)汽车工程研究院有限公司 一种园区无人驾驶观光车的驾驶行为决策系统
CN112528747A (zh) * 2020-11-13 2021-03-19 浙江大华技术股份有限公司 机动车掉头行为识别方法、系统、电子装置和存储介质
CN112446902A (zh) * 2020-11-24 2021-03-05 浙江大华技术股份有限公司 目标车辆异常的确定方法及装置、存储介质、电子装置
CN112530170A (zh) * 2020-12-16 2021-03-19 济南博观智能科技有限公司 一种车辆行驶状态检测方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHAO RONG ET AL.: "Anomaly characteristics of magnetic field around ferromagnetic target and target azimuth analysis", 《2020 5TH INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE,COMPUTER TECHNOLOGY AND TRANSPORTATION》 *
曾小清: "《有轨电车运行控制技术》", 31 October 2020 *
汪文斌等: "基于视频的自助发卡车道异常行为检测", 《上海船舶运输科学研究所学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114942450A (zh) * 2022-05-17 2022-08-26 苏州思卡信息系统有限公司 一种激光雷达检测车辆过秤行为的检测方法
WO2024098992A1 (zh) * 2022-11-11 2024-05-16 京东方科技集团股份有限公司 倒车检测方法及装置

Also Published As

Publication number Publication date
CN113177509B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
WO2016129403A1 (ja) 物体検知装置
KR100969995B1 (ko) 영상처리기법을 이용한 신호교차로의 교통상충 판단 시스템및 방법
CN109345829B (zh) 无人车的监控方法、装置、设备及存储介质
Dueholm et al. Trajectories and maneuvers of surrounding vehicles with panoramic camera arrays
CN113177509B (zh) 一种倒车行为识别方法及装置
CN109766867B (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
CN111891061B (zh) 车辆碰撞检测方法、装置和计算机设备
CN112530170A (zh) 一种车辆行驶状态检测方法、装置、电子设备及存储介质
CN110032947B (zh) 一种监控事件发生的方法及装置
Ghahremannezhad et al. Real-time accident detection in traffic surveillance using deep learning
CN110135377B (zh) 车路协同中物体运动状态检测方法、装置和服务器
CN112562406B (zh) 一种越线行驶的识别方法及装置
CN111932596A (zh) 摄像头遮挡区域的检测方法、装置、设备和存储介质
CN111583660B (zh) 车辆转向行为检测方法、装置、设备及存储介质
US20120155711A1 (en) Apparatus and method for analyzing video
CN112560546B (zh) 抛洒行为检测方法、装置及存储介质
CN111507126A (zh) 一种驾驶辅助系统的报警方法、装置及电子设备
KR101492366B1 (ko) 차량 사고 감지 방법 및 그 장치
Karim et al. An attention-guided multistream feature fusion network for localization of risky objects in driving videos
CN116152753A (zh) 车辆信息识别方法和系统、存储介质和电子装置
CN114973157A (zh) 车辆分离方法、电子设备及计算机可读存储介质
CN114373155A (zh) 交通行为识别方法、装置、电子设备及存储介质
Spraul et al. Persistent multiple hypothesis tracking for wide area motion imagery
CN114897944A (zh) 一种基于DeepSORT的多目标连续跟踪方法
CN112597924B (zh) 电动自行车轨迹追踪方法、摄像机装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant