CN113743215A - 车辆交通违规自动识别方法、装置及设备 - Google Patents

车辆交通违规自动识别方法、装置及设备 Download PDF

Info

Publication number
CN113743215A
CN113743215A CN202110885036.2A CN202110885036A CN113743215A CN 113743215 A CN113743215 A CN 113743215A CN 202110885036 A CN202110885036 A CN 202110885036A CN 113743215 A CN113743215 A CN 113743215A
Authority
CN
China
Prior art keywords
violation
vehicle
video
information
traffic violation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110885036.2A
Other languages
English (en)
Inventor
罗继麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110885036.2A priority Critical patent/CN113743215A/zh
Publication of CN113743215A publication Critical patent/CN113743215A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本说明书提供一种车辆交通违规自动识别方法、装置及设备,利用行车记录仪自动记录车辆行驶过程中前方以及两侧的车辆行驶视频信息,对行车记录仪记录的视频信息自动进行交通违规行为的识别,识别出其中的违规视频片段后,自动向车辆对应的用户终端发送交通违规的提示信息,以提醒用户及时举报车辆交通违规行为。能够对车辆行驶过程中前方车辆的违规行为进行自动识别,并在识别到违规行为后主动提醒用户,并将违规视频片段发送给用户,以便用户举报,不需要用户手动截取视频。可以提升车辆违规举报的效率,进而提升车辆驾驶员的驾驶素质,确保车辆行驶安全。

Description

车辆交通违规自动识别方法、装置及设备
技术领域
本说明书属于计算机技术领域,尤其涉及一种车辆交通违规自动识别方法、装置及设备。
背景技术
随着科技的发展,汽车已经成为人们日常出行的主要交通工具,道路上行驶的车辆越来越多,那么安全驾驶就越来越重要。有些驾驶员的驾驶习惯不好,抱有侥幸心理,导致交通事故的发生。一般的,交通违法行为都是交通事故发生后,通过一定的技术手段进行责任认定的。如何能够对车辆交通违规行为进行自动识别,以提高驾驶员的驾驶素质,对于减少交通事故的发生有着重要的意义。
发明内容
本说明书实施例的目的在于提供一种车辆交通违规自动识别方法、装置及设备,提升了车辆驾驶素质以及车辆违规识别的效率。
一方面,本说明书实施例提供了一种车辆交通违规自动识别方法,所述方法包括:
获取车辆中的行车记录仪在所述车辆行驶过程中记录的视频信息;
对所述视频信息进行交通违规识别,若所述视频信息中存在交通违规行为,则截取所述视频信息中存在交通违规行为的违规视频片段;
向所述车辆对应的用户终端发送车辆交通违规的提示信息,所述提示信息中包括所述违规视频片段,以使得所述用户终端基于所述违规视频片段向指定交通违规处理平台提交车辆交通违规举报信息。
另一方面,本说明书实施例提供了一种车辆交通违规自动识别方法,所述方法应用于用户终端,所述方法包括:
接收车辆交通违规的提示信息,所述提示信息中包括违规视频片段,所述违规视频片段为所述用户终端对应的车辆的行车记录仪在所述车辆行驶过程中记录的视频信息中截取的;
基于所述提示信息,判断所示违规视频片段中的是否存在交通违规行为,若存在,则向指定交通违规处理平台提交车辆交通违规举报信息,所述提交车辆交通违规举报信息中包括所述违规视频片段以及基于所述视频片段生成的交通违规事实内容文本信息。
又一方面,本说明书提供了一种车辆交通违规自动识别装置,所述装置包括:
视频获取模块,用于获取车辆中的行车记录仪在所述车辆行驶过程中记录的视频信息;
视频识别模块,用于对所述视频信息进行交通违规识别,若所述视频信息中存在交通违规行为,则截取所述视频信息中存在交通违规行为的违规视频片段;
违规提示模块,用于向所述车辆对应的用户终端发送车辆交通违规的提示信息,所述提示信息中包括所述违规视频片段,以使得所述用户终端基于所述违规视频片段向指定交通违规处理平台提交车辆交通违规举报信息。
又一方面,本说明书提供了一种车辆交通违规自动识别装置,所述装置应用于用户终端,所述装置包括:
违规提示信息接收模块,用于接收车辆交通违规自动识别装置发送的车辆交通违规的提示信息,所述提示信息中包括违规视频片段,所述违规视频片段为所述用户终端对应的车辆的行车记录仪在所述车辆行驶过程中记录的视频信息中截取的;
违规举报模块,用于基于所述提示信息,判断所示违规视频片段中的是否存在交通违规行为,若存在,则向指定交通违规处理平台提交车辆交通违规举报信息,所述提交车辆交通违规举报信息中包括所述违规视频片段以及基于所述视频片段生成的交通违规事实内容文本信息。
还一方面,本说明书实施例提供了一种车辆交通违规自动识别设备,包括至少一个处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现上述车辆交通违规自动识别方法。
本说明书提供的车辆交通违规自动识别方法、装置及设备,利用行车记录仪自动记录车辆行驶过程中前方以及两侧的车辆行驶视频信息,对行车记录仪记录的视频信息自动进行交通违规行为的识别,识别出其中的违规视频片段后,自动向车辆对应的用户终端发送交通违规的提示信息,以提醒用户及时举报车辆交通违规行为。整个过程不需要用户操作,能够对车辆行驶过程中前方车辆的违规行为进行自动识别,并在识别到违规行为后主动提醒用户,并将违规视频片段发送给用户,以便用户举报,不需要用户手动截取视频。可以提升车辆违规举报的效率,进而提升车辆驾驶员的驾驶素质,确保车辆行驶安全。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的车辆交通违规自动识别方法实施例的流程示意图;
图2是本说明书一个实施例中违规视频举报的界面示意图;
图3是本说明书一个实施例中用户终端进行车辆交通违规自动识别的流程示意图;
图4是本说明书一个场景示例中车辆交通违规自动识别流程示意图;
图5是本说明书提供的车辆交通违规自动识别装置一个实施例的模块结构示意图;
图6是本说明书提供的车辆交通违规自动识别装置另一个实施例的模块结构示意图;
图7是本说明书一个实施例中车辆交通违规自动识别服务器的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
随着科技的发展,汽车已经成为人们日常出行的惯用交通工具,为了保障人们出行的安全,制定了交通法规,驾驶员在驾驶汽车时遵守交通法规,以保障车辆和行人的安全。但是,有些用户由于驾驶习惯不好,可能会违规驾驶车辆,这样很可能会导致交通事故的发生。
本说明书实施例提供一种车辆交通违规自动识别方法,利用车辆上安装的行车记录仪记录的视频信息,对视频信息进行视频处理,识别出其中违规的视频片段,并提示用户进行交通违规举报。实现了车辆违规自动识别的目的,不需要用户手动操作,可以提升驾驶员的驾驶素质,减少交通事故的发生,提升城市交通流速。
图1是本说明书实施例提供的车辆交通违规自动识别方法实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中,这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时,可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。
本说明书实施例中提供的车辆交通违规自动识别方法可以应用在客户端或服务端,具体可以是计算机、平板电脑、智能手机、智能穿戴设备、车载设备等终端设备中,如图1所示,所述方法可以包括如下步骤:
步骤102、获取车辆中的行车记录仪在所述车辆行驶过程中记录的视频信息。
在具体的实施过程中,一般的,车辆上均安装有行车记录仪,行车记录仪可以记录车辆行驶过程中的视频,一般行车记录仪记录的视频信息可以用于交通事故事后的责任认定。本说明书实施例可以获取车辆在行驶过程中其中的行车记录仪记录的视频信息,车辆在启动后,行车记录仪自动开启记录,行车记录仪可以记录车辆行驶过程中前方以及两旁车辆的行驶视频。
步骤104、对所述视频信息进行交通违规识别,若所述视频信息中存在交通违规行为,则截取所述视频信息中存在交通违规行为的违规视频片段。
在具体的实施过程中,获取到车辆中行车记录仪记录的视频信息后,可以对获取到的视频信息进行图像识别处理,识别其中是否存在交通违规行为。若识别出记录的视频信息中存在交通违规行为,则可以截取其中的违规视频片段。其中,对视频信息进行交通违规识别可以采用机器学习模型,如:神经网络模型等,本说明书实施例不做具体限定。其中,交通违规行为可以基于各地制定的交通法规而定,如:车辆变道是否提前打转向灯,是否存在实线变道行为,车辆刹车灯、示廓灯等是否能够正常亮起等等。例如:可以从视频信息中判断车辆行为与转向灯是否提前打灯行为一致,若没有,则该行为属于交通违规行为中的不按照规定使用灯光。或者,判断当前视频信息中是白天还是黑夜,黑夜环境下,车辆的轮廓灯应当开启,若车辆刹车结束后,车辆会整体处于不可识别状态,则该行为也属于交通违规行为中的不按照规定使用灯光。
本说明书一些实施例中,所述对所述视频信息进行交通违规识别,包括:
基于交通法规,获取存在不同方式违规行为的车辆行驶视频作为样本视频;
基于所述样本视频和对应的违规行为进行机器学习模型训练,构建交通违规识别模型;
利用所述交通违规识别模型对所述视频信息进行交通违规识别。
在具体的实施过程中,可以从道路上安装的摄像头或者用户举报的交通违规案例中,获取存在不同方式违规行为的车辆行驶视频作为样本视频,利用样本视频以及其对应的违规行为进行机器学习模型训练,构建出交通违规识别模型。其中,样本视频中的违规行为可以基于交通法规标定,违规行为可以作为模型训练的标签,可以根据交通法规中规定的违规行为,选择存在不同违规行为的视频作为样本视频,以使得训练处的交通违规识别模型能够识别出不同方式的交通违规行为。其中,交通违规识别模型的具体结构使用的算法类型可以基于实际需要而定,本说明书实施例不做具体限定。构建出交通违规识别模型后,可以利用构建出的交通违规识别模型对车辆行车记录仪记录的视频信息进行交通违规的自动识别,识别出其中的违规行为。
本说明书实施例基于交通法规,选取不同违规方式的视频进行机器学习模型训练,利用训练好的模型自动进行车辆违规的视频识别,实现交通违规的自动快速图像识别,不需要驾驶员操作。
步骤106、向所述车辆对应的用户终端发送车辆交通违规的提示信息,所述提示信息中包括所述违规视频片段,以使得所述用户终端基于所述违规视频片段向指定交通违规处理平台提交车辆交通违规举报信息。
在具体的实施过程中,在识别出车辆的行车记录仪中的视频信息中存在交通违规行为后,截取出存在交通违规行为的违规视频片段,并向车辆对应的用户终端发送车辆交通违规的提示信息,该提示信息中可以包括截取的违规视频片段。如:可以在车辆行车结束后,对该车辆从开始行驶到行车结束整个过程中的视频信息进行交通违规行为的识别,在识别到存在交通违规行为后,向车辆的车主用户终端如:智能手机或车载智能设备发送提示信息,该提示信息中可以包括整个行驶过程中录取到的违规视频片段。用户可以在用户终端上查看违规视频片段,进而判断是否确实存在交通违规行为,若存在,用户可以通过用户终端向指定交通违规处理平台提交车辆交通违规举报信息,如可以将违规视频片段上传至指定交通违规处理平台,以供交通部门进行审核。当然,用户也可以在接收到存在车辆交通违规的提示信息后,直接向指定交通违规处理平台提交车辆交通违规举报信息。此外,车辆交通违规的提示信息的发送时间可以由用户自行设置,可以在车辆行驶结束后发送,也可以在用户设置的指定时间范围内发送,用户可以设置自己方便接收处理信息的时间。
其中,指定交通违规处理平台可以理解为用于处理交通违规行为的平台如:视频违规处理平台,该平台一般可以由交通部门管理。用户可以通过该平台举报其他车辆的违规行为,也可以通过该平台处理自己车辆的违规行为如:交罚款或扣取驾驶证分值等。用户提交的车辆交通违规举报信息若被审核通过,平台可以给举报用户提供对应的奖励如:积分或其他奖励,以鼓励用户积极举报。当然,审核通过后,平台会主动给存在违规行为的车辆的车主发送违规通知,可以是警告通知也可以是处罚通知,以提醒违规车辆的驾驶员安全驾驶。
本说明书实施例提供的种车辆交通违规自动识别方法,利用行车记录仪自动记录车辆行驶过程中前方以及两侧的车辆行驶视频信息,对行车记录仪记录的视频信息自动进行交通违规行为的识别,识别出其中的违规视频片段后,自动向车辆对应的用户终端发送交通违规的提示信息,以提醒用户及时举报车辆交通违规行为。整个过程不需要用户操作,能够对车辆行驶过程中前方车辆的违规行为进行自动识别,并在识别到违规行为后主动提醒用户,并将违规视频片段发送给用户,以便用户举报,不需要用户手动截取视频。可以提升车辆违规举报的效率,进而提升车辆驾驶员的驾驶素质,确保车辆行驶安全。
在上述实施例的基础上,本说明书一些实施例中,所述方法还包括:
在截取所述视频信息中存在的交通违规行为的违规视频片段时,基于所述车辆中的位置传感器,获取所述违规视频片段对应的位置信息;
所述向所述车辆对应的用户终端发送车辆交通违规提示信息,包括:
向所述车辆对应的用户终端发送车辆交通违规提示信息,所述提示信息中包括所述违规视频片段以及所述违规视频片段对应的位置信息。
在具体的实施过程中,在对行车记录仪记录的视频信息进行违规识别时,识别到存在交通违规行为后,可以截取该交通违规行为的违规视频片段,同时,利用车辆中的位置传感器如GPS等获取该违规视频片段对应的位置信息。在向车辆对应的用户终端发送车辆交通违规提示信息时,将违规视频片段以及对应的位置信息一起发送至用户终端,以便后续再违规行为审核时,基于位置信息可以进一步核对违规车辆是否在该时间出现在对应的位置。并可以基于位置信息获取对应位置处道路上设置的摄像设备录取的视频,进而违规行为的核对,确保交通违规行为审核的准确性。
在上述实施例的基础上,本说明书一些实施例中,所述向所述车辆对应的用户终端发送车辆交通违规提示信息,包括:
基于所述违规视频片段,自动识别存在交通违规行为的车辆的违规车牌号以及违规车辆属性信息;
根据所述违规视频片段以及所述违规车牌号和所述违规车辆属性信息,生成交通违规事实内容文本信息;
向所述车辆对应的用户终端发送车辆交通违规提示信息,所述提示信息中包括所述违规视频片段以及所述交通违规事实内容文本信息。
在具体的实施过程中,在对行车记录仪记录的视频信息进行违规识别时,识别到存在交通违规行为后,可以截取该交通违规行为的违规视频片段,并基于截取到的违规视频片段,识别存在交通违规行为的车辆的违规车牌号以及违规车辆属性信息,再基于违规车牌号、违规车辆属性信息以及违规视频片段生成对应的交通违规事实内容文本信息,交通违规事实内容文本信息可以理解为对违规视频片段的文字描述。其中,可以预先设置交通违规事实内容文本的模板,基于识别到的违规视频片段可以识别出车辆的违规行为属于哪一种违规,再结合识别出的车牌号以及车辆属性信息,生成对应的交通违规事实内容文本。其中,违规车辆属性信息可以指车辆自身的属性如:车辆颜色、车牌号、车牌颜色、车辆的车型、大小、车标等,如:几点几分在某道路上一辆白色轿车,车牌号为苏××××××,违规行为是“不按照规定使用灯光”。
在向车辆对应的用户终端发送车辆交通违规提示信息可以将违规视频片段以及生成的交通违规事实内容文本信息一起发送至用户终端,图2是本说明书一个实施例中违规视频举报的界面示意图,如图2所示,用户在基于接收到的提示信息举报违规行为时,可以将违规视频片段上传至指定交通违规处理平台,基于该违规视频片段可以自动生成违规举报报告,即生成对应的交通违规事实内容文本信息。如图2所示,用户在将违规视频片段上传至平台后,可以基于该视频片段自动填入违规举报模板内需要填写的内容,不需要用户手动输入,减少车辆违规举报的繁琐性,提升违规行为的举报效率。交通违规事实内容文本信息也可以在用户向指定交通违规处理平台提交车辆交通违规举报信息时,基于用户上传的违规视频片段以及识别出的车牌号、车辆属性信息等自动生成。或者,可以在向用户终端返回违规提示信息时,基于违规视频片段生成交通违规事实内容文本信息,用户可以将违规视频片段和交通违规事实内容文本信息一起上传至指定交通违规处理平台,也就是说,图2中在上传视频时,也可以将对应的交通违规事实内容文本信息一起上传,平台基于用户上传的内容,自动填入举报模板,生成对应的违规举报信息,提醒交通部门及时处理。当然,若用户认为平台内自动填入的信息不准确,也可以手动修改。
本说明书实施例,可以对行车记录仪记录的视频信息自动进行违规行为识别,并截取违规视频片段,基于违规视频片段中的违规行为以及违规车辆的属性信息,自动生成对应的违规文本信息,用于用户提交违规行为举报,不需要用户手动输入违规信息,提升用户主动举报的意愿,提升违规行为的举报效率,进而提升驾驶员的驾驶素质,确保交通安全性。
本说明书一些实施例中,所述截取所述视频信息中存在交通违规行为的违规视频片段,包括:
从所述视频信息识别出存在交通违规行为的时间点,将所述时间点作为视频标记锚点;
从所述视频信息中截取所述视频标记锚点前后指定时间范围内的视频信息作为所述违规视频片段。
在具体的实施过程中,在对行车记录仪记录的视频信息进行违规识别时,识别到视频信息中存在交通违规行为后,可以从该视频信息中确定出存在交通违规行为的时间点,将所述时间点作为视频标记锚点,以视频标记锚点为中心,从视频信息中截取视频标记锚点前后指定时间范围内的视频信息作为违规视频片段。指定时间范围的取值可以基于实际需要而定,本说明书实施例不做具体限定,如,可以截取视频锚点前后10秒,共计20秒的视频信息作为违规视频片段。例如:行车记录仪记录的视频信息中对应有时间,在对行车记录仪记录的视频信息进行违规识别时,识别到视频信息中在2021年7月15日上午10点10分20秒出现车辆违规行为,则可以截取2021年7月15日上午10点10分10秒到2021年7月15日上午10点10分30秒的视频信息作为违规视频片段。
通过对行车记录仪的视频信息进行自动违规行为识别,在识别到存在违规行为后,截取存在违规行为前后指定时间的视频片段作为后续举报的依据,不需要用户手动截取视频信息作为证据,并且,截取的视频片段比较小,方便查看和保存,提升了违规举报和审核的效率。
本说明书实施例中的车辆交通违规自动识别可以应用于服务器如:云端,也可以应用于行车记录仪中的设置的数据处理器。行车记录仪一般能力为记录视频,并循环使用闪存卡,记录最新视频,若行车记录仪具备数据处理能力,则可以直接利用行车记录仪中的数据处理器对其记录的视频进行违规行为识别。若行车记录仪不具备数据处理能力,或数据处理能力不足,则可以在行车记录仪中增加一个数据处理芯片如:NPU(neural-networkprocessing units,嵌入式神经网络处理器,擅长处理视频、图像类的海量多媒体数据)芯片,用于离线计算违规视频能力,还可以交通违规处理平台对于违规行为的处理结果等,对芯片及配套软件进行升级优化。此外,本说明书实施例中,还可以将行车记录仪记录的视频信息传送给服务器如:云端,利用服务器强大的数据处理能力,对行车记录仪记录的视频进行违规行为识别,加快数据处理速度。若数据传输网络比较好,则可以将行车记录仪记录的视频信息实时或每隔指定时间发送给云端服务器,以提升车辆违规识别的速度。若数据传输网络不佳,则可以选择在行车记录仪本地进行违规视频的识别,不需要对车辆的软硬件做过多的改进,利用车辆现有的软硬件即可以实现,操作简单,降低了车辆违规识别的成本。
通过云端服务器或行车记录仪本地均可以对行车记录仪记录的视频信息进行违规行为的自动识别,可以基于实际网络等需求,选择合适的数据处理方式,满足不同的用户需求。
当然,根据实际使用需要,也可以使用手机进行视频处理,需要用户在车上时候,将手机与行车记录仪链路保持连接,需要行车记录仪厂家,车机厂家,手机APP协同实现,这样,行车记录上离线算力要求降低,可使用手机本身硬件算力实现,视频结果判定。或者,也可以开车结束后,用户手动下载行车记录仪的视频,然后上传违章视频处理平台时候处理,用户意愿比较低。
图3是本说明书一个实施例中用户终端进行车辆交通违规自动识别的流程示意图,如图3所示,在车辆交通违规自动识别时,用户终端侧可以进行下述操作:
步骤302、接收车辆交通违规的提示信息,所述提示信息中包括违规视频片段,所述违规视频片段为所述用户终端对应的车辆的行车记录仪在所述车辆行驶过程中记录的视频信息中截取的。
步骤304、基于所述提示信息,判断所示违规视频片段中的是否存在交通违规行为,若存在,则向指定交通违规处理平台提交车辆交通违规举报信息,所述提交车辆交通违规举报信息中包括所述违规视频片段以及基于所述视频片段生成的交通违规事实内容文本信息。
在具体的实施过程中,图4是本说明书一个场景示例中车辆交通违规自动识别流程示意图,如图4所示,用户开车上路后,行车记录仪自动开启记录,可以记录车辆行驶过程中前方以及两旁车辆的行驶视频。可以对行车记录仪记录的视频信息进行交通违规的识别,若识别出记录的视频信息中存在交通违规行为,则可以截取其中的违规视频片段。其中,交通违规识别的具体方法可以参考上述实施例的记载,此处不再赘述。截取出存在交通违规行为的违规视频片段后,可以及时或在指定时间向车辆对应的用户终端如:用户手机或车载智能设备或者计算机、平板电脑等发送车辆交通违规的提示信息,该提示信息中可以包括截取的违规视频片段,还可以包括违规视频片段对应的违规行为以及违规车辆的相关信息等。其中,用户终端可以理解为车辆的车主所使用的终端设备或者指定的应用程序的账户,可以预先将各个车辆、行车记录仪以及用户终端的关联关系进行绑定。在识别到行车记录仪记录的视频中存在违规行为后,获取行车记录仪绑定的用户终端,向该用户终端发送车辆交通违规的提示信息。
如图4所示,可以在用户行车结束后,向用户终端发送车辆交通违规的提示信息,提醒用户及时从行车记录仪中回传违规视频片段以及相关文本信息。用户终端接收到车辆交通违规的提示信息后,可以选择下载对应的违规视频片段以及对应的交通违规事实内容文本等,用户可以基于下载的违规视频片段进一步确定该视频中是否真实存在违规行为,若是,则可以通过用户终端向指定交通违规处理平台提交车辆交通违规举报信息,如:可以通过用户终端上的应用程序或小程序向指定交通违规处理平台提交车辆交通违规举报信息。用户在向指定交通违规处理平台提交车辆交通违规举报信息时,可以将违规视频片段上传至平台,平台基于违规视频片段自动将举报模板内需要填写的内容填入,生成对应的违规举报报告。或者用户可以将违规视频片段以及对应的交通违规事实内容文本信息上传至平台,平台基于违规视频片段以及文本信息自动将举报模板内需要填写的内容填入,生成对应的报告。交通部门可以对指定交通违规处理平台中的违规举报信息进行审核,若审核通过,则可以向举报用户给予一定的奖励如:积分或其他奖励方式,并向违规车辆的车主发送对应的警告或处罚通知。
本说明书实施例利用视觉图像识别技术自动对行车记录仪记录的适配信息进行车辆违规识别视频判断,提高用户上传视频意愿,提高城市行车车辆环境,大家都可互相监督,礼让行驶,提高出行效率。利用视频违规处理平台,提高交通部门初判视频效率,后续准确性提高后,可全机器自动判定,在后续处罚流程中用户提出异议再人工复核,降低管理部门成本。
本说明书中上述方法的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参考即可,每个实施例重点说明的都是与其他实施例的不同之处。相关之处参考方法实施例的部分说明即可。
基于上述所述的车辆交通违规自动识别方法,本说明书一个或多个实施例还提供一种用于车辆交通违规自动识别的装置。所述装置可以包括使用了本说明书实施例所述方法的装置(包括分布式系统)、软件(应用)、模块、插件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思,本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的装置的实施可以参考前述方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
具体地,图5是本说明书提供的车辆交通违规自动识别装置一个实施例的模块结构示意图,如图5所示,本说明书中提供的车辆交通违规自动识别装置可以包括:
视频获取模块51,用于获取车辆中的行车记录仪在所述车辆行驶过程中记录的视频信息;
视频识别模块52,用于对所述视频信息进行交通违规识别,若所述视频信息中存在交通违规行为,则截取所述视频信息中存在交通违规行为的违规视频片段;
违规提示模块53,用于向所述车辆对应的用户终端发送车辆交通违规的提示信息,所述提示信息中包括所述违规视频片段,以使得所述用户终端基于所述违规视频片段向指定交通违规处理平台提交车辆交通违规举报信息。
图6是本说明书提供的车辆交通违规自动识别装置另一个实施例的模块结构示意图,如图6所示,本说明书中提供的车辆交通违规自动识别装置可以应用于用户终端,该装置可以包括:
违规提示信息接收模块61,用于接收车辆交通违规自动识别装置发送的车辆交通违规的提示信息,所述提示信息中包括违规视频片段,所述违规视频片段为所述用户终端对应的车辆的行车记录仪在所述车辆行驶过程中记录的视频信息中截取的;
违规举报模块62,用于基于所述提示信息,判断所示违规视频片段中的是否存在交通违规行为,若存在,则向指定交通违规处理平台提交车辆交通违规举报信息,所述提交车辆交通违规举报信息中包括所述违规视频片段以及基于所述视频片段生成的交通违规事实内容文本信息。
本说明书实施例利用行车记录仪自动记录车辆行驶过程中前方以及两侧的车辆行驶视频信息,对行车记录仪记录的视频信息自动进行交通违规行为的识别,识别出其中的违规视频片段后,自动向车辆对应的用户终端发送交通违规的提示信息,以提醒用户及时举报车辆交通违规行为。整个过程不需要用户操作,能够对车辆行驶过程中前方车辆的违规行为进行自动识别,并在识别到违规行为后主动提醒用户,并将违规视频片段发送给用户,以便用户举报,不需要用户手动截取视频。可以提升车辆违规举报的效率,进而提升车辆驾驶员的驾驶素质,确保车辆行驶安全。
需要说明的,上述所述的装置根据对应方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照上述对应的方法实施例的描述,在此不作一一赘述。
本说明书实施例还提供一种车辆交通违规自动识别设备,包括:至少一个处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现上述实施例的车辆交通违规自动识别方法,如:
获取车辆中的行车记录仪在所述车辆行驶过程中记录的视频信息;
对所述视频信息进行交通违规识别,若所述视频信息中存在交通违规行为,则截取所述视频信息中存在交通违规行为的违规视频片段;
向所述车辆对应的用户终端发送车辆交通违规的提示信息,所述提示信息中包括所述违规视频片段,以使得所述用户终端基于所述违规视频片段向指定交通违规处理平台提交车辆交通违规举报信息。
需要说明的,上述所述的设备或系统根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书提供的车辆交通违规自动识别装置、设备,也可以应用在多种数据分析处理系统中。所述系统或服务器或终端或设备可以为单独的服务器,也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例系统或服务器或终端或设备的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述核对差异数据的检测系统可以包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。
本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图7是本说明书一个实施例中车辆交通违规自动识别服务器的硬件结构框图,该计算机终端可以是上述实施例中的车辆交通违规自动识别服务器或车辆交通违规自动识别装置。如图7所示服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的非易失性存储器200、以及用于通信功能的传输模块300。本领域普通技术人员可以理解,图7所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器10还可包括比图7中所示更多或者更少的插件,例如还可以包括其他的处理硬件,如数据库或多级缓存、GPU,或者具有与图7所示不同的配置。
非易失性存储器200可用于存储应用软件的软件程序以及模块,如本说明书实施例中的车辆交通违规自动识别方法对应的程序指令/模块,处理器100通过运行存储在非易失性存储器200内的软件程序以及模块,从而执行各种功能应用以及资源数据更新。非易失性存储器200可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,非易失性存储器200可进一步包括相对于处理器100远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输模块300包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块300可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上,所述的存储介质可以计算机读取并执行,实现本说明书实施例所描述方案的效果,如:
获取车辆中的行车记录仪在所述车辆行驶过程中记录的视频信息;
对所述视频信息进行交通违规识别,若所述视频信息中存在交通违规行为,则截取所述视频信息中存在交通违规行为的违规视频片段;
向所述车辆对应的用户终端发送车辆交通违规的提示信息,所述提示信息中包括所述违规视频片段,以使得所述用户终端基于所述违规视频片段向指定交通违规处理平台提交车辆交通违规举报信息。
所述存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。
本说明书实施例提供的上述车辆交通违规自动识别方法或装置可以在计算机中由处理器执行相应的程序指令来实现,如使用windows操作系统的c++语言在PC端实现、linux系统实现,或其他例如使用android、iOS系统程序设计语言在智能终端实现,以及基于量子计算机的处理逻辑实现等。
本说明书实施例并不局限于必须是符合行业通信标准、标准计算机资源数据更新和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例,仍然可以属于本说明书实施例的可选实施方案范围之内。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
为了描述的方便,描述以上平台、终端时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或插件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
这些计算机程序指令也可装载到计算机或其他可编程资源数据更新设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参考即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参考方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书一个或多个实施例的实施例而已,并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说,本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在权利要求范围之内。

Claims (10)

1.一种车辆交通违规自动识别方法,所述方法包括:
获取车辆中的行车记录仪在所述车辆行驶过程中记录的视频信息;
对所述视频信息进行交通违规识别,若所述视频信息中存在交通违规行为,则截取所述视频信息中存在交通违规行为的违规视频片段;
向所述车辆对应的用户终端发送车辆交通违规的提示信息,所述提示信息中包括所述违规视频片段,以使得所述用户终端基于所述违规视频片段向指定交通违规处理平台提交车辆交通违规举报信息。
2.如权利要求1所述的方法,所述方法还包括:
在截取所述视频信息中存在的交通违规行为的违规视频片段时,基于所述车辆中的位置传感器,获取所述违规视频片段对应的位置信息;
所述向所述车辆对应的用户终端发送车辆交通违规提示信息,包括:
向所述车辆对应的用户终端发送车辆交通违规提示信息,所述提示信息中包括所述违规视频片段以及所述违规视频片段对应的位置信息。
3.如权利要求1所述的方法,所述向所述车辆对应的用户终端发送车辆交通违规提示信息,包括:
基于所述违规视频片段,自动识别存在交通违规行为的车辆的违规车牌号以及违规车辆属性信息;
根据所述违规视频片段以及所述违规车牌号和所述违规车辆属性信息,生成交通违规事实内容文本信息;
向所述车辆对应的用户终端发送车辆交通违规提示信息,所述提示信息中包括所述违规视频片段以及所述交通违规事实内容文本信息。
4.如权利要求1所述的方法,所述截取所述视频信息中存在交通违规行为的违规视频片段,包括:
从所述视频信息识别出存在交通违规行为的时间点,将所述时间点作为视频标记锚点;
从所述视频信息中截取所述视频标记锚点前后指定时间范围内的视频信息作为所述违规视频片段。
5.如权利要求1所述的方法,所述对所述视频信息进行交通违规识别,包括:
基于交通法规,获取存在不同方式违规行为的车辆行驶视频作为样本视频;
基于所述样本视频和对应的违规行为进行机器学习模型训练,构建交通违规识别模型;
利用所述交通违规识别模型对所述视频信息进行交通违规识别。
6.如权利要求1所述的方法,所述方法应用于服务器或所述行车记录仪中的设置的数据处理器。
7.一种车辆交通违规自动识别方法,所述方法应用于用户终端,所述方法包括:
接收车辆交通违规的提示信息,所述提示信息中包括违规视频片段,所述违规视频片段为所述用户终端对应的车辆的行车记录仪在所述车辆行驶过程中记录的视频信息中截取的;
基于所述提示信息,判断所示违规视频片段中的是否存在交通违规行为,若存在,则向指定交通违规处理平台提交车辆交通违规举报信息,所述提交车辆交通违规举报信息中包括所述违规视频片段以及基于所述视频片段生成的交通违规事实内容文本信息。
8.一种车辆交通违规自动识别装置,所述装置包括:
视频获取模块,用于获取车辆中的行车记录仪在所述车辆行驶过程中记录的视频信息;
视频识别模块,用于对所述视频信息进行交通违规识别,若所述视频信息中存在交通违规行为,则截取所述视频信息中存在交通违规行为的违规视频片段;
违规提示模块,用于向所述车辆对应的用户终端发送车辆交通违规的提示信息,所述提示信息中包括所述违规视频片段,以使得所述用户终端基于所述违规视频片段向指定交通违规处理平台提交车辆交通违规举报信息。
9.一种车辆交通违规自动识别装置,所述装置应用于用户终端,所述装置包括:
违规提示信息接收模块,用于接收车辆交通违规自动识别装置发送的车辆交通违规的提示信息,所述提示信息中包括违规视频片段,所述违规视频片段为所述用户终端对应的车辆的行车记录仪在所述车辆行驶过程中记录的视频信息中截取的;
违规举报模块,用于基于所述提示信息,判断所示违规视频片段中的是否存在交通违规行为,若存在,则向指定交通违规处理平台提交车辆交通违规举报信息,所述提交车辆交通违规举报信息中包括所述违规视频片段以及基于所述视频片段生成的交通违规事实内容文本信息。
10.一种车辆交通违规自动识别设备,包括:至少一个处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现权利要求1-7任一项所述的方法。
CN202110885036.2A 2021-08-03 2021-08-03 车辆交通违规自动识别方法、装置及设备 Pending CN113743215A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110885036.2A CN113743215A (zh) 2021-08-03 2021-08-03 车辆交通违规自动识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110885036.2A CN113743215A (zh) 2021-08-03 2021-08-03 车辆交通违规自动识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN113743215A true CN113743215A (zh) 2021-12-03

Family

ID=78729834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110885036.2A Pending CN113743215A (zh) 2021-08-03 2021-08-03 车辆交通违规自动识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113743215A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060020828A (ko) * 2004-09-01 2006-03-07 에스케이 텔레콤주식회사 무선 단말기를 이용한 교통위반 차량 신고 방법
CN105590454A (zh) * 2016-01-27 2016-05-18 福建工程学院 一种车辆违规行为举证的方法及其系统
CN106023596A (zh) * 2016-07-21 2016-10-12 北京奇虎科技有限公司 基于行车视频的车辆违章检测方法、装置及系统
CN108877233A (zh) * 2018-07-13 2018-11-23 上海擎感智能科技有限公司 一种基于车载终端的违章驾驶记录方法及系统、车载终端
CN110599775A (zh) * 2019-08-27 2019-12-20 深圳市恒天伟焱科技有限公司 基于行车记录仪的车辆违章举报方法、行车记录仪和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060020828A (ko) * 2004-09-01 2006-03-07 에스케이 텔레콤주식회사 무선 단말기를 이용한 교통위반 차량 신고 방법
CN105590454A (zh) * 2016-01-27 2016-05-18 福建工程学院 一种车辆违规行为举证的方法及其系统
CN106023596A (zh) * 2016-07-21 2016-10-12 北京奇虎科技有限公司 基于行车视频的车辆违章检测方法、装置及系统
CN108877233A (zh) * 2018-07-13 2018-11-23 上海擎感智能科技有限公司 一种基于车载终端的违章驾驶记录方法及系统、车载终端
CN110599775A (zh) * 2019-08-27 2019-12-20 深圳市恒天伟焱科技有限公司 基于行车记录仪的车辆违章举报方法、行车记录仪和介质

Similar Documents

Publication Publication Date Title
Hussain et al. Autonomous cars: Research results, issues, and future challenges
CN109523652B (zh) 基于驾驶行为的保险的处理方法、装置、设备及存储介质
EP3475933A1 (en) Autonomous or partially autonomous motor vehicles with automated risk-controlled systems and corresponding method thereof
CN104853972A (zh) 利用板载车辆平台中的图像处理支持扩增车辆的adas特征
CN110733509A (zh) 驾驶行为分析方法、装置、设备以及存储介质
WO2020053170A1 (de) Verfahren zum erzeugen einer informationssammlung zu fahrszenarien wenigstens eines fahrzeugs, sowie fahrzeug, anordnung und daraus bestehendes system
CN111739191A (zh) 违章预警方法、装置、设备及存储介质
CN112885145A (zh) 路口风险预警的方法和装置
CN114379581B (zh) 基于自动驾驶下的算法迭代系统及方法
Nieto et al. On creating vision‐based advanced driver assistance systems
US20220383421A1 (en) Electronic System for Forward-looking Measurements of Frequencies and/or Probabilities of Accident Occurrences Based on Localized Automotive Device Measurements, And Corresponding Method Thereof
CN113256974A (zh) 车辆违章预警方法、装置、设备及存储介质
CN114077541A (zh) 验证用于自动驾驶车辆的自动控制软件的方法和系统
CN114492022A (zh) 路况传感数据处理方法、装置、设备、程序以及存储介质
US20190389456A1 (en) Transportation infrastructure communication and control
CN117746103A (zh) 一种违规行为的识别方法及装置
Yarlagadda et al. Heterogeneity in the Driver Behavior: An Exploratory Study Using Real‐Time Driving Data
CN113743215A (zh) 车辆交通违规自动识别方法、装置及设备
CN109656245B (zh) 刹车位置的确定方法和装置
CN110853364A (zh) 数据监控方法和装置
CN112216133B (zh) 信息推送方法、装置、设备及介质
CN112036528B (zh) 一种佩戴头盔检测系统、方法、装置、读卡器及存储介质
US20220405618A1 (en) Generating roadway crossing intent label
CN114627436A (zh) 一种智能交通巡检方法、装置、设备及介质
CN112733675A (zh) 车辆驾驶行为监测方法、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination