CN113408319A - 一种城市道路异常感知处理方法、装置、系统及存储介质 - Google Patents

一种城市道路异常感知处理方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN113408319A
CN113408319A CN202010180356.3A CN202010180356A CN113408319A CN 113408319 A CN113408319 A CN 113408319A CN 202010180356 A CN202010180356 A CN 202010180356A CN 113408319 A CN113408319 A CN 113408319A
Authority
CN
China
Prior art keywords
urban road
information
abnormal
event
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010180356.3A
Other languages
English (en)
Inventor
谢鹏鹤
闫春香
邓胜
李景俊
刘文如
覃小艺
李勇超
裴锋
李雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202010180356.3A priority Critical patent/CN113408319A/zh
Publication of CN113408319A publication Critical patent/CN113408319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种城市道路异常感知处理方法、装置、系统及存储介质,通过在在公交车、出租车等公共交通工具上安装感知终端,可以实时地检测发生在城市道路上的异常事件(如路灯故障事件、车祸事件、违章事件等),并将相应信息发送给控制中心;控制中心及时将这些城市道路异常信息下发给相关职能部门,由相关职能部门进行处理。实现本发明实施例,可以提高整个城市的管理效率,降低运行成本。

Description

一种城市道路异常感知处理方法、装置、系统及存储介质
技术领域
本发明涉及智慧城市技术领域,特别是一种城市道路异常感知处理方法、装置、系统及存储介质。
背景技术
随着社会的进步,城市的各种设施越来越多,经常会出现设施毁坏的情况,如路灯故障或下水道盖损坏等;另外在城市道路上也会出现各种障碍物,比如爆胎后留下的轮胎,货车上掉下来的各种货物等;以及道路上发生的违章事故等。
而在现有技术中,对城市道路的管理是分由多个部门来实现的,例如路灯、下水道井盖等属于路政部门管理;交通事故、开车打手机等交通违章行为属于交警部门管理;而获取这些信息主要依靠固定地点的视频监控、人工巡查和市民电话报案等多种方式来获取,但是对全市的城市道路异常情况没有办法进行全覆盖以及统一的调度管理,从而导致城市管理及运行的效率不高。
发明内容
本发明所要解决的技术问题在于,提供一种城市道路异常感知处理方法、装置、系统及存储介质,可以提高城市道路异常事件信息上报以及处理的效率,降低了城市的运行成本,提高了管理效率。
作为本发明的一方面,提供一种城市道路异常感知处理方法,其应用于设置在公共交通工具上的感知终端,所述方法包括:
步骤S10,通过设置于感知终端上的摄像头采集城市道路图像;
步骤S11,对所采集的图像进行异常分析处理,在确定为城市道路异常事件时,触发上报流程;
步骤S12,根据所述的城市道路异常事件生成城市道路异常上报信息,所述城市道路异常上报信息携带有图像信息、定位信息、异常类型以及时间信息;
步骤S13,对所述城市道路异常上报信息,在已经上报列表中确认是否存在重复的上报信息;其中,所述已经上报列表与控制中心的已经上报列表定时同步;
步骤S14,在确认结果为不存在重复的上报信息时,将所述城市道路异常上报信息发送给控制中心。
其中,所述步骤S11进一步包括:
由公共交通工具驾驶员判断城市道路异常事件的类型,并向感知终端发送语音指令,触发上报流程;或
将所采集的图像输入预先训练好的异常判断神经网络,输出城市道路异常事件确认信息,并触发上报流程;其中,所述预先训练好的异常判断神经网络用于对所述采集的图像进行判断,确定是否属于道路异常事件、人异常事件以及车辆异常事件,所述城市道路异常事件确认信息包含有城市道路异常事件的类型。
其中,所述步骤S13进一步包括:
根据本次城市道路异常事件的定位信息,在已经上报列表选择用于对比的在先城市道路异常事件;
将本次城市道路异常事件与所选择的在先城市道路异常事件进行逐一比较,进行定位信息比较以及图像相似度比较,以确定已经上报列表中是否存在重复的异常事件;
当比较结果为下述中至少一个时,则确定已经上报列表中存在重复的异常事件:两者位置相差在一预定的距离阈值之内,或两者的图像场景相似度大于一预定的相似阈值。
其中,将本次城市道路异常事件与在先城市道路异常事件进行图像相似度比较的步骤具体为下述方法之一种:
计算本次城市道路异常事件与在先城市道路异常事件的直方图,计算两个直方图的相关性,将所述相关性确定为两个事件的图像场景相似度;或
将本次城市道路异常事件与在先城市道路异常事件输入预先训练的相似性判断神经网络,通过所述神经网络计算,输出两个事件的图像场景相似度。
其中,在所述步骤S14中进一步包括:
通过语音向公共交通工具驾驶员提示当前城市道路异常上报信息,在接收到公共交通工具驾驶员的语音确认后,将所述城市道路异常上报信息发送给控制中心。
相应地,本发明还提供一种城市道路感知处理方法,其应用于控制中心,所述方法包括:
步骤S20,接收来自安装于公共交通工具上的感知终端所上报的城市道路异常信息;所述城市道路异常信息包括图像信息、定位信息、异常类型以及时间信息,所述图像信息为感知终端上的摄像头所拍摄的图像;
步骤S21,解析所述城市道路异常信息,获得其携带的图像信息、定位信息、异常类型以及时间信息;
步骤S22,将所述城市道路异常信息下发给所述异常类型所对应的处理终端,并写入已经上报列表;
步骤S23,在接收来自所述处理终端的处理结果后,在已经上报列表中删除本条城市道路异常信息对应的记录。
其中,所述步骤S22之前进一步包括:
在已经上报列表中,对所述城市道路异常信息进行查重处理;根据对本次上报信息所解析出的内容,查询存储的已经上报列表中是否存在针对同一城市道路异常事件的上报信息,如果存在,则丢弃本次的城市道路异常信息。
其中,所述步骤S23进一步包括:
将所述城市道路异常信息进行语音提示,并识别人工确认结果语音,在识别的确认结果为所述城市道路异常信息真实有效时,将所述城市异常信息下发给所述异常类型所对应的处理终端;否则,所述流程回至步骤S20。
相应地,本发明还提供一种城市道路异常感知处理装置,其包括:
采集单元,用于通过设置于感知终端上的摄像头采集城市道路图像;
上报触发单元,用于对所采集的图像进行异常分析处理,在确定为城市道路异常事件时,触发上报流程;
上报信息生成单元,用于根据所述的城市道路异常事件生成城市道路异常上报信息,所述城市道路异常上报信息携带有图像信息、定位信息、异常类型以及时间信息;
过滤单元,用于对所述城市道路异常上报信息,在已经上报列表中确认是否存在重复的上报信息;其中,所述已经上报列表与控制中心的已经上报列表定时同步;
上报单元,用于在确认结果为不存在重复的上报信息时,将所述城市道路异常上报信息通过所述通信装置发送给控制中心。
其中,所述上报触发单元进一步包括:
驾驶员触发单元,用于由公共交通工具驾驶员判断城市道路异常事件的类型,并向感知终端发送语音指令,触发上报流程;或
神经网络触发单元,用于将所采集的图像输入预先训练好的异常判断神经网络,输出城市道路异常事件确认信息,并触发上报流程;其中,所述预先训练好的异常判断神经网络用于对所述采集的图像进行判断,确定是否属于道路异常事件、人异常事件以及车辆异常事件,所述城市道路异常事件确认信息包含有城市道路异常事件的类型。
其中,所述过滤单元进一步包括:比较对象确认单元,用于根据本次城市道路异常事件的定位信息,在已经上报列表选择用于对比的在先城市道路异常事件;
过滤处理单元,用于将本次城市道路异常事件与所选择的在先城市道路异常事件进行逐一比较,进行定位信息比较以及图像相似度比较,以确定已经上报列表中是否存在重复的异常事件;
当比较结果为下述中至少一个时,则确定已经上报列表中存在重复的异常事件:两者位置相差在一预定的距离阈值之内,或两者的图像场景相似度大于一预定的相似阈值。
其中,所述过滤处理单元至少包括有图像相似度比较单元,其包括:
直方图比较单元,用于计算本次城市道路异常事件与在先城市道路异常事件的直方图,计算两个直方图的相关性,将所述相关性确定为两个事件的图像场景相似度;或
神经网络比较单元,用于将本次城市道路异常事件与在先城市道路异常事件输入预先训练的相似性判断神经网络,通过所述神经网络计算,输出两个事件的图像场景相似度。
相应地,本发明还提供一种城市道路感知处理装置,包括:
上报信息接收单元,用于接收来自安装于公共交通工具上的感知终端所上报的城市道路异常信息;所述城市道路异常信息包括图像信息、定位信息、异常类型以及时间信息,所述图像信息为感知终端上的摄像头所拍摄的图像;
上报信息解析单元,用于解析所述城市道路异常信息,获得其携带的图像信息、定位信息、异常类型以及时间信息;
上报信息下发处理单元,用于将所述城市道路异常信息下发给所述异常类型所对应的处理终端,并写入已经上报列表;
处理结果核查单元,用于在接收来自所述处理终端的处理结果后,在已经上报列表中删除本条城市道路异常信息对应的记录。
其中,进一步包括:查重处理单元,用于根据对本次上报信息所解析出的内容,查询存储的已经上报列表中是否存在针对同一城市道路异常事件的上报信息,如果存在,则丢弃本次的城市道路异常信息。
其中,进一步包括:语音确认单元,用于将所述城市道路异常信息进行语音提示,并识别人工确认结果语音,在识别的确认结果为所述城市道路异常信息真实有效时,将所述城市异常信息下发给所述异常类型所对应的处理终端。
相应地,本发明还提供一种城市道路感知处理系统,所述系统包括设置于多个公共交通工具上的感知终端、控制中心以及多个处理终端,其中:
所述感知终端包括中央处理单元,以及与中央处理单元相连接的多个摄像头、无线通信模块、语音交互装置以及显示器,所述中央处理单元至少包括前述的城市道路异常感知处理装置;
所述控制中心包括中央处理模块,以及与中央处理模块相连接的语音提示模块、交互模块、网络通信模块以及显示器,所述中央处理模块至少包括前述的城市道路异常感知处理装置;
处理终端,用于接收来自所述控制中心的城市道路异常信息,并将异常事件的处理结果发送给所述控制中心。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行前述的方法。
实施本发明实施例,具有如下的有益效果:
在本发明提供的一种城市道路异常感知处理方法、装置及系统中,通过设置于公共交通工具上的感知终端,可以很方便及时地将城市道路异常事件上报给控制中心;控制中心在收到城市道路异常信息后,及时下发给各职能部门的处理终端,以提醒职能门及时处理。从而可以提高城市道路异常的上报以及处理的效率,可以降低城市的运行成本,且能及时响应各种突发事件;
同时,在上报城市道路异常信息之前通过在最新的已上报清单中确认是否存在重复的上报信息,可以避免同一城市场道路异常事件被多次重复上报,降低了重复率,从而可减少控制中心的工作量;
另外,通过设置公共交通工具的驾驶员的语音确认功能,可以进一步降低误报率,提高上报准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明提供的一种城市道路异常感知处理方法的一个实施例的主流程示意图;
图2为图1中步骤S13的更详细流程图;
图3为本发明提供的一种城市道路异常感知处理方法的另一个实施例的主流程示意图;
图4为本发明提供的一种城市道路异常感知处理装置的一个实施例的结构示意图;
图5为图4中上报触发单元的结构示意图;
图6为图4中过滤单元的结构示意图;
图7为与图6相关的图像相似度比较单元的结构示意图;
图8为本发明提供的一种城市道路异常感知处理装置的另一个实施例的结构示意图;
图9为本发明提供的一种城市道路异常感知处理系统的一个实施例的结构示意图;
图10为图9中感知终端的一个实施例的结构示意图;
图11为图9中控制中心的一个实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。
在本发明的实施例中,在公交车、出租车等公共交通工具上安装感知终端,通过在在公交车、出租车等公共交通工具上安装感知终端,可以实时地检测发生在城市道路上的异常事件(如路灯故障事件、车祸事件、违章事件等),并将相应的信息发送给控制中心,控制中心及时将这些城市道路异常信息下发给相关职能部门,由相关职能部门进行处理。可以提高整个城市的管理效率,降低运行成本。
具体地,如图1所示,示出了本发明提供的一种城市道路异常感知处理方法的一个实施例中的主流程示意图;一并结合图2所示,在本实施例中,所述城市道路异常感知处理方法应用于设置在公共交通工具上的感知终端中,所述方法包括:
步骤S10,通过设置于感知终端上的摄像头采集城市道路图像;在具体的例子中,所述感知终端设置于出交车、出租车以及网约车等公共交通工具上,例如设置于车顶上,其上设置有四个方向(前后左右)的摄像头,用于实时采集城市道路图像,在具体的例子中,可以将采集的四幅照片拼接成一幅图像;
步骤S11,对所采集的图像进行异常分析处理,在确定为城市道路异常事件时,触发上报流程;
具体地,在一些例子中,该步骤S11存在两种触发方式:
其一,由公共交通工具的驾驶员触发上报流程;由公共交通工具驾驶员判断城市道路异常事件的类型,并向感知终端发送语音指令,触发上报流程;当驾驶员观察到出现城市道路异常事件时,向感知终端发送语音指令,例如“上报异常”,当感知终端接收并解析该语音指令,则开始进入触发流程;
其二,由感知终端来触发上报流程;感知终端将所采集的图像输入预先训练好的异常判断神经网络,输出城市道路异常事件确认信息,并触发上报流程;其中,所述预先训练好的异常判断神经网络用于对所述采集的图像进行判断,确定是否属于城市场道路异常事件以及异常事件类型,其中,所述城市道路异常事件类型包括:道路异常事件、人异常事件以及车辆异常事件。
可以理解的是,此处的城市道路异常事件可以包括诸如路灯损坏、道路上存在障碍物、道路上发生交通事故、道路上下水道井盖丢失等事件;人异常事件包括诸如开车驾驶员打手机,开车驾驶员吸烟,开车不寄安全带等事件;车辆异常事件包括诸如出现禁行的车辆,例如出现限行的工程车、叉车以及货车等。其中,预先需要采用大量的训练图片对各类型城市道路异常事件进行训练,形成异常判断神经网络,在输入相应图片后,通过异常判断神经网络,可以输出判断结果,即确认当前图片是否属于城市道路异常事件,如果属于则同时输出具体的异常类型。
在更具体的例子中,该神经网络可以分为行为识别网络和目标检测网络;其中,行为识别网络可以负责对驾驶员开车打手机、开车吸烟、开车不寄安全带,发生交通事故等进行识别处理;可以理解的是,深度学习网络采用常用的行为识别网络可以是诸如时空双流网络、R-C3D(Region 3-Dimensional Convolution)网络等,在本发明的一个实施例中,可以采用R-C3D网络进行行为识别,当神经网络识别出有开车打手机、开车吸烟、发生交通事故、开车不寄安全带的行为时,则进行上报处理;
而目标检测网络可以负责对路灯故障、道路上有障碍物、禁行车辆、道路上下水道井盖丢失等事件进行识别处理;常用的目标检测网络有yolo、ssd、yolov3等等,而在本发明实施例中,可以采用yolov3网络检测目标,当检测出异常目标时,进行相应的上报处理;其中,对路灯故障识别还可以设置特别的识别程序,例如,在一个例子中,可以首先获取大灯的状态,如果大灯的状态是灭的,默认是白天,不做任何处理;如果大灯是亮的,说明是比较暗的状态,因为大灯不能完全代表黑夜和白天;在白天转黑夜的过程,加入判断如果多帧连续监测,比如5帧都只有一个路灯不亮,其它的都亮,则认为是路灯损坏。
步骤S12,根据所述的城市道路异常事件生成城市道路异常上报信息,所述城市道路异常上报信息携带有图像信息、定位信息、异常类型以及时间信息;
步骤S13,对所述城市道路异常上报信息,在已经上报列表中确认是否存在重复的上报信息;其中,所述已经上报列表与控制中心的已经上报列表定时同步;此处的定时同步的过程可以是控制中心周期性将最新的已经上报列表发送给各感知终端,也可以是各感知终端周期性或在需要时向控制中心请求最新的已经上报列表。而在上报列表中至少包括有已经上报且在处理中的各城市道路异常事件对应定位信息、异常类型以及时间信息,在一些例子中也可以包含各城市道路异常事件的图像信息;
具体地,所述步骤S13进一步包括:
步骤S130,根据本次城市道路异常事件的定位信息,在已经上报列表选择用于对比的在先城市道路异常事件;具体地,可以将已经上报列表中,符合当前位置附近且异常类型相同的上报信息作为对比的在先道路异常事件;
步骤S131,将本次城市道路异常事件与所选择的在先城市道路异常事件进行逐一比较,进行定位信息比较以及图像相似度比较,以确定已经上报列表中是否存在重复的异常事件;
当比较结果为下述中至少一个时,则确定已经上报列表中存在重复的异常事件:两者位置相差在一预定的距离阈值(如50米)之内,或两者的图像场景相似度大于一预定的相似阈值(如70%)。可以理解的是,在不同的应用场合,可以设定具体需要满足的条件的个数,例如在一些场合需要符合其中一个,则判断为重复的异常事件;而在另一些场合则需要符合其中两个,则判断为重复的异常事件。而其中的预定的距离阈值、相似阈值以预先设定或预先标定。
在具体的例子中,在步骤S131中,将本次城市道路异常事件与在先城市道路异常事件进行图像相似度比较的步骤具体可以采用两种方法:
其一:计算本次城市道路异常事件与在先城市道路异常事件的直方图,计算两个直方图的相关性,将所述相关性确定为两个事件的图像场景相似度;可以理解的是,在现有技术中,常用的比较两幅图像的直方图的相关性的指标包含诸如:相关、卡方、直方图相交、bhattacharyya距离、陆地移动距离(EMD)等;而在本发明的一些例子中,可以采用EMD方法,其方法是求出从一幅图像(感知终端采集的四幅图像拼接而成的图像)转化为另一幅图像(在先城市道路异常图像)的代价;也可以用直方图来表示就是求得一个直方图转化为另一个直方图的代价;如果代价越小,则表示两幅图越相似。
其二:将本次城市道路异常事件与在先城市道路异常事件输入预先训练的相似性判断神经网络,通过所述神经网络计算,输出两个事件的图像场景相似度。
步骤S14,在确认结果为不存在重复的上报信息时,将所述城市道路异常上报信息发送给控制中心。
在一些其他的例子中,在所述步骤S14中进一步包括:
通过语音向公共交通工具驾驶员提示当前城市道路异常上报信息,在接收到公共交通工具驾驶员的语音确认后,将所述城市道路异常上报信息发送给控制中心。
可以理解的是,在本实施例中,通过设置于公共交通工具上的感知终端,可以很方便及时地将城市道路异常事件上报给控制中心;同时,由于在上报之前需要在最新的已上报清单中确认是否存在重复的上报信息,可以避免同一城市场道路异常事件被多次重复上报,降低了重复率,从而减少控制中心的工作量;再次,通过设置驾驶员语音确认功能,可以进一步降低误报率,提高上报准确度。
如图2所示,为本发明提供的一种城市道路感知处理方法的另一个实施例的主流程示意图。在本实施例中,所述城市道路感知处理方法应用于控制中心中,所述方法包括:
步骤S20,接收来自安装于公共交通工具上的感知终端所上报的城市道路异常信息;所述城市道路异常信息包括图像信息、定位信息、异常类型以及时间信息,所述图像信息为感知终端上的摄像头所拍摄的图像;
步骤S21,解析所述城市道路异常信息,获得其携带的图像信息、定位信息、异常类型以及时间信息;
步骤S210,在已经上报列表中,对所述城市道路异常信息进行查重处理;根据对本次上报信息所解析出的内容,查询存储的已经上报列表中是否存在针对同一城市道路异常事件的上报信息,如果存在,则丢弃本次的城市道路异常信息;
步骤S22,将所述城市道路异常信息下发给所述异常类型所对应的处理终端,并写入已经上报列表;其中,不同的异常类型可对应于不同的处理终端,这些处理终端设置于各职能部门中;处理终端可以是诸如职能部门中相关人员所携带的智能手机;职能部门中相关人员可以根据处理终端接收到的城市道路异常信息,去相应的定位位置进行处理,并在处理完成后,通过处理终端将相应的处理结果发送给控制中心;
步骤S23,在接收来自所述处理终端的处理结果后,在已经上报列表中删除本条城市道路异常信息对应的记录,从而可以确保已经上报列表中的异常信息为最新的在处理中(未处理完)的信息。
可以理解的是,其中步骤S210为可选的步骤。
同时,在一些实施例中,所述步骤S23进一步包括:
将所述城市道路异常信息进行语音提示,并识别人工确认结果语音,在识别的确认结果为所述城市道路异常信息真实有效时,将所述城市异常信息下发给所述异常类型所对应的处理终端;否则,所述流程回至步骤S20。
下述结合一个交通事故处理的例子进行说明,以便更好地理解上述图1至图3中描述的方法。
安装在公共交通上的感知终端拍摄并处理图像,当公共交通工具通过事故地点时,感知终端处理输入的图片,利用神经网络判断出事交通事故场所及类型,保存此时的图片和定位信息;并判断当前交通事故是否已经上报,如果已经上报,则不做处理,如果没有上报,判断感知终端是否开启了语音提示确认功能,如果是,则语音提示驾驶员,是否有交通事故发生;在驾驶员确认之后,上报异常事件信息,如果没有开启语音提示功能,则直接上报给控制中心;
控制中心在接收到感知终端上报的异常信息后,如果开启了人工确认,则语音提示人工确认,如果没有开启人工确认,则判断事件类型,下发给交通管理部门的处理终端;
交管部门相关人员接收到异常事件信息时,去现场确认处理相关事故,处理完成之后,向控制中心发送处理完成信息;
控制中心消除相关异常事件,整个处理过程完成。
如图4所示,示出了本发明提供的一种城市道路异常感知处理装置的结构示意图;一并结合图5至图7所示,在本实施例中,所述城市道路异常感知处理装置1设置于感知终端中,其包括:
采集单元11,用于通过设置于感知终端上的摄像头采集城市道路图像;
上报触发单元12,用于对所采集的图像进行异常分析处理,在确定为城市道路异常事件时,触发上报流程;
上报信息生成单元13,用于根据所述的城市道路异常事件生成城市道路异常上报信息,所述城市道路异常上报信息携带有图像信息、定位信息、异常类型以及时间信息;
过滤单元14,用于对所述城市道路异常上报信息,在已经上报列表中确认是否存在重复的上报信息;其中,所述已经上报列表与控制中心的已经上报列表定时同步;
上报单元15,用于在确认结果为不存在重复的上报信息时,将所述城市道路异常上报信息通过所述通信装置发送给控制中心。
在具体的例子中,所述上报触发单元12进一步包括:
驾驶员触发单元120,用于由公共交通工具驾驶员判断城市道路异常事件的类型,并向感知终端发送语音指令,触发上报流程;或
神经网络触发单元121,用于将所采集的图像输入预先训练好的异常判断神经网络,输出城市道路异常事件确认信息,并触发上报流程;其中,所述预先训练好的异常判断神经网络用于对所述采集的图像进行判断,确定是否属于道路异常事件、人异常事件以及车辆异常事件,所述城市道路异常事件确认信息包含有城市道路异常事件的类型。
在具体的例子中,所述过滤单元14进一步包括:
比较对象确认单元140,用于根据本次城市道路异常事件的定位信息,在已经上报列表选择用于对比的在先城市道路异常事件;
过滤处理单元141,用于将本次城市道路异常事件与所选择的在先城市道路异常事件进行逐一比较,进行定位信息比较以及图像相似度比较,以确定已经上报列表中是否存在重复的异常事件;
当比较结果为下述中至少一个时,则确定已经上报列表中存在重复的异常事件:两者位置相差在一预定的距离阈值之内,或两者的图像场景相似度大于一预定的相似阈值。
在具体的例子中,所述过滤处理单元140至少包括有图像相似度比较单元1400,其包括:
直方图比较单元1401,用于计算本次城市道路异常事件与在先城市道路异常事件的直方图,计算两个直方图的相关性,将所述相关性确定为两个事件的图像场景相似度;或
神经网络比较单元1402,用于将本次城市道路异常事件与在先城市道路异常事件输入预先训练的相似性判断神经网络,通过所述神经网络计算,输出两个事件的图像场景相似度。
更多的细节,可以参考前述对图1至图2的描述,在此不进行详述。
如图8所示,为本发明提供的一种城市道路感知处理装置的结构示意图。在本实施例中,所述城市道路感知处理装置2设置于控制中心中,其包括:
上报信息接收单元21,用于接收来自安装于公共交通工具上的感知终端所上报的城市道路异常信息;所述城市道路异常信息包括图像信息、定位信息、异常类型以及时间信息,所述图像信息为感知终端上的摄像头所拍摄的图像;
上报信息解析单元22,用于解析所述城市道路异常信息,获得其携带的图像信息、定位信息、异常类型以及时间信息;
查重处理单元23,用于根据对本次上报信息所解析出的内容,查询存储的已经上报列表中是否存在针对同一城市道路异常事件的上报信息,如果存在,则丢弃本次的城市道路异常信息;
上报信息下发处理单元24,用于将所述城市道路异常信息下发给所述异常类型所对应的处理终端,并写入已经上报列表;
处理结果核查单元25,用于在接收来自所述处理终端的处理结果后,在已经上报列表中删除本条城市道路异常信息对应的记录。
可以理解的是,其中查重处理单元23为可选的单元,在一些实施例中可以不用设置。
在一些具体的例子中,进一步包括:语音确认单元26,用于将所述城市道路异常信息进行语音提示,并识别人工确认结果语音,在识别的确认结果为所述城市道路异常信息真实有效时,将所述城市异常信息下发给所述异常类型所对应的处理终端。
更多的细节,可以参考前述对图3的描述,在此不进行详述。
如图9所示,示出了本发明提供的一种城市道路感知处理系统的结构示意图,一并结合图10和图11所示,在本实施例中,所述系统包括设置于多个公共交通工具上的感知终端、控制中心以及多个处理终端,其中:
所述感知终端包括中央处理单元,以及与中央处理单元相连接的多个摄像头、无线通信模块、语音交互装置以及显示器,所述中央处理单元至少包括前述图4至图7描述的城市道路异常感知处理装置1;
所述控制中心包括中央处理模块,以及与中央处理模块相连接的语音提示模块、交互模块、网络通信模块以及显示器,所述中央处理模块至少包括前述图8描述的城市道路异常感知处理装置2;
处理终端,用于接收来自所述控制中心的城市道路异常信息,并将异常事件的处理结果发送给所述控制中心,其可以是设置于各职能部门的智慧终端,如智能手机、平板电脑等。
可以理解的是,本发明实施例中的语音提示模块、交互模块、网络通信模块、显示器、摄像头以及无线通信模块等均是本领域技术人员所熟知及容易实现的,故不进行详述。更多的细节,可以参考前述对图4至图8的描述,在此不进行详述。
基于同一发明构思,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行本发明实施例的上述方法实施例中图1至图3所描述的城市道路异常感知处理方法。
实施本发明实施例,具有如下的有益效果:
在本发明提供的一种城市道路异常感知处理方法、装置及系统中,通过设置于公共交通工具上的感知终端,可以很方便及时地将城市道路异常事件上报给控制中心;控制中心在收到城市道路异常信息后,及时下发给各职能部门的处理终端,以提醒职能门及时处理。从而可以提高城市道路异常的上报以及处理的效率,可以降低城市的运行成本,且能及时响应各种突发事件;
同时,在上报城市道路异常信息之前通过在最新的已上报清单中确认是否存在重复的上报信息,可以避免同一城市场道路异常事件被多次重复上报,降低了重复率,从而可减少控制中心的工作量;
另外,通过设置公共交通工具的驾驶员的语音确认功能,可以进一步降低误报率,提高上报准确度。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (14)

1.一种城市道路异常感知处理方法,其特征在于,应用于设置在公共交通工具上的感知终端中,所述方法包括:
步骤S10,通过设置于感知终端上的摄像头采集城市道路图像;
步骤S11,对所采集的图像进行异常分析处理,在确定为城市道路异常事件时,触发上报流程;
步骤S12,根据所述的城市道路异常事件生成城市道路异常上报信息,所述城市道路异常上报信息携带有图像信息、定位信息、异常类型以及时间信息;
步骤S13,对所述城市道路异常上报信息,在已经上报列表中确认是否存在重复的上报信息;其中,所述已经上报列表与控制中心的已经上报列表定时同步;
步骤S14,在确认结果为不存在重复的上报信息时,将所述城市道路异常上报信息发送给控制中心。
2.如权利要求1所述的方法,其特征在于,所述步骤S11进一步包括:
由公共交通工具驾驶员判断城市道路异常事件的类型,并向感知终端发送语音指令,触发上报流程;或
将所采集的图像输入预先训练好的异常判断神经网络,输出城市道路异常事件确认信息,并触发上报流程;其中,所述预先训练好的异常判断神经网络用于对所述采集的图像进行判断,确定是否属于城市场道路异常事件以及异常事件类型,其中,所述城市道路异常事件类型包括:道路异常事件、人异常事件以及车辆异常事件。
3.如权利要求2所述的方法,其特征在于,所述步骤S13进一步包括:
根据本次城市道路异常事件的定位信息,在已经上报列表选择用于对比的在先城市道路异常事件;
将本次城市道路异常事件与所选择的在先城市道路异常事件进行逐一比较,进行定位信息比较以及图像相似度比较,以确定已经上报列表中是否存在重复的异常事件;
当比较结果为下述中至少一个时,则确定已经上报列表中存在重复的异常事件:两者位置相差在一预定的距离阈值之内,或两者的图像场景相似度大于一预定的相似阈值。
4.如权利要求3所述的方法,其特征在于,将本次城市道路异常事件与在先城市道路异常事件进行图像相似度比较的步骤具体为下述方法之一种:
计算本次城市道路异常事件与在先城市道路异常事件的直方图,计算两个直方图的相关性,将所述相关性确定为两个事件的图像场景相似度;或
将本次城市道路异常事件与在先城市道路异常事件输入预先训练的相似性判断神经网络,通过所述神经网络计算,输出两个事件的图像场景相似度。
5.如权利要求4所述的方法,其特征在于,在所述步骤S14中进一步包括:
通过语音向公共交通工具驾驶员提示当前城市道路异常上报信息,在接收到公共交通工具驾驶员的语音确认后,将所述城市道路异常上报信息发送给控制中心。
6.一种城市道路感知处理方法,其特征在于,应用于控制中心中,所述方法包括:
步骤S20,接收来自安装于公共交通工具上的感知终端所上报的城市道路异常信息;所述城市道路异常信息包括图像信息、定位信息、异常类型以及时间信息,所述图像信息为感知终端上的摄像头所拍摄的图像;
步骤S21,解析所述城市道路异常信息,获得其携带的图像信息、定位信息、异常类型以及时间信息;
步骤S22,将所述城市道路异常信息下发给所述异常类型所对应的处理终端,并写入已经上报列表;
步骤S23,在接收来自所述处理终端的处理结果后,在已经上报列表中删除本条城市道路异常信息对应的记录。
7.如权利要求6所述的方法,其特征在于,所述步骤S22之前进一步包括:
在已经上报列表中,对所述城市道路异常信息进行查重处理;根据对本次上报信息所解析出的内容,查询存储的已经上报列表中是否存在针对同一城市道路异常事件的上报信息,如果存在,则丢弃本次的城市道路异常信息;
或/和,所述步骤S23进一步包括:
将所述城市道路异常信息进行语音提示,并识别人工确认结果语音,在识别的确认结果为所述城市道路异常信息真实有效时,将所述城市异常信息下发给所述异常类型所对应的处理终端;否则,所述流程回至步骤S20。
8.一种城市道路异常感知处理装置,其特征在于,包括:
采集单元,用于通过设置于感知终端上的摄像头采集城市道路图像;
上报触发单元,用于对所采集的图像进行异常分析处理,在确定为城市道路异常事件时,触发上报流程;
上报信息生成单元,用于根据所述的城市道路异常事件生成城市道路异常上报信息,所述城市道路异常上报信息携带有图像信息、定位信息、异常类型以及时间信息;
过滤单元,用于对所述城市道路异常上报信息,在已经上报列表中确认是否存在重复的上报信息;其中,所述已经上报列表与控制中心的已经上报列表定时同步;
上报单元,用于在确认结果为不存在重复的上报信息时,将所述城市道路异常上报信息通过所述通信装置发送给控制中心。
9.如权利要求8所述的装置,其特征在于,所述上报触发单元进一步包括:
驾驶员触发单元,用于由公共交通工具驾驶员判断城市道路异常事件的类型,并向感知终端发送语音指令,触发上报流程;或
神经网络触发单元,用于将所采集的图像输入预先训练好的异常判断神经网络,输出城市道路异常事件确认信息,并触发上报流程;其中,所述预先训练好的异常判断神经网络用于对所述采集的图像进行判断,确定是否属于城市场道路异常事件以及异常事件类型,其中,所述城市道路异常事件类型包括:道路异常事件、人异常事件以及车辆异常事件。
10.如权利要求8或9所述的装置,其特征在于,所述过滤单元进一步包括:
比较对象确认单元,用于根据本次城市道路异常事件的定位信息,在已经上报列表选择用于对比的在先城市道路异常事件;
过滤处理单元,用于将本次城市道路异常事件与所选择的在先城市道路异常事件进行逐一比较,进行定位信息比较以及图像相似度比较,以确定已经上报列表中是否存在重复的异常事件;
当比较结果为下述中至少一个时,则确定已经上报列表中存在重复的异常事件:两者位置相差在一预定的距离阈值之内,或两者的图像场景相似度大于一预定的相似阈值;
其中,所述过滤处理单元至少包括有图像相似度比较单元,其包括:
直方图比较单元,用于计算本次城市道路异常事件与在先城市道路异常事件的直方图,计算两个直方图的相关性,将所述相关性确定为两个事件的图像场景相似度;或
神经网络比较单元,用于将本次城市道路异常事件与在先城市道路异常事件输入预先训练的相似性判断神经网络,通过所述神经网络计算,输出两个事件的图像场景相似度。
11.一种城市道路感知处理装置,其特征在于,包括:
上报信息接收单元,用于接收来自安装于公共交通工具上的感知终端所上报的城市道路异常信息;所述城市道路异常信息包括图像信息、定位信息、异常类型以及时间信息,所述图像信息为感知终端上的摄像头所拍摄的图像;
上报信息解析单元,用于解析所述城市道路异常信息,获得其携带的图像信息、定位信息、异常类型以及时间信息;
上报信息下发处理单元,用于将所述城市道路异常信息下发给所述异常类型所对应的处理终端,并写入已经上报列表;
处理结果核查单元,用于在接收来自所述处理终端的处理结果后,在已经上报列表中删除本条城市道路异常信息对应的记录。
12.如权利要求11所述的装置,其特征在于,进一步包括下述单元中的一个或多个:
查重处理单元,用于根据对本次上报信息所解析出的内容,查询存储的已经上报列表中是否存在针对同一城市道路异常事件的上报信息,如果存在,则丢弃本次的城市道路异常信息;
语音确认单元,用于将所述城市道路异常信息进行语音提示,并识别人工确认结果语音,在识别的确认结果为所述城市道路异常信息真实有效时,将所述城市异常信息下发给所述异常类型所对应的处理终端。
13.一种城市道路感知处理系统,其特征在于,所述系统包括设置于多个公共交通工具上的感知终端、控制中心以及多个处理终端,其中:
所述感知终端包括中央处理单元,以及与中央处理单元相连接的多个摄像头、无线通信模块、语音交互装置以及显示器,所述中央处理单元至少包括如权利要求8-10任一项所述的城市道路异常感知处理装置;
所述控制中心包括中央处理模块,以及与中央处理模块相连接的语音提示模块、交互模块、网络通信模块以及显示器,所述中央处理模块至少包括如权利要求11-12任一项所述的城市道路异常感知处理装置;
处理终端,用于接收来自所述控制中心的城市道路异常信息,并将异常事件的处理结果发送给所述控制中心。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行权利要求1-7中任一项所述的方法。
CN202010180356.3A 2020-03-16 2020-03-16 一种城市道路异常感知处理方法、装置、系统及存储介质 Pending CN113408319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010180356.3A CN113408319A (zh) 2020-03-16 2020-03-16 一种城市道路异常感知处理方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010180356.3A CN113408319A (zh) 2020-03-16 2020-03-16 一种城市道路异常感知处理方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN113408319A true CN113408319A (zh) 2021-09-17

Family

ID=77676061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010180356.3A Pending CN113408319A (zh) 2020-03-16 2020-03-16 一种城市道路异常感知处理方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113408319A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114999204A (zh) * 2022-07-29 2022-09-02 北京百度网讯科技有限公司 导航信息处理方法、装置、设备及存储介质
CN116777711A (zh) * 2023-08-18 2023-09-19 青岛华正信息技术股份有限公司 数字化城市管理的系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101909313A (zh) * 2009-06-08 2010-12-08 北京三星通信技术研究有限公司 一种移动通信系统自优化的方法及装置
WO2016041442A1 (zh) * 2014-09-16 2016-03-24 华为技术有限公司 数据处理的方法和设备
CN106530169A (zh) * 2016-09-18 2017-03-22 广东建邦计算机软件股份有限公司 城市事件处理方法和装置
KR101792141B1 (ko) * 2017-04-28 2017-11-20 주식회사 핸디소프트 교통사고 확인 자동 음성 안내 시스템 및 방법
CN107909238A (zh) * 2017-10-09 2018-04-13 中国电子科技集团公司第二十八研究所 一种城市协同处理与联动指挥系统及指挥大厅
CN108550264A (zh) * 2018-06-22 2018-09-18 泉州创先力智能科技有限公司 一种道路监控方法、装置、设备和存储介质
CN109448379A (zh) * 2018-12-13 2019-03-08 中南大学 一种社交媒体数据偶发性交通事件的识别及定位方法
KR101949525B1 (ko) * 2017-11-16 2019-03-18 주식회사 아이오티봇 무인탐지장치를 이용한 현장 안전관리 시스템
WO2019144416A1 (zh) * 2018-01-29 2019-08-01 深圳前海达闼云端智能科技有限公司 信息处理方法、系统、云处理设备以及计算机程序产品
CN110366107A (zh) * 2019-07-09 2019-10-22 三星电子(中国)研发中心 车辆通信方法及使用该方法的装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101909313A (zh) * 2009-06-08 2010-12-08 北京三星通信技术研究有限公司 一种移动通信系统自优化的方法及装置
WO2016041442A1 (zh) * 2014-09-16 2016-03-24 华为技术有限公司 数据处理的方法和设备
CN106530169A (zh) * 2016-09-18 2017-03-22 广东建邦计算机软件股份有限公司 城市事件处理方法和装置
KR101792141B1 (ko) * 2017-04-28 2017-11-20 주식회사 핸디소프트 교통사고 확인 자동 음성 안내 시스템 및 방법
CN107909238A (zh) * 2017-10-09 2018-04-13 中国电子科技集团公司第二十八研究所 一种城市协同处理与联动指挥系统及指挥大厅
KR101949525B1 (ko) * 2017-11-16 2019-03-18 주식회사 아이오티봇 무인탐지장치를 이용한 현장 안전관리 시스템
WO2019144416A1 (zh) * 2018-01-29 2019-08-01 深圳前海达闼云端智能科技有限公司 信息处理方法、系统、云处理设备以及计算机程序产品
CN108550264A (zh) * 2018-06-22 2018-09-18 泉州创先力智能科技有限公司 一种道路监控方法、装置、设备和存储介质
CN109448379A (zh) * 2018-12-13 2019-03-08 中南大学 一种社交媒体数据偶发性交通事件的识别及定位方法
CN110366107A (zh) * 2019-07-09 2019-10-22 三星电子(中国)研发中心 车辆通信方法及使用该方法的装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卫小伟: "智能交通系统及其在城市道路安全中的应用", 《电子设计工程》, no. 2009, 5 October 2009 (2009-10-05), pages 63 - 65 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114999204A (zh) * 2022-07-29 2022-09-02 北京百度网讯科技有限公司 导航信息处理方法、装置、设备及存储介质
CN114999204B (zh) * 2022-07-29 2022-11-08 北京百度网讯科技有限公司 导航信息处理方法、装置、设备及存储介质
CN116777711A (zh) * 2023-08-18 2023-09-19 青岛华正信息技术股份有限公司 数字化城市管理的系统及方法

Similar Documents

Publication Publication Date Title
CN110390262B (zh) 视频分析方法、装置、服务器及存储介质
US6442474B1 (en) Vision-based method and apparatus for monitoring vehicular traffic events
CN110619747A (zh) 一种高速公路道路智能监控方法及系统
CN110991224B (zh) 基于图像识别的行人闯红灯检测方法、装置及相关设备
KR20100119476A (ko) 연속류도로 사고 및 돌발 자동판별 검지시스템 및 그 방법
CN108932849B (zh) 一种记录多台机动车低速行驶违法行为的方法及装置
CN105825184A (zh) 车辆数据处理方法及装置
CN113408319A (zh) 一种城市道路异常感知处理方法、装置、系统及存储介质
CN114633744A (zh) 一种基于车联网系统的车辆报警方法
CN110782677A (zh) 一种违规车辆抓拍警示方法及装置
CN114387785A (zh) 一种基于智慧公路的安全管控方法、系统及可存储介质
CN113870554A (zh) 一种车辆安全监测方法、装置、存储介质及终端
CN111754767B (zh) 基于智慧灯杆的高速公路交通预警方法、装置和系统
CN111209797A (zh) 一种驾驶行为监控的方法、装置、设备和存储介质
CN112509325A (zh) 一种基于视频深度学习的非现场违法自动甄别方法
CN112907979B (zh) 一种基于多摄像头的机动车违法行驶轨迹跟踪系统及方法
CN113989715A (zh) 车辆违停检测方法、装置、电子设备及存储介质
CN113076852A (zh) 一种基于5g通信的占用公交车道车载抓拍处理系统
CN111368626B (zh) 车辆识别方法、装置、电子设备和存储介质
CN110909641A (zh) 一种检测摩托车超载的方法、装置及系统
CN114170798B (zh) 消息提醒系统以及方法
CN109895694B (zh) 一种车道偏离预警方法、装置及车辆
CN113112814B (zh) 右转不停车的抓拍方法、抓拍设备及计算机存储介质
CN116091989A (zh) 一种违章审核方法、装置及存储介质
CN114283361A (zh) 状态信息的确定方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination