CN112785875B - 信息处理装置、信息处理系统及方法以及记录介质 - Google Patents

信息处理装置、信息处理系统及方法以及记录介质 Download PDF

Info

Publication number
CN112785875B
CN112785875B CN202011041462.XA CN202011041462A CN112785875B CN 112785875 B CN112785875 B CN 112785875B CN 202011041462 A CN202011041462 A CN 202011041462A CN 112785875 B CN112785875 B CN 112785875B
Authority
CN
China
Prior art keywords
vehicle
information
image
driving
dangerous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011041462.XA
Other languages
English (en)
Other versions
CN112785875A (zh
Inventor
坂大弘幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN112785875A publication Critical patent/CN112785875A/zh
Application granted granted Critical
Publication of CN112785875B publication Critical patent/CN112785875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Public Health (AREA)
  • Educational Administration (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Development Economics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供信息处理装置、信息处理系统及方法以及记录介质。信息处理装置包括：接收部，从多个车辆接收由搭载于车辆的拍摄部拍摄到的图像信息及包括车辆的位置信息的车辆信息的各信息；图像处理部，进行基于所述图像信息来确定危险驾驶车辆的特征的图像处理；及变更部，在检测到危险驾驶车辆的情况下，以使对于所述接收部接收到的所述图像信息中的从检测到所述危险驾驶车辆的车辆的周边的其他车辆接收到的所述图像信息的所述图像处理的优先顺位比所述其他车辆以外的车辆高的方式进行变更。

Description

信息处理装置、信息处理系统及方法以及记录介质
技术领域
本公开涉及信息处理装置、信息处理系统及记录有信息处理程序的记录介质。
背景技术
通过具备与互联网等通信网络连接的功能的联网车的出现，能够通过与云服务器进行通信而接受各种信息服务。
例如，在日本特开2017-174244号公报中，提出了与基于外界识别技术的识别结果而受到控制的车辆经由网络而连接的信息提供装置，该信息处理装置基于过去发生了外界识别的失败时的条件来将与外界识别的失败的可能性相关的信息向车辆提供。详细而言，提出了：在发生了联网车的外界识别装置中的不检知、误检知等失败的情况下，将该异常与车辆的位置、天气气候等外部行驶环境建立关联并存储。
发明内容
发明所要解决课题
然而，在日本特开2017-174244号公报的技术中，由于需要从联网车向云服务器等信息处理装置收集各种信息而进行庞大的信息处理，所以处理负荷变高且响应变慢，因此存在改善的余地。
本公开提供能够加快危险驾驶车辆的确定所涉及的处理的信息处理装置、信息处理系统及记录有信息处理程序的记录介质。
用于解决课题的手段
本公开的一方案是一种信息处理装置，包括：接收部，从多个车辆接收由搭载于车辆的拍摄部拍摄到的图像信息及包括车辆的位置信息的车辆信息的各信息；图像处理部，进行基于所述图像信息来确定危险驾驶车辆的特征的图像处理；及变更部，在检测到危险驾驶车辆的情况下，以使对于所述接收部接收到的所述图像信息中的从检测到所述危险驾驶车辆的车辆的周边的其他车辆接收到的所述图像信息的所述图像处理的优先顺位比所述其他车辆以外的车辆高的方式进行变更。
根据本公开的一方案，从多个车辆接收由搭载于车辆的拍摄部拍摄到的图像信息及包括车辆的位置信息的车辆信息的各信息。
进行基于图像信息来确定危险驾驶车辆的特征的图像处理。例如，通过图像处理来确定路怒驾驶、靠近驾驶、蛇形驾驶等的危险驾驶车辆的特征。
并且，在检测到危险驾驶车辆的情况下，以使对于接收到的图像信息中的从检测到危险驾驶车辆的车辆的周边的其他车辆接收到的图像信息的图像处理的优先顺位比其他车辆以外的车辆高的方式进行变更。由此，由于在从检测到危险驾驶车辆的车辆的周边的其他车辆接收到的图像信息中包括危险驾驶车辆的可能性高，所以能够加快危险驾驶车辆的确定所涉及的处理。
需要说明的是，可以是，在车辆侧进行危险驾驶车辆的有无的检测，还从多个车辆接收危险驾驶车辆的检测结果。或者，可以是，信息处理装置还包括检测危险驾驶车辆的有无的检测部。
另外，可以是，将表示确定出的危险驾驶车辆的特征的特征信息向多个车辆报告。由此，能够向周边的车辆、前行的车辆等报告危险驾驶车辆的存在。在该情况下，可以是，基于图像处理结果，在从其他车辆接收到的图像信息中包括危险驾驶车辆的情况下，将特征信息向其他车辆报告。由此，能够向存在于危险驾驶车辆的附近的车辆报告危险驾驶车辆的存在。
需要说明的是，本公开也可以是一种信息处理系统，包括：车辆，包括搭载于车辆且拍摄车辆周边的拍摄部和检测包括车辆的位置信息的车辆信息的车辆信息检测部，发送由所述拍摄部拍摄到的图像信息和由所述车辆信息检测部检测到的所述车辆信息；及本公开的一方案的信息处理装置。
或者，还可以设为用于使计算机作为本公开的一方案的信息处理装置的各部发挥功能的信息处理程序。
发明效果
根据本公开，能够提供能够加快危险驾驶车辆的确定所涉及的处理的信息处理装置、信息处理系统及记录有信息处理程序的记录介质。
附图说明
图1是示出本实施方式的信息处理系统的概略结构的框图。
图2是示出本实施方式的信息处理系统中的车载器及云服务器的结构的框图。
图3是示出由第一实施方式的信息处理系统的车载器进行的处理的流程的一例的流程图。
图4是示出由第一实施方式的信息处理系统的云服务器进行的处理的流程的一例的流程图。
图5是示出由第二实施方式的信息处理系统的车载器进行的处理的流程的一例的流程图。
图6是示出由第二实施方式的信息处理系统的云服务器进行的处理的流程的一例的流程图。
具体实施方式
以下，参照附图来详细说明本发明的实施方式的一例。图1是示出本实施方式的信息处理系统的概略结构的框图。
在本实施方式的信息处理系统10中，搭载于车辆14的车载器16和作为信息处理装置的云服务器12经由通信网络18而连接。在本实施方式的信息处理系统10中，将通过多个车载器16的拍摄而得到的图像信息向云服务器12发送，云服务器12进行各种图像处理。作为图像处理的一例，进行确定路怒驾驶、靠近驾驶、蛇形驾驶等的危险驾驶车辆的图像处理等。
图2是示出本实施方式的信息处理系统中的车载器16及云服务器12的结构的框图。
车载器16具备控制部20、车辆信息检测部22、拍摄部24、通信部26及显示部28。
车辆信息检测部22检测至少包括车辆14的位置信息的与车辆14相关的车辆信息。作为车辆信息，除了位置信息之外，例如也可以检测车速加速度、转向角、加速器开度、路径等车辆信息。车辆信息检测部22详细而言能够应用取得表示车辆14的周边环境是何种状况的信息的多种传感器、装置。作为传感器、装置的一例，可举出车速传感器及加速度传感器等搭载于车辆14的传感器、GNSS(Global Navigation Satellite System：全球导航卫星系统)装置、车载通信机、导航系统及雷达装置等。GNSS装置从多个GNSS卫星接收GNSS信号来测定本车辆14的位置。GNSS装置随着能够接收的GNSS信号的数量变多而测位的精度提高。车载通信机是经由通信部26而进行与其他的车辆14之间的车车间通信及与路侧机之间的路车间通信的至少一方的通信装置。导航系统包括存储地图信息的地图信息存储部，基于从GNSS装置得到的位置信息和存储于地图信息存储部的地图信息来进行在地图上显示本车辆14的位置并对直到目的地为止的路径进行引导的处理。另外，雷达装置包括检测范围互相不同的多个雷达，检测存在于本车辆14的周边的行人、其他车辆14等物体，取得检测到的物体与本车辆14的相对位置及相对速度。另外，雷达装置内置有处理周边的物体的探知结果的处理装置。该处理装置基于最近的多次探知结果中包含的与各个物体的相对位置、相对速度的变化等，将噪声、护栏等路侧物等从监视对象排除，将行人、其他车辆14等作为监视对象物体而进行追踪监视。并且，雷达装置输出与各个监视对象物体的相对位置、相对速度等信息。
在本实施方式中，拍摄部24设置于车辆14的后部且拍摄车辆14的后方。另外，拍摄部24也可以进一步拍摄车辆14的前方及侧方的至少一方。需要说明的是，拍摄部24也可以设为设置于车辆14且拍摄车辆14的前方、侧方及后方的至少1个车辆周边的方式。另外，拍摄部24也可以进一步拍摄车室内。
通信部26经由通信网络18而与云服务器12确立通信，进行通过拍摄部24的拍摄而得到的图像信息、由车辆信息检测部22检测到的车辆信息等信息的收发。
显示部28通过显示信息来向乘员提供各种信息。在本实施方式中，通过显示从云服务器12提供的危险驾驶车辆信息来报告相对于危险驾驶车辆的警告。例如，作为危险驾驶车辆信息，显示危险驾驶车辆的形状(轿车、单厢车等)、颜色、车牌号等信息。
控制部20由包括CPU(Central Processing Unit：中央处理单元)、ROM(Read OnlyMemory：只读存储器)及RAM(Random Access Memory：随机存取存储器)等的一般的微型计算机构成。另外，控制部20进行将表示由拍摄部24拍摄到的图像的图像信息及在图像的拍摄时由车辆信息检测部22检测到的车辆信息向云服务器12上传的控制等。另外，控制部20有时进行将存在路怒驾驶、靠近驾驶、蛇形驾驶等的可能性的车辆14检测为危险车辆的处理。例如，确定通过拍摄部24的拍摄而得到的图像信息中的车辆14，将确定出的车辆14的图像中的大小为预先确定的大小以上的车辆14检测为危险车辆。或者，确定图像信息中的车辆14，根据确定出的车辆14的图像中的大小等来推定车间距离，将预先确定的距离以内的车辆14检测为危险车辆。或者，在具备雷达装置作为车辆信息检测部22的情况下，也可以基于车辆信息来检测距周边车辆的距离，将距周边车辆的距离为预先确定的距离以内的车辆14检测为危险车辆。或者，也可以将基于图像信息而检测到的距周边车辆的距离及基于车辆信息而检测到的距周边车辆的距离均为预先确定的距离以内的车辆14检测为危险车辆。
另一方面，云服务器12具备中央处理部30、中央通信部36及DB(数据库)38。
中央处理部30由包括CPU(Central Processing Unit：中央处理单元)、ROM(ReadOnly Memory：只读存储器)及RAM(Random Access Memory：随机存取存储器)等的一般的微型计算机构成。中央处理部30具备图像处理部32及处理顺序变更部34的功能，进行将从车载器16发送的图像信息及车辆信息向DB38存储并数据库化的处理，并且进行基于图像信息来确定路怒驾驶、靠近驾驶、蛇形驾驶等的危险驾驶车辆的特征的处理等。需要说明的是，中央处理部30的各功能通过执行存储于ROM等的程序而实现。另外，处理顺序变更部34对应于变更部，DB38对应于接收部。
图像处理部32对从车载器16接收到的图像信息进行各种图像处理，进行交通状况的检测、水淹、塌方等的灾害检知、危险驾驶车辆的特征的确定等。在本实施方式中，作为一例，图像处理部32对从车载器16接收到的图像信息进行图像处理来进行危险驾驶车辆的特征的确定。详细而言，进行根据图像信息来确定危险驾驶车辆的颜色、车牌号等特征的处理。需要说明的是，图像处理部32与车载器16的控制部20同样，有时进行将存在路怒驾驶、靠近驾驶、蛇形驾驶等的可能性的车辆14检测为危险车辆的处理。例如，确定图像信息中的车辆14，将确定出的车辆14的图像中的大小为预先确定的大小以上的车辆14检测为危险车辆。或者，也可以确定图像信息中的车辆14，根据确定出的车辆14的图像中的大小等来推定车间距离，将预先确定的距离以内的车辆14检测为危险车辆。或者，在具备雷达装置作为车辆信息检测部22的情况下，也可以基于车辆信息来检测距周边车辆的距离，将距周边车辆的距离为预先确定的距离以内的车辆14检测为危险车辆。或者，也可以将基于图像信息而检测到的距周边车辆的距离及基于车辆信息而检测到的距周边车辆的距离均为预先确定的距离以内的车辆14检测为危险车辆。需要说明的是，周边例如设为以车辆14为中心且半径10m以内等以车辆14为中心的预先确定的距离范围内。
处理顺序变更部34在检测到危险驾驶车辆的情况下变更图像处理部32的图像处理的处理顺序。详细而言，在检测到危险驾驶车辆的情况下，以使从检测到危险驾驶车辆的车辆14的周边的车辆14接收到的图像信息的优先顺位比其他的车辆14高的方式进行变更，使危险驾驶车辆的确定优先。需要说明的是，危险驾驶车辆的检测可以应用车载器16的控制部20的危险车辆的检测，也可以应用云服务器12的图像处理部32的危险车辆的检测。
中央通信部36经由通信网络18而与车载器16确立通信，进行图像信息、车辆信息等信息的收发。
DB38从车载器16接收图像信息及车辆信息，将接收到的图像信息及车辆信息分别建立对应并存储。
在如上述这样构成的信息处理系统10中，由车载器16的拍摄部24拍摄到的图像信息与至少包括位置信息的车辆信息一起向云服务器12发送并向DB38存储。
云服务器12通过图像处理部32基于存储于DB38的图像信息进行图像处理来确定路怒驾驶、靠近驾驶、蛇形驾驶等的危险驾驶车辆的特征。并且，云服务器12提供将表示危险驾驶车辆的特征的信息向周边的车辆14通知而催促注意的服务。
然而，由于在DB38中会存储庞大的数量的图像信息，所以若依次进行了图像处理的话，则直到确定危险驾驶车辆的特征为止会花费处理时间并且处理负荷会变高。
于是，在本实施方式中，在检测到危险驾驶车辆的情况下，处理顺序变更部34以将对于存储于DB38的图像信息中的从检测到危险驾驶车辆的车辆14的周边的其他车辆14接收到的图像信息的图像处理的优先顺位设定为比该其他车辆14以外的车辆14高的方式变更处理顺序。由此，能够加快危险驾驶车辆的特征的确定所涉及的处理。
接着，对由上述这样构成的本实施方式的信息处理系统10进行的详细的处理进行说明。以下，作为详细的处理例，对第一实施方式及第二实施方式进行说明。
(第一实施方式)
首先，对由第一实施方式的信息处理系统10的车载器16进行的详细的处理的流程进行说明。图3是示出由本实施方式的信息处理系统10的车载器16进行的处理的流程的一例的流程图。需要说明的是，图3的处理例如每隔预先确定的时间(作为一例，每隔10秒)而开始。
在步骤100中，控制部20取得图像信息及车辆信息，移向步骤102。即，取得通过拍摄部24的拍摄而得到的图像信息，并且取得由车辆信息检测部22检测到的车辆信息。
在步骤102中，控制部20判定是否存在被认为是路怒驾驶、靠近驾驶、蛇形驾驶等的危险车辆。该判定作为危险驾驶车辆的临时判定而判定存在危险驾驶车辆的可能性的危险车辆的存在。例如，基于图像信息，通过判定图像中的后方的车辆14的大小是否为预先确定的大小以上来判定像是路怒驾驶车辆的车辆14的有无。或者，基于图像信息来判定是否存在距周边车辆的距离为预先确定的距离以内的危险车辆。或者，在具备雷达装置作为车辆信息检测部22的情况下，基于车辆信息来检测距周边车辆的距离，判定是否存在距周边车辆的距离为预先确定的距离以内的危险车辆。或者，判定是否存在基于图像信息而检测到的距周边车辆的距离及基于车辆信息而检测到的距周边车辆的距离均为预先确定的距离以内的危险车辆。在该判定为否定的情况下，移向步骤104，在该判定为肯定的情况下，移向步骤106。
在步骤104中，控制部20对图像信息赋予车辆信息，经由通信部26及通信网络18而向云服务器12发送，移向步骤108。
另一方面，在步骤106中，控制部20对图像信息赋予车辆信息和危险车辆信息，经由通信部26及通信网络18而向云服务器12发送，移向步骤108。需要说明的是，步骤104及步骤106对应于发送部。
在步骤108中，控制部20判定是否从云服务器12接收到危险驾驶车辆信息。该判定对是否从云服务器12接收到通过后述的云服务器12的处理而确定出的危险驾驶车辆信息进行判定。在该判定为肯定的情况下移向步骤110，在该判定为否定的情况下结束一系列处理。
在步骤110中，控制部20将危险驾驶车辆信息向驾驶员报告，结束一系列处理。例如，控制部20通过将从云服务器12接收到的危险驾驶车辆信息向显示部28显示来催促乘员注意。另外，也可以将危险驾驶车辆信息通过语音而报告。另外，在从云服务器12发送危险驾驶车辆的图像信息的情况下，也可以将危险驾驶车辆的图像向显示部28显示。
接着，对由第一实施方式的信息处理系统10的云服务器12进行的具体的处理进行说明。图4是示出由本实施方式的信息处理系统10的云服务器12进行的处理的流程的一例的流程图。需要说明的是，由于从车载器16向云服务器12每隔预先确定的时间而发送图像信息，所以图4的处理例如在云服务器12从多个车载器16接收图像信息而在DB38中存储了图像信息的情况下开始。
在步骤200中，中央处理部30判定在从车载器16接收且存储于DB38的图像信息中是否存在被赋予了危险车辆信息的图像信息。即，判定在从车载器16发送出的图像信息中是否存在通过上述的步骤106的处理而被赋予了危险车辆信息的图像信息。在该判定为否定的情况下结束一系列处理，在该判定为肯定的情况下移向步骤202。
在步骤202中，处理顺序变更部34变更图像处理部32的图像处理的处理顺序，移向步骤204。详细而言，以使对于从发送了危险车辆信息的车辆14的周边的车辆14发送出的图像信息的图像处理的优先顺位比其他的车辆14高的方式进行变更。
在步骤204中，图像处理部32通过图像处理来根据图像信息而确定危险驾驶车辆的特征，移向步骤206。例如，确定图像信息中的车辆14，根据确定出的车辆14的图像中的大小等来推定车间距离，在预先确定的距离以内存在车辆14的情况下，判定为存在危险驾驶车辆。然后，进行根据图像信息来确定该危险驾驶车辆的颜色、车牌号等特征的处理。即，通过按照变更后的优先顺位依次进行对于图像信息的图像处理来确定危险驾驶车辆，如“是旅行车且车牌号是XX-XX”这样确定危险驾驶车辆的特征。然后，例如在对于3台量的图像信息的图像处理中以80％以上的概率成功特定出的情况下，结束危险驾驶车辆的确定。或者，也可以在成功确定出旅行车、轿车、卡车等车辆14的形状、颜色及车牌号的情况下停止危险驾驶车辆的确定。或者，还可以在成功确定出形状、颜色及车牌号的至少1个以上的情况下停止。
在步骤206中，中央处理部30选定表示由图像处理部32确定出的危险驾驶车辆的特征的危险驾驶车辆信息的发送目的地，移向步骤208。在发送目的地的选定中，例如选定发送了危险车辆信息的车辆14的周边的车辆14、发送了危险车辆信息的车辆14的周边的车辆14中的发送了包括危险驾驶车辆的图像信息的车辆14、位于发送了危险车辆信息的车辆14的行进方向的车辆14等。
在步骤208中，中央处理部30将危险驾驶车辆信息向选定出的其他车辆14发送，结束一系列处理。由此，在被发送了危险驾驶车辆的车辆14中，上述的步骤110的判定为肯定，向乘员报告危险驾驶车辆信息。需要说明的是，步骤208对应于报告部。
这样，在本实施方式中，在检测到危险驾驶车辆的情况下，将检测到危险驾驶车辆的车辆14的周边的其他车辆14的图像信息的处理的优先顺位设定为比其他高，确定危险驾驶车辆，因此能够加快危险驾驶车辆的确定所涉及的处理。
(第二实施方式)
接着，对由第二实施方式的信息处理系统10进行的详细的处理进行说明。
在第一实施方式中，说明了将危险车辆的有无的检测在车载器16侧进行的例，但在本实施方式中，设为以下方式：在车载器16不进行危险车辆的有无的检测，取而代之，在云服务器12侧进行危险车辆的有无的检测。
图5是示出由本实施方式的信息处理系统10的车载器16进行的处理的流程的一例的流程图。需要说明的是，图5的处理例如每隔预先确定的时间(作为一例，每隔10秒)而开始。另外，在本实施方式中，进行省略了图3的步骤102、106的处理后的处理，关于与图3相同的处理标注同一标号而说明。
在步骤100中，控制部20取得图像信息及车辆信息，移向步骤104。即，取得通过拍摄部24的拍摄而得到的图像信息，并且取得由车辆信息检测部22检测到的车辆信息。
在步骤104中，控制部20对图像信息赋予车辆信息，经由通信部26及通信网络18而向云服务器12发送，移向步骤108。
在步骤108中，控制部20判定是否从云服务器12接收到危险驾驶车辆信息。该判定对是否接收到通过后述的云服务器12的处理而确定出的危险驾驶车辆信息进行判定。在该判定为肯定的情况下移向步骤110，在该判定为为否定的情况下移向一系列处理。
在步骤110中，控制部20将危险驾驶车辆信息向驾驶员报告，结束一系列处理。例如，控制部20通过将从云服务器12接收到的危险驾驶车辆信息向显示部28显示来催促乘员注意。另外，也可以将危险驾驶车辆信息通过语音而报告。另外，在从云服务器12发送危险驾驶车辆的图像信息的情况下，也可以将危险驾驶车辆的图像向显示部28显示。
接着，对由第二实施方式的信息处理系统10的云服务器12进行的详细的处理进行说明。图6是示出由本实施方式的信息处理系统10的云服务器12进行的处理的流程的一例的流程图。需要说明的是，由于从车载器16向云服务器12每隔预先确定的时间而发送图像信息，所以图6的处理例如在云服务器12从多个车载器16接收图像信息而在DB38中存储了图像信息的情况下开始。另外，关于与图4的处理相同的处理，标注同一标号而说明。
在步骤201A中，中央处理部30进行检测危险车辆的有无的处理，移向步骤201B。在检测危险车辆的有无的处理中，例如，图像处理部32依次处理存储于DB38的图像信息及车辆信息的至少一方来检测危险车辆的有无。例如，对存储的图像信息依次进行基于图像信息来检测距周边车辆的距离为预先确定的距离以内的危险车辆的有无的处理。或者，对存储的车辆信息依次进行基于对存储于DB38的图像信息赋予的车辆信息(雷达装置等的检测结果)来检测距周边车辆的距离为预先确定的距离以内的危险车辆的有无的处理。或者，对存储的车辆信息依次进行基于图像信息及车辆信息来检测距周边车辆的距离为预先确定的距离以内的危险车辆的有无的处理。需要说明的是，步骤201A对应于检测部。
在步骤201B中，中央处理部30根据检测危险车辆的有无的处理的结果来判定是否存在危险车辆。在该判定为肯定的情况下移向上述的步骤202，在该判定为否定的情况下结束一系列处理。
在步骤202中，处理顺序变更部34变更图像处理部32的图像处理的处理顺序，移向步骤204。详细而言，以使对于从发送了检测到危险车辆的图像信息的车辆14的周边的车辆14发送的图像信息的图像处理的优先顺位比其他的车辆14高的方式进行变更。
在步骤204中，图像处理部32通过图像处理来根据图像信息而确定危险驾驶车辆的特征，移向步骤206。例如，确定图像信息中的车辆14，根据确定出的车辆14的图像中的大小等来推定车间距离，在预先确定的距离以内存在车辆14的情况下，判定为存在危险驾驶车辆。然后，进行根据图像信息来确定该危险驾驶车辆的颜色、车牌号等特征的处理。即，通过按照变更后的优先顺位依次进行对于图像信息的图像处理来确定危险驾驶车辆，如“是旅行车且车牌号是XX-XX”这样确定危险驾驶车辆的特征。然后，例如，在对于3台量的图像信息的图像处理中以80％以上的概率成功确定出的情况下，结束危险驾驶车辆的确定。或者，也可以在成功确定出旅行车、轿车、卡车等车辆14的形状、颜色及车牌号的情况下停止危险驾驶车辆的确定。或者，还可以在成功确定出形状、颜色及车牌号的至少1个以上的情况下停止。
在步骤206中，中央处理部30选定表示由图像处理部32确定出的危险驾驶车辆的特征的危险驾驶车辆信息的发送目的地，移向步骤208。在发送目的地的选定中，例如选定发送了危险车辆信息的车辆14的周边的车辆14、发送了危险车辆信息的车辆14的周边的车辆14中的发送了包括危险驾驶车辆的图像信息的车辆14、位于发送了危险车辆信息的车辆14的行进方向的车辆14等。
在步骤208中，中央处理部30将危险驾驶车辆信息向选定出的其他车辆14发送，结束一系列处理。由此，在被发送了危险驾驶车辆的车辆14中，上述的步骤110的判定为肯定，向乘员报告危险驾驶车辆信息。
这样，即使设为在云服务器12侧进行危险车辆的有无的判定的方式，也能够与上述的实施方式同样地加快危险驾驶车辆的确定所涉及的处理。
需要说明的是，由上述的各实施方式中的信息处理系统10的各部进行的处理设为通过执行程序而进行的软件处理进行了说明，但不限于此。例如，也可以设为利用硬件进行的处理。或者，还可以设为将软件及硬件双方组合而成的处理。另外，在设为软件的处理的情况下，也可以使程序存储于各种非暂时性存储介质而流通。
而且，本公开不限定于上述，除了上述以外，也能够在不脱离其主旨的范围内各种变形而实施。

Claims (8)

1.一种信息处理装置，包括：
接收部，从多个车辆的各个接收由以拍摄该各个车辆的外侧的方式搭载于所述多个车辆的各个的拍摄部拍摄到的图像信息及包括所述多个车辆的各个的位置信息的车辆信息；
图像处理部，进行基于所述图像信息来确定进行着包括路怒驾驶、靠近驾驶、蛇形驾驶的危险驾驶的危险驾驶车辆的特征的图像处理；及
变更部，在检测到危险驾驶车辆的情况下，以使对于所述接收部接收到的所述图像信息中的从发送了检测到所述危险驾驶车辆的图像信息的第一车辆的周边的第二车辆接收到的所述图像信息的所述图像处理的优先顺位比所述第二车辆以外的第三车辆高的方式进行变更。
2.根据权利要求1所述的信息处理装置，
所述接收部还从所述多个车辆接收所述危险驾驶车辆的检测结果。
3.根据权利要求1所述的信息处理装置，
还包括检测所述危险驾驶车辆的有无的检测部。
4.根据权利要求1～3中任一项所述的信息处理装置，
还包括将表示由所述图像处理部确定出的所述危险驾驶车辆的特征的特征信息向所述多个车辆报告的报告部。
5.根据权利要求4所述的信息处理装置，
所述报告部基于所述图像处理部的图像处理结果，在从所述第二车辆接收到的所述图像信息中包括所述危险驾驶车辆的情况下，将所述特征信息向所述第二车辆报告。
6.一种信息处理系统，包括：
车辆，包括搭载于车辆且拍摄车辆周边的拍摄部、检测包括车辆的位置信息的车辆信息的车辆信息检测部以及发送由所述拍摄部拍摄到的图像信息和由所述车辆信息检测部检测到的所述车辆信息的发送部；及
权利要求1～5中任一项所述的信息处理装置。
7.一种记录介质，记录有使计算机执行信息处理的信息处理程序，在所述信息处理中，
从多个车辆的各个接收由以拍摄该各个车辆的外侧的方式搭载于所述多个车辆的各个的拍摄部拍摄到的图像信息及包括所述多个车辆的各个的位置信息的车辆信息，
进行基于所述图像信息来确定进行着包括路怒驾驶、靠近驾驶、蛇形驾驶的危险驾驶的危险驾驶车辆的特征的图像处理，
在检测到危险驾驶车辆的情况下，以使对于接收到的所述图像信息中的从发送了检测到所述危险驾驶车辆的图像信息的第一车辆的周边的第二车辆接收到的所述图像信息的所述图像处理的优先顺位比所述第二车辆以外的第三车辆高的方式进行变更。
8.一种信息处理方法，
计算机从多个车辆的各个接收由以拍摄该各个车辆的外侧的方式搭载于所述多个车辆的各个的拍摄部拍摄到的图像信息及包括所述多个车辆的各个的位置信息的车辆信息，
计算机进行基于所述图像信息来确定进行着包括路怒驾驶、靠近驾驶、蛇形驾驶的危险驾驶的危险驾驶车辆的特征的图像处理，
计算机在检测到危险驾驶车辆的情况下，以使对于接收到的所述图像信息中的从发送了检测到所述危险驾驶车辆的图像信息的第一车辆的周边的第二车辆接收到的所述图像信息的所述图像处理的优先顺位比所述第二车辆以外的第三车辆高的方式进行变更。
CN202011041462.XA 2019-11-11 2020-09-28 信息处理装置、信息处理系统及方法以及记录介质 Active CN112785875B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-204265 2019-11-11
JP2019204265A JP7243585B2 (ja) 2019-11-11 2019-11-11 情報処理装置、情報処理システム、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
CN112785875A CN112785875A (zh) 2021-05-11
CN112785875B true CN112785875B (zh) 2023-01-13

Family

ID=75750436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011041462.XA Active CN112785875B (zh) 2019-11-11 2020-09-28 信息处理装置、信息处理系统及方法以及记录介质

Country Status (3)

Country Link
US (1) US11636692B2 (zh)
JP (1) JP7243585B2 (zh)
CN (1) CN112785875B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233455A1 (ja) * 2022-05-30 2023-12-07 三菱電機株式会社 運転支援装置及び運転支援方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010015436A (ja) * 2008-07-04 2010-01-21 Honda Motor Co Ltd 車両周辺画像の切替装置
CN104978860A (zh) * 2015-07-24 2015-10-14 延锋伟世通电子科技（上海）有限公司 基于车辆传感器和云计算的车辆环境检测系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4600069B2 (ja) * 2005-02-10 2010-12-15 日産自動車株式会社 情報処理システム
US8923147B2 (en) * 2011-10-03 2014-12-30 Qualcomm Incorporated Method and apparatus for filtering and processing received vehicle peer transmissions based on reliability information
US9264673B2 (en) * 2011-11-20 2016-02-16 Magna Electronics, Inc. Vehicle vision system with enhanced functionality
JP5408240B2 (ja) * 2011-12-12 2014-02-05 株式会社デンソー 警告システム、車両装置、及びサーバ
DE112012005852T5 (de) * 2012-02-10 2014-11-27 Mitsubishi Electric Corporation Fahrerassistenzvorrichtung und Fahrerassistenzverfahren
KR102113769B1 (ko) * 2013-11-26 2020-05-21 현대모비스 주식회사 Ｖ２ｘ 기반 안전운전지원서비스를 위한 운전자 맞춤형 다운 경고 중재 장치 및 방법
JP6142784B2 (ja) * 2013-11-27 2017-06-07 株式会社デンソー 運転支援装置
JP2017174244A (ja) * 2016-03-25 2017-09-28 株式会社日立製作所 情報提供装置
US11267461B2 (en) * 2016-11-18 2022-03-08 Mitsubishi Electric Corporation Driving assistance apparatus and driving assistance method
JP6815262B2 (ja) 2017-04-10 2021-01-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 交通違反検知装置、システム、交通違反検知方法およびプログラム
WO2018225178A1 (ja) 2017-06-07 2018-12-13 三菱電機株式会社 危険車両予測装置、危険車両警報システムおよび危険車両予測方法
DE112018004705T5 (de) 2017-08-23 2020-06-18 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem, informationsverarbeitungsverfahren und programm
JP2019045908A (ja) 2017-08-29 2019-03-22 富士通株式会社 情報共有システム、情報共有方法、および情報共有プログラム
JP2019106041A (ja) 2017-12-13 2019-06-27 オムロン株式会社 運転評価報告書、車載機、運転評価報告書作成装置、運転評価報告書作成システム、及び運転評価報告書作成のためのコンピュータプログラム
CN109979239A (zh) * 2017-12-28 2019-07-05 北京百度网讯科技有限公司 违规车辆提醒方法、装置及设备
CN109583410B (zh) * 2018-12-07 2023-04-18 广东翼卡车联网服务有限公司 一种基于图像识别技术的行车安全预警系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010015436A (ja) * 2008-07-04 2010-01-21 Honda Motor Co Ltd 車両周辺画像の切替装置
CN104978860A (zh) * 2015-07-24 2015-10-14 延锋伟世通电子科技（上海）有限公司 基于车辆传感器和云计算的车辆环境检测系统

Also Published As

Publication number Publication date
CN112785875A (zh) 2021-05-11
US11636692B2 (en) 2023-04-25
JP7243585B2 (ja) 2023-03-22
JP2021077175A (ja) 2021-05-20
US20210142079A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
US9786171B2 (en) Systems and methods for detecting and distributing hazard data by a vehicle
CN111091706B (zh) 信息处理系统和信息处理方法
US10528850B2 (en) Object classification adjustment based on vehicle communication
US11594038B2 (en) Information processing device, information processing system, and recording medium recording information processing program
CN111200796A (zh) 用于评估车辆的环境感测系统的操作的系统及方法
CN111262903B (zh) 服务器装置及车辆
US8791806B2 (en) Real-time detection of hazardous driving
US11600076B2 (en) Detection of a hazardous situation in road traffic
CN118046896A (zh) 驾驶辅助装置
CN112785875B (zh) 信息处理装置、信息处理系统及方法以及记录介质
KR101422644B1 (ko) 과적 차량 단속 시스템 및 방법
CN112896160B (zh) 交通标志信息获取方法及相关设备
JP7347390B2 (ja) 運転評価装置、運転評価システム、及び運転評価プログラム
CN112349142B (zh) 一种车辆追尾预警方法及其相关设备
EP3422321A1 (en) A road accident warning system and method
CN114333414A (zh) 停车让行检测装置、停车让行检测系统以及记录介质
CN112026700A (zh) 汽车防撞预警方法、系统及存储介质
JP2021170180A (ja) 自動車
CN112970051A (zh) 信息处理装置以及驾驶支援装置
JP2020071594A (ja) 履歴蓄積装置、及び履歴蓄積プログラム
CN113415289B (zh) 无人驾驶车辆的标识装置和方法
US20240239352A1 (en) Systems and methods for detecting speeding violations
US20230360252A1 (en) Information processing device, information processing system, and information processing method
CN118823998A (zh) 过滤装置、过滤方法以及程序
JP2024151581A (ja) 情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant