CN111656421B - 车辆用图像数据生成装置、行驶轨道数据生成系统、区间图像数据生成程序以及存储介质 - Google Patents

车辆用图像数据生成装置、行驶轨道数据生成系统、区间图像数据生成程序以及存储介质 Download PDF

Info

Publication number
CN111656421B
CN111656421B CN201880087912.3A CN201880087912A CN111656421B CN 111656421 B CN111656421 B CN 111656421B CN 201880087912 A CN201880087912 A CN 201880087912A CN 111656421 B CN111656421 B CN 111656421B
Authority
CN
China
Prior art keywords
image data
section
section image
data
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880087912.3A
Other languages
English (en)
Other versions
CN111656421A (zh
Inventor
武藤茂裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN111656421A publication Critical patent/CN111656421A/zh
Application granted granted Critical
Publication of CN111656421B publication Critical patent/CN111656421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

本发明提供的车辆用图像数据生成装置(2)在与服务器(3)之间进行数据通信，该服务器(3)对基础地图数据、航空照片数据以及导航用地图数据中至少任意一个进行图像识别，并且对由车载照相机(22)生成的图像数据进行图像识别，生成自动驾驶用的行驶轨道数据。车辆用图像数据生成装置具备：区间图像数据生成部(11)，根据由车载照相机生成的图像数据生成每个区间的图像数据作为区间图像数据；以及数据发送部(21)，将由区间图像数据生成部生成的区间图像数据发送至服务器。

Description

车辆用图像数据生成装置、行驶轨道数据生成系统、区间图像 数据生成程序以及存储介质
相关申请的交叉引用
本申请主张于2018年2月1日申请的日本申请编号2018－016396号的优先权，并在此引用其全部内容。
技术领域
本公开涉及车辆用图像数据生成装置、行驶轨道数据生成系统、区间图像数据生成程序以及存储介质。
背景技术
在服务器中，提供了对基础地图数据、航空照片数据以及导航用地图数据等进行图像识别，生成自动驾驶用的行驶轨道数据的构成。然而，在对这些各种数据进行图像识别的构成中，例如在高架下的区间、隧道的区间以及车辆停车的区间等，难以识别车道线，而有可能难以生成行驶轨道数据。根据这样的情况，考虑有在车辆侧，将由车载照相机生成的图像数据发送至服务器，在服务器中，除了对上述的基础地图数据等进行图像识别之外，也对从车辆侧接收的图像数据进行图像识别，通过从车辆侧接收到的图像数据补充根据基础地图数据等难以识别车道线的范围来生成行驶轨道数据。例如在专利文献1公开了车载照相机拍摄车辆前方，生成车辆前方的图像数据的构成。
专利文献1：日本特开2017－78607号公报
在车辆侧，若将由车载照相机生成的图像数据直接发送至服务器，则有发送至服务器的数据量变得庞大的问题。另外，若采用通信成本取决于数据量的收费制度，则也有通信成本随着该庞大的数据量而增大的问题。
发明内容
本公开的目的在于提供一种车辆用图像数据生成装置、行驶轨道数据生成系统、区间图像数据生成程序以及存储介质，能够抑制从车辆侧对生成自动驾驶用的行驶轨道数据的服务器发送的数据量而适当地避免由于数据量的增大而假定的各种问题，并且能够将对生成自动驾驶用的行驶轨道数据有效的数据适当地发送至服务器。
根据本公开的一方式，在与服务器之间进行数据通信，该服务器对基础地图数据、航空照片数据以及导航用地图数据中至少任意一个进行图像识别，并且对由车载照相机生成的图像数据进行图像识别，生成自动驾驶用的行驶轨道数据。区间图像数据生成部根据由车载照相机生成的图像数据生成每个区间的图像数据作为区间图像数据。数据发送部将由区间图像数据生成部生成的区间图像数据发送至服务器。
不将车载照相机生成的图像数据直接发送至服务器，而根据图像数据生成每个区间的区间图像数据，并将该生成的区间图像数据发送至服务器。由此，能够抑制从车辆侧对生成自动驾驶用的行驶轨道数据的服务器发送的数据量而适当地避免由于数据量的增大而假定的各种问题，并且能够将对生成自动驾驶用的行驶轨道数据有效的数据适当地发送至服务器。
附图说明
通过参照附图的下述的详细描述，本公开的上述目的以及其它的目的、特征、优点变得更加明确。该附图为：
图1是表示一实施方式的整体构成的功能框图。
图2是表示服务器的构成的功能框图。
图3是表示区间图像数据生成处理的流程图。
图4是表示图像数据的图。
图5是表示连结图像数据的图。
图6是表示区间图像数据的图。
图7是表示除去区间图像数据内的不需要物体的方式的图。
图8是表示识别区间图像数据内的白线的方式的图。
图9是表示确定区间图像数据内的车道中心线的方式的图。
图10是表示确定车道中心线的临时位置的方式的图。
图11是表示三车道的道路的图。
图12是表示车道的属性的图。
图13是表示确定车道中心线的绝对位置的方式的图。
图14是表示路上信息数据的图。
图15是表示成为区间图像数据源的图像数据的图。
图16是表示区间图像数据的图。
具体实施方式
以下，参照附图对一实施方式进行说明。如图1所示，行驶轨道数据生成系统1具有安装于车辆的车辆用图像数据生成装置2、和服务器3，车辆用图像数据生成装置2和服务器3构成为能够经由通信网进行数据通信。通信网例如是广域通信网。
如图2所示，服务器3具有对例如从日本国土地理院提供的基础地图数据、由航空器从上空拍摄到的航空照片数据以及导航的用途所利用的导航用地图数据等进行图像识别，生成自动驾驶用的行驶轨道数据的功能。服务器3具有图像识别部4、交叉点间车道网络数据生成部5、交叉点间车道网络数据处理部6、交叉点内车道网络数据生成部7、交叉点内车道网络数据修正部8、图像变化点确定部9、以及变化点信息反映部10。
对于图像识别部4而言，若输入基础地图数据、航空照片数据以及导航用地图数据，或者输入从车辆侧发送的区间图像数据，则对该输入的各种数据进行图像识别，生成表示交叉点间的白线的交叉点间白线数据、表示交叉点内的喷图的交叉点内喷图数据，并且生成表示不可识别区间的不可识别区间信息数据。不可识别区间信息数据是高架下的区间、隧道的区间以及车辆停车的区间等，是难以识别车道线的区间。
对于交叉点间车道网络数据生成部5而言，若输入导航用地图数据，则根据该输入的导航用地图数据生成以广域的交叉点间为对象的广域交叉点间车道网络数据。广域例如是以全国的道路为对象的区域。对于交叉点间车道网络数据处理部6而言，若输入广域交叉点间车道网络数据以及交叉点间白线数据，则根据该输入的各种数据进行广域交叉点间车道网络数据的位置的调整、属性的设定，生成广域交叉点间车道网络数据的确定版。属性是车道线的线型、颜色。
对于交叉点内车道网络数据生成部7而言，若输入广域交叉点间车道网络数据的确定版，则根据该输入的广域交叉点间车道网络数据的确定版使用机器学习模型等方法，生成将交叉点内暂定的广域车道网络数据。对于交叉点内车道网络数据修正部8而言，若输入将交叉点内暂定的广域车道网络数据以及交叉点内喷图数据，则根据该输入的各种数据修正交叉点内的车道网络数据，生成将广域的交叉点间和交叉点内作为对象的广域车道网络数据的确定版。
对于图像变化点确定部9而言，若输入区间图像数据、广域车道网络数据的确定版以及路上信息数据，则根据该输入的各种数据确定从同一区间的过去的区间图像数据起的变化点作为变化点信息，生成变化点信息数据。对于变化点信息反映部10而言，若输入变化点信息数据，则使该输入的变化点信息数据反映到广域车道网络数据的确定版。
车辆用图像数据生成装置2具有区间图像数据生成部11、不需要物体除去部12、白线识别部13、车道中心线确定部14、临时位置确定部15、绝对位置确定部16、评价结果赋予部17、区间图像数据保存部18、变化点信息确定部19、路上信息数据生成部20、以及数据发送部21。这些功能模块由具有CPU(Central Processing Unit：中央处理器)、ROM(ReadOnly Memory：只读存储器)、RAM(Random Access Memory：随机存储器)以及I/O(Input/Output：输入输出)的微型计算机构成。微型计算机通过执行储存于非瞬态有形存储介质的计算机程序，来执行与计算机程序对应的处理，控制车辆用图像数据生成装置2的所有动作。微型计算机执行的计算机程序包含有区间图像数据生成程序。
车载照相机22以拍摄包含车辆前方的路面的范围的方式安装于车辆，拍摄包含车辆前方的路面的范围生成图像数据，并将该生成的图像数据输出至车辆用图像数据生成装置2。GPS(Global Positioning System：全球定位系统)接收机23接收从环绕地球的多个GPS卫星发送的GPS信号，运算该接收的GPS信号中储存的参数来确定车辆的GPS轨迹，并将该确定出的GPS轨迹输出至车辆用图像数据生成装置2。GPS轨迹是表示绝对的轨迹的绝对轨迹。陀螺仪传感器24根据作用于车体的角速度运算该车体的姿势以确定车辆的推测轨迹，并将该确定出的车辆的推测轨迹输出至车辆用图像数据生成装置2。车速传感器22根据车速脉冲确定车速，并将该确定出的车速输出至车辆用图像数据生成装置2。
车辆用图像数据生成装置2使用从车载照相机22输入的图像数据、从GPS接收机23输入的车辆的GPS轨迹、从陀螺仪传感器24输入的车辆的推测轨迹、从车速传感器25输入的车速、以及导航用地图数据，生成每个区间的图像数据作为区间图像数据，并将该生成的区间图像数据发送至服务器3。
区间图像数据生成部11具有图像数据排列部11a、图像数据连结部11b、以及图像数据分割部11c。图像数据排列部11a根据车辆的推测轨迹的坐标点排列由车载照相机22按时间序列生成的多个图像数据。图像数据连结部11b根据路面的喷图连结由图像数据排列部11a排列的多个图像数据，生成连结图像数据。图像数据分割部11c根据路面的喷图或者导航用地图数据按区间分割由图像数据连结部11b生成的连结图像数据，生成区间图像数据。
不需要物体除去部12进行由区间图像数据生成部11生成的区间图像数据内的阴影的亮度调整，除去区间图像数据内的不需要物体。白线识别部13识别由区间图像数据生成部11生成的区间图像数据内的白线。
车道中心线确定部14根据白线识别部13的白线的识别结果确定区间图像数据内的车道中心线。临时位置确定部15使用车辆的GPS轨迹确定车辆的行进方向，对导航用地图数据的道路中心线以及车辆的行驶轨迹中至少任意一方与车辆的行进方向进行比较，确定由车道中心线确定部14确定的区间图像数据内的车道中心线的临时位置。绝对位置确定部16对导航用地图数据与白线识别部13的白线的识别结果进行比较，确定临时位置被确定出的区间图像数据内的车道中心线的绝对位置。
评价结果赋予部17对由区间图像数据生成部11生成的区间图像数据赋予评价结果。评价结果例如是将图像的亮度、区间图像数据内的垃圾的除去率以及白线识别率等数值化后的指标，视为数值越高评价结果越高，数值越低评价结果越低。区间图像数据保存部18将由区间图像数据生成部11生成的区间图像数据与由评价结果赋予部17对该区间图像数据赋予的评价结果建立对应关系并保存。
变化点信息确定部19确定由区间图像数据生成部11生成的区间图像数据中从同一区间的过去的区间图像数据起的变化点作为变化点信息。变化点信息是车道数的增减、路面的喷图的变化等。
路上信息数据生成部20根据由车载照相机22生成的图像数据生成路上信息数据，将该生成的路上信息数据与区间图像数据建立对应关系。路上信息数据是与位于区间图像数据内的路上的物体相关的信息，是与人行横道、停止线、交叉点中心部的菱形图形等的坐标位置、道路标志或者信号灯等的距车道中心线的相对位置以及距路面的高度等相关的信息。
数据发送部21将保存于区间图像数据保存部18的区间图像数据发送至服务器3。另外，数据发送部21在将区间图像数据发送至服务器3时，将由白线识别部13识别出的区间图像数据内的白线的识别结果、由绝对位置确定部16确定出的区间图像数据内的车道中心线的绝对位置、由评价结果赋予部16赋予的评价结果、以及由变化点信息确定部19确定出的变化点信息发送至服务器3。另外，数据发送部21将由路上信息数据生成部20生成的路上信息数据发送至服务器3。
接下来，参照图3～图16对上述的构成的作用进行说明。
车辆用图像数据生成装置2通过执行区间图像数据生成程序来执行区间图像数据生成处理。若区间图像数据生成处理的开始事件成立，则车辆用图像数据生成装置2开始区间图像数据生成处理，根据车辆的推测轨迹的坐标点排列由车载照相机22按时间序列生成的多个图像数据(S1)。如图4所示，车辆用图像数据生成装置2根据车辆的推测轨迹的坐标点排列以恒定时间的间隔对由车载照相机22生成的图像数据进行正交变换后的多个图像数据。该情况下，车辆用图像数据生成装置2将车辆的行进方向例如设为向上来排列多个图像数据。
接下来，车辆用图像数据生成装置2根据路面的喷图连结排列的多个图像数据，生成连结图像数据(S2)。如图5所示，车辆用图像数据生成装置2将多个图像数据连结为例如实线的白线、虚线的白线对齐，生成连结图像数据。另外，车辆用图像数据生成装置2也可以根据白线以外的路面的喷图的指标连结多个图像数据，生成连结图像数据。
接下来，车辆用图像数据生成装置2根据路面的喷图或者导航用地图数据按区间分割生成的连结图像数据，生成区间图像数据(S3)。如图6所示，车辆用图像数据生成装置2例如根据与白线的缝隙、导航地图数据的节点位置、车道变更相关的信息等按区间分割连结图像数据，生成区间图像数据。另外，车辆用图像数据生成装置2也可以根据白线的缝隙以外的路面的喷图的指标按区间分割连结图像数据，生成区间图像数据。步骤S1～S3相当于区间图像数据生成步骤。
接下来，车辆用图像数据生成装置2进行生成的区间图像数据内的阴影的亮度调整，除去区间图像数据内的不需要物体(S4)。如图7所示，例如在区间图像数据A存在停车的车辆的情况下，车辆用图像数据生成装置2应用与该区间图像数据A同一区间的多个区间图像数据B、C，通过使区间图像数据A～C重叠并进行图像处理，来除去区间图像数据A的车辆，生成除去了车辆的区间图像数据X。
接下来，车辆用图像数据生成装置2识别生成的区间图像数据内的白线(S5)。如图8所示，车辆用图像数据生成装置2例如识别为相对于车辆的行进方向处于右侧的车道线是虚线的白线，并识别为左侧的车道线是实线的白线。
接下来，车辆用图像数据生成装置2根据区间图像数据内的白线的识别结果确定该区间图像数据内的车道中心线(S6)。如图9所示，车辆用图像数据生成装置2在区间图像数据内的虚线的白线与实线的白线的中间位置确定车道中心线。
接下来，车辆用图像数据生成装置2使用车辆的GPS轨迹确定车辆的行进方向，并对导航用地图数据的道路中心线以及车辆的行驶轨迹中至少任意一方与车辆的行进方向进行比较，对确定出的区间图像数据内的车道中心线的临时位置进行确定(S7)。如图10所示，若是实施左侧通行的道路交通系统的地域，则车辆用图像数据生成装置2以相对于车辆的行进方向道路中心线成为右侧的方式确定车道中心线的临时位置。例如若导航用地图数据的道路中心线被设定为连结东北方向和西南方向，则车辆用图像数据生成装置2同样地以连结东北方向和西南方向的方式确定车道中心线的临时位置。另外，若是实施右侧通行的道路交通系统的地域，则车辆用图像数据生成装置2以相对于车辆的行进方向道路中心线成为左侧的方式确定车道中心线的临时位置。
接下来，车辆用图像数据生成装置2对导航用地图数据和白线识别部13的白线的识别结果进行比较，确定临时位置被确定出的区间图像数据内的车道中心线的绝对位置(S8)。如图11～图13所示，例如若在三车道的道路中规定各个车道的属性，则车辆用图像数据生成装置2根据该规定的属性确定车道中心线的绝对位置。即，若车辆用图像数据生成装置2根据导航用地图数据判定为全部车道数为“3”，并判定为左侧车道线为“实线的白线”并且右侧车道线为“虚线的白线”，则将该车道中心线的绝对位置确定在三个车道中的左侧车道亦即“车道1”内。同样地，若车辆用图像数据生成装置2根据导航用地图数据判定为全部车道数为“3”，并判定为左侧车道线为“虚线的白线”并且右侧车道线为“虚线的白线”，则将该车道中心线的绝对位置确定在三个车道中的中央车道亦即“车道2”。另外，若车辆用图像数据生成装置2根据导航用地图数据判定为全部车道数为“3”，并判定为左侧车道线为“虚线的白线”并且右侧车道线为“实现的白线”，则将该车道中心线的绝对位置确定在三个车道中的右侧车道亦即“车道3”内。
接下来，车辆用图像数据生成装置2对生成的区间图像数据赋予评价结果(S9)，将生成的区间图像数据与对该区间图像数据赋予的评价结果建立对应关系并保存(S10)。车辆用图像数据生成装置2在已经保存了与想要保存的区间图像数据同一区间的区间图像数据的情况下，对该想要保存的区间图像数据赋予的评价结果和对已经保存的区间图像数据赋予的评价结果进行比较，仅保存评价结果较高的一方。
接下来，车辆用图像数据生成装置2确定区间图像数据中从同一区间的过去的区间图像数据起的变化点作为变化点信息(S11)。接下来，车辆用图像数据生成装置2根据由车载照相机22生成的图像数据生成路上信息数据，并将该生成的路上信息数据与区间图像数据建立对应关系(S12)。如图14所示，车辆用图像数据生成装置2在区间图像数据内生成人行横道、停止线等的坐标位置、道路标志或者信号灯等的与车道中心线的相对位置以及距路面的高度等作为路上信息数据，并将该生成的路上信息数据与区间图像数据建立对应关系。在图14的例示中，车辆用图像数据生成装置2例如将区间图像数据的左上端点作为基准坐标(0，0)，确定表示喷涂了人行横道、停止线的范围的坐标位置作为路上信息数据。另外，车辆用图像数据生成装置2例如确定表示竖立了速度限制为40千米的道路标志的地点(P1)的距车道中心线的相对位置、该道路标志距路面的高度作为路上信息数据。另外，在图14的例示中，对速度限制为40千米的道路标志的地点(P1)存在于区间图像数据内的情况进行了说明，但若信号灯的地点(P2)存在于区间图像数据内，则车辆用图像数据生成装置2确定表示竖立了信号灯的地点(P2)的与车道中心线的相对位置、该信号灯距路面的高度作为路上信息数据。
然后，车辆用图像数据生成装置2将保存的区间图像数据发送至服务器3(S13，相当于区间图像数据发送步骤)。此时，与区间图像数据一起，车辆用图像数据生成装置2也将由白线识别部13识别出的区间图像数据内的白线的识别结果、由绝对位置确定部16确定出的区间图像数据内的车道中心线的绝对位置、由评价结果赋予部16赋予的评价结果、由变化点信息确定部19确定出的变化点信息发送至服务器3。
另外，以上将三车道中的左侧车道作为区间图像数据的单位进行了说明，但区间图像数据的单位可以是任何单位。即，如图15以及图16所示，也可以是三车道中的中央车道、右侧车道，也可以是各个交叉点内的车道。
如以上所说明的那样，根据本实施方式，能够得到以下所示的效果。
在车辆用图像数据生成装置2中，并不将由车载照相机22生成的图像数据直接发送至服务器3，而根据图像数据生成每个区间的区间图像数据，并将该生成的区间图像数据发送至服务器3。由此，能够抑制从车辆侧对生成自动驾驶用的行驶轨道数据的服务器3发送的数据量而适当地避免由于数据量的增大而假定的各种问题，并且能够将对生成自动驾驶用的行驶轨道数据有效的数据适当地发送至服务器3。
即，在服务器3中，除了对基础地图数据、航空照片数据以及导航用地图数据进行图像识别之外，也对从车辆用图像数据生成装置2接收的区间图像数据进行图像识别，从而能够利用从车辆侧接收到的区间图像数据补充根据基础地图数据等难以识别车道线的范围来生成行驶轨道数据，能够适当地生成自动驾驶用的行驶轨道数据。
另外，进行区间图像数据内的阴影的亮度调整，除去区间图像数据内的不需要物体。由此，能够将除去了不需要物体的区间图像数据发送至服务器3，不使服务器3负担除去不需要物体的处理，能够降低服务器3的负荷。
另外，识别区间图像数据内的白线，在将区间图像数据发送至服务器3时，将区间图像数据内的白线的识别结果发送至服务器3。由此，能够将区间图像数据内的白线的识别结果发送至服务器3，能够不使服务器3负担识别区间图像数据内的白线的处理，从而降低服务器3的负荷。
另外，确定区间图像数据内的车道中心线，确定车道中心线的临时位置，确定车道中心线的绝对位置，在将区间图像数据发送至服务器3时，将区间图像数据内的车道中心线的绝对位置发送至服务器3。由此，能够将区间图像数据内的车道中心线的绝对位置发送至服务器3，能够不使服务器3负担确定区间图像数据内的车道中心线的处理、确定车道中心线的临时位置的处理以及确定车道中心线的绝对位置的处理，从而降低服务器3的负荷。
另外，对区间图像数据赋予评价结果，在将区间图像数据发送至服务器3时，将评价结果发送至服务器3。由此，能够将评价结果发送至服务器3，能够不使服务器3负担对区间图像数据赋予评价结果的处理，从而降低服务器3的负荷。
另外，确定变化点信息，在将区间图像数据发送至服务器3时，将变化点信息发送至服务器3。由此，能够将变化点信息发送至服务器3，能够不使服务器3负担确定变化点信息的处理，从而降低服务器3的负荷。
另外，生成路上信息数据，并将该生成的路上信息数据发送至服务器3。由此，能够将区间图像数据与路上信息数据建立对应关系并发送至服务器3。即，在服务器3中，能够将从车辆用图像数据生成装置2接收到的区间图像数据与路上信息数据建立对应关系来管理，通过活用路上信息数据，能够对自动驾驶用的行驶轨道数据赋予附加价值。
本公开依照实施例进行了描述，但应该理解并不限定于该实施例、结构。本公开包含各种变形例、同等范围内的变形。除此之外，各种组合、方式、以及它们包含仅一要素、其以上、或者其以下的其它的组合、方式也在本公开的范畴、思想范围内。
虽然例示了由车辆用图像数据生成装置2进行除去区间图像数据内的不需要物体的处理、识别区间图像数据内的白线的处理、确定区间图像数据内的车道中心线的处理、确定车道中心线的临时位置的处理、确定车道中心线的绝对位置的处理、对区间图像数据赋予评价结果的处理、确定变化点信息的处理的构成，但也可以构成为由服务器3进行这些处理。即，也可以构成为由车辆用图像数据生成装置2和服务器3适当地分担进行这些处理。

Claims (11)

1.一种车辆用图像数据生成装置，在与服务器(3)之间进行数据通信，该服务器(3)对基础地图数据、航空照片数据以及导航用地图数据中至少任意一个进行图像识别，并且对由车载照相机生成的图像数据进行图像识别，生成自动驾驶用的行驶轨道数据，其中，上述车辆用图像数据生成装置(2)具备：
区间图像数据生成部(11)，根据由上述车载照相机生成的图像数据生成每个区间的图像数据作为区间图像数据；以及
数据发送部(21)，将由上述区间图像数据生成部生成的区间图像数据发送至上述服务器，
上述区间图像数据生成部具备：
图像数据排列部(11a)，根据车辆的推测轨迹的坐标点对由车载照相机按时间序列拍摄到的多个图像数据进行排列；
图像数据连结部(11b)，根据路面的喷图连结由上述图像数据排列部排列的多个图像数据，生成连结图像数据；以及
图像数据分割部(11c)，根据路面的喷图或者导航用地图数据按区间分割由上述图像数据连结部生成的连结图像数据，生成区间图像数据，
上述图像数据分割部(11c)基于路面上的喷图的缝隙、导航地图数据的节点位置、路面上的车道变化中的至少一个按区间分割上述连结图像数据，生成上述区间图像数据，
上述图像数据是多个像素集合成的二维数据，
上述区间图像数据是构成各区间的被连结的图像数据，
上述区间图像数据是连结成路面的喷图对齐的多个图像数据。
2.一种车辆用图像数据生成装置，在与服务器(3)之间进行数据通信，该服务器(3)对基础地图数据、航空照片数据以及导航用地图数据中至少任意一个进行图像识别，并且对由车载照相机生成的图像数据进行图像识别，生成自动驾驶用的行驶轨道数据，其中，上述车辆用图像数据生成装置(2)具备：
区间图像数据生成部(11)，根据由上述车载照相机生成的图像数据生成每个区间的图像数据作为区间图像数据；
数据发送部(21)，将由上述区间图像数据生成部生成的区间图像数据发送至上述服务器；
白线识别部(13)，识别由上述区间图像数据生成部生成的区间图像数据内的白线；
车道中心线确定部(14)，根据上述白线识别部的白线的识别结果确定区间图像数据内的车道中心线；以及
临时位置确定部(15)，对导航用地图数据的道路中心线以及车辆的行驶轨迹中至少任意一方与车辆的行进方向进行比较，确定区间图像数据内的车道中心线的临时位置，
上述数据发送部在将区间图像数据发送至上述服务器时，将由上述白线识别部识别出的区间图像数据内的白线的识别结果发送至上述服务器。
3.根据权利要求2所述的车辆用图像数据生成装置，其中，
具备绝对位置确定部(16)，该绝对位置确定部(16)对导航用地图数据与区间图像数据内的白线的识别结果进行比较，确定临时位置被确定出的区间图像数据内的车道中心线的绝对位置，
上述数据发送部在将区间图像数据发送至上述服务器时，将由上述绝对位置确定部确定出的区间图像数据内的车道中心线的绝对位置发送至上述服务器。
4.一种车辆用图像数据生成装置，在与服务器(3)之间进行数据通信，该服务器(3)对基础地图数据、航空照片数据以及导航用地图数据中至少任意一个进行图像识别，并且对由车载照相机生成的图像数据进行图像识别，生成自动驾驶用的行驶轨道数据，其中，上述车辆用图像数据生成装置(2)具备：
区间图像数据生成部(11)，根据由上述车载照相机生成的图像数据生成每个区间的图像数据作为区间图像数据；
数据发送部(21)，将由上述区间图像数据生成部生成的区间图像数据发送至上述服务器；
评价结果赋予部(17)，对由上述区间图像数据生成部生成的区间图像数据赋予评价结果；以及
区间图像数据保存部(18)，保存由上述区间图像数据生成部生成的区间图像数据，
上述区间图像数据保存部将同一区间的多个区间图像数据中被赋予了最好的评价结果的区间图像数据与由上述评价结果赋予部对该区间图像数据赋予的评价结果建立对应关系并保存，
上述数据发送部在将区间图像数据发送至上述服务器时，将与该区间图像数据建立对应关系地保存于上述区间图像数据保存部的评价结果发送至上述服务器。
5.根据权利要求1所述的车辆用图像数据生成装置，其中，
具备不需要物体除去部(12)，该不需要物体除去部(12)进行由上述区间图像数据生成部生成的区间图像数据内的阴影的亮度调整，除去区间图像数据内的不需要物体。
6.根据权利要求1所述的车辆用图像数据生成装置，其中，
具备变化点信息确定部(19)，该变化点信息确定部(19)将由上述区间图像数据生成部生成的区间图像数据中从同一区间的过去的区间图像数据起的变化点确定为变化点信息，
上述数据发送部在将区间图像数据发送至上述服务器时，将由上述变化点信息确定部确定出的变化点信息发送至上述服务器。
7.根据权利要求1～6中任意一项所述的车辆用图像数据生成装置，其中，
具备路上信息数据生成部(20)，该路上信息数据生成部(20)根据由上述车载照相机生成的图像数据生成路上信息数据，
上述数据发送部在将区间图像数据发送至上述服务器时，将由上述路上信息数据生成部生成的路上信息数据发送至上述服务器。
8.一种行驶轨道数据生成系统，其中，具备：
权利要求1～7中任意一项所述的车辆用图像数据生成装置；以及
服务器(3)，对基础地图数据、航空照片数据以及导航用地图数据中至少任意一个进行图像识别，并且对由车载照相机生成的图像数据进行图像识别，生成自动驾驶用的行驶轨道数据。
9.一种存储区间图像数据生成程序的计算机可读的非暂时性存储介质，其中，
车辆用图像数据生成装置(2)在与服务器(3)之间进行数据通信，该服务器(3)对基础地图数据、航空照片数据以及导航用地图数据中至少任意一个进行图像识别，并且对由车载照相机生成的图像数据进行图像识别，生成自动驾驶用的行驶轨道数据，
上述区间图像数据生成程序使上述车辆用图像数据生成装置(2)执行：
区间图像数据生成步骤，根据由上述车载照相机生成的图像数据生成每个区间的图像数据作为区间图像数据；以及
区间图像数据发送步骤，使通过上述区间图像数据生成步骤生成的区间图像数据发送至上述服务器，
上述区间图像数据生成步骤包括：
图像数据排列步骤，根据车辆的推测轨迹的坐标点对由车载照相机按时间序列拍摄到的多个图像数据进行排列；
图像数据连结步骤，根据路面的喷图将通过上述图像数据排列步骤排列的多个图像数据连结，生成连结图像数据；以及
图像数据分割步骤，根据路面的喷图或者导航用地图数据按区间分割通过上述图像数据连结步骤生成的连结图像数据，生成区间图像数据。
10.一种存储区间图像数据生成程序的计算机可读的非暂时性存储介质，其中，
车辆用图像数据生成装置(2)在与服务器(3)之间进行数据通信，该服务器(3)对基础地图数据、航空照片数据以及导航用地图数据中至少任意一个进行图像识别，并且对由车载照相机生成的图像数据进行图像识别，生成自动驾驶用的行驶轨道数据，
上述区间图像数据生成程序使上述车辆用图像数据生成装置(2)执行：
区间图像数据生成步骤，根据由上述车载照相机生成的图像数据生成每个区间的图像数据作为区间图像数据；
区间图像数据发送步骤，使通过上述区间图像数据生成步骤生成的区间图像数据发送至上述服务器；
白线识别步骤，识别通过上述区间图像数据生成步骤生成的区间图像数据内的白线；
车道中心线确定步骤，根据通过上述白线识别步骤得到的白线的识别结果确定区间图像数据内的车道中心线；以及
临时位置确定步骤，对导航用地图数据的道路中心线以及车辆的行驶轨迹中至少任意一方与车辆的行进方向进行比较，确定区间图像数据内的车道中心线的临时位置，
在上述区间图像数据发送步骤中，将区间图像数据发送至上述服务器时，将通过上述白线识别步骤识别出的区间图像数据内的白线的识别结果发送至上述服务器。
11.一种存储区间图像数据生成程序的计算机能够读取的非暂时性存储介质，其中，
车辆用图像数据生成装置(2)在与服务器(3)之间进行数据通信，该服务器(3)对基础地图数据、航空照片数据以及导航用地图数据中至少任意一个进行图像识别，并且对由车载照相机生成的图像数据进行图像识别，生成自动驾驶用的行驶轨道数据，
上述区间图像数据生成程序使上述车辆用图像数据生成装置(2)执行：
区间图像数据生成步骤，根据由上述车载照相机生成的图像数据生成每个区间的图像数据作为区间图像数据；
区间图像数据发送步骤，使通过上述区间图像数据生成步骤生成的区间图像数据发送到上述服务器；
评价结果赋予步骤，对通过上述区间图像数据生成步骤生成的区间图像数据赋予评价结果；以及
区间图像数据保存步骤，保存通过上述区间图像数据生成步骤生成的区间图像数据，
在上述区间图像数据保存步骤中，将同一区间的多个区间图像数据中被赋予了最好的评价结果的区间图像数据与通过上述评价结果赋予步骤对该区间图像数据赋予的评价结果建立对应关系并保存，
在上述区间图像数据发送步骤中，将区间图像数据发送至上述服务器时，将与该区间图像数据建立对应关系地在上述区间图像数据保存步骤中保存的评价结果发送至上述服务器。
CN201880087912.3A 2018-02-01 2018-11-29 车辆用图像数据生成装置、行驶轨道数据生成系统、区间图像数据生成程序以及存储介质 Active CN111656421B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018016396A JP6729611B2 (ja) 2018-02-01 2018-02-01 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体
JP2018-016396 2018-02-01
PCT/JP2018/044001 WO2019150736A1 (ja) 2018-02-01 2018-11-29 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
CN111656421A CN111656421A (zh) 2020-09-11
CN111656421B true CN111656421B (zh) 2022-07-05

Family

ID=67478702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880087912.3A Active CN111656421B (zh) 2018-02-01 2018-11-29 车辆用图像数据生成装置、行驶轨道数据生成系统、区间图像数据生成程序以及存储介质

Country Status (5)

Country Link
US (1) US11143512B2 (zh)
JP (1) JP6729611B2 (zh)
CN (1) CN111656421B (zh)
DE (1) DE112018006997T5 (zh)
WO (1) WO2019150736A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11654918B2 (en) * 2019-08-06 2023-05-23 GM Global Technology Operations LLC Estimation of road centerline based on vehicle telemetry
JP7173062B2 (ja) 2020-01-23 2022-11-16 トヨタ自動車株式会社 変化点検出装置及び地図情報配信システム
CN111559388B (zh) * 2020-03-26 2022-07-12 吉利汽车研究院（宁波）有限公司 一种目标车辆筛选方法、装置、设备及存储介质
JP7272334B2 (ja) 2020-08-26 2023-05-12 トヨタ自動車株式会社 地図生成装置および地図生成方法
JP7287373B2 (ja) * 2020-10-06 2023-06-06 トヨタ自動車株式会社 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム
JP2023084213A (ja) 2021-12-07 2023-06-19 株式会社Subaru 車両走行の遠隔制御システム
CN114359870A (zh) * 2021-12-27 2022-04-15 广州小鹏自动驾驶科技有限公司 一种数据处理的方法和装置
WO2023148865A1 (ja) * 2022-02-03 2023-08-10 ダイナミックマップ基盤株式会社 情報処理方法、プログラム及び情報処理装置
US11796325B2 (en) * 2022-02-16 2023-10-24 Aptiv Technologies Limited Vehicle localization using map and vision data
JP2023131612A (ja) 2022-03-09 2023-09-22 株式会社Subaru 車両サーバシステム
CN114677570B (zh) * 2022-03-14 2023-02-07 北京百度网讯科技有限公司 道路信息更新方法、装置、电子设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011492A (ja) * 2005-06-28 2007-01-18 Toyota Motor Corp 走行路検出装置
JP2007226111A (ja) * 2006-02-27 2007-09-06 Pioneer Electronic Corp 地図情報編集装置、地図情報調査装置、地図情報調査システム、地図情報調査方法、及び地図情報編集プログラム、並びに地図情報調査プログラム
CN102387287A (zh) * 2010-08-31 2012-03-21 卡西欧计算机株式会社 图像处理装置、图像处理方法以及图像处理系统
JP2012120088A (ja) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd 画像認識装置
JP2014228526A (ja) * 2013-05-27 2014-12-08 パイオニア株式会社 情報告知装置、情報告知システム、情報告知方法、及び、情報告知装置用プログラム
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成系统及方法
JP2017102827A (ja) * 2015-12-04 2017-06-08 株式会社デンソー 走行軌跡生成装置、走行軌跡生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3845427A1 (en) * 2015-02-10 2021-07-07 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6593088B2 (ja) 2015-10-19 2019-10-23 株式会社豊田中央研究所 車両位置推定装置及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011492A (ja) * 2005-06-28 2007-01-18 Toyota Motor Corp 走行路検出装置
JP2007226111A (ja) * 2006-02-27 2007-09-06 Pioneer Electronic Corp 地図情報編集装置、地図情報調査装置、地図情報調査システム、地図情報調査方法、及び地図情報編集プログラム、並びに地図情報調査プログラム
CN102387287A (zh) * 2010-08-31 2012-03-21 卡西欧计算机株式会社 图像处理装置、图像处理方法以及图像处理系统
JP2012120088A (ja) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd 画像認識装置
JP2014228526A (ja) * 2013-05-27 2014-12-08 パイオニア株式会社 情報告知装置、情報告知システム、情報告知方法、及び、情報告知装置用プログラム
JP2017102827A (ja) * 2015-12-04 2017-06-08 株式会社デンソー 走行軌跡生成装置、走行軌跡生成方法
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成系统及方法

Also Published As

Publication number Publication date
JP6729611B2 (ja) 2020-07-22
DE112018006997T5 (de) 2020-10-22
WO2019150736A1 (ja) 2019-08-08
US20200355506A1 (en) 2020-11-12
JP2019133498A (ja) 2019-08-08
CN111656421A (zh) 2020-09-11
US11143512B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
CN111656421B (zh) 车辆用图像数据生成装置、行驶轨道数据生成系统、区间图像数据生成程序以及存储介质
KR102611927B1 (ko) 주행 환경 정보의 생성 방법, 운전 제어 방법, 주행 환경 정보 생성 장치
JP6424761B2 (ja) 運転支援システム及びセンタ
US11248925B2 (en) Augmented road line detection and display system
US11932251B2 (en) Vehicle control device, vehicle control method, and program
US20190359209A1 (en) Vehicle control device, vehicle control method, and vehicle control program
CN102208011B (zh) 图像处理系统及车辆控制系统
US11585669B2 (en) Vehicle routing using connected data analytics platform
CN111959499B (zh) 一种车辆控制方法及装置
JPWO2017208296A1 (ja) 物体検出方法及び物体検出装置
JPWO2018142560A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US11928871B2 (en) Vehicle position estimation device and traveling position estimation method
WO2021261228A1 (ja) 障害物情報管理装置、障害物情報管理方法、車両用装置
US20210063169A1 (en) Method and device for creating a map
CN116821266B (zh) 语义地图构建方法及具有熟路模式的自动驾驶系统
JP2022107937A (ja) 車両制御システムおよび車両制御方法
JP2022014171A (ja) 制御装置、制御方法、およびプログラム
CN115143973A (zh) 地图信息判定装置、存储介质以及地图信息判定方法
US20210284165A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2019095875A (ja) 車両制御装置、車両制御方法、およびプログラム
JP7449497B2 (ja) 障害物情報取得システム
US12123729B2 (en) Precautionary observation zone for vehicle routing
US20220009495A1 (en) Vehicle control device, information provision method, and non-transitory recording medium
US20230080281A1 (en) Precautionary observation zone for vehicle routing
US20220316912A1 (en) Map information assessment device, medium storing computer program for map information assessment, and map information assessment method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant