CN111862108B - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN111862108B
CN111862108B CN202010236643.1A CN202010236643A CN111862108B CN 111862108 B CN111862108 B CN 111862108B CN 202010236643 A CN202010236643 A CN 202010236643A CN 111862108 B CN111862108 B CN 111862108B
Authority
CN
China
Prior art keywords
parking frame
rear end
parking
shaped
corners
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010236643.1A
Other languages
English (en)
Other versions
CN111862108A (zh
Inventor
金子贵之
久保田守
近藤俊辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN111862108A publication Critical patent/CN111862108A/zh
Application granted granted Critical
Publication of CN111862108B publication Critical patent/CN111862108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明提供一种适当地确定停车位的后端的图像处理装置及图像处理方法。图像处理装置(100)基于由照相机(20)拍摄到的图像，来确定作为车辆(V)想要停放的由T字标记(200、300)划分出的停车位(250)的整周的轮廓线的停车框，并具备：标记检测部(112)，通过针对图像沿着与在停车框(270)之前设定的临时停车框(260)的侧线(263、264)正交的x方向进行边缘检测处理，从而检测对停车位(250)的两个后端角部进行划分的T字标记(300、300)；以及停车框确定部(114)，基于由标记检测部(112)检测出的两个角部标记(300、300)来确定停车框(270)的后端线(362)，并基于后端线(362)及临时停车框(260)来确定停车框(270)。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及图像处理装置及图像处理方法。
背景技术
已知一种基于由照相机拍摄到的图像，来自动检测为了停放车辆而划分出的停车位的技术(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2017-024598号公报
发明内容
发明所要解决的问题
然而，作为划分停车位的标记，已知有分别用白线描绘作为停车位的轮廓线的两条侧线和两条端线(靠近车辆V的一侧的前端线和远离车辆V的一侧的后端线)的标记、配置于停车位的四角的角部的T字形状或L字形状等的角部标记等。
T字形状的角部标记(T字标记)是沿横向延伸的横白线与从该横白线的中央部起沿纵向延伸的纵白线交叉而呈T字形状的标记，L字形状的角部标记(L字标记)是沿横向延伸的横白线与从该横白线的一个端部起沿纵向延伸的纵白线交叉而呈L字形状的标记。
由这样的角部标记划分出的停车位的角部标记彼此在横向及纵向上分别分离配置，在角部标记之间没有画白线。
并且，在由搭载于车辆的照相机拍摄到停车位的情况下，与远离车辆的一侧的角部标记(以下，称为后端角部的角部标记)相比，接近车辆的一侧的角部标记(以下，称为前端角部的角部标记)被更清晰地拍摄，因此在基于图像检测停车位时，基于前端角部的角部标记来确定停车位。
在该情况下，基于该停车位而设定的成为停放车辆的目标的目标停车框是以前端角部的角部标记为基准而设定的。因此，朝向该目标停车框停放的车辆与作为停车位的整周的轮廓线的停车框中的前端线对齐。
但是，车辆也存在以配置于停车位的后端角部的角部标记为基准而与停车框的后端线对齐停放的情况。
本发明鉴于上述情况而作，其目的在于提供一种能够适当地确定以由角部标记划分出的停车位的后端线为基准的停车框的图像处理装置及图像处理方法。
用于解决问题的手段
本发明的第一方式是一种图像处理装置，其使用由车载照相机拍摄到的图像来确定由角部标记划分出的停车框，所述图像处理装置具备：标记检测部，通过对所述图像进行边缘检测处理，从而检测所述停车框的一端的所述角部标记；临时停车框设定部，基于由所述标记检测部检测出的所述一端的角部标记来设定临时停车框；以及停车框确定部，利用所述标记检测部，在沿着由所述临时停车框设定部设定的所述临时停车框的侧线的方向上，检测所述停车框的另一端的所述角部标记，并利用所述一端的所述角部标记和所检测出的所述另一端的所述角部标记来确定所述停车框。
本发明的第二方式是一种图像处理方法，其使用由车载照相机拍摄到的图像来确定由角部标记划分出的停车框，所述图像处理方法包括如下处理：通过对所述图像进行边缘检测处理，从而检测所述停车框的一端的所述角部标记，基于所检测出的所述一端的所述角部标记来设定临时停车框，在沿着所述临时停车框的侧线的方向上，检测所述停车框的另一端的所述角部标记，并利用所述一端的所述角部标记和所检测出的所述另一端的所述角部标记来确定所述停车框。
发明效果
根据本发明所涉及的图像处理装置及图像处理方法，能够适当地确定以由角部标记划分出的停车位的后端线为基准的停车框。
附图说明
图1是表示使用了作为本发明所涉及的图像处理装置的一个实施方式的图像处理装置的停车辅助装置的概略结构的框图。
图2是表示停车辅助装置中的照相机(前方照相机、后方照相机、左侧方照相机、右侧方照相机)的配置的一例的图。
图3是表示本实施方式的图像处理装置的概略结构的功能框图。
图4是表示由4个T字标记设定的停车位和临时停车框的示意图。
图5是对在设定临时停车框后的停车动作中，重新确定停车位的停车框的动作进行说明的示意图。
图6是表示重新确定后的停车框和目标停车框的示意图。
图7是表示图像处理装置设定临时停车框并将与所设定的临时停车框相关的信息输出到车辆控制ECU的处理的流程的流程图。
图8是表示在朝向临时停车框的停车动作中，图像处理装置重新确定停车框并将与所设定的目标停车框相关的信息输出到车辆控制ECU的处理的流程的流程图。
图9是示意性地表示分别沿着临时停车框的侧线而检测后端角部的T字标记的角部的处理的图。
图10是对作为由标记检测部进行的角部的真伪验证的内容之一的条件(1)进行说明的示意图。
图11是对作为由标记检测部进行的角部的真伪验证的内容之一的条件(2)进行说明的示意图。
图12是对作为由标记检测部进行的角部的真伪验证的内容之一的条件(3)进行说明的示意图。
图13是对作为由标记检测部进行的角部的真伪验证的内容之一的条件(4)进行说明的示意图。
具体实施方式
以下，参照附图对本发明所涉及的图像处理装置及图像处理方法的具体实施方式进行说明。
[停车辅助装置的概略结构]
图1是表示使用了作为本发明所涉及的图像处理装置的一个实施方式的图像处理装置100的停车辅助装置1的概略结构的框图，图2是表示停车辅助装置1中的照相机20(前方照相机20a、后方照相机20b、左侧方照相机20c、右侧方照相机20d)的配置的一例的图，图3是表示本实施方式的图像处理装置100的概略结构的功能框图，图4是表示由4个T字标记200、200、300、300设定的停车位250以及临时停车框260的示意图。
图1所示的停车辅助装置1搭载于图2所示的车辆V，并进行停车辅助动作。具体而言，停车辅助装置1基于由图2所示的车载照相机20(摄像装置)拍摄到的图像，对图4所示的停车位250进行识别，并对控制车辆V的动作的车辆控制ECU40输出所需的信号以将车辆V引导到该停车位250。
在此，一个停车位250是将4个T字标记200、200、300、300作为四角的角部而由这4个T字标记200、200、300、300包围而成的矩形的停车区域。停车位250以比车辆V的俯视时的尺寸大的尺寸形成。
T字标记200、300是沿横向延伸的横白线210、310与从该横白线210、310的中央部起沿纵向延伸的纵白线220、320交叉而呈T字形状的标记。在此，如图4所示，配置于停车位250的一端(例如，前端(车辆V通过停车动作而进入停车位250时的靠近车辆V的一侧的端部))的角部的两个T字标记200、200与配置于另一端(例如，后端(车辆V通过停车动作而进入停车位250时的远离车辆V的一侧的端部))的角部的两个T字标记300、300以上下相反的姿态而配置。
前端角部的T字标记200的纵白线220和后端角部的T字标记300的纵白线320配置在一条直线上。此外，前端角部的T字标记200的横白线210和后端角部的T字标记300的横白线310配置在比纵白线220与纵白线320之间更分离的位置。
在由这样的4个T字标记200、200、300、300划分出的停车位250中，T字标记200、200、300、300彼此在横向和纵向上相互分离配置，在T字标记200、200、300、300之间没有画白线。
在由T字标记200、300划分出的停车位250的情况下，如图4所示，纵白线220、320分隔相邻的其他停车位250，横白线210分隔停车位250的前端(车辆V通过停车动作而进入停车位250时的靠近车辆V的一侧的端部)，横白线310分隔停车位250的后端(车辆V通过停车动作而进入停车位250时的远离车辆V的一侧的端部)。
在由搭载于车辆V的照相机20拍摄到停车位250的情况下，由于与处于远离车辆V的一侧的后端角部的T字标记300、300相比，前端角部的T字标记200、200被更清晰地拍摄，因此图像处理装置100在停车动作前最初对停车位250进行识别时，基于前端角部的T字标记200来识别停车位250。
然后，图像处理装置100基于识别出的停车位250，对控制车辆V的停车动作的车辆控制ECU40输出所需的信号以将该车辆V引导到停车位250。
如图1所示，停车辅助装置1具有：前方照相机20a、后方照相机20b、左侧方照相机20c及右侧方照相机20d、照相机ECU22、导航装置30、轮速传感器32、和转向角传感器34。
如图2所示，前方照相机20a朝向前方安装于车辆V的前保险杠或前格栅，以拍摄包括车辆V的前端在内的前方的区域。后方照相机20b朝向后方安装于车辆V的后保险杠或后装饰条，以拍摄包括车辆V的后端在内的后方的区域。
左侧方照相机20c朝向左侧方安装于车辆V的左后视镜，以拍摄车辆V的左侧方的区域。右侧方照相机20d朝向右侧方安装于车辆V的右后视镜，以拍摄车辆V的右侧方的区域。
在这些照相机20a～20d例如安装有广视角的广角镜头或鱼眼镜头，以能够拍摄180°左右的宽范围，能够通过这4台照相机20a～20d无遗漏地拍摄包括车辆V的周围的路面在内的整周的区域。
以下，在对这4个照相机20a～20d不作区分或进行统称的情况下，称为照相机20。
照相机ECU22以由CPU(Central Processing Unit：中央处理单元)、ROM(ReadOnly Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)及闪速存储器等构成的微型计算机(微机)为主体而构成。照相机ECU22控制照相机20的动作，并且具备图像处理装置100，该图像处理装置100利用照相机20拍摄到的图像信息，进行俯瞰图像的生成处理、检测停车位250的检测处理等。
导航装置30具备具有图像显示功能的监视器31。导航装置30具有存储有路径引导用的地图数据等的存储部，并基于该地图数据等以及由省略了图示的GPS装置等定位到的车辆V的当前位置，来进行到导航装置30的操作者所设定的目标地点的路径引导。路径引导动作中的各种图像被显示于监视器31。
轮速传感器32检测车辆V的轮速。由轮速传感器32检测出的轮速被输入到车辆控制ECU40，用于车辆控制ECU40对车辆V的动作的控制。
转向角传感器34检测车辆V的转向的转向角。将车辆V以直行状态行驶时的转向角设为0[度](中立位置)，将距该中立位置的旋转角度作为转向角而输出。由转向角传感器34检测出的转向角被输入到车辆控制ECU40，用于车辆控制ECU40对车辆V的动作的控制。
进而，停车辅助装置1还具有车辆控制ECU40、转向控制单元50、节气门控制单元60和制动控制单元70。
车辆控制ECU40以由CPU(Central Processing Unit：中央处理单元)、ROM(ReadOnly Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)及闪速存储器等构成的微机为主体而构成。车辆控制ECU40基于从照相机ECU22、轮速传感器32以及转向角传感器34输入的各信息，来执行辅助车辆V的停车的各种处理。
即，例如在驾驶员操作省略了图示的自动停车开始开关等而使停车辅助装置1动作时，车辆控制ECU40执行使车辆V以自动驾驶的方式向由照相机ECU22所取得的停车位进行停车动作的自动停车处理。
在自动停车处理中，转向控制单元50通过基于由车辆控制ECU40决定的车辆控制信息，来控制动力转向(power steering)执行器52的驱动，从而控制车辆V的转向角。
此外，在自动停车处理中，节气门控制单元60通过基于由车辆控制ECU40决定的车辆控制信息，来控制节气门执行器62的驱动，从而控制车辆V的节气门开度。
此外，在自动停车处理中，制动控制单元70通过基于由车辆控制ECU40决定的车辆控制信息，来控制制动执行器72的驱动，从而控制车辆V的制动。
另外，照相机ECU22、轮速传感器32及转向角传感器34、和车辆控制ECU40通过作为车内LAN(Local Area Network：局域网)的传感器信息CAN(Controller Area Network：控制器局域网，注册商标)80而连接。
此外，转向控制单元50、节气门控制单元60及制动控制单元70、和车辆控制ECU40通过作为车内LAN的车辆信息CAN(注册商标)82而连接。
[图像处理装置的功能结构]
图5是对在设定临时停车框260后的停车动作中，重新确定停车位250的停车框270的动作的示意图，图6是表示重新确定后的停车框270和目标停车框280的示意图。
如图4所示，图像处理装置100与检测出的停车位250对应地设定临时停车框260，并将与该设定的临时停车框260相关的信息(临时停车框260的位置、形状等)121输出到车辆控制ECU40。
然后，取得了与临时停车框260相关的信息121的车辆控制ECU40按照预先存储的程序，一边参照由轮速传感器32以及转向角传感器34检测出的信息，一边控制动力转向执行器52、节气门执行器62以及制动执行器72，使得将车辆V引导并停放至所设定的临时停车框260。由此，车辆V朝向所设定的临时停车框260进行停车动作。
而且，如图5所示，在朝向临时停车框260的停车动作中，图像处理装置100重新确定与停车位250对应的停车框270(参照图6)，在该确定的停车框270的内部设定成为停放车辆V的目标的与车辆V大致相同大小的目标停车框280，并将与该目标停车框280相关的信息(目标停车框280的位置、形状等)122输出到车辆控制ECU40。
然后，取得了与目标停车框280相关的信息122的车辆控制ECU40按照预先存储的程序，一边参照由轮速传感器32以及转向角传感器34检测出的信息，一边控制动力转向执行器52、节气门执行器62以及制动执行器72，以将车辆V向所设定的目标停车框280引导而进行停车动作。由此，车辆V朝向所设定的目标停车框280进行停车动作，车辆V以使车辆V的后端与停车框270的后端线362对齐的方式被停放。
这里，临时停车框260及停车框270表示作为停车位250的整周的轮廓线的框状的部分，如图4所示，临时停车框260是基于前端角部的T字标记200、200最初设定的停车框，停车框270是在朝向临时停车框260的停车动作中，基于后端角部的T字标记300、300和临时停车框260，如图6所示那样重新确定的停车框。
此外，目标停车框280是设定在停车框270内，以使目标停车框280的后端线282与停车框270的后端线362对齐的方式以与车辆V大致相同的大小形成的停车框。
如图3所示，图像处理装置100具有控制部110和存储部120。
控制部110主要由照相机ECU22的CPU构成，进行图像处理装置100整体的控制。控制部110具有以CPU、FPGA(Field Programmable Gate Array：现场可编程门阵列)等可编程逻辑器件、ASIC(Application Specific Integrated Circuit：专用集成电路)等集成电路为代表的运算元件。
存储部120主要由照相机ECU22的ROM、RAM以及闪速存储器等构成。存储部120存储有省略了图示的控制用程序，该控制用程序在图像处理装置100启动时由控制部110执行，使得图像处理装置100具备如图3所示的功能结构。
此外，在存储部120中存储与通过控制部110的处理而检测出的与临时停车框260相关的信息121、与停车框270及目标停车框280相关的信息122等。
本实施方式的图像处理装置100由于如后文所述那样进行高速的图像处理，因此优选具有能够进行高速运算的运算元件，例如FPGA等。
控制部110具备：视点变换部111、标记检测部112、临时停车框设定部113、停车框确定部114、目标停车框设定部115和显示控制部116。
图7是表示图像处理装置100设定临时停车框260并将与所设定的临时停车框260相关的信息121输出到车辆控制ECU40的处理的流程的流程图，图8是表示在朝向临时停车框260的停车动作中，图像处理装置100重新确定停车框270并将与所设定的目标停车框280相关的信息122输出到车辆控制ECU40的处理的流程的流程图，图9是示意性地表示分别沿着临时停车框260的侧线263、264检测后端角部的T字标记300、300的角部330、340的处理的图。
视点变换部111取得4个照相机20分别对车辆V的周围的路面进行拍摄得到的图像(以下，有时也称为“直通图像(through image)”)(图7中的步骤1(S1))，将该直通图像变换为例如图4所示的俯瞰图像(假定从车辆V的上方以与铅垂方向平行的视线进行观察而得到的图像)(图7中的S2)。
另外，视点变换部111也可以与视点变换一起进行将与4个照相机20拍摄到的直通图像对应的4个俯瞰图像合成为以车辆V为中心的单个俯瞰图像的处理(在S2中以括号表示)。
例如，在如图4所示停车位250存在于车辆V的右侧方的情况下，标记检测部112基于从视点变换部111输出的俯瞰图像，检测存在于车辆V的右侧方的划分停车位250的两个前端角部的T字标记200、200(图7中的S3)。
此外，标记检测部112如后文所述那样，通过沿着与在停车框270之前所设定的临时停车框260的侧线263、264正交的x方向进行边缘检测处理，从而检测划分停车位250的两个后端角部的T字标记300(图8中的S11)。
标记检测部112对前端角部的T字标记200、200的检测例如能够通过公知的边缘检测处理来进行。
临时停车框设定部113基于由标记检测部112检测出的两个前端角部的T字标记200、200来设定临时停车框260(图7中的S4)。
具体而言，临时停车框设定部113对于两个前端角部的T字标记200、200，例如通过公知的哈里斯角检测，检测在T字标记200、200的横白线210与纵白线220交叉的部分所形成的边缘的角部230、240，将这两个角部230、240连结而设定前端线261，设定与从各角部230、240起与前端线261正交且延伸车辆V的长度量的侧线263、264，并将侧线263、264的端部彼此连结而设定后端线262。
然后，临时停车框设定部113将这些前端线261、后端线262及两条侧线263、264相连而形成的框设为临时停车框260，将临时停车框260的位置等与临时停车框260相关的信息121存储于存储部120，并且将该信息121输出到车辆控制ECU40。
车辆控制ECU40基于从图像处理装置100输入的与临时停车框260相关的信息121，进行自动停车处理以使车辆V停放于临时停车框260。
图像处理装置100在通过该自动停车处理进行停车动作的过程中，例如在图5所示的状态下，将设定了临时停车框260的停车位250的轮廓线重新确定为以两个后端角部的T标记300、300为基准的停车框270。
具体而言，标记检测部112对于将由照相机20在该时间点所拍摄的图像进行视点变换而得到的俯瞰图像，仅针对所设定的临时停车框260的各侧线263、264附近，通过沿着分别与各侧线263、264正交的方向(在图5中，例如为x方向)的主扫描来进行搜索边缘的边缘检测处理。
由此，标记检测部112在沿着临时停车框260的侧线263、264的方向上，检测对停车位250的两个后端角部进行划分的T字标记300、300(图8中的S11)。
即，如图9所示，一边沿着与侧线263、264分别正交的x方向对侧线263、264的附近进行主扫描，一边在沿着侧线263、264的y方向(与x方向正交的方向)上进行副扫描，来进行后端角部的T字标记300的边缘检测处理。
在此，侧线263、264的附近是以各侧线263、264为中心的给定长度范围，该给定长度为比前端角部的T字形标记200的横白线210的长度稍长的程度的长度。这是因为后端角部的T字标记300被配置在临时停车框260的侧线263、264上或其延长线上的可能性较高。
标记检测部112将沿着侧线263的y方向上的副扫描的起点如图4所示那样设为从前端角部的T字标记200的角部230(侧线263与前端线261之间的交点)起沿着侧线263向后端线262侧偏移了预先设定的给定长度的位置230′。
同样地，标记检测部112将沿着侧线264的y方向上的副扫描的起点设为从前端的T字标记200的角部240(侧线264与前端线261之间的交点)起沿着侧线264向后端线262侧偏移了预先设定的给定长度的位置240′。
如此，通过将边缘检测处理中的y方向上的副扫描的起点设为从前端角部的T字标记200、200离开的位置，从而不会将前端角部的T标记200、200误检测为边缘，能够可靠地检测后端角部的T字标记300、300。
标记检测部112通过该边缘检测处理，来检测图像的信号值急剧变大的正边缘(+边缘)321和信号值急剧降低的负边缘(－边缘)322。后端角部的T字标记300在纵白线320中线宽较窄，在横白线310中线宽较宽。
标记检测部112在沿着侧线263的一侧及沿着侧线264的一侧，均以与纵白线320对应的线宽来检测+边缘321与－边缘322成对的部分。但是，标记检测部112在侧线263侧，在与横白线310对应的部分处，并未检测出+边缘，仅检测出－边缘312。同样地，标记检测部112在侧线264侧，在与横白线310对应的部分处，仅检测出+边缘311，并未检测出－边缘312。
标记检测部112求出+边缘321与－边缘322未被成对地检测出的y方向上的前面最近部分的+边缘321和－边缘322的坐标。并且，在图9所示的停车位250的后端的左侧的T字标记300中，未被成对地检测出的y方向上的前面最近部分的－边缘322与T字标记300的在纵白线320与横白线310交叉的部分所形成的边缘的角部330相对应。
同样地，在停车位250的后端角部的右侧的T字标记300中，未被成对地检测出的y方向上的前面最近部分的+边缘321与T字标记300的在纵白线320与横白线310交叉的部分所形成的边缘的角部340相对应。
停车框确定部114基于由标记检测部112检测出的两个后端角部的T字标记300、300的角部330、340，重新确定停车位250的轮廓线即停车框270(图8中的S12)。
具体而言，如图6所示，停车框确定部114将两个后端角部的T字标记300、300的角部330、340连结而设定后端线362，设定从各角部330、340起与后端线362正交地延伸的侧线363、364，求出侧线363、364与存储在存储部120中的临时停车框260的前端线261之间的交点350、360，并设定将交点350、360连结的前端线361。
然后，停车框确定部114将使这些前端线361、后端线362以及两条侧线363、364相连而形成的框确定为以后端角部的T字标记300、300为基准的停车框270(图8中的S12)。
目标停车框设定部115将由停车框确定部114所确定的停车框270的后端线362设定为后端线282，设定从后端线282向前端线361侧偏移了车辆V的长度量的与后端线282平行的前端线281，并在距停车框270的侧线363、364分别相等距离处，设定其间隔与车辆V的宽度相同的两条侧线283、284。
然后，目标停车框设定部115将这些前端线281、后端线282及两条侧线283、284相连而形成的框设定为目标停车框280(图8中的S13)，并且将目标停车框280的位置等与目标停车框280相关的信息122存储于存储部120。
另外，目标停车框设定部115将与目标停车框280相关的信息122输出到车辆控制ECU40。
如此设定的目标停车框280形成为其后端线282与由T字标记200、300划分出的停车位250的后端线362对齐。
因此，车辆控制ECU40通过基于从图像处理装置100输入的与目标停车框280相关的信息122，进行自动停车处理以使车辆V停放于目标停车框280，从而能够使车辆V与停车位250的后端线362对齐地停放。
此外，本实施方式的图像处理装置100通过将在自动停车处理的停车动作前基于前端角部的T字标记200、200而设定的临时停车框260在停车动作中更新为基于后端角部的T字标记300、300而设定的停车框270，从而能够在停车动作中设定与停车前相比精度更高的目标停车框280。
此外，本实施方式的图像处理装置100将标记检测部112检测后端角部的T字标记300、300时的搜索范围限定为临时停车框260的侧线263、264的附近。因此，与将俯瞰图像的整体作为搜索范围的情况相比，能够降低检测处理所需的负荷(检测处理时间的缩短、检测处理所需的运算负荷的降低等)。
另外，图像处理装置100的显示控制部116通过在导航装置30的监视器31重叠显示俯瞰图像、临时停车框260、停车框270或目标停车框280，从而能够使驾驶员目视确认向这些停车框(临时停车框260、停车框270或目标停车框280)逐渐引导车辆V的情形。
本实施方式的图像处理装置100中，由于标记检测部112检测出的后端角部的T字标记300、300的角部330、340成为确定停车框270的处理的基准，因此优选进行所检测出的角部330、340的真伪的验证，以提高所检测出的角部330、340的可靠性。
因此，标记检测部112针对所检测出的角部330、340，在满足下述(1)～(4)的全部条件的情况下判定为真，在不满足任一条件的情况下判定为假。停车框确定部114仅基于由标记检测部112判定为真的角部330、340来确定停车框270。
图10是对作为由标记检测部112进行的角部330、340的真伪验证的内容之一的条件(1)进行说明的示意图，图11是对作为由标记检测部112进行的角部330、340的真伪验证的内容之一的条件(2)进行说明的示意图，图12是对作为由标记检测部112进行的角部330、340的真伪验证的内容之一的条件(3)进行说明的示意图，图13是对作为由标记检测部112进行的角部330、340的真伪验证的内容之一的条件(4)进行说明的示意图。
具体而言，标记检测部112：(1)如图10所示，判定两个角部330、340之间的距离x1处于预先设定的给定的第一阈值以内。这里，第一阈值是能验证适合作为用于停放车辆V的停车位250这一条件的值，例如是车辆V的车宽以上且车宽的例如1.5倍以下的值。
此外，标记检测部112：(2)如图11所示，判定两个后端角部的T字标记300、300的角部330、340与车辆V的后端Vr之间的距离y1、y2均处于给定的第二阈值以内。这里，第二阈值只要是能验证角部330、340不是过度地远离车辆V的后端Vr的位置的值即可，例如能够应用成为对直通图像进行视点变换作为俯瞰图像所映现的范围的距离等。
此外，标记检测部112：(3)如图12所示，判定在设想将车辆V停放到临时停车框260时的停车结束位置处的从车辆V的车宽方向的中心C到各角部330、340的沿着车宽方向的距离x3、x4之差处于给定的第三阈值以内。这里，第三阈值只要是能验证角部330、340相对于临时停车框260并未向车宽方向的一侧较大偏斜的值即可，例如为10[cm]～15[cm]左右。
此外，标记检测部112：(4)如图13所示，判定在设想将车辆V停放到临时停车框260时的停车结束位置处的从车辆V的后端Vr到两个角部330、340的前后方向上的距离y3、y4之差处于给定的第四阈值以内。这里，第四阈值只要是能验证角部330、340的前后方向的位置之差不大的值即可，例如为5[cm]～10[cm]左右。
如上所述，标记检测部112通过验证后端角部的T字标记300、300的角部330、340的真伪，能够使停车框270的确定可靠性较高，能够提高所设定的目标停车框280的可靠性。
另外，标记检测部112针对上述(1)～(4)的条件中的条件(1)、(2)，仅通过图像上的距离来进行判定，针对条件(3)、(4)，通过作为现实空间的世界坐标上的距离来进行判定。
这是由于，虽然条件(3)、(4)验证与临时停车框260之间的相对位置关系，但是临时停车框260以作为现实空间的世界坐标的形式存储于存储部120中，因此通过世界坐标上的距离来判定更简便。但是，针对条件(3)、(4)，也可以与条件(1)、(2)同样地通过图像上的距离来进行判定。
本实施方式的图像处理装置100中，配置于停车位250的四角的角部的T字标记200、300呈横白线210、310与纵白线220、320正交的T字形状，但T字标记200、300也可以呈横白线210、310与纵白线220、320以90[°]以外的角度(除0[°]之外)交叉的T字形状。
并且，本实施方式的图像处理装置100即使在应用了呈这样以90[°]以外的角度交叉的T字形状的T字标记的情况下，也会发挥与应用了呈正交的T字形状的T字标记200、300的情况相同的作用、效果。
本实施方式的图像处理装置100是应用了T字标记200、300作为配置于停车位250的四角的角部的角部标记的装置，但本发明所涉及的图像处理装置能够应用T字标记以外的、例如形成为L字形状的L字标记等各种形状的角部标记。
并且，本发明所涉及的图像处理装置即使在应用了这样的角部标记的情况下，也会发挥与应用了T字标记的情况等相同的作用、效果。
符号说明
20 照相机
40 车辆控制ECU
100 图像处理装置
112 标记检测部
113 临时停车框设定部
114 停车框确定部
115 目标停车框设定部
200、300 T字标记(角部标记的一例)
250 停车位
260 临时停车框
263、264 侧线
270 停车框
280 目标停车框
362 后端线
V 车辆。

Claims (10)

1.一种图像处理装置，其使用由车载照相机拍摄到的图像来确定由T字标记划分出的停车框，
所述停车框与停车位对应，该停车位由4个所述T字标记划分出，所述4个T字标记之间没有画白线，
所述图像处理装置具备：
标记检测部，通过对所述图像进行边缘检测处理，从而检测所述停车框的前端角部的所述T字标记；
临时停车框设定部，基于由所述标记检测部检测出的所述前端角部的所述T字标记来设定临时停车框；以及
停车框确定部，利用所述标记检测部，在沿着由所述临时停车框设定部设定的所述临时停车框的侧线的方向上，检测所述停车框的后端角部的所述T字标记，并利用所述前端角部的所述T字标记和所检测出的所述后端角部的所述T字标记来确定所述停车框，
所述标记检测部通过在与所述临时停车框的所述侧线正交的方向上进行边缘检测处理，来检测所述停车位的所述后端角部的T字标记，
所述图像处理装置在基于自动停车处理的停车动作中，将设定了所述临时停车框的所述停车位的轮廓线重新确定为以由所述标记检测部检测出的两个所述后端角部的T字标记为基准的停车框，并在该重新确定的停车框的内部设定目标停车框。
2.根据权利要求1所述的图像处理装置，其中，
所述停车框确定部设定将由所述标记检测部检测出的两个所述后端角部的所述T字标记的角部彼此连结起来的后端线，并设定从所述后端角部的所述T字标记的角部起分别与所述后端线正交的侧线，且基于所述后端线、所述侧线以及所述临时停车框的将两个所述前端角部的所述T字标记的角部彼此连结起来的前端线，来确定所述停车框。
3.根据权利要求1所述的图像处理装置，其中，
所述标记检测部在沿着所述临时停车框的侧线进行边缘检测处理时，将从所述侧线与所述临时停车框的前端线之间的交点起沿着所述侧线仅偏移了预先设定的给定长度的位置，设定为所述边缘检测处理的起点。
4.根据权利要求2所述的图像处理装置，其中，
所述标记检测部在沿着所述临时停车框的侧线进行边缘检测处理时，将从所述侧线与所述临时停车框的前端线之间的交点起沿着所述侧线仅偏移了预先设定的给定长度的位置，设定为所述边缘检测处理的起点。
5.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述标记检测部按照下述(1)～(4)的条件中的至少一个条件，来验证所检测出的两个所述后端角部的所述T字标记的真伪，
所述停车框确定部基于由所述标记检测部验证为真的所述后端角部的所述T字标记来确定所述停车框，
其中，所述(1)～(4)的条件如下：
(1)两个所述后端角部的所述T字标记之间的距离处于给定的第一阈值以内；
(2)两个所述后端角部的所述T字标记与所述车辆的后端之间的距离处于给定的第二阈值以内；
(3)相对于设想将所述车辆停放到所述临时停车框时的所述车辆的停车结束位置，两个所述后端角部的所述T字标记的沿着车宽方向的位置之差处于给定的第三阈值以内；
(4)相对于设想将所述车辆停放到所述临时停车框时的所述车辆的停车结束位置，两个所述后端角部的所述T字标记的沿着所述车辆的前后方向的位置之差处于给定的第四阈值以内。
6.一种图像处理方法，其使用由车载照相机拍摄到的图像来确定由T字标记划分出的停车框，
所述停车框与停车位对应，该停车位由4个所述T字标记划分出，所述4个T字标记之间没有画白线，
所述图像处理方法包括如下处理：
通过对所述图像进行边缘检测处理，从而检测所述停车框的前端角部的所述T字标记，
基于所检测出的所述前端角部的所述T字标记来设定临时停车框，
在沿着所述临时停车框的侧线的方向上，检测所述停车框的后端角部的所述T字标记，并利用所述前端角部的所述T字标记和所检测出的所述后端角部的所述T字标记来确定所述停车框，
通过在与所述临时停车框的所述侧线正交的方向上进行边缘检测处理，来检测所述停车位的所述后端角部的T字标记，
在基于自动停车处理的停车动作中，将设定了所述临时停车框的所述停车位的轮廓线重新确定为以所检测出的两个所述后端角部的T字标记为基准的停车框，并在该重新确定的停车框的内部设定目标停车框。
7.根据权利要求6所述的图像处理方法，其中，
设定将所检测出的两个所述后端角部的所述T字标记的角部彼此进行连结的假想的后端线，
设定从所述后端角部的所述T字标记的角部起分别与所述假想的后端线正交的假想的侧线，
基于所述假想的后端线、所述假想的侧线以及所述临时停车框的将两个所述前端角部的所述T字标记的角部彼此进行连结的前端线，来确定所述停车框。
8.根据权利要求6所述的图像处理方法，其中，
在沿着所述临时停车框的侧线进行边缘检测处理时，将从所述侧线与所述临时停车框的前端线之间的交点起沿着所述侧线偏移了预先设定的给定长度的位置设定为所述边缘检测处理的起点。
9.根据权利要求7所述的图像处理方法，其中，
在沿着所述临时停车框的侧线进行边缘检测处理时，将从所述侧线与所述临时停车框的前端线之间的交点起沿着所述侧线偏移了预先设定的给定长度的位置设定为所述边缘检测处理的起点。
10.根据权利要求6至9中任一项所述的图像处理方法，其中，
按照下述(1)～(4)的条件中的至少一个条件来验证所检测出的两个所述后端角部的所述T字标记的真伪，
基于验证为真的所述后端角部的所述T字标记来确定所述停车框，
其中，所述(1)～(4)的条件如下：
(1)两个所述后端角部的所述T字标记之间的距离处于给定的第一阈值以内；
(2)两个所述后端角部的所述T字标记与车辆的后端之间的距离处于给定的第二阈值以内；
(3)相对于设想将所述车辆停放到所述临时停车框时的所述车辆的停车结束位置，两个所述后端角部的所述T字标记的沿着车宽方向的位置之差处于给定的第三阈值以内；
(4)相对于设想将所述车辆停放到所述临时停车框时的所述车辆的停车结束位置，两个所述后端角部的所述T字标记的沿着所述车辆的前后方向的位置之差处于给定的第四阈值以内。
CN202010236643.1A 2019-04-25 2020-03-30 图像处理装置及图像处理方法 Active CN111862108B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-083678 2019-04-25
JP2019083678A JP7288793B2 (ja) 2019-04-25 2019-04-25 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN111862108A CN111862108A (zh) 2020-10-30
CN111862108B true CN111862108B (zh) 2024-04-30

Family

ID=70165790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010236643.1A Active CN111862108B (zh) 2019-04-25 2020-03-30 图像处理装置及图像处理方法

Country Status (4)

Country Link
US (1) US20200344448A1 (zh)
EP (1) EP3731138A1 (zh)
JP (1) JP7288793B2 (zh)
CN (1) CN111862108B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7296768B2 (ja) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP2021180382A (ja) * 2020-05-12 2021-11-18 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
DE102021204030A1 (de) 2021-04-22 2022-10-27 Continental Autonomous Mobility Germany GmbH Detektion von einzelnen freien markierten Zielflächen aus Bildern eines Kamerasystems einer Bewegungsvorrichtung

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011173585A (ja) * 2010-01-27 2011-09-08 Denso It Laboratory Inc 駐車支援システム
JP2012150595A (ja) * 2011-01-18 2012-08-09 Toyota Central R&D Labs Inc 一時停止線検出装置及びプログラム
CN103358993A (zh) * 2012-04-10 2013-10-23 现代自动车株式会社 用于识别车辆停车位线标记的系统和方法
JP2014106740A (ja) * 2012-11-27 2014-06-09 Clarion Co Ltd 車載用駐車枠認識装置
CN104217611A (zh) * 2013-06-04 2014-12-17 现代自动车株式会社 用于为停车场进行描迹的设备及方法
CN104797488A (zh) * 2012-11-27 2015-07-22 日产自动车株式会社 驾驶辅助装置
CN104812646A (zh) * 2012-11-27 2015-07-29 日产自动车株式会社 车辆用加速抑制装置
CN104871204A (zh) * 2012-11-27 2015-08-26 歌乐株式会社 车载图像处理装置
JP2017024598A (ja) * 2015-07-23 2017-02-02 Ｋｙｂ株式会社 駐車誘導装置
CN109219546A (zh) * 2016-05-30 2019-01-15 株式会社电装 停车辅助装置以及停车辅助方法
CN109598972A (zh) * 2018-11-23 2019-04-09 中汽研（天津）汽车工程研究院有限公司 一种基于视觉的自动泊车停车位检测与测距系统
TWI656519B (zh) * 2017-12-12 2019-04-11 財團法人工業技術研究院 停車導引系統及其方法與自動停車系統

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
JP6136724B2 (ja) * 2013-08-01 2017-05-31 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
JP6281435B2 (ja) * 2014-07-25 2018-02-21 スズキ株式会社 駐車支援システム
JP6500435B2 (ja) 2014-12-26 2019-04-17 アイシン精機株式会社 駐車支援装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011173585A (ja) * 2010-01-27 2011-09-08 Denso It Laboratory Inc 駐車支援システム
JP2012150595A (ja) * 2011-01-18 2012-08-09 Toyota Central R&D Labs Inc 一時停止線検出装置及びプログラム
CN103358993A (zh) * 2012-04-10 2013-10-23 现代自动车株式会社 用于识别车辆停车位线标记的系统和方法
JP2014106740A (ja) * 2012-11-27 2014-06-09 Clarion Co Ltd 車載用駐車枠認識装置
CN104797488A (zh) * 2012-11-27 2015-07-22 日产自动车株式会社 驾驶辅助装置
CN104812646A (zh) * 2012-11-27 2015-07-29 日产自动车株式会社 车辆用加速抑制装置
CN104871204A (zh) * 2012-11-27 2015-08-26 歌乐株式会社 车载图像处理装置
CN104217611A (zh) * 2013-06-04 2014-12-17 现代自动车株式会社 用于为停车场进行描迹的设备及方法
JP2017024598A (ja) * 2015-07-23 2017-02-02 Ｋｙｂ株式会社 駐車誘導装置
CN109219546A (zh) * 2016-05-30 2019-01-15 株式会社电装 停车辅助装置以及停车辅助方法
TWI656519B (zh) * 2017-12-12 2019-04-11 財團法人工業技術研究院 停車導引系統及其方法與自動停車系統
CN109598972A (zh) * 2018-11-23 2019-04-09 中汽研（天津）汽车工程研究院有限公司 一种基于视觉的自动泊车停车位检测与测距系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Extending the parking space;Andrew Berget 等;《Journal of Combinatorial Theory，Series A》;43-56 *
基于计算机视觉的车辆及车位检测系统设计;孟春宁;于艳美;蔡诚;;《公安海警学院学报》;第14卷(第04期);11-13 *

Also Published As

Publication number Publication date
CN111862108A (zh) 2020-10-30
EP3731138A1 (en) 2020-10-28
JP2020181358A (ja) 2020-11-05
US20200344448A1 (en) 2020-10-29
JP7288793B2 (ja) 2023-06-08

Similar Documents

Publication Publication Date Title
CN111862108B (zh) 图像处理装置及图像处理方法
CN111824129B (zh) 图像处理装置及图像处理方法
JP5594246B2 (ja) 車線認識装置
EP3290301B1 (en) Parking assist device
JP4755227B2 (ja) 物体を認識するための方法
CN111563405B (zh) 图像处理装置和图像处理方法
US10068483B2 (en) Parking assistance device
JP6642906B2 (ja) 駐車位置検出システム及びそれを用いた自動駐車システム
US20150220796A1 (en) Sign recognition apparatus and method for determining left- or right-hand traffic division and distance unit
EP3082067A1 (en) Stereoscopic object detection device and stereoscopic object detection method
CN106476690A (zh) 驾驶辅助装置
CN112109703A (zh) 车辆控制方法、车辆控制系统、车及存储介质
JP6885022B2 (ja) 運転支援装置
JP2012176656A (ja) 駐車支援装置
US11270452B2 (en) Image processing device and image processing method
EP3933684A1 (en) Image based detection of parking space marked by dashed lines
US11967158B2 (en) Image processor and image processing method
JP7341730B2 (ja) 画像処理装置及び画像処理方法
JP7446851B2 (ja) 画像処理装置及び画像処理方法
CN116946122A (zh) 用于控制车辆的设备、用于控制车辆的方法及其控制程序
CN115675080A (zh) 车辆用显示装置、系统及方法、非暂时性存储介质
CN117657147A (zh) 驾驶辅助装置
JP2511328Y2 (ja) 車両用車間距離検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant