CN103796879A - 停车支援装置 - Google Patents

停车支援装置 Download PDF

Info

Publication number
CN103796879A
CN103796879A CN201180065806.3A CN201180065806A CN103796879A CN 103796879 A CN103796879 A CN 103796879A CN 201180065806 A CN201180065806 A CN 201180065806A CN 103796879 A CN103796879 A CN 103796879A
Authority
CN
China
Prior art keywords
vehicle
track
image
deflection angle
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180065806.3A
Other languages
English (en)
Other versions
CN103796879B (zh
Inventor
祖父江有华
冈村龙路
森本爱
日荣悠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN103796879A publication Critical patent/CN103796879A/zh
Application granted granted Critical
Publication of CN103796879B publication Critical patent/CN103796879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image

Abstract

显示本车辆(VM)的周边的影像的ECU(20)的描绘运算部(21)及显示器(31)在本车辆(VM)前进时将本车辆(VM)以当前的转向角从当前位置前进时的轨迹(L1)和本车辆(VM)以与当前的转向角不同的转向角从当前位置后退时的轨迹(L2、l2)重叠地显示到鸟瞰影像(100)上。因此,例如在通过本车辆(VM转弯的同时前进、接着反方向转弯的同时后退而停车到停车框(P)内时,本车辆(VM)的驾驶员可同时把握前进过程中本车辆(VM)描绘的轨迹和之后后退时本车辆(VM)的轨迹。因此,本车辆(VM)的驾驶员容易使本车辆(VM)向在后退时本车辆(VM)不与周围的障碍物接触的后退开始位置前进。从而在本车辆(VM)接近障碍物时可进行更适当的停车支援。

Description

停车支援装置
技术领域
本发明的一个实施方式涉及一种显示本车辆的轨迹的停车支援装置。
背景技术
目前,提出了如下装置:通过显示本车辆周围的影像、轨迹,在使车辆向停车框停车时支援驾驶员的驾驶。例如,专利文献1公开了如下装置:在固定为最大转向角的状态下后退时显示所预测的引导轨迹。专利文献1的装置将由传感器取得的周边信息和本车位置显示到显示画面上。专利文献1的装置中,在画面上,将引导轨迹和本车标志作为一体进行显示,引导轨迹进入到停车空间内的位置作为后退开始位置显示到画面内。而且,专利文献1的装置一并显示形状对应实际的转向轮的转向角而发生变化的预测轨迹,通过重叠预测轨迹和引导轨迹,也可进行转向操作的引导。
专利文献
专利文献1:日本特开2001-213253号公报
发明内容
然而,一般而言,当车辆向停车框停车时,停车场的行车道的行进方向和停车框的前后方向大多呈90°等规定的角度。因此,首先,在车辆转弯的同时前进,从而使车辆的前后方向与停车框的前后方向的角度变小。接着,在车辆向反方向转弯的同时后退,从而使车辆停到停车框内,一般是这样进行的。
如上所述,在车辆转弯的同时前进之后再向反方向转弯的同时后退的情况下,在前进时和后退时,车辆的车体所通过的轨迹不同。但在上述技术中,仅显示在前进时固定为最大转向角的状态下后退的情况的轨迹。因此,停车时在车辆周围存在障碍物的情况下,驾驶员难以把握车辆前进时能否不与障碍物接触地前进以及接下来车辆后退时能否不与障碍物接触地后退。
本发明的一个方式是考虑到这一情况而进行的,其目的在于提供一种在本车辆接近障碍物时可进行更适当的停车支援的停车支援装置。
本发明的一个方式是一种停车支援装置,具备显示本车辆的周边的影像的显示单元,该显示单元在本车辆前进时将第1轨迹和第2轨迹重叠地显示到本车辆的周边的影像中,上述第1轨迹是所述本车辆以当前的转向角从当前位置前进的情况下的轨迹,上述第2轨迹是本车辆以与当前的转向角不同的转向角从当前位置后退的情况下的轨迹。
根据该构成,显示本车辆的周边的影像的显示单元在本车辆前进时将本车辆以当前的转向角从当前位置前进的情况下的第1轨迹和本车辆以与当前的转向角不同的转向角从当前位置后退的情况下的第2轨迹重叠地显示到本车辆的周边影像上。因此,在例如本车辆转弯的同时前进、接着向反方向转弯的同时后退而停到停车框内的情况下,本车辆的驾驶员可同时把握前进过程中本车辆描绘的轨迹和接下来后退时本车辆的轨迹。因此,本车辆的驾驶员容易使本车辆向在后退时本车辆不与周围障碍物接触的后退开始位置前进。因此,可在本车辆接近障碍物时进行更适当的停车支援。
此时,显示单元可在本车辆前进时将第1轨迹和第2轨迹的范围重叠地显示到本车辆的周边影像中,该第2轨迹是在本车辆以与当前的转向角不同且处于规定范围内的各转向角从当前位置后退的情况下可经过的轨迹。
根据该构成,显示单元将第1轨迹和第2轨迹的范围重叠地显示到本车辆的周边影像中,该第2轨迹是在本车辆以与当前的转向角不同且处于规定范围内的各转向角从当前位置后退的情况下可经过的轨迹。因此,对本车辆的驾驶员而言,在前进时选择后退开始位置的自由度变高。
此时,显示单元在本车辆前进时显示了第1轨迹和第2轨迹的范围后,在本车辆后退时,将以后退时的转向角后退的情况下的第3轨迹重叠地显示到上述本车辆的周边影像上。
根据该构成,显示单元在本车辆前进时显示了第1轨迹和第2轨迹的范围后,在本车辆后退时,将以后退时的转向角后退的情况下的第3轨迹重叠地显示到上述本车辆的周边影像上。因此,本车辆的驾驶员在前进过程中以第1轨迹和第2轨迹的范围为基准来确定后退开始位置,在后退开始时以第3轨迹为基准,可更容易地将本车辆停到停车框内。
并且,第2轨迹的范围是:在本车辆以与当前的转向角不同且处于规定范围内的各转向角从当前位置后退的情况下本车辆的前端部可经过的轨迹的范围。
根据该构成,第2轨迹的范围是:本车辆以与当前的转向角不同且处于规定范围内的各转向角从当前位置后退的情况下本车辆的前端部可经过的轨迹的范围。因此,本车辆的驾驶员而言,可提高在前进时选择后退开始位置的自由度,同时在前进及后退之间进行了切换时,容易把握容易与障碍物接触且容易疏于注意的前端部与障碍物接触的可能性。
并且,显示单元可将第1轨迹及第2轨迹重叠地显示到本车辆的前部影像上。
根据该构成,显示单元可将第1轨迹及第2轨迹重叠地显示到本车辆的前部影像上。因此,例如,本车辆转弯的同时前进、接着向反方向转弯的同时后退,从而停到停车框内时,本车辆的驾驶员更容易在前进过程中把握在之后后退时可能与车辆前部接触的障碍物。
并且,显示单元可在以从上方鸟瞰本车辆的方式显示的影像中显示将第1轨迹及第2轨迹重叠后的显示。
根据该构成,显示单元可在以从上方鸟瞰本车辆的方式显示的影像中显示将第1轨迹及第2轨迹重叠后的显示。因此,本车辆的驾驶员更容易把握在前进及后退之间进行了切换时的本车辆的轨迹和本车辆周围的障碍物。
发明效果
根据本发明的一个实施方式,可在本车辆接近障碍物时进行更适当的停车支援。
附图说明
图1是表示实施方式涉及的停车支援装置的构成的框图。
图2是表示实施方式涉及的停车支援装置的动作的流程图。
图3是表示搭载了实施方式的停车支援装置的车辆向停车框停车时的一系列动作及轨迹的俯视图。
图4是表示搭载了实施方式的停车支援装置的车辆进入停车场时的情况的俯视图。
图5是表示在实施方式的停车支援装置的显示器上显示的轨迹的图。
图6是表示实施方式的停车支援装置的显示器上显示的停车框的影像的图。
图7是表示在实施方式的停车支援装置的显示器上重叠地显示的停车框的影像和轨迹的图。
图8是表示在进入到停车场时左转弯的同时而前进的情况下在显示器上重叠地显示的停车框的影像和轨迹的图。
图9是表示停车框的方向相对停车场的进入车道呈90°时的轨迹的描绘方法的俯视图。
图10是表示停车框的方向相对停车场的进入车道不呈90°时的轨迹的描绘方法的俯视图。
图11是表示在实施方式的停车支援装置的显示器上重叠地显示的停车框的影像和基于规定范围的转向角的轨迹的范围的图。
图12是表示图11的显示的其他例子的图。
图13是表示图3中时刻T1至T5的本车辆的位置的俯视图。
图14是表示在图13的时刻T1前,在实施方式的停车支援装置的显示器上实际显示的鸟瞰影像和前方鸟瞰影像的图。
图15是表示在图13的时刻T1前,在实施方式的停车支援装置的显示器上实际显示的鸟瞰影像和后方影像的图。
图16是表示在图13的时刻T1下,在实施方式的停车支援装置的显示器上实际显示的鸟瞰影像和前方鸟瞰影像的图。
图17是表示在图13的时刻T1下,在实施方式的停车支援装置的显示器上实际显示的鸟瞰影像和后方影像的图。
图18是表示在图13的时刻T2下,在实施方式的停车支援装置的显示器上实际显示的鸟瞰影像和前方鸟瞰影像的图。
图19是表示在图13的时刻T2下,在实施方式的停车支援装置的显示器上实际显示的鸟瞰影像和后方影像的图。
图20是表示在图13的时刻T3下,在实施方式的停车支援装置的显示器上实际显示的鸟瞰影像和前方鸟瞰影像的图。
图21是表示在图13的时刻T3下,在实施方式的停车支援装置的显示器上实际显示的鸟瞰影像和后方影像的图。
图22是表示在图13的时刻T4下,在实施方式的停车支援装置的显示器上实际显示的鸟瞰影像和前方鸟瞰影像的图。
图23是表示在图13的时刻T4下,在实施方式的停车支援装置的显示器上实际显示的鸟瞰影像和后方影像的图。
图24是表示在图13的时刻T5下,在实施方式的停车支援装置的显示器上实际显示的鸟瞰影像和后方鸟瞰影像的图。
具体实施方式
以下参照附图说明本发明的实施方式涉及的停车支援装置。本实施方式的停车支援装置10具有:支援开关11、转向角传感器12、偏航率传感器13、车速传感器14、变速器档位位置传感器15、GPS16、激光雷达18、声纳19、ECU20、影像切换开关30、显示器31、扬声器32、油门致动器41、刹车致动器42及转向致动器43、前方相机51、后方相机52及左右侧相机53。
支援开关11是用于通过驾驶员的操作而在显示器31上显示由前方相机51、后方相机52及左右侧相机53拍摄的本车辆周边影像的开关。如后文中所述,在本实施方式中,在支援开关11通过驾驶员的操作而被接通后,本车辆前进或后退时的行驶轨迹、行驶轨迹区域与显示器31的本车辆周边、本车辆前部或本车辆后部影像重叠地进行显示。
转向角传感器12是检测转向角的传感器,该转向角是前轮轮胎相对本车辆的前后方向的角度。偏航率传感器13是通过角速度传感器等来检测本车辆的偏航率的传感器。车速传感器14是通过检测本车辆的车轮的旋转速度来检测本车辆的速度的传感器。变速器档位位置传感器15是检测本车辆的变速器的档位位置位于前进“D”、后退“R”的哪一位置的传感器。
GPS(Global Positioning System:全球定位系统)16例如通过接收来自GPS卫星的信号而进行本车辆的定位。此外在本实施方式中,GPS16并不是必需的构成。
激光雷达18及声纳19在本实施方式中并不是必需的,它们用于分别识别本车辆的周边的障碍物、停车框等。
ECU(Electronic Control Unit:电子控制单元)20用于进行本车辆整体的控制。ECU20具有描绘运算部21、数据库22及行驶控制部23。描绘运算部21是如下装置:根据来自支援开关11、转向角传感器12、偏航率传感器13、车速传感器14、变速器档位位置传感器15、GPS16、激光雷达18、声纳19、影像切换开关30、前方相机51、后方相机52及左右侧相机53的信号和存储于数据库22中的信息,将本车辆前进或后退时的行驶轨迹区域重叠地描绘到本车辆周边、本车辆前部或本车辆后部影像上。
数据库22用于存储本车辆的转弯半径等转弯特性、本车辆的全长、全宽、全高等尺寸相关的信息。并且,数据库中,针对每个停车场存储与行车道的前进方向和停车框的前后方向所成的角度等的停车框相关的信息。
行驶控制部23在本实施方式中不是必需的,它是下述装置:根据来自支援开关11、转向角传感器12、偏航率传感器13、车速传感器14、变速器档位位置传感器15、GPS16、激光雷达18、声纳19、前方相机51、后方相机52及左右侧相机53的信号和存储于数据库22中的信息,通过驱动油门致动器41、刹车致动器42及转向致动器43而介入驾驶员的驾驶操作,以进行停车支援。
影像切换开关30是下述开关:将如后文所述与本车辆整体的周围的鸟瞰影像一同显示到显示器31上的影像,在本车辆前部的鸟瞰影像和本车辆后部影像之间切换。显示器31显示由前方相机51、后方相机52及左右侧相机53拍摄的本车辆整体的周围的鸟瞰影像、本车辆前部的鸟瞰影像、及本车辆后部影像。并且,显示器31将本车辆前进或者后退时的行驶轨迹(本车辆的前轮的轨迹、本车辆的后轮的轨迹、本车辆前端的前部保险杠的轨迹、本车辆后端的后部保险杠的轨迹)、该行驶轨迹的范围与本车辆整体的周围的鸟瞰图像、本车辆前部的鸟瞰影像及本车辆后部影像重叠地显示。显示器22可以是用于停车支援的独立的液晶显示器等。或者,显示器22也可兼用作导航系统的显示器。扬声器32用于通过声音对驾驶员进行停车支援。
油门致动器41、刹车致动器42及转向致动器43在本实施方式中不是必需的,它们根据来自ECU20的行驶控制部23的指令信号分别将油门操作、刹车操作及转向操作介入到驾驶员的驾驶操作而进行。或者,油门致动器41、刹车致动器42及转向致动器43也可分别通过对油门踏板、刹车踏板及方向盘提供反作用力、基于触觉技术的触感而介入驾驶员的驾驶操作。
前方相机51是拍摄本车辆的前方的影像的相机。前方相机51可拍摄本车辆的前部影像和其周边影像。后方相机52是拍摄本车辆的后方的影像的相机。后方相机52可拍摄本车辆的后部影像和其周边影像。左右侧相机53是拍摄本车辆的左右侧的影像的相机。左右侧相机53可拍摄本车辆的左右侧部影像和其周边影像。前方相机51、后方相机52及左右侧相机53作为全方位监视器发挥功能。由前方相机51、后方相机52及左右侧相机53拍摄到的影像通过描绘运算部21进行处理,显示器31如后文所述地显示本车辆整体的鸟瞰影像和其周边的鸟瞰影像。并且,显示器31显示本车辆前部的鸟瞰影像和其周边的鸟瞰影像。
以下说明本实施方式的停车支援装置10的动作。首先,参照图2及图3,说明动作概要。如图3所示,假设了搭载了本实施方式的停车支援装置10的本车辆VM在停车场的行车道上行驶的情况。在图3的例子中,停车场的行车道方向与停车框P的前后方向呈90°,也停有其他车辆VO。此处,如图2所示,支援开关11由本车辆VM的驾驶员接通(S101)。此时,基于前方相机51、后方相机52及左右侧相机53的本车辆VM整体的鸟瞰影像和本车辆VM前部的鸟瞰影像或本车辆VM后部影像被显示到显示器31上。
通过察看了显示器31的显示的驾驶员的操作,本车辆VM为减小停车框P的前后方向与本车辆VM的前后方向的角度而在转弯的同时前进,以增大本车辆VM与停车场的行车道方向的角度即行进角θ,从而通过轨迹L1。此时的轨迹L1对应驾驶员的操作是自由的,本车辆VM通过各种行进角θ的轨迹L1。此时,停车支援装置10的描绘运算部21进行后述的处理(S102至S104),将以当前的转向角前进时的轨迹和通过与此时的本车辆VM的转向角无关的一定转向角而后退时的轨迹或者通过规定范围的一定转向角而后退时的轨迹的范围,与前方相机51、后方相机52及左右侧相机53的本车辆VM整体的鸟瞰影像、本车辆VM前部鸟瞰影像及本车辆VM后部影像重叠地显示到显示器31上(S105)。此时,如后文所述,通过一定转向角后退时的轨迹或者通过规定范围的一定转向角后退时的轨迹的范围不仅包括本车辆VM的后轮的轨迹,而且包括本车辆VM的前轮的轨迹、本车辆VM的前部保险杠的轨迹。
通过为了察看显示器31的显示而进行的驾驶员的操作,本车辆VM在到达返回点TP1后停车(S106)。此时,停车支援装置10的描绘运算部21通过变速器档位位置传感器15等检测变速器的档位位置变为后退“R”的位置时(S107),将与此时的本车辆VM的转向角对应的一种轨迹L2等及与停车框P的前后方向平行的轨迹L3与本车辆VM整体的鸟瞰影像、本车辆VM前部的鸟瞰影像及本车辆VM后部影像重叠地显示到显示器31上(S108)。
通过察看显示器31的显示的驾驶员的操作,本车辆VM的转向角通过一定转向角下的后退和其之后的直行后退而转向为可停车到停车框P的转向角(S109)。本车辆VM沿与轨迹L1相反的方向以一定转向角转弯的同时后退,从而通过轨迹L2(S110)。当本车辆VM(的后轮或后端部)到达返回点TP2时(S111),通过察看显示器31的显示的驾驶员的操作,本车辆VM的转向角转向为0°(S112)。本车辆VM以转向角0°后退(S113),从而通过轨迹L3。最后,本车辆VM停到停车框P内(S114)。
以下详述各动作。如图4所示,本车辆VM在停车场的行车道两侧设置有停车框的停车场进行入库时,在支援开关11被接通后(S101),停车支援装置10的ECU20的描绘运算部21将本车辆VM的行进角θ初始化为行进角θ=0(S102)。描绘运算部21根据转向角传感器12、偏航率传感器13、车速传感器14或GPS16及存储于数据库22中的信息来取得本车辆VM的前后方向与停车场的行车道方向所成的角度即行进角θ的大小和方向(S103)。
此时,可如下取得行进角θ:在支援开关11被接通时,视为本车辆VM和停车场的行车道方向平行地行驶,初始化为行进角θ=0,根据之后的转向角传感器12、偏航率传感器13及车速传感器14的检测值来取得行进角θ的大小和方向。或者,也可通过由GPS16取得的信息及存储于数据库22中的信息来取得行进角θ的大小和方向。而且,在本实施方式中,停车框P的前后方向和本车辆VM的前后方向之间的关系通过行进角θ来判断,但除了行进角θ以外,也可以通过停车框P的各部位与本车辆VM之间的距离、或者在停车在停车框P中的其他车辆VO与本车辆VM之间的距离或角度等来取得停车框P的前后方向与本车辆VM的前后方向之间的关系。
当行进角θ在阈值以上时(S104),描绘运算部21按照行进角θ的大小和方向,将以当前转向角前进时的轨迹和以一定转向角后退时的轨迹或以处于规定范围内的一定转向角后退时的轨迹范围与基于前方相机51、后方相机52及左右侧相机53的本车辆VM整体的鸟瞰影像、本车辆VM前部的鸟瞰影像及本车辆VM后部影像重叠地显示到显示器31上(S105)。
另外,在本实施方式中,实际上对于基于后方相机17的本车辆VM的后方影像,轨迹、轨迹的范围也可与未处理成鸟瞰影像的本车辆VM后部的未处理的影像重叠地显示,但在以下说明中,为便于说明,假设显示于显示器31的轨迹、轨迹的范围作为俯瞰影像显示到平面上,以此进行说明。但在本实施方式中实际上也可是,显示器31上,本车辆VM的后方的影像作为俯瞰影像而平面地显示,本车辆VM会通过的轨迹重叠地显示到俯瞰影像上。或者,可在导航系统等的地图上重叠地显示本车辆VM会通过的轨迹。
例如,本车辆VM在停车场的行车道上向右侧转弯的同时前进、描绘出轨迹L1时,如图5所示,描绘运算部21描绘出以当前的转向角持续前进时的一对前轮或者前部保险杠的左右端部的轨迹即轨迹L1。并且,描绘运算部21描绘出向反方向的左侧以一定转向角度转向时的一对后轮的轨迹即轨迹L2。轨迹L2从本车辆VM当前位置向后延伸,在其后端部即返回点TP2处与停车框P的前后方向平行。并且,描绘运算部21描绘从轨迹L2的后端部即返回点TP2开始以转向角0转向时的一对后轮的轨迹即轨迹L3。轨迹L3与停车框P的前后方向平行。
而且,描绘运算部21描绘向反方向的左侧以一定转向角度转向时的一对前轮的轨迹或者前部保险杠的左右端部的轨迹即l2。轨迹l2沿着本车辆VM的当前位置的前后延伸,在本车辆VM的后轮或后端部到达返回点TP2时的本车辆VM的前轮或者左右的前端部的位置即返回点tp2处,变为终端。此外,以下在本实施方式中描绘一对轨迹l2,但只要至少描绘一条转弯外侧的本车辆VM的前轮或前端部的轨迹即可,无需描绘两条轨迹l2。
如图6所示,在显示器31上显示由后方相机拍摄到的停车框P。如图7所示,描绘运算部21将图5的轨迹L1、轨迹L2、l2及轨迹L3与图6的停车框P的影像重叠地显示。另一方面,当本车辆VM在停车场的行车道上向左侧转弯的同时前进而描绘出轨迹L1时,如图8所示,描绘运算部21将通过向当前的左侧转弯的转向角而继续前进时的一对前轮的轨迹L1、向反方向的右侧以一定的转向角转向时的一对后轮的轨迹即轨迹L2、向反方向的右侧以一定转向角转向时的一对前轮或前端部的轨迹即轨迹l2及轨迹L3与图7同样地、与停车框P的影像重叠地显示。
此外,作为判断本车辆VM在左右哪一停车框P进行停车的方法,可通过驾驶员的输入操作进行,也可预先通过GPS16的定位信息和存储于数据库22中的信息而针对每个停车场设定停到左右哪一停车框。
以下详述描绘到显示器31上的轨迹L2、l2及L3的描绘方法。如图9所示,停车场的行车道的方向与停车框P的前后方向呈90°时,描绘运算部21从本车辆VM的一对后轮开始以规定转向角描绘中心角度为(90°-行进角|θ|)的圆弧,从而在其后端部可描绘与停车框P的前后方向平行的轨迹L2。描绘运算部21从轨迹L2的后端部沿着与轨迹L2的后端部相同的方向延伸直线,从而可描绘出轨迹L3。对于轨迹l2也同样,描绘运算部21从本车辆VM的一对前轮或左右的前端部开始以规定转向角描绘中心角度为(90°-行进角|θ|)的圆弧,在本车辆VM的后轮或后端部到达返回点TP2时的本车辆VM的前轮或左右前端部的位置即返回点tp2处形成终端,从而可描绘轨迹l2。
如图10所示,停车场的行车道的方向与停车框P的前后方向呈90°以外的|θp|而倾斜时,描绘运算部21从本车辆VM的一对后轮开始以规定转向角描绘中心角度为(|θp|-行进角|θ|)的圆弧,从而在其后端部可描绘与停车框P的前后方向平行的轨迹L2。对于轨迹L3,和停车场的行车道方向与停车框P的前后方向呈90°时是同样的。并且,轨迹l2也同样,描绘运算部21从本车辆VM的一对前轮或左右的前端部开始以规定转向角描绘中心角度为(|θp|-行进角|θ|)的圆弧,在本车辆VM的后轮或后端部到达返回点TP2时的本车辆VM的前轮或左右前端部的位置即返回点tp2处形成终端,从而可描绘轨迹l2。
通过使用图9及图10的方法,描绘运算部21在本车辆VM要进行停车的停车框P的前后方向和本车辆的前后方向所成的角度越大时,曲线部分的轨迹L2、l2的长度显示得越长,在本车辆VM要进行停车的停车框P的前后方向与本车辆的前后方向所成的角度越小时,曲线部分的轨迹L2、l2的长度显示得越短。
并且,在停车场的行车道的方向与停车框的前后方向相同的纵向停车的情况下,描绘运算部21例如通过将轨迹L1、中心角度分别相同且对左右转弯方向不同的两个圆弧和直线进行了组合的轨迹L2、l2、L3在显示器31上与停车框P的影像重叠地显示,从而可向本车辆VM的驾驶员报知后退开始位置。
并且,停车支援装置10通过激光雷达18、声纳19等识别停车框P、其他车辆VO,也可由扬声器32通过声音向本车辆VM的驾驶员报知后退开始位置。或者,停车支援装置10可通过行驶控制部23、刹车致动器42及转向致动器43强制性地介入到驾驶员的驾驶而将后退开始位置报知给本车辆VM的驾驶员。而且,停车支援装置10也可通过行驶控制部23、油门致动器41及转向致动器43向油门踏板、方向盘施加反作用力或基于触觉技术的触感,从而将后退开始位置报知给本车辆VM的驾驶员。
并且,停车支援装置10也可在返回点TP1等后退开始位置上使本车辆VM停止之后,将后方影像显示到显示器31上的同时使本车辆VM的驾驶员设定在哪一停车框P以怎样的轨迹L2、l2、L3进行停车。并且,即使在驾驶员忘记操作支援开关11时,停车支援装置10也可通过激光雷达18、声纳19、GPS16及数据库22的信息等,在轨迹L1前进时识别停车框P、其他车辆VO,推定行进角θ和停车框P的前后方向,同样地将轨迹L1、轨迹L2、l2及轨迹L3与停车框P的影像重叠地显示。
此外,也可是如下构成:至少在本车辆VM停车中或前进中,将基于本车辆VM的前后方向与停车框P的前后方向之间的角度而并不是对应于上述本车辆VM的当前转向角的轨迹L2、l2、L3显示到显示器31上,也可在后退时始终显示。或者如上所述,在后退时,也可以仅将与此时的本车辆VM的转向角对应的一种轨迹L2、l2、L3显示到显示器31上,将基于本车辆VM的前后方向和停车框P的前后方向之间的角度而并不是对应于上述本车辆VM的当前转向角的轨迹L2、l2、L3从显示器31删除。
并且,在上述例子中,本车辆VM是处于前进中、停止中还是后退中的判定是通过变速器档位位置传感器15的检测值而进行的,但也可使用油门、刹车等的操作或车速传感器14、GPS16的检测值等来进行本车辆VM是处于前进中、停止中还是后退中的判定。
如图7至图10所示,描绘运算部21可在显示器31上显示一种轨迹L2、l2、L3,但在本实施方式中,可显示基于彼此不同的转弯半径(转向角)的圆弧的轨迹L2、l2和继轨迹L2之后的轨迹L3的范围。如图11所示,描绘运算部21例如可显示基于最大转向角即转向角α1的轨迹L2和基于最大转向角的70%的转向角即转向角α2的轨迹L2’。直线状的轨迹L3、L3’分别从轨迹L2、L2’各自的后端部即返回点TP2、TP2’进行延伸。描绘运算部21将由一对后轮分别形成的轨迹L2至L3’包围的范围作为轨迹范围Z,在显示器31上通过阴影与停车框P的影像重叠地显示。
同样地,描绘运算部21例如可显示基于最大转向角即转向角α1的轨迹l2、和基于最大转向角的70%的转向角即转向角α2的轨迹l2’。描绘运算部21对应轨迹L2、L2’各自的后端部即返回点TP2、TP2’来确定此时的本车辆VM的前端部的位置即返回点tp2、tp2’。描绘运算部21使轨迹l2、l2’分别在返回点tp2、tp2’结束。描绘运算部21将由一对前轮或左右前端部分别形成的轨迹L2、l2’包围的范围作为轨迹范围z,在显示器31中通过阴影与停车框P的影像重叠地显示。
或者,如图12所示,描绘运算部21将由一对后轮形成的轨迹L2、L3包围的范围作为轨迹范围Z1,将由一对后轮形成的轨迹L2’、L3’包围的范围作为轨迹范围Z4,可在显示器31上通过阴影与停车框P的影像重叠地显示。而且,对于轨迹L2、L2’之间的转向角,描绘运算部21针对每个规定角度而同样地描绘轨迹,将由一对后轮包围的范围显示为轨迹范围Z2、Z3。这样一来,可向驾驶员提示多个后退开始位置的备选。
以下说明在本实施方式的停车支援装置10中实际显示于显示器31的影像的例子。在以下说明中,如图13所示,设定并说明本车辆VM向具有白线A至C的停车框P停车的情况。当本车辆VM在停车场的行车道上直行时,当支援开关11由驾驶员接通时,如图14所示,在显示器11上显示:基于前方相机51、后方相机52及左右侧相机53的本车辆VM整体的鸟瞰影像100;和本车辆VM前部的前方鸟瞰影像200。另外,此时,如图15所示,通过驾驶员适当操作影像切换开关30,在显示器11上显示本车辆VM整体的鸟瞰影像100和本车辆VM后部的后方影像300。
另外,在本实施方式中,描绘运算部21原则上只要没有驾驶员的操作,就在显示器31的影像上显示停车框P之后开始轨迹L1、L2(L2’)、l2(l2’)、L3(L3’)及轨迹范围Z、z的重叠显示。为了在显示器31的影像上显示停车框P之后开始轨迹L2、L3及轨迹范围Z的显示,如上所述,在行进角θ达到规定阈值以上之后,描绘运算部21可开始轨迹L1、L2(L2’)、l2(l2’)、L3(L3’)及轨迹范围Z、z的显示。或者,描绘运算部21通过使用激光雷达18、声纳19、GPS16及数据库22等来识别停车框P,从而推定在显示器31的影像上显示停车框P的时间及场所,在显示器31的影像上显示停车框P之后开始轨迹L1、L2(L2’)、l2(l2’)、L3(L3’)及轨迹范围Z、z的重叠显示。此时,轨迹L1、L2(L2’)、l2(l2’)、L3(L3’)的显示时期可以是:在鸟瞰影像100、后方影像300内显示出本车辆VM要进行停车的停车框P之前,或者在鸟瞰影像100、后方影像300内显示出本车辆VM要进行停车的停车框P的时刻。
在时刻T1,当行进角θ超过阈值时,描绘运算部21如图16所示,在显示有停车框P的鸟瞰影像100上重叠显示轨迹L1、L2(L2’)、l2(l2’)、L3(L3’)及轨迹范围Z、z,在前方鸟瞰影像200上重叠显示轨迹L1、l2(l2’)及轨迹范围z。或者,通过适当操作影像切换开关30,描绘运算部21如图17所示地在显示有停车框P的鸟瞰影像100上重叠显示轨迹L1、L2(L2’)、l2(l2’)、L3(L3’)及轨迹范围Z、z,在后方影像300上重叠显示轨迹L2(L2’)、L3(L3’)及轨迹范围Z。从时刻T2变为时刻T3,当行进角θ变大时,如图18至图21所示,曲线部分的轨迹L2(L2’)、L2’变短。
在时刻T3,正察看显示器31上的停车框P和轨迹范围Z、z的驾驶员判断为本车辆到达后退开始位置,从而停止本车辆VM。驾驶员以轨迹范围Z、z为基准,在转向为可使本车辆VM向停车框P进行停车的一定的转向角之后,使本车辆VM后退。在变为本车辆VM开始后退的时刻T4时,如图22及23所示,描绘运算部21仅显示基于由本车辆VM的转向角传感器12检测出的转向角的一种轨迹L2、l2、L3。当转向角变更时,与之相伴地,轨迹L2、l2、L3也变更,并显示到显示器31上。
在变为本车辆VM到达返回点TP2的时刻T5时,如图24所示,驾驶员将转向角转向为0°的同时使本车辆VM后退。描绘运算部21在鸟瞰影像100及后方影像300上仅显示轨迹L3。
根据本实施方式,显示本车辆VM的周边的影像的ECU20的描绘运算部21及显示器31在本车辆VM前进时,将本车辆VM以当前的转向角从当前位置前进时的轨迹L1和本车辆VM以与当前的转向角不同的转向角从当前位置后退时的轨迹L2、l2在鸟瞰影像100上重叠地显示。因此,例如,在本车辆VM转弯的同时前进、接着向反方向转弯的同时后退而向停车框P内进行停车的情况下,本车辆VM的驾驶员可同时把握前进过程中本车辆VM描绘的轨迹和接下来后退时的本车辆VM的轨迹。因此,本车辆VM的驾驶员容易使本车辆VM前进到在后退时本车辆VM不与周围障碍物接触的后退开始位置。因而,能够在本车辆VM接近障碍物时进行更适当的停车支援。
并且,在本实施方式中,描绘运算部21及显示器31在本车辆VM前进时将轨迹L1和本车辆以与当前转向角不同且处于规定范围内的各转向角从当前位置后退的情况下可经过的轨迹L2、l2的范围Z、z重叠地显示到鸟瞰影像100上。因此,对本车辆VM的驾驶员而言,在前进时选择后退开始位置的自由度变高。
即,仅以一定转弯半径的圆弧,在可自由行驶的轨迹L1上前进时,存在以下情况:停车框P和轨迹L2、L3重叠的点变为一点,导致通过用于开始后退的停止位置,难以停止。而在本实施方式中,引导的停止位置的备选具有自由度,因此可容易地使本车辆VM停止到后退开始位置。因此,在本车辆VM、停车框P的周围存在障碍物的情况下,因驾驶操作的较高的自由度,也可较容易地进行停车操作。
并且,在本实施方式中,描绘运算部21及显示器31在本车辆VM前进时显示了轨迹L1、L2、l2、L3及范围Z、z之后,在本车辆VM后退时,将以后退时的转向角后退的情况下的轨迹L2、l2及L3与鸟瞰影像100重叠地显示。因此,本车辆VM的驾驶员在前进过程中以轨迹L1、L2、l2、L3及范围Z、z为基准来确定后退开始位置,在后退开始时以轨迹L2、l2及L3为基准,可更容易地使本车辆VM停到停车框P内。
即,描绘运算部21及显示器31在本车辆VM后退时,对应本车辆VM的转向角来显示本车辆VM通过的一种轨迹L2、l2及L3,因此驾驶员在本车辆VM后退时,容易直观地把握与本车辆VM的转向角对应的本车辆VM的轨迹。尤其是在前进时或停止时,当显示了本车辆VM从当前所处的地点后退时可能通过的范围Z、z时,可吸收因这些范围Z、z而产生的间隙,容易使本车辆VM正确地停到停车框P内。
并且,根据本实施方式,范围z是如下的范围:本车辆VM前进时,本车辆VM以与当前转向角不同且处于规定范围内的各转向角从当前位置后退时,本车辆VM的前端部可经过的轨迹的范围。因此,本车辆VM的驾驶员在前进时可提高选择后退开始位置的自由度,同时在从前进切换为后退时,更容易把握容易与障碍物接触且容易疏于注意的前端部与障碍物接触的可能性。
并且,根据本实施方式,描绘运算部21及显示器31在本车辆VM前进时,可将重叠了轨迹L1、L2、l2、L3的显示显示到前方鸟瞰影像200上。因此,例如通过本车辆VM转弯的同时前进、接着向反方向转弯的同时后退而停到停车框P内时,本车辆VM的驾驶员更容容易在前进过程中把握接下来后退时可能与本车辆VM的前部接触的障碍物。
并且,根据本实施方式,描绘运算部21及显示器31可将重叠了轨迹L1、L2、l2、L3的显示显示到鸟瞰影像100、前方鸟瞰影像200上。因此,本车辆VM的驾驶员可更容易地把握在前进及后退之间进行了切换时的本车辆VM的轨迹和本车辆VM周围的障碍物。
此外,本发明不限于上述实施方式,当然可在不脱离本发明主旨的范围内实施各种变更。例如,在上述实施方式中,以如下方式为中心进行了说明:本车辆VM转弯的同时前进后再向反方向转弯的同时后退,从而使本车辆VM停到停车框P内。
工业实用性
根据上述本发明的一个实施方式的停车支援装置,在本车辆接近障碍物时,可进行更加适当的停车支援。
附图标记
10  停车支援装置
11  支援开关
12  转向角传感器
13  偏航率传感器
14  车速传感器
15  变速器档位位置传感器
16  GPS
18  激光雷达
19  声纳
20  ECU
21  描绘运算部
22  数据库
23  行驶控制部
30  影像切换开关
31  显示器
32  扬声器
41  油门致动器
42  刹车致动器
43  转向致动器
51  前方相机
52  后方相机
53  左右侧相机
100 鸟瞰影像
200 前方鸟瞰影像
300 后方影像

Claims (6)

1.一种停车支援装置,
具备显示本车辆的周边的影像的显示单元,
所述显示单元在所述本车辆前进时将第1轨迹和第2轨迹重叠地显示到所述本车辆的周边的影像中,所述第1轨迹是所述本车辆以当前的转向角从当前位置前进的情况下的轨迹,所述第2轨迹是所述本车辆以与当前的转向角不同的转向角从当前位置后退的情况下的轨迹。
2.根据权利要求1所述的停车支援装置,其中,所述显示单元将所述第1轨迹和所述第2轨迹的范围重叠地显示到所述本车辆的周边的影像中,所述第2轨迹是在所述本车辆以与当前的转向角不同且处于规定范围内的各转向角从当前位置后退的情况下可经过的轨迹。
3.根据权利要求2所述的停车支援装置,其中,所述显示单元在所述本车辆前进时显示了所述第1轨迹和所述第2轨迹的范围之后,在所述本车辆后退时将以后退时的转向角后退的情况下的第3轨迹重叠地显示到所述本车辆的周边的影像中。
4.根据权利要求2或3所述的停车支援装置,其中,所述第2轨迹的范围是:在所述本车辆以与当前的转向角不同且处于规定范围内的各转向角从当前位置后退的情况下所述本车辆的前端部可经过的轨迹的范围。
5.根据权利要求1至4中的任一项所述的停车支援装置,其中,所述显示单元能够将所述第1轨迹及所述第2轨迹重叠地显示到所述本车辆的前部的影像中。
6.根据权利要求1至5中的任一项所述的停车支援装置,其中,所述显示单元能够在以从上方鸟瞰所述本车辆的方式显示的影像中显示将所述第1轨迹及所述第2轨迹重叠后的显示。
CN201180065806.3A 2011-08-12 2011-08-12 停车支援装置 Active CN103796879B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/068479 WO2013024523A1 (ja) 2011-08-12 2011-08-12 駐車支援装置

Publications (2)

Publication Number Publication Date
CN103796879A true CN103796879A (zh) 2014-05-14
CN103796879B CN103796879B (zh) 2017-03-22

Family

ID=47714866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180065806.3A Active CN103796879B (zh) 2011-08-12 2011-08-12 停车支援装置

Country Status (4)

Country Link
US (1) US9598106B2 (zh)
JP (1) JP5477515B2 (zh)
CN (1) CN103796879B (zh)
WO (1) WO2013024523A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107021018A (zh) * 2016-03-16 2017-08-08 梅克朗有限两合公司 一种商用车辆可视系统
CN110406472A (zh) * 2018-04-27 2019-11-05 华创车电技术中心股份有限公司 停车辅助系统及停车辅助方法
CN110879560A (zh) * 2019-12-23 2020-03-13 北京百度网讯科技有限公司 控制车辆的方法、装置、设备和存储介质
CN113366550A (zh) * 2019-02-01 2021-09-07 株式会社电装 警报装置
CN114174131A (zh) * 2020-02-10 2022-03-11 日产自动车株式会社 停车辅助方法及停车辅助装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9315191B2 (en) * 2012-04-12 2016-04-19 Toyota Jidosha Kabushiki Kaisha Driving assistance device
JP6407596B2 (ja) * 2014-07-15 2018-10-17 株式会社デンソーテン 画像処理装置、及び、運転支援システム
JP2016066322A (ja) * 2014-09-26 2016-04-28 富士通テン株式会社 画像処理装置、及び画像表示システム
US10906530B2 (en) * 2015-11-10 2021-02-02 Hyundai Motor Company Automatic parking system and automatic parking method
JP6745456B2 (ja) * 2015-12-08 2020-08-26 パナソニックIpマネジメント株式会社 駐車支援装置、駐車支援方法及び駐車支援プログラム
KR102464484B1 (ko) * 2015-12-08 2022-11-07 현대모비스 주식회사 차량의 후진주행보조시스템 및 후진주행보조방법
US10683035B2 (en) 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
JP6504578B2 (ja) * 2017-09-05 2019-04-24 三菱電機株式会社 自動駐車装置
US11760262B2 (en) * 2019-11-19 2023-09-19 Hyundai Mobis Co., Ltd. Surround view monitoring system and method for vehicle, and parking assist control system of vehicle

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1522892A (zh) * 2003-01-29 2004-08-25 ��ʽ��������Զ�֯�������� 停车辅助装置
CN1787943A (zh) * 2004-04-19 2006-06-14 株式会社丰田自动织机 停车辅助设备
CN1819944A (zh) * 2003-07-10 2006-08-16 罗伯特·博世有限公司 尤其用于汽车驻车的驾驶辅助装置
CN1964883A (zh) * 2004-06-05 2007-05-16 罗伯特·博世有限公司 支持汽车停入的方法和装置
US20080158011A1 (en) * 2006-12-28 2008-07-03 Aisin Seiki Kabushiki Kaisha Parking assist apparatus
CN101228059A (zh) * 2005-07-26 2008-07-23 罗伯特·博世有限公司 停车装置
JP2009220682A (ja) * 2008-03-14 2009-10-01 Honda Motor Co Ltd 駐車支援装置
CN102019928A (zh) * 2009-09-15 2011-04-20 罗伯特·博世有限公司 用于补偿未识别的路程的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339598A (ja) 1999-03-19 2000-12-08 Yazaki Corp 車両用モニタ装置
DE60004121T2 (de) 1999-03-19 2004-04-15 Yazaki Corp. Rückblickeinrichtung für ein Fahrzeug
JP2001213253A (ja) 2000-01-31 2001-08-07 Equos Research Co Ltd 車両駐車操作補助装置
JP2004025942A (ja) * 2002-06-21 2004-01-29 Equos Research Co Ltd 駐車操作支援装置
JP4507872B2 (ja) 2004-12-09 2010-07-21 日産自動車株式会社 駐車支援装置
JP2006248383A (ja) * 2005-03-10 2006-09-21 Nippon Soken Inc 駐車支援装置
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP4414959B2 (ja) * 2005-11-16 2010-02-17 アイシン精機株式会社 駐車支援装置
JP5182545B2 (ja) 2007-05-16 2013-04-17 アイシン精機株式会社 駐車支援装置
JP5104171B2 (ja) 2007-09-28 2012-12-19 日産自動車株式会社 駐車支援装置および駐車支援方法
JP4900326B2 (ja) 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
JP5468485B2 (ja) 2009-07-22 2014-04-09 株式会社エクォス・リサーチ 走行支援装置及び走行支援方法
JP2011138386A (ja) * 2009-12-28 2011-07-14 Equos Research Co Ltd 走行支援装置および走行支援方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1522892A (zh) * 2003-01-29 2004-08-25 ��ʽ��������Զ�֯�������� 停车辅助装置
CN1819944A (zh) * 2003-07-10 2006-08-16 罗伯特·博世有限公司 尤其用于汽车驻车的驾驶辅助装置
CN1787943A (zh) * 2004-04-19 2006-06-14 株式会社丰田自动织机 停车辅助设备
CN1964883A (zh) * 2004-06-05 2007-05-16 罗伯特·博世有限公司 支持汽车停入的方法和装置
CN101228059A (zh) * 2005-07-26 2008-07-23 罗伯特·博世有限公司 停车装置
US20080158011A1 (en) * 2006-12-28 2008-07-03 Aisin Seiki Kabushiki Kaisha Parking assist apparatus
JP2009220682A (ja) * 2008-03-14 2009-10-01 Honda Motor Co Ltd 駐車支援装置
CN102019928A (zh) * 2009-09-15 2011-04-20 罗伯特·博世有限公司 用于补偿未识别的路程的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107021018A (zh) * 2016-03-16 2017-08-08 梅克朗有限两合公司 一种商用车辆可视系统
CN110406472A (zh) * 2018-04-27 2019-11-05 华创车电技术中心股份有限公司 停车辅助系统及停车辅助方法
CN113366550A (zh) * 2019-02-01 2021-09-07 株式会社电装 警报装置
CN110879560A (zh) * 2019-12-23 2020-03-13 北京百度网讯科技有限公司 控制车辆的方法、装置、设备和存储介质
CN114174131A (zh) * 2020-02-10 2022-03-11 日产自动车株式会社 停车辅助方法及停车辅助装置

Also Published As

Publication number Publication date
JPWO2013024523A1 (ja) 2015-03-05
JP5477515B2 (ja) 2014-04-23
US9598106B2 (en) 2017-03-21
WO2013024523A1 (ja) 2013-02-21
CN103796879B (zh) 2017-03-22
US20140148971A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
CN103796879A (zh) 停车支援装置
US8958986B2 (en) Parking assistance apparatus
US10449971B2 (en) Travel control device
US20180129206A1 (en) Vehicle control device
US9741250B2 (en) Parking assist apparatus, parking assist method, and computer program product
EP2011701B1 (en) Parking assistance device and parking assistance method
US10179608B2 (en) Parking assist device
US20160355178A1 (en) Surroundings monitoring apparatus and drive assistance apparatus
US20200086793A1 (en) Periphery monitoring device
US10940797B2 (en) Obstacle detecting and notifying device, method, and computer program product
KR20170067306A (ko) 차량의 후진주행보조시스템 및 후진주행보조방법
US11420678B2 (en) Traction assist display for towing a vehicle
JP5169912B2 (ja) 駐車支援装置
JP2017102839A (ja) 運転支援装置
JP5617396B2 (ja) 運転支援装置
US20170158240A1 (en) Method for assisting a driver of a motor vehicle when parking, driver assistance system, and motor vehicle
US11155133B2 (en) System and methods for vehicle alignment control
JP5397329B2 (ja) 駐車支援装置
JP6325365B2 (ja) 操舵支援制御装置
JP2014100957A (ja) 駐車支援装置及び制御装置
CN113631462B (zh) 用于在泊入机动动作中辅助车辆驾驶员的方法和驾驶员辅助系统
JP2012011817A (ja) 駐車支援装置
CN114537376A (zh) 车辆、避障辅助方法和计算机可读记录介质
WO2012059966A1 (ja) 駐車支援装置
JP2012086602A (ja) 駐車支援装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant