CN110304056B - 车辆及其控制方法与装置 - Google Patents

车辆及其控制方法与装置 Download PDF

Info

Publication number
CN110304056B
CN110304056B CN201910688695.XA CN201910688695A CN110304056B CN 110304056 B CN110304056 B CN 110304056B CN 201910688695 A CN201910688695 A CN 201910688695A CN 110304056 B CN110304056 B CN 110304056B
Authority
CN
China
Prior art keywords
vehicle
obstacle
image
driving
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910688695.XA
Other languages
English (en)
Other versions
CN110304056A (zh
Inventor
钱文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Motors Technology Co Ltd filed Critical Guangzhou Xiaopeng Motors Technology Co Ltd
Priority to CN201910688695.XA priority Critical patent/CN110304056B/zh
Publication of CN110304056A publication Critical patent/CN110304056A/zh
Application granted granted Critical
Publication of CN110304056B publication Critical patent/CN110304056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/30Auxiliary equipments

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明公开了一种车辆及其控制方法与装置,所述方法包括:对车辆周围环境进行图像采集,获取第一图像;根据获取所述第一图像中障碍物相对所述车辆的方位;根据所述方位和所述车辆的行驶路线,确定所述车辆若根据所述行驶路线行驶会和所述障碍物发生碰撞时对所述车辆进行控制,以避免碰撞。该方法在车辆行驶过程中,实时采集车辆周围环境的图像,并获取图像中障碍物相对车辆的方位;然后根据障碍物相对车辆的方位和车辆的行驶路线,确定车辆在根据行驶路线行驶会和障碍物发送碰撞时对当前车辆进行主动控制,从而避免了碰撞,降低了车辆行驶过程中意外情况的发生。

Description

车辆及其控制方法与装置
技术领域
本发明涉及车辆技术领域,特别是涉及一种车辆及其控制方法与装置。
背景技术
随着车辆保有量的不断增加,行车安全也越来越受到关注。车辆在行驶过程中,驾驶员需要时刻关注车辆周边的情况,以提高行驶的安全性。目前,车辆上常配置有后视镜,以使驾驶员观察到车辆周边的情况。但由于车辆上视线盲区的存在,以及驾驶员危险判断能力的不足,这就使得车辆在行驶过程中常常会发生意外。因此,如何避免车辆行驶过程中意外情况的发生是目前亟待解决的技术问题。
发明内容
本发明旨在至少一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提供一种车辆的控制方法,在车辆行驶过程中,能够根据车辆的行驶路线和障碍物相对车辆的方位对当前车辆进行主动控制,从而避免了车辆行驶过程中意外情况的发生。
本发明的第二个目的在于提出一种车辆的控制装置。
本发明的第三个目的在于提出一种车辆。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达到上述目的,本发明第一方面实施例提供了一种车辆的控制方法,车辆前部未配置雷达,所述方法包括:
对车辆周围环境进行图像采集,获取第一图像;
获取所述第一图像中障碍物相对所述车辆的方位;
根据所述方位和所述车辆的行驶路线,确定所述车辆若根据所述行驶路线行驶会和所述障碍物发生碰撞时对所述车辆进行控制,以避免碰撞。
根据本发明的一个实施例,还包括:
识别所述车辆的行驶路线发生改变,重新确定改变后的车辆若根据所述行驶路线行驶会和所述障碍物发生碰撞时对所述车辆进行控制,以避免碰撞。
根据本发明的一个实施例,所述确定所述车辆若根据所述行驶路线行驶会和所述障碍物发生碰撞时对所述车辆进行控制,包括:
将所述车辆的行驶方向调整为在靠近所述障碍物时朝远离所述障碍物的方向。
根据本发明的一个实施例,所述障碍物包括第一障碍物和第二障碍物;
所述将所述车辆的行驶方向调整为在靠近所述障碍物时朝远离所述障碍物的方向,包括:
若所述车辆的行驶方向被调整为朝远离所述第一障碍物的方向后,但所述车辆按照调整后的行驶路线行驶会与所述第二障碍物发生碰撞,则重新计算可避免碰撞的行驶路线。
根据本发明的一个实施例,还包括:
若不存在可避免碰撞的行驶路线,则控制所述车辆减速至停止行驶。
根据本发明的一个实施例,还包括:
提取所述第一图像中的所述障碍物的特征信息,根据所述障碍物的特征信息,划分所述车辆的安全行车等级。
根据本发明的一个实施例,所述特征信息包括障碍物的面积;
所述根据所述障碍物的特征信息,划分所述车辆的安全行车等级,包括:
获取所述障碍物的面积在所述第一图像的面积中所占的比例,并根据所述比例所处的区间范围,确定所述安全行车等级。
根据本发明的一个实施例,所述特征信息还包括障碍物的高度和障碍物的类型;
所述根据所述比例所处的区间范围,确定所述安全行车等级之后,还包括:
根据所述障碍物的高度和障碍物的类型,修正所述安全行车等级。
根据本发明的一个实施例,所述根据所述障碍物的高度和障碍物的类型,修正所述安全行车等级,包括:
识别所述障碍物的类型为所述预设类型,修正所述安全行车等级为最低安全等级;
识别所述障碍物的高度小于或等于所述预设高度,修正所述安全行车等级为最高安全等级;
识别所述障碍物的类型非预设类型,且所述障碍物的高度大于预设高度,禁止修正所述安全行车等级。
根据本发明的一个实施例,所述根据所述安全行车等级和所述方位,对所述车辆进行控制,包括:
识别所述安全行车等级为最低安全等级,根据所述方位调整所述车辆的行驶方向,并控制所述车辆以调整后的行驶方向行驶,以使所述车辆远离所述障碍物。
根据本发明的一个实施例,还包括:
识别所述安全行车等级非所述最高安全等级,获取与车辆本体之间的相对方位为所述方位的报警装置,控制所述报警装置发出与所述安全行车等级相匹配的警报。
根据本发明的一个实施例,还包括:
根据所述车辆上图像采集装置的布置位置,获取所述车辆在所述第一图像中的第一坐标,
根据所述第一坐标,在所述第一图像中融合所述车辆的画面进行显示。
根据本发明的一个实施例,所述获取所述第一图像中障碍物相对所述车辆的方位,包括:
根据所述车辆上图像采集装置的布置位置,获取所述车辆在所述第一图像中的第一坐标;
获取所述障碍物在所述第一图像中的第二坐标;
根据所述第一坐标和所述第二坐标,确定所述障碍物相对所述车辆的方位。
本发明实施例提供的车辆的控制方法,在车辆行驶过程中,实时采集车辆周围环境的图像,并获取图像中障碍物相对车辆的方位;然后根据障碍物相对车辆的方位和车辆的行驶路线,确定车辆在根据行驶路线行驶会和障碍物发送碰撞时对当前车辆进行主动控制,从而避免了碰撞,降低了车辆行驶过程中意外情况的发生。
本发明第二方面实施例提供了一种车辆的控制装置,车辆前部未配置雷达,所述装置包括:
图像采集模块,对车辆周围环境进行图像采集,获取第一图像;
方位获取模块,用于获取所述第一图像中障碍物相对所述车辆的方位;
控制模块,用于根据所述方位和所述车辆的行驶路线,确定所述车辆若根据所述行驶路线行驶会和所述障碍物发生碰撞时对所述车辆进行控制,以避免碰撞。
根据本发明的一个实施例,所述控制模块,还用于:
识别所述车辆的行驶路线发生改变,重新确定所述车辆若根据改变后的行驶路线行驶会和所述障碍物发生碰撞时对所述车辆进行控制,以避免碰撞。
根据本发明的一个实施例,所述控制模块,还用于:
将所述车辆的行驶方向调整为在靠近所述障碍物时朝远离所述障碍物的方向。
根据本发明的一个实施例,所述障碍物包括第一障碍物和第二障碍物;
所述控制模块,还用于:
若所述车辆的行驶方向被调整为朝远离所述第一障碍物的方向后,但所述车辆按照调整后的行驶路线行驶会与所述第二障碍物发生碰撞,则重新计算可避免碰撞的行驶路线。
根据本发明的一个实施例,所述控制模块,还用于:
若不存在可避免碰撞的行驶路线,则控制所述车辆减速至停止行驶。
根据本发明的一个实施例,还包括:
等级划分模块,用于提取所述第一图像中的所述障碍物的特征信息,根据所述障碍物的特征信息,划分所述车辆的安全行车等级。
根据本发明的一个实施例,所述特征信息包括障碍物的面积;
所述等级划分模块,还用于:
获取所述障碍物的面积在所述第一图像的面积中所占的比例,并根据所述比例所处的区间范围,确定所述安全行车等级。
根据本发明的一个实施例,所述特征信息还包括障碍物的高度和障碍物的类型;
所述等级划分模块,还用于:
根据所述障碍物的高度和障碍物的类型,修正所述安全行车等级。
根据本发明的一个实施例,所述等级划分模块,还用于:
识别所述障碍物的类型为所述预设类型,修正所述安全行车等级为最低安全等级;
识别所述障碍物的高度小于或等于所述预设高度,修正所述安全行车等级为最高安全等级;
识别所述障碍物的类型非预设类型,且所述障碍物的高度大于预设高度,禁止修正所述安全行车等级。
根据本发明的一个实施例,所述控制模块,还用于:
识别所述安全行车等级为最低安全等级,根据所述方位调整所述车辆的行驶方向,并控制所述车辆以调整后的行驶方向行驶,以使所述车辆远离所述障碍物。
根据本发明的一个实施例,所述控制模块,还用于:
识别所述安全行车等级非所述最高安全等级,获取与车辆本体之间的相对方位为所述方位的报警装置,控制所述报警装置发出与所述安全行车等级相匹配的警报。
根据本发明的一个实施例,所述图像采集模块,还用于:
根据所述车辆上图像采集装置的布置位置,获取所述车辆在所述第一图像中的第一坐标;
根据所述第一坐标,在所述第一图像中融合所述车辆的画面进行显示。
根据本发明的一个实施例,所述方位获取模块模块,还用于:
根据所述车辆上图像采集装置的布置位置,获取所述车辆在所述第一图像中的第一坐标;
获取所述障碍物在所述第一图像中的第二坐标;
根据所述第一坐标和所述第二坐标,确定所述障碍物相对所述车辆的方位。
本发明实施例提供的车辆的控制装置,在车辆行驶过程中,实时采集车辆周围环境的图像,并获取图像中障碍物相对车辆的方位;然后根据障碍物相对车辆的方位和车辆的行驶路线,确定车辆在根据行驶路线行驶会和障碍物发送碰撞时对当前车辆进行主动控制,从而避免了碰撞,降低了车辆行驶过程中意外情况的发生。
本发明第三方面实施例提供了一种车辆,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现第一方面中所述的车辆的控制方法的步骤。
本发明第四方面实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现第一方面中所述的车辆的控制方法的步骤。
附图说明
图1是本发明公开的一个实施例的车辆的控制的流程示意图;
图2为本发明公开的一个实施例的车辆的控制方法中确定障碍物相对于车辆的方位的步骤示意图;
图3为本发明公开的一个实施例的车辆的控制方法中障碍物相对于车辆的方位的坐标示意图;
图4是本发明公开的一个实施例的车辆的控制方法中确定安全行车等级的步骤示意图;
图5是本发明公开的一个实施例的车辆的控制方法中在第一图像中融合车辆画面的步骤示意图;
图6是本发明公开的一个实施例的车辆的控制方法中显示车辆周围环境图像的显示示意图;
图7是本发明公开的一个实施例的车辆的控制方法中控制组件连接的示意图;
图8是本发明公开的一个实施例的车辆的控制装置的结构示意图;
图9是本发明公开的一个实施例的车辆的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的车辆及其控制方法与装置。
需要说明的是,本实施例中的车辆前部未配置雷达。
图1是本发明公开的一个实施例的车辆的控制方法的流程示意图。如图1所示,本实施例提供的车辆的控制方法,包括以下步骤:
S101、对车辆周围环境进行图像采集,获取第一图像。
需要说明的是,本实施例中的车辆上设置有至少一个图像采集装置,该图像采集装置用于实时对车辆周围的环境进行图像采集,从而获取到车辆周围环境的第一图像。其中,图像采集装置可以但不限于为全景摄像头。
S102、获取第一图像中障碍物相对车辆的方位。
作为一种可能的实现方式,从第一图像中识别出障碍物之后,可以确定出障碍物处于第一图像中的方位,例如,可以确定出障碍物处于第一图像的左上方、右上方、左下方或者右下方,当图像采集装置处于车辆的中心位置时,可以得知第一图像中障碍物所处的方位就为障碍物相对车辆的方位。
作为另一种可能的实现方式,为了提高定位精度,也可以基于车辆和障碍物在第一图像中的坐标来确定障碍物相对车辆的方位。具体地,如图2所示,包括以下步骤:
S201、根据车辆上图像采集装置的布置位置,获取车辆在第一图像中的第一坐标。
具体地,车辆上图像采集装置的布置位置时预先设定的,因此,在车辆出厂时,则可以预先标定出车辆在第一图像中的坐标信息,即第一坐标。
S202、获取障碍物在第一图像中的第二坐标。
具体地,可以预先在第一图像中设定坐标系,当第一图像中包括障碍物时,即可以根据障碍物在第一图像中所在的位置,确定出障碍物在第一图像中的第二坐标。
S203、根据第一坐标和第二坐标,确定障碍物相对车辆的方位。
获取到第一坐标和第二坐标,则可以根据两个坐标之间的关系,确定出障碍物相对车辆的方位。例如,如图3所示,车辆a的第一坐标为(0,0),而障碍物b的第二坐标为(2,1),且横坐标的负值方向为车辆a的头部朝向,则可以确定出障碍物b位于车辆a的右后方。
S103、根据方位和车辆的行驶路线,确定车辆若根据行驶路线行驶会和障碍物发生碰撞时对车辆进行控制,以避免碰撞。
具体地,确定出障碍物相对车辆的方位,则可以根据该方位和车辆当前的行驶路线对车辆进行控制。
其中,当车辆的行驶路线为朝向障碍物行驶时,则车辆根据该行驶路线行驶会和障碍物发生碰撞,此时,可以对车辆进行控制,以避免碰撞。例如,控制车辆改变行驶路线、控制车辆主动停车等。可选地,可以将车辆的行驶方向调整为在靠近障碍物时朝远离障碍物的方向。
进一步地,如果识别到车辆的行驶路线发生改变,则重新确定车辆若根据改变后的行驶路线行驶会和障碍物发生碰撞时对车辆进行控制,以避免碰撞。
此外,车辆在行驶过程中,车辆周围环境中可能存在多个(一个以上)的障碍物的情形,此时,则可以根据所有障碍物的方位和车辆的行驶路线对车辆进行控制,以避免碰撞情况的发生。
举例来说,当障碍物包括第一障碍物和第二障碍物时,如果车辆的行驶方向被调整为朝远离第一障碍物的方向后,但车辆按照调整后的行驶路线行驶会与第二障碍物发生碰撞,则重新计算可避免碰撞的行驶路线。如果不存在可避免碰撞的行驶路线,则控制车辆减速至停止行驶,从而避免碰撞情况的发生。
综上所述,本发明实施例提供的车辆的控制方法,在车辆行驶过程中,实时采集车辆周围环境的图像,并获取图像中障碍物相对车辆的方位;然后根据障碍物相对车辆的方位和车辆的行驶路线,确定车辆在根据行驶路线行驶会和障碍物发送碰撞时对当前车辆进行主动控制,从而避免了碰撞,降低了车辆行驶过程中意外情况的发生。
在上述实施例的基础之上,还可以从第一图像中提取障碍物的特征信息,并根据障碍物的特征信息,划分车辆的安全行车等级,以驾驶员能够了解安全行车的级别,减轻驾驶员的判断压力。
需要说明的是,本实施例中障碍物的特征信息可以但不限于包括障碍物的面积。
获取到第一图像后,可以通过Canny、Sobel等边缘检测的方法,获取到第一图像中障碍物的边缘信息,进而确定出障碍物的面积。进一步地,则可以根据障碍物的面积来划分车辆的安全行车等级。具体地,如图4所示,包括以下步骤:
S401、获取障碍物的面积在第一图像的面积中所占的比例。
获取到障碍物的面积即可以将其与第一图像的面积做比值计算,从而获取到障碍物的面积在第一图像的面积中所占的比例。
S402、根据比例所处的区间范围,确定安全行车等级。
可选的,可以预设多个区间范围,其中,每个区间范围对应着一个安全行车等级。在确定出障碍物的面积在第一图像的面积中所占的比例后,即可确定出该比例所处的区间范围,进而确定出安全行车等级。
举例来说,如果障碍物的面积在第一图像的面积中所占的比例为1/5,其处于0-1/5区间,则判定当前安全等级为3级。如果障碍物的面积在第一图像的面积中所占的比例为2/5,其处于1/5-3/5区间,则判定当前安全等级为2级。如果障碍物的面积在第一图像的面积中所占的比例为4/5,其处于3/5-1区间,则判定当前安全等级为1级。
可选地,障碍物的特征信息还可以包括障碍物的类型和/或障碍物的高度。获取到第一图像后,可以从第一图像中识别出障碍物的类型和/或障碍物的高度,进一步地,根据障碍物的类型和/或障碍物的高度来划分安全行车等级。
可选地,如果识别出安全行车等级为最低安全等级,即当前行车非常危险;则可以根据方位调整车辆的行驶方向,并控制车辆以调整后的行驶方向行驶,以使车辆远离障碍物。
举例来说,如果当前行车非常危险,而此时驾驶员正在手动驾驶车辆,则车辆可以对其自身进行主动接管,以使车辆处于自动驾驶状态;进一步地,车辆可以自动调整方向盘的转向,并控制车辆以调整后的方向行驶,从而使车辆远离障碍物,以避免意外情况的发生。如图5所示,图中车辆的画面位于第一图像的中间位置,车辆画面的左上角为障碍物的画面,其中,图中车辆与处于车辆左上方的障碍物距离较近,而车辆与处于车辆右上方的障碍物距离较远,因此,为了避免车辆与处于车辆左上方的障碍物发生碰撞,可以控制车辆朝向车辆右上方的障碍物的方向进行移动,以使车辆远离车辆左上方的障碍物。
如果识别出安全行车等级非最高安全等级,则可以获取与车辆本体之间的相对方位为障碍物相对车辆的方位的报警装置,并控制报警装置发出与安全行车等级相匹配的警报,以对驾驶员和/或车辆外部有生命的个体进行提醒,从而避免意外情况的发生。其中,在本实施例中报警装置可以但不限于为喇叭和/或氛围灯;此外,为了对车辆外部有生命的个体进行提醒,还可以在车辆外部设置报警装置,具体可根据实际情况而定,在此不做限定。
举例来说,安全行车等级为1、2、3级,其中,1级为当前行车非常危险,2级为当前行车比较安全,3级为当前行车非常安全。当识别出安全行车等级为2级,且障碍物位于车辆的右后方时,则可以控制位于车辆内部和/或外部右后方的报警装置发出报警,如:喇叭发出声音的音量可以为40%,氛围灯闪烁的频率为每秒闪烁3次;而当别出安全行车等级为3级,且障碍物位于车辆的右后方时,则可以控制位于车辆内部和/或外部右后方的报警装置发出报警,如:喇叭发出声音的音量可以为20%,氛围灯闪烁的频率为每秒闪烁1次。
应当理解的是,当安全行车等级为最低安全等级,即当前行车非常危险时,也可以控制车辆中的报警装置发出与安全行车等级相匹配的警报。例如,可以控制喇叭发出声音的音量为60%,氛围灯闪烁的频率为每秒闪烁6次等。此外,在本实施例中,除了在安全行车等级为最低安全等级,即当前行车非常危险时,控制车辆进入自动驾驶状态外,在其他安全行车等级时,也可以根据实际情况控制车辆进入自动驾驶状态。
在上述实施例的基础之上,很多障碍物并不会影响到行车,比如一个空水瓶,一块木板,在碰到这些障碍物时驾驶员可以不停车或不改变车辆行驶方向,而在上述情况时则仅从障碍物的面积来判断障碍物是否会影响行车安全并不准确,容易导致不必要的报警和/或方向偏离。因此,为了提高判断安全行车等级的准确性,在本实施例中在障碍物的特征信息为障碍物的面积的基础之上,还结合了障碍物的其他特征信息来修正安全行车等级,从而避免了车辆的误报警和/或误使方向偏离等现象的发生。
可选地,障碍物的特征信息还包括:障碍物的高度和障碍物的类型。其中,障碍物的类型指的是障碍物是否属于有生命的个体、障碍物是否属于易燃易爆等危险物品等。
由于车辆行驶过程中,当车辆离有生命的个体或者易燃易爆等危险物品距离较近时,车辆与有生命的个体或者易燃易爆等危险物品容易发生碰撞,这就使得车辆发生意外的概率将大幅上升。因此,在本实施例中,当识别到障碍物的类型为预设类型时,则修正安全行车等级为最低安全等级,即当前行车非常危险;其中,预设类型指的是障碍物属于有生命的个体或者属于易燃易爆等危险物品等。
而当障碍物不属于预设类型时,如果障碍物的高度小于或者等于预设高度,例如,障碍物为一个矿泉水瓶,则障碍物并不会影响到行车安全,因此,此时可以修正安全行车等级为最高安全等级,即当前行车非常安全。也就是说,在本实施例中,在识别到障碍物的高度小于或等于预设高度时,则确定安全行车等级为最高安全等级。
进一步地,当识别障碍物的类型为非预设类型,且障碍物的高度大于预设高度时,则禁止修正安全行车等级。也就是说,本实施例中,障碍物的类型的优先级高于障碍物的高度的优先级,而障碍物的高度的优先级高于障碍物的面积的优先级。
在上述实施例的基础之上,为了能够使驾驶员能够实时观察到车辆周围的环境信息,还可以在车辆中的显示装置(如车载显示屏)上显示车辆周围环境的图像。具体地,如图5所示,包括以下步骤:
S501、获取车辆上图像采集装置的布置位置。
需要说明的是,图像采集装置用于采集第一图像,其布置位置在车辆出厂时已进行标定。因此,可以直接调用车辆中的车辆参数信息,来获取到图像采集装置的布置位置。
S502、根据布置位置,获取车辆在第一图像中的第一坐标。
具体地,可以预先在第一图像中设定坐标系,由于车辆上图像采集装置的布置位置时预先设定的,因此,在车辆出厂时,则可以预先标定出车辆在第一图像中的第一坐标。
S503、根据第一坐标,在第一图像中融合车辆的画面进行显示。
具体地,确定出车辆在第一图像中的第一坐标后,将车辆的画面融合至第一图像中进行显示即可。如图6所示,图中车辆的画面位于第一图像的中间位置,车辆画面的左上角为障碍物的画面。
为了便于理解,下面通过图7来对本实施例中的车辆的控制方法的流程进行解释说明。如图7所示,摄像头通过CAN总线与中央网络控制单元相连,大屏控制器和车内智能单元通过CAN总线与中央网络控制单元相连,音响控制器、氛围灯控制器和灯语控制器通过CAN总线与中央网络控制单元相连,方向盘控制器连接至中央网络控制单元。
首先,车辆中的摄像头捕捉车身周围的环境画面(即第一图像),并发送至车内智能单元,由车内智能单元判断出障碍物的面积,以及障碍物在第一图像中所占的比例,并输出安全行车等级;然后,车内智能单元在根据第一图像判断障碍物的高度和类型,判断是否需要修改安全行车等级。进一步地,车内智能单元根据安全行车等级输出对应的策略给到音响控制器发出警示音,同时给到氛围灯控制器、灯语控制器,进而使车内外发出灯光提示;以及当最低安全等级出现时(即当前行车非常危险),车内智能单元输出对应策略给到方向盘控制器,使方向盘调整转动方向,进而改变行径方向,避免碰撞。
为了实现上述实施例的方法,本发明还提供了一种车辆的控制装置。
图8是本发明公开的一个实施例的车辆的控制装置的结构示意图。如图8所示,该装置包括:
图像采集模块801,对车辆周围环境进行图像采集,获取第一图像;
方位获取模块802,用于获取第一图像中障碍物相对车辆的方位;
控制模块803,用于根据方位和车辆的行驶路线,确定车辆若根据行驶路线行驶会和障碍物发生碰撞时对车辆进行控制,以避免碰撞。
进一步地,控制模块803,还用于:
识别车辆的行驶路线发生改变,重新确定车辆若根据改变后的行驶路线行驶会和障碍物发生碰撞时对车辆进行控制,以避免碰撞。
进一步地,控制模块803,还用于:
将车辆的行驶方向调整为在靠近障碍物时朝远离障碍物的方向。
进一步地,障碍物包括第一障碍物和第二障碍物;
控制模块803,还用于:
若车辆的行驶方向被调整为朝远离第一障碍物的方向后,但车辆按照调整后的行驶路线行驶会与第二障碍物发生碰撞,则重新计算可避免碰撞的行驶路线。
进一步地,控制模块803,还用于:
若不存在可避免碰撞的行驶路线,则控制车辆减速至停止行驶。
进一步地,还包括:
等级划分模块,用于提取第一图像中的障碍物的特征信息,根据障碍物的特征信息,划分车辆的安全行车等级。
进一步地,特征信息包括障碍物的面积;
等级划分模块,还用于:
获取障碍物的面积在第一图像的面积中所占的比例,并根据比例所处的区间范围,确定安全行车等级。
进一步地,特征信息还包括障碍物的高度和障碍物的类型;
等级划分模块,还用于:
根据障碍物的高度和障碍物的类型对,修正安全行车等级。
进一步地,等级划分模块,还用于:
识别障碍物的类型为预设类型,修正安全行车等级为最低安全等级;
识别障碍物的高度小于或等于预设高度,修正安全行车等级为最高安全等级;
识别障碍物的类型非预设类型,且障碍物的高度大于预设高度,禁止修正安全行车等级。
进一步地,控制模块803,还用于:
识别安全行车等级为最低安全等级,根据方位调整车辆的行驶方向,并控制车辆以调整后的行驶方向行驶,以使车辆远离障碍物。
进一步地,控制模块803,还用于:
识别安全行车等级非最高安全等级,获取与车辆本体之间的相对方位为方位的报警装置,控制报警装置发出与安全行车等级相匹配的警报。
进一步地,图像采集模块801,还用于:
根据车辆上图像采集装置的布置位置,获取车辆在第一图像中的第一坐标;
根据第一坐标,在第一图像中融合车辆的画面进行显示。
进一步地,方位获取模块802,还用于:
根据车辆上图像采集装置的布置位置,获取车辆在第一图像中的第一坐标;
获取障碍物在第一图像中的第二坐标;
根据第一坐标和第二坐标,确定障碍物相对车辆的方位。
应当理解的是,上述装置用于执行上述实施例中的方法,装置中相应的程序模块,其实现原理和技术效果与上述方法中的描述类似,该装置的工作过程可参考上述方法中的对应过程,此处不再赘述。
综上所述,本发明实施例提供的车辆的控制装置,在车辆行驶过程中,实时采集车辆周围环境的图像,并获取图像中障碍物相对车辆的方位;然后根据障碍物相对车辆的方位和车辆的行驶路线,确定车辆在根据行驶路线行驶会和障碍物发送碰撞时对当前车辆进行主动控制,从而避免了碰撞,降低了车辆行驶过程中意外情况的发生。
为了实现上述实施例,本发明还提供了一种车辆,如图9所示,该车辆包括处理器902、存储器901及存储在存储器901上并能够在处理器902上运行的计算机程序,计算机程序被所述处理器902执行时实现上文所述的车辆的控制方法的步骤。
为了实现上述实施例,本发明还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现上文所述的车辆的控制方法的步骤。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种车辆的控制方法,其特征在于,车辆前部未配置雷达,所述方法包括:
对车辆周围环境进行图像采集,获取第一图像;
获取所述第一图像中障碍物相对所述车辆的方位;
控制所述车辆在所述方位的报警装置发出警报;
提取所述第一图像中的所述障碍物的特征信息,所述障碍物的特征信息包括障碍物类型及高度;
若所述障碍物属于预设类型,根据所述方位和所述车辆的行驶路线,确定所述车辆若根据所述行驶路线行驶会和所述障碍物发生碰撞时对所述车辆进行控制,以避免碰撞;
若所述障碍物属于非预设类型,控制所述车辆沿所述行驶路线行驶,
所述障碍物的类型的优先级高于所述障碍物的高度的优先级,
所述方法还包括:
根据所述障碍物的特征信息,划分所述车辆的安全行车等级;
根据所述障碍物的高度和障碍物的类型,修正所述安全行车等级,
所述特征信息包括障碍物的面积;
所述根据所述障碍物的特征信息,划分所述车辆的安全行车等级,包括:
获取所述障碍物的面积在所述第一图像的面积中所占的比例,并根据所述比例所处的区间范围,确定所述安全行车等级。
2.根据权利要求1所述的方法,其特征在于,还包括:
识别所述车辆的行驶路线发生改变,重新确定所述车辆若根据改变后的行驶路线行驶会和所述障碍物发生碰撞时对所述车辆进行控制,以避免碰撞。
3.根据权利要求1所述的方法,其特征在于,所述确定所述车辆若根据所述行驶路线行驶会和所述障碍物发生碰撞时对所述车辆进行控制,包括:
将所述车辆的行驶方向调整为在靠近所述障碍物时朝远离所述障碍物的方向。
4.根据权利要求3所述的方法,其特征在于,所述障碍物包括第一障碍物和第二障碍物;
所述将所述车辆的行驶方向调整为在靠近所述障碍物时朝远离所述障碍物的方向,包括:
若所述车辆的行驶方向被调整为朝远离所述第一障碍物的方向后,但所述车辆按照调整后的行驶路线行驶会与所述第二障碍物发生碰撞,则重新计算可避免碰撞的行驶路线。
5.根据权利要求4所述的方法,其特征在于,还包括:
若不存在可避免碰撞的行驶路线,则控制所述车辆减速至停止行驶。
6.根据权利要求1所述的方法,其特征在于,所述根据所述障碍物的高度和障碍物的类型,修正所述安全行车等级,包括:
识别所述障碍物的类型为所述预设类型,修正所述安全行车等级为最低安全等级;
识别所述障碍物的类型为所述非预设类型且所述障碍物的高度小于或等于预设高度,修正所述安全行车等级为最高安全等级;
识别所述障碍物的类型非预设类型,且所述障碍物的高度大于预设高度,禁止修正所述安全行车等级。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述获取所述第一图像中障碍物相对所述车辆的方位,包括:
根据所述车辆上图像采集装置的布置位置,获取所述车辆在所述第一图像中的第一坐标;
获取所述障碍物在所述第一图像中的第二坐标;
根据所述第一坐标和所述第二坐标,确定所述障碍物相对所述车辆的方位。
8.一种车辆的控制装置,其特征在于,车辆前部未配置雷达,所述装置包括:
图像采集模块,对车辆周围环境进行图像采集,获取第一图像;
方位获取模块,用于获取所述第一图像中障碍物相对所述车辆的方位;
控制模块,用于控制所述车辆在所述方位的报警装置发出警报;提取所述第一图像中的所述障碍物的特征信息,所述障碍物的特征信息包括障碍物类型及高度;
若所述障碍物属于预设类型根据所述方位和所述车辆的行驶路线,确定所述车辆若根据所述行驶路线行驶会和所述障碍物发生碰撞时对所述车辆进行控制,以避免碰撞;
若所述障碍物属于非预设类型,控制所述车辆沿所述行驶路线行驶,
所述障碍物的类型的优先级高于所述障碍物的高度的优先级,
所述装置还包括:
等级划分模块,用于根据所述障碍物的特征信息,划分所述车辆的安全行车等级,及用于根据所述障碍物的高度和障碍物的类型,修正所述安全行车等级,
所述特征信息包括障碍物的面积;
所述等级划分模块,还用于:
获取所述障碍物的面积在所述第一图像的面积中所占的比例,并根据所述比例所处的区间范围,确定所述安全行车等级。
9.一种车辆,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-7任一项所述的车辆的控制方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的车辆的控制方法的步骤。
CN201910688695.XA 2019-07-29 2019-07-29 车辆及其控制方法与装置 Active CN110304056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910688695.XA CN110304056B (zh) 2019-07-29 2019-07-29 车辆及其控制方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910688695.XA CN110304056B (zh) 2019-07-29 2019-07-29 车辆及其控制方法与装置

Publications (2)

Publication Number Publication Date
CN110304056A CN110304056A (zh) 2019-10-08
CN110304056B true CN110304056B (zh) 2021-06-04

Family

ID=68082349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910688695.XA Active CN110304056B (zh) 2019-07-29 2019-07-29 车辆及其控制方法与装置

Country Status (1)

Country Link
CN (1) CN110304056B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658822A (zh) * 2019-10-11 2020-01-07 北京小马慧行科技有限公司 车辆行驶的控制方法、装置、存储介质和处理器
CN110965893B (zh) * 2019-11-25 2021-09-03 广州小鹏汽车科技有限公司 车辆及其控制方法与装置
CN110979340A (zh) * 2019-12-20 2020-04-10 北京海纳川汽车部件股份有限公司 车辆及其控制方法和装置
CN111148325B (zh) * 2019-12-30 2022-07-12 广州路派电子科技有限公司 一种汽车氛围灯及其控制方法
CN111667721A (zh) * 2020-05-19 2020-09-15 广州小鹏车联网科技有限公司 车辆避险方法、装置、车辆以及存储介质
CN113682299A (zh) * 2020-05-19 2021-11-23 广州汽车集团股份有限公司 一种车辆前向碰撞预警方法及装置
CN111724753A (zh) * 2020-06-15 2020-09-29 广州小鹏车联网科技有限公司 一种车辆内部屏幕亮度调节的方法和装置
CN111645705A (zh) * 2020-06-17 2020-09-11 广州小鹏车联网科技有限公司 一种下发驾驶路线调整的方法和一种服务器
CN112158197B (zh) * 2020-08-21 2021-08-27 恒大新能源汽车投资控股集团有限公司 一种车辆盲区障碍物规避方法、装置及系统
CN112987002B (zh) * 2021-02-22 2024-04-05 广州大学 一种障碍物危险性识别方法、系统及装置
CN116233762B (zh) * 2021-12-02 2024-03-29 中国联合网络通信集团有限公司 车辆间的通信方法、设备、车辆及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105223952A (zh) * 2015-09-28 2016-01-06 小米科技有限责任公司 平衡车的控制方法及装置
CN108454621A (zh) * 2018-03-12 2018-08-28 长沙智能驾驶研究院有限公司 智能车辆及其控制方法、装置、系统及计算机存储介质
CN108608942A (zh) * 2018-05-30 2018-10-02 东莞职业技术学院 一种汽车防追尾方法及预警系统
CN109686124A (zh) * 2018-11-28 2019-04-26 法法汽车(中国)有限公司 防碰撞提醒方法及系统、存储介质和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6867184B2 (ja) * 2017-02-13 2021-04-28 トヨタ自動車株式会社 運転支援装置
CN108583571A (zh) * 2018-04-28 2018-09-28 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN108831190A (zh) * 2018-08-02 2018-11-16 钟祥博谦信息科技有限公司 车辆防碰撞方法、装置和设备
CN109572693A (zh) * 2019-01-24 2019-04-05 湖北亿咖通科技有限公司 车辆避障辅助方法、系统及车辆

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105223952A (zh) * 2015-09-28 2016-01-06 小米科技有限责任公司 平衡车的控制方法及装置
CN108454621A (zh) * 2018-03-12 2018-08-28 长沙智能驾驶研究院有限公司 智能车辆及其控制方法、装置、系统及计算机存储介质
CN108608942A (zh) * 2018-05-30 2018-10-02 东莞职业技术学院 一种汽车防追尾方法及预警系统
CN109686124A (zh) * 2018-11-28 2019-04-26 法法汽车(中国)有限公司 防碰撞提醒方法及系统、存储介质和电子设备

Also Published As

Publication number Publication date
CN110304056A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110304056B (zh) 车辆及其控制方法与装置
US10994732B2 (en) Controller for a vehicle
US10829120B2 (en) Proactive safe driving for an automated vehicle
US10710580B2 (en) Tailgating situation handling by an automated driving vehicle
CN106240565B (zh) 碰撞减轻和躲避
CN106004879B (zh) 车辆行驶辅助系统及其控制方法
US8553087B2 (en) Vehicular image display system and image display control method
US10810446B2 (en) Parking space line detection method and device
US10179588B2 (en) Autonomous vehicle control system
US20170297488A1 (en) Surround view camera system for object detection and tracking
JP4885793B2 (ja) 障害物監視装置
JP2010003254A (ja) 画像処理装置
JP2017114405A (ja) 運転支援装置
JP2020021179A (ja) 運転支援装置
CN110126717B (zh) 一种用于车辆的转向示警系统及转向示警方法
US11414099B2 (en) Dynamic stop time threshold selection for hands-free driving
CN110874938A (zh) 交通灯控制系统及交通灯控制方法
TWI538831B (zh) Vehicle autonomous assist driving system and method
JP7107329B2 (ja) 運転支援システム
JP2018092290A (ja) 車両用表示装置
JP4518978B2 (ja) 車両の物体認識装置及び物体認識方法
JP5416193B2 (ja) 障害物監視装置
JP2020120267A (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
CN110962854B (zh) 车辆及其控制方法和系统
EP3992031A1 (en) Drive control system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant