CN106611512B - 前车起步的处理方法、装置和系统 - Google Patents

前车起步的处理方法、装置和系统 Download PDF

Info

Publication number
CN106611512B
CN106611512B CN201510700316.6A CN201510700316A CN106611512B CN 106611512 B CN106611512 B CN 106611512B CN 201510700316 A CN201510700316 A CN 201510700316A CN 106611512 B CN106611512 B CN 106611512B
Authority
CN
China
Prior art keywords
vehicle
current vehicle
target
image
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510700316.6A
Other languages
English (en)
Other versions
CN106611512A (zh
Inventor
谭伟
张富平
黄洋文
戴虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201510700316.6A priority Critical patent/CN106611512B/zh
Priority to US15/770,280 priority patent/US10818172B2/en
Priority to PCT/CN2016/085438 priority patent/WO2017067187A1/zh
Priority to EP16856628.9A priority patent/EP3367361B1/en
Publication of CN106611512A publication Critical patent/CN106611512A/zh
Application granted granted Critical
Publication of CN106611512B publication Critical patent/CN106611512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/17Control of distance between vehicles, e.g. keeping a distance to preceding vehicle with provision for special action when the preceding vehicle comes to a halt, e.g. stop and go
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18054Propelling the vehicle related to particular drive situations at stand still, e.g. engine in idling state
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/50Magnetic or electromagnetic sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/04Vehicle stop
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02NSTARTING OF COMBUSTION ENGINES; STARTING AIDS FOR SUCH ENGINES, NOT OTHERWISE PROVIDED FOR
    • F02N2200/00Parameters used for control of starting apparatus
    • F02N2200/08Parameters used for control of starting apparatus said parameters being related to the vehicle or its components
    • F02N2200/0801Vehicle speed
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02NSTARTING OF COMBUSTION ENGINES; STARTING AIDS FOR SUCH ENGINES, NOT OTHERWISE PROVIDED FOR
    • F02N2200/00Parameters used for control of starting apparatus
    • F02N2200/12Parameters used for control of starting apparatus said parameters being related to the vehicle exterior
    • F02N2200/125Information about other vehicles, traffic lights or traffic congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种前车起步的处理方法、装置和系统。其中,该前车起步的处理方法应用于前车起步的处理系统,处理系统包括:视频传感器和重力传感器,该处理方法包括:通过视频传感器采集当前车辆的车头前方图像,以及通过重力传感器采集当前车辆的加速度信息;基于车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态;在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象的运动轨迹;根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息。通过本发明,解决了现有技术在行车过程中无法准确进行前车起步提醒的问题,使得在当前车辆的前一车辆驶出时,可以及时提醒当前车辆动作。

Description

前车起步的处理方法、装置和系统
技术领域
本发明涉及驾驶辅助系统领域,具体而言,涉及一种前车起步的处理方法、装置和系统。
背景技术
在交通路口,在交通信号灯由红灯亮转为绿灯亮,或交通信号灯由红色转为绿色时,前面的车辆已经驶出,而由于各种原因后面的车辆未及时跟随,可能会造成交通拥堵,严重的可能造成交通事故。现有技术中,一般通过基于前车和当前车辆的行驶状态来判断当前车辆是否需要起步,但是现有技术中通过重力传感器、CAN总线或者GPS确定当前车辆的行驶状态的结果误差较大,且现有技术通过分析前车车尾影像的尺寸变化同时辅以声波、激光等技术手段判断前车是否运动,该判断前车是否起步的技术手段需要的参数多、数据处理复杂、处理结果不准确。由上述分析可知,现有技术中无法准确判断当前车辆和前车的行驶状态,从而无法准确地进行前车起步提醒。
针对现有技术在行车过程中无法准确进行前车起步提醒的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种前车起步的处理方法、装置和系统,以至少解决现有技术在行车过程中无法准确进行前车起步提醒的技术问题。
根据本发明实施例的一个方面,提供了一种前车起步的处理方法,应用于前车起步的处理系统,处理系统包括:视频传感器和重力传感器,该处理方法包括:通过视频传感器采集当前车辆的车头前方图像,以及通过重力传感器采集当前车辆的加速度信息;基于车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态;在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象的运动轨迹;根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息。
根据本发明实施例的另一方面,还提供了一种前车起步的处理装置,应用于前车起步的处理系统,处理系统包括:视频传感器和重力传感器,该处理装置包括:采集单元,通过视频传感器采集当前车辆的车头前方图像,以及通过重力传感器采集当前车辆的加速度信息;确定单元,用于基于车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态;获取单元,用于在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象的运动轨迹;生成单元,用于根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息。
根据本发明实施例的另一方面,又提供了一种前车起步的处理系统,该处理系统包括:视频传感器,安装在当前车辆的前挡风玻璃上,视频传感器与当前车辆的后视镜位于同一水平线,用于采集当前车辆的车头前方图像;重力传感器,用于采集当前车辆的加速度信息;处理器,与摄像机和重力传感器连接,用于基于车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态,在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象的运动轨迹,并根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息。
在本发明实施例中,基于通过视频传感器采集的车头前方图像的图像特征和/或通过重力传感器采集的加速度信息确定当前车辆的行驶状态,在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象(包括前车)的运动轨迹,根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息。通过上述实施例,采用车头前方图像信息和加速度信息的结合准确判断当前车辆的行驶状态。在当前车辆的行驶状态为静止状态时,基于车头前方图像中的目标对象的运动轨迹判断当前车辆的前车是否启动,以判断是否需要生成提醒信息。该方案在处理过程中使用的参数少,处理结果准确,解决了现有技术在行车过程中无法准确进行前车起步提醒的技术问题,使得在当前车辆的前一车辆驶出时,可以及时提醒,以使当前车辆及时动作。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种前车起步的处理方法的流程图;
图2是根据本发明实施例的一种可选的前车起步的处理方法的流程图;
图3是根据本发明实施例的另一种可选的前车起步的处理方法的流程图;
图4是根据本发明实施例的第三种可选的前车起步的处理方法的流程图;
图5是根据本发明实施例的第四种可选的前车起步的处理方法的流程图;
图6是根据本发明实施例的一种前车起步的处理装置的示意图;
图7是根据本发明实施例的一种前车起步的处理系统的示意图;
图8是根据本发明实施例的一种可选的前车起步的处理系统的示意图;
图9是根据本发明实施例的另一种可选的前车起步的处理系统的示意图。
具体实施方式
首先,在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
高级辅助驾驶系统(Advanced Driver Assistant System,ADAS):利用安装于车上的多类传感器,实时收集车内外环境数据,进行静、动态物体的辨识、侦测与追踪,从而让驾驶者在最快时间内察觉可能发生的危险,以提高行车安全。
单目视觉(Monocular Vision):用一台摄像机获取场景信息并进行智能分析。
线段检测器(Line Segment Detector):在线性时间内得到亚像素级准确度的直线段检测算法。
卡尔曼滤波(Kalman filter):利用线性系统状态方程,通过系统观测数据,对系统状态进行最优估计。
重力传感器(G-sensor):能够感知到加速度变化的传感器。
CAN总线:控制器局域网络(Controller Area Network,CAN)的简称,ISO国际标准化的串行通信协议,是国际上应用最广泛的现场总线之一。
车尾(Vehicle Tail):在图像中被检测算法和跟踪算法确认的车尾,用矩形框表示,在本文中与车辆、目标为同一个概念。
前车(Preceding Vehicle):在图像中被确认的位于当前车辆车头前方的唯一车辆,在本文中与前一车辆为同一个概念。
方向梯度直方图(Histogram of Oriented Gradient):一种在计算机视觉和图像处理中用来进行物体检测的特征描述子,通过计算和统计图像局部区域的梯度方向直方图来构成特征。
Adaboost:一种迭代算法,核心思想是针对同一个训练集训练不同的弱分类器,然后把这些弱分类器集合起来,构成一个强分类器。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种前车起步的处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种前车起步的处理方法的流程图,如图1所示,该前车起步的处理方法应用于前车起步的处理系统,处理系统包括:视频传感器和重力传感器,该处理方法可以包括如下步骤:
步骤S102,通过视频传感器采集当前车辆的车头前方图像,以及通过重力传感器采集当前车辆的加速度信息。
步骤S104,基于车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态。
其中,当前车辆的行驶状态可以为静止状态或者运动状态,静止状态是指当前车辆相对路面静止,比如等待红绿灯或堵车时;运动状态是指当前车辆相对路面运动,包括加速、减速、匀速运动。
步骤S106,在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象的运动轨迹。
其中,车头前方图像中目标对象可以为一个或者多个。
步骤S108,根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息。
采用本发明实施例,基于通过视频传感器采集的车头前方图像的图像特征和/或通过重力传感器采集的加速度信息确定当前车辆的行驶状态,在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象(包括前车)的运动轨迹,根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息。通过上述实施例,采用车头前方图像信息和加速度信息的结合准确判断当前车辆的行驶状态。在当前车辆的行驶状态为静止状态时,基于车头前方图像中的目标对象的运动轨迹判断当前车辆的前车是否启动,以判断是否需要生成提醒信息。该方案在处理过程中使用的参数少,处理结果准确,解决了现有技术在行车过程中无法准确进行前车起步提醒的问题,使得在当前车辆的前一车辆驶出时,可以及时提醒,以使当前车辆及时动作。
上述实施例中,可以通过安装在当前车辆后视镜后方挡风玻璃上的摄像机实时捕获当前车辆的车头前方的连续画面,以获取当前车辆的车头前方图像。重力传感器实时获取当前车辆的加速度信息,该加速度信息包括当前车辆在世界坐标系三个不同方向的加速度值,其中,上述的三个不同方向分别为车辆运行方向、垂直于车辆运行方向且与路面平行方向、垂直于路面方向。
通过获取车头前方图像和加速度信息,无需修改车辆线路,比只使用重力传感器确定车辆的行驶状态的方案也更加准确。
可选地,上述实施例中的摄像机可以为一台,通过一台摄像机实时捕获当前车辆的车头前方的连续画面得到获取当前车辆的车头前方图像,重力传感器获取当前车辆的加速度信息。基于该车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态,若确定的当前车辆的行驶状态为静止状态时,获取车头前方图像中一个或多个目标对象的运动轨迹,基于该一个或多个目标对象的运动轨迹判断当前车辆的前车是否已经驶出,若当前车辆的前车已经驶出,且该车仍处于静止状态,则生成提醒信息。
下面以当前车辆行驶在交通路口为应用场景详细说明本发明实施例:
当前行驶车辆的后视镜后方的挡风玻璃上安装有摄像机,若该当前车辆行驶到交通路口时,该交通路口的交通灯为红色,则当前车辆停车,并启动该处理方法。在启动该算法之后,通过摄像机捕获当前车辆的前方场景的连续多帧画面,并通过重力传感器获取当前车辆在三个不同方向上的加速度信息,通过该车头前方图像的图像特征和/或加速度信息的加速度值确定当前车辆的行驶状态为静止状态,跟踪车头前方图像中目标对象的运动轨迹,若通过目标对象的运动轨迹判断出当前车辆的前一车辆驶出,则生成用于提醒当前车辆启动的提醒信息,并通过提示装置输出该提醒信息,以提醒当前车辆及时启动。
通过上述实施例,在交通信号灯转换颜色时,可以实现当前车辆的前一车辆驶出后,当前车辆能够自动、准确识别并起步跟随的效果。
根据本发明的上述实施例,基于车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态包括:在当前车辆的行驶状态为初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或当前车辆的加速度信息确定当前车辆的行驶状态为静止状态或运动状态;在当前车辆的行驶状态不为初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或帧差前景离散度以及当前车辆的加速度信息确定当前车辆的行驶状态为静止状态或运动状态,其中,车头前方图像的图像特征包括帧差前景比例和帧差前景离散度。
其中,车头前方图像的图像特征包括帧差前景比例和帧差前景离散度,帧差前景比例是指帧差前景点个数与图像像素点个数比例;帧差前景离散度是指前景块面积与图像像素点个数比例,用来衡量前景的离散程度。其中的前景块是对帧差前景点进行腐蚀、膨胀、连通域处理得到的矩形块。
上述实施例中的重力传感器获取的加速度信息包括加速度值,能准确反映当前车辆是否处于加减速状态,在当前车辆启动或停止时,加速度值较大,在当期车辆匀速运动或静止时,加速度值较小。
在上述实施例中,在确定当前车辆的行驶状态时使用了车前场景的帧差前景离散度特征,可以去除旁道车辆对判断当前车辆行驶状态的干扰。
通过上述实施例,基于当前车辆的车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态,从而实现对当前车辆行驶状态的准确确定。
具体地,在当前车辆的行驶状态为初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或当前车辆的加速度信息确定当前车辆的行驶状态为静止状态或运动状态包括:若连续N帧车头前方图像的帧差前景比例大于预设比例阈值、或连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值大于预设加速度阈值,则确定当前车辆的行驶状态为运动状态,其中,加速度信息包括加速度值;若连续N帧车头前方图像的帧差前景比例不大于预设比例阈值、且连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值不大于预设加速度阈值,则确定当前车辆的行驶状态为静止状态。
其中,加速度值为通过重力传感器采集的加速度信息。
进一步地,在当前车辆的行驶状态不为初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或帧差前景离散度以及当前车辆的加速度信息确定当前车辆的行驶状态为静止状态或运动状态包括:在当前车辆的行驶状态为运动状态的情况下,若连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值不大于预设加速度阈值、且连续N帧车头前方图像的帧差前景比例不大于预设比例阈值,则确定当前车辆的行驶状态变更为静止状态;或,若连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值不大于预设加速度阈值、且连续N帧车头前方图像的帧差前景离散度不大于预设离散度阈值,则确定当前车辆的行驶状态变更为静止状态;否则,确定当前车辆的行驶状态为运动状态。在当前车辆的行驶状态为静止状态的情况下,若连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值大于预设加速度阈值,则确定当前车辆的行驶状态变更为运动状态,否则,确定当前车辆的行驶状态为静止状态。
可选地,预设加速度阈值可以用Tg表示,预设比例阈值可以用Tf表示,预设离散度阈值可以用Ts表示。
可选地,该实施例通过视频传感器(如上述的摄像机)实时获取当前车辆的车头前方的连续多帧画面,得到当前车辆的车头前方的图像信息,重力传感器获取当前车辆的加速度信息,基于该车头前方的图像信息和加速度信息确定当前车辆的行驶状态。
在该实施例中,可以通过状态机模型确定当前车辆的行驶状态,具体地,状态机模型包括三个状态:初始状态、运动状态和静止状态。初始状态是在系统启动时,由于采集的车头前方图像的帧数未达到系统设定的最小帧数阈值,则系统无法判断出当前车辆的行驶状态,此时将当前车辆的行驶状态设置为初始状态。运动状态是指当前车辆相对路面的运动速度的状态,包括加速运动、减速运动以及匀速运动。静止状态是指当前车辆相对路面静止,比如等待红绿灯或堵车时。
上述的系统是指用于实现前车起步的处理方法的系统。
可选地,状态机模型如图2所示,该状态机模型的三个状态之间的切换可以利用当前车辆的车头前方图像的图像特征和重力传感器获取的加速度信息来实现。
在系统刚启动时,当前车辆的行驶状态为初始状态,基于当前车辆的连续N帧车头前方图像的帧差前景比例和/或当前车辆的加速度信息确定当前车辆的行驶状态为静止状态或运动状态(即图2中通过规则1或规则2确定当前车辆的行驶状态)。
具体地,如果在N帧当前车辆车头前方图像内,每帧车头前方图像对应的当前车辆的加速度值都超过预设加速度阈值Tg或每帧车头前方图像对应的当前车辆的帧差前景比例都大于预设比例阈值Tf,那么确定当前车辆的行驶状态为运动状态,即图2中的规则1。
如果在N帧当前车辆车头前方图像内,每帧车头前方图像对应的当前车辆的加速度值都小于预设加速度阈值Tg,且每帧车头前方图像对应的当前车辆的帧差前景比例都小于预设比例阈值Tf,那么确定当前车辆的行驶状态为静止状态,即图2中的规则2。
在确定当前车辆的行驶状态为静止状态或运动状态的情况下,可以按照图2所示的规则3和规则4对当前车辆的当前的行驶状态进行判断,具体地:
规则3:在当前车辆的行驶状态为运动状态的情况下,如果连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值小于预设加速度阈值Tg、且连续N帧车头前方图像的帧差前景比例小于预设比例阈值Tf;或,如果连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值小于预设加速度阈值Tg,且连续N帧车头前方图像的帧差前景离散度小于预设离散度阈值Ts,那么当前车辆的行驶状态切换到静止状态;否则,当前车辆维持运动状态。
规则4:在当前车辆的行驶状态为静止状态的情况下,如果连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值大于预设加速度阈值Tg,那么当前车辆的行驶状态切换至运动状态;否则当前车辆维持静止状态。
通过上述实施例,采用状态机模型可以准确判断当前车辆的行驶状态。
根据本发明的上述实施例,在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象的运动轨迹包括:对车头前方图像进行车尾检测,得到车头前方图像中的一个或多个目标对象;对检测到的各个目标对象进行目标跟踪,得到各个目标对象的运动轨迹。
具体地,对车头前方图像进行车尾检测包括:在不同的检测时间段采用不同的车尾检测模型对车头前方图像进行车尾检测。
可选地,根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息包括:基于各个目标对象的运动轨迹判断当前车辆的前一车辆是否发生运动;若当前车辆的前一车辆发生运动,则生成用于提醒当前车辆启动的提醒信息,其中,前一车辆为与当前车辆行驶在同一车道且在当前车辆车头前方的车辆。
在上述实施例中,在当前车辆的行驶状态为静止状态时,通过车尾检测和目标跟踪得到一个或多个目标对象的运动轨迹,基于该一个或多个目标对象的运动轨迹判断当前车辆的前车是否已经驶出,若当前车辆的前车已经驶出,且该当前车辆仍处于静止状态,则生成提醒信息,以提醒当前车辆及时动作。
下面结合图3详述本发明上述实施例,如图3所示,该实施例可以通过如下步骤实现:
步骤S301:通过视频传感器采集当前车辆的车头前方图像。
步骤S302:通过重力传感器采集当前车辆的加速度信息。
具体地,可以通过一台摄像机实时捕获当前车辆的车头前方的连续画面得到获取当前车辆的车头前方图像,重力传感器实时获取当前车辆在三个不同方向上的加速度信息。
步骤S303:基于车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态是否为静止状态。
若确定当前车辆的行驶状态为静止状态,则执行步骤S304;若确定当前车辆的行驶状态不为静止状态,则结束提醒算法。
步骤S304:对车头前方图像进行车尾检测,得到车头前方图像中的一个或多个目标对象。
可选地,在当前车辆行驶状态为静止状态时,对通过一台摄像机采集的当前车辆的当前帧的车头前方图像进行车尾检测,在当前车辆行驶状态为运动状态时,关闭车尾检测。
在该实施例中,车尾检测采用离线学习方式,分别训练两个检测时间段(如白天和晚上两个检测时间段)的两个车尾模型,车尾模型通过提取车尾样本HOG特征,用Adaboost算法训练得到。在进行车尾检测时,白天采用训练得到的白天车尾模型,到了夜间,自适应切换为夜间车尾模型,可以实现在不同时间段调用不同模型,保证了前车起步的处理方法在夜间的可用性。
可选地,在进行车尾检测时,以特定尺度因子对车头前方图像进行降采样,得到降采样图像(可选地,该降采样图样生成对应图像的缩略图,提高系统处理速度),对每个降采样图像通过滑动窗口方式扫描,计算各滑动窗口图像与训练得到的车尾模型的匹配度,匹配度较高的窗口作为目标对象输出,得到车头前方图像中一个或多个目标对象,并对得到的一个或多个目标对象进行目标跟踪。其中,特定尺度因子可以预先设置。
步骤S305:对检测到的各个目标对象进行目标跟踪,得到各个目标对象的运动轨迹。
其中,目标跟踪采用基于颜色的目标跟踪算法ColorCSK,可对多个目标对象同时进行跟踪。ColorCSK算法以颜色为图像特征,利用频率域实现快速相关匹配,该算法包括建模和匹配跟踪两部分:建模时,将目标对象的车尾位置作为训练样本,根据期望响应在频率域中更新目标模型参数;匹配跟踪时,利用已有的车尾模型对目标对象进行相关匹配,找到响应值最高位置作为当前帧图像的目标对象的轨迹位置输出。
可选地,在目标跟踪过程中,由于同一目标对象与当前车辆的距离不同在图像中形成的像的大小也会不同,ColorCSK算法具有尺度自适应性,可维持不同尺寸多个跟踪模型,以实现对同一目标对象(如,车)的持续稳定跟踪,得到各个目标对象的跟踪轨迹。
在当前车辆行驶状态为运动状态时,停止目标跟踪。
步骤S306:检测车头前方图像中的车道线。
通过检测是否有车道线以及车道线在图像中的位置。
步骤S307:基于车道线的检测结果和目标对象的运动轨迹判断当前车辆的前一车辆是否发生运动。
基于目标对象与车道线的相对位置判断目标对象是否为旁道目标,去除旁道车辆起步造成的对当前车辆的误提醒。
若当前车辆的前一车辆发生运动,则执行步骤S308;若当前车辆的前一车辆未发生运动,则结束提醒流程。
步骤S308:生成用于提醒当前车辆启动的提醒信息。
根据本发明的上述实施例,基于各个目标对象的运动轨迹判断当前车辆的前一车辆是否发生运动可以包括:基于各个目标对象的运动轨迹确定各个目标对象的运行方向;利用目标对象的运行方向和运动轨迹的长度判断目标对象是否为正在运动的候选目标,得到候选目标队列;判断候选目标队列中的各个候选目标是否为旁道目标,其中,旁道目标为与当前车辆行驶在不同车道的目标;若候选目标为旁道目标,则从候选目标队列中删除旁道目标,得到更新后的候选目标队列;判断更新后的候选目标队列中的候选目标是否为当前车辆的前一车辆;若更新后的候选目标队列中的候选目标为当前车辆的前一车辆,则判断出当前车辆的前一车辆发生运动。
具体地,在当前车辆的行驶状态为静止状态时,通过车尾检测和目标跟踪得到一个或多个目标对象的运动轨迹,基于各个目标对象的运动轨迹确定各个目标对象的运行方向(转弯或直行),并利用目标对象的运动轨迹和与运行方向对应的预设判断条件确定目标对象是否为正在运动的候选目标,得到候选目标队列。判断候选目标队列中的各个候选目标是否与当前车辆行驶在同一车道,若候选目标与当前车辆行驶在不同车道,则该候选目标为旁道目标,从候选目标队列中删除该候选目标,得到更新后的候选目标队列,并判断更新后的候选目标队列中的候选目标是否为当前车辆的前一车辆,前一车辆是指与当前车辆行驶在同一车道且在当前车辆车头前方的车辆,若为当前车辆的前一车辆,判断出当前车辆的前一车辆发生运动,则生成用于提醒当前车辆启动的提醒信息。
通过上述实施例,基于各个目标对象的运动轨迹判断当前车辆的前一车辆是否发生运动,若当前车辆的前一车辆发生运动,则生成用于提醒当前车辆启动的提醒信息,以提醒当前车辆及时动作。
具体地,基于各个目标对象的运动轨迹确定各个目标对象的运行方向包括:若目标对象的运动轨迹的拟合曲线曲率大于预设曲率阈值,则确定目标对象的运行方向为转弯;若目标对象的运动轨迹的拟合曲线曲率不大于预设曲率阈值,则确定目标对象的运行方向为直行。
根据本发明的上述实施例,利用目标对象的运行方向和运动轨迹的长度判断目标对象是否为正在运动的候选目标包括:若目标对象的运行方向为转弯,且目标对象的运行轨迹的长度大于第一预设长度阈值,则确定目标对象为正在运动的候选目标;若目标对象的运行方向为直行,且目标对象的运行轨迹的长度大于第二预设长度阈值,则确定目标对象为正在运动的候选目标。
可选地,预设曲率阈值可以用T表示,第一预设长度阈值可以用L1表示,第二预设长度阈值可以用L2表示。
可选地,对于通过基于对每一帧图像进行车尾检测和目标跟踪得到的一个或多个目标对象的检测跟踪结果更新,更新运动轨迹。首先通过各个目标对象的运动轨迹确定各个目标对象的运行方向(直行或转弯)。如果目标对象的运动轨迹拟合曲线曲率大于预设曲率阈值T,则确定该目标对象的运行方向为转弯;如果目标对象的运动轨迹拟合曲线曲率小于T,则确定该目标对象的运行方向为直行。对于运动方向为转弯的目标对象,如果对应的运动轨迹长度大于第一预设长度阈值L1(单位为像素),则确定该目标对象为正在运动的候选目标,将该目标对象加入候选目标队列;对于运动方向为直行的目标对象,如果对应的运动轨迹长度大于第二预设长度阈值L2(单位为像素),则确定该目标对象为正在运动的候选目标,将该目标对象加入候选目标队列。如果轨迹较短,没有满足条件的候选目标,则直接跳出,进入下一帧运动轨迹的更新。
通过上述实施例,可以准确判断出当前车辆的前一车辆是否发生运动,并在前一车辆发生运动的情况下,生成用于提醒当前车辆启动的提醒信息,以提醒当前车辆及时动作。
下面结合图4详述本发明上述实施例,如图4所示该实施例可以通过如下步骤实现:
步骤S401:获取目标对象的运动轨迹。
步骤S402:基于各个目标对象的运动轨迹确定各个目标对象的运行方向。
若目标对象的运行方向为转弯,则执行步骤S403;若目标对象的运行方向为直行,则执行步骤S404。
具体地,若目标对象的运动轨迹的拟合曲线曲率大于预设曲率阈值,则确定目标对象的运行方向为转弯;若目标对象的运动轨迹的拟合曲线曲率不大于预设曲率阈值,则确定目标对象的运行方向为直行。
步骤S403:判断目标对象的运行轨迹的长度是否大于第一预设长度阈值。
若目标对象的运行轨迹的长度大于第一预设长度阈值,则确定目标对象为正在运动的候选目标。
步骤S404:判断目标对象的运行轨迹的长度是否大于第二预设长度阈值。
若目标对象的运行轨迹的长度大于第二预设长度阈值,则确定目标对象为正在运动的候选目标。
步骤S405:将目标对象加入候选目标队列。
具体地,将确定为正在运动的候选目标的目标对象加入候选目标队列。
步骤S406:判断候选目标队列中的候选目标是否为旁道目标。
其中,旁道目标为与当前车辆行驶在不同车道的目标。
若候选目标为旁道目标,则执行步骤S409:从候选目标队列中删除旁道目标,得到更新后的候选目标队列;若候选目标不为旁道目标,执行步骤S407。
步骤S407:判断候选目标是否为当前车辆的前一车辆。
判断更新后的候选目标队列中的候选目标是否为前车,若更新后的候选目标队列中的候选目标为当前车辆的前一车辆,则判断出当前车辆的前一车辆发生运动,则执行步骤S408。
步骤S408:报警。
根据本发明的上述实施例,判断候选目标队列中的各个候选目标是否为旁道目标包括:检测车头前方图像中的车道线;若检测到车道线,则判断候选目标是否与当前车辆行驶在同一车道内,若候选目标与当前车辆行驶在同一车道内,则候选目标不是旁道目标;若未检测到车道线,基于候选目标在车头前方图像中的位置和候选目标的运动轨迹判断候选目标是否满足旁道车辆行驶轨迹,若候选目标满足旁道车辆行驶轨迹,则确定候选目标为旁道目标;若候选目标不满足旁道车辆行驶轨迹,则确定候选目标不是旁道目标。
可选地,采用车道线检测判断候选目标是否与当前车辆在同一车道内,以过滤旁道车辆起步造成的误触发,车道线检测模块包括线段检测、线段合并、车道线筛选和车道线跟踪四个步骤,其中线段检测采用LSD算法。
通过上述实施例,检测车头前方图像中的车道线,并在检测到有效车道线和未检测到有效车道线两种情况下,判断候选目标队列中的各个候选目标是否为旁道目标,从候选目标队列中删除旁道目标,得到更新后的候选目标队列,以过滤旁道车辆起步时造成对当前车辆的误提醒。
下面结合图5详述本发明上述实施例的旁道车辆的判断流程,如图5所示旁道车辆的判断流程通过如下步骤实现:
步骤S501:检测车头前方图像中的车道线是否有效。
若检测到有效车道线,则执行步骤S502;若未检测到有效车道线,则执行步骤S503。
步骤S502:判断候选目标是否在有效车道线内。
具体地,判断候选目标是否与当前车辆行驶在同一车道内。若候选目标与当前车辆行驶在同一车道内,则候选目标不是旁道目标,则执行步骤S504:确定候选目标为本车道车辆;若候选目标与当前车辆行驶不在同一车道内,则执行步骤S505:确定候选目标为旁道车辆。
其中,本车道车辆是指与当前车辆在同一车道内的候选目标,旁道车辆是指与当前车辆不在同一车道内的候选目标。
步骤S503:判断候选目标是否满足旁道车辆运动轨迹。
具体地,基于候选目标在车头前方图像中的位置和候选目标的运动轨迹判断候选目标是否满足旁道车辆运动轨迹。
若候选目标满足旁道车辆运动轨迹,则执行步骤S505;若候选目标不满足旁道车辆运动轨迹,则执行步骤S504。
根据本发明的上述实施例,判断更新后的候选目标队列中的候选目标是否为当前车辆的前一车辆包括:通过更新后的候选目标队列中的所有候选目标的初始位置和各个候选目标之间的相对位置判断候选目标是否为前一车辆。
具体地,通过更新后的候选目标队列中的所有候选目标的初始位置和各个候选目标之间的相对位置判断候选目标是否为前一车辆可以包括:通过更新后的候选目标队列中的所有候选目标的初始位置和各个候选目标之间的相对位置,确定距离车头前方图像的下边缘中点最短的候选目标为前一车辆。
具体地,在得到更新后的候选目标队列之后,获取更新后的候选目标队列中的所有候选目标的初始位置和各个候选目标之间的相对位置,并通过分析确定距离车头前方图像的下边缘中点最短的候选目标,该候选目标为当前车辆的前一车辆,则判断出当前车辆的前一车辆发生动作,生成用于提醒当前车辆启动的提醒信息,以提醒当前车辆及时动作。若通过分析未得到有效候选目标,则候选目标队列中不存在发生运动的前一车辆,则进入下一帧运动轨迹的更新。
可选地,可以通过报警装置输出语音或图像提醒当前车辆的驾驶员和/或通过光线的变化提醒驾驶员,例如夜间变化车内的氛围灯等。
通过上述实施例,可以准确判断出更新后的候选目标队列中的候选目标是否为当前车辆的前一车辆,并在存在候选目标为当前车辆的前一车辆时,判断出当前车辆的前一车辆发生动作,生成用于提醒当前车辆启动的提醒信息,以提醒当前车辆及时动作。
具体地,本发明实施例是基于重力传感器和单目视觉的前车起步的处理方法,其中的单目视觉是指可以通过一台摄像机获取当前车辆的车头前方场景信息并进行智能分析。基于通过一台摄像机获取的当前车辆的车头前方图像的图像特征和重力传感器获取的加速度信息,采用状态机模型,通过多特征融合可以准确判断当前车辆的行驶状态。在判断出当前车辆的行驶状态为静止状态时,在不同的检测时间段采用不同的车尾检测模型对每一帧车头前方图像进行车尾检测,得到车头前方图像中的一个或多个目标对象,并跟踪各个目标对象得到各个目标对象的运动轨迹。通过车道线检测的检测结果去除目标对象中的旁道车辆,以过滤旁道车辆起步对当前车辆造成的误提醒,在去除旁道车辆之后,判断剩余的目标对象中是否存在当前车辆的前一车辆,若判断出存在当前车辆的前一车辆,则生成提醒信息,以提醒当前车辆及时动作。
在上述的车道线检测中,若检测不到有效车道线,则基于候选目标在车头前方图像中的位置和候选目标的运动轨迹判断候选目标是否满足旁道车辆运动轨迹,若候选目标满足旁道车辆运动轨迹,则确定该候选目标为旁道车辆,删除该候选目标。
通过上述实施例,采用车头前方图像信息和加速度信息的结合准确判断当前车辆的行驶状态,在当前车辆的行驶状态为静止状态时,基于车头前方图像中的目标对象的运动轨迹判断当前车辆的前车是否启动,以判断是否生成提醒信息。该方案在处理过程中使用的参数少,处理结果准确,解决了现有技术在行车过程中无法准确进行前车起步提醒的问题,使得在当前车辆的前一车辆驶出时,可以及时提醒,以使当前车辆及时动作。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例,还提供了一种用于前车起步的处理方法的处理装置,应用于前车起步的处理系统,处理系统包括:视频传感器和重力传感器,如图6所示,该装置包括:采集模块20、确定模块40、获取模块60以及生成模块80。
其中,采集单元20,用于通过视频传感器采集当前车辆的车头前方图像,以及通过重力传感器采集当前车辆的加速度信息。
确定单元40,用于基于车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态。
其中,当前车辆的行驶状态可以为静止状态或者运动状态,静止状态是指当前车辆相对路面静止,比如等待红绿灯或堵车时;运动状态是指当前车辆相对路面运动,包括加速、减速、匀速运动。
获取单元60,用于在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象的运动轨迹。
其中,车头前方图像中目标对象可以为一个或者多个。
生成单元80,用于根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息。
采用本发明实施例,基于通过视频传感器采集的车头前方图像的图像特征和/或通过重力传感器采集的加速度信息确定当前车辆的行驶状态,在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象(包括前车)的运动轨迹,根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息。通过上述实施例,采用车头前方图像信息和加速度信息的结合准确判断当前车辆的行驶状态,在当前车辆的行驶状态为静止状态时,基于车头前方图像中的目标对象的运动轨迹判断当前车辆的前车是否启动,以判断是否需要生成提醒信息。该方案在处理过程中使用的参数少,处理结果准确,解决了现有技术在行车过程中无法准确进行前车起步提醒的问题,使得在当前车辆的前一车辆驶出时,可以及时提醒,以使当前车辆及时动作。
上述实施例中,可以通过安装在当前车辆后视镜后方挡风玻璃上的摄像机实时捕获当前车辆的车头前方的连续画面,以获取当前车辆的车头前方图像,重力传感器实时获取当前车辆的加速度信息,该加速度信息包括当前车辆在世界坐标系三个不同方向的加速度值。所述的三个不同方向分别为车辆运行方向、垂直于车辆运行方向且与路面平行方向、垂直于路面方向。
通过获取车头前方图像和加速度信息,无需修改车辆线路,比只使用重力传感器确定车辆的行驶状态的方案也更加准确。
可选地,上述实施例中的摄像机可以为一台,通过一台摄像机实时捕获当前车辆的车头前方的连续多帧画面得到获取当前车辆的车头前方图像,重力传感器获取当前车辆的加速度信息,基于该车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态,若确定的当前车辆的行驶状态为静止状态时,获取车头前方图像中一个或多个目标对象的运动轨迹,基于该一个或多个目标对象的运动轨迹判断当前车辆的前车是否已经驶出,若当前车辆的前车已经驶出,且该车仍处于静止状态,则生成提醒信息。
根据本发明的上述实施例,确定单元包括:第一确定模块,用于在当前车辆的行驶状态为初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或当前车辆的加速度信息确定当前车辆的行驶状态为静止状态或运动状态;第二确定模块,用于在当前车辆的行驶状态不为初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或帧差前景离散度以及当前车辆的加速度信息确定当前车辆的行驶状态为静止状态或运动状态,
其中,车头前方图像的图像特征包括帧差前景比例和帧差前景离散度,帧差前景比例是指帧差前景点个数与图像像素点个数比例;帧差前景离散度是指前景块面积与图像像素点个数比例,用来衡量前景的离散程度。其中的前景块是对帧差前景点进行腐蚀、膨胀、连通域处理得到的矩形块。
上述实施例中的重力传感器获取的加速度信息包括加速度值,能准确反映当前车辆是否处于加减速状态,在当前车辆启动或停止时,加速度值较大,在当期车辆匀速运动或静止时,加速度值较小。
在上述实施例中,在确定当前车辆的行驶状态时使用了车前场景的帧差前景离散度的参数,可以去除旁道车辆对判断当前车辆行驶状态的干扰。
通过上述实施例,基于当前车辆的车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态,从而实现对当前车辆行驶状态的准确确定。
具体地,在当前车辆的行驶状态为初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或当前车辆的加速度信息确定当前车辆的行驶状态为静止状态或运动状态包括:若连续N帧车头前方图像的帧差前景比例大于预设比例阈值、或连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值大于预设加速度阈值,则确定当前车辆的行驶状态为运动状态,其中,加速度信息包括加速度值;若连续N帧车头前方图像的帧差前景比例不大于预设比例阈值、且连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值不大于预设加速度阈值,则确定当前车辆的行驶状态为静止状态。
其中,加速度值为通过重力传感器采集的加速度信息。
进一步地,在当前车辆的行驶状态不为初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或帧差前景离散度以及当前车辆的加速度信息确定当前车辆的行驶状态为静止状态或运动状态包括:在当前车辆的行驶状态为运动状态的情况下,若连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值不大于预设加速度阈值、且连续N帧车头前方图像的帧差前景比例不大于预设比例阈值,则确定当前车辆的行驶状态变更为静止状态;或,若连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值不大于预设加速度阈值、且连续N帧车头前方图像的帧差前景离散度不大于预设离散度阈值,则确定当前车辆的行驶状态变更为静止状态;否则,确定当前车辆的行驶状态为运动状态。在当前车辆的行驶状态为静止状态的情况下,若连续N帧车头前方图像中每帧车头前方图像对应的当前车辆的加速度值大于预设加速度阈值,则确定当前车辆的行驶状态变更为运动状态,否则,确定当前车辆的行驶状态为静止状态。
根据本发明的上述实施例,获取单元包括:车尾检测模块,用于对车头前方图像进行车尾检测,得到车头前方图像中的一个或多个目标对象;目标跟踪模块,用于对检测到的各个目标对象进行目标跟踪,得到各个目标对象的运动轨迹。
具体地,对车头前方图像进行车尾检测包括:在不同的检测时间段采用不同的车尾检测模型对车头前方图像进行车尾检测。
可选地,在当前车辆行驶状态为静止状态时,对通过一台摄像机采集的当前车辆的当前帧的车头前方图像进行车尾检测,在当前车辆行驶状态为运动状态时,关闭车尾检测。
在该实施例中,车尾检测模块采用离线学习方式,分别训练两个检测时间段(如白天和晚上两个检测时间段)的两个车尾模型,车尾模型通过提取车尾样本HOG特征,用Adaboost算法训练得到。在进行车尾检测时,白天采用训练得到的白天车尾模型,到了夜间,自适应切换为夜间车尾模型,可以实现在不同时间段调用不同模型,保证了前车起步的处理方法在夜间的可用性。
可选地,车尾检测模块以特定尺度因子对车头前方图像进行降采样,得到降采样图像(可选地,该降采样图样生成对应图像的缩略图,提高系统处理速度),对每个降采样图像通过滑动窗口方式扫描,计算各滑动窗口图像与训练得到的车尾模型的匹配度,匹配度较高的窗口作为目标对象输出,得到车头前方图像中一个或多个目标对象,并对得到的一个或多个目标对象进行目标跟踪。其中,特定尺度因子可以预先设置的值。
目标跟踪模块采用基于颜色的目标跟踪算法ColorCSK,可对多个目标对象同时进行跟踪。ColorCSK算法以颜色为图像特征,利用频率域实现快速相关匹配,该算法包括建模和匹配跟踪两部分:建模时,将目标对象的车尾位置作为训练样本,根据期望响应在频率域中更新目标模型参数;匹配跟踪时,利用已有的车尾模型对目标对象进行相关匹配,找到响应值最高位置作为当前帧图像的目标对象的轨迹位置输出。
可选地,在目标跟踪过程中,由于同一目标对象与当前车辆的距离不同在图像中形成的像的大小也会不同,ColorCSK算法具有尺度自适应性,可维持不同尺寸多个跟踪模型,以实现对同一目标对象(如,车)的持续稳定跟踪,得到各个目标对象的跟踪轨迹。
在当前车辆行驶状态为运动状态时,停止目标跟踪。
根据本发明的上述实施例,生成单元包括:判断模块,用于基于各个目标对象的运动轨迹判断当前车辆的前一车辆是否发生运动;生成模块,用于若当前车辆的前一车辆发生运动,则生成用于提醒当前车辆启动的提醒信息,其中,前一车辆为与当前车辆行驶在同一车道且在当前车辆车头前方的车辆。
具体地,判断模块包括:确定子模块,用于基于各个目标对象的运动轨迹确定各个目标对象的运行方向;第一判断子模块,用于利用目标对象的运行方向和运动轨迹的长度判断目标对象是否为正在运动的候选目标,得到候选目标队列;第二判断子模块,用于判断候选目标队列中的各个候选目标是否为旁道目标,其中,旁道目标为与当前车辆行驶在不同车道的目标;删除子模块,用于若候选目标为旁道目标,则从候选目标队列中删除旁道目标,得到更新后的候选目标队列;第三判断子模块,用于判断更新后的候选目标队列中的候选目标是否为当前车辆的前一车辆;第四判断子模块,用于若更新后的候选目标队列中的候选目标为当前车辆的前一车辆,则判断出当前车辆的前一车辆发生运动。
具体地,在当前车辆的行驶状态为静止状态时,通过车尾检测和目标跟踪得到一个或多个目标对象的运动轨迹,基于各个目标对象的运动轨迹确定各个目标对象的运行方向(转弯或直行),并利用目标对象的运动轨迹和与运行方向对应的预设判断条件确定目标对象是否为正在运动的候选目标,得到候选目标队列。判断候选目标队列中的各个候选目标是否与当前车辆行驶在同一车道,若候选目标与当前车辆行驶在不同车道,则该候选目标为旁道目标,从候选目标队列中删除该候选目标,得到更新后的候选目标队列,并判断更新后的候选目标队列中的候选目标是否为当前车辆的前一车辆,前一车辆是指与当前车辆行驶在同一车道且在当前车辆车头前方的车辆,若为当前车辆的前一车辆,判断出当前车辆的前一车辆发生运动,则生成用于提醒当前车辆启动的提醒信息。
通过上述实施例,基于各个目标对象的运动轨迹判断当前车辆的前一车辆是否发生运动,若当前车辆的前一车辆发生运动,则生成用于提醒当前车辆启动的提醒信息,以提醒当前车辆及时动作。
第一确定子模块包括:若目标对象的运动轨迹的拟合曲线曲率大于预设曲率阈值,则确定目标对象的运行方向为转弯;若目标对象的运动轨迹的拟合曲线曲率不大于预设曲率阈值,则确定目标对象的运行方向为直行。
第一判断子模块包括:若目标对象的运行方向为转弯,且目标对象的运行轨迹的长度大于第一预设长度阈值,则确定目标对象为正在运动的候选目标;若目标对象的运行方向为直行,且目标对象的运行轨迹的长度大于第二预设长度阈值,则确定目标对象为正在运动的候选目标。
第二判断子模块包括:检测车头前方图像中的车道线;若检测到车道线,则判断候选目标是否与当前车辆行驶在同一车道内,若候选目标与当前车辆行驶在同一车道内,则候选目标不是旁道目标;若未检测到车道线,基于候选目标在车头前方图像中的位置和候选目标的运动轨迹判断候选目标是否满足旁道车辆行驶轨迹,若候选目标满足旁道车辆行驶轨迹,则确定候选目标为旁道目标;若候选目标不满足旁道车辆行驶轨迹,则确定候选目标不是旁道目标。
第三判断子模块包括:通过更新后的候选目标队列中的所有候选目标的初始位置和各个候选目标之间的相对位置判断候选目标是否为前一车辆。具体地,第三判断子模块通过更新后的候选目标队列中的所有候选目标的初始位置和各个候选目标之间的相对位置确定距离车头前方图像的下边缘中点最短的候选目标为前一车辆。
具体地,本发明实施例是基于重力传感器和单目视觉的前车起步的处理方法,其中的单目视觉是指可以通过一台摄像机获取当前车辆的车头前方场景信息并进行智能分析。基于通过一台摄像机获取的当前车辆的车头前方图像的图像特征和重力传感器获取的加速度信息,采用状态机模型,通过多特征融合可以准确判断当前车辆的行驶状态。在判断出当前车辆的行驶状态为静止状态时,在不同的检测时间段采用不同的车尾检测模型对每一帧车头前方图像进行车尾检测,得到车头前方图像中的一个或多个目标对象,并跟踪各个目标对象得到各个目标对象的运动轨迹。通过车道线检测的检测结果去除目标对象中的旁道车辆,以过滤旁道车辆起步对当前车辆造成的误提醒,在去除旁道车辆之后,判断剩余的目标对象中是否存在当前车辆的前一车辆,若判断出存在当前车辆的前一车辆,则生成提醒信息,以提醒当前车辆及时动作。
在上述的车道线检测中,若检测不到有效车道线,则基于候选目标在车头前方图像中的位置和候选目标的运动轨迹判断候选目标是否满足旁道车辆运动轨迹,若候选目标满足旁道车辆运动轨迹,则确定该候选目标为旁道车辆,删除该候选目标。
通过上述实施例,采用车头前方图像信息和加速度信息的结合准确判断当前车辆的行驶状态,在当前车辆的行驶状态为静止状态时,基于车头前方图像中的目标对象的运动轨迹判断当前车辆的前车是否启动,以判断是否生成提醒信息。该方案在处理过程中使用的参数少,处理结果准确,解决了现有技术在行车过程中无法准确进行前车起步提醒的问题,使得在当前车辆的前一车辆驶出时,可以及时提醒,以使当前车辆及时动作。
本实施例中所提供的各个模块与方法实施例对应步骤所提供的使用方法相同、应用场景也可以相同。当然,需要注意的是,上述模块涉及的方案可以不限于上述实施例中的内容和场景,且上述模块可以运行在计算机终端或移动终端,可以通过软件或硬件实现。
实施例3
根据本申请实施例,又提供了一种前车起步的处理系统,如图7所示,该处理系统可以包括:视频传感器71、重力传感器73以及处理器75。
其中,视频传感器71,安装在当前车辆的前挡风玻璃上,摄像机与当前车辆的后视镜位于同一水平线,用于采集当前车辆的车头前方图像。
重力传感器73,用于采集当前车辆的加速度信息。
处理器75,与视频传感器71和重力传感器73连接,用于基于车头前方图像的图像特征和/或加速度信息确定当前车辆的行驶状态,在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象的运动轨迹,并根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息。
采用本发明实施例,安装在当前车辆的前挡风玻璃上的视频传感器采集当前车辆的车头前方图像,重力传感器采集当前车辆的加速度信息,基于采集的车头前方图像的图像特征和/或加速度信息的加速度值,确定当前车辆的行驶状态,在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象的运动轨迹,根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息。
在上述实施例中,可以使用一个视觉传感器获取当前车辆的车头前方场景的图像信息,在该方案中基于重力传感器和单目视觉实现前车起步提醒,增加了提醒的准确性。
如图8所示根据本发明的上述实施例,处理系统还可以包括:提醒单元87,用于将提醒信息以声音和/或图像方式输出。
本申请上述实施例中的视频传感器的功能可以通过摄像机实现,上述的提醒单元可以为报警单元。
在本发明实施例中,摄像机81采集当前车辆的车头前方图像,重力传感器83采集当前车辆的加速度信息,处理单元85基于采集的车头前方图像的图像特征和/或加速度信息的加速度值,确定当前车辆的行驶状态,在当前车辆的行驶状态为静止状态时,获取车头前方图像中目标对象的运动轨迹,根据目标对象的运动轨迹判断是否生成用于提醒当前车辆启动的提醒信息,若生成提醒信息,则可以通过提醒单元87(如报警单元)输出语音或图像提醒当前车辆的驾驶员以及/或通过光线的变化提醒驾驶员。
可选地,前车起步的提醒系统(包括视频传感器、重力传感器、处理器以及提醒单元),该提醒系统安装在当前车辆后视镜后方挡风玻璃上,其中的视频传感器(如摄像机)保持水平,该摄像机可以与当前车辆的后视镜位于同一水平线,安装示意图如图9所示。
通过上述实施例,采用当前车辆的车头前方图像信息和加速度信息的结合准确判断当前车辆的行驶状态,在当前车辆的行驶状态为静止状态时,基于车头前方图像中的目标对象的运动轨迹判断当前车辆的前车是否启动,以判断是否需要生成提醒信息。该方案在处理过程中使用的参数少,处理结果准确,解决了现有技术在行车过程中无法准确进行前车起步提醒的问题,使得在当前车辆的前一车辆驶出时,可以及时提醒,以使当前车辆及时动作。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种前车起步的处理方法,其特征在于,应用于前车起步的处理系统,所述处理系统包括:视频传感器和重力传感器,所述处理方法包括:
通过所述视频传感器采集当前车辆的车头前方图像,以及通过所述重力传感器采集所述当前车辆的加速度信息;
基于所述车头前方图像的图像特征和/或所述加速度信息确定所述当前车辆的行驶状态;
在所述当前车辆的行驶状态为静止状态时,获取所述车头前方图像中目标对象的运动轨迹;
根据所述目标对象的运动轨迹判断是否生成用于提醒所述当前车辆启动的提醒信息;
其中,根据所述目标对象的运动轨迹判断是否生成用于提醒所述当前车辆启动的提醒信息包括:基于各个所述目标对象的运动轨迹判断所述当前车辆的前一车辆是否发生运动;若所述当前车辆的前一车辆发生运动,则生成所述用于提醒所述当前车辆启动的提醒信息;
其中,基于各个所述目标对象的运动轨迹判断所述当前车辆的前一车辆是否发生运动包括:基于各个所述目标对象的运动轨迹确定各个所述目标对象的运行方向;利用所述目标对象的运行方向和运动轨迹的长度判断所述目标对象是否为正在运动的候选目标,得到候选目标队列;判断所述候选目标队列中的各个所述候选目标是否为旁道目标,其中,所述旁道目标为与所述当前车辆行驶在不同车道的目标;若所述候选目标为所述旁道目标,则从所述候选目标队列中删除所述旁道目标,得到更新后的候选目标队列;判断所述更新后的候选目标队列中的候选目标是否为所述当前车辆的前一车辆;若所述更新后的候选目标队列中的所述候选目标为所述当前车辆的前一车辆,则判断出所述当前车辆的前一车辆发生运动。
2.根据权利要求1所述的处理方法,其特征在于,基于所述车头前方图像的图像特征和/或所述加速度信息确定所述当前车辆的行驶状态包括:
在所述当前车辆的行驶状态为初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或所述当前车辆的加速度信息确定所述当前车辆的行驶状态为所述静止状态或运动状态;
在所述当前车辆的行驶状态不为所述初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或帧差前景离散度以及所述当前车辆的加速度信息确定所述当前车辆的行驶状态为所述静止状态或所述运动状态,
其中,所述车头前方图像的图像特征包括所述帧差前景比例和所述帧差前景离散度。
3.根据权利要求2所述的处理方法,其特征在于,在所述当前车辆的行驶状态为初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或所述当前车辆的加速度信息确定所述当前车辆的行驶状态为静止状态或运动状态包括:
若连续N帧车头前方图像的帧差前景比例大于预设比例阈值、或连续N帧车头前方图像中每帧车头前方图像对应的所述当前车辆的加速度值大于预设加速度阈值,则确定所述当前车辆的行驶状态为所述运动状态,其中,所述加速度信息包括所述加速度值;
若连续N帧车头前方图像的帧差前景比例不大于所述预设比例阈值、且连续N帧车头前方图像中每帧车头前方图像对应的所述当前车辆的加速度值不大于所述预设加速度阈值,则确定所述当前车辆的行驶状态为所述静止状态。
4.根据权利要求2所述的处理方法,其特征在于,在所述当前车辆的行驶状态不为所述初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或帧差前景离散度以及所述当前车辆的加速度信息确定所述当前车辆的行驶状态为所述静止状态或所述运动状态包括:
在所述当前车辆的行驶状态为所述运动状态的情况下,若连续N帧车头前方图像中每帧车头前方图像对应的所述当前车辆的加速度值不大于预设加速度阈值、且连续N帧车头前方图像的帧差前景比例不大于预设比例阈值,则确定所述当前车辆的行驶状态变更为所述静止状态;或,若连续N帧车头前方图像中每帧车头前方图像对应的所述当前车辆的加速度值不大于预设加速度阈值、且连续N帧车头前方图像的帧差前景离散度不大于预设离散度阈值,则确定所述当前车辆的行驶状态变更为所述静止状态;
在所述当前车辆的行驶状态为所述静止状态的情况下,若连续N帧车头前方图像中每帧车头前方图像对应的所述当前车辆的加速度值大于所述预设加速度阈值,则确定所述当前车辆的行驶状态变更为所述运动状态,否则,确定所述当前车辆的行驶状态为所述静止状态。
5.根据权利要求1所述的处理方法,其特征在于,在所述当前车辆的行驶状态为静止状态时,获取所述车头前方图像中目标对象的运动轨迹包括:
对所述车头前方图像进行车尾检测,得到所述车头前方图像中的一个或多个目标对象;
对检测到的各个所述目标对象进行目标跟踪,得到各个所述目标对象的运动轨迹。
6.根据权利要求1所述的处理方法,其特征在于,基于各个所述目标对象的运动轨迹确定各个所述目标对象的运行方向包括:
若所述目标对象的运动轨迹的拟合曲线曲率大于预设曲率阈值,则确定所述目标对象的运行方向为转弯;
若所述目标对象的运动轨迹的拟合曲线曲率不大于所述预设曲率阈值,则确定所述目标对象的运行方向为直行。
7.根据权利要求6所述的处理方法,其特征在于,利用所述目标对象的运行方向和运动轨迹的长度判断所述目标对象是否为正在运动的候选目标包括:
若所述目标对象的运行方向为转弯,且所述目标对象的运行轨迹的长度大于第一预设长度阈值,则确定所述目标对象为所述正在运动的候选目标;
若所述目标对象的运行方向为直行,且所述目标对象的运行轨迹的长度大于第二预设长度阈值,则确定所述目标对象为所述正在运动的候选目标。
8.根据权利要求1所述的处理方法,其特征在于,判断所述候选目标队列中的各个所述候选目标是否为旁道目标包括:
检测所述车头前方图像中的车道线;
若检测到所述车道线,则判断所述候选目标是否与所述当前车辆行驶在同一车道内,若所述候选目标与所述当前车辆行驶在同一车道内,则所述候选目标不是所述旁道目标;
若未检测到所述车道线,基于所述候选目标在所述车头前方图像中的位置和所述候选目标的运动轨迹判断所述候选目标是否满足旁道车辆行驶轨迹;
若所述候选目标满足所述旁道车辆行驶轨迹,则确定所述候选目标为所述旁道目标;
若所述候选目标不满足所述旁道车辆行驶轨迹,则确定所述候选目标不是所述旁道目标。
9.根据权利要求1所述的处理方法,其特征在于,判断所述更新后的候选目标队列中的候选目标是否为所述当前车辆的前一车辆包括:
通过所述更新后的候选目标队列中的所有候选目标的初始位置和各个所述候选目标之间的相对位置判断所述候选目标是否为所述前一车辆。
10.根据权利要求9所述的处理方法,其特征在于,通过所述更新后的候选目标队列中的所有候选目标的初始位置和各个所述候选目标之间的相对位置判断所述候选目标是否为所述前一车辆包括:
通过所述更新后的候选目标队列中的所有候选目标的初始位置和各个所述候选目标之间的相对位置,确定距离所述车头前方图像的下边缘中点最短的候选目标为所述前一车辆。
11.根据权利要求5所述的处理方法,其特征在于,对所述车头前方图像进行车尾检测包括:
在不同的检测时间段采用不同的车尾检测模型对所述车头前方图像进行车尾检测。
12.一种前车起步的处理装置,其特征在于,应用于前车起步的处理系统,所述处理系统包括:视频传感器和重力传感器,所述处理装置包括:
采集单元,用于通过所述视频传感器采集当前车辆的车头前方图像,以及通过所述重力传感器采集所述当前车辆的加速度信息;
确定单元,用于基于所述车头前方图像的图像特征和/或所述加速度信息确定所述当前车辆的行驶状态;
获取单元,用于在所述当前车辆的行驶状态为静止状态时,获取所述车头前方图像中目标对象的运动轨迹;
生成单元,用于根据所述目标对象的运动轨迹判断是否生成用于提醒所述当前车辆启动的提醒信息;
其中,所述生成单元包括:判断模块,用于基于各个所述目标对象的运动轨迹判断所述当前车辆的前一车辆是否发生运动;生成模块,用于若所述当前车辆的前一车辆发生运动,则生成所述用于提醒所述当前车辆启动的提醒信息;
其中,所述判断模块包括:确定子模块,用于基于各个所述目标对象的运动轨迹确定各个所述目标对象的运行方向;第一判断子模块,用于利用所述目标对象的运行方向和运动轨迹的长度判断所述目标对象是否为正在运动的候选目标,得到候选目标队列;第二判断子模块,用于判断所述候选目标队列中的各个所述候选目标是否为旁道目标,其中,所述旁道目标为与所述当前车辆行驶在不同车道的目标;删除子模块,用于若所述候选目标为所述旁道目标,则从所述候选目标队列中删除所述旁道目标,得到更新后的候选目标队列;第三判断子模块,用于判断所述更新后的候选目标队列中的候选目标是否为所述当前车辆的前一车辆;第四判断子模块,用于若所述更新后的候选目标队列中的所述候选目标为所述当前车辆的前一车辆,则判断出所述当前车辆的前一车辆发生运动。
13.根据权利要求12所述的处理装置,其特征在于,所述确定单元包括:
第一确定模块,用于在所述当前车辆的行驶状态为初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或所述当前车辆的加速度信息确定所述当前车辆的行驶状态为所述静止状态或运动状态;
第二确定模块,用于在所述当前车辆的行驶状态不为所述初始状态时,基于连续N帧车头前方图像的帧差前景比例和/或帧差前景离散度以及所述当前车辆的加速度信息确定所述当前车辆的行驶状态为所述静止状态或所述运动状态,
其中,所述车头前方图像的图像特征包括所述帧差前景比例和所述帧差前景离散度。
14.根据权利要求12所述的处理装置,其特征在于,所述获取单元包括:
车尾检测模块,用于对所述车头前方图像进行车尾检测,得到所述车头前方图像中的一个或多个目标对象;
目标跟踪模块,用于对检测到的各个所述目标对象进行目标跟踪,得到各个所述目标对象的运动轨迹。
15.一种前车起步的处理系统,其特征在于,包括:
视频传感器,安装在当前车辆的前挡风玻璃上,所述视频传感器与所述当前车辆的后视镜位于同一水平线,用于采集所述当前车辆的车头前方图像;
重力传感器,用于采集所述当前车辆的加速度信息;
处理器,与所述视频传感器和所述重力传感器连接,用于基于所述车头前方图像的图像特征和/或所述加速度信息确定所述当前车辆的行驶状态,在所述当前车辆的行驶状态为静止状态时,获取所述车头前方图像中目标对象的运动轨迹,并根据所述目标对象的运动轨迹判断是否生成用于提醒所述当前车辆启动的提醒信息;
其中,所述处理器,还用于基于各个所述目标对象的运动轨迹判断所述当前车辆的前一车辆是否发生运动;以及若所述当前车辆的前一车辆发生运动,则生成所述用于提醒所述当前车辆启动的提醒信息;
其中,所述处理器,还用于基于各个所述目标对象的运动轨迹确定各个所述目标对象的运行方向;利用所述目标对象的运行方向和运动轨迹的长度判断所述目标对象是否为正在运动的候选目标,得到候选目标队列;判断所述候选目标队列中的各个所述候选目标是否为旁道目标,其中,所述旁道目标为与所述当前车辆行驶在不同车道的目标;若所述候选目标为所述旁道目标,则从所述候选目标队列中删除所述旁道目标,得到更新后的候选目标队列;判断所述更新后的候选目标队列中的候选目标是否为所述当前车辆的前一车辆;以及若所述更新后的候选目标队列中的所述候选目标为所述当前车辆的前一车辆,则判断出所述当前车辆的前一车辆发生运动。
16.根据权利要求15所述的处理系统,其特征在于,所述处理系统还包括:
提醒单元,与所述处理器连接,用于将所述提醒信息以声音和/或图像方式输出。
CN201510700316.6A 2015-10-23 2015-10-23 前车起步的处理方法、装置和系统 Active CN106611512B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510700316.6A CN106611512B (zh) 2015-10-23 2015-10-23 前车起步的处理方法、装置和系统
US15/770,280 US10818172B2 (en) 2015-10-23 2016-06-12 Method, device and system for processing startup of preceding vehicle
PCT/CN2016/085438 WO2017067187A1 (zh) 2015-10-23 2016-06-12 前车起步处理方法、装置和系统
EP16856628.9A EP3367361B1 (en) 2015-10-23 2016-06-12 Method, device and system for processing startup of front vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510700316.6A CN106611512B (zh) 2015-10-23 2015-10-23 前车起步的处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN106611512A CN106611512A (zh) 2017-05-03
CN106611512B true CN106611512B (zh) 2020-02-07

Family

ID=58556675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510700316.6A Active CN106611512B (zh) 2015-10-23 2015-10-23 前车起步的处理方法、装置和系统

Country Status (4)

Country Link
US (1) US10818172B2 (zh)
EP (1) EP3367361B1 (zh)
CN (1) CN106611512B (zh)
WO (1) WO2017067187A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019017198A1 (ja) * 2017-07-19 2019-01-24 株式会社デンソー 車両用表示装置及び表示制御装置
JP6805105B2 (ja) * 2017-09-28 2020-12-23 株式会社デンソー 制御対象車両設定装置、制御対象車両設定システムおよび制御対象車両設定方法
CN108556851A (zh) * 2017-12-14 2018-09-21 浙江鼎奕科技发展有限公司 一种前车起步提示系统及方法
CN114140906B (zh) * 2018-04-17 2023-06-30 百度在线网络技术(北京)有限公司 数据处理方法、装置、计算设备、程序产品和存储介质
CN108877231A (zh) * 2018-07-07 2018-11-23 程子涵 一种基于车辆起停提醒的车车互联方法及系统
CN110717361A (zh) * 2018-07-13 2020-01-21 长沙智能驾驶研究院有限公司 本车停车检测方法、前车起步提醒方法及存储介质
CN111284490B (zh) * 2018-12-06 2021-06-04 海信集团有限公司 车载双目相机检测前车溜车的方法及车载双目相机
CN111469839A (zh) * 2019-01-22 2020-07-31 上海汽车集团股份有限公司 一种自动跟随驾驶的方法及装置
CN109798913A (zh) * 2019-03-12 2019-05-24 深圳市天之眼高新科技有限公司 导航界面的显示方法、装置及存储介质
CN112750297B (zh) * 2019-10-31 2022-09-16 广州汽车集团股份有限公司 一种车队控制方法、调度处理系统、车辆及控制系统
CN112750321A (zh) * 2019-10-31 2021-05-04 奥迪股份公司 辅助当前车辆通过道路交叉口的系统、方法和存储介质
CN110675645A (zh) * 2019-11-01 2020-01-10 常州工学院 一种监测方法及装置
CN111767850A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 突发事件的监控方法、装置、电子设备和介质
CN112046499A (zh) * 2020-09-11 2020-12-08 中国第一汽车股份有限公司 一种车辆起步提醒方法、车辆起步提醒装置及车辆
CN112165682B (zh) * 2020-09-25 2021-12-28 上海龙旗科技股份有限公司 一种用于车载设备的上报位置的方法、系统及设备
CN115884910A (zh) * 2021-02-26 2023-03-31 华为技术有限公司 前车起步检测方法及装置
CN113119992A (zh) * 2021-04-30 2021-07-16 东风汽车集团股份有限公司 一种智能前车驶离提醒方法和系统
CN113830085B (zh) * 2021-09-26 2024-02-13 上汽通用五菱汽车股份有限公司 车辆跟停起步方法、装置、设备及计算机可读存储介质
CN116691626B (zh) * 2023-08-08 2023-10-31 徐州奥特润智能科技有限公司 基于人工智能的车辆制动系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104827968A (zh) * 2015-04-08 2015-08-12 上海交通大学 一种基于安卓的低成本停车等待驾驶提醒系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09109724A (ja) * 1995-10-17 1997-04-28 Mitsubishi Electric Corp 車両発進警報装置
DE19942371A1 (de) * 1999-09-04 2001-03-08 Valeo Schalter & Sensoren Gmbh Verfahren und Vorrichtung zum Erkennen des möglichen Anfahrens eines Kraftfahrzeugs
JP2003515827A (ja) * 1999-11-26 2003-05-07 モービルアイ インク 輸送手段の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段のエゴモーションを予測するためのシステムおよび方法
US6437690B1 (en) * 2000-09-27 2002-08-20 Pathfins C. Okezie Uninsured and/or stolen vehicle tracking system
DE102005033087A1 (de) * 2005-07-15 2007-01-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Vermeidung von Auffahrunfällen
DE102006009654A1 (de) * 2006-03-02 2007-11-08 Robert Bosch Gmbh Vorrichtung zum An- und Abschalten eines Fahrzeugmotors in Abhängigkeit von der Verkehrssituation
US7313869B1 (en) * 2006-07-18 2008-01-01 Snap-On Incorporated Vehicle wheel alignment system and methodology
US9677530B2 (en) * 2009-09-21 2017-06-13 Ford Global Technologies, Llc Assisted direct start engine control for enhanced launch performance
DE102009050519A1 (de) * 2009-10-23 2011-04-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation
CN101875348B (zh) * 2010-07-01 2011-12-28 浙江工业大学 基于计算机视觉的误将油门当刹车错误操作防止装置
CN202175009U (zh) * 2011-07-29 2012-03-28 富士重工业株式会社 车辆用驾驶辅助装置
JP5645769B2 (ja) * 2011-08-01 2014-12-24 株式会社日立製作所 画像処理装置
CN202716801U (zh) * 2012-07-04 2013-02-06 戴奇 车辆启动提醒装置
TWI536326B (zh) * 2012-07-20 2016-06-01 緯創資通股份有限公司 車輛碰撞事故通報系統及方法
CN104508720B (zh) * 2012-08-01 2016-09-07 丰田自动车株式会社 驾驶辅助装置
DE102012022150A1 (de) * 2012-11-10 2014-05-15 Audi Ag Kraftfahrzeug und Verfahren zum Betrieb eines Kraftfahrzeugs
JP6082638B2 (ja) * 2013-03-29 2017-02-15 日立オートモティブシステムズ株式会社 走行制御装置及び走行制御システム
US9912916B2 (en) * 2013-08-13 2018-03-06 GM Global Technology Operations LLC Methods and apparatus for utilizing vehicle system integrated remote wireless image capture
KR101344056B1 (ko) * 2013-09-25 2014-01-16 주식회사 피엘케이 테크놀로지 차량의 출발 정지 지원 장치 및 그 방법
US11081008B2 (en) * 2013-12-20 2021-08-03 Magna Electronics Inc. Vehicle vision system with cross traffic detection
US9447741B2 (en) * 2014-01-17 2016-09-20 Ford Global Technologies, Llc Automatic engine start-stop control
DE102014203806A1 (de) * 2014-03-03 2015-09-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Vorhersage eines voraussichtlichen Anfahrzeitpunktes eines Fahrzeugs
JP6652057B2 (ja) * 2014-08-04 2020-02-19 日本電気株式会社 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104827968A (zh) * 2015-04-08 2015-08-12 上海交通大学 一种基于安卓的低成本停车等待驾驶提醒系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种改进的帧差和背景减相结合的运动检测方法;李毅 等;《中国图象图形学报》;20090630;第14卷(第6期);第1162-1168页 *

Also Published As

Publication number Publication date
EP3367361A1 (en) 2018-08-29
WO2017067187A1 (zh) 2017-04-27
US10818172B2 (en) 2020-10-27
CN106611512A (zh) 2017-05-03
EP3367361A4 (en) 2019-07-31
EP3367361B1 (en) 2024-01-17
US20190057604A1 (en) 2019-02-21

Similar Documents

Publication Publication Date Title
CN106611512B (zh) 前车起步的处理方法、装置和系统
EP3296923B1 (en) A method of detecting an overtaking vehicle, related processing system, overtaking vehicle detection system and vehicle
EP2336999B1 (en) Device for detecting/judging road boundary
CN107004363B (zh) 图像处理装置及车载显示系统及显示装置及图像处理方法
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
EP2928178B1 (en) On-board control device
CN111932901B (zh) 道路车辆跟踪检测设备、方法及存储介质
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
CN108162858B (zh) 车载监控装置及其方法
EP1671216A2 (en) Moving object detection using low illumination depth capable computer vision
US20170151945A1 (en) Information processing device, information processing method, control device for vehicle, and control method for vehicle
EP2833096B1 (en) Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle
US20180114078A1 (en) Vehicle detection device, vehicle detection system, and vehicle detection method
KR100355993B1 (ko) 차선 이탈 경보장치 및 방법
Kristoffersen et al. Towards semantic understanding of surrounding vehicular maneuvers: A panoramic vision-based framework for real-world highway studies
JP2011103058A (ja) 誤認識防止装置
Munajat et al. Vehicle detection and tracking based on corner and lines adjacent detection features
EP3287940A1 (en) Intersection detection system for a vehicle
JP6367531B2 (ja) 車載器
JP5957182B2 (ja) 路面上パターン認識方法および車両用情報記録装置
Chen et al. Video-based on-road driving safety system with lane detection and vehicle detection
US20220101025A1 (en) Temporary stop detection device, temporary stop detection system, and recording medium
Thai et al. Application of edge detection algorithm for self-driving vehicles
JP2000003438A (ja) 標識認識装置
JP2011090490A (ja) 障害物認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant