CN105539293A - 车道偏离预警方法和装置及汽车驾驶辅助系统 - Google Patents

车道偏离预警方法和装置及汽车驾驶辅助系统 Download PDF

Info

Publication number
CN105539293A
CN105539293A CN201610076787.9A CN201610076787A CN105539293A CN 105539293 A CN105539293 A CN 105539293A CN 201610076787 A CN201610076787 A CN 201610076787A CN 105539293 A CN105539293 A CN 105539293A
Authority
CN
China
Prior art keywords
lane mark
running gear
lane
image
unconscious
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610076787.9A
Other languages
English (en)
Other versions
CN105539293B (zh
Inventor
姜安
孟然
朱海涛
崔峰
谢启伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhong Ke Hui Yan Technology Ltd
Original Assignee
Beijing Zhong Ke Hui Yan Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhong Ke Hui Yan Technology Ltd filed Critical Beijing Zhong Ke Hui Yan Technology Ltd
Priority to CN201610076787.9A priority Critical patent/CN105539293B/zh
Publication of CN105539293A publication Critical patent/CN105539293A/zh
Priority to US15/474,755 priority patent/US10360460B2/en
Application granted granted Critical
Publication of CN105539293B publication Critical patent/CN105539293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Acoustics & Sound (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种车道偏离预警方法和装置及汽车驾驶辅助系统。其中，该方法包括：通过所述摄像装置采集道路图像；对所述道路图像进行车道线检测，提取所述车道线的位置及角度；通过OBD随车诊断系统，获取所述运动装置的转向信息及速度；根据所述车道线的位置和角度以及所述运动装置的转向信息，判断所述运动装置是否存在无意识压线行为；确定在所述运动装置存在无意识压线行为的情况下，记录所述无意识压线行为的持续时间；根据所述无意识压线行为的持续时间及所述运动装置的速度，判断是否对所述运动装置进行车道偏离预警。通过本发明实施例解决了如何快速、有效地进行车道偏离预警的技术问题。

Description

车道偏离预警方法和装置及汽车驾驶辅助系统
技术领域
本发明实施例涉及图像处理技术领域，尤其是涉及一种车道偏离预警方法和装置及汽车驾驶辅助系统。
背景技术
车道偏离预警系统通过预警的方式，警告那些打瞌睡或疲劳驾驶、注意力不集中的驾驶员，辅助他们避免发生车道偏离而引发交通事故。
目前，国外车道偏离预警系统主要包括：AURORA系统、AutoVue系统、Mobileye_AWS系统和DSS系统(DriverSupportSystem)。国内车道偏离预警系统主要包括：JLUVA-1系统、基于DSP技术的嵌入式车道偏离报警系统。现有的车道偏离预警模型主要有三种：基于车辆在当前车道中的位置、基于车辆将来偏离量、以及基于车辆越车道边界的时间。这些方法主要通过测量车辆在车道中的位置，来精确定位车道线与车辆的间距，需要对摄像机进行标定，建立摄像机、车辆与路面的几何成像模型，因此易受到摄像机选型、镜头选型、摄像机安装位置、车辆型号及道路类型等因素的影响。
有鉴于此，特提出本发明。
发明内容
本发明实施例的主要目的在于提供一种车道偏离预警方法，其至少部分地解决了如何快速、有效地进行车道偏离预警的技术问题。此外，还提供一种车道偏离预警装置及汽车驾驶辅助系统。
为了实现上述目的，根据本发明的一个方面，提供了以下技术方案：
一种车道偏离预警方法，运动装置前挡风玻璃的中轴线上设置有摄像装置；所述方法至少包括：
通过所述摄像装置采集道路图像；
对所述道路图像进行车道线检测，提取所述车道线的位置及角度；
通过OBD随车诊断系统，获取所述运动装置的转向信息及速度；
根据所述车道线的位置和角度以及所述运动装置的转向信息，判断所述运动装置是否存在无意识压线行为；
确定在所述运动装置存在无意识压线行为的情况下，记录所述无意识压线行为的持续时间；
根据所述无意识压线行为的持续时间及所述运动装置的速度，判断是否对所述运动装置进行车道偏离预警。
根据本发明的另一个方面，还提供了一种车道偏离预警装置，运动装置前挡风玻璃的中轴线上设置有摄像装置；所述装置至少包括：
采集单元，被配置为通过所述摄像装置采集道路图像；
提取单元，被配置为对所述道路图像进行车道线检测，提取所述车道线的位置及角度；
获取单元，被配置为通过OBD随车诊断系统，获取所述运动装置的转向信息及速度；
第一判断单元，被配置为根据所述车道线的位置和角度以及所述运动装置的转向信息，判断所述运动装置是否存在无意识压线行为；
记录单元，被配置为确定在所述运动装置存在无意识压线行为的情况下，记录所述无意识压线行为的持续时间；
第二判断单元，被配置为根据所述无意识压线行为的持续时间及所述运动装置的速度，判断是否对所述运动装置进行车道偏离预警。
根据本发明的又一个方面，还提供了一种汽车驾驶辅助系统，其包括上述车道偏离预警装置。
与现有技术相比，上述技术方案至少具有以下有益效果：
本发明实施例通过在汽车前挡风玻璃的中轴线上安装摄像装置；接着采集道路图像；然后对道路图像进行车道线检测，提取车道线的位置及角度信息；再获取运动装置的转向信息；最后根据车道线的位置和角度以及运动装置的转向信息，判断是否进行车道偏离预警。由此，实现了快速、有效地进行车道偏离预警的技术效果。
需要说明的是，实施本发明的任一产品不一定需要同时实现以上所述的所有优点。
附图说明
附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
图1为根据一示例性实施例示出的车道偏离预警方法的流程示意图；
图2为根据一示例性实施例示出的道路图像示意图；
图3为根据一示例性实施例示出的从道路图像中选取的感兴趣区域进行灰度化处理后的示意图；
图4为根据一示例性实施例示出的对灰度化后的图像进行低通滤波之后的结果示意图；
图5为根据一示例性实施例示出的对低通滤波后的图像进行对比度调整后的结果示意图；
图6为根据一示例性实施例示出的车道线特征图示意图；
图7为根据一示例性实施例示出的对车道线特征图进行局部自适应二值化后得到的二值图像的示意图；
图8为根据一示例性实施例示出的对二值图像进行Blob分析后的示意图；
图9为根据一示例性实施例示出的汽车正常行驶的示意图；
图10为根据一示例性实施例示出的汽车压线行驶的示意图；
图11为根据一示例性实施例示出的车道偏离预警装置的结构示意图。
这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。
需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本发明的实现可以没有这些具体细节。
需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。
如图1所示，本发明实施例提供一种车道偏离预警方法。运动装置前挡风玻璃的中轴线上设置有摄像装置；该方法至少可以包括：
步骤S100：通过摄像装置采集道路图像。
在本步骤中，为了保持运动装置行进方向和摄像装置光轴一致，要求摄像装置必须安装在运动装置前挡风玻璃的中轴线上。在安装过程中，调整摄像装置的高度及俯仰角度，以保证运动装置的头部所占比例不超过图像高度的1/5，或者不出现在摄像装置的视野中。优选地，在摄像装置的视野中，天空部分占1/4到1/2的图像高度。图2示例性地示出了一幅道路图像。
设置好摄像装置后，可以通过该摄像装置在运动装置上拍摄前方的道路图像。其中，摄像装置至少包括但不限于单目摄像机、双目摄像机或相机。运动装置优选为汽车。
步骤S110：对道路图像进行车道线检测，提取车道线的位置及角度。
本步骤具体还可以包括：
步骤S1102：对道路图像进行预处理。
由于得到的道路图像经常含有噪声，所以，需要对道路图像进行预处理，以消除噪声对道路图像的影响。
其中，本步骤具体可以包括：
步骤S11022：选取道路图像中感兴趣的区域ROI；其中，感兴趣的区域包含车道线的信息。
步骤S11024：对感兴趣的区域进行灰度化。
图3示例性地示出了对ROI进行灰度化处理后的灰度图像。
步骤S11026：对灰度化后的图像进行低通滤波。
图4示例性地示出了对灰度化后的图像进行低通滤波之后的示意图。
为了消除不同气候条件下光线对道路图像质量的影响。在本实施例的一些可选的实现方式中，还可以包括：
步骤S11028：对低通滤波后的图像进行对比度调整。
图5示例性地示出了进行了对比度增强之后的图像。
步骤S1104：对预处理结果进行形态学运算，提取车道线特征图。
图6示例性地示出了所提取的车道线特征图。
在本步骤中，对道路图像进行形态学运算具体可以包括：使用水平方向的结构元素，对道路图像进行高帽运算；其中，结构元素的长度为道路图像上车道线宽度的两倍。
本领域技术人员应能理解，上述提取车道线特征图的方法仅仅为举例，其他任意现有的或今后可能出现的提取车道线特征图的方法也应包含在本发明的保护范围之内并在此以引用的方式结合于此。
步骤S1106：对车道线特征图进行局部自适应二值化，得到二值图像。
其中，局部自适应二值化方法通过定义考察点的邻域，比较考察点与其邻域的灰度值来确定当前考察点的阈值。噪声、不均匀光照等情况虽然会影响图像整体的灰度分布，但却不影响图像局部的性质。所以，本发明实施例采用局部自适应二值化的方法来对车道线特征图进行处理。
本步骤具体还可以包括：
步骤S11062：针对车道线特征图中的每一像素点，计算该像素点与其邻域内像素点平均灰度的差值。
步骤S11064：如果该差值大于设定阈值，则执行步骤S11066；否则，执行步骤S11068。
步骤S11066：将上述像素点的灰度值设置为255。
步骤S11068：将该像素点的灰度值设置为0。
图7示例性地示出了对车道线特征图进行局部自适应二值化后，得到的二值图像的示意图。
步骤S1108：对二值图像进行Blob分析，将符合车道线特征的图像块确定为车道线，并提取该车道线的位置及角度。
其中，通过Blob分析就可以获取图像中车道线的位置、角度、面积等信息。本发明实施例提取其中的车道线的位置及角度信息，以用于后续车道偏离的预警。
具体地，步骤S1108还可以包括：
步骤S11082：计算二值图像中每一图像块的统计属性；其中，统计属性包括但不限于以下各项中的一项或几项：质心、周长、面积、方向、欧拉数、离心率、主轴长度、次轴长度及主轴长度与次轴长度的比值。
步骤S11084：根据统计属性以及车道线特征，构建回归决策树模型。
步骤S11086：根据回归决策树模型，确定图像块是否为车道线。
步骤S11088：提取确定为车道线的图像块的位置及角度。
图8示例性地示出了对二值图像进行Blob分析后的示意图。
本领域技术人员应能理解，上述提取车道线的位置和角度的方法仅为举例，其他任意现有的或今后可能出现的提取车道线的位置和角度的方法也应包含在本发明的保护范围之内并在此以引用的方式结合于此。
步骤S120：通过OBD随车诊断系统，获取运动装置的转向信息及速度。
在本步骤中，可以通过OBD(On-BoardDiagnostics，随车诊断系统或车载自动诊断系统)获取运动装置的转向信息(例如：汽车转向灯信息)及运动速度。OBD采集数据就是通过CAN总线实现数据交互。通过OBD可以得到运动装置的转向、速度、油门和刹车等信息。本发明实施例利用其中的转向信息和速度信息。
步骤S130：根据车道线的位置和角度以及运动装置的转向信息，判断运动装置是否存在无意识压线行为。
具体地，本步骤可以包括：
步骤S132：根据运动装置的转向信息，判断运动装置是否进行转向；
步骤S134：确定运动装置在进行转向，且车道线的位置位于道路图像的预定区域，以及车道线的角度在预定范围内的情况下，存在无意识压线行为。
优选地，转向信息可以为转向灯信息。
作为示例，图9示例性地示出了汽车正常行驶的示意图。图10示例性地示出了汽车压线行驶的示意图。图9和图10中的白线标示方位。如果驾驶员打了转向灯，说明这种转向压线行为是有意识的压线行为；否则，如果驾驶员没有打转向灯，而且车道线出现在图10中部所示的三角形区域内，并且车道线角度在某个范围内(如50度-130度)，则认为这种压线行为是无意识的压线行为。
步骤S140：确定在运动装置存在无意识压线行为的情况下，记录无意识压线行为的持续时间。
在实际应用中，无意识压线行为的持续时间可以通过摄像装置拍摄每帧道路图像的记录时间来获取。
步骤S150：根据无意识压线行为的持续时间及运动装置的速度，判断是否对运动装置进行车道偏离预警。
例如：当无意识压线行为的持续时间超过时间预定阈值(如1秒钟)，并且运动装置的速度大于速度预定阈值(例如30km/h)，进行车道偏离预警，提醒驾驶员运动装置正处于压线行驶。
本实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时执行或执行次序颠倒，这些简单的变化都在本发明的保护范围之内。
基于与方法实施例相同的技术构思，还提供一种车道偏离预警装置。运动装置前挡风玻璃的中轴线上设置有摄像装置。如图11所示，该装置110至少包括：采集单元111、提取单元112、获取单元113、第一判断单元114、记录单元115和第二判断单元116。其中，采集单元111被配置为通过摄像装置采集道路图像。提取单元112被配置为对道路图像进行车道线检测，提取车道线的位置及角度。获取单元113被配置为通过OBD随车诊断系统，获取运动装置的转向信息及速度。第一判断单元114被配置为根据车道线的位置和角度以及运动装置的转向信息，判断运动装置是否存在无意识压线行为。记录单元115被配置为确定在运动装置存在无意识压线行为的情况下，记录无意识压线行为的持续时间。第二判断单元116被配置为根据无意识压线行为的持续时间及运动装置的速度，判断是否对运动装置进行车道偏离预警。
本领域技术人员应能理解，上述车道偏离预警装置还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图11中未示出。
在本发明实施例的一些可选的实现方式中，提取单元具体可以包括：预处理模块、第一提取模块、二值化模块和第二提取模块。其中，预处理模块被配置为对道路图像进行预处理。第一提取模块被配置为对预处理结果进行形态学运算，提取车道线特征图。二值化模块被配置为对车道线特征图进行局部自适应二值化，得到二值图像。第二提取模块被配置为对二值图像进行Blob分析，将符合车道线特征的图像块确定为车道线，并提取该车道线的位置及角度。
优选地，预处理模块具体可以包括：选取模块、灰度化模块、滤波模块和调整模块。其中，选取模块被配置为选取道路图像中感兴趣的区域。灰度化模块被配置为对感兴趣的区域进行灰度化。滤波模块被配置为对灰度化后的图像进行低通滤波。调整模块被配置为对低通滤波后的图像进行对比度调整。
在本发明优选的实施例中，第一提取模块具体可以包括：运算模块。其中，运算模块被配置为使用水平方向的结构元素，对道路图像进行高帽运算，以提取车道线特征图；其中，结构元素的长度为道路图像上车道线宽度的两倍。
在本发明实施例的一些可选的实现方式中，二值化模块具体可以包括：第一计算模块和第一判断模块。其中，第一计算模块被配置为针对车道线特征图中的每一像素点，计算该像素点与其邻域内像素点平均灰度的差值。第一判断模块被配置为判断差值是否大于设定阈值；如果是，则将该像素点的灰度值设置为255；否则，将该像素点的灰度值设置为0。
在本发明实施例的一些可选的实现方式中，第二提取模块具体可以包括：第二计算模块、构建模块、第一确定模块和第三提取模块。其中，第二计算模块被配置为计算二值图像中每一图像块的统计属性；其中，统计属性包括但不限于以下各项中的一项或几项：质心、周长、面积、方向、欧拉数、离心率、主轴长度、次轴长度及主轴长度与次轴长度的比值。构建模块被配置为根据统计属性以及车道线特征，构建回归决策树模型。第一确定模块被配置为根据回归决策树模型，确定图像块是否为车道线。第三提取模块被配置为提取确定为车道线的图像块的位置及角度。
在本发明实施例的一些可选的实现方式中，第一判断单元具体可以包括：第二判断模块和第二确定模块。其中，第二判断模块被配置为根据运动装置的转向信息，判断运动装置是否进行转向。第二确定模块被配置为确定运动装置在进行转向，且车道线的位置位于道路图像的预定区域，以及车道线的角度在预定范围内的情况下，存在无意识压线行为。
需要说明的是：上述实施例提供的车道偏离预警装置在进行预警时，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
此外，本发明实施例还提供一种汽车驾驶辅助系统，其至少包括上述车道偏离预警装置。
本领域技术人员应能理解，上述汽车驾驶辅助系统还包括一些其他公知结构，在此不再赘述。
上述装置实施例可以用于执行上述方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
应指出的是，上面分别对本发明的装置实施例和方法实施例进行了描述，但是对一个实施例描述的细节也可应用于另一个实施例。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。本领域技术人员应该理解：本发明实施例中的模块或者步骤还可以再分解或者组合。例如上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本发明的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理解本发明实施例的原理；同时，对于本领域技术人员来说，依据本发明实施例，在具体实施方式以及应用范围之内均会做出改变。
需要说明的是，本文中涉及到的流程图或框图不仅仅局限于本文所示的形式，其还可以进行划分和/或组合。
需要说明的是：附图中的标记和文字只是为了更清楚地说明本发明，不视为对本发明保护范围的不当限定。
通过以上实施方式的描述，本领域技术人员可以清楚地了解到本发明可以借助于软件加上必要的硬件平台的方式来实现，当然，也可以通过硬件，但是很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，计算机程序指令可实现流程图和/或方框图中的每一个流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可以将这些计算机程序指令提供至通用机算计、专用机算计、嵌入式处理机或其它可编程数据处理设备的处理器，以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令，来产生用于实现流程图中的一个流程或多个流程和/或方框图中的一个方框或多个方框中所指定的功能的装置。
尽管上文已经示出、描述和指出了适用于各种实施方式的本发明的基本新颖特征的详细描述，但是应能理解，在不脱离本发明意图的情况下，本领域技术人员可以对上述实施例的形式和细节进行各种省略、替换和改变。本领域普通技术人员可以想到的任何变形、改进或替换均落入本发明的范围。

Claims (15)

1.一种车道偏离预警方法，运动装置前挡风玻璃的中轴线上设置有摄像装置；其特征在于，所述方法至少包括：
通过所述摄像装置采集道路图像；
对所述道路图像进行车道线检测，提取所述车道线的位置及角度；
通过OBD随车诊断系统，获取所述运动装置的转向信息及速度；
根据所述车道线的位置和角度以及所述运动装置的转向信息，判断所述运动装置是否存在无意识压线行为；
确定在所述运动装置存在无意识压线行为的情况下，记录所述无意识压线行为的持续时间；
根据所述无意识压线行为的持续时间及所述运动装置的速度，判断是否对所述运动装置进行车道偏离预警。
2.根据权利要求1所述的方法，其特征在于，所述对所述道路图像进行车道线检测，提取所述车道线的位置及角度，具体包括：
对所述道路图像进行预处理；
对预处理结果进行形态学运算，提取车道线特征图；
对所述车道线特征图进行局部自适应二值化，得到二值图像；
对所述二值图像进行Blob分析，将符合车道线特征的图像块确定为车道线，并提取该车道线的位置及角度。
3.根据权利要求2所述的方法，其特征在于，所述对所述道路图像进行预处理具体包括：
选取所述道路图像中感兴趣的区域；
对所述感兴趣的区域进行灰度化；
对灰度化后的图像进行低通滤波；
对低通滤波后的图像进行对比度调整。
4.根据权利要求2所述的方法，其特征在于，所述对预处理结果进行形态学运算，提取车道线特征图，具体包括：
使用水平方向的结构元素，对所述道路图像进行高帽运算，以提取所述车道线特征图；其中，所述结构元素的长度为所述道路图像上车道线宽度的两倍。
5.根据权利要求2所述的方法，其特征在于，所述对所述车道线特征图进行局部自适应二值化，得到二值图像，具体包括：
针对所述车道线特征图中的每一像素点，计算该像素点与其邻域内像素点平均灰度的差值；
判断所述差值是否大于设定阈值；如果是，则将该像素点的灰度值设置为255；否则，将该像素点的灰度值设置为0。
6.根据权利要求2所述的方法，其特征在于，所述对所述二值图像进行Blob分析，将符合车道线特征的图像块确定为车道线，并提取该车道线的位置及角度，具体包括：
计算所述二值图像中每一图像块的统计属性；其中，所述统计属性包括但不限于以下各项中的一项或几项：质心、周长、面积、方向、欧拉数、离心率、主轴长度、次轴长度及主轴长度与次轴长度的比值；
根据所述统计属性以及车道线特征，构建回归决策树模型；
根据所述回归决策树模型，确定所述图像块是否为车道线；
提取确定为车道线的图像块的位置及角度。
7.根据权利要求1所述的方法，其特征在于，所述根据所述车道线的位置和角度以及所述运动装置的转向信息，判断所述运动装置是否存在无意识压线行为，具体包括：
根据所述运动装置的转向信息，判断所述运动装置是否进行转向；
确定所述运动装置在进行转向，且所述车道线的位置位于所述道路图像的预定区域，以及所述车道线的角度在预定范围内的情况下，存在无意识压线行为。
8.一种车道偏离预警装置，运动装置前挡风玻璃的中轴线上设置有摄像装置；其特征在于，所述装置至少包括：
采集单元，被配置为通过所述摄像装置采集道路图像；
提取单元，被配置为对所述道路图像进行车道线检测，提取所述车道线的位置及角度；
获取单元，被配置为通过OBD随车诊断系统，获取所述运动装置的转向信息及速度；
第一判断单元，被配置为根据所述车道线的位置和角度以及所述运动装置的转向信息，判断所述运动装置是否存在无意识压线行为；
记录单元，被配置为确定在所述运动装置存在无意识压线行为的情况下，记录所述无意识压线行为的持续时间；
第二判断单元，被配置为根据所述无意识压线行为的持续时间及所述运动装置的速度，判断是否对所述运动装置进行车道偏离预警。
9.根据权利要求8所述的装置，其特征在于，所述提取单元具体包括：
预处理模块，被配置为对所述道路图像进行预处理；
第一提取模块，被配置为对预处理结果进行形态学运算，提取车道线特征图；
二值化模块，被配置为对所述车道线特征图进行局部自适应二值化，得到二值图像；
第二提取模块，被配置为对所述二值图像进行Blob分析，将符合车道线特征的图像块确定为车道线，并提取该车道线的位置及角度。
10.根据权利要求9所述的装置，其特征在于，所述预处理模块具体包括：
选取模块，被配置为选取所述道路图像中感兴趣的区域；
灰度化模块，被配置为对所述感兴趣的区域进行灰度化；
滤波模块，被配置为对灰度化后的图像进行低通滤波；
调整模块，被配置为对低通滤波后的图像进行对比度调整。
11.根据权利要求9所述的装置，其特征在于，所述第一提取模块具体包括：
运算模块，被配置为使用水平方向的结构元素，对所述道路图像进行高帽运算，以提取所述车道线特征图；其中，所述结构元素的长度为所述道路图像上车道线宽度的两倍。
12.根据权利要求9所述的装置，其特征在于，所述二值化模块具体包括：
第一计算模块，被配置为针对所述车道线特征图中的每一像素点，计算该像素点与其邻域内像素点平均灰度的差值；
第一判断模块，被配置为判断所述差值是否大于设定阈值；如果是，则将该像素点的灰度值设置为255；否则，将该像素点的灰度值设置为0。
13.根据权利要求9所述的装置，其特征在于，所述第二提取模块具体包括：
第二计算模块，被配置为计算所述二值图像中每一图像块的统计属性；其中，所述统计属性包括但不限于以下各项中的一项或几项：质心、周长、面积、方向、欧拉数、离心率、主轴长度、次轴长度及主轴长度与次轴长度的比值；
构建模块，被配置为根据所述统计属性以及车道线特征，构建回归决策树模型；
第一确定模块，被配置为根据所述回归决策树模型，确定所述图像块是否为车道线；
第三提取模块，被配置为提取确定为车道线的图像块的位置及角度。
14.根据权利要求8所述的装置，其特征在于，所述第一判断单元具体包括：
第二判断模块，被配置为根据所述运动装置的转向信息，判断所述运动装置是否进行转向；
第二确定模块，被配置为确定所述运动装置在进行转向，且所述车道线的位置位于所述道路图像的预定区域，以及所述车道线的角度在预定范围内的情况下，存在无意识压线行为。
15.一种汽车驾驶辅助系统，其特征在于，至少包括上述权利要求8至14中任一所述的车道偏离预警装置。
CN201610076787.9A 2016-02-03 2016-02-03 车道偏离预警方法和装置及汽车驾驶辅助系统 Active CN105539293B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610076787.9A CN105539293B (zh) 2016-02-03 2016-02-03 车道偏离预警方法和装置及汽车驾驶辅助系统
US15/474,755 US10360460B2 (en) 2016-02-03 2017-03-30 Method and device of lane departure warning and automobile driving assistance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610076787.9A CN105539293B (zh) 2016-02-03 2016-02-03 车道偏离预警方法和装置及汽车驾驶辅助系统

Publications (2)

Publication Number Publication Date
CN105539293A true CN105539293A (zh) 2016-05-04
CN105539293B CN105539293B (zh) 2018-01-09

Family

ID=55818998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610076787.9A Active CN105539293B (zh) 2016-02-03 2016-02-03 车道偏离预警方法和装置及汽车驾驶辅助系统

Country Status (2)

Country Link
US (1) US10360460B2 (zh)
CN (1) CN105539293B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886217A (zh) * 2017-02-24 2017-06-23 安科智慧城市技术（中国）有限公司 自主导航控制方法和装置
CN107153823A (zh) * 2017-05-22 2017-09-12 北京北昂科技有限公司 一种基于视觉关联双空间的车道线特征提取方法
CN108216024A (zh) * 2017-12-14 2018-06-29 浙江鼎奕科技发展有限公司 一种车道偏离预警系统及其方法
CN108297879A (zh) * 2017-12-14 2018-07-20 浙江鼎奕科技发展有限公司 一种汽车预警系统
CN108297866A (zh) * 2018-01-03 2018-07-20 西安交通大学 一种车辆的车道保持控制方法
CN108537197A (zh) * 2018-04-18 2018-09-14 吉林大学 一种基于深度学习的车道线检测预警装置及预警方法
CN109087485A (zh) * 2018-08-30 2018-12-25 Oppo广东移动通信有限公司 驾驶提醒方法、装置、智能眼镜及存储介质
WO2019200938A1 (zh) * 2018-04-18 2019-10-24 福州大学 一种车辆压线提前预警系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717192B2 (en) * 2010-10-08 2014-05-06 Navteq B.V. Method and system for using intersecting electronic horizons
JP2017191372A (ja) * 2016-04-11 2017-10-19 富士通テン株式会社 車線逸脱警告装置および車線逸脱警告方法
CN110167813B (zh) * 2017-01-10 2022-05-03 三菱电机株式会社 行驶路径识别装置及行驶路径识别方法
WO2021033813A1 (ko) * 2019-08-22 2021-02-25 엠텍비젼 주식회사 안전 운전 보조 장치 및 보조 방법
CN110647850A (zh) * 2019-09-27 2020-01-03 福建农林大学 一种基于逆透视原理的车道偏移自动测量方法
CN111310617B (zh) * 2020-02-03 2023-07-14 杭州飞步科技有限公司 分神驾驶检测方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10220825A1 (de) * 2002-05-08 2003-07-03 Audi Ag Bildaufnahmevorrichtung für Fahrerassistenzsysteme
CN102616241A (zh) * 2012-03-28 2012-08-01 周圣砚 基于车道线模型检测方法和在线学习方法的车道偏离报警系统
CN103738243A (zh) * 2013-10-29 2014-04-23 惠州华阳通用电子有限公司 一种车道偏离预警方法
CN103832357A (zh) * 2012-11-23 2014-06-04 深圳华一汽车科技有限公司 一种基于机器视觉的车道偏离警告系统及方法
CN104657735A (zh) * 2013-11-21 2015-05-27 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统
CN104943742A (zh) * 2014-03-31 2015-09-30 富士重工业株式会社 车辆的防止偏离车道控制装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE461260B (sv) * 1988-10-24 1990-01-29 Goeran Persson Foer motorfordon avsedd varningsanordning foer avgivande av varningssignaler
JP3690283B2 (ja) * 2001-01-18 2005-08-31 日産自動車株式会社 車線追従制御装置
JP4161938B2 (ja) * 2004-06-01 2008-10-08 トヨタ自動車株式会社 走行制御装置
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
US9090285B2 (en) * 2008-12-05 2015-07-28 Volkswagen Group Of America, Inc. Method for providing a lanekeeping assistance based on modifying mechanical sources of steering torques
TWI338643B (en) * 2009-01-19 2011-03-11 Univ Nat Taiwan Science Tech Lane departure warning method and system thereof
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
JP4962581B2 (ja) * 2010-03-03 2012-06-27 株式会社デンソー 区画線検出装置
US9542847B2 (en) * 2011-02-16 2017-01-10 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns
JP5389864B2 (ja) * 2011-06-17 2014-01-15 クラリオン株式会社 車線逸脱警報装置
US9373044B2 (en) * 2011-07-25 2016-06-21 Ford Global Technologies, Llc Trailer lane departure warning system
DE102012004791A1 (de) * 2012-03-07 2013-09-12 Audi Ag Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs vor einer sich anbahnenden Gefahrensituation infolge eines unbeabsichtigten Driftens auf eine Gegenverkehrsfahrspur
US9340227B2 (en) * 2012-08-14 2016-05-17 Magna Electronics Inc. Vehicle lane keep assist system
US9946940B2 (en) * 2014-12-18 2018-04-17 Magna Electronics Inc. Vehicle vision system with adaptive lane marker detection
KR102433791B1 (ko) * 2015-11-20 2022-08-19 주식회사 에이치엘클레무브 차선 이탈 경고 장치 및 방법
JP6690506B2 (ja) * 2016-11-17 2020-04-28 トヨタ自動車株式会社 車両の車線内走行支援装置
JP6536548B2 (ja) * 2016-12-01 2019-07-03 トヨタ自動車株式会社 車線内走行支援装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10220825A1 (de) * 2002-05-08 2003-07-03 Audi Ag Bildaufnahmevorrichtung für Fahrerassistenzsysteme
CN102616241A (zh) * 2012-03-28 2012-08-01 周圣砚 基于车道线模型检测方法和在线学习方法的车道偏离报警系统
CN103832357A (zh) * 2012-11-23 2014-06-04 深圳华一汽车科技有限公司 一种基于机器视觉的车道偏离警告系统及方法
CN103738243A (zh) * 2013-10-29 2014-04-23 惠州华阳通用电子有限公司 一种车道偏离预警方法
CN104657735A (zh) * 2013-11-21 2015-05-27 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统
CN104943742A (zh) * 2014-03-31 2015-09-30 富士重工业株式会社 车辆的防止偏离车道控制装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886217A (zh) * 2017-02-24 2017-06-23 安科智慧城市技术（中国）有限公司 自主导航控制方法和装置
CN106886217B (zh) * 2017-02-24 2020-09-08 深圳中智卫安机器人技术有限公司 自主导航控制方法和装置
CN107153823A (zh) * 2017-05-22 2017-09-12 北京北昂科技有限公司 一种基于视觉关联双空间的车道线特征提取方法
CN108216024A (zh) * 2017-12-14 2018-06-29 浙江鼎奕科技发展有限公司 一种车道偏离预警系统及其方法
CN108297879A (zh) * 2017-12-14 2018-07-20 浙江鼎奕科技发展有限公司 一种汽车预警系统
CN108297866A (zh) * 2018-01-03 2018-07-20 西安交通大学 一种车辆的车道保持控制方法
CN108297866B (zh) * 2018-01-03 2019-10-15 西安交通大学 一种车辆的车道保持控制方法
CN108537197A (zh) * 2018-04-18 2018-09-14 吉林大学 一种基于深度学习的车道线检测预警装置及预警方法
WO2019200938A1 (zh) * 2018-04-18 2019-10-24 福州大学 一种车辆压线提前预警系统
CN108537197B (zh) * 2018-04-18 2021-04-16 吉林大学 一种基于深度学习的车道线检测预警装置及预警方法
CN109087485A (zh) * 2018-08-30 2018-12-25 Oppo广东移动通信有限公司 驾驶提醒方法、装置、智能眼镜及存储介质
CN109087485B (zh) * 2018-08-30 2021-06-08 Oppo广东移动通信有限公司 驾驶提醒方法、装置、智能眼镜及存储介质

Also Published As

Publication number Publication date
CN105539293B (zh) 2018-01-09
US10360460B2 (en) 2019-07-23
US20170262713A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
CN105539293A (zh) 车道偏离预警方法和装置及汽车驾驶辅助系统
DE102017125730B4 (de) Fahrzeugsystem und Fahrzeug
EP2562039B1 (de) Verfahren und Vorrichtung zum Ändern einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
DE102015218704B4 (de) Systeme und Verfahren für die Erfassung von Hindernissen innerhalb des Sichtfeldes eines Bildsensors
DE112011100180B4 (de) Spurhalteunterstützungsvorrichtung, Verfahren zum Anzeigen einer Spurgrenzlinie und Programm
DE112016007376T5 (de) Vorrichtung zur Bestimmung von Peripherie-Informationen und Verfahren zur Bestimmung von Peripherie-Informationen
WO2017006853A1 (ja) 運転者異常検出装置及び運転者異常検出方法
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
DE112013001424T5 (de) Objekterkennungsvorrichtung
DE102011087774A1 (de) Verfahren zur Überwachung und Signalisierung einer Verkehrssituation im Umfeld eines Fahrzeuges
DE102011111899A1 (de) Detektionsvorrichtung und Verfahren zur Detektion eines Trägers eines Sende-/Empfangsgeräts, Kraftfahrzeug
CN105684039B (zh) 用于驾驶员辅助系统的状况分析
CN108482367A (zh) 一种基于智能后视镜辅助驾驶的方法、装置及系统
DE102020124666A1 (de) Verfahren, system und computerprogrammprodukt zur bereitstellung von fahrassistenz
DE102021107602A1 (de) Fahrassistenzvorrichtung und datensammelsystem
DE102014204002A1 (de) Verfahren zur Identifikation eines projizierten Symbols auf einer Straße in einem Fahrzeug, Vorrichtung und Fahrzeug
DE102016203727A1 (de) Verfahren zum Vermeiden eines Auffahrunfalls zwischen einem ersten Fahrzeug und einem zweiten Fahrzeug und Steuergerät
JP6500734B2 (ja) 運転支援装置
DE112019007727T5 (de) Fahrassistenzvorrichtung, fahrassistenzverfahren und programm
DE112019007195T5 (de) Anzeigesteuerungseinrichtung, anzeigesteuerungsverfahren und anzeigesteuerungsprogramm
JP2009093341A (ja) 認知再現装置及びプログラム並びに交通流シミュレーション装置及びプログラム
DE102022114858A1 (de) Fahrzeugumgebungsinformationsanzeigesystem und Fahrzeugumgebungsinformationsanzeigeverfahren
DE102022115023A1 (de) System zur Anzeige von Fahrzeugumgebungsinformationen und Verfahren zur Anzeige von Fahrzeugumgebungsinformationen
Dragaš et al. Development and Implementation of Lane Departure Warning System on ADAS Alpha Board
DE102004047476B4 (de) Vorrichtung und Verfahren zur Einstellung einer Kamera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant