CN107886729A - 车辆识别方法、装置及车辆 - Google Patents

车辆识别方法、装置及车辆 Download PDF

Info

Publication number
CN107886729A
CN107886729A CN201610871091.5A CN201610871091A CN107886729A CN 107886729 A CN107886729 A CN 107886729A CN 201610871091 A CN201610871091 A CN 201610871091A CN 107886729 A CN107886729 A CN 107886729A
Authority
CN
China
Prior art keywords
image
vehicle
highway
lines
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610871091.5A
Other languages
English (en)
Other versions
CN107886729B (zh
Inventor
贺刚
黄忠伟
姜波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201610871091.5A priority Critical patent/CN107886729B/zh
Publication of CN107886729A publication Critical patent/CN107886729A/zh
Application granted granted Critical
Publication of CN107886729B publication Critical patent/CN107886729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆识别方法、装置及车辆,用于提升识别目标车辆的准确性。所述方法包括:获取第一图像和第二图像,其中,所述第一图像为彩色图像或亮度图像,所述第二图像为深度图像;根据所述第一图像识别主体车辆行驶方向后方的全部公路车道线;根据所述第一图像与所述第二图像之间的映射关系,将所述公路车道线映射至所述第二图像,以在所述第二图像中确定至少一个车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围;将所述至少一个车辆识别范围中的每个车辆识别范围标记为后方车道、左侧第N车道、或右侧第M车道,N和M均为正整数;识别所述至少一个车辆识别范围中的目标车辆。

Description

车辆识别方法、装置及车辆
技术领域
本发明涉及车辆技术领域,具体涉及车辆识别方法、装置及车辆。
背景技术
随着科学技术的不断发展,人们的出行也越来越便利,各种各样的汽车、电动车等已经成为人们生活中必不可少的交通工具。然而,这些交通工具虽然方便了人们的出行,但交通安全事故确频频发生,为了提高车辆的安全性,可以在车辆上安装测距传感器,进而感测车辆周围的多个目标车辆,以降低撞车事故的发生率。
目前,可以使用立体相机或两个以上的雷达作为测距传感器,主体车辆通过安装这几种类型测距传感器可以同时感测该主体车辆的后方或侧方的多个目标车辆,并且可以在感测到有威胁目标车辆时,对驾驶员发出警告。
但在实际应用中,在主体车辆侧后方有多个目标车辆的情况下,由于雷达的工作原理,可能无法良好地识别各个目标车辆所处的车道,进而可能导致将与主体车辆相隔有一个或多个车道的目标车辆错误地识别成有威胁的车辆。因此,仅装载雷达的主体车辆将可能向驾驶员发出不必要的过度警报,导致分散驾驶员的注意力。
发明内容
本发明的目的是提供一种车辆识别方法、装置及车辆,用于提升识别目标车辆的准确性。
根据本发明实施例的第一方面,提供一种车辆识别方法,包括:
获取第一图像和第二图像,其中,所述第一图像为彩色图像或亮度图像,所述第二图像为深度图像;
根据所述第一图像识别主体车辆行驶方向后方的全部公路车道线;
根据所述第一图像与所述第二图像之间的映射关系,将所述公路车道线映射至所述第二图像,以在所述第二图像中确定至少一个车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围;
将所述至少一个车辆识别范围中的每个车辆识别范围标记为后方车道、左侧第N车道、或右侧第M车道,N和M均为正整数;
识别所述至少一个车辆识别范围中的目标车辆。
可选的,识别所述至少一个车辆识别范围中的目标车辆,包括:
在标记为后方车道的车辆识别范围中识别后方目标车辆、在标记为左侧N车道的车辆识别范围中识别左侧目标车辆、在标记为右侧M车道的车辆识别范围中识别右侧目标车辆、及在相邻的两个车辆识别范围组合成的车辆识别范围中识别后方变道目标车辆。
可选的,根据所述第一图像识别主体车辆行驶方向后方的全部公路车道线,包括:
根据所述第一图像,获取所述主体车辆行驶方向后方的每个实线车道线的全部边缘像素位置,及获取所述主体车辆行驶方向后方的每个虚线车道线的全部边缘像素位置。
可选的,获取所述主体车辆行驶方向后方的每个实线车道线的全部边缘像素位置,包括:
创建与所述第一图像对应的二值图像;
在所述二值图像中检测每个实线车道线的全部边缘像素位置。
可选的,第一虚线公路车道线为所述全部公路车道线包括的任一虚线公路车道线,获取所述第一虚线车道线的边缘像素位置,包括:
根据所述第一图像识别第一实线公路车道线,其中,所述第一实线公路车道线为所述公路车道线包括的任一实线公路车道线;
将所述第一实线公路车道线的全部边缘像素位置投影到所述第一虚线车道线的初始直线的边缘像素位置,以获取所述第一虚线车道线的全部边缘像素位置。
可选的,第一虚线公路车道线为所述全部公路车道线包括的任一虚线公路车道线,获取所述第一虚线车道线的边缘像素位置,包括:
将连续获取的多个第一图像分别对应的二值图像进行叠加,以将所述第一虚线车道线叠加成实线车道线;
获取叠加成的实线车道线的全部边缘像素位置。
可选的,识别所述至少一个车辆识别范围中的目标车辆,包括:
在所述至少一个车辆识别范围中检测所述目标车辆的目标边界;
根据所述目标边界在所述第二图像中的位置,确定所述目标车辆的距离信息。
可选的,所述方法还包括:
根据所述目标车辆的距离信息,控制所述主体车辆的运动参数和/或输出告警信息。
根据本发明实施例的第二方面,提供一种车辆识别装置,包括:
图像获取模块,用于获取第一图像和第二图像,其中,所述第一图像为彩色图像或亮度图像,所述第二图像为深度图像;
第一识别模块,用于根据所述第一图像识别主体车辆行驶方向后方的全部公路车道线;
映射模块,用于根据所述第一图像与所述第二图像之间的映射关系,将所述公路车道线映射至所述第二图像,以在所述第二图像中确定至少一个车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围;
标记模块,用于将所述至少一个车辆识别范围中的每个车辆识别范围标记为后方车道、左侧第N车道、或右侧第M车道,N和M均为正整数;
第二识别模块,用于识别所述至少一个车辆识别范围中的目标车辆。
可选的,所述第二识别模块用于:
在标记为后方车道的车辆识别范围中识别后方目标车辆、在标记为左侧N车道的车辆识别范围中识别左侧目标车辆、在标记为右侧M车道的车辆识别范围中识别右侧目标车辆、及在相邻的两个车辆识别范围组合成的车辆识别范围中识别后方变道目标车辆。
可选的,所述第一识别模块用于:
根据所述第一图像,获取所述主体车辆行驶方向后方的每个实线车道线的全部边缘像素位置,及获取所述主体车辆行驶方向后方的每个虚线车道线的全部边缘像素位置。
可选的,所述第一识别模块用于:
创建与所述第一图像对应的二值图像;
在所述二值图像中检测每个实线车道线的全部边缘像素位置。
可选的,第一虚线公路车道线为所述全部公路车道线包括的任一虚线公路车道线,所述第一识别模块用于:
根据所述第一图像识别第一实线公路车道线,其中,所述第一实线公路车道线为所述公路车道线包括的任一实线公路车道线;
将所述第一实线公路车道线的全部边缘像素位置投影到所述第一虚线车道线的初始直线的边缘像素位置,以获取所述第一虚线车道线的全部边缘像素位置。
可选的,第一虚线公路车道线为所述全部公路车道线包括的任一虚线公路车道线,所述第一识别模块用于:
将连续获取的多个第一图像分别对应的二值图像进行叠加,以将所述第一虚线车道线叠加成实线车道线;
获取叠加成的实线车道线的全部边缘像素位置。
可选的,所述第二识别模块用于:
在所述至少一个车辆识别范围中检测所述目标车辆的目标边界;
根据所述目标边界在所述第二图像中的位置,确定所述目标车辆的距离信息。
可选的,所述装置还包括:
控制模块,用于根据所述目标车辆的距离信息,控制所述主体车辆的运动参数;
输出模块,用于根据所述目标车辆的距离信息,输出告警信息。
根据本发明实施例的第三方面,提供一种车辆,包括:
图像采集装置,用于采集第一图像和第二图像,其中,所述第一图像为彩色图像或亮度图像,所述第二图像为深度图像;以及上述第二方面的车辆识别装置。
通过上述技术方案,由于彩色图像和深度图像可以由单个相机就能够获取,因此本发明实施例可以只使用单个相机就能识别目标车辆以及主体车辆行驶方向后方的车道,设计更为简单,也节省了成本。同时,本发明实施例中,可以在识别位于主体车辆后方和侧方的目标车辆究竟是位于哪个车道上,进而可以减少不必要的过度报警,车辆的智能化程度较高。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1是根据一示例性实施例示出的一种车辆识别方法的流程图。
图2是根据一示例性实施例示出的至少一个车辆识别范围的示意图。
图3是根据一示例性实施例示出的识别目标车辆的示意图。
图4是根据一示例性实施例示出的识别目标车辆的示意图。
图5是根据一示例性实施例示出的识别目标车辆的示意图。
图6是根据一示例性实施例示出的一种车辆识别装置的框图。
图7是根据一示例性实施例示出的一种车辆的框图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
图1是根据一示例性实施例示出的一种车辆识别方法的流程图,如图1所示,该车辆识别方法可以应用于主体车辆中,包括以下步骤。
步骤S11:获取第一图像和第二图像,其中,第一图像为彩色图像或亮度图像,第二图像为深度图像。
步骤S12:根据第一图像识别主体车辆行驶方向后方的全部公路车道线。
步骤S13:根据第一图像与第二图像之间的映射关系,将公路车道线映射至第二图像,以在第二图像中确定至少一个车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围。
步骤S14:将至少一个车辆识别范围中的每个车辆识别范围标记为后方车道、左侧第N车道、或右侧第M车道,N和M均为正整数。
步骤S15:识别至少一个车辆识别范围中的目标车辆。
第一图像可以是彩色图像或亮度图像,第二图像可以是深度图像,第一图像与第二图像可以是由设置在主体车辆上的同一图像采集装置获取的。例如,通过图像采集装置的图像传感器获取第一图像,通过图像采集装置的TOF(Time of flight,飞行时间)传感器获得第二图像。
本发明实施例中,彩色或亮度图像像素和深度图像像素的可以按一定的比例进行交织排列,对于比例究竟是多少,本发明实施例不作限定。例如,图像传感器和TOF传感器都可以使用互补金属氧化物半导体(CMOS)工艺进行制作,亮度像素和TOF像素可以按比例制作在同一基板之上,例如以8:1比例进行制作的8个亮度像素和1个TOF像素组成一个大的交织像素,其中1个TOF像素的感光面积可以等于8个亮度像素的感光面积,其中8个亮度像素可以按2行及4列的阵列形式排列。比如,可以在1英寸光学靶面的基板上制作360行及480列的活跃交织像素的阵列,可获取720行及1920列的活跃亮度像素阵列、360行及480列的活跃TOF像素阵列,由此图像传感器和TOF传感器组成的同一个图像采集装置可同时获取彩色或亮度图像和深度图像。
在获取了第一图像和第二图像之后,可以根据第一图像识别主体车辆行驶方向后方的全部公路车道线。
由于第一图像为彩色或亮度图像,而识别公路车道线的位置只需要利用公路车道线与路面的亮度差异,因此获取公路车道线只需要第一图像的亮度信息即可。那么在第一图像为亮度图像时,可以直接根据第一图像的亮度信息识别公路车道线,在第一图像为彩色图像时,可以将第一图像转化成亮度图像之后再识别公路车道线。
可选的,由于公路车道线既有实线车道线也有虚线车道线,因此在第一图像中识别公路车道线可以是根据第一图像,获取公路车道线包括的每个实线车道线的全部边缘像素位置,以及获取公路车道线包括的每个虚线车道线的全部边缘像素位置。这样才能完整地识别实线车道线和虚线车道线,进而提升识别目标车辆的准确性。
可选的,获取公路车道线包括的每个实线车道线的全部边缘像素位置,可以创建与第一图像对应的二值图像,然后在二值图像中检测每个实线车道线的全部边缘像素位置。
对于如何创建于第一图像对应的二值图像,本发明实施例不作限定,以下对几种可能的方式进行举例说明。
例如,利用公路车道线与路面的亮度差异,可以通过查找得到某些亮度阈值,亮度阈值可以利用“直方图统计—双峰”算法来查找得到,并利用亮度阈值和亮度图像创建突出公路车道线的二值图像。
或者例如,还可以将亮度图像划分为多个亮度子图像,对每个亮度子图像执行“直方图统计—双峰”算法来查找得到多个亮度阈值,利用各个亮度阈值和相应的亮度子图像创建突出公路车道线的二值子图像,并利用二值子图像创建完整的突出公路车道线的二值图像,这样可以应对路面或车道线亮度变化的情况。
在创建了与第一图像对应的二值图像之后,可以在二值图像中检测每个实线车道线的全部边缘像素位置,对于检测的方式,本发明实施例同样不作限定。
例如,由于公路车道线的曲率半径不可能太小,并且由于相机投影原理导致近处车道线相对远处车道线的成像像素更多,使得弯道的实线车道线在亮度图像中排列成直线的像素也占该实线车道线成像像素的大部分,因此可以使用类似Hough变换算法等直线检测算法在突出公路车道线的二值图像中检测出直道的实线车道线的全部边缘像素位置或检测出弯道的实线车道线的大部分初始直线边缘像素位置。
直线检测可能也将隔离带、电线杆在二值图像中的大部分直线边缘像素位置检出。那么例如可以根据图像传感器的长宽比例、相机镜头焦距、道路设计规范的道路宽度范围和图像传感器在主体车辆的安装位置可以设置车道线在二值图像中的斜率范围,从而根据该斜率范围将非车道线的直线过滤排除。
由于弯道的实线车道线的边缘像素位置总是连续变化的,因此根据查找上述检测的初始直线两端的边缘像素位置的连通像素位置,并将该连通像素位置并入该初始直线边缘像素集合,重复上述查找和并入该连通像素位置,最后将弯道实线车道线的全部边缘像素位置唯一确定。
通过以上方式可以检测实线公路车道线的全部边缘像素位置。
可选的,第一虚线公路车道线可以是公路车道线包括的任一虚线公路车道线,获取第一虚线车道线的边缘像素位置,可以根据第一图像识别第一实线公路车道线,然后将第一实线公路车道线的全部边缘像素位置投影到第一虚线车道线的初始直线的边缘像素位置,以获取第一虚线车道线的全部边缘像素位置。其中,第一实线公路车道线可以是公路车道线包括的任一实线公路车道线。
本发明实施例中,可以根据实线车道线的先验知识、车道线现实中相互平行的原则、图像传感器及相机的投影参数,将第一实线车道线的全部边缘像素位置投影到第一虚线车道线的初始直线边缘像素位置以连接第一虚线车道线的初始直线边缘像素位置和属于第一虚线车道线的其他较短的车道线的边缘像素位置,从而获取虚线车道线的全部边缘像素位置。
可选的,第一虚线公路车道线为公路车道线包括的任一虚线公路车道线,获取第一虚线车道线的边缘像素位置,可以将连续获取的多个第一图像分别对应的二值图像进行叠加,以将第一虚线车道线叠加成实线车道线,然后获取叠加成的实线车道线的全部边缘像素位置。
本发明实施例中,可以无需得到直道或弯道的先验知识,由于车辆在直道巡航或恒定转向角弯道巡航的过程中,虚线车道线的横向偏移在较短的连续时间内几乎可以忽略,但纵向偏移却较大,因此虚线车道线在不同时刻的连续几幅突出公路车道线的二值图像中可以叠加成一条实线车道线,然后再通过上述实线车道线的识别方法即可获取该虚线车道线的全部边缘像素位置。
由于虚线车道线的纵向偏移量受到主体车辆车速的影响,因此在识别第一虚线车道线时,可以根据从轮速传感器获取的车速动态地确定不同时刻的连续的突出公路车道线的二值图像的最少幅数以将第一虚线车道线叠加成一条实线车道线,从而获取第一虚线车道线的全部边缘像素位置。
由于第一图像和第二图像之间的交织映射关系,第一图像的每个像素的行列坐标经过等比例的调整都可以在第二图像至少确定一个像素的行列坐标,因此根据第一图像获取的公路车道线的每个边缘像素位置都可以在第二图像至少确定一个像素位置,从而在第二图像中获取了等比例调整的公路车道线。可以由每相邻两个公路车道线创建一个车辆识别范围,进而在第二图像中确定至少一个车辆识别范围。
根据第二图像中获取的等比例的公路车道线,比如可以取每个公路车道线的初始直线部分所占的行数和列数相比得到该公路车道线的初始直线的斜率,可以对根据斜率最大的两条公路车道线的初始直线所在的公路车道线创建的车辆识别范围标记为后方车道,对其他创建的车辆识别范围可以根据实际情况标记为左侧第M车道或右侧第N车道,比如左侧第一车道、左侧第二车道、右侧第一车道、或右侧第二车道,等等。
在实际应用中,成像可能是左右颠倒的,可以通过调整数据排列方式将左右颠倒的成像调整过来,从而使得标记的左侧车道或右侧车道与实际对应起来。例如,如图2所示,把主体车辆所在的车道标记为后方车道,右侧的车道依次标记为右侧第一车道和右侧第二车道,左侧的车道标记为左侧第一车道,等等。
可选的,在对至少一个车辆识别范围进行标记之后,可以在标记为后方车道的车辆识别范围中识别后方目标车辆、在标记为左侧N车道的车辆识别范围中识别左侧目标车辆、在标记为右侧M车道的车辆识别范围中识别右侧目标车辆、及在相邻的两个车辆识别范围组合成的车辆识别范围中识别后方变道目标车辆。
对于识别目测车辆的方式,本发明实施例不作限定,以下对几种可能的方式进行说明。
第一种方式:
可选的,由于目标车辆相对于TOF传感器的距离和位置随时间总是变化的,而路面、隔离带相对于TOF传感器的距离和位置随时间近似是不变化的。因此可以利用两幅不同时刻获取的深度图像创建时间微分深度图像,进而识别第二图像中目标车辆的位置,或者目标车辆与主体车辆之间的距离,等等。
第二种方式:
可选的,可以在至少一个车辆识别范围中检测目标车辆的目标边界,然后根据目标边界在第二图像中的位置,确定目标车辆的距离信息。
在第二图像,也就是深度图像中,由同一个目标车辆的背面所反射的光,到TOF传感器所形成的深度子图像包含一致的距离信息,因此只要识别该目标车辆形成的深度子图像在深度图像中的位置即可获取该目标车辆的距离信息。
同一个目标车辆的背面的光反射到TOF传感器形成深度子图像是包含一致的距离信息,而路面的光反射到TOF传感器形成深度子图像是包含连续变化的距离信息,因此包含一致的距离信息的深度子图像与包含连续变化的距离信息的深度子图像在两者的交界处必然形成突变差异,这些突变差异的交界形成了该目标车辆在深度图像中的目标边界。
例如,可以采用图像处理算法中的检测边界的Canny、Sobel、Laplace等多种边界检测方法以检测目标车辆的目标边界。
进一步地,车辆识别范围由车道线的全部像素位置所确定,因此在车辆识别范围内检测目标车辆的目标边界将减少隔离带、路灯杆、防护桩等道路设施形成的边界干扰。
在实际应用中,目标车辆可能有多个,因此,可以分别将每个车辆识别范围内检出的目标边界投影至图像的行坐标轴上,并在行坐标轴上进行一维查找,即可确定该车辆识别范围内所有目标车辆的纵向目标边界所占的行数和行坐标范围,以及确定横向目标边界的所占的列数和行坐标位置,纵向目标边界指占有像素行数多并且列数少的目标边界,横向目标边界指有占有像素行数少并且列数多的目标边界。根据该车辆识别范围内所有的横向目标边界所占的列数、行坐标位置,在该车辆识别范围内查找所有纵向目标边界的列坐标位置(也即相应横向目标边界的列坐标起始位置和终点位置),并根据目标边界包含一致的距离信息的原则区分不同目标车辆的目标边界,从而确定该车辆识别范围内所有目标车辆的位置和距离信息。
因此,检测获取目标车辆的目标边界即可唯一确定该目标车辆形成的深度子图像在深度图像中的位置,从而唯一确定该目标车辆的距离信息。
当然,也可以通过其他的方式识别目标车辆,本发明实施例对此不作限定,只要能够识别目标车辆即可。
可选的,在获取了目标车辆的距离信息之后,还可以根据目标车辆的距离信息,控制主体车辆的运动参数和/或输出告警信息。
在主体车辆处于自适应巡航过程中时,可以根据目标车辆的距离信息对主体车辆的运动参数进行控制,以防止追尾或其他安全事故的发生,同时也可以输出告警信息,以提示驾驶员注意目标车辆,等等。
如图3所示,例如,主体车辆行驶在有五个车道的中间车道上,根据本发明将识别车道线并创建车辆识别范围,将主体车辆同车道的车辆识别范围标记为后方车道,在标记为后方车道的车辆识别范围内识别到后方目标车辆;将后方车道左侧最近的车辆识别范围标记为左侧第一车道,将左侧第一车道的左侧最近的车辆识别范围标记为左侧第二车道,在标记左侧第二车道的车辆识别范围内识别到左侧目标车辆;将后方车道右侧最近的车辆识别范围标记为右侧第一车道,将右侧第一车道的右侧最近的车辆识别范围标记为右侧第二车道,在标记右侧第一车道的车辆识别范围内识别到右侧第一目标车辆,在标记右侧第二车道的车辆识别范围内识别到右侧第二目标车辆。进一步地,由于识别的右侧第一目标车辆对于主体车辆变道至右侧第一车道具有追尾碰撞风险,因此可以根据识别的右侧第一目标车辆对主体车辆驾驶员发出右侧变道辅助警告。
然而,请继续参见图3,传统雷达如超声波雷达仅能测距,部分毫米波雷达仅能测距和测速,这两类雷达为了识别后侧方足够远的目标车辆只能将传统雷达左侧、右侧探测区域设置得足够大,造成同一侧覆盖的车道至少有两个车道,并且造成在后方车道的重叠的覆盖,识别到图2中左侧目标车辆、后方目标车辆、右侧第二目标车辆的距离或速度却不能识别这些目标车辆的方位角,导致不能判断这些目标车辆所在的车道,最终导致发出不准确和不必要的左侧、右侧变道辅助警告并分散主体车辆驾驶员的注意力。进一步地,位于右侧第一车道的右侧第一目标车辆由于不在传统雷达探测区域内却未被识别,为了识别该右侧第一目标车辆试图增大传统雷达左侧、右侧探测区域将导致更多的不准确和不必要的左侧、右侧变道辅助警告。
请参见图4,在这图4所示的情况下,传统雷达可能会对主体车辆驾驶员发出关于左侧第二车道的左侧目标车辆的不准确和不必要的左侧变道辅助警告,同时未识别到右侧第一车道的右侧目标车辆,将可能引导主体车辆驾驶员误认为可以向右变道,导致主体车辆与右侧第一车道的右侧目标车辆的追尾碰撞风险。
而根据本发明将识别到右侧第一车道的右侧目标车辆并准确发出右侧变道辅助警告,识别到左侧第二车道的左侧目标车辆并避免发出不准确和不必要的左侧变道辅助警告,从而避免了上述追尾碰撞风险。
请参见图5,在这图5所示的情况下,传统雷达不能识别或延迟识别到左侧第二车道的左侧目标车辆正在向左侧第一车道,可能导致主体车辆和左侧目标车辆的追尾碰撞风险增加。而通过本发明实施例中的技术方案,在主体车辆向左侧第一车道变道过程中,将识别到左侧第二车道的左侧目标车辆也有意图向左侧第一车道变道,因此将对主体车辆驾驶员发出左侧变道辅助警告,并控制主体车辆亮起刹车灯对左侧目标车辆发出警告,使得左侧目标车辆可能放弃变道,从而避免或延缓了主体车辆和左侧目标车辆的追尾碰撞风险。
请参见图6,基于同一发明构思,本发明实施例提供一种车辆识别装置100,装置100可以包括:
图像获取模块101,用于获取第一图像和第二图像,其中,第一图像为彩色图像或亮度图像,第二图像为深度图像;
第一识别模块102,用于根据第一图像识别主体车辆行驶方向后方的全部公路车道线;
映射模块103,用于根据第一图像与第二图像之间的映射关系,将公路车道线映射至第二图像,以在第二图像中确定至少一个车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围;
标记模块104,用于将至少一个车辆识别范围中的每个车辆识别范围标记为后方车道、左侧第N车道、或右侧第M车道,N和M均为正整数;
第二识别模块105,用于识别至少一个车辆识别范围中的目标车辆。
可选的,第二识别模块105用于:
在标记为后方车道的车辆识别范围中识别后方目标车辆、在标记为左侧N车道的车辆识别范围中识别左侧目标车辆、在标记为右侧M车道的车辆识别范围中识别右侧目标车辆、及在相邻的两个车辆识别范围组合成的车辆识别范围中识别后方变道目标车辆。
可选的,第一识别模块102用于:
根据第一图像,获取主体车辆行驶方向后方的每个实线车道线的全部边缘像素位置,及获取主体车辆行驶方向后方的每个虚线车道线的全部边缘像素位置。
可选的,第一识别模块102用于:
创建与第一图像对应的二值图像;
在二值图像中检测每个实线车道线的全部边缘像素位置。
可选的,第一虚线公路车道线为全部公路车道线包括的任一虚线公路车道线,第一识别模块102用于:
根据第一图像识别第一实线公路车道线,其中,第一实线公路车道线为公路车道线包括的任一实线公路车道线;
将第一实线公路车道线的全部边缘像素位置投影到第一虚线车道线的初始直线的边缘像素位置,以获取第一虚线车道线的全部边缘像素位置。
可选的,第一虚线公路车道线为全部公路车道线包括的任一虚线公路车道线,第一识别模块102用于:
将连续获取的多个第一图像分别对应的二值图像进行叠加,以将第一虚线车道线叠加成实线车道线;
获取叠加成的实线车道线的全部边缘像素位置。
可选的,第二识别模块105用于:
在至少一个车辆识别范围中检测目标车辆的目标边界;
根据目标边界在第二图像中的位置,确定目标车辆的距离信息。
可选的,装置100还包括:
控制模块,用于根据目标车辆的距离信息,控制主体车辆的运动参数;
输出模块,用于根据目标车辆的距离信息,输出告警信息。
请参见图7,基于同一发明构思,本发明实施例提供一种车辆200,车辆200可以包括:
图像采集装置201,用于采集第一图像和第二图像,其中,第一图像为彩色图像或亮度图像,第二图像为深度图像;以及图6的车辆识别装置100。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以对本发明的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (17)

1.一种车辆识别方法,其特征在于,包括:
获取第一图像和第二图像,其中,所述第一图像为彩色图像或亮度图像,所述第二图像为深度图像;
根据所述第一图像识别主体车辆行驶方向后方的全部公路车道线;
根据所述第一图像与所述第二图像之间的映射关系,将所述公路车道线映射至所述第二图像,以在所述第二图像中确定至少一个车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围;
将所述至少一个车辆识别范围中的每个车辆识别范围标记为后方车道、左侧第N车道、或右侧第M车道,N和M均为正整数;
识别所述至少一个车辆识别范围中的目标车辆。
2.根据权利要求1所述的方法,其特征在于,识别所述至少一个车辆识别范围中的目标车辆,包括:
在标记为后方车道的车辆识别范围中识别后方目标车辆、在标记为左侧N车道的车辆识别范围中识别左侧目标车辆、在标记为右侧M车道的车辆识别范围中识别右侧目标车辆、及在相邻的两个车辆识别范围组合成的车辆识别范围中识别后方变道目标车辆。
3.根据权利要求1所述的方法,其特征在于,根据所述第一图像识别主体车辆行驶方向后方的全部公路车道线,包括:
根据所述第一图像,获取所述主体车辆行驶方向后方的每个实线车道线的全部边缘像素位置,及获取所述主体车辆行驶方向后方的每个虚线车道线的全部边缘像素位置。
4.根据权利要求3所述的方法,其特征在于,获取所述主体车辆行驶方向后方的每个实线车道线的全部边缘像素位置,包括:
创建与所述第一图像对应的二值图像;
在所述二值图像中检测每个实线车道线的全部边缘像素位置。
5.根据权利要求3所述的方法,其特征在于,第一虚线公路车道线为所述全部公路车道线包括的任一虚线公路车道线,获取所述第一虚线车道线的边缘像素位置,包括:
根据所述第一图像识别第一实线公路车道线,其中,所述第一实线公路车道线为所述公路车道线包括的任一实线公路车道线;
将所述第一实线公路车道线的全部边缘像素位置投影到所述第一虚线车道线的初始直线的边缘像素位置,以获取所述第一虚线车道线的全部边缘像素位置。
6.根据权利要求3所述的方法,其特征在于,第一虚线公路车道线为所述全部公路车道线包括的任一虚线公路车道线,获取所述第一虚线车道线的边缘像素位置,包括:
将连续获取的多个第一图像分别对应的二值图像进行叠加,以将所述第一虚线车道线叠加成实线车道线;
获取叠加成的实线车道线的全部边缘像素位置。
7.根据权利要求1所述的方法,其特征在于,识别所述至少一个车辆识别范围中的目标车辆,包括:
在所述至少一个车辆识别范围中检测所述目标车辆的目标边界;
根据所述目标边界在所述第二图像中的位置,确定所述目标车辆的距离信息。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据所述目标车辆的距离信息,控制所述主体车辆的运动参数和/或输出告警信息。
9.一种车辆识别装置,其特征在于,包括:
图像获取模块,用于获取第一图像和第二图像,其中,所述第一图像为彩色图像或亮度图像,所述第二图像为深度图像;
第一识别模块,用于根据所述第一图像识别主体车辆行驶方向后方的全部公路车道线;
映射模块,用于根据所述第一图像与所述第二图像之间的映射关系,将所述公路车道线映射至所述第二图像,以在所述第二图像中确定至少一个车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围;
标记模块,用于将所述至少一个车辆识别范围中的每个车辆识别范围标记为后方车道、左侧第N车道、或右侧第M车道,N和M均为正整数;
第二识别模块,用于识别所述至少一个车辆识别范围中的目标车辆。
10.根据权利要求9所述的装置,其特征在于,所述第二识别模块用于:
在标记为后方车道的车辆识别范围中识别后方目标车辆、在标记为左侧N车道的车辆识别范围中识别左侧目标车辆、在标记为右侧M车道的车辆识别范围中识别右侧目标车辆、及在相邻的两个车辆识别范围组合成的车辆识别范围中识别后方变道目标车辆。
11.根据权利要求9所述的装置,其特征在于,所述第一识别模块用于:
根据所述第一图像,获取所述主体车辆行驶方向后方的每个实线车道线的全部边缘像素位置,及获取所述主体车辆行驶方向后方的每个虚线车道线的全部边缘像素位置。
12.根据权利要求11所述的装置,其特征在于,所述第一识别模块用于:
创建与所述第一图像对应的二值图像;
在所述二值图像中检测每个实线车道线的全部边缘像素位置。
13.根据权利要求11所述的装置,其特征在于,第一虚线公路车道线为所述全部公路车道线包括的任一虚线公路车道线,所述第一识别模块用于:
根据所述第一图像识别第一实线公路车道线,其中,所述第一实线公路车道线为所述公路车道线包括的任一实线公路车道线;
将所述第一实线公路车道线的全部边缘像素位置投影到所述第一虚线车道线的初始直线的边缘像素位置,以获取所述第一虚线车道线的全部边缘像素位置。
14.根据权利要求11所述的装置,其特征在于,第一虚线公路车道线为所述全部公路车道线包括的任一虚线公路车道线,所述第一识别模块用于:
将连续获取的多个第一图像分别对应的二值图像进行叠加,以将所述第一虚线车道线叠加成实线车道线;
获取叠加成的实线车道线的全部边缘像素位置。
15.根据权利要求9所述的装置,其特征在于,所述第二识别模块用于:在所述至少一个车辆识别范围中检测所述目标车辆的目标边界;
根据所述目标边界在所述第二图像中的位置,确定所述目标车辆的距离信息。
16.根据权利要求15所述的装置,其特征在于,所述装置还包括:
控制模块,用于根据所述目标车辆的距离信息,控制所述主体车辆的运动参数;
输出模块,用于根据所述目标车辆的距离信息,输出告警信息。
17.一种车辆,其特征在于,包括:
图像采集装置,用于采集第一图像和第二图像,其中,所述第一图像为彩色图像或亮度图像,所述第二图像为深度图像;以及,
如权利要求9-16中任一项所述的车辆识别装置。
CN201610871091.5A 2016-09-30 2016-09-30 车辆识别方法、装置及车辆 Active CN107886729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610871091.5A CN107886729B (zh) 2016-09-30 2016-09-30 车辆识别方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610871091.5A CN107886729B (zh) 2016-09-30 2016-09-30 车辆识别方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN107886729A true CN107886729A (zh) 2018-04-06
CN107886729B CN107886729B (zh) 2021-02-23

Family

ID=61769152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610871091.5A Active CN107886729B (zh) 2016-09-30 2016-09-30 车辆识别方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN107886729B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734105A (zh) * 2018-04-20 2018-11-02 东软集团股份有限公司 车道线检测方法、装置、存储介质和电子设备
CN110598517A (zh) * 2019-06-25 2019-12-20 一汽轿车股份有限公司 一种弯道车道偏离的检测方法
CN112581484A (zh) * 2019-09-29 2021-03-30 比亚迪股份有限公司 崎岖路面检测方法、装置、存储介质、电子设备和车辆
CN112889097A (zh) * 2018-10-17 2021-06-01 戴姆勒股份公司 马路横穿通道可视化方法
CN113128516A (zh) * 2020-01-14 2021-07-16 北京京东乾石科技有限公司 边缘提取的方法和装置

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004068164A2 (de) * 2003-01-30 2004-08-12 Schefenacker Vision Systems Germany Gmbh & Co. Kg Gefahrenerkennungssystem für fahrzeuge mit mindestens einer seitlichen und rückwärtigen umgebungserfassung
WO2005116956A2 (en) * 2004-05-18 2005-12-08 General Motors Corporation Collision avoidance system
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN102288121A (zh) * 2011-05-12 2011-12-21 电子科技大学 一种基于单目视觉的车道偏离距离测量及预警方法
EP2439716A2 (en) * 2010-09-16 2012-04-11 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
JP2013054614A (ja) * 2011-09-06 2013-03-21 Mitsubishi Motors Corp 運転支援装置
CN103117005A (zh) * 2011-11-16 2013-05-22 财团法人工业技术研究院 车道偏移警示方法及系统
DE102013005404A1 (de) * 2013-03-28 2013-09-19 Daimler Ag Verfahren zur Unterstützung eines Fahrers eines Fahrzeuges
US20130311075A1 (en) * 2012-05-18 2013-11-21 Continental Automotive Systems, Inc. Motorcycle and helmet providing advance driver assistance
CN103503045A (zh) * 2011-04-27 2014-01-08 丰田自动车株式会社 周边车辆检测装置
US20140185879A1 (en) * 2011-09-09 2014-07-03 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for detecting traffic lane in real time
CN104091166A (zh) * 2014-07-07 2014-10-08 大连理工大学 一种车道线边缘提取的动态阈值方法
DE102013106769A1 (de) * 2013-06-27 2014-12-31 Create Electronic Optical Co., Ltd. Fahrtenschreiber mit der Spurhalte- und Kollisionswarnfunktion
CN204124126U (zh) * 2014-09-29 2015-01-28 长安大学 一种后方车辆运动状态追踪预测装置
CN104417550A (zh) * 2013-08-21 2015-03-18 株式会社万都 车辆的后侧向警报系统及其警报控制方法
CN104508722A (zh) * 2012-07-27 2015-04-08 歌乐株式会社 车载用周围环境识别装置
KR20150070917A (ko) * 2013-12-17 2015-06-25 이주영 옆차선 후방차량의 속도 감지 및 위험신호 발생기
US20150248771A1 (en) * 2014-02-28 2015-09-03 Core Logic, Inc. Apparatus and Method for Recognizing Lane
CN104952254A (zh) * 2014-03-31 2015-09-30 比亚迪股份有限公司 车辆识别方法、装置和车辆
CN105216792A (zh) * 2014-06-12 2016-01-06 株式会社日立制作所 对周围环境中的障碍物目标进行识别跟踪的方法和设备
CN105358398A (zh) * 2013-07-01 2016-02-24 奥迪股份公司 用于在进行车道变更时运行机动车的方法和机动车
US20160055751A1 (en) * 2014-08-22 2016-02-25 Hyundai Mobis Co., Ltd. Lane detection apparatus and operating method for the same
CN105574470A (zh) * 2014-10-10 2016-05-11 广州汽车集团股份有限公司 一种侧后方车辆识别方法及装置
CN105590464A (zh) * 2014-11-12 2016-05-18 现代摩比斯株式会社 周边车辆识别系统及方法
US20160140848A1 (en) * 2012-09-03 2016-05-19 Lg Innotek Co., Ltd. Lane correction system, lane correction apparatus and method of correcting lane

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004068164A2 (de) * 2003-01-30 2004-08-12 Schefenacker Vision Systems Germany Gmbh & Co. Kg Gefahrenerkennungssystem für fahrzeuge mit mindestens einer seitlichen und rückwärtigen umgebungserfassung
WO2005116956A2 (en) * 2004-05-18 2005-12-08 General Motors Corporation Collision avoidance system
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
EP2439716A2 (en) * 2010-09-16 2012-04-11 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
CN103503045A (zh) * 2011-04-27 2014-01-08 丰田自动车株式会社 周边车辆检测装置
CN102288121A (zh) * 2011-05-12 2011-12-21 电子科技大学 一种基于单目视觉的车道偏离距离测量及预警方法
JP2013054614A (ja) * 2011-09-06 2013-03-21 Mitsubishi Motors Corp 運転支援装置
US20140185879A1 (en) * 2011-09-09 2014-07-03 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for detecting traffic lane in real time
CN103117005A (zh) * 2011-11-16 2013-05-22 财团法人工业技术研究院 车道偏移警示方法及系统
US20130311075A1 (en) * 2012-05-18 2013-11-21 Continental Automotive Systems, Inc. Motorcycle and helmet providing advance driver assistance
CN104508722A (zh) * 2012-07-27 2015-04-08 歌乐株式会社 车载用周围环境识别装置
US20160140848A1 (en) * 2012-09-03 2016-05-19 Lg Innotek Co., Ltd. Lane correction system, lane correction apparatus and method of correcting lane
DE102013005404A1 (de) * 2013-03-28 2013-09-19 Daimler Ag Verfahren zur Unterstützung eines Fahrers eines Fahrzeuges
DE102013106769A1 (de) * 2013-06-27 2014-12-31 Create Electronic Optical Co., Ltd. Fahrtenschreiber mit der Spurhalte- und Kollisionswarnfunktion
CN105358398A (zh) * 2013-07-01 2016-02-24 奥迪股份公司 用于在进行车道变更时运行机动车的方法和机动车
CN104417550A (zh) * 2013-08-21 2015-03-18 株式会社万都 车辆的后侧向警报系统及其警报控制方法
KR20150070917A (ko) * 2013-12-17 2015-06-25 이주영 옆차선 후방차량의 속도 감지 및 위험신호 발생기
US20150248771A1 (en) * 2014-02-28 2015-09-03 Core Logic, Inc. Apparatus and Method for Recognizing Lane
CN104952254A (zh) * 2014-03-31 2015-09-30 比亚迪股份有限公司 车辆识别方法、装置和车辆
CN105216792A (zh) * 2014-06-12 2016-01-06 株式会社日立制作所 对周围环境中的障碍物目标进行识别跟踪的方法和设备
CN104091166A (zh) * 2014-07-07 2014-10-08 大连理工大学 一种车道线边缘提取的动态阈值方法
US20160055751A1 (en) * 2014-08-22 2016-02-25 Hyundai Mobis Co., Ltd. Lane detection apparatus and operating method for the same
CN204124126U (zh) * 2014-09-29 2015-01-28 长安大学 一种后方车辆运动状态追踪预测装置
CN105574470A (zh) * 2014-10-10 2016-05-11 广州汽车集团股份有限公司 一种侧后方车辆识别方法及装置
CN105590464A (zh) * 2014-11-12 2016-05-18 现代摩比斯株式会社 周边车辆识别系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734105A (zh) * 2018-04-20 2018-11-02 东软集团股份有限公司 车道线检测方法、装置、存储介质和电子设备
CN108734105B (zh) * 2018-04-20 2020-12-04 东软集团股份有限公司 车道线检测方法、装置、存储介质和电子设备
CN112889097A (zh) * 2018-10-17 2021-06-01 戴姆勒股份公司 马路横穿通道可视化方法
CN110598517A (zh) * 2019-06-25 2019-12-20 一汽轿车股份有限公司 一种弯道车道偏离的检测方法
CN110598517B (zh) * 2019-06-25 2023-11-24 一汽奔腾轿车有限公司 一种弯道车道偏离的检测方法
CN112581484A (zh) * 2019-09-29 2021-03-30 比亚迪股份有限公司 崎岖路面检测方法、装置、存储介质、电子设备和车辆
CN113128516A (zh) * 2020-01-14 2021-07-16 北京京东乾石科技有限公司 边缘提取的方法和装置
CN113128516B (zh) * 2020-01-14 2024-04-05 北京京东乾石科技有限公司 边缘提取的方法和装置

Also Published As

Publication number Publication date
CN107886729B (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN114282597B (zh) 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
JP7176811B2 (ja) 自律車両ナビゲーションのための疎な地図
US10345822B1 (en) Cognitive mapping for vehicles
EP3614106B1 (en) Controlling host vehicle based on detected parked vehicle characteristics
CN107886770A (zh) 车辆识别方法、装置及车辆
JP6663406B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN108482378B (zh) 用于控制车辆的运动的方法和控制器
CN107886729A (zh) 车辆识别方法、装置及车辆
EP2372310B1 (en) Image processing system and position measurement system
CN115014370A (zh) 用于生成地图信息的系统、方法和计算机可读介质
JP6627152B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20110311108A1 (en) Method for detecting objects
EP3460516A1 (en) A device and a method for distinguishing between traversable and non-traversable objects
CN107886030A (zh) 车辆识别方法、装置及车辆
CN104376297A (zh) 道路上的线型指示标志的检测方法和装置
US20170359561A1 (en) Disparity mapping for an autonomous vehicle
CN104520894A (zh) 路旁物检测装置
CN110214106B (zh) 可操作用于确定车道的一部分的位置的装置
EP2821958A1 (en) Three-dimensional object detection device
CN108528433A (zh) 车辆行驶自动控制方法和装置
EP2821982B1 (en) Three-dimensional object detection device
CN109398358A (zh) 车辆控制装置、车辆控制方法及存储程序的介质
EP2821957B1 (en) Three-dimensional object detection device
EP2821981A1 (en) Three-dimensional object detection device
CN114126940A (zh) 电子控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant