CN107886770B - 车辆识别方法、装置及车辆 - Google Patents
车辆识别方法、装置及车辆 Download PDFInfo
- Publication number
- CN107886770B CN107886770B CN201610872462.1A CN201610872462A CN107886770B CN 107886770 B CN107886770 B CN 107886770B CN 201610872462 A CN201610872462 A CN 201610872462A CN 107886770 B CN107886770 B CN 107886770B
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- lane line
- target vehicle
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/14—Adaptive cruise control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Abstract
本发明公开了一种车辆识别方法、装置及车辆,能够较好地识别主体车辆前后方要变道的目标车辆,提高车辆的智能化程度。该方法包括:获取位于主体车辆行驶方向前方的第一图像和第二图像,以及获取位于主体车辆行驶方向后方的第三图像和第四图像;在第二图像中识别前方目标车辆,及,在第四图像中识别后方目标车辆;在第一图像中生成前方车灯识别区域,及,在第三图像中生成后方车灯识别区域;在前方车灯识别区域中识别前方目标车辆的转向灯,及,在后方车灯识别区域中识别后方目标车辆的转向灯;获得前方目标车辆和后方目标车辆的行驶信息。
Description
技术领域
本发明涉及车辆技术领域,具体涉及车辆识别方法、装置及车辆。
背景技术
随着科学技术的不断发展,人们的出行也越来越便利,各种各样的汽车、电动车等已经成为人们生活中必不可少的交通工具。然而,这些交通工具虽然方便了人们的出行,但交通安全事故确频频发生,为了提高车辆的安全性,可以在车辆上安装测距传感器,进而感测车辆前方的多个目标车辆,以降低撞车事故的发生率。
目前,可以使用立体相机作为测距传感器,或者使用单个普通相机配合毫米波雷达或激光雷达作为测距传感器来增加测量的准确性。
然而,使用立体相机的测距算法较为复杂,这将可能导致计算机芯片功耗的增加,而使用单个普通相机配合毫米波雷达或激光雷达的方式需要较大的车内安装空间,且成本较高。再且,由于上述的测距传感器检测的主要是目标车辆距离的变化,而对于目标车辆距离没有变化或变化不大的情况下,比如,变道初期,等等,上述测距传感器可能无法检测,进而无法采取相应的措施。
发明内容
本发明的目的是提供一种车辆识别方法、装置及车辆,能够较好地识别主体车辆前后方要变道的目标车辆,提高车辆的智能化程度。
根据本发明实施例的第一方面,提供一种车辆识别方法,包括:
获取位于主体车辆行驶方向前方的第一图像和第二图像,以及获取位于所述主体车辆行驶方向后方的第三图像和第四图像,其中,所述第一图像和所述第三图像为彩色图像或亮度图像,所述第二图像和所述第四图像为深度图像;
在所述第二图像中识别前方目标车辆,及,在所述第四图像中识别后方目标车辆;
根据所述第一图像与所述第二图像之间的映射关系,将所述前方目标车辆在所述第二图像中对应的前方目标车辆区域映射至所述第一图像中,以在所述第一图像中生成前方车灯识别区域,及,根据所述第三图像与所述第四图像之间的映射关系,将所述后方目标车辆在所述第四图像中对应的后方目标车辆区域映射至所述第三图像中,以在所述第三图像中生成后方车灯识别区域;
在所述前方车灯识别区域中识别所述前方目标车辆的转向灯,及,在所述后方车灯识别区域中识别所述后方目标车辆的转向灯;
根据识别的所述前方目标车辆和所述后方目标车辆的转向灯,获得所述前方目标车辆和所述后方目标车辆的行驶信息。
可选的,所述方法还包括:
根据所述第一图像识别前方公路车道线,以及根据所述第三图像识别后方公路车道线;
根据所述第一图像与所述第二图像之间的映射关系,将所述前方公路车道线映射至所述第二图像,以在所述第二图像中确定至少一个前方车辆识别范围,及,根据所述第三图像与所述第四图像之间的映射关系,将所述后方公路车道线映射至所述第四图像中,以在所述第四图像中确定至少一个后方车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围;
在所述第二图像中识别前方目标车辆,及,在所述第四图像中识别后方目标车辆,包括:
在所述至少一个前方车辆识别范围中识别所述前方目标车辆,及,在所述至少一个后方车辆识别范围中识别所述后方目标车辆。
可选的,所述方法还包括:
获取映射至所述第二图像中的每个前方公路车道线的初始直线的斜率,以及获取映射至所述第四图像中的每个后方公路车道线的初始直线的斜率;
将斜率最大的两条初始直线对应的前方公路车道线所创建的前方车辆识别范围标记为前方本车道,将其余的前方车辆识别范围标记为前方非本车道,及,将斜率最大的两条初始直线对应的后方公路车道线所创建的后方车辆识别范围标记为后方本车道,将其余的后方车辆识别范围标记为后方非本车道;
在所述至少一个前方车辆识别范围中识别所述前方目标车辆,及,在所述至少一个后方车辆识别范围中识别所述后方目标车辆,包括:
在标记为前方本车道的前方车辆识别范围中识别本车道的前方目标车辆、在标记为前方非本车道的前方车辆识别范围中识别非本车道的前方目标车辆、及在相邻两个前方车辆识别范围组合成的前方车辆识别范围中识别变道的前方目标车辆,及,在标记为后方本车道的后方车辆识别范围中识别本车道的后方目标车辆、在标记为后方非本车道的后方车辆识别范围中识别非本车道的后方目标车辆、及在相邻两个后方车辆识别范围组合成的后方车辆识别范围中识别变道的后方目标车辆。
可选的,根据所述第一图像识别前方公路车道线,以及根据所述第三图像识别后方公路车道线,包括:
根据所述第一图像,获取所述前方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取所述前方公路车道线包括的每个虚线车道线的全部边缘像素位置;以及,
根据所述第三图像,获取所述后方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取所述后方公路车道线包括的每个虚线车道线的全部边缘像素位置。
可选的,获取所述前方公路车道线包括的每个实线车道线的全部边缘像素位置,包括:
创建与所述第一图像对应的二值图像;
在对应于所述第一图像的二值图像中检测所述前方公路车道线包括的每个实线车道线的全部边缘像素位置;
获取所述后方公路车道线包括的每个实线车道线的全部边缘像素位置,包括:
创建与所述第三图像对应的二值图像;
在对应于所述第三图像的二值图像中检测所述后方公路车道线包括的每个实线车道线的全部边缘像素位置。
可选的,第一虚线车道线为所述前方公路车道线包括的任一虚线公路车道线,获取所述第一虚线公路车道线的边缘像素位置,包括:
根据所述第一图像识别所述前方公路车道线中的第一实线车道线,其中,所述第一实线车道线为所述前方公路车道线包括的任一实线公路车道线;
将第一实线公路车道线的全部边缘像素位置投影到所述第一虚线车道线的初始直线的边缘像素位置,以获取所述第一虚线车道线的全部边缘像素位置;
第二虚线车道线为所述后方公路车道线包括的任一虚线公路车道线,获取所述第二虚线公路车道线的边缘像素位置,包括:
根据所述第三图像识别所述后方公路车道线中的第二实线车道线,其中,所述第二实线车道线为所述后方公路车道线包括的任一实线公路车道线;
将第二实线公路车道线的全部边缘像素位置投影到所述第二虚线车道线的初始直线的边缘像素位置,以获取所述第二虚线车道线的全部边缘像素位置。
可选的,第一虚线车道线为所述前方公路车道线包括的任一虚线公路车道线,获取所述第一虚线公路车道线的边缘像素位置,包括:
将连续获取的多个第一图像分别对应的二值图像进行叠加,以将所述第一虚线车道线叠加成实线车道线;
获取由所述第一虚线车道线叠加成的实线车道线的全部边缘像素位置;
第二虚线车道线为所述后方公路车道线包括的任一虚线公路车道线,获取所述第二虚线公路车道线的边缘像素位置,包括:
将连续获取的多个第三图像分别对应的二值图像进行叠加,以将所述第二虚线车道线叠加成实线车道线;
获取由所述第二虚线车道线叠加成的实线车道线的全部边缘像素位置。
可选的,在所述前方车灯识别区域中识别所述前方目标车辆的转向灯,包括:
对连续获取的多个第一图像中的多个前方车灯识别区域进行时间微分处理,以创建对应于所述前方目标车辆的时间微分子图像;
根据对应于所述前方目标车辆的时间微分子图像,识别所述前方目标车辆的转向灯;
在所述后方车灯识别区域中识别所述后方目标车辆的转向灯,包括:
对连续获取的多个第三图像中的多个后方车灯识别区域进行时间微分处理,以创建对应于所述后方目标车辆的时间微分子图像;
根据对应于所述后方目标车辆的时间微分子图像,识别所述后方目标车辆的转向灯。
可选的,所述方法还包括:
对所述多个前方车灯识别区域中的部分或全部前方车灯识别区域进行纵向位移补偿或横向位移补偿,以获取比例相同的多个前方车灯识别区域;
将比例相同的多个前方车灯识别区域中的部分或全部前方车灯识别区域进行缩放,以获得大小一致的多个前方车灯识别区域;以及,
对所述多个后方车灯识别区域中的部分或全部后方车灯识别区域进行纵向位移补偿或横向位移补偿,以获取比例相同的多个后方车灯识别区域;
将比例相同的多个后方车灯识别区域中的部分或全部后方车灯识别区域进行缩放,以获得大小一致的多个后方车灯识别区域。
可选的,根据对应于所述前方目标车辆的时间微分子图像,识别所述前方目标车辆的转向灯,包括:
检测所述前方目标车辆的转向灯子图像在所述时间微分子图像中的第一位置信息;
根据所述第一位置信息识别所述前方目标车辆的转向灯;
根据对应于所述后方目标车辆的时间微分子图像,识别所述后方目标车辆的转向灯,包括:
检测所述后方目标车辆的转向灯子图像在所述时间微分子图像中的第二位置信息;
根据所述第二位置信息识别所述后方目标车辆的转向灯。
可选的,所述方法还包括:
根据所述前方目标车辆和/或所述后方目标车辆的行驶信息,对主体车辆的运动参数进行控制。
根据本发明实施例的第二方面,提供一种车辆识别装置,包括:
图像获取模块,用于获取位于主体车辆行驶方向前方的第一图像和第二图像,以及获取位于所述主体车辆行驶方向后方的第三图像和第四图像,其中,所述第一图像和所述第三图像为彩色图像或亮度图像,所述第二图像和所述第四图像为深度图像;
第一识别模块,用于在所述第二图像中识别前方目标车辆,及,在所述第四图像中识别后方目标车辆;
第一映射模块,用于根据所述第一图像与所述第二图像之间的映射关系,将所述前方目标车辆在所述第二图像中对应的前方目标车辆区域映射至所述第一图像中,以在所述第一图像中生成前方车灯识别区域,及,根据所述第三图像与所述第四图像之间的映射关系,将所述后方目标车辆在所述第四图像中对应的后方目标车辆区域映射至所述第三图像中,以在所述第三图像中生成后方车灯识别区域;
第二识别模块,用于在所述前方车灯识别区域中识别所述前方目标车辆的转向灯,及,在所述后方车灯识别区域中识别所述后方目标车辆的转向灯;
第一获取模块,用于根据识别的所述前方目标车辆和所述后方目标车辆的转向灯,获得所述前方目标车辆和所述后方目标车辆的行驶信息。
可选的,所述装置还包括:
第三识别模块,用于根据所述第一图像识别前方公路车道线,以及根据所述第三图像识别后方公路车道线;
第二映射模块,用于根据所述第一图像与所述第二图像之间的映射关系,将所述前方公路车道线映射至所述第二图像,以在所述第二图像中确定至少一个前方车辆识别范围,及,根据所述第三图像与所述第四图像之间的映射关系,将所述后方公路车道线映射至所述第四图像中,以在所述第四图像中确定至少一个后方车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围;
所述第一识别模块用于:
在所述至少一个前方车辆识别范围中识别所述前方目标车辆,及,在所述至少一个后方车辆识别范围中识别所述后方目标车辆。
可选的,所述装置还包括:
第二获取模块,用于获取映射至所述第二图像中的每个前方公路车道线的初始直线的斜率,以及获取映射至所述第四图像中的每个后方公路车道线的初始直线的斜率;
标记模块,用于将斜率最大的两条初始直线对应的前方公路车道线所创建的前方车辆识别范围标记为前方本车道,将其余的前方车辆识别范围标记为前方非本车道,及,将斜率最大的两条初始直线对应的后方公路车道线所创建的后方车辆识别范围标记为后方本车道,将其余的后方车辆识别范围标记为后方非本车道;
所述第一识别模块用于:
在标记为前方本车道的前方车辆识别范围中识别本车道的前方目标车辆、在标记为前方非本车道的前方车辆识别范围中识别非本车道的前方目标车辆、及在相邻两个前方车辆识别范围组合成的前方车辆识别范围中识别变道的前方目标车辆,及,在标记为后方本车道的后方车辆识别范围中识别本车道的后方目标车辆、在标记为后方非本车道的后方车辆识别范围中识别非本车道的后方目标车辆、及在相邻两个后方车辆识别范围组合成的后方车辆识别范围中识别变道的后方目标车辆。
可选的,所述第三识别模块用于:
根据所述第一图像,获取所述前方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取所述前方公路车道线包括的每个虚线车道线的全部边缘像素位置;以及,
根据所述第三图像,获取所述后方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取所述后方公路车道线包括的每个虚线车道线的全部边缘像素位置。
可选的,所述第三识别模块用于:
创建与所述第一图像对应的二值图像;
在对应于所述第一图像的二值图像中检测所述前方公路车道线包括的每个实线车道线的全部边缘像素位置;以及,
创建与所述第三图像对应的二值图像;
在对应于所述第三图像的二值图像中检测所述后方公路车道线包括的每个实线车道线的全部边缘像素位置。
可选的,第一虚线车道线为所述公路车道线包括的任一虚线车道线,第二虚线车道线为所述后方公路车道线包括的任一虚线公路车道线,所述第三识别模块用于:
根据所述第一图像识别所述前方公路车道线中的第一实线车道线,其中,所述第一实线车道线为所述前方公路车道线包括的任一实线公路车道线;
将第一实线公路车道线的全部边缘像素位置投影到所述第一虚线车道线的初始直线的边缘像素位置,以获取所述第一虚线车道线的全部边缘像素位置;以及,
根据所述第三图像识别所述后方公路车道线中的第二实线车道线,其中,所述第二实线车道线为所述后方公路车道线包括的任一实线公路车道线;
将第二实线公路车道线的全部边缘像素位置投影到所述第二虚线车道线的初始直线的边缘像素位置,以获取所述第二虚线车道线的全部边缘像素位置。
可选的,第一虚线车道线为所述公路车道线包括的任一虚线车道线,第二虚线车道线为所述后方公路车道线包括的任一虚线公路车道线,所述第三识别模块用于:
将连续获取的多个第一图像分别对应的二值图像进行叠加,以将所述第一虚线车道线叠加成实线车道线;
获取由所述第一虚线车道线叠加成的实线车道线的全部边缘像素位置;以及,
将连续获取的多个第三图像分别对应的二值图像进行叠加,以将所述第二虚线车道线叠加成实线车道线;
获取由所述第二虚线车道线叠加成的实线车道线的全部边缘像素位置。
可选的,所述第二识别模块用于:
对连续获取的多个第一图像中的多个前方车灯识别区域进行时间微分处理,以创建对应于所述前方目标车辆的时间微分子图像;
根据对应于所述前方目标车辆的时间微分子图像,识别所述前方目标车辆的转向灯;以及,
对连续获取的多个第三图像中的多个后方车灯识别区域进行时间微分处理,以创建对应于所述后方目标车辆的时间微分子图像;
根据对应于所述后方目标车辆的时间微分子图像,识别所述后方目标车辆的转向灯。
可选的,所述装置还包括:
补偿模块,用于对所述多个前方车灯识别区域中的部分或全部前方车灯识别区域进行纵向位移补偿或横向位移补偿,以获取比例相同的多个前方车灯识别区域;及,对所述多个后方车灯识别区域中的部分或全部后方车灯识别区域进行纵向位移补偿或横向位移补偿,以获取比例相同的多个后方车灯识别区域;
缩放模块,用于将比例相同的多个前方车灯识别区域中的部分或全部前方车灯识别区域进行缩放,以获得大小一致的多个前方车灯识别区域;以及,将比例相同的多个后方车灯识别区域中的部分或全部后方车灯识别区域进行缩放,以获得大小一致的多个后方车灯识别区域。
可选的,所述第二识别模块用于:
检测所述前方目标车辆的转向灯子图像在所述时间微分子图像中的第一位置信息;
根据所述第一位置信息识别所述前方目标车辆的转向灯;以及,
检测所述后方目标车辆的转向灯子图像在所述时间微分子图像中的第二位置信息;
根据所述第二位置信息识别所述后方目标车辆的转向灯。
可选的,所述装置还包括:
控制模块,用于根据所述前方目标车辆和/或所述后方目标车辆的行驶信息,对所述主体车辆的运动参数进行控制。
根据本发明实施例的第三方面,提供一种车辆,包括上述第二方面提供的车辆识别装置。
通过上述技术方案,由于彩色图像和深度图像可以由单个相机就能够获取,因此相对于立体相机、单个普通相机配合毫米波雷达、以及单个普通相机配合激光雷达等等方式而言,布置上更为简单,无需较多的容置空间,且计算方式简单,减少了计算机芯片的使用。本发明实施例中,可以通过深度图像和彩色图像的配合就能够识别位于主体车辆行驶方向前方和后方的目标车辆的转向灯,因此无论是前方目标车辆还是后方目标车辆处于变道的初期,也能够获知目标车辆是否要变道以及如何变道,进而能够更为及时地提前采取相应的措施,提高了车辆的行驶安全性。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1是根据一示例性实施例示出的一种车辆识别方法的流程图。
图2是根据一示例性实施例示出的另一种车辆识别方法的流程图。
图3是根据一示例性实施例示出的目标车辆区域及车灯识别区域示意图。
图4是根据一示例性实施例示出的时间微分子图像示意图。
图5是根据一示例性实施例示出的识别目标车辆的示意图。
图6是根据一示例性实施例示出的识别目标车辆的示意图。
图7是根据一示例性实施例示出的识别目标车辆的示意图。
图8是根据一示例性实施例示出的一种车辆识别装置的框图。
图9是根据一示例性实施例示出的一种车辆的框图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
图1是根据一示例性实施例示出的一种车辆识别方法的流程图,如图1所示,该车辆识别方法可以应用于本体车辆中,包括以下步骤。
步骤S11:获取位于主体车辆行驶方向前方的第一图像和第二图像,以及获取位于主体车辆行驶方向后方的第三图像和第四图像。
步骤S12:在第二图像中识别前方目标车辆,及,在第四图像中识别后方目标车辆。
步骤S13:根据第一图像与第二图像之间的映射关系,将前方目标车辆在第二图像中对应的前方目标车辆区域映射至第一图像中,以在第一图像中生成前方车灯识别区域,及,根据第三图像与第四图像之间的映射关系,将后方目标车辆在第四图像中对应的后方目标车辆区域映射至第三图像中,以在第三图像中生成后方车灯识别区域。
步骤S14:在前方车灯识别区域中识别前方目标车辆的转向灯,及,在后方车灯识别区域中识别后方目标车辆的转向灯。
步骤S15:根据识别的前方目标车辆和后方目标车辆的转向灯,获得前方目标车辆和后方目标车辆的行驶信息。
第一图像、第三图像可以是彩色图像或亮度图像,第二图像、第四图像可以是深度图像,第一图像与第二图像是获取的位于主体车型行驶方向前方的环境成像,可以是由设置在主体车辆的车头上的同一图像采集装置获取的,同样,第三图像与第四图像是获取的位于主体车型行驶方向后方的环境成像,可以是由设置在主体车辆的车尾上的同一图像采集装置获取的。例如,以采集第一图像和第二图像的图像采集装置为例,那么可以通过图像采集装置的图像传感器获取第一图像,通过图像采集装置的TOF(Time of flight,飞行时间)传感器获得第二图像。
本发明实施例中,彩色或亮度图像像素和深度图像像素的可以按一定的比例进行交织排列,对于比例究竟是多少,本发明实施例不作限定。例如,图像传感器和TOF传感器都可以使用互补金属氧化物半导体(CMOS)工艺进行制作,亮度像素和TOF像素可以按比例制作在同一基板之上,例如以8:1比例进行制作的8个亮度像素和1个TOF像素组成一个大的交织像素,其中1个TOF像素的感光面积可以等于8个亮度像素的感光面积,其中8个亮度像素可以按2行及4列的阵列形式排列。比如,可以在1英寸光学靶面的基板上制作360行及480列的活跃交织像素的阵列,可获取720行及1920列的活跃亮度像素阵列、360行及480列的活跃TOF像素阵列,由此图像传感器和TOF传感器组成的同一个图像采集装置可同时获取彩色或亮度图像和深度图像。
可选的,请参见图2,图2为另一种车辆识别方法的流程图,还可以包括步骤S16:根据第一图像识别前方公路车道线,以及根据第三图像识别后方公路车道线;步骤S17:根据第一图像与第二图像之间的映射关系,将前方公路车道线映射至第二图像,以在第二图像中确定至少一个前方车辆识别范围,及,根据第三图像与第四图像之间的映射关系,将后方公路车道线映射至第四图像中,以在第四图像中确定至少一个后方车辆识别范围。那么步骤S12可以是在至少一个前方车辆识别范围中识别前方目标车辆,及,在至少一个后方车辆识别范围中识别后方目标车辆。其中,每两个相邻的公路车道线创建一个车辆识别范围。
识别公路车道线的位置只需要利用公路车道线与路面的亮度差异,因此获取前方公路车道线只需要第一图像的亮度信息即可。那么在第一图像为亮度图像时,可以直接根据第一图像的亮度信息识别前方公路车道线,在第一图像为彩色图像时,可以将第一图像转化成亮度图像之后再识别前方公路车道线。同理,可以以同样的方式通过第三图像识别后方公路车道线。
每相邻两个公路车道线创建一个车辆识别范围,即,车辆识别范围对应于实际的车道,那么在前方车辆识别范围中识别前方目标车辆,以及在后方车辆识别范围中识别后方目标车辆,可以将识别目标车辆的范围确定到车道上,以确保识别的对象是车道上行驶的车辆,避免图像中的其他非车辆的对象所造成的干扰,提升识别目标车辆的准确性。
可选的,由于公路车道线既有实线车道线也有虚线车道线,那么识别公路车道线可以根据第一图像,获取前方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取前方公路车道线包括的每个虚线车道线的全部边缘像素位置;以及,根据第三图像,获取后方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取后方公路车道线包括的每个虚线车道线的全部边缘像素位置。这样才能完整地识别主体车辆行驶方向前方和后方的实线车道线以及虚线车道线,进而提升识别前方目标车辆和后方目标车辆的准确性。
可选的,获取前方公路车道线包括的每个实线车道线的全部边缘像素位置,可以创建与第一图像对应的二值图像,然后在对应于第一图像的二值图像中检测前方公路车道线包括的每个实线车道线的全部边缘像素位置。同样的,获取后方公路车道线包括的每个实线车道线的全部边缘像素位置,可以创建与第三图像对应的二值图像,然后在对应于第三图像的二值图像中检测后方公路车道线包括的每个实线车道线的全部边缘像素位置。
以下将以获取前方公路车道线包括的实现车道线为例。
对于如何创建于第一图像对应的二值图像,本发明实施例不作限定,以下对几种可能的方式进行举例说明。
例如,利用公路车道线与路面的亮度差异,可以通过查找得到某些亮度阈值,亮度阈值可以利用“直方图统计—双峰”算法来查找得到,并利用亮度阈值和亮度图像创建突出公路车道线的二值图像。
或者例如,还可以将亮度图像划分为多个亮度子图像,对每个亮度子图像执行“直方图统计—双峰”算法来查找得到多个亮度阈值,利用各个亮度阈值和相应的亮度子图像创建突出公路车道线的二值子图像,并利用二值子图像创建完整的突出公路车道线的二值图像,这样可以应对路面或车道线亮度变化的情况。
在创建了与第一图像对应的二值图像之后,可以在二值图像中检测每个实线车道线的全部边缘像素位置,对于检测的方式,本发明实施例同样不作限定。
例如,由于公路车道线的曲率半径不可能太小,并且由于相机投影原理导致近处车道线相对远处车道线的成像像素更多,使得弯道的实线车道线在亮度图像中排列成直线的像素也占该实线车道线成像像素的大部分,因此可以使用类似Hough变换算法等直线检测算法在突出公路车道线的二值图像中检测出直道的实线车道线的全部边缘像素位置或检测出弯道的实线车道线的大部分初始直线边缘像素位置。
直线检测可能也将隔离带、电线杆在二值图像中的大部分直线边缘像素位置检出。那么例如可以根据图像传感器的长宽比例、相机镜头焦距、道路设计规范的道路宽度范围和图像传感器在主体车辆的安装位置可以设置车道线在二值图像中的斜率范围,从而根据该斜率范围将非车道线的直线过滤排除。
由于弯道的实线车道线的边缘像素位置总是连续变化的,因此根据查找上述检测的初始直线两端的边缘像素位置的连通像素位置,并将该连通像素位置并入该初始直线边缘像素集合,重复上述查找和并入该连通像素位置,最后将弯道实线车道线的全部边缘像素位置唯一确定。
通过以上方式可以检测前方公路车道线包括的实线车道线的全部边缘像素位置。当然,可以通过上述同样的方式创建第三图像的二值图像,再检测后方公路车道线包括的每个实现车道线的全部边缘像素。这样便可以识别主体车辆行驶方向前方以及后方的实线车道线。
可选的,第一虚线车道线为前方公路车道线包括的任一虚线公路车道线,那么可以根据第一图像识别前方公路车道线中的第一实线车道线,然后将第一实线公路车道线的全部边缘像素位置投影到第一虚线车道线的初始直线的边缘像素位置,进而获取第一虚线车道线的全部边缘像素位置。第一实线车道线为前方公路车道线包括的任一实线公路车道线。
本发明实施例中,可以根据实线车道线的先验知识、车道线现实中相互平行的原则、图像传感器及相机的投影参数,将第一实线车道线的全部边缘像素位置投影到第一虚线车道线的初始直线边缘像素位置以连接第一虚线车道线的初始直线边缘像素位置和属于第一虚线车道线的其他较短的车道线的边缘像素位置,从而获取虚线车道线的全部边缘像素位置。
同样的,第二虚线车道线为后方公路车道线包括的任一虚线公路车道线,那么可以根据第三图像识别后方公路车道线中的第二实线车道线,然后将第二实线公路车道线的全部边缘像素位置投影到第二虚线车道线的初始直线的边缘像素位置,进而获取第二虚线车道线的全部边缘像素位置。第二实线车道线为后方公路车道线包括的任一实线公路车道线。这样便可以识别主体车辆行驶方向前方以及后方的虚线车道线。
可选的,第一虚线车道线为前方公路车道线包括的任一虚线公路车道线,那么可以将连续获取的多个第一图像分别对应的二值图像进行叠加,以将第一虚线车道线叠加成实线车道线,然后获取由第一虚线车道线叠加成的实线车道线的全部边缘像素位置。
本发明实施例中,可以无需得到直道或弯道的先验知识,由于车辆在直道巡航或恒定转向角弯道巡航的过程中,虚线车道线的横向偏移在较短的连续时间内几乎可以忽略,但纵向偏移却较大,因此虚线车道线在不同时刻的连续几幅突出公路车道线的二值图像中可以叠加成一条实线车道线,然后再通过上述实线车道线的识别方法即可获取该虚线车道线的全部边缘像素位置。
由于虚线车道线的纵向偏移量受到主体车辆车速的影响,因此在识别第一虚线车道线时,可以根据从轮速传感器获取的车速动态地确定不同时刻的连续的突出公路车道线的二值图像的最少幅数以将第一虚线车道线叠加成一条实线车道线,从而获取第一虚线车道线的全部边缘像素位置。
同样的,第二虚线车道线为后方公路车道线包括的任一虚线公路车道线,那么可以将连续获取的多个第三图像分别对应的二值图像进行叠加,以将第二虚线车道线叠加成实线车道线,然后获取由第二虚线车道线叠加成的实线车道线的全部边缘像素位置。这样便可以识别主体车辆行驶方向前方以及后方的虚线车道线。
可选的,还可以获取映射至第二图像中的每个前方公路车道线的初始直线的斜率,以及获取映射至第四图像中的每个后方公路车道线的初始直线的斜率,那么可以将斜率最大的两条初始直线对应的前方公路车道线所创建的前方车辆识别范围标记为前方本车道,将其余的前方车辆识别范围标记为前方非本车道,及,将斜率最大的两条初始直线对应的后方公路车道线所创建的后方车辆识别范围标记为后方本车道,将其余的后方车辆识别范围标记为后方非本车道。那么步骤S12可以是在标记为前方本车道的前方车辆识别范围中识别本车道的前方目标车辆、在标记为前方非本车道的前方车辆识别范围中识别非本车道的前方目标车辆、及在相邻两个前方车辆识别范围组合成的前方车辆识别范围中识别变道的前方目标车辆,及,在标记为后方本车道的后方车辆识别范围中识别本车道的后方目标车辆、在标记为后方非本车道的后方车辆识别范围中识别非本车道的后方目标车辆、及在相邻两个后方车辆识别范围组合成的后方车辆识别范围中识别变道的后方目标车辆。
由于第一图像和第二图像之间的交织映射关系,第一图像的每个像素的行列坐标经过等比例的调整都可以在第二图像至少确定一个像素的行列坐标,因此根据第一图像获取的前方公路车道线的每个边缘像素位置都可以在第二图像至少确定一个像素位置,从而在第二图像中获取了等比例调整的前方公路车道线。在第二图像中,每相邻两个前方公路车道线创建一个前方车辆识别范围。
根据第二图像中获取的等比例的前方公路车道线,取每个前方公路车道线的初始直线部分所占的行数和列数相比得到该前方公路车道线的初始直线的斜率,对根据斜率最大的两条前方公路车道线的初始直线所在的前方公路车道线创建的车辆识别范围标记为本车道,对其他创建的前方车辆识别范围标记为非本车道。
标记车道之后,便可以在标记为本车道的前方车辆识别范围中识别本车道的前方目标车辆、在标记为非本车道的车辆识别范围中识别前方非本车道的目标车辆、及在相邻两个车辆识别范围组合成的车辆识别范围中识别变道的前方目标车辆。
标记后方车辆识别范围的方式与上述方式相同,在此不再赘述。
对于识别目标车辆的方式,本发明实施例不作限定,以下对几种可能的方式进行说明,下文所述的目标车辆即可以是前方目标车辆,也可以是后方目标车辆。
第一种方式:
由于目标车辆相对于TOF传感器的距离和位置随时间总是变化的,而路面、隔离带相对于TOF传感器的距离和位置随时间近似是不变化的。因此可以利用两幅不同时刻获取的深度图像创建时间微分深度图像,进而识别深度图像中目标车辆的位置,或者目标车辆与本体车辆之间的距离,等等。
第二种方式:
在深度图像中,由同一个目标车辆的背面所反射的光,到TOF传感器所形成的深度子图像包含一致的距离信息,因此只要识别该目标车辆形成的深度子图像在深度图像中的位置即可获取该目标车辆的距离信息。
同一个目标车辆的背面的光反射到TOF传感器形成深度子图像是包含一致的距离信息,而路面的光反射到TOF传感器形成深度子图像是包含连续变化的距离信息,因此包含一致的距离信息的深度子图像与包含连续变化的距离信息的深度子图像在两者的交界处必然形成突变差异,这些突变差异的交界形成了该目标车辆在深度图像中的目标边界。
例如,可以采用图像处理算法中的检测边界的Canny、Sobel、Laplace等多种边界检测方法以检测目标车辆的目标边界。
进一步地,车辆识别范围由车道线的全部像素位置所确定,因此在车辆识别范围内检测目标车辆的目标边界将减少隔离带、路灯杆、防护桩等道路设施形成的边界干扰。
在实际应用中,目标车辆可能有多个,因此,可以分别将每个车辆识别范围内检出的目标边界投影至图像的行坐标轴上,并在行坐标轴上进行一维查找,即可确定该车辆识别范围内所有目标车辆的纵向目标边界所占的行数和行坐标范围,以及确定横向目标边界的所占的列数和行坐标位置,纵向目标边界指占有像素行数多并且列数少的目标边界,横向目标边界指有占有像素行数少并且列数多的目标边界。根据该车辆识别范围内所有的横向目标边界所占的列数、行坐标位置,在该车辆识别范围内查找所有纵向目标边界的列坐标位置(也即相应横向目标边界的列坐标起始位置和终点位置),并根据目标边界包含一致的距离信息的原则区分不同目标车辆的目标边界,从而确定该车辆识别范围内所有目标车辆的位置和距离信息。
因此,检测获取目标车辆的目标边界即可唯一确定该目标车辆形成的深度子图像在深度图像中的位置,从而唯一确定该目标车辆的距离信息。
当然,也可以通过其他的方式识别目标车辆,本发明实施例对此不作限定,只要能够识别目标车辆即可。
在识别了目标车辆之后,可以在第二图像中确定前方目标车辆区域,以及在第四图像中确定后方目标车辆区域。目标车辆区域也就是目标车辆在第二图像或第四图像中所在的区域,可以是识别出的目标车辆的边界围成的闭合区域,或者也可以是识别出的目标车辆的边界的延伸的围成的闭合区域,或者还可以是目标车辆的若干像素位置连线围成的闭合区域,等等。本发明实施例对于目标车辆区域究竟是何种区域不作限定,只要是包含目标车辆的区域即可。
由于第一图像和第二图像之间的交织映射关系,第二图像中前方目标车辆区域的每个像素的行列坐标经过等比例的调整都可以在第一图像中至少确定一个像素的行列坐标。请参见图3,将第二图像中的前方目标车辆区域映射至第一图像中后,可以在第一图像的相应位置上生成前方车灯识别区域,由于前方目标车辆的车灯的成像包含在前方目标车辆区域中,因此可以在第一图像中生成的前方车灯识别区域中识别前方目标车辆的转向灯。同理,通过同样的方式可以在第三图像中生成后方车灯识别区域,并在后方车灯识别区域中识别后方目标车辆的转向灯。
可选的,对于在前方车灯识别区域或后方车灯识别区域中识别目标车辆的转向灯的方式,本发明实施例不作限定,可以对连续获取的多个第一图像或第三图像中的车灯识别区域进行时间微分处理,以创建对应于目标车辆的时间微分子图像,然后根据时间微分子图像,识别目标车辆的转向灯。
例如,可以根据前方或后方车灯识别区域中车灯的颜色、闪烁频率或闪烁序列以识别转向灯。
目标车辆变道的初期其纵向位移和横向位移都较小,意味着该目标车辆的车灯识别区域大小变化也较小,只有转向灯处成像的亮度因闪烁而变化较大。因此,通过连续获取多幅不同时刻的彩色或亮度图像并对其中该目标车辆的车灯识别区域进行时间微分处理以创建该目标车辆的时间微分子图像。
可选的,时间微分子图像将突出目标车辆的连续闪烁的转向灯子图像。然后可以将时间微子图像投影到列坐标轴,进行一维查找获取该目标车辆的转向灯子图像的起始和终点列坐标位置,将这些起始和终点列坐标位置投影至时间微分子图像并查找转向灯子图像的起始和终点行坐标位置,将转向灯子图像的起始和终点的行、列坐标位置投影至上述多幅不同时刻的彩色或亮度图像中以确认该目标车辆的转向灯的颜色、闪烁频率或闪烁序列,从而确定了闪烁的转向灯子图像的行、列坐标位置,即获取了转向灯子图像在时间微分子图像中的位置信息。
进一步地,闪烁的转向灯子图像的行、列坐标位置只在该目标车辆的车灯识别区域左侧时可以确定该目标车辆在打左转向灯,闪烁的转向灯子图像的行、列坐标位置只在该目标车辆的车灯识别区域右侧时可以确定该目标车辆在打右转向灯,闪烁的转向灯子图像的行、列坐标位置在该目标车辆的车灯识别区域两侧时可以确定该目标车辆在打双闪警示灯。当然,主体车辆后方的目标车辆成像的转向灯位置有可能是左右相反的,但左右相反的成像的转向灯位置总是能轻易调整过来。
可选的,当目标车辆变道的过程中其纵向位移或横向位移较大导致该目标车辆的车灯识别区域大小变化也较大,这时可以对连续获取的多幅不同时刻的目标车辆的车灯识别区域进行纵向位移或横向位移补偿并缩放成大小一致的车灯识别区域,再对调整后的该目标车辆的车灯识别区域进行时间微分处理以创建该目标车辆的时间微分子图像,将时间微分子图像投影到列坐标轴,进行一维查找获取目标车辆的转向灯子图像的起始和终点列坐标位置,将这些起始和终点列坐标位置投影至时间微分车灯识别区域子图像并查找转向灯子图像的起始和终点行坐标位置,将转向灯子图像的起始和终点的行、列坐标位置投影至上述多幅不同时刻的彩色或亮度图像中以确认该目标车辆的转向灯的颜色、闪烁频率或闪烁序列,从而确定了闪烁的转向灯子图像的行、列坐标位置,最后完成左转向灯、右转向灯或双闪警示灯的识别。
例如,如图4所示的对应于车灯识别区域的时间微分子图像,在该时间微分子图像中突出有连续闪烁的转向灯子图像,通过识别坐标,确定转向灯子图像位于车灯识别区域左方,闪烁频率为1次/秒,那么比如可以确定目标车辆当前在打左转向灯。
通过以上方式,由于目标车辆既可以是前方目标车辆也可以是后方目标车辆,因此可以较好地识别前方和后方目标车辆的转向灯,以便根据目标车辆的转向情况提前采取相应的措施,防止安全事故的发生,提升了车辆的安全性。
根据识别的目标车辆的转向灯,可以获得目标车辆的行驶信息,当然,行驶信息还可以包括目标车辆的行驶速度、目标车辆与主体车辆之间的距离等信息。例如,某前方目标车辆的行驶信息包括,前方目标车辆位于主体车辆所在的车道上,以相对于主体车辆-10米/秒的速度,亮着右转向灯,即将向右方变道,等等。
可选的,在车辆自适应巡航时,可以根据前方目标车辆和/或后方目标车辆的行驶信息,对主体车辆的运动参数进行控制。
例如,根据识别的目标车辆的行驶信息和相应识别目标车辆的转向灯,可以识别到后方非本车道目标车辆减速变道至主体车辆本车道的情况,那么可以控制主体车辆可以提前亮起刹车灯以警示该后方目标车辆驾驶员取消变道或减速变道,从而减缓了主体车辆与该后方目标车辆的追尾碰撞风险。
例如,根据识别的目标车辆的行驶信息和相应识别目标车辆的转向灯,可以识别到本车道前方目标车辆减速变道至非本车道的情况,那么可以控制主体车辆减少不必要的制动,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。
例如,根据识别的目标车辆的运动参数和相应识别目标车辆的转向灯,可以识别到非本车道前方目标车辆减速变道至主体车辆本车道的情况,使得主体车辆的运动参数控制系统和安全系统可以更早做出调整,提高了主体车辆及其乘员的行驶安全性。
例如,根据识别的目标车辆的运动参数和相应识别目标车辆的转向灯,可以识别到非本车道前方目标车辆减速变道至主体车辆本车道的情况,使得主体车辆的车灯系统可以更早做出调整以提醒后方目标车辆,为后方目标车辆提供了更多的制动或调整时间,更有效地减少了追尾碰撞风险,等等。
以下将示例,本发明识别和监控主体车辆的前方本车道目标车辆从打转向灯到完成变道至非本车道的连续过程。
根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆,根据两两组合的前方车辆识别范围识别变道的前方目标车辆,根据车灯识别区域识别相应目标车辆的转向灯。也即可以识别和监控前方本车道目标车辆从打转向灯到完成变道至非本车道的连续过程,而该目标车辆在该连续变道过程中的持续时间、相对主体车辆的距离、相对速度和横向位移等运动参数也容易被监控,从而根据该目标车辆的该行驶信息可以控制主体车辆的运动参数。
例如,识别到前方本车道目标车辆的右转向灯亮起时该目标车辆的左侧目标边界到前方本车道左侧车道线的像素距离经相机投影关系换算确定为横向距离P;经过连续获取N幅不同时刻的第一图像和第二图像(获取一幅第一图像或第二图像的时间为T),期间识别并记录该目标车辆的距离R的变化,并可以通过对该目标车辆的距离R相对T的变化计算该目标车辆的相对速度V;识别到该目标车辆刚好完成变道至前方本车道右侧的非本车道,此时该目标车辆的左侧目标边界到前方本车道右侧车道线重合;本车道宽度为D;因此,该前方目标车辆在该连续变道过程中的运动参数为持续时间N×T、相对主体车辆的距离为R、相对速度V和横向位移为(D-P)。
同理,本发明也可以识别和监控主体车辆的后方本车道目标车辆从打转向灯到完成变道至非本车道的连续过程。且上述识别的横向位移以本车道的左右车道线为参考,无论该目标车辆变道时处于直道或是弯道、无论目标车辆向左或向右变道都可以识别准确,从而为主体车辆自适应巡航系统提供准确的控制依据。
例如,请参见图5左边的示意图,根据本发明可以在通常的直道或弯道工况中控制主体车辆跟随前方本车道目标车辆匀速巡航,根据本发明可以识别该前方目标车辆的距离为RA,并同时识别到主体车辆后方左侧非本车道目标车辆的距离为RB并且识别其右转向灯正在闪烁的变道意图;当RB距离过小,该后方目标车辆变道至主体车辆后方容易发生追尾碰撞,但由于本发明识别该后方目标车辆打转向灯的初始变道意图,根据本发明可以控制主体车辆的刹车灯提前亮起以警示该后方目标车辆驾驶员取消变道或减速变道,从而减缓了主体车辆与该后方目标车辆的追尾碰撞风险。请参见图5右边的示意图,传统的仅依靠毫米波雷达或激光雷达的车辆识别后方变道目标车辆具有足够大的变道横向位移才能判断该后方目标车辆的变道意图,将导致追尾碰撞风险增大。可见,通过本发明实施例中的方式,可以准确识别该后方目标车辆继续强行变道且变道不减速产生的相对于本车道线的横向位移,根据本发明可以控制主体车辆的巡航系统自动地提高车速以适当地减少主体车辆与该前方目标车辆的跟随距离、增大主体车辆与该后方目标车辆的距离,从而减缓了主体车辆与该后方目标车辆的追尾碰撞风险。
传统的仅依靠毫米波雷达或激光雷达的车辆自适应巡航系统识别的目标车辆的横向位移是以主体车辆为参考的,以主体车辆为参考识别的目标车辆的横向位移有时将不能提供给车辆自适应巡航系统准确的运动控制依据。
例如,如图6所示,当本车道前方目标车辆从本车道完成向右变道正好处在向左弯的弯道时,位于直道上传统车辆的毫米波雷达或激光雷达仍可能识别该前方目标车辆部分处于本车道上,上述弯道曲率半径250米,上述前方目标车辆变道过程中在弯道上行驶了25米,与该前方目标车辆的左侧目标边界重合的本车道右侧车道线在弯道25米处已经相对该车道线的直道延长线向左偏移了1.25米。若此时上述传统车辆的毫米波雷达或激光雷达识别到该目标车辆的距离为50米至80米,即上述传统车辆的毫米波雷达或激光雷达位于直道上并且距离弯道入口仍有25米至55米的距离,上述传统车辆的毫米波雷达或激光雷达在缺乏弯道先验知识的情况下将识别到该前方目标车辆仍然约有1.25米宽度的车身在本车道上,并且随着该目标车辆继续沿着向左弯道减速行驶,上述传统车辆的毫米波雷达或激光雷达识别到该目标车辆有更大宽度的车身在本车道上,即上述传统车辆的毫米波雷达或激光雷达将产生了不准确的识别并将导致该传统车辆自适应巡航系统执行连续的不准确和不必要的制动,从而导致该传统车辆与其后方目标车辆的追尾碰撞风险增大。同理,上述传统车辆的毫米波雷达或激光雷达对上述本车道目标车辆在向右弯道上从本车道完成向左变道的识别也存在不准确性。
而通过本发明实施例中的技术方案,可以识别的目标车辆的行驶信息和相应识别目标车辆的转向灯,可以识别到本车道目标车辆减速变道至主体车辆非本车道的工况,使得主体车辆的运动参数控制系统可以减少不必要的制动调整,从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。
本发明也可以识别和监控非本车道目标车辆从打转向灯到完成变道至本车道的连续过程,而该目标车辆在该连续变道过程中的持续时间、相对主体车辆的距离、相对速度和横向位移等运动参数也容易被监控,从而该目标车辆的该运动参数可以用于控制主体车辆的运动参数以更早做出制动调整并提高行驶安全性、并更早地控制车灯警示后方目标车辆以减少追尾碰撞风险。
例如图7所示,主体车辆在本车道直道以定速模式行驶,并且距离弯道入口仍有55米(或至25米)的距离,该弯道向右弯曲并且曲率半径为250米,在距离弯道入口前方25米本车道右侧有一辆非本车道前方目标车辆正在打左转向灯向本车道变道,并且该目标车辆的左侧目标边界已经与本车道的右侧车道线重合。根据上述示例,本发明将可以准确识别该前方目标车辆正在向本车道变道,由于该目标车辆距离主体车辆约80米(或至50米),本发明可以控制主体车辆的动力系统准确地执行动力输出减小甚至制动的动作、及时亮起刹车灯,以保证主体车辆与前方、后方目标车辆的安全距离,从而提高了主体车辆的行驶安全性和减少了追尾碰撞风险。
然而,传统的仅依靠毫米波雷达或激光雷达的车辆自适应巡航系统识别的目标车辆的横向位移是以主体车辆为参考的,在缺乏弯道先验知识的情况下将识别该前方目标车辆距离本车道右侧车道线的延长线还约有1.25米的横向距离,即错误地识别该前方目标车辆需要继续向左横向位移约1.25米上述毫米波雷达或激光雷达才能确认该前方目标车辆开始进入本车道。若该前方目标车辆横向位移速度为1米每秒,则上述传统的仅依靠毫米波雷达或激光雷达的车辆自适应巡航系统将在该前方目标车辆实际进入本车道约1.25秒以后才能执行动力输出减小甚至制动的动作,这无疑减少了主体车辆与前方、后方目标车辆的安全距离,导致了主体车辆的行驶安全性下降和增加了追尾碰撞风险。
可见,通过本发明实施例中的技术方案,根据识别的目标车辆的行驶信息和相应识别目标车辆的转向灯,可以识别到非本车道目标车辆减速变道至主体车辆本车道的工况,使得主体车辆的运动参数控制系统和安全系统可以更早做出调整,提高了主体车辆及其乘员的行驶安全性。同时,使得主体车辆的车灯系统可以更早做出调整以提醒后方目标车辆,为后方目标车辆提供了更多的制动或调整时间,更有效地减少了追尾碰撞风险。
请参见图8,基于同一发明构思,本发明实施例提供一种车辆识别装置100,装置100可以包括:
图像获取模块101,用于获取位于主体车辆行驶方向前方的第一图像和第二图像,以及获取位于主体车辆行驶方向后方的第三图像和第四图像,其中,第一图像和第三图像为彩色图像或亮度图像,第二图像和第四图像为深度图像;
第一识别模块102,用于在第二图像中识别前方目标车辆,及,在第四图像中识别后方目标车辆;
第一映射模块103,用于根据第一图像与第二图像之间的映射关系,将前方目标车辆在第二图像中对应的前方目标车辆区域映射至第一图像中,以在第一图像中生成前方车灯识别区域,及,根据第三图像与第四图像之间的映射关系,将后方目标车辆在第四图像中对应的后方目标车辆区域映射至第三图像中,以在第三图像中生成后方车灯识别区域;
第二识别模块104,用于在前方车灯识别区域中识别前方目标车辆的转向灯,及,在后方车灯识别区域中识别后方目标车辆的转向灯;
第一获取模块105,用于根据识别的前方目标车辆和后方目标车辆的转向灯,获得前方目标车辆和后方目标车辆的行驶信息。
可选的,装置100还包括:
第三识别模块,用于根据第一图像识别前方公路车道线,以及根据第三图像识别后方公路车道线;
第二映射模块,用于根据第一图像与第二图像之间的映射关系,将前方公路车道线映射至第二图像,以在第二图像中确定至少一个前方车辆识别范围,及,根据第三图像与第四图像之间的映射关系,将后方公路车道线映射至第四图像中,以在第四图像中确定至少一个后方车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围;
第一识别模块102用于:
在至少一个前方车辆识别范围中识别前方目标车辆,及,在至少一个后方车辆识别范围中识别后方目标车辆。
可选的,装置100还包括:
第二获取模块,用于获取映射至第二图像中的每个前方公路车道线的初始直线的斜率,以及获取映射至第四图像中的每个后方公路车道线的初始直线的斜率;
标记模块,用于将斜率最大的两条初始直线对应的前方公路车道线所创建的前方车辆识别范围标记为前方本车道,将其余的前方车辆识别范围标记为前方非本车道,及,将斜率最大的两条初始直线对应的后方公路车道线所创建的后方车辆识别范围标记为后方本车道,将其余的后方车辆识别范围标记为后方非本车道;
第一识别模块102用于:
在标记为前方本车道的前方车辆识别范围中识别本车道的前方目标车辆、在标记为前方非本车道的前方车辆识别范围中识别非本车道的前方目标车辆、及在相邻两个前方车辆识别范围组合成的前方车辆识别范围中识别变道的前方目标车辆,及,在标记为后方本车道的后方车辆识别范围中识别本车道的后方目标车辆、在标记为后方非本车道的后方车辆识别范围中识别非本车道的后方目标车辆、及在相邻两个后方车辆识别范围组合成的后方车辆识别范围中识别变道的后方目标车辆。
可选的,第三识别模块用于:
根据第一图像,获取前方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取前方公路车道线包括的每个虚线车道线的全部边缘像素位置;以及,
根据第三图像,获取后方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取后方公路车道线包括的每个虚线车道线的全部边缘像素位置。
可选的,第三识别模块用于:
创建与第一图像对应的二值图像;
在对应于第一图像的二值图像中检测前方公路车道线包括的每个实线车道线的全部边缘像素位置;以及,
创建与第三图像对应的二值图像;
在对应于第三图像的二值图像中检测后方公路车道线包括的每个实线车道线的全部边缘像素位置。
可选的,第一虚线车道线为公路车道线包括的任一虚线车道线,第二虚线车道线为后方公路车道线包括的任一虚线公路车道线,第三识别模块用于:
根据第一图像识别前方公路车道线中的第一实线车道线,其中,第一实线车道线为前方公路车道线包括的任一实线公路车道线;
将第一实线公路车道线的全部边缘像素位置投影到第一虚线车道线的初始直线的边缘像素位置,以获取第一虚线车道线的全部边缘像素位置;以及,
根据第三图像识别后方公路车道线中的第二实线车道线,其中,第二实线车道线为后方公路车道线包括的任一实线公路车道线;
将第二实线公路车道线的全部边缘像素位置投影到第二虚线车道线的初始直线的边缘像素位置,以获取第二虚线车道线的全部边缘像素位置。
可选的,第一虚线车道线为公路车道线包括的任一虚线车道线,第二虚线车道线为后方公路车道线包括的任一虚线公路车道线,第三识别模块用于:
将连续获取的多个第一图像分别对应的二值图像进行叠加,以将第一虚线车道线叠加成实线车道线;
获取由第一虚线车道线叠加成的实线车道线的全部边缘像素位置;以及,
将连续获取的多个第三图像分别对应的二值图像进行叠加,以将第二虚线车道线叠加成实线车道线;
获取由第二虚线车道线叠加成的实线车道线的全部边缘像素位置。
可选的,第二识别模块104用于:
对连续获取的多个第一图像中的多个前方车灯识别区域进行时间微分处理,以创建对应于前方目标车辆的时间微分子图像;
根据对应于前方目标车辆的时间微分子图像,识别前方目标车辆的转向灯;以及,
对连续获取的多个第三图像中的多个后方车灯识别区域进行时间微分处理,以创建对应于后方目标车辆的时间微分子图像;
根据对应于后方目标车辆的时间微分子图像,识别后方目标车辆的转向灯。
可选的,装置100还包括:
补偿模块,用于对多个前方车灯识别区域中的部分或全部前方车灯识别区域进行纵向位移补偿或横向位移补偿,以获取比例相同的多个前方车灯识别区域;及,对多个后方车灯识别区域中的部分或全部后方车灯识别区域进行纵向位移补偿或横向位移补偿,以获取比例相同的多个后方车灯识别区域;
缩放模块,用于将比例相同的多个前方车灯识别区域中的部分或全部前方车灯识别区域进行缩放,以获得大小一致的多个前方车灯识别区域;以及,将比例相同的多个后方车灯识别区域中的部分或全部后方车灯识别区域进行缩放,以获得大小一致的多个后方车灯识别区域。
可选的,第二识别模块104用于:
检测前方目标车辆的转向灯子图像在时间微分子图像中的第一位置信息;
根据第一位置信息识别前方目标车辆的转向灯;以及,
检测后方目标车辆的转向灯子图像在时间微分子图像中的第二位置信息;
根据第二位置信息识别后方目标车辆的转向灯。
可选的,装置100还包括:
控制模块,用于根据前方目标车辆和/或后方目标车辆的行驶信息,对主体车辆的运动参数进行控制。
请参见图9,基于同一发明构思,本发明实施例提供一种车辆200,车辆200可以包括图8的车辆识别装置100:
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以对本发明的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (23)
1.一种车辆识别方法,其特征在于,包括:
获取位于主体车辆行驶方向前方的第一图像和第二图像,以及获取位于所述主体车辆行驶方向后方的第三图像和第四图像,其中,所述第一图像和所述第三图像为彩色图像或亮度图像,所述第二图像和所述第四图像为深度图像;
在所述第二图像中识别前方目标车辆,及,在所述第四图像中识别后方目标车辆;
根据所述第一图像与所述第二图像之间的映射关系,将所述前方目标车辆在所述第二图像中对应的前方目标车辆区域映射至所述第一图像中,以在所述第一图像中生成前方车灯识别区域,及,根据所述第三图像与所述第四图像之间的映射关系,将所述后方目标车辆在所述第四图像中对应的后方目标车辆区域映射至所述第三图像中,以在所述第三图像中生成后方车灯识别区域;
在所述前方车灯识别区域中识别所述前方目标车辆的转向灯,及,在所述后方车灯识别区域中识别所述后方目标车辆的转向灯;
根据识别的所述前方目标车辆和所述后方目标车辆的转向灯,获得所述前方目标车辆和所述后方目标车辆的行驶信息。
2.根据权利要求1所述的方法,其特征在于,在所述获取位于主体车辆行驶方向前方的第一图像和第二图像,以及获取位于所述主体车辆行驶方向后方的第三图像和第四图像的步骤之后,所述方法还包括:
根据所述第一图像识别前方公路车道线,以及根据所述第三图像识别后方公路车道线;
根据所述第一图像与所述第二图像之间的映射关系,将所述前方公路车道线映射至所述第二图像,以在所述第二图像中确定至少一个前方车辆识别范围,及,根据所述第三图像与所述第四图像之间的映射关系,将所述后方公路车道线映射至所述第四图像中,以在所述第四图像中确定至少一个后方车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围;
在所述第二图像中识别前方目标车辆,及,在所述第四图像中识别后方目标车辆,包括:
在所述至少一个前方车辆识别范围中识别所述前方目标车辆,及,在所述至少一个后方车辆识别范围中识别所述后方目标车辆。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取映射至所述第二图像中的每个前方公路车道线的初始直线的斜率,以及获取映射至所述第四图像中的每个后方公路车道线的初始直线的斜率;
将斜率最大的两条初始直线对应的前方公路车道线所创建的前方车辆识别范围标记为前方本车道,将其余的前方车辆识别范围标记为前方非本车道,及,将斜率最大的两条初始直线对应的后方公路车道线所创建的后方车辆识别范围标记为后方本车道,将其余的后方车辆识别范围标记为后方非本车道;
在所述至少一个前方车辆识别范围中识别所述前方目标车辆,及,在所述至少一个后方车辆识别范围中识别所述后方目标车辆,包括:
在标记为前方本车道的前方车辆识别范围中识别本车道的前方目标车辆、在标记为前方非本车道的前方车辆识别范围中识别非本车道的前方目标车辆、及在相邻两个前方车辆识别范围组合成的前方车辆识别范围中识别变道的前方目标车辆,及,在标记为后方本车道的后方车辆识别范围中识别本车道的后方目标车辆、在标记为后方非本车道的后方车辆识别范围中识别非本车道的后方目标车辆、及在相邻两个后方车辆识别范围组合成的后方车辆识别范围中识别变道的后方目标车辆。
4.根据权利要求2所述的方法,其特征在于,根据所述第一图像识别前方公路车道线,以及根据所述第三图像识别后方公路车道线,包括:
根据所述第一图像,获取所述前方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取所述前方公路车道线包括的每个虚线车道线的全部边缘像素位置;以及,
根据所述第三图像,获取所述后方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取所述后方公路车道线包括的每个虚线车道线的全部边缘像素位置。
5.根据权利要求4所述的方法,其特征在于,获取所述前方公路车道线包括的每个实线车道线的全部边缘像素位置,包括:
创建与所述第一图像对应的二值图像;
在对应于所述第一图像的二值图像中检测所述前方公路车道线包括的每个实线车道线的全部边缘像素位置;
获取所述后方公路车道线包括的每个实线车道线的全部边缘像素位置,包括:
创建与所述第三图像对应的二值图像;
在对应于所述第三图像的二值图像中检测所述后方公路车道线包括的每个实线车道线的全部边缘像素位置。
6.根据权利要求4所述的方法,其特征在于,第一虚线车道线为所述前方公路车道线包括的任一虚线公路车道线,获取所述第一虚线公路车道线的边缘像素位置,包括:
根据所述第一图像识别所述前方公路车道线中的第一实线车道线,其中,所述第一实线车道线为所述前方公路车道线包括的任一实线公路车道线;
将第一实线公路车道线的全部边缘像素位置投影到所述第一虚线车道线的初始直线的边缘像素位置,以获取所述第一虚线车道线的全部边缘像素位置;
第二虚线车道线为所述后方公路车道线包括的任一虚线公路车道线,获取所述第二虚线公路车道线的边缘像素位置,包括:
根据所述第三图像识别所述后方公路车道线中的第二实线车道线,其中,所述第二实线车道线为所述后方公路车道线包括的任一实线公路车道线;
将第二实线公路车道线的全部边缘像素位置投影到所述第二虚线车道线的初始直线的边缘像素位置,以获取所述第二虚线车道线的全部边缘像素位置。
7.根据权利要求4所述的方法,其特征在于,第一虚线车道线为所述前方公路车道线包括的任一虚线公路车道线,获取所述第一虚线公路车道线的边缘像素位置,包括:
将连续获取的多个第一图像分别对应的二值图像进行叠加,以将所述第一虚线车道线叠加成实线车道线;
获取由所述第一虚线车道线叠加成的实线车道线的全部边缘像素位置;
第二虚线车道线为所述后方公路车道线包括的任一虚线公路车道线,获取所述第二虚线公路车道线的边缘像素位置,包括:
将连续获取的多个第三图像分别对应的二值图像进行叠加,以将所述第二虚线车道线叠加成实线车道线;
获取由所述第二虚线车道线叠加成的实线车道线的全部边缘像素位置。
8.根据权利要求1所述的方法,其特征在于,在所述前方车灯识别区域中识别所述前方目标车辆的转向灯,包括:
对连续获取的多个第一图像中的多个前方车灯识别区域进行时间微分处理,以创建对应于所述前方目标车辆的时间微分子图像;
根据对应于所述前方目标车辆的时间微分子图像,识别所述前方目标车辆的转向灯;
在所述后方车灯识别区域中识别所述后方目标车辆的转向灯,包括:
对连续获取的多个第三图像中的多个后方车灯识别区域进行时间微分处理,以创建对应于所述后方目标车辆的时间微分子图像;
根据对应于所述后方目标车辆的时间微分子图像,识别所述后方目标车辆的转向灯。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
对所述多个前方车灯识别区域中的部分或全部前方车灯识别区域进行纵向位移补偿或横向位移补偿,以获取比例相同的多个前方车灯识别区域;
将比例相同的多个前方车灯识别区域中的部分或全部前方车灯识别区域进行缩放,以获得大小一致的多个前方车灯识别区域;以及,
对所述多个后方车灯识别区域中的部分或全部后方车灯识别区域进行纵向位移补偿或横向位移补偿,以获取比例相同的多个后方车灯识别区域;
将比例相同的多个后方车灯识别区域中的部分或全部后方车灯识别区域进行缩放,以获得大小一致的多个后方车灯识别区域。
10.根据权利要求8所述的方法,其特征在于,根据对应于所述前方目标车辆的时间微分子图像,识别所述前方目标车辆的转向灯,包括:
检测所述前方目标车辆的转向灯子图像在所述时间微分子图像中的第一位置信息;
根据所述第一位置信息识别所述前方目标车辆的转向灯;
根据对应于所述后方目标车辆的时间微分子图像,识别所述后方目标车辆的转向灯,包括:
检测所述后方目标车辆的转向灯子图像在所述时间微分子图像中的第二位置信息;
根据所述第二位置信息识别所述后方目标车辆的转向灯。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述前方目标车辆和/或所述后方目标车辆的行驶信息,对主体车辆的运动参数进行控制。
12.一种车辆识别装置,其特征在于,包括:
图像获取模块,用于获取位于主体车辆行驶方向前方的第一图像和第二图像,以及获取位于所述主体车辆行驶方向后方的第三图像和第四图像,其中,所述第一图像和所述第三图像为彩色图像或亮度图像,所述第二图像和所述第四图像为深度图像;
第一识别模块,用于在所述第二图像中识别前方目标车辆,及,在所述第四图像中识别后方目标车辆;
第一映射模块,用于根据所述第一图像与所述第二图像之间的映射关系,将所述前方目标车辆在所述第二图像中对应的前方目标车辆区域映射至所述第一图像中,以在所述第一图像中生成前方车灯识别区域,及,根据所述第三图像与所述第四图像之间的映射关系,将所述后方目标车辆在所述第四图像中对应的后方目标车辆区域映射至所述第三图像中,以在所述第三图像中生成后方车灯识别区域;
第二识别模块,用于在所述前方车灯识别区域中识别所述前方目标车辆的转向灯,及,在所述后方车灯识别区域中识别所述后方目标车辆的转向灯;
第一获取模块,用于根据识别的所述前方目标车辆和所述后方目标车辆的转向灯,获得所述前方目标车辆和所述后方目标车辆的行驶信息。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:
第三识别模块,用于根据所述第一图像识别前方公路车道线,以及根据所述第三图像识别后方公路车道线;
第二映射模块,用于根据所述第一图像与所述第二图像之间的映射关系,将所述前方公路车道线映射至所述第二图像,以在所述第二图像中确定至少一个前方车辆识别范围,及,根据所述第三图像与所述第四图像之间的映射关系,将所述后方公路车道线映射至所述第四图像中,以在所述第四图像中确定至少一个后方车辆识别范围,其中,每两个相邻的公路车道线创建一个车辆识别范围;
所述第一识别模块用于:
在所述至少一个前方车辆识别范围中识别所述前方目标车辆,及,在所述至少一个后方车辆识别范围中识别所述后方目标车辆。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取映射至所述第二图像中的每个前方公路车道线的初始直线的斜率,以及获取映射至所述第四图像中的每个后方公路车道线的初始直线的斜率;
标记模块,用于将斜率最大的两条初始直线对应的前方公路车道线所创建的前方车辆识别范围标记为前方本车道,将其余的前方车辆识别范围标记为前方非本车道,及,将斜率最大的两条初始直线对应的后方公路车道线所创建的后方车辆识别范围标记为后方本车道,将其余的后方车辆识别范围标记为后方非本车道;
所述第一识别模块用于:
在标记为前方本车道的前方车辆识别范围中识别本车道的前方目标车辆、在标记为前方非本车道的前方车辆识别范围中识别非本车道的前方目标车辆、及在相邻两个前方车辆识别范围组合成的前方车辆识别范围中识别变道的前方目标车辆,及,在标记为后方本车道的后方车辆识别范围中识别本车道的后方目标车辆、在标记为后方非本车道的后方车辆识别范围中识别非本车道的后方目标车辆、及在相邻两个后方车辆识别范围组合成的后方车辆识别范围中识别变道的后方目标车辆。
15.根据权利要求13所述的装置,其特征在于,所述第三识别模块用于:
根据所述第一图像,获取所述前方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取所述前方公路车道线包括的每个虚线车道线的全部边缘像素位置;以及,
根据所述第三图像,获取所述后方公路车道线包括的每个实线车道线的全部边缘像素位置,及获取所述后方公路车道线包括的每个虚线车道线的全部边缘像素位置。
16.根据权利要求15所述的装置,其特征在于,所述第三识别模块用于:
创建与所述第一图像对应的二值图像;
在对应于所述第一图像的二值图像中检测所述前方公路车道线包括的每个实线车道线的全部边缘像素位置;以及,
创建与所述第三图像对应的二值图像;
在对应于所述第三图像的二值图像中检测所述后方公路车道线包括的每个实线车道线的全部边缘像素位置。
17.根据权利要求15所述的装置,其特征在于,第一虚线车道线为所述公路车道线包括的任一虚线车道线,第二虚线车道线为所述后方公路车道线包括的任一虚线公路车道线,所述第三识别模块用于:
根据所述第一图像识别所述前方公路车道线中的第一实线车道线,其中,所述第一实线车道线为所述前方公路车道线包括的任一实线公路车道线;
将第一实线公路车道线的全部边缘像素位置投影到所述第一虚线车道线的初始直线的边缘像素位置,以获取所述第一虚线车道线的全部边缘像素位置;以及,
根据所述第三图像识别所述后方公路车道线中的第二实线车道线,其中,所述第二实线车道线为所述后方公路车道线包括的任一实线公路车道线;
将第二实线公路车道线的全部边缘像素位置投影到所述第二虚线车道线的初始直线的边缘像素位置,以获取所述第二虚线车道线的全部边缘像素位置。
18.根据权利要求15所述的装置,其特征在于,第一虚线车道线为所述公路车道线包括的任一虚线车道线,第二虚线车道线为所述后方公路车道线包括的任一虚线公路车道线,所述第三识别模块用于:
将连续获取的多个第一图像分别对应的二值图像进行叠加,以将所述第一虚线车道线叠加成实线车道线;
获取由所述第一虚线车道线叠加成的实线车道线的全部边缘像素位置;以及,
将连续获取的多个第三图像分别对应的二值图像进行叠加,以将所述第二虚线车道线叠加成实线车道线;
获取由所述第二虚线车道线叠加成的实线车道线的全部边缘像素位置。
19.根据权利要求12所述的装置,其特征在于,所述第二识别模块用于:
对连续获取的多个第一图像中的多个前方车灯识别区域进行时间微分处理,以创建对应于所述前方目标车辆的时间微分子图像;
根据对应于所述前方目标车辆的时间微分子图像,识别所述前方目标车辆的转向灯;以及,
对连续获取的多个第三图像中的多个后方车灯识别区域进行时间微分处理,以创建对应于所述后方目标车辆的时间微分子图像;
根据对应于所述后方目标车辆的时间微分子图像,识别所述后方目标车辆的转向灯。
20.根据权利要求19所述的装置,其特征在于,所述装置还包括:
补偿模块,用于对所述多个前方车灯识别区域中的部分或全部前方车灯识别区域进行纵向位移补偿或横向位移补偿,以获取比例相同的多个前方车灯识别区域;及,对所述多个后方车灯识别区域中的部分或全部后方车灯识别区域进行纵向位移补偿或横向位移补偿,以获取比例相同的多个后方车灯识别区域;
缩放模块,用于将比例相同的多个前方车灯识别区域中的部分或全部前方车灯识别区域进行缩放,以获得大小一致的多个前方车灯识别区域;以及,将比例相同的多个后方车灯识别区域中的部分或全部后方车灯识别区域进行缩放,以获得大小一致的多个后方车灯识别区域。
21.根据权利要求19所述的装置,其特征在于,所述第二识别模块用于:
检测所述前方目标车辆的转向灯子图像在所述时间微分子图像中的第一位置信息;
根据所述第一位置信息识别所述前方目标车辆的转向灯;以及,
检测所述后方目标车辆的转向灯子图像在所述时间微分子图像中的第二位置信息;
根据所述第二位置信息识别所述后方目标车辆的转向灯。
22.根据权利要求12所述的装置,其特征在于,所述装置还包括:
控制模块,用于根据所述前方目标车辆和/或所述后方目标车辆的行驶信息,对所述主体车辆的运动参数进行控制。
23.一种车辆,其特征在于,包括如权利要求12-22中任一项所述的车辆识别装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610872462.1A CN107886770B (zh) | 2016-09-30 | 2016-09-30 | 车辆识别方法、装置及车辆 |
PCT/CN2017/104864 WO2018059585A1 (zh) | 2016-09-30 | 2017-09-30 | 车辆识别方法、装置及车辆 |
PCT/CN2017/104875 WO2018059586A1 (zh) | 2016-09-30 | 2017-09-30 | 车辆识别方法、装置及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610872462.1A CN107886770B (zh) | 2016-09-30 | 2016-09-30 | 车辆识别方法、装置及车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107886770A CN107886770A (zh) | 2018-04-06 |
CN107886770B true CN107886770B (zh) | 2020-05-22 |
Family
ID=61763172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610872462.1A Active CN107886770B (zh) | 2016-09-30 | 2016-09-30 | 车辆识别方法、装置及车辆 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN107886770B (zh) |
WO (2) | WO2018059585A1 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7202304B2 (ja) * | 2017-09-01 | 2023-01-11 | 株式会社村上開明堂 | 衝突予測装置、衝突予測方法及びプログラム |
EP3569460B1 (en) * | 2018-04-11 | 2024-03-20 | Hyundai Motor Company | Apparatus and method for controlling driving in vehicle |
CN109299674B (zh) * | 2018-09-05 | 2022-03-18 | 重庆大学 | 一种基于车灯的隧道违章变道检测方法 |
DE102018008213B4 (de) * | 2018-10-17 | 2024-02-29 | Mercedes-Benz Group AG | Verfahren zum Visualisieren eines Übergangs über eine Straße |
CN110126729A (zh) * | 2019-05-30 | 2019-08-16 | 四川长虹电器股份有限公司 | 一种汽车后方来车辅助提醒方法及系统 |
CN111275981A (zh) * | 2020-01-21 | 2020-06-12 | 长安大学 | 一种高速公路车辆开启制动灯和双闪灯的识别方法 |
CN111292556B (zh) * | 2020-01-22 | 2022-03-01 | 长安大学 | 一种基于路侧双闪灯识别的车辆预警系统及方法 |
CN113392679A (zh) * | 2020-03-13 | 2021-09-14 | 富士通株式会社 | 车辆转向信号的识别装置及方法、电子设备 |
CN111768651B (zh) * | 2020-05-11 | 2022-07-12 | 吉利汽车研究院(宁波)有限公司 | 一种预防车辆碰撞的预警方法及装置 |
CN112785850A (zh) * | 2020-12-29 | 2021-05-11 | 上海眼控科技股份有限公司 | 车辆变道未打灯的识别方法及装置 |
CN112949470A (zh) * | 2021-02-26 | 2021-06-11 | 上海商汤智能科技有限公司 | 车辆变道转向灯识别方法、装置、设备及存储介质 |
CN113611111B (zh) * | 2021-07-29 | 2023-09-08 | 郑州高识智能科技有限公司 | 一种基于车辆远光灯的车距计算方法 |
CN115082901B (zh) * | 2022-07-21 | 2023-01-17 | 天津所托瑞安汽车科技有限公司 | 基于算法融合的车辆汇入检测方法、装置及设备 |
CN115240426B (zh) * | 2022-07-26 | 2024-03-26 | 东软睿驰汽车技术(沈阳)有限公司 | 一种变道数据的自动定位方法、装置、设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101391589A (zh) * | 2008-10-30 | 2009-03-25 | 上海大学 | 车载智能报警方法和装置 |
JP2010262387A (ja) * | 2009-04-30 | 2010-11-18 | Fujitsu Ten Ltd | 車両検知装置および車両検知方法 |
CN102194328A (zh) * | 2010-03-02 | 2011-09-21 | 鸿富锦精密工业(深圳)有限公司 | 车辆管理系统、方法及具有该系统的车辆控制装置 |
CN103208006A (zh) * | 2012-01-17 | 2013-07-17 | 株式会社理光 | 基于深度图像序列的对象运动模式识别方法和设备 |
CN103984950A (zh) * | 2014-04-22 | 2014-08-13 | 北京联合大学 | 一种适应白天检测的运动车辆刹车灯状态识别方法 |
CN104392629A (zh) * | 2014-11-07 | 2015-03-04 | 深圳市中天安驰有限责任公司 | 检测车距的方法和装置 |
CN104554259A (zh) * | 2013-10-21 | 2015-04-29 | 财团法人车辆研究测试中心 | 主动式自动驾驶辅助系统与方法 |
CN104952254A (zh) * | 2014-03-31 | 2015-09-30 | 比亚迪股份有限公司 | 车辆识别方法、装置和车辆 |
CN105460009A (zh) * | 2015-11-30 | 2016-04-06 | 奇瑞汽车股份有限公司 | 汽车控制方法及装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003150936A (ja) * | 2001-11-08 | 2003-05-23 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
US8686873B2 (en) * | 2011-02-28 | 2014-04-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Two-way video and 3D transmission between vehicles and system placed on roadside |
DE102013010983B4 (de) * | 2013-07-01 | 2023-02-23 | Audi Ag | Verfahren zum Betreiben eines Kraftwagens bei einem Spurwechsel und Kraftwagen |
CN105489062A (zh) * | 2015-12-29 | 2016-04-13 | 北京新能源汽车股份有限公司 | 车辆并线的提示方法和装置 |
CN105711586B (zh) * | 2016-01-22 | 2018-04-03 | 江苏大学 | 一种基于前向车辆驾驶人驾驶行为的前向避撞系统及避撞算法 |
CN105740834B (zh) * | 2016-02-05 | 2018-11-02 | 广西科技大学 | 夜视环境下对前方车辆的高精度检测方法 |
CN105946710A (zh) * | 2016-04-29 | 2016-09-21 | 孙继勇 | 行车辅助装置 |
-
2016
- 2016-09-30 CN CN201610872462.1A patent/CN107886770B/zh active Active
-
2017
- 2017-09-30 WO PCT/CN2017/104864 patent/WO2018059585A1/zh active Application Filing
- 2017-09-30 WO PCT/CN2017/104875 patent/WO2018059586A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101391589A (zh) * | 2008-10-30 | 2009-03-25 | 上海大学 | 车载智能报警方法和装置 |
JP2010262387A (ja) * | 2009-04-30 | 2010-11-18 | Fujitsu Ten Ltd | 車両検知装置および車両検知方法 |
CN102194328A (zh) * | 2010-03-02 | 2011-09-21 | 鸿富锦精密工业(深圳)有限公司 | 车辆管理系统、方法及具有该系统的车辆控制装置 |
CN103208006A (zh) * | 2012-01-17 | 2013-07-17 | 株式会社理光 | 基于深度图像序列的对象运动模式识别方法和设备 |
CN104554259A (zh) * | 2013-10-21 | 2015-04-29 | 财团法人车辆研究测试中心 | 主动式自动驾驶辅助系统与方法 |
CN104952254A (zh) * | 2014-03-31 | 2015-09-30 | 比亚迪股份有限公司 | 车辆识别方法、装置和车辆 |
CN103984950A (zh) * | 2014-04-22 | 2014-08-13 | 北京联合大学 | 一种适应白天检测的运动车辆刹车灯状态识别方法 |
CN104392629A (zh) * | 2014-11-07 | 2015-03-04 | 深圳市中天安驰有限责任公司 | 检测车距的方法和装置 |
CN105460009A (zh) * | 2015-11-30 | 2016-04-06 | 奇瑞汽车股份有限公司 | 汽车控制方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2018059585A1 (zh) | 2018-04-05 |
CN107886770A (zh) | 2018-04-06 |
WO2018059586A1 (zh) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107886770B (zh) | 车辆识别方法、装置及车辆 | |
US20220268933A1 (en) | Object detection system | |
CN108528431B (zh) | 车辆行驶自动控制方法和装置 | |
CN108528433B (zh) | 车辆行驶自动控制方法和装置 | |
US9836657B2 (en) | System and method for periodic lane marker identification and tracking | |
US9721460B2 (en) | In-vehicle surrounding environment recognition device | |
JP5855272B2 (ja) | ブレーキ状況を認識する方法および装置 | |
CN108528448B (zh) | 车辆行驶自动控制方法和装置 | |
CN109204311B (zh) | 一种汽车速度控制方法和装置 | |
US8848980B2 (en) | Front vehicle detecting method and front vehicle detecting apparatus | |
CN107886729B (zh) | 车辆识别方法、装置及车辆 | |
US9037343B2 (en) | Light distribution control apparatus and light distribution control method | |
US11351997B2 (en) | Collision prediction apparatus and collision prediction method | |
CN108536134B (zh) | 车辆行驶自动控制方法和装置 | |
JP6236039B2 (ja) | 車外環境認識装置 | |
JP6034923B1 (ja) | 車外環境認識装置 | |
JP2008117073A (ja) | 割り込み車両検出装置 | |
KR20150104409A (ko) | 센서를 이용한 차량 인식 시스템 및 그 방법 | |
CN110053627B (zh) | 驾驶评价系统和存储介质 | |
CN107886030A (zh) | 车辆识别方法、装置及车辆 | |
CN108528432B (zh) | 车辆行驶自动控制方法和装置 | |
CN107886036B (zh) | 车辆控制方法、装置及车辆 | |
JP2008165610A (ja) | 道路区画線認識装置 | |
JP2019046341A (ja) | 車両の運転支援装置および車両の運転支援方法 | |
JP2014157489A (ja) | 隊列走行制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |