CN109591694B - 车道偏离预警系统、车道偏离预警方法和车辆 - Google Patents

车道偏离预警系统、车道偏离预警方法和车辆 Download PDF

Info

Publication number
CN109591694B
CN109591694B CN201710923287.9A CN201710923287A CN109591694B CN 109591694 B CN109591694 B CN 109591694B CN 201710923287 A CN201710923287 A CN 201710923287A CN 109591694 B CN109591694 B CN 109591694B
Authority
CN
China
Prior art keywords
lane
camera
vehicle
line
multiple groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710923287.9A
Other languages
English (en)
Other versions
CN109591694A (zh
Inventor
沈玉杰
蒋如意
段勃勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ofilm Intelligent Vehicle Co ltd
Original Assignee
Shanghai Ofilm Intelligent Vehicle Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ofilm Intelligent Vehicle Co ltd filed Critical Shanghai Ofilm Intelligent Vehicle Co ltd
Priority to CN201710923287.9A priority Critical patent/CN109591694B/zh
Publication of CN109591694A publication Critical patent/CN109591694A/zh
Application granted granted Critical
Publication of CN109591694B publication Critical patent/CN109591694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车道偏离预警系统。车道偏离预警系统包括用于采集多组图像的多个相机组、车道线检测模块、相机组在线自适应切换模块和判断模块。车道线检测模块用于处理多组图像中的多组车道标记线边缘，根据处理后的多组车道标记线边缘得到多组车道线的位置。相机组在线自适应切换模块用于对多组车道线分别进行跟踪并判断其稳定性，获取稳定性最高的车道线作为探测车道线。判断模块用于根据探测车道线和传感器信息判断车辆是否偏离车道。此外，本发明还公开了一种车道偏离预警方法和一种车辆。本发明的车道偏离预警系统、车道偏离预警方法和车辆根据多组车道线中稳定性最高的探测车道线判断车辆是否偏离车道，从而快速且准确地获取判断结果。

Description

车道偏离预警系统、车道偏离预警方法和车辆
技术领域
本发明涉及车辆领域，特别涉及一种车道偏离预警系统、车道偏离预警方法和车辆。
背景技术
车道偏离预警是目前常见的车辆驾驶辅助功能，其目标是保持车辆在公路车道内进行安全驾驶。在车辆偏离车道线时，车道偏离预警系统发出相应的报警。目前，车道偏离预警系统利用多个相机组形成俯视图以提高车道偏离判断的准确性，然而俯视图的生成过程非常耗时。因此，如何快速并且准确地判断车辆是否偏离车道成为待解决的技术问题。
发明内容
本发明的实施方式提供了一种车道偏离预警系统、车道偏离预警方法和车辆。
本发明实施方式的一种车道偏离预警系统，用于车辆，所述车道偏离预警系统包括多个相机组、车道线检测模块、相机组在线自适应切换模块和判断模块，
所述多个相机组用于采集所述车辆外不同预定区域的多组图像；
所述车道线检测模块用于在所述多组图像中分别检测得到多组车道标记线边缘，处理所述多组车道标记线边缘并根据处理后的所述多组车道标记线边缘得到所述多组图像中的多组车道线的位置；
所述相机组在线自适应切换模块用于对所述多组车道线分别进行跟踪，判断所述多组车道线的稳定性，并获取稳定性最高的车道线作为探测车道线；
所述判断模块用于根据所述探测车道线和所述车辆的传感器信息判断所述车辆是否偏离车道。
本发明实施方式的车道偏离预警系统可获取稳定性最高的车道线作为探测车道线并根据探测车道线判断车辆是否偏离车道，由于探测车道线为多组车道线中稳定性最高的一组车道线，因此可以快速并且准确地判断车辆是否偏离车道。
在某些实施方式中，所述车道偏离预警系统包括相机标定模块，所述相机标定模块用于对所述多个相机组进行标定以获得相机参数，所述车道线检测模块用于利用所述相机参数和世界坐标系处理所述多组车道标记线边缘。如此，通过对多个相机组进行标定可以获得相机参数，根据相机参数可以获得相机采集的图像与世界坐标系的转换关系，进而可以根据转换关系将相机采集的图像转换到世界坐标系中。
在某些实施方式中，所述相机参数包括所述相机组中每个相机的位置和角度。如此，可以通过标定获得每个相机的位置和角度，根据每个相机的位置和角度确定相机参数。
在某些实施方式中，所述车道线检测模块用于利用所述相机参数将所述多组车道标记线边缘投影到所述世界坐标系中，并在所述世界坐标系中对所述多组车道标记线边缘进行直线拟合以得到所述多组图像中的所述多组车道线的位置。如此，根据多组车道线在世界坐标系中的位置可以判断多组车道线在实际场景中的位置。
在某些实施方式中，所述多个相机组包括第一相机组、第二相机组和第三相机组，所述第一相机组包括所述车辆的前视相机，所述第二相机组包括所述车辆的后视相机，所述第三相机组包括所述车辆的左视相机和右视相机。如此，多个相机组均可以获得左右两条车道线，从而可以根据车辆与左右两条车道线的位置关系判断车辆是否偏离车道。
在某些实施方式中，所述车道偏离预警系统包括信息采集模块，所述信息采集模块用于采集所述车辆的传感器信息。如此，可以通过信息采集模块获得车辆的传感器信息。
在某些实施方式中，所述相机组在线自适应切换模块用于采用滤波算法对所述多组车道线进行跟踪，所述车道线的跟踪状态量的稳定性通过所述滤波算法中的最小均方误差矩阵来表示，当所述矩阵中的值最小时，确定所述矩阵中的值最小所对应的车道线为稳定性最高的车道线。如此，可以通过滤波算法判断多组车道线的稳定性，从而可以快速且准确地获取稳定性最高的车道线以作为探测车道线。
本发明实施方式的一种车道偏离预警方法，用于车辆，所述车道偏离预警方法包括：
采集所述车辆外不同预定区域的多组图像；
在所述多组图像中分别检测得到多组车道标记线边缘；
处理所述多组车道标记线边缘；
根据处理后的所述多组车道标记线边缘得到所述多组图像中的多组车道线的位置；
对所述多组车道线分别进行跟踪，判断所述多组车道线的稳定性，并获取稳定性最高的车道线作为探测车道线；
根据所述探测车道线和所述车辆的传感器信息判断所述车辆是否偏离车道。
如此，车道偏离预警方法可获取稳定性最高的车道线作为探测车道线并根据探测车道线判断车辆是否偏离车道，由于探测车道线为多组车道线中稳定性最高的一组车道线，因此可以快速并且准确地判断车辆是否偏离车道。
在某些实施方式中，所述车辆包括用于采集所述多组图像的多个相机组，所述车道偏离预警方法包括：
对所述多个相机组进行标定以获得相机参数；
所述处理所述多组车道标记线边缘包括：
利用所述相机参数和世界坐标系处理所述多组车道标记线边缘。
如此，通过对多个相机组进行标定可以获得相机参数，根据相机参数可以获得相机采集的图像与世界坐标系的转换关系，进而可以根据转换关系将相机采集的图像转换到世界坐标系中。
本发明实施方式的一种车辆包括上述任一实施方式的车道偏离预警系统。
如此，车辆可获取稳定性最高的车道线作为探测车道线并根据探测车道线判断车辆是否偏离车道，由于探测车道线为多组车道线中稳定性最高的一组车道线，因此可以快速并且准确地判断车辆是否偏离车道。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本发明实施方式的车道偏离预警系统的模块示意图；
图2是本发明实施方式的车道偏离预警方法的流程示意图；
图3是本发明实施方式的车道标记线边缘提取的场景示意图；
图4是本发明实施方式的车道偏离预警系统的另一个模块示意图；
图5是本发明实施方式的车道偏离预警方法的另一个流程示意图；
图6是本发明实施方式的车道偏离预警方法的再一个流程示意图；
图7是本发明实施方式的车道偏离预警系统的再一个模块示意图；
图8是本发明实施方式的车道偏离预警方法的又一个流程示意图。
主要元件符号说明：
车道偏离预警系统100、相机组110、车道线检测模块120、相机组在线自适应切换模块130、判断模块140、相机标定模块150、信息采集模块160。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
请参阅图1，本发明实施方式的一种车道偏离预警系统100可以用于车辆。车道偏离预警系统100包括多个相机组110、车道线检测模块120、相机组在线自适应切换模块130和判断模块140。多个相机组110用于采集车辆外不同预定区域的多组图像。车道线检测模块120用于在多组图像中分别检测得到多组车道标记线边缘，处理多组车道标记线边缘并根据处理后的多组车道标记线边缘得到多组图像中的多组车道线的位置。相机组在线自适应切换模块130用于对多组车道线分别进行跟踪，判断多组车道线的稳定性，并获取稳定性最高的车道线作为探测车道线。判断模块140用于根据探测车道线和车辆的传感器信息判断车辆是否偏离车道。
请参阅图2，本发明实施方式的一种车道偏离预警方法可以用于车辆。车道偏离预警方法包括：
步骤S110：采集车辆外不同预定区域的多组图像；
步骤S122：在多组图像中分别检测得到多组车道标记线边缘；
步骤S124：处理多组车道标记线边缘；
步骤S126：根据处理后的多组车道标记线边缘得到多组图像中的多组车道线的位置；
步骤S130：对多组车道线分别进行跟踪，判断多组车道线的稳定性，并获取稳定性最高的车道线作为探测车道线；
步骤S140：根据探测车道线和车辆的传感器信息判断车辆是否偏离车道。
也即是说，本发明实施方式的车道偏离预警方法可以由本发明实施方式的车道偏离预警系统100实现，其中，步骤S110可以由相机组110实现，步骤S122、S124和S126可以由车道线检测模块120实现，步骤S130可以由相机组在线自适应切换模块130实现，步骤S140可以由判断模块140实现。
本发明实施方式的车道偏离预警系统100和车道偏离预警方法可获取稳定性最高的车道线作为探测车道线并根据探测车道线判断车辆是否偏离车道，由于探测车道线为多组车道线中稳定性最高的一组车道线，因此可以快速并且准确地判断车辆是否偏离车道。
在某些实施方式中，车道偏离预警系统100是指在汽车偏离车道时可以发出预警的相关系统。
在某些实施方式中，相机组110可以是一个或多个相机，通过多个相机组110可以采集车辆外不同预定区域的多组图像。预定区域可以包括车辆的前方区域、后方区域、左方区域和右方区域等区域。
在某些实施方式中，车道线检测模块120用于获得多组图像中的多组车道线的位置。具体地，车道线检测模块120一般先在多组图像中检测多组车道标记线边缘，通过车道标记线边缘可以确定车道线的位置。车道标记线的边缘可通过边缘检测算法进行提取，常用的边缘检测算法包括但不限于罗伯茨(Roberts)算子、索贝尔(Sobel)算子、Prewitt算子、Canny算子、拉普拉斯(Laplacian)算子、高斯拉普拉斯(LOG)算子等。Roberts算子是一种利用局部差分算子寻找边缘的算子；Sobel算子可以用于获取图像的一阶梯度；Prewitt算子是一种一阶微分算子的边缘检测；Canny算子是一种多级边缘检测算法；Laplacian算子是一种二阶微分算子；LOG算子先对图像进行平滑处理，再提取边缘。请参阅图3，图3中的左边图像为相机组110采集的图像，图3右边的图像为提取图像中的物体的边缘后形成的边缘图像。
在某些实施方式中，相机组在线自适应切换模块130用于对多个相机组110进行切换，从而将稳定性最高的车道线作为探测车道线并传输至判断模块140，进而判断模块140可以根据探测车道线和车辆的传感器信息判断车辆是否偏离车道。
在某些实施方式中，多个相机组110包括第一相机组、第二相机组和第三相机组，第一相机组包括车辆的前视相机，第二相机组包括车辆的后视相机，第三相机组包括车辆的左视相机和右视相机。
如此，多个相机组110均可以获得左右两条车道线，从而可以根据车辆与左右两条车道线的位置关系判断车辆是否偏离车道。
具体地，前视相机可指用于采集车辆前方区域的图像的相机，一般设置在车辆的前方；后视相机可指用于采集车辆后方区域的图像的相机，一般设置在车辆的后方；左视相机可指用于采集车辆左方区域的图像的相机，一般设置在车辆左后视镜；右视相机可指用于采集车辆右方区域的图像的相机，一般设置在车辆的右后视镜。通过前视相机、后视相机、左视相机和右视相机采集各个方位上的图像，能够获取车辆前后左右四个区域的视野。需要说明的是，车辆是否偏离车道的判断一般是通过车辆与两条车道的位置关系，比如车辆偏离左车道线或右车道线时说明车辆偏离车道，因此车道偏离预警系统100一般需要同时获取两条车道线。由于前视相机和后视相机一般都可以同时获取两条车道线，可以将前视相机单独作为第一相机组，将后视相机单独作为第二相机组；而左视相机和右视相机一般只能获取一条车道线，即左视相机一般只能获取左车道线，右视相机一般只能获取右车道线，因此可以将左视相机和右视相机共同作为第三相机组。如此，每个相机组均能同时获取左右两条车道线。
在某些实施方式中，车道偏离预警系统100可将相机组110采集到的图像显示在车载显示屏上，车道偏离预警系统100可将多个图像进行切换显示，或根据驾驶员选择显示驾驶员感兴趣的图像。
请参阅图4，在某些实施方式中，车道偏离预警系统100包括相机标定模块150，相机标定模块150用于对多个相机组110进行标定以获得相机参数，车道线检测模块120用于利用相机参数和世界坐标系处理多组车道标记线边缘。
请参阅图5，在某些实施方式中，车辆包括用于采集多组图像的多个相机组110，车道偏离预警方法包括：
步骤S150：对多个相机组110进行标定以获得相机参数；
步骤S124包括：
步骤S1242：利用相机参数和世界坐标系处理多组车道标记线边缘。
也即是说，步骤S150可以由相机标定模块150实现，步骤S1242可以由车道线检测模块120实现。
如此，通过对多个相机组110进行标定可以获得相机参数，根据相机参数可以获得相机采集的图像与世界坐标系的转换关系，进而可以根据转换关系将相机采集的图像转换到世界坐标系中。
具体地，为了准确地表达相机组110采集的图像与实际场景的对应关系，相机组110采集的图像一般需要通过转换关系转换到世界坐标系中，从而可以根据世界坐标系与实际场景的关联确定相机组110采集的图像与实际场景的对应关系。图像与世界坐标系的转换关系可以根据相机参数获得，相机参数可以通过标定获得。利用相机参数和世界坐标系处理多组车道标记线边缘可以确定车道标记线边缘在世界坐标系中和在实际场景中的位置。
在某些实施方式中，可以以车辆后轴中心为原点，以后轴中心往车头方向为X方向，以后轴中心向右为Y方向，建立世界坐标系。可以理解，在其他实施方式中，可以根据驾驶员的需求建立世界坐标系，在此不做具体限定。
在某些实施方式中，相机参数包括相机组110中每个相机的位置和角度。
如此，可以通过标定获得每个相机的位置和角度，根据每个相机的位置和角度确定相机参数。
具体地，由于相机组110的位置和角度会对相机采集图像的范围造成影响，因此可以通过标定相机组110的位置和角度以作为相机参数，从而确定相机组110采集的图像与世界坐标系的转换关系及确定相机组110采集的图像与实际场景的位置关系。例如相机组110设置在车辆的前方，则可以确定该相机组110采集的图像为实际场景中车辆前方的场景。
请再次参阅图1，在某些实施方式中，车道线检测模块120用于利用相机参数将多组车道标记线边缘投影到世界坐标系中，并在世界坐标系中对多组车道标记线边缘进行直线拟合以得到多组图像中的多组车道线的位置。
请参阅图6，在某些实施方式中，步骤S1242包括：
步骤S12422：利用相机参数将多组车道标记线边缘投影到世界坐标系中；
步骤S126包括：
步骤S1262：在世界坐标系中对多组车道标记线边缘进行直线拟合以得到多组图像中的多组车道线的位置。
也即是说，步骤S12422和S1262可以由车道线检测模块120实现。
如此，根据多组车道线在世界坐标系中的位置可以判断多组车道线在实际场景中的位置。
具体地，利用相机参数可以将相机组110采集的图像中的多组车道标记线边缘投影到世界坐标系中，由于车道标记线边缘可能不连续，例如车道线本身不连续或者边缘提取时出现断点，因此可以在世界坐标系中对多组车道标记线边缘进行直线拟合，从而得到多组图像中比较完整的多组车道线，并可以确定多组车道线的位置。需要说明的是，在本发明实施方式中，可以先提取车道标记线边缘，再将车道标记线边缘投影到世界坐标系中，从而不需要将相机组110采集的图像完整地投影到世界坐标系中，进而减少车道偏离预警系统100和车道偏离预警方法的处理量。当然，在其他实施方式中，也可以先将相机组110采集的图像完整地投影到世界坐标系中，再对世界坐标系中的车道标记线边缘进行提取，在此不做具体限定。
请参阅图7，在某些实施方式中，车道偏离预警系统100包括信息采集模块160，信息采集模块160用于采集车辆的传感器信息。
请参阅图8，在某些实施方式中，车道偏离预警方法包括：
步骤S160：采集车辆的传感器信息。
如此，可以通过信息采集模块160获得车辆的传感器信息。
在某些实施方式中，车辆包括多种传感器，信息采集模块160连接传感器，并可以采集车辆的传感器信息来获得车辆工作状态。例如，传感器可以包括进气压力传感器、发动机温度传感器、油门踏板位置传感器、发动机转速传感器、车轮转速传感器等传感器，通过传感器信息可以判断车辆的工作状态，比如通过车轮转速传感器可以判断出车辆的行驶速度。
在某些实施方式中，相机组在线自适应切换模块130用于采用滤波算法对多组车道线进行跟踪，车道线的跟踪状态量的稳定性通过滤波算法中的最小均方误差矩阵来表示，当矩阵中的值最小时，确定矩阵中的值最小所对应的车道线为稳定性最高的车道线。
如此，可以通过滤波算法判断多组车道线的稳定性，从而可以快速且准确地获取稳定性最高的车道线以作为探测车道线。
具体地，滤波算法包括但不限于卡尔曼滤波(kalman filter)、粒子滤波(particle filter)、扩展卡尔曼滤波(extendedkalman filter)等滤波算法。在一个实施例中，通过卡尔曼滤波实现对多组车道线的稳定性的判断。通过车道线在世界坐标系中的位置可以确定车道线的斜率(slope)和截距(intercept)，从而可以得到车道线的方程式，即y＝slope*x+intercept，对车道线的方程式进行跟踪，跟踪状态量的稳定性可通过卡尔曼滤波中的最小均方误差算法矩阵P(n|n)＝[I-K(n)H(n)]P(n|n-1)来表示。当矩阵中的值最小时，确定矩阵中的值最小所对应的车道线为稳定性最高的车道线，将稳定性最高的车道线作为探测车道线。
在某些实施方式中，低光环境、相机的镜头表面污损、相机固定不牢固等原因均可以导致相机组110采集的图像的车道线的稳定性低。
在某些实施方式中，通过探测车道线和传感器信息可以判断车辆是否偏离车道，例如，通过探测车道线的位置判断探测车道线位于车辆的正前方，通过传感器信息判断汽车没有相应地转动方向盘，因此可以判断车辆具有偏离车道的危险。
在某些实施方式中，车道偏离预警系统包括报警模块，在车辆偏离车道时，报警模块可以通过视觉、听觉、触觉中的其中一种或任意组合的信息来提示驾驶员。具体地，报警模块可以通过视觉信息来提示驾驶员，或报警模块可以通过听觉信息来提示驾驶员，或报警模块可以通过触觉信息来提示驾驶员，或报警模块可以通过视觉和听觉信息来提示驾驶员，或报警模块可以通过视觉和触觉信息来提示驾驶员，或报警模块可以通过听觉和触觉信息来提示驾驶员，或报警模块可以通过视觉、听觉和触觉信息来提示驾驶员。可以理解，报警模块可以包括显示屏，显示屏用于提供视觉信息；报警模块可以包括喇叭、音箱，喇叭、音箱用于提供听觉信息；报警模块可以包括振动电机，振动电机用于提供触觉信息。
可以理解，本发明实施方式的车辆包括上述任一实施方式的车道偏离预警系统100。
在本发明的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (7)

1.一种车道偏离预警系统，用于车辆，其特征在于，所述车道偏离预警系统包括多个相机组、车道线检测模块、相机组在线自适应切换模块和判断模块，
所述多个相机组用于采集所述车辆外不同预定区域的多组图像；
所述车道线检测模块用于在所述多组图像中分别检测得到多组车道标记线边缘，处理所述多组车道标记线边缘并根据处理后的所述多组车道标记线边缘得到所述多组图像中的多组车道线的位置；
所述相机组在线自适应切换模块用于对所述多组车道线分别进行跟踪，判断所述多组车道线的稳定性，并获取稳定性最高的车道线作为探测车道线；
所述判断模块用于根据所述探测车道线和所述车辆的传感器信息判断所述车辆是否偏离车道；
所述车道偏离预警系统包括相机标定模块，所述相机标定模块用于对所述多个相机组进行标定以获得相机参数，所述车道线检测模块用于利用所述相机参数和世界坐标系处理所述多组车道标记线边缘；
所述相机组在线自适应切换模块用于采用滤波算法对所述多组车道线进行跟踪，所述车道线的跟踪状态量的稳定性通过所述滤波算法中的最小均方误差矩阵来表示，当所述矩阵中的值最小时，确定所述矩阵中的值最小所对应的车道线为稳定性最高的车道线。
2.如权利要求1所述的车道偏离预警系统，其特征在于，所述相机参数包括所述相机组中每个相机的位置和角度。
3.如权利要求1所述的车道偏离预警系统，其特征在于，所述车道线检测模块用于利用所述相机参数将所述多组车道标记线边缘投影到所述世界坐标系中，并在所述世界坐标系中对所述多组车道标记线边缘进行直线拟合以得到所述多组图像中的所述多组车道线的位置。
4.如权利要求1所述的车道偏离预警系统，其特征在于，所述多个相机组包括第一相机组、第二相机组和第三相机组，所述第一相机组包括所述车辆的前视相机，所述第二相机组包括所述车辆的后视相机，所述第三相机组包括所述车辆的左视相机和右视相机。
5.如权利要求1所述的车道偏离预警系统，其特征在于，所述车道偏离预警系统包括信息采集模块，所述信息采集模块用于采集所述车辆的传感器信息。
6.一种车道偏离预警方法，用于车辆，其特征在于，所述车道偏离预警方法包括：
采集所述车辆外不同预定区域的多组图像；
在所述多组图像中分别检测得到多组车道标记线边缘；
处理所述多组车道标记线边缘；
根据处理后的所述多组车道标记线边缘得到所述多组图像中的多组车道线的位置；
对所述多组车道线分别进行跟踪，判断所述多组车道线的稳定性，并获取稳定性最高的车道线作为探测车道线；
根据所述探测车道线和所述车辆的传感器信息判断所述车辆是否偏离车道；
所述车辆包括用于采集所述多组图像的多个相机组，所述车道偏离预警方法包括：
对所述多个相机组进行标定以获得相机参数；
所述处理所述多组车道标记线边缘包括：
利用所述相机参数和世界坐标系处理所述多组车道标记线边缘；
所述对所述多组车道线分别进行跟踪，判断所述多组车道线的稳定性，并获取稳定性最高的车道线作为探测车道线，包括：
采用滤波算法对所述多组车道线进行跟踪，所述车道线的跟踪状态量的稳定性通过所述滤波算法中的最小均方误差矩阵来表示，当所述矩阵中的值最小时，确定所述矩阵中的值最小所对应的车道线为稳定性最高的车道线。
7.一种车辆，其特征在于，包括权利要求1-5任意一项所述的车道偏离预警系统。
CN201710923287.9A 2017-09-30 2017-09-30 车道偏离预警系统、车道偏离预警方法和车辆 Active CN109591694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710923287.9A CN109591694B (zh) 2017-09-30 2017-09-30 车道偏离预警系统、车道偏离预警方法和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710923287.9A CN109591694B (zh) 2017-09-30 2017-09-30 车道偏离预警系统、车道偏离预警方法和车辆

Publications (2)

Publication Number Publication Date
CN109591694A CN109591694A (zh) 2019-04-09
CN109591694B true CN109591694B (zh) 2021-09-28

Family

ID=65956722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710923287.9A Active CN109591694B (zh) 2017-09-30 2017-09-30 车道偏离预警系统、车道偏离预警方法和车辆

Country Status (1)

Country Link
CN (1) CN109591694B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102806913A (zh) * 2011-05-31 2012-12-05 德尔福电子(苏州)有限公司 一种新型的车道线偏离检测方法及装置
CN104029680A (zh) * 2014-01-02 2014-09-10 上海大学 基于单目摄像头的车道偏离预警系统及方法
CN104517111A (zh) * 2013-09-27 2015-04-15 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统
CN104859563A (zh) * 2015-05-28 2015-08-26 北京汽车股份有限公司 车道偏离预警方法和系统
CN105046198A (zh) * 2015-06-12 2015-11-11 上海修源网络科技有限公司 一种车道检测方法
CN106256606A (zh) * 2016-08-09 2016-12-28 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法
CN106529493A (zh) * 2016-11-22 2017-03-22 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102806913A (zh) * 2011-05-31 2012-12-05 德尔福电子(苏州)有限公司 一种新型的车道线偏离检测方法及装置
CN104517111A (zh) * 2013-09-27 2015-04-15 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统
CN104029680A (zh) * 2014-01-02 2014-09-10 上海大学 基于单目摄像头的车道偏离预警系统及方法
CN104859563A (zh) * 2015-05-28 2015-08-26 北京汽车股份有限公司 车道偏离预警方法和系统
CN105046198A (zh) * 2015-06-12 2015-11-11 上海修源网络科技有限公司 一种车道检测方法
CN106256606A (zh) * 2016-08-09 2016-12-28 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法
CN106529493A (zh) * 2016-11-22 2017-03-22 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法

Also Published As

Publication number Publication date
CN109591694A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
CN109017570B (zh) 车辆周围场景呈现方法和装置、车辆
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
US20130242101A1 (en) Method and Device for Representing Obstacles in a Parking Assistance System of Motor Vehicles
US10878253B2 (en) Periphery monitoring device
KR101656162B1 (ko) 자동차의 운전자 지원 장치 작동 방법, 운전자 지원 장치 및 자동차
JP6924251B2 (ja) 画像センサの外因性パラメータを較正するための方法及び装置
CN110865374A (zh) 定位系统
CN105599765A (zh) 一种车道偏离的判断和预警方法
JP2021510227A (ja) 衝突前アラートを提供するためのマルチスペクトルシステム
JP2002123818A (ja) 車両用周辺障害物検出装置
EP3087532B1 (en) Method for determining a width of a target vehicle by means of a camera system of a motor vehicle, camera system and motor vehicle
CN112862899B (zh) 用于图像获取设备的外参标定方法、装置和系统
JP5590774B2 (ja) 物体検出装置
GB2518850A (en) Vehicle having wade sensing apparatus and system
CN109591694B (zh) 车道偏离预警系统、车道偏离预警方法和车辆
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP2009014645A (ja) 車両用距離測定装置
JP2014016981A (ja) 移動面認識装置、移動面認識方法及び移動面認識用プログラム
EP1906208A1 (en) Park assist system visually marking up dangerous objects
CN109598747A (zh) 运动目标检测系统、运动目标检测方法和车辆
JP4601376B2 (ja) 画像異常判定装置
JP2001180404A (ja) 車両の後方監視装置
KR20120103980A (ko) 선행 차량의 사각지역 알림 장치 및 그 방법
JP2020042716A (ja) 異常検出装置および異常検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant