CN107292214B - 车道偏离检测方法、装置及车辆 - Google Patents

车道偏离检测方法、装置及车辆 Download PDF

Info

Publication number
CN107292214B
CN107292214B CN201610199970.8A CN201610199970A CN107292214B CN 107292214 B CN107292214 B CN 107292214B CN 201610199970 A CN201610199970 A CN 201610199970A CN 107292214 B CN107292214 B CN 107292214B
Authority
CN
China
Prior art keywords
image
gray
pixel point
lane
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610199970.8A
Other languages
English (en)
Other versions
CN107292214A (zh
Inventor
魏星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201610199970.8A priority Critical patent/CN107292214B/zh
Publication of CN107292214A publication Critical patent/CN107292214A/zh
Application granted granted Critical
Publication of CN107292214B publication Critical patent/CN107292214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种车道偏离检测方法、装置及车辆。方法包括：获取车辆全景图像；获取车辆全景图像相对应的目标灰度图像；从目标灰度图像中识别候选特征点对，候选特征点对包括第一像素点P1(i,j1)和第二像素点P2(i,j2)，第一像素点P1(i,j1)和第二像素点P2(i,j2)的灰度值大于或等于灰度阈值，第一像素点P1(i,j1)与第三像素点P3(i,j1‑k)间的灰度差大于或等于第一灰度差阈值，第二像素点P2(i,j2)与第四像素点P4(i,j2+k)间的灰度差大于或等于第一灰度差阈值，第一像素点P1(i,j1)与第二像素点P2(i,j2)之间的灰度差小于第二灰度差阈值；根据候选特征点对确定车道特征点；根据车道特征点提取车道线，并确定是否发生车道偏离。由此，可以提高车道偏离检测的准确性。

Description

车道偏离检测方法、装置及车辆
技术领域
本发明涉及车道检测领域，具体地，涉及一种车道偏离检测方法、装置及车辆。
背景技术
随着汽车工业在中国的高速发展，汽车主动驾驶安全性能正逐步成为人们重点关注的性能指标之一。现如今汽车不再仅仅是交通工具，更是智能化的载体。驾驶员在驾驶过车中往往会因疲劳、注意力不集中，使汽车偏离正常车道，进而发生危险。
目前大部分车道偏离预警系统是通过单独前视摄像头实现的，通过安装在车内前方后视镜附近的摄像头采集视频，实时处理视频，通过车道识别算法和预先设置好的阈值判断车道是否偏离。然而，基于单独前视摄像头实现车道偏离的系统，由于工况复杂，正常行驶过程中，经常会出现误报，从而会干扰正常驾驶。
发明内容
本发明的目的是提供一种车道偏离检测方法、装置及车辆，以提高车道偏离检测的准确性。
为了实现上述目的，本发明提供一种车道偏离检测方法，所述方法包括：获取车辆全景图像；获取与所述车辆全景图像相对应的目标灰度图像；从所述目标灰度图像中识别出候选特征点对，所述候选特征点对包括第一像素点P1(i,j1)和第二像素点P2(i,j2)，其中，所述第一像素点P1(i,j1)和第二像素点P2(i,j2)的灰度值大于或等于灰度阈值，并且，所述第一像素点P1(i,j1)与第三像素点P3(i,j1-k)之间的灰度差大于或等于预设的第一灰度差阈值，所述第二像素点P2(i,j2)与第四像素点P4(i,j2+k)之间的灰度差大于或等于所述第一灰度差阈值，所述第一像素点P1(i,j1)与所述第二像素点P2(i,j2)之间的灰度差小于预设的第二灰度差阈值，i为像素点所在行，j1为所述第一像素点所在列，j2为所述第二像素点所在列，j1<j2，k为预设列间隔，并且k≥1；根据所述候选特征点对，确定车道特征点；根据所述车道特征点提取车道线，并根据车辆与所述车道线间的位置关系确定是否发生车道偏离。
可选地，所述获取与所述车辆全景图像相对应的目标灰度图像的步骤包括：将所述车辆全景图像转换为相对应的初始灰度图像；将所述初始灰度图像作为待增强图像，并对所述待增强图像进行增强处理，处理后得到的图像为所述目标灰度图像；或者，所述获取与所述车辆全景图像相对应的目标灰度图像的步骤包括：将所述车辆全景图像转换为相对应的初始灰度图像；将所述初始灰度图像划分为多个灰度子图像；分别将每个所述灰度子图像作为待增强图像，并对所述待增强图像进行增强处理，处理后得到的图像为目标灰度子图像；对所述目标灰度子图像进行拼接，得到所述目标灰度图像。
可选地，所述对所述待增强图像进行增强处理的步骤包括：获取所述待增强图像的直方图；在所述直方图上、以预设的初始灰度值为中心设置滑动窗；确定落入所述滑动窗内的像素点总数，并记录所述滑动窗的位置和所述滑动窗内的像素点总数；按照预设步长、朝向灰度值增大的方向移动所述滑动窗，并重复执行所述确定落入所述滑动窗内的像素点的总数，并记录所述滑动窗的位置和所述滑动窗内的像素点总数的步骤，直到所述滑动窗达到所述直方图的最大灰度值为止；根据所记录的滑动窗的位置和所述滑动窗内的像素点总数，在所述直方图中标记候选增强区域，其中，所述候选增强区域由连续多个、其内像素点总数大于或等于预定数量的滑动窗覆盖而成；以及将所述待增强图像中、落入灰度等级最高的候选增强区域内的各个像素点的灰度值提升。
可选地，所述对所述待增强图像进行增强处理的步骤还包括：将所述待增强图像中、落入灰度等级最低的候选增强区域内的各个像素点的灰度值降低。
可选地，所述灰度阈值为所述第一像素点P1(i,j1)和所述第二像素点P2(i,j2)所在行上的全部像素点的平均灰度值。
可选地，所述根据所述候选特征点对，确定车道特征点的步骤包括：将所述第一像素点P1(i,j1)与所述第二像素点P2(i,j2)之间的中间像素点确定为是所述车道特征点。
可选地，所述方法还包括：在确定发生车道偏离时，向报警模块发送控制信号，所述控制信号用于控制报警模块进行报警。
本发明还提供一种车道偏离检测装置，所述装置包括：车辆全景图像获取模块，被配置为获取车辆全景图像；目标灰度图像获取模块，被配置为获取与所述车辆全景图像相对应的目标灰度图像；候选特征点对识别模块，被配置为从所述目标灰度图像中识别出候选特征点对，所述候选特征点对包括第一像素点P1(i,j1)和第二像素点P2(i,j2)，其中，所述第一像素点P1(i,j1)和第二像素点P2(i,j2)的灰度值大于或等于灰度阈值，并且，所述第一像素点P1(i,j1)与第三像素点P3(i,j1-k)之间的灰度差大于或等于预设的第一灰度差阈值，所述第二像素点P2(i,j2)与第四像素点P4(i,j2+k)之间的灰度差大于或等于所述第一灰度差阈值，所述第一像素点P1(i,j1)与所述第二像素点P2(i,j2)之间的灰度差小于预设的第二灰度差阈值，i为像素点所在行，j1为所述第一像素点所在列，j2为所述第二像素点所在列，j1<j2，k为预设列间隔，并且k≥1；车道特征点确定模块，被配置为根据所述候选特征点对，确定车道特征点；车道线偏离检测模块，被配置为根据所述车道特征点提取车道线，并根据车辆与所述车道线间的位置关系确定是否发生车道偏离。
可选地，所述目标灰度图像获取模块包括：转换子模块，被配置为将所述车辆全景图像转换为相对应的初始灰度图像；增强处理子模块，被配置为将所述初始灰度图像作为待增强图像，并对所述待增强图像进行增强处理，处理后得到的图像为所述目标灰度图像；或者，所述目标灰度图像获取模块包括：转换子模块，被配置为将所述车辆全景图像转换为相对应的初始灰度图像；图像分割子模块，被配置为将所述初始灰度图像划分为多个灰度子图像；增强处理子模块，被配置为分别将每个所述灰度子图像作为待增强图像，并对所述待增强图像进行增强处理，处理后得到的图像为目标灰度子图像；图像拼接子模块，被配置为对所述目标灰度子图像进行拼接，得到所述目标灰度图像。
可选地，所述增强处理子模块包括：直方图获取单元，被配置为获取所述待增强图像的直方图；滑动窗设置单元，被配置为在所述直方图上、以预设的初始灰度值为中心设置滑动窗；记录单元，被配置为确定落入所述滑动窗内的像素点总数，并记录所述滑动窗的位置和所述滑动窗内的像素点总数；滑动窗移动单元，被配置为按照预设步长、朝向灰度值增大的方向移动所述滑动窗，并重复运行所述记录单元，直到所述滑动窗达到所述直方图的最大灰度值为止；标记单元，被配置为根据所记录的滑动窗的位置和所述滑动窗内的像素点总数，在所述直方图中标记候选增强区域，其中，所述候选增强区域由连续多个、其内像素点总数大于或等于预定数量的滑动窗覆盖而成；以及增强处理单元，被配置为将所述待增强图像中、落入灰度等级最高的候选增强区域内的各个像素点的灰度值提升。
可选地，所述增强处理单元还被配置为将所述待增强图像中、落入灰度等级最低的候选增强区域内的各个像素点的灰度值降低。
可选地，所述灰度阈值为所述第一像素点P1(i,j1)和所述第二像素点P2(i,j2)所在行上的全部像素点的平均灰度值。
可选地，所述车道特征点确定模块被配置为将所述第一像素点P1(i,j1)与所述第二像素点P2(i,j2)之间的中间像素点确定为是所述车道特征点。
可选地，所述装置还包括：控制模块，被配置为在确定发生车道偏离时，向报警模块发送控制信号，所述控制信号用于控制报警模块进行报警。
本发明还提供一种车辆，所述车辆包括：全景影像系统，用于获取车辆全景图像；以及根据本发明提供的所述车道偏离检测装置。
在上述技术方案中，首先可以通过全景影像系统获取车辆全景图像，基于车辆全景图像，图像中的车道信息会更明显，从而为后续车道线提取以及车道偏离检测提供更准确和全面的图像数据支持。另外，在进行车道线提取时，利用车道线自身所具有的灰度值偏高、并且具有一定宽度的特点，通过设置灰度阈值条件和双方向上做差判断的方式，可以从与车辆全景图像相对应的目标灰度图像中识别出候选特征点对，这些候选特征点对能够较为准确地体现车道线的边缘特征，由此，根据这些候选特征点确定出的车道特征点也更为准确，从而可以提高车道线提取的准确性以及车道偏离检测的准确性，为后续的偏离预警或者偏离控制提供更为准确的数据支持。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是在一种应用场景下，通过全景影像系统获取到的车辆全景图像的示意图。
图2是在另一种应用场景下，通过全景影像系统获取到的车辆全景图像的示意图。
图3是根据本发明的实施方式的车道偏离检测方法的流程图。
图4是候选特征点对识别过程的示意图。
图5A和图5B是根据本发明的另外两种实施方式的车道偏离检测方法的流程图。
图6是在直方图上标记候选增强区域的过程的示意图。
图7是根据本发明的另一实施方式的车道偏离检测方法的流程图。
图8是根据本发明的一种实施方式的车道偏离检测装置的框图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
目前，越来越多的车辆上配置了全景影像系统，该系统可以将采集到的车身四周图像合成为一幅俯视效果图像，为360度全景图像，如图1所示。通过对该全景图像进行处理，能够提取出车道线并判断是否发生车道偏离。
然而，在一些相关的车道线提取技术中，采用单方向做差判断的方式。例如，假设获取到的全景图像如图2所示，在进行车道线识别时，通过逐行并逐个扫描图像上的每个像素点，判断像素点的灰度值是否发生较大变化(例如，像素点间的灰度差超过预定的灰度差阈值)的方式来识别该像素点是否为车道特征点。例如，如图2所示，当从区域201中的像素点X1扫描到区域202中的同一行的像素点X2时，由于像素点X2与像素点X1之间的灰度差满足超过预定的灰度差阈值这一条件，因此，会将像素点X1与像素点X2之间的分割识别为是车道线。然而，实际上，发生灰度值变化的原因在于车身影子的影响。由于车身影子特征符合上述判断条件，因此，基于该方式，车身影子边缘会被误识别为车道，从而降低了车道识别准确率。
对此，本发明提供一种基于灰度阈值条件和双方向上做差判断的方式来识别车道线的车道偏离检测方法及装置。
图3示出了根据本发明的实施方式的车道偏离检测方法的流程图。如图3所示，该方法可以包括：
在步骤S301中，获取车辆全景图像。可以从车辆上配置的全景影像系统获取车辆全景图像，例如，获取到的车辆全景图像可以如图1或图2所示。
在步骤S302中，获取与车辆全景图像相对应的目标灰度图像。可以利用本领域技术人员公知的图像处理技术来将车辆全景图像转换成灰度图像。
在步骤S303中，从目标灰度图像中识别出候选特征点对，其中，如图4所示，该候选特征点对可以包括第一像素点P1(i,j1)和第二像素点P2(i,j2)，其中，第一像素点P1(i,j1)和第二像素点P2(i,j2)的灰度值大于或等于灰度阈值，并且，第一像素点P1(i,j1)与第三像素点P3(i,j1-k)之间的灰度差大于或等于预设的第一灰度差阈值，第二像素点P2(i,j2)与第四像素点P4(i,j2+k)之间的灰度差大于或等于该第一灰度差阈值，第一像素点P1(i,j1)与第二像素点P2(i,j2)之间的灰度差小于预设的第二灰度差阈值。其中，i为像素点所在行，j1为第一像素点所在列，j2为第二像素点所在列，j1<j2，k为预设列间隔，并且k≥1。
在本发明中，第一灰度差阈值用于判断两个像素点之间的灰度值是否相差过大，第二灰度差阈值用于判断两个像素点之间的灰度值是否接近。因此，可以将第二灰度差阈值设置成小于第一灰度差阈值。
具体地，在获取到目标灰度图像后，可以对该目标灰度图像上的像素点逐行并逐个进行扫描。由于车道线大多是白色的，其像素点的灰度值应该是较高的。并且，车道线具有一定宽度，例如，在图4所示的图像中，当从左向右进行扫描时，当扫描进入车道线区域时，像素点的灰度值会增大。随着扫描的继续进行，在接下来的若干个像素点中，灰度值会保持相对稳定(即，不变或者变化较小)。随着扫描的继续进行，当离开车道线区域时，像素点的灰度值会减小。本发明正是基于车道线自身所具有的这两个特点，分别设置了灰度阈值条件并进行双方向上做差判断，以从目标灰度图像中识别出车道特征点。
例如，如图4所示，当在目标灰度图像的第i行上进行扫描时，可以对该第i行上的像素点从左到右逐个进行扫描，并且可选地，可以实时记录每个像素点的灰度值。在从第三像素点P3(i,j1-k)到第一像素点P1(i,j1)的扫描过程中，由于第一像素点P1(i,j1)与第三像素点P3(i,j1-k)之间的灰度差大于预设的第一灰度差阈值，因此，可以初步确定该第一像素点P1(i,j1)可能是车道线左边缘上的特征点。由于车道线自身具有一定宽度，因此，在从第一像素点P1(i,j1)继续向右扫描时，理论上，像素点的灰度值不会发生明显变化(例如，灰度变化量小于第二灰度差阈值)。当扫描经过一些像素点后，如果像素点的灰度值明显减小(例如，从第二像素点P2(i,j2)扫描到第四像素点P4(i,j2+k)，二者之间的灰度差大于第一灰度差阈值)，则可以确定第二像素点P2(i,j2)为车道线右边缘上的特征点，并且可以进一步确定出之前的第一像素点P1(i,j1)确实为车道线左边缘上的特征点。由第一像素点P1(i,j1)和第二像素点P2(i,j2)所组成的特征点对将作为候选特征点对，以用于后续确定车道特征点。由于识别出的候选特征点对中包括具有特定横向宽度的特征点，因此，可以滤掉只有单方向变化特征的干扰，如车身影子或是其他物体影子，从而可以提高车道识别率。
通过对目标灰度图像逐行进行扫描，可以确定出多个候选特征点对。
在步骤S304中，根据候选特征点对，确定车道特征点。例如，在一个实施方式中，可以从每个候选特征点对中的第一像素点和第二像素点中选择其中一者作为车道特征点，或者可以将位于每个候选特征点对中的第一像素点与第二像素点之间的像素点作为车道特征点，等等。
在步骤S305中，根据车道特征点提取车道线，并根据车辆与车道线间的位置关系确定是否发生车道偏离。例如，在确定出车道特征点后，可以利用霍夫(Hough)变换来根据车道特征点提取车道线。在提取出车道线后，可以根据车辆当前位置确定出与车道线的位置关系，并以此判断是否发生车道偏离的情况。
在上述技术方案中，首先可以通过全景影像系统获取车辆全景图像，基于车辆全景图像，图像中的车道信息会更明显，从而为后续车道线提取以及车道偏离检测提供更准确和全面的图像数据支持。另外，在进行车道线提取时，利用车道线自身所具有的灰度值偏高、并且具有一定宽度的特点，通过设置灰度阈值条件和双方向上做差判断的方式，可以从与车辆全景图像相对应的目标灰度图像中识别出候选特征点对，这些候选特征点对能够较为准确地体现车道线的边缘特征，由此，根据这些候选特征点确定出的车道特征点也更为准确，从而可以提高车道线提取的准确性以及车道偏离检测的准确性，为后续的偏离预警或者偏离控制提供更为准确的数据支持。
图5A和图5B示出了根据本发明的另外两种实施方式的车道偏离检测方法的流程图。首先，如图5A所示，该方法可以包括：
在步骤S501中，获取车辆全景图像。该步骤S501的实施同上面结合图3所描述的步骤S301的实施相同。
在步骤S502中，将车辆全景图像转换为相对应的初始灰度图像。其中，可以利用本领域技术人员公知的图像处理技术来将车辆全景图像转换成灰度图像，该灰度图像作为初始灰度图像。
在步骤S503中，将初始灰度图像作为待增强图像，并对该待增强图像进行增强处理，处理后得到的图像为目标灰度图像。在该步骤中，通过图像增强技术，可以更加突出待增强图像中感兴趣的部分，从而提高车道识别率。
在步骤S504中，从目标灰度图像中识别出候选特征点对。
在步骤S505中，根据候选特征点对，确定车道特征点。
在步骤S506中，根据车道特征点提取车道线，并根据车辆与车道线间的位置关系确定是否发生车道偏离。步骤S504至步骤S506的实施同上面结合图3所描述的步骤S303至步骤S305的实施相同。
可替换地，如图5B所示，该方法可以包括：
在步骤S501中，获取车辆全景图像。
在步骤S502中，将车辆全景图像转换为相对应的初始灰度图像。
在步骤S507中，将初始灰度图像划分为多个灰度子图像。例如，将初始灰度图像划分为N个灰度子图像，分别编号为I1、I2、…、IN。
在步骤S508中，分别将每个灰度子图像作为待增强图像，并对该待增强图像进行增强处理，处理后得到的图像为目标灰度子图像。
该步骤S508和图5A中的步骤S503的区别在于，在步骤S503中，待增强图像为整个初始灰度图像，而在步骤S508中，待增强图像为从整个初始灰度图像中分割出的各个灰度子图像，针对每个灰度子图像，逐个进行增强处理，并得到相应数量的目标灰度子图像。
在步骤S509中，对目标灰度子图像进行拼接，得到目标灰度图像。由于在步骤S507中将初始灰度图像划分为多个灰度子图像，因此，通过步骤S509，可以再将增强处理后得到的目标灰度子图像重新拼接成一幅灰度图像，也就是划分的逆过程，这样，所得到的灰度图像为目标灰度图像。
在步骤S504中，从目标灰度图像中识别出候选特征点对。
在步骤S505中，根据候选特征点对，确定车道特征点。
在步骤S506中，根据车道特征点提取车道线，并根据车辆与车道线间的位置关系确定是否发生车道偏离。
在图5A和图5B所示的实施方式中，通过对灰度图像进行增强处理，可以更加突出待增强图像中感兴趣的部分，从而提高车道识别准确率。
可以采用本领域技术人员公知的任意图像增强技术来实现图像的增强处理。在本发明中，为了增强车道线区域的灰度值，以便后续更为准确地进行车道识别，可以采用以下方式来对待增强图像进行增强处理。
首先，获取待增强图像的直方图，例如，所获取到的直方图如图6所示。其中，直方图的横坐标为灰度值，范围为[0,255]，纵坐标为待增强图像中、各个灰度值下对应的像素点的个数。
接下来，在直方图上、以预设的初始灰度值为中心设置滑动窗。例如，假设预设的初始灰度值为h，那么，可以以该灰度值为中心设置滑动窗，其中，滑动窗的宽度为2H+1，滑动窗的左边界对应的灰度值为h-H，滑动窗的右边界对应的灰度值为h+H，H≥1。
接下来，确定落入滑动窗内的像素点总数，并记录该滑动窗的位置和滑动窗内的像素点总数。例如，可以按照以下等式来确定落入滑动窗内的像素点总数：
Figure BDA0000955914540000111
其中，TT(h)表示落入滑动窗内的像素点总数，T(h)表示灰度值h所对应的像素点数量。
接下来，按照预设步长、朝向灰度值增大的方向移动滑动窗，并重复执行上述确定落入滑动窗内的像素点的总数，并记录滑动窗的位置和滑动窗内的像素点总数的步骤，直到滑动窗达到直方图的最大灰度值为止。也就是说，滑动窗每滑动一次，就记录下本次滑动窗所在位置以及落入滑动窗内的像素点总数，直到滑动窗达到直方图的最大灰度值变为不可滑动的状态为止。
接下来，根据所记录的滑动窗的位置和滑动窗内的像素点总数，在直方图中标记候选增强区域，其中，候选增强区域由连续多个、其内像素点总数大于或等于预定数量的滑动窗覆盖而成。
例如，假设初始设置的滑动窗被移动了五次，那么总共可以记录下六个滑动窗位置，包括初始设置的滑动窗所在的位置以及该滑动窗每移动一次后所在的位置，并且还可以记录下这六个滑动窗中的每个滑动窗内的像素点总数。例如，将六个滑动窗分别记为W1、W2、W3、W4、W5和W6，每个滑动窗内的像素点总数分别记为O1、O2、O3、O4、O5和O6。可以预先设定一预定数量，这样，可以从这些滑动窗中筛选出其内像素点总数大于或等于该预定数量的滑动窗，例如，假设滑动窗W1内的像素点总数O1、滑动窗W4内的像素点总数O4小于该预定数量，而滑动窗W2内的像素点总数O2、滑动窗W3内的像素点总数O3、滑动窗W5内的像素点总数O5、以及滑动窗W6内的像素点总数O6大于该预定数量，因此，可以首先筛选出滑动窗W2、W3、W5和W6。接下来，判断这些筛选出的滑动窗中是否包括连续的滑动窗。例如，从上面筛选出的滑动窗来看，滑动窗W2和W3是连续的，滑动窗W5和W6是连续的。之后，将这些连续的、其内像素点总数大于或等于预定数量的滑动窗所覆盖的区域标记为候选增强区域，例如，将滑动窗W2和W3所覆盖的区域标记为候选增强区域S1，将滑动窗W5和W6所覆盖的区域标记为候选增强区域S2。
接下来，将待增强图像中、落入灰度等级最高的候选增强区域内的各个像素点的灰度值提升。
在标记出候选增强区域后，可以从这些候选增强区域中确定出灰度等级最高的候选增强区域，该候选增强区域可以被认为是包括了车道特征点的灰度值区域，然后提升落入到该候选增强区域内的各个像素点的灰度值，从而达到增强车道特征点的灰度值的效果。由于车道特征点的灰度值被增强，因此，会使得目标灰度图像中的车道特征更明显，为后续确定车道特征点做铺垫，提高车道识别准确率。
此外，在另一可选的实施方式中，上述增强处理过程还可以包括以下步骤：将待增强图像中、落入灰度等级最低的候选增强区域内的各个像素点的灰度值降低。
在标记出候选增强区域后，可以从这些候选增强区域中确定出灰度等级最低的候选增强区域。由于车道特征点的灰度值较高，因此，其落入灰度等级最低的候选增强区域的可能性不高。通过降低落入该灰度等级最低的候选增强区域内的各个像素点的灰度值，可以消除这些像素点对在后续确定车道特征点时产生的干扰，进一步提高车道特征点识别准确性，从而提高车道识别率。
如在图3、图5A和图5B所示的方法中所描述的，候选特征点对中的第一像素点和第二像素点要同时符合灰度阈值条件以及双方向上的灰度差条件。其中，在设定灰度阈值条件时，可以根据经验数据来设置，或者，可以将该灰度阈值设置为第一像素点P1(i,j1)和所述第二像素点P2(i,j2)所在行上(即，第i行)的全部像素点的平均灰度值。这样，可以针对不同的灰度图像，来自动设置相适应的灰度阈值。通过利用灰度图像自身像素点的灰度属性来设置灰度阈值，可以在一定程度上消除由人为或主观因素带来的影响，使灰度阈值更为合理及客观。
另外，在一些可选的实施方式中，在根据候选特征点对，确定车道特征点时，可以将每个候选特征点对中，第一像素点P1(i,j1)与第二像素点P2(i,j2)之间的中间像素点确定为是车道特征点，其中，该中间像素点可以表示为
Figure BDA0000955914540000131
图7示出了根据本发明的另一实施方式的车道偏离检测方法的流程图。如图7所示，该方法可以包括：
在步骤S701中，获取车辆全景图像。
在步骤S702中，获取与车辆全景图像相对应的目标灰度图像。
在步骤S703中，从目标灰度图像中识别出候选特征点对。
在步骤S704中，根据候选特征点对，确定车道特征点。
在步骤S705中，根据车道特征点提取车道线，并根据车辆与车道线间的位置关系确定是否发生车道偏离。其中，上述步骤S701至步骤S705的实施同上面结合图3所描述的步骤S301至步骤S305的实施相同。
在步骤S706中，在确定发生车道偏离时，向报警模块发送控制信号，该控制信号用于控制报警模块进行报警。
这样，通过报警方式可以提醒驾驶员注意当前车辆已偏离车道，应及时采取措施。在本发明中，报警模块可以为多种类型的报警模块，例如，警告灯、语音提醒模块等等。通过控制报警模块进行报警，还可以对车辆周围的其他车辆和人员起到警示作用，从而避免出现行车事故，提高行车安全。
通过本发明提供的上述方法来识别车道线，除了可以提高车道识别准确率之外，还可以降低误警率，提升用户体验。
图8是根据本发明的一种实施方式的车道偏离检测装置的框图。如图8所示，该车道偏离检测装置800可以包括：
车辆全景图像获取模块801，被配置为获取车辆全景图像；
目标灰度图像获取模块802，被配置为获取与车辆全景图像相对应的目标灰度图像；
候选特征点对识别模块803，被配置为从目标灰度图像中识别出候选特征点对，该候选特征点对包括第一像素点P1(i,j1)和第二像素点P2(i,j2)，其中，所述第一像素点P1(i,j1)和第二像素点P2(i,j2)的灰度值大于或等于灰度阈值，并且，所述第一像素点P1(i,j1)与第三像素点P3(i,j1-k)之间的灰度差大于或等于预设的第一灰度差阈值，所述第二像素点P2(i,j2)与第四像素点P4(i,j2+k)之间的灰度差大于或等于所述第一灰度差阈值，所述第一像素点P1(i,j1)与所述第二像素点P2(i,j2)之间的灰度差小于预设的第二灰度差阈值，i为像素点所在行，j1为所述第一像素点所在列，j2为所述第二像素点所在列，j1<j2，k为预设列间隔，并且k≥1；
车道特征点确定模块804，被配置为根据候选特征点对，确定车道特征点；
车道线偏离检测模块805，被配置为根据所述车道特征点提取车道线，并根据车辆与所述车道线间的位置关系确定是否发生车道偏离。
在上述技术方案中，首先可以通过全景影像系统获取车辆全景图像，基于车辆全景图像，图像中的车道信息会更明显，从而为后续车道线提取以及车道偏离检测提供更准确和全面的图像数据支持。另外，在进行车道线提取时，利用车道线自身所具有的灰度值偏高、并且具有一定宽度的特点，通过设置灰度阈值条件和双方向上做差判断的方式，可以从与车辆全景图像相对应的目标灰度图像中识别出候选特征点对，这些候选特征点对能够较为准确地体现车道线的边缘特征，由此，根据这些候选特征点确定出的车道特征点也更为准确，从而可以提高车道线提取的准确性以及车道偏离检测的准确性，为后续的偏离预警或者偏离控制提供更为准确的数据支持。
在一些可选的实施方式中，所述目标灰度图像获取模块802可以包括：转换子模块，被配置为将所述车辆全景图像转换为相对应的初始灰度图像；增强处理子模块，被配置为将所述初始灰度图像作为待增强图像，并对所述待增强图像进行增强处理，处理后得到的图像为所述目标灰度图像。
或者，在另一些可选的实施方式中，所述目标灰度图像获取模块802可以包括：转换子模块，被配置为将所述车辆全景图像转换为相对应的初始灰度图像；图像分割子模块，被配置为将所述初始灰度图像划分为多个灰度子图像；增强处理子模块，被配置为分别将每个所述灰度子图像作为待增强图像，并对所述待增强图像进行增强处理，处理后得到的图像为目标灰度子图像；图像拼接子模块，被配置为对所述目标灰度子图像进行拼接，得到所述目标灰度图像。
在一些可选的实施方式中，所述增强处理子模块可以包括：直方图获取单元，被配置为获取所述待增强图像的直方图；滑动窗设置单元，被配置为在所述直方图上、以预设的初始灰度值为中心设置滑动窗；记录单元，被配置为确定落入所述滑动窗内的像素点总数，并记录所述滑动窗的位置和所述滑动窗内的像素点总数；滑动窗移动单元，被配置为按照预设步长、朝向灰度值增大的方向移动所述滑动窗，并重复运行所述记录单元，直到所述滑动窗达到所述直方图的最大灰度值为止；标记单元，被配置为根据所记录的滑动窗的位置和所述滑动窗内的像素点总数，在所述直方图中标记候选增强区域，其中，所述候选增强区域由连续多个、其内像素点总数大于或等于预定数量的滑动窗覆盖而成；以及增强处理单元，被配置为将所述待增强图像中、落入灰度等级最高的候选增强区域内的各个像素点的灰度值提升。
在一些可选的实施方式中，所述增强处理单元还可以被配置为将所述待增强图像中、落入灰度等级最低的候选增强区域内的各个像素点的灰度值降低。
在一些可选的实施方式中，所述灰度阈值为所述第一像素点P1(i,j1)和所述第二像素点P2(i,j2)所在行上的全部像素点的平均灰度值。
在一些可选的实施方式中，所述车道特征点确定模块被配置为将所述第一像素点P1(i,j1)与所述第二像素点P2(i,j2)之间的中间像素点确定为是所述车道特征点。
在一些可选的实施方式中，所述装置800还可以包括：控制模块，被配置为在确定发生车道偏离时，向报警模块发送控制信号，所述控制信号用于控制报警模块进行报警。
关于上述实施例中的装置，其中各个模块及单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
此外，本发明还提供一种车辆，该车辆可以包括全景影像系统，用于获取车辆全景图像；以及根据本发明提供的上述车道偏离检测装置。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (15)

1.一种车道偏离检测方法，其特征在于，所述方法包括：
获取车辆全景图像；
获取与所述车辆全景图像相对应的目标灰度图像；
从所述目标灰度图像中识别出候选特征点对，所述候选特征点对包括第一像素点P1(i,j1)和第二像素点P2(i,j2)，其中，所述第一像素点P1(i,j1)和第二像素点P2(i,j2)的灰度值大于或等于灰度阈值，并且，所述第一像素点P1(i,j1)与第三像素点P3(i,j1-k)之间的灰度差大于或等于预设的第一灰度差阈值，所述第二像素点P2(i,j2)与第四像素点P4(i,j2+k)之间的灰度差大于或等于所述第一灰度差阈值，所述第一像素点P1(i,j1)与所述第二像素点P2(i,j2)之间的灰度差小于预设的第二灰度差阈值，i为像素点所在行，j1为所述第一像素点所在列，j2为所述第二像素点所在列，j1<j2，k为预设列间隔，并且k≥1；
根据所述候选特征点对，确定车道特征点；
根据所述车道特征点提取车道线，并根据车辆与所述车道线间的位置关系确定是否发生车道偏离。
2.根据权利要求1所述的方法，其特征在于，所述获取与所述车辆全景图像相对应的目标灰度图像的步骤包括：
将所述车辆全景图像转换为相对应的初始灰度图像；
将所述初始灰度图像作为待增强图像，并对所述待增强图像进行增强处理，处理后得到的图像为所述目标灰度图像；或者
所述获取与所述车辆全景图像相对应的目标灰度图像的步骤包括：
将所述车辆全景图像转换为相对应的初始灰度图像；
将所述初始灰度图像划分为多个灰度子图像；
分别将每个所述灰度子图像作为待增强图像，并对所述待增强图像进行增强处理，处理后得到的图像为目标灰度子图像；
对所述目标灰度子图像进行拼接，得到所述目标灰度图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述待增强图像进行增强处理的步骤包括：
获取所述待增强图像的直方图；
在所述直方图上、以预设的初始灰度值为中心设置滑动窗；
确定落入所述滑动窗内的像素点总数，并记录所述滑动窗的位置和所述滑动窗内的像素点总数；
按照预设步长、朝向灰度值增大的方向移动所述滑动窗，并重复执行所述确定落入所述滑动窗内的像素点的总数，并记录所述滑动窗的位置和所述滑动窗内的像素点总数的步骤，直到所述滑动窗达到所述直方图的最大灰度值为止；
根据所记录的滑动窗的位置和所述滑动窗内的像素点总数，在所述直方图中标记候选增强区域，其中，所述候选增强区域由连续多个、其内像素点总数大于或等于预定数量的滑动窗覆盖而成；以及
将所述待增强图像中、落入灰度等级最高的候选增强区域内的各个像素点的灰度值提升。
4.根据权利要求3所述的方法，其特征在于，所述对所述待增强图像进行增强处理的步骤还包括：
将所述待增强图像中、落入灰度等级最低的候选增强区域内的各个像素点的灰度值降低。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述灰度阈值为所述第一像素点P1(i,j1)和所述第二像素点P2(i,j2)所在行上的全部像素点的平均灰度值。
6.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述候选特征点对，确定车道特征点的步骤包括：
将所述第一像素点P1(i,j1)与所述第二像素点P2(i,j2)之间的中间像素点确定为是所述车道特征点。
7.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
在确定发生车道偏离时，向报警模块发送控制信号，所述控制信号用于控制报警模块进行报警。
8.一种车道偏离检测装置，其特征在于，所述装置包括：
车辆全景图像获取模块，被配置为获取车辆全景图像；
目标灰度图像获取模块，被配置为获取与所述车辆全景图像相对应的目标灰度图像；
候选特征点对识别模块，被配置为从所述目标灰度图像中识别出候选特征点对，所述候选特征点对包括第一像素点P1(i,j1)和第二像素点P2(i,j2)，其中，所述第一像素点P1(i,j1)和第二像素点P2(i,j2)的灰度值大于或等于灰度阈值，并且，所述第一像素点P1(i,j1)与第三像素点P3(i,j1-k)之间的灰度差大于或等于预设的第一灰度差阈值，所述第二像素点P2(i,j2)与第四像素点P4(i,j2+k)之间的灰度差大于或等于所述第一灰度差阈值，所述第一像素点P1(i,j1)与所述第二像素点P2(i,j2)之间的灰度差小于预设的第二灰度差阈值，i为像素点所在行，j1为所述第一像素点所在列，j2为所述第二像素点所在列，j1<j2，k为预设列间隔，并且k≥1；
车道特征点确定模块，被配置为根据所述候选特征点对，确定车道特征点；
车道线偏离检测模块，被配置为根据所述车道特征点提取车道线，并根据车辆与所述车道线间的位置关系确定是否发生车道偏离。
9.根据权利要求8所述的装置，其特征在于，所述目标灰度图像获取模块包括：
转换子模块，被配置为将所述车辆全景图像转换为相对应的初始灰度图像；
增强处理子模块，被配置为将所述初始灰度图像作为待增强图像，并对所述待增强图像进行增强处理，处理后得到的图像为所述目标灰度图像；或者
所述目标灰度图像获取模块包括：
转换子模块，被配置为将所述车辆全景图像转换为相对应的初始灰度图像；
图像分割子模块，被配置为将所述初始灰度图像划分为多个灰度子图像；
增强处理子模块，被配置为分别将每个所述灰度子图像作为待增强图像，并对所述待增强图像进行增强处理，处理后得到的图像为目标灰度子图像；
图像拼接子模块，被配置为对所述目标灰度子图像进行拼接，得到所述目标灰度图像。
10.根据权利要求9所述的装置，其特征在于，所述增强处理子模块包括：
直方图获取单元，被配置为获取所述待增强图像的直方图；
滑动窗设置单元，被配置为在所述直方图上、以预设的初始灰度值为中心设置滑动窗；
记录单元，被配置为确定落入所述滑动窗内的像素点总数，并记录所述滑动窗的位置和所述滑动窗内的像素点总数；
滑动窗移动单元，被配置为按照预设步长、朝向灰度值增大的方向移动所述滑动窗，并重复运行所述记录单元，直到所述滑动窗达到所述直方图的最大灰度值为止；
标记单元，被配置为根据所记录的滑动窗的位置和所述滑动窗内的像素点总数，在所述直方图中标记候选增强区域，其中，所述候选增强区域由连续多个、其内像素点总数大于或等于预定数量的滑动窗覆盖而成；以及
增强处理单元，被配置为将所述待增强图像中、落入灰度等级最高的候选增强区域内的各个像素点的灰度值提升。
11.根据权利要求10所述的装置，其特征在于，所述增强处理单元还被配置为将所述待增强图像中、落入灰度等级最低的候选增强区域内的各个像素点的灰度值降低。
12.根据权利要求8-11中任一项所述的装置，其特征在于，所述灰度阈值为所述第一像素点P1(i,j1)和所述第二像素点P2(i,j2)所在行上的全部像素点的平均灰度值。
13.根据权利要求8-11中任一项所述的装置，其特征在于，所述车道特征点确定模块被配置为将所述第一像素点P1(i,j1)与所述第二像素点P2(i,j2)之间的中间像素点确定为是所述车道特征点。
14.根据权利要求8-11中任一项所述的装置，其特征在于，所述装置还包括：
控制模块，被配置为在确定发生车道偏离时，向报警模块发送控制信号，所述控制信号用于控制报警模块进行报警。
15.一种车辆，其特征在于，所述车辆包括：
全景影像系统，用于获取车辆全景图像；以及
根据权利要求8-14中任一项所述的车道偏离检测装置。
CN201610199970.8A 2016-03-31 2016-03-31 车道偏离检测方法、装置及车辆 Active CN107292214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610199970.8A CN107292214B (zh) 2016-03-31 2016-03-31 车道偏离检测方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610199970.8A CN107292214B (zh) 2016-03-31 2016-03-31 车道偏离检测方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN107292214A CN107292214A (zh) 2017-10-24
CN107292214B true CN107292214B (zh) 2020-06-19

Family

ID=60086892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610199970.8A Active CN107292214B (zh) 2016-03-31 2016-03-31 车道偏离检测方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN107292214B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6981850B2 (ja) * 2017-11-09 2021-12-17 株式会社Soken 運転支援システム
CN108545019A (zh) * 2018-04-08 2018-09-18 多伦科技股份有限公司 一种基于图像识别技术的安全辅助驾驶系统和方法
CN109271959A (zh) 2018-09-30 2019-01-25 京东方科技集团股份有限公司 一种车辆偏移预警方法及装置
CN114613147B (zh) * 2020-11-25 2023-08-04 浙江宇视科技有限公司 一种车辆违章的识别方法、装置、介质及电子设备
CN113591720A (zh) * 2021-08-02 2021-11-02 广州小鹏自动驾驶科技有限公司 车道偏离检测方法、装置及计算机存储介质
CN114821531B (zh) * 2022-04-25 2023-03-28 广州优创电子有限公司 基于电子外后视镜adas的车道线识别图像显示系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527038B (zh) * 2009-04-02 2011-06-15 四川虹微技术有限公司 一种改进的基于直方图的图像对比度增强方法
JP2012212282A (ja) * 2011-03-31 2012-11-01 Honda Elesys Co Ltd 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム
CN102208019B (zh) * 2011-06-03 2013-01-09 东南大学 基于车载摄像机的车辆变道检测方法
KR20130015746A (ko) * 2011-08-04 2013-02-14 엘지전자 주식회사 차선 인식 장치 및 그 방법
TWI523778B (zh) * 2013-11-04 2016-03-01 Lane offset warning system and method
JP5906272B2 (ja) * 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
CN104331879A (zh) * 2014-10-17 2015-02-04 上海交通大学 基于机器视觉的道路检测方法
CN104309606B (zh) * 2014-11-06 2017-05-03 中科院微电子研究所昆山分所 基于360度全景的车道偏离预警方法
CN104463806B (zh) * 2014-12-19 2017-12-29 南京理工大学 基于数据驱动技术的高度自适应图像对比度增强方法
CN105160309B (zh) * 2015-08-24 2018-12-07 北京工业大学 基于图像形态学分割及区域生长的三车道检测方法

Also Published As

Publication number Publication date
CN107292214A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107292214B (zh) 车道偏离检测方法、装置及车辆
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
EP2924653B1 (en) Image processing apparatus and image processing method
EP2924654B1 (en) Image processing apparatus and image processing method
US10818172B2 (en) Method, device and system for processing startup of preceding vehicle
EP2713309B1 (en) Method and device for detecting drivable region of road
CN106170828B (zh) 外界识别装置
US9659497B2 (en) Lane departure warning system and lane departure warning method
US11024042B2 (en) Moving object detection apparatus and moving object detection method
EP1901225A1 (en) Image processing device, image processing method, and image processing program
US20140002655A1 (en) Lane departure warning system and lane departure warning method
KR101176552B1 (ko) 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법
KR101472787B1 (ko) 차선 인식 시스템 및 그 방법
KR101406316B1 (ko) 차선 인식 장치 및 그 방법
EP3051461B1 (en) A computer implemented system and method for extracting and recognizing alphanumeric characters from traffic signs
CN112654998A (zh) 一种车道线检测方法和装置
JP5027710B2 (ja) 車両用環境認識装置および先行車追従制御システム
KR101620425B1 (ko) 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법
CN112926354A (zh) 一种基于深度学习的车道线检测方法及装置
KR101205565B1 (ko) 영상을 이용한 전후방 차량 검출 방법
Gu et al. Robust road lane detection using extremal-region enhancement
US20230360405A1 (en) Information processing device, information processing system, and information processing method
CN110688876A (zh) 一种基于视觉的车道线检测方法及装置
CN109993761B (zh) 一种三值图像获取方法、装置及车辆
EP2579229A1 (en) Vehicle surroundings monitoring device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant