CN105868688A - 行驶路面检测装置和行驶路面检测方法 - Google Patents

行驶路面检测装置和行驶路面检测方法 Download PDF

Info

Publication number
CN105868688A
CN105868688A CN201610084605.2A CN201610084605A CN105868688A CN 105868688 A CN105868688 A CN 105868688A CN 201610084605 A CN201610084605 A CN 201610084605A CN 105868688 A CN105868688 A CN 105868688A
Authority
CN
China
Prior art keywords
track
image
interpolation
region
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610084605.2A
Other languages
English (en)
Other versions
CN105868688B (zh
Inventor
伊藤宏晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN105868688A publication Critical patent/CN105868688A/zh
Application granted granted Critical
Publication of CN105868688B publication Critical patent/CN105868688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本发明提供一种行驶路面检测装置和行驶路面检测方法。基于从车载照相机拍摄的车辆周围的拍摄图像得到的视差信息，检测行驶路面，包括：行驶路面判定部，基于拍摄图像的视差信息，对分割拍摄图像而形成的每个图像区域判定是否是行驶路面；及行驶路面插补部，基于拍摄图像的亮度信息，将没有被行驶路面判定部判定为是行驶路面的图像区域作为插补候补，进行行驶路面的插补，图像区域由多个像素范围构成，行驶路面插补部将插补候补的图像区域中的、与相邻的像素范围的亮度差为第1阈值以下的像素范围的数量为第2阈值以上的图像区域、或者与相邻的像素范围的亮度差为第1阈值以下的像素范围的比例为第3阈值以上的图像区域作为行驶路面来进行插补。

Description

行驶路面检测装置和行驶路面检测方法
技术领域
本发明涉及根据拍摄图像来检测行驶路面的行驶路面检测装置和行驶路面检测方法。
背景技术
以往，作为涉及到根据由立体相机拍摄的车辆周围的拍摄图像的视差信息来检测车辆的行驶路面的装置的技术文献，已知有下述的专利文献1。专利文献1记载了利用拍摄图像中的视差信息(距离信息)来检测行驶路面的装置。
现有技术文献
专利文献
专利文献1：US2014/0071240号公报
发明内容
本发明欲解决的问题
然而，从拍摄图像提取视差信息(三维位置的复原)的提取精度在行驶路面(例如沥青面)这样的亮度差小的区域中会下降。因此，存在的问题是，不能检测必要充分的范围的行驶路面。所以，在本技术领域中，期望能够使行驶路面的检测范围提高的行驶路面检测装置和行驶路面检测方法。
用于解决问题的方案
为解决上述问题，本发明的一个形态是一种行驶路面检测装置，基于从车载照相机拍摄的车辆周围的拍摄图像得到的视差信息，检测行驶路面，行驶路面检测装置包括：行驶路面判定部，其基于拍摄图像的视差信息，对分割拍摄图像而形成的每个图像区域判定是否是行驶路面；及行驶路面插补部，其基于拍摄图像的亮度信息，将没有被行驶路面判定部判定为是行驶路面的图像区域作为插补候补，进行行驶路面的插补，图像区域由单个像素范围或多个像素范围构成，行驶路面插补部将插补候补的图像区域中的、与相邻的像素范围的亮度差为第1阈值以下的像素范围的数量为第2阈值以上的图像区域、或者与相邻的像素范围的亮度差为第1阈值以下的像素范围的比例为第3阈值以上的图像区域作为行驶路面来进行插补。
根据该行驶路面检测装置，由于对于拍摄图像上亮度变化大的图像区域能高精度地得到视差信息，从而能够利用视差信息进行行驶路面的判定。另一方面，对于拍摄图像上亮度变化小的图像区域，能够作为基于亮度信息的行驶路面的插补的候补。所以，根据该行驶路面检测装置，与仅根据视差信息来检测行驶路面的情况相比，能够提高行驶路面的检测范围。
在上述行驶路面检测装置中，也可以是，行驶路面检测装置具有插补候补识别部，所述插补候补识别部将没有被行驶路面判定部判定为是行驶路面的图像区域中的、与车载照相机的距离为第4阈值以下的图像区域作为插补候补。根据该行驶路面检测装置，由于视差信息的精度随着距离车载照相机越远而越低，所以通过将与车载相机的距离为第4阈值以下的图像区域作为插补候补，从而能够避免插补候补无限制地扩大到远方的图像区域，能够避免进行错误的行驶路面的插补。
在上述行驶路面检测装置中，也可以是，行驶路面检测装置还包括行车线边界检测部，行车线边界检测部基于拍摄图像来检测车辆所行驶的行驶行车线的行车线边界，行驶路面检测装置所具有的插补候补识别部将没有被行驶路面判定部判定为是行驶路面的图像区域中的、与由行车线边界检测部检测的行车线边界相比在行驶行车线侧的图像区域作为插补候补。根据该行驶路面检测装置，由于有的情况下不需要将行驶路面的检测进行到车辆所行驶的行驶行车线的外侧，所以将与白线等行车线边界相比在行驶行车线侧的图像区域作为插补候补，从而能够避免错误地将行驶行车线的外侧的路肩的台阶部分等作为行驶路面进行插补。
在上述行驶路面检测装置中，也可以是，行驶路面检测装置所具有的插补候补识别部将没有被行驶路面判定部判定为是行驶路面的图像区域中的、与由行驶路面判定部判定为是行驶路面的图像区域或者由行驶路面插补部插补为行驶路面的图像区域相邻的、图像区域作为插补候补。根据该行驶路面检测装置，由于行驶路面连续，所以通过将与被判定为行驶路面的图像区域或者被插补为行驶路面的图像区域相邻的图像区域作为插补候补，从而能够避免错误地将与行驶路面分离开的壁面等作为行驶路面进行插补。
在上述的行驶路面检测装置中，也可以是相邻的像素范围可以包括倾斜位置的像素范围。
在上述的行驶路面检测装置中，也可以是所述像素范围由单个或多个像素构成，在像素范围由多个像素构成的情况下，像素范围的亮度为各像素的亮度的平均值或各像素的亮度的最大值。
本发明的其他形态是一种行驶路面检测方法，是基于从车载照相机拍摄的车辆周围的拍摄图像得到的视差信息，检测行驶路面的行驶路面检测装置的行驶路面检测方法，行驶路面检测方法包括以下工序：行驶路面判定工序，由行驶路面检测装置的行驶路面判定部，基于拍摄图像的视差信息，对分割拍摄图像而形成的每个图像区域判定是否是行驶路面；及行驶路面插补工序，由行驶路面检测装置的行驶路面插补部，基于拍摄图像的亮度信息，将在行驶路面判定工序中没有被判定为是行驶路面的图像区域作为插补候补，进行拍摄图像中的行驶路面的插补，图像区域由多个像素范围构成，在行驶路面插补工序中，将插补候补的图像区域中的、与相邻的像素范围的亮度差为第1阈值以下的像素范围的数量为第2阈值以上的图像区域、或者与相邻的像素范围的亮度差为第1阈值以下的像素范围的比例为第3阈值以上的图像区域作为行驶路面来进行插补。
根据该行驶路面检测方法，由于对于图像上亮度变化大的图像区域能高精度地得到视差信息，从而能够利用视差信息进行行驶路面的判定。另一方面，对于图像上亮度变化小的图像区域，能够作为基于亮度信息的行驶路面的插补的候补。所以，根据该行驶路面检测方法，与仅根据视差信息来检测行驶路面的情况相比，能够使行驶路面的检测范围提高。
发明的效果
如以上说明，根据本发明的各种形态，能够使行驶路面的检测范围提高。
附图说明
图1是示出本实施方式的行驶路面检测装置的框图。
图2是示出由立体相机拍摄的拍摄图像的图。
图3(a)是示出被分割为多个图像区域的拍摄图像的图。(b)是多个图像区域所对应的栅格图。
图4(a)是示出栅格图中的行驶路面的插补候补的图。(b)是示出拍摄图像中的行驶路面的插补候补的图。(c)是示出构成插补候补的图像区域的多个像素范围的图。
图5(a)是示出栅格图中的插补行驶路面的图。(b)是示出行驶路面的插补完成的状态的一个例子的栅格图。
图6(a)是示出由距立体相机的距离进行的插补候补的限制的栅格图。(b)的图所示出的拍摄图像示出由距立体相机的距离进行的插补候补的限制。
图7是示出由行驶行车线的行车线边界进行的插补候补的限制的栅格图。
图8(a)是示出由与行驶路面的图像区域的相邻进行的插补候补的限制的栅格图。(b)是示出通过新的行驶路面的插补而扩大了插补候补的状况的栅格图。
图9是示出本实施方式的行驶路面检测装置所进行的行驶路面检测方法的流程图。
图10是示出行驶路面检测装置所进行的行驶路面的插补方法的流程图。
标号的说明
1…行驶路面检测装置、2…ECU、3…立体相机、4…第1照相机、5…第2照相机、10…图像获取部(行车线边界检测部)、11…三维位置复原部、12…行驶路面判定部、13…插补候补识别部、14…行驶路面插补部、15…行驶路面信息输出部、C…人行横道、D…第4阈值、G…栅格线、GD…栅格线G的横线、L1、L2、L3…白线(行车线边界)、M…车辆、Pa、Pb…插补候补(图像区域)、PM…插补区域、Q1-Q8…像素范围、R…路面判定区域、R1…第1路面判定区域、R2…第2路面判定区域、R3…第3路面判定区域
具体实施方式
下面，参照附图说明本发明的实施方式。
图1所示的本实施方式的行驶路面检测装置1例如搭载在乘用车等车辆中，基于从拍摄车辆周围而成的拍摄图像得到的视差信息(与车载照相机的距离信息)来检测行驶路面。行驶路面例如是指车辆能行驶的路面。此外，行驶路面除了包含车辆行驶的道路的路面之外，还可以包含停车场的通道和停车位的路面。
行驶路面检测装置1利用拍摄车辆周围的车载照相机来获取拍摄图像，基于从拍摄图像生成的视差图像的视差信息来检测行驶路面。视差图像是指包含视差信息的图像。例如，构成视差图像的各像素包含视差信息。
[行驶路面检测装置的构成]
如图1所示，行驶路面检测装置1包括用于检测行驶路面的ECU(电子控制单元)2、和立体相机(车载照相机)3。ECU2是具有CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)等的电子控制单元。在ECU2中，将储存在ROM中的程序加载到RAM并由CPU执行，从而执行各种处理。ECU2也可以由多个电子控制单元构成。
立体相机3是拍摄车辆周围并获取拍摄图像的图像获取设备。立体相机3具有以再现双眼视差的方式配置的第1照相机4和第2照相机5。第1照相机4和第2照相机5例如设在车辆的前玻璃的里侧，拍摄车辆的前方。此外，第1照相机4和第2照相机5也可以设在车辆的侧部或者车辆的后部(例如后玻璃的里侧)，拍摄车辆的侧方或者后方。立体相机3将拍摄的拍摄图像向ECU2发送。
此外，行驶路面检测装置1也可以包括单眼照相机来代替立体相机3。在单眼照相机中，通过使用已知的方法(例如利用了拍摄的时间差的方法)，也能够从拍摄图像来得到视差图像。
接下来，说明ECU2的功能构成。如图1所示，ECU2具有图像获取部10、三维位置复原部11、行驶路面判定部12、插补候补识别部13、行驶路面插补部14、和行驶路面信息输出部15。
图像获取部10获取立体相机3所拍摄的拍摄图像。此处，图2是示出由立体相机3拍摄的拍摄图像的图。图2是拍摄车辆前方的拍摄图像。在图2中示出了形成车辆的行驶行车线的白线(行车线边界线)L1、L2、与白线L1一起形成相邻行车线的白线L3、及人行横道C。图像获取部10例如基于立体相机3的第1照相机4的拍摄图像和第2照相机5的拍摄图像，利用已知的方法生成包含视差信息的视差图像。
此外，图像获取部10也可以基于获取的拍摄图像，检测车辆所行驶的行驶行车线的行车线边界。图像获取部10例如也可以对拍摄图像进行已知的图像处理(例如边缘检测处理)，从而进行白线识别(白线L1、L2的识别)。在该情况下，图像获取部10作为行车线边界检测部发挥功能。
三维位置复原部11基于视差信息，将构成拍摄图像的各像素所对应的三维位置信息(三维位置坐标)复原。三维位置复原部11利用已知的方法，将拍摄图像的各像素所对应的三维位置信息复原。
另外，三维位置复原部11利用栅格线G来分割拍摄图像，形成图像区域。图像区域是指将拍摄图像分割而成的区域。图3(a)是示出被分割为多个图像区域的拍摄图像的图。栅格线G的横线例如是与拍摄图像的横向(车辆的车宽方向)平行的多条线。栅格线G的纵线例如是朝向拍摄图像的消失点而收敛的多条线。如图3(a)所示，三维位置复原部11例如以梯形将拍摄图像分割为多个图像区域，该梯形从拍摄图像的下侧(即车辆的跟前侧)越朝向上侧，图像区域的横向宽度越小。此外，图3(a)所示的栅格线G和图像区域是一个例子，栅格线G和图像区域的分割的方法没有特别限定，能够采用已知的方法。
行驶路面判定部12使用基于视差信息复原的三维位置信息，对每个图像区域判定是否是行驶路面。行驶路面判定部12例如将拍摄图像隔开为长条状的区域，并通过将在各区域中从拍摄图像的下端朝向上侧视差变化(距离变化、高度变化)为连续的像素分组化，从而判定为行驶路面。长条状的区域例如也可以是将多个图像区域在拍摄图像的纵向相连而成的区域。另外，行驶路面判定部12也可以在长条状的各区域中，从所谓的拍摄图像纵坐标系的视差分布特性(视差变化)提取从拍摄图像的下端朝向上侧连续的路面视差，并适用到预先储存的行驶路面的距离-高度坐标系的数据，从而进行行驶路面的判定。此外，行驶路面判定部12也可以基于拍摄图像所包含的视差信息，利用已知的方法，对每个图像区域判定是否是行驶路面。
图3(b)是多个图像区域所对应的栅格图。图3(b)所示的栅格图是以距离(车辆的行进方向的距离)为纵轴，横向位置(车辆的车宽方向的位置)为横轴来示出图像区域的图。在栅格图的下侧示出车辆M。行驶路面判定部12例如根据拍摄图像生成栅格图，在栅格图上进行行驶路面的判定。行驶路面判定部12例如以各图像区域构成正方形的方式生成栅格图。此外，行驶路面判定部12在行驶路面的判定中不一定需要使用栅格图，也可以不生成栅格图。
在图3(b)中，示出被行驶路面判定部12判定为行驶路面的图像区域即路面判定区域R。在图3(b)中，示出离车辆M最近的第1路面判定区域R1、位于第1路面判定区域R1的远侧(从车辆M观察的远侧)的第2路面判定区域R2、位于最远侧的第3路面判定区域R3。如图3(b)所示，基于视差信息进行的行驶路面的判定因视差信息的精度而难以检测出必要充分的区域，会产生分散的区域(散在的区域)被判定为行驶路面的状况。
插补候补识别部13识别行驶路面的插补候补。插补候补识别部13例如将拍摄图像的图像区域中的没有被行驶路面判定部12判定为行驶路面的所有图像区域识别为插补候补。插补候补识别部13也可以将没有被行驶路面判定部12判定为行驶路面的图像区域中的仅一部分图像区域识别为插补候补。后文详述插补候补的变形例。
行驶路面插补部14基于拍摄图像的亮度信息，判定是否将插补候补识别部13所识别的插补候补作为行驶路面进行插补。亮度信息例如是指拍摄图像的各像素的亮度的信息。
此处，图4(a)是示出栅格图中的行驶路面的插补候补Pa的图。插补候补Pa是没有被行驶路面判定部12判定为行驶路面的图像区域，是由插补候补识别部13识别为插补候补的图像区域。下面，使用1个插补候补Pa来说明行驶路面的插补。
图4(b)是示出拍摄图像中的行驶路面的插补候补Pa的图。图4(b)所示的插补候补Pa与图4(a)所示的插补候补Pa对应。另外，图4(c)是示出构成插补候补Pa的多个像素范围Q1～Q8的图。像素范围是在拍摄图像上由1个像素构成的范围或者由多个像素构成的范围。像素范围是指比图像区域小的范围，图像区域由单个或者多个像素范围构成。此外，像素范围是在所有的图像区域中包含数量相同的像素的相同形状的范围。图像区域所包含的像素范围的数量例如随着距立体相机3的距离增加而减少。
行驶路面插补部14判定插补候补Pa是否是低质感区域。低质感区域是指相邻的像素范围的亮度差为第1阈值以下的像素范围的数量为第2阈值以上的图像区域、或者相邻的像素范围的亮度差为第1阈值以下的像素范围的比例为第3阈值以上的图像区域。相邻的像素范围是指互相相邻的像素范围。例如，图4(c)所示的像素范围Q1与像素范围Q2互相相邻。像素范围Q2与像素范围Q3互相相邻。像素范围Q3与像素范围Q2、Q4、Q6互相相邻。此外，也可以使像素范围Q3作为与倾斜位置的像素范围Q1、Q7、Q5相邻，也可以使像素范围Q3作为与像素范围Q1、Q7、Q5不相邻。
亮度差是指相邻的像素范围的亮度之差。在像素范围由单个像素构成的情况下，像素范围的亮度是该像素的亮度。在像素范围由多个像素构成的情况下，像素范围的亮度例如既可以是各像素的亮度的平均值，也可以是各像素的亮度的最大值。第1阈值是指用于判定相邻的像素范围的亮度差的阈值。第1阈值既可以是固定值，还可以是根据昼夜的区别或者天气而变化的值。行驶路面插补部14例如对仅在插补候补的图像区域内相邻的像素范围的亮度差进行比较。行驶路面插补部14也可以超出图像区域的框对相邻的像素范围的亮度差进行比较。即，行驶路面插补部14也可以对作为插补候补的1个图像区域内的像素范围、与相邻的其他图像区域内的像素范围的亮度差进行比较，来用于判定插补候补是否是低质感区域。
第2阈值和第3阈值是指用于判定是否将插补候补作为行驶路面进行插补的阈值。第2阈值和第3阈值既可以是固定值，还可以是根据昼夜的区别或者天气而变化的值。
在判定为插补候补Pa是相邻的像素范围的亮度差为第1阈值以下的像素范围的数量为第2阈值以上的图像区域、或者相邻的像素范围的亮度差为第1阈值以下的像素范围的比例(相对于构成插补候补Pa的所有像素范围的比例)为第3阈值以上的图像区域的情况下，行驶路面插补部14判定为插补候补Pa是低质感区域。在判定为插补候补Pa是低质感区域的情况下，行驶路面插补部14将插补候补Pa作为行驶路面进行插补。在判定为插补候补Pa不是低质感区域的情况下，行驶路面插补部14不将插补候补Pa作为行驶路面进行插补。图5(a)是示出栅格图中的插补区域PM的图。图5(a)所示的插补区域PM是指由行驶路面插补部14作为行驶路面进行了插补的区域。
行驶路面插补部14通过反复进行对每个被识别为插补候补的图像区域、是否作为行驶路面进行插补的判定，从而对栅格图中的行驶路面进行插补。图5(b)是示出行驶路面的插补完成的状态的一个例子的栅格图。如图5(b)所示，行驶路面插补部14进行行驶路面的插补，将第1路面判定区域R1、第2路面判定区域R2、和第3路面判定区域R3之间填埋。图5(b)所示的路面判定区域R(第1路面判定区域R1、第2路面判定区域R2、第3路面判定区域R3)和插补区域PM在拍摄图像上被检测为行驶路面。
另一方面，在相邻的像素范围的亮度差为第1阈值以下的像素范围的数量为不到第2阈值的情况下，行驶路面插补部14不将插补候补Pa作为行驶路面进行插补。在将没有被行驶路面判定部12判定为行驶路面的所有图像区域作为插补候补的情况下，图5(b)的路面判定区域R和插补区域PM以外的图像区域是相邻的像素范围的亮度差为第1阈值以下的像素范围的数量为不到第2阈值的图像区域。此外，行驶路面插补部14也可以不需要使用栅格图，而在拍摄图像上进行行驶路面的插补。
行驶路面信息输出部15将路面判定区域R和插补区域PM作为所检测到的行驶路面并向外部输出信息。行驶路面信息输出部15例如向进行车辆M的自动驾驶的ECU或者进行车辆M的驾驶辅助的ECU输出所检测到的行驶路面信息。
接下来，说明插补候补的变化。图6(a)是示出由距立体相机3的距离进行的插补候补的限制的栅格图。图6(a)示出第4阈值D和第4阈值D所对应的栅格线G的横线GD。如图6(a)所示，插补候补识别部13例如将没有被行驶路面判定部12判定为行驶路面的图像区域中的、距立体相机3(车辆M)的距离为第4阈值D以下的图像区域识别为插补候补。即，插补候补识别部13不将距立体相机3的距离超过第4阈值D的图像区域识别为插补候补。由此，能够避免在亮度信息的精度低的远方的图像区域中错误进行行驶路面的插补。第4阈值D是用于限制插补候补的阈值。第4阈值D既可以是固定值，也可以是变化的值。例如能够根据立体相机3的性能而使第4阈值D为能够确保行驶路面的判定精度的距离(能确保视差信息的精度的距离)。第4阈值D也可以与利用行驶路面的检测结果的外部的控制内容相对应来设定。
此外，插补候补识别部13在插补候补的识别中不需要一定使用栅格图。图6(b)的图所示出的拍摄图像示出由距立体相机3的距离进行的插补候补的限制。如图6(b)所示，插补候补识别部13也可以将在拍摄图像上距立体相机3(车辆M)的距离为第4阈值D以下的图像区域(横线GD的下侧的图像区域)识别为插补候补。这样，插补候补识别部13通过将插补候补限制在距立体相机3(车辆M)的距离为第4阈值D以下的图像区域，从而能够避免对于立体相机3的拍摄精度低的远方的图像区域进行错误的行驶路面的插补。
图7是示出由行驶行车线的行车线边界进行的插补候补的限制的栅格图。图7所示的单点划线L1、L2示出车辆M的行驶行车线的行车线边界即白线L1、L2。此外，图7所示的白线L1、L2是例举，并非与图3(a)所示的白线L1、L2一致。
如图7所示，插补候补识别部13也可以将没有被行驶路面判定部12判定为行驶路面的图像区域中的、与白线L1、L2相比在行驶行车线侧(车辆M侧)的图像区域识别为插补候补，其中，白线L1、L2是车辆M所行驶的行驶行车线的行车线边界。即，插补候补识别部13不将白线L1、L2的外侧的图像区域识别为插补候补。此外，行车线边界例如由图像获取部10从拍摄图像检测出。图像获取部10例如基于拍摄图像的亮度信息，利用已知的方法来检测出(识别)白线L1、L2。
在由图像获取部10仅检测到白线L1、L2中一者的情况下，插补候补识别部13将没有被判定为行驶路面的图像区域中的、与识别到的白线相比在行驶行车线侧(车辆M侧)的图像区域识别为插补候补。另外，行车线边界不限于白线，也可以是护栏或者路肩的台阶部。此外，插补候补识别部13不需要一定使用栅格图，也可以在拍摄图像上将与行车线边界(例如L1、L2)相比在行驶行车线侧的图像区域识别为插补候补。这样，插补候补识别部13通过将插补候补限制在与行车线边界相比在行驶行车线侧的图像区域，从而能够避免对于根据控制内容而不需要的行驶行车线的外侧的图像区域进行错误的行驶路面的插补。
图8(a)是示出由与行驶路面的图像区域的相邻进行的插补候补的限制的栅格图。图8(a)示出与第1路面判定区域R1相邻的图像区域Pb；与第1路面判定区域R1及第2路面判定区域R2都不相邻的图像区域Pc。
如图8(a)所示，插补候补识别部13也可以将没有被行驶路面判定部12判定为行驶路面的图像区域中的、与被行驶路面判定部12判定为行驶路面的图像区域相邻的、图像区域Pb识别为插补候补。即，插补候补识别部13也可以不将与被行驶路面判定部12判定为行驶路面的图像区域相邻的图像区域以外识别为插补候补。相邻的图像区域是指夹着栅格线G互相相邻的图像区域。在相邻的图像区域，例如既可以包含、也可以不包含栅格图上在倾斜方向互相相邻的图像区域。此外，图像区域Pb是插补候补的一个例子，插补候补识别部13例如以在图8(a)所示的栅格图上包围第1路面判定区域R1和第2路面判定区域R2的周围的方式，将与第1路面判定区域R1及第2路面判定区域R2的任一者相邻的所有图像区域识别为插补候补。在该情况下，也由于图8(a)所示的图像区域Pc与第1路面判定区域R1及第2路面判定区域R2的任一者都不相邻，所以不被识别为插补候补。
进一步，插补候补识别部13也可以将没有被行驶路面判定部12判定为行驶路面的图像区域中的、与被行驶路面插补部14作为行驶路面进行了插补的图像区域相邻的图像区域也识别为插补候补。即，插补候补识别部13也可以不将与被行驶路面判定部12判定为行驶路面的图像区域或者被行驶路面插补部14作为行驶路面进行插补了的图像区域相邻的图像区域以外识别为插补候补。
图8(b)是示出因新的行驶路面的插补而扩大了插补候补的状况的栅格图。在图8(b)中，插补候补Pb被插补为行驶路面。另外，与被插补为行驶路面的图像区域Pb相邻的图像区域Pc被识别为新的插补候补。由于与第1路面判定区域R1相邻的插补候补的图像区域Pb被插补为行驶路面，从而插补候补识别部13也可以将与第1路面判定区域R1及第2路面判定区域R2的任一者都不相邻而与图像区域Pb相邻的图像区域Pc识别为新的插补候补。此外，插补候补识别部13不需要一定使用栅格图，也可以将拍摄图像上相邻的图像区域识别作为插补候补。这样，插补候补识别部13通过将插补候补限制在与被判定或者插补为行驶路面的图像区域相邻的图像区域，从而能够避免对于壁面等与行驶路面不连续的平面进行错误的行驶路面的插补。
以上，说明了插补候补的变形例，但插补候补不限于上述内容。插补候补识别部13可以将图6(a)和图6(b)所示的由距立体相机3的距离进行的限制、图7所示的由行车线边界进行的限制、和图8(a)和图8(b)所示的与行驶路面相邻的图像区域的限制中的任意2个组合来进行插补候补的识别，也可以组合所有的限制来进行插补候补的识别。
此外，插补候补识别部13也可以将没有被行驶路面判定部12判定为行驶路面的图像区域中的、距立体相机3最远的路面判定区域R(例如图5(a)的第3路面判定区域R3)以下的距离的图像区域识别为插补候补。即，插补候补识别部13也可以不将离立体相机3比离立体相机3最远的路面判定区域R更远的图像区域识别为插补候补。
另外，插补候补识别部13也可以将没有被行驶路面判定部12判定为行驶路面的图像区域中的、在图5(a)栅格图中的距离的方向或者横向位置的方向上被路面判定区域R夹着的图像区域识别为插补候补。即，插补候补识别部13也可以不将在距离的方向或者横向位置的方向上没有被路面判定区域R夹着的图像区域识别为插补候补。此外，在拍摄图像上进行插补候补的识别的情况下，插补候补识别部13也可以不将在拍摄图像的纵向或者横向上没有被路面判定区域R夹着的图像区域识别为插补候补。在上述以外的情况下，插补候补识别部13也可以将图6(a)和图6(b)所示的由距立体相机3的距离进行的限制、图7所示的由行车线边界进行的限制、和图8(a)和图8(b)所示的与行驶路面相邻的图像区域的限制组合来进行插补候补的识别。
[行驶路面检测装置的行驶路面检测方法]
接下来，参照附图说明行驶路面检测装置1的行驶路面检测方法。图9是示出行驶路面检测装置1的行驶路面检测方法的流程图。图9所示的流程图例如在车辆M为发动机驱动中的期间，在每个预先设定的时间执行。
如图9所示，作为步骤S101，行驶路面检测装置1的ECU2利用图像获取部10进行图像获取。图像获取部10获取由立体相机3拍摄的车辆周围的图像信息。此外，图像获取部10也可以基于所获取的图像信息，利用已知的图像处理来进行识别车辆M的行驶行车线的行车线边界的行车线边界识别工序。
接下来，作为步骤S102，ECU2利用三维位置复原部11进行三维位置信息的复原。基于从拍摄图像得到的视差信息(视差图像的视差信息)，将构成拍摄图像的各像素所对应的三维位置信息进行复原(运算)。另外，在步骤S102中，三维位置复原部11例如利用栅格线G来分割拍摄图像，形成(识别)多个图像区域。
接下来，作为步骤S103，ECU2利用行驶路面判定部12进行每个图像区域的行驶路面的判定(行驶路面判定工序)。行驶路面判定部12基于拍摄图像的视差信息，对每个图像区域判定是否是行驶路面。行驶路面判定部12例如利用已知的方法，根据视差信息进行行驶路面的判定。
作为步骤S104，ECU2利用插补候补识别部13进行插补候补的识别(插补候补识别工序)。插补候补识别部13例如将没有被行驶路面判定部12判定为行驶路面的图像区域识别为插补候补。插补候补识别部13也可以施加上述各种限制来进行插补候补的识别。
作为步骤S105，ECU2利用行驶路面插补部14进行行驶路面的插补的判定(行驶路面插补工序)。行驶路面插补部14基于拍摄图像的亮度信息，判定是否将插补候补作为行驶路面进行插补。后文详述行驶路面插补部14所进行的行驶路面的插补的判定。
作为步骤S106，ECU2利用行驶路面信息输出部15进行行驶路面信息的输出。行驶路面信息输出部15例如将路面判定区域R和插补区域PM作为检测到的行驶路面并向外部输出信息。行驶路面信息输出部15例如向进行车辆M的自动驾驶的ECU或者进行车辆M的驾驶辅助的ECU输出行驶路面信息。
图10是示出行驶路面检测装置1所进行的行驶路面的插补方法的流程图。图10所示的流程图与图9所示的流程图的S105的处理对应。图10所示的流程图例如对每个插补候补执行。
如图10所示，作为步骤S201，行驶路面检测装置1的ECU2利用行驶路面插补部14来判定插补候补是否是低质感区域。行驶路面插补部14基于拍摄图像的亮度信息，判定插补候补是否是低质感区域。在判定为插补候补是相邻的像素范围的亮度差为第1阈值以下的像素范围的数量为第2阈值以上的图像区域、或者相邻的像素范围的亮度差为第1阈值以下的像素范围的比例为第3阈值以上的图像区域的情况下，行驶路面插补部14判定为插补候补是低质感区域。在判定为插补候补不是相邻的像素范围的亮度差为第1阈值以下的像素范围的数量为第2阈值以上的图像区域、和相邻的像素范围的亮度差为第1阈值以下的像素范围的比例为第3阈值以上的图像区域的任一者的情况下，行驶路面插补部14判定为插补候补不是低质感区域。
ECU2在利用行驶路面插补部14判定为插补候补不是低质感区域的情况下(S201：否)，不将该插补候补作为行驶路面进行插补，结束处理。ECU2在利用行驶路面插补部14判定为插补候补是低质感区域的情况下(S201：是)，移动至步骤S202。在步骤S202中，ECU2将利用行驶路面插补部14判定为是低质感区域的插补候补作为行驶路面进行插补。
[行驶路面检测装置的作用效果]
根据以上说明的行驶路面检测装置1，通过对于拍摄图像上亮度变化大的图像区域高精度地得到视差信息，从而能够利用视差信息进行行驶路面的检测。另一方面，对于拍摄图像上亮度变化小的图像区域(低质感区域)，能够作为基于亮度信息的行驶路面的插补的候补。因此，根据该行驶路面检测装置1，通过进行基于亮度信息的行驶路面的插补，从而与仅根据视差信息来检测行驶路面的情况相比，能够提高行驶路面的检测范围。
另外，行驶路面检测装置1中，行驶路面插补部14也可以将没有被行驶路面判定部判定为是行驶路面的图像区域中的、距立体相机3的距离为第4阈值以下的图像区域作为插补候补。根据该行驶路面检测装置1，由于视差信息的精度随着距离车载照相机越远而越低，所以将距立体相机3的距离为第4阈值以下的图像区域作为插补候补，从而能够避免插补候补无限制地扩大到远方的图像区域，能够避免进行错误的行驶路面的插补。
另外，在行驶路面检测装置1中，图像获取部10也可以基于拍摄图像，检测车辆M所行驶的行驶行车线的行车线边界。进一步，行驶路面插补部14也可以将没有被行驶路面判定部12判定为是行驶路面的图像区域中的、与由图像获取部10检测的行车线边界(例如白线L1、L2)相比在行驶行车线侧的图像区域作为插补候补。根据该行驶路面检测装置1，由于有的情况下不需要将到行驶路面的检测进行到车辆所行驶的行驶行车线的外侧，所以将与白线等行车线边界相比在行驶行车线侧的图像区域作为插补候补，从而能够避免错误地将行驶行车线的外侧的路肩的台阶部分等作为行驶路面进行插补。
另外，在行驶路面检测装置1中，行驶路面插补部14也可以将没有被行驶路面判定部12判定为是行驶路面的图像区域中的、与被行驶路面判定部12判定为是行驶路面的图像区域或者被行驶路面插补部14插补为行驶路面的图像区域相邻的图像区域作为插补候补。根据该行驶路面检测装置1，由于行驶路面连续，所以通过将与路面判定区域R或者插补区域PM相邻的图像区域作为插补候补，从而能够避免错误地将与行驶路面分离开的壁面等像飞地那样作为行驶路面进行插补。
以上说明了本发明的优选实施方式，但本发明不限于上述的实施方式。本发明以上述的实施方式为代表，基于本领域技术人员的知识能够以进行了各种变更、改良的各种形态来实施。

Claims (7)

1.一种行驶路面检测装置，基于从车载照相机拍摄的车辆周围的拍摄图像得到的视差信息，检测行驶路面，所述行驶路面检测装置包括：
行驶路面判定部，其基于所述拍摄图像的所述视差信息，对分割所述拍摄图像而形成的每个图像区域判定是否是所述行驶路面；及
行驶路面插补部，其基于所述拍摄图像的亮度信息，将没有被所述行驶路面判定部判定为是所述行驶路面的所述图像区域作为插补候补，进行所述行驶路面的插补，
所述图像区域由单个或多个像素范围构成，所述行驶路面插补部将所述插补候补的所述图像区域中的、与相邻的所述像素范围的亮度差为第1阈值以下的像素范围的数量为第2阈值以上的所述图像区域、或者与相邻的所述像素范围的亮度差为所述第1阈值以下的所述像素范围的比例为第3阈值以上的所述图像区域作为所述行驶路面来进行插补。
2.如权利要求1所述的行驶路面检测装置，
所述行驶路面检测装置具有插补候补识别部，所述插补候补识别部将没有被所述行驶路面判定部判定为是所述行驶路面的所述图像区域中的、与所述车载照相机的距离为第4阈值以下的所述图像区域作为所述插补候补。
3.如权利要求1或2所述的行驶路面检测装置，
所述行驶路面检测装置还包括行车线边界检测部，所述行车线边界检测部基于所述拍摄图像来检测所述车辆所行驶的行驶行车线的行车线边界，
所述行驶路面检测装置所具有的所述插补候补识别部将没有被所述行驶路面判定部判定为是所述行驶路面的所述图像区域中的、与由所述行车线边界检测部检测的所述行车线边界相比在所述行驶行车线侧的所述图像区域作为所述插补候补。
4.如权利要求1～3的任一项所述的行驶路面检测装置，
所述行驶路面检测装置所具有的所述插补候补识别部将没有被所述行驶路面判定部判定为是所述行驶路面的所述图像区域中的、与被所述行驶路面判定部判定为是所述行驶路面的所述图像区域或者被所述行驶路面插补部插补为所述行驶路面的所述图像区域相邻的、所述图像区域作为所述插补候补。
5.如权利要求1所述的行驶路面检测装置，其特征在于，
相邻的像素范围包括倾斜位置的像素范围。
6.如权利要求1所述的行驶路面检测装置，其特征在于，
所述像素范围由单个或多个像素构成，在像素范围由多个像素构成的情况下，像素范围的亮度为各像素的亮度的平均值或各像素的亮度的最大值。
7.一种行驶路面检测方法，是基于从车载照相机拍摄的车辆周围的拍摄图像得到的视差信息，检测行驶路面的行驶路面检测装置的行驶路面检测方法，所述行驶路面检测方法包括以下工序：
行驶路面判定工序，由所述行驶路面检测装置的行驶路面判定部，基于所述拍摄图像的所述视差信息，对分割所述拍摄图像而形成的每个图像区域判定是否是所述行驶路面；及
行驶路面插补工序，由所述行驶路面检测装置的行驶路面插补部，基于所述拍摄图像的亮度信息，将在所述行驶路面判定工序中没有被判定为是所述行驶路面的所述图像区域作为插补候补，进行所述拍摄图像中的所述行驶路面的插补，
所述图像区域由多个像素范围构成，在所述行驶路面插补工序中，将所述插补候补的所述图像区域中的、与相邻的所述像素范围的亮度差为第1阈值以下的像素范围的数量为第2阈值以上的所述图像区域、或者与相邻的所述像素范围的亮度差为所述第1阈值以下的所述像素范围的比例为第3阈值以上的所述图像区域作为所述行驶路面来进行插补。
CN201610084605.2A 2015-02-09 2016-02-14 行驶路面检测装置和行驶路面检测方法 Active CN105868688B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-023466 2015-02-09
JP2015023466A JP6156400B2 (ja) 2015-02-09 2015-02-09 走行路面検出装置及び走行路面検出方法

Publications (2)

Publication Number Publication Date
CN105868688A true CN105868688A (zh) 2016-08-17
CN105868688B CN105868688B (zh) 2019-05-31

Family

ID=55409690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610084605.2A Active CN105868688B (zh) 2015-02-09 2016-02-14 行驶路面检测装置和行驶路面检测方法

Country Status (4)

Country Link
US (1) US9971946B2 (zh)
EP (1) EP3054400B1 (zh)
JP (1) JP6156400B2 (zh)
CN (1) CN105868688B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977641A (zh) * 2017-12-14 2018-05-01 东软集团股份有限公司 一种智能识别地形的方法、装置、车载终端及车辆
CN111837160A (zh) * 2018-03-13 2020-10-27 哈曼国际工业有限公司 用于图像的自动故障阈值检测的设备和方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6611353B2 (ja) * 2016-08-01 2019-11-27 クラリオン株式会社 画像処理装置、外界認識装置
EP3330892A1 (en) * 2016-11-30 2018-06-06 Ricoh Company Ltd. Information processing apparatus, imaging device, device control system, mobile object, information processing method, and carrier means
JP6947566B2 (ja) * 2017-07-24 2021-10-13 株式会社デンソーテン 画像処理装置及び画像処理方法
US10402646B2 (en) * 2017-09-21 2019-09-03 Amazon Technologies, Inc. Object detection and avoidance for aerial vehicles
US10762360B2 (en) 2018-11-19 2020-09-01 Waymo Llc Automatically detecting unmapped drivable road surfaces for autonomous vehicles
JP6995079B2 (ja) 2019-03-29 2022-01-14 本田技研工業株式会社 情報取得装置
CN114051631A (zh) * 2019-06-27 2022-02-15 哲内提 用于估计可行驶表面的方法和系统
CN113015887A (zh) 2019-10-15 2021-06-22 谷歌有限责任公司 基于天气和路面类型的导航方向
CN116797517A (zh) * 2022-03-16 2023-09-22 小米汽车科技有限公司 对象检测方法、装置及车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455812A (zh) * 2012-06-01 2013-12-18 株式会社理光 目标识别系统和目标识别方法
CN103679120A (zh) * 2012-09-11 2014-03-26 株式会社理光 不平道路的检测方法和系统
CN103679127A (zh) * 2012-09-24 2014-03-26 株式会社理光 检测道路路面的可行驶区域的方法和装置
CN103679119A (zh) * 2012-09-10 2014-03-26 株式会社理光 自适应坡路检测方法和装置
EP2725520A2 (en) * 2012-06-13 2014-04-30 Ricoh Company, Ltd. Method and apparatus for detecting road

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008298533A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP4900377B2 (ja) * 2008-12-16 2012-03-21 株式会社デンソー 画像処理装置
JP5180126B2 (ja) * 2009-03-24 2013-04-10 富士重工業株式会社 道路認識装置
JP5325765B2 (ja) * 2009-12-28 2013-10-23 日立オートモティブシステムズ株式会社 路肩検出装置及び路肩検出装置を用いた車両
JP5827508B2 (ja) * 2011-07-13 2015-12-02 ヤマハ発動機株式会社 車両用障害物検出装置及びそれを用いた車両
US20140071240A1 (en) 2012-09-11 2014-03-13 Automotive Research & Testing Center Free space detection system and method for a vehicle using stereo vision
JP2014115978A (ja) * 2012-11-19 2014-06-26 Ricoh Co Ltd 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
DE102012112104A1 (de) * 2012-12-11 2014-06-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur befahrbarkeitsanalyse

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455812A (zh) * 2012-06-01 2013-12-18 株式会社理光 目标识别系统和目标识别方法
EP2725520A2 (en) * 2012-06-13 2014-04-30 Ricoh Company, Ltd. Method and apparatus for detecting road
CN103679119A (zh) * 2012-09-10 2014-03-26 株式会社理光 自适应坡路检测方法和装置
CN103679120A (zh) * 2012-09-11 2014-03-26 株式会社理光 不平道路的检测方法和系统
CN103679127A (zh) * 2012-09-24 2014-03-26 株式会社理光 检测道路路面的可行驶区域的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977641A (zh) * 2017-12-14 2018-05-01 东软集团股份有限公司 一种智能识别地形的方法、装置、车载终端及车辆
CN111837160A (zh) * 2018-03-13 2020-10-27 哈曼国际工业有限公司 用于图像的自动故障阈值检测的设备和方法

Also Published As

Publication number Publication date
US9971946B2 (en) 2018-05-15
US20160232413A1 (en) 2016-08-11
CN105868688B (zh) 2019-05-31
EP3054400B1 (en) 2023-10-25
JP2016146118A (ja) 2016-08-12
JP6156400B2 (ja) 2017-07-05
EP3054400A1 (en) 2016-08-10

Similar Documents

Publication Publication Date Title
CN105868688A (zh) 行驶路面检测装置和行驶路面检测方法
US6813370B1 (en) Lane marker recognizing apparatus
US9467645B2 (en) System and method for recognizing parking space line markings for vehicle
US9076047B2 (en) System and method for recognizing parking space line markings for vehicle
US9912933B2 (en) Road surface detection device and road surface detection system
EP3082068B1 (en) Traveling road surface detection device and traveling road surface detection method
CN106056570A (zh) 路面坡度检测装置
CN105206109A (zh) 一种基于红外ccd的车辆雾天识别预警系统及方法
EP3082067A1 (en) Stereoscopic object detection device and stereoscopic object detection method
CN103837139A (zh) 不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法
EP3633619B1 (en) Position detection apparatus and position detection method
CN104508708A (zh) 道路环境识别装置
WO2017115732A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム
DE102018127990A1 (de) Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs
DE102020105649A1 (de) Verfahren und vorrichtung zur parallelen verfolgung und lokalisierung mittels eines multimodalen schmelzverfahrens
CN108256470A (zh) 一种车道偏移判断方法及汽车
EP3082069A1 (en) Stereoscopic object detection device and stereoscopic object detection method
JP6683245B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム
CN109059780B (zh) 检测障碍物高度的方法、装置、设备及存储介质
JP5957182B2 (ja) 路面上パターン認識方法および車両用情報記録装置
DE102011111856A1 (de) Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
JP7318377B2 (ja) 物体検知装置
US11216678B2 (en) Vehicle exterior environment recognition apparatus and vehicle exterior environment recognition method
DE102022126313A1 (de) Verfahren und Systeme zur Ausrichtung einer Kamera zum Boden
DE102022126309A1 (de) Verfahren und Systeme zur Ausrichtung einer Kamera zum Boden

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant