CN111316322A - 路面区域检测装置 - Google Patents

路面区域检测装置 Download PDF

Info

Publication number
CN111316322A
CN111316322A CN201880071686.XA CN201880071686A CN111316322A CN 111316322 A CN111316322 A CN 111316322A CN 201880071686 A CN201880071686 A CN 201880071686A CN 111316322 A CN111316322 A CN 111316322A
Authority
CN
China
Prior art keywords
road surface
vehicle
normalized
width direction
surface area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880071686.XA
Other languages
English (en)
Other versions
CN111316322B (zh
Inventor
斋藤司
川边学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN111316322A publication Critical patent/CN111316322A/zh
Application granted granted Critical
Publication of CN111316322B publication Critical patent/CN111316322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G01B11/285—Measuring arrangements characterised by the use of optical techniques for measuring areas using photoelectric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本发明提供一种路面区域检测装置，能够以简单的结构检测路面区域。路面区域检测装置(10)具备：标准化速度计算部(25)，基于搭载于行驶的车辆(1)的相机(13)所取得的图像中的特征点(P)的移动，求出标准化速度(nv)；判定范围计算部(28)，在与车辆(1)的行进方向(Dm)正交的宽度方向(Dw)上的以车辆(1)为中心的中央区域部(cp)中，基于宽度方向(Dw)的位置不同的至少2个特征点(P)的标准化速度(nv)，求出由标准化速度(nv)的大小表示的路面判定范围(E)；以及路面区域确定部(29)，将标准化速度(nv)存在于路面判定范围(E)内的特征点(P)所在的宽度方向(Dw)的区域确定为车辆(1)行驶的路面区域(Ar)。

Description

路面区域检测装置
技术领域
本发明涉及检测路面区域的路面区域检测装置。
背景技术
在车辆中，考虑到搭载检测路面的路面检测装置(例如，参照专利文献1)。该路面检测装置通过基于来自双眼相机等的图像等来取得V视差图，并从该V视差图中提取线段作为路面以推定路面线段，从而检测路面。
现有技术文献
专利文献
专利文献1：日本特开2014-110059号公报
发明内容
发明所要解决的问题
但是，上述路面检测装置是使用双眼相机、立体相机、多眼相机等的装置，需要将这样的装备设置在车辆上以检测路面。
本发明鉴于上述情况而作，其目的在于，提供一种能够以简单的结构来检测路面区域的路面区域检测装置。
用于解决问题的手段
为了实现上述目的，本公开的路面区域检测装置的特征在于，具备：标准化速度计算部，其基于搭载于行驶的车辆的相机所取得的图像中的特征点的移动，求出标准化速度；判定范围计算部，其在所述车辆的宽度方向上的以所述车辆为中心的给定的中央区域部中，基于所述宽度方向的位置不同的至少2个所述特征点的所述标准化速度，求出由所述标准化速度的大小表示的路面判定范围；以及路面区域确定部，其将所述标准化速度存在于所述路面判定范围内的所述特征点所在的所述宽度方向确定为所述车辆行驶的路面区域。
发明效果
这样构成的本公开的路面区域检测装置能够以简单的结构检测路面区域。
附图说明
图1是表示作为本发明所涉及的路面区域检测装置的一例的实施例1的路面区域检测装置的结构的框图。
图2是说明对在相机取得的图像中提取出的特征点进行追踪的状况的说明图。
图3是表示所取得的特征点序列的一例的说明图。
图4是表示所取得的特征点序列的其他例的说明图。
图5是表示代表点的分布的分布图表，用以车辆为中心的宽度方向的距离来表示横轴，用标准化速度的大小来表示纵轴。
图6是在与图5同样的图表上，表示计算出的路面判定基准线、路面判定上限线和路面判定下限线的说明图。
图7是对检测路面区域的状况的一例进行说明的说明图。
图8是对检测路面区域的状况的其他例子进行说明的说明图。
图9是表示运算处理装置执行的路面区域确定处理的一例的流程图。
具体实施方式
下面，参照附图对作为本公开所涉及的路面区域检测装置的一例的实施例1的路面区域检测装置10进行说明。
实施例1
使用图1至图9对本公开的实施例1的路面区域检测装置10进行说明。
路面区域检测装置10除了车辆1(参照图3等)正在行驶的路面之外，还将与该路面不改变高度位置而连续的平坦区域检测为路面区域Ar(参照图7等)。以下，将车辆1行进的方向设为行进方向Dm，将与行进方向Dm正交的方向设为宽度方向Dw(参照图3等)。
如图1所示，路面区域检测装置10具备运算处理装置11和存储装置12。在运算处理装置11经由作为通信协议的CAN(Controller Area Network：控制器局域网)等车载网络而连接有相机13、车速传感器14、转向角传感器15、以及影像显示装置16。
相机13能够以车辆1为中心在宽度方向Dw上取得给定范围的图像，在实施例1中为设置在车辆1的前部的具备单个广角鱼眼镜头的相机，能够在宽度方向Dw的较大范围内取得车辆1前方的图像。在实施例1中，相机13使用设置于车辆1的前后左右的相机当中的设置于车辆1的前部的相机，取得车辆1的四周的图像而形成俯瞰图像。相机13将所取得的图像(图像数据)输出到运算处理装置11。另外，相机13只要能够以车辆1为中心在宽度方向Dw上取得给定范围的图像，例如也可以是设置于车辆1的后部而取得车辆1的后方的图像的相机，还可以使用多个相机，也可以是其他结构，并不限定于实施例1的结构。
车速传感器14检测车辆1的车速，并将检测出的车速(车速数据)输出到运算处理装置11。转向角传感器15检测车辆1的转向角，并将检测到的转向角(转向角数据)输出到运算处理装置11。影像显示装置16是显示经运算处理装置11处理后的来自相机13的图像等的装置，能够显示由运算处理装置11(其后述的图像变换部23)形成的俯瞰图像(参照图3等)。
存储装置12例如预先存储用于确定路面区域Ar的程序、用于形成俯瞰图像的程序、这些程序所需的信息当中的不进行改写而被使用的信息。存储装置12能够通过运算处理装置11适当地读出存储的信息。
运算处理装置11适当接收来自相机13、车速传感器14、转向角传感器15的信息，并通过存储在存储装置12中的程序统一地进行用于确定路面区域Ar的路面区域确定处理、用于形成俯瞰图像的俯瞰图像形成处理、相机13的校准处理等。运算处理装置11使影像显示装置16适当显示所确定的路面区域Ar、所形成的俯瞰图像等。
运算处理装置11具有：特征点取得部21、行为判断部22、图像变换部23、列长度计算部24、标准化速度计算部25、代表点计算部26、近似直线计算部27、判定范围计算部28、路面区域确定部29和存储部31。除了存储部31之外的上述各部由程序构成。另外，上述各部也可以由电子电路构成为专用，并不限定于实施例1的结构。存储部31被适当地写入运算处理装置11的各部中的运算处理过程所需的数值数据、针对运算处理中途的处理结果的程序的变量等，这些数据由运算处理装置11的各部适当地读取。存储部31也可以存储用于由运算处理装置11进行的各处理的程序。
在从相机13输入图像(图像数据)时，特征点取得部21提取该图像的特征点P(参照图2等)。该特征点P是与特定的特征物的位置相对应的坐标点，将如在道路上设置的白线或道路标识的角部等图像(第N帧)中边缘强度高的部位作为特定的特征物。例如，如图2的上侧所示，特征点取得部21将相机13取得的第N帧中的白线的角检测为特征点P。这样的特征点P的提取能够使用公知的特征点提取技术来进行，例如利用了Harris算子的方法。
另外，特征点取得部21进行提取出的特征点P的追踪，即，对在第N帧中提取出的特征点P在下一帧(第N+1帧)中存在于哪个位置进行检测。例如，如图2的下侧所示，特征点取得部21对在相机13所取得的第N帧中提取出的特征点P在第N+1帧中存在于哪个位置进行检测。这样的特征点P的追踪能够使用如LK(Lucas-Kanade)法那样的公知的特征点追踪技术来进行。特征点取得部21不仅是如图2所示的例子那样在连续的2帧之间追踪特征点P，之后也尽可能地追踪特征点P。
对于在该单个帧(图像)中检测出的特征点P，在图2中为了便于理解而仅示出一个的例子，但是能够在单个帧中提取多个(有时多达数百个)，它们的追踪结果有时也为多个。特征点取得部21将提取出的特征点P在第N帧中的坐标位置和成为其追踪结果的特征点P在第N+1帧中的坐标位置(在追踪结果为多个的情况下，也为N+2以后的坐标位置)作为特征点序列Ps而存储在存储部31中。
在从车速传感器14或转向角传感器15输入车速(车速数据)或转向角(转向角数据)时，行为判断部22基于它们来判断车辆1的行为是否处于适于路面区域Ar的确定的状态。在车辆1中，在车速的变动处于给定的范围内、并且转向角处于给定的范围内的情况下，行为判断部22判断为处于适于路面区域Ar的确定的状态。这一点基于如下理由。在车速的变动较大时，会导致车辆1的姿势的变化，所以特征点取得部21对特征点P的提取结果和追踪结果的精度有可能降低。另外，在车速的变动较大时，即使利用来自车速传感器14的检测结果，在追踪所提取的特征点P的期间车辆1所移动的距离的计算结果的精度也有可能降低。如后文所述，这些会用于标准化速度nv的计算，因而会导致标准化速度nv的精度的降低。此外，在转向角较大时，所提取的特征点P的追踪会变得困难。基于这些理由，在实施例1中，在可视为车辆1以大致恒定的速度直线前进的情况下，判断为处于适于路面区域Ar的确定的状态。
在从相机13输入图像(图像数据(参照图2))时，图像变换部23对该图像进行视点变换，生成如从上方看地面那样的俯瞰图像(参照图3等)(俯瞰图像形成处理)。图像变换部23从存储装置12取得相机13的设置位置、角度(俯仰角、偏转角、侧倾角、相机高度)的设计值(外部参数)、相机13的焦距、像素尺寸、光轴中心、失真函数等(内部参数)相机参数。图像变换部23进行如下的失真修正处理，即：使用所取得的失真函数来校正由镜头引起的图像的失真。图像变换部23使用公知的相机的几何变换式，基于失真修正后的图像的对应像素的输出值(各颜色的亮度值)，生成用世界坐标表示的俯瞰图像中的所有坐标位置的像素的输出值(各颜色的亮度值)。此时，在没有与俯瞰图像的特定像素对应的失真修正后的图像的像素的情况下，图像变换部23通过公知的亮度的插补处理，基于周边像素的各亮度值来求出特定像素的输出值。而且，图像变换部23通过将包括相机13在内的前后左右4个相机的相邻的拍摄图像，在利用线性插补等使对应的坐标值的亮度消除接缝的不协调感的同时连接为一张图像，由此生成车辆1周围的俯瞰图像。另外，图像变换部23只要生成俯瞰图像(其图像数据)，则也可以同时进行上述各处理，还可以进行其他内容的处理，并不限定于实施例1。
另外，图像变换部23将由特征点取得部21检测出并存储在存储部31中的特征点序列Ps(特征点P的提取结果和追踪结果)变换为世界坐标，并存储于存储部31。即，图像变换部23将来自相机13的图像中的以坐标位置提取出的特征点序列Ps(表示特征点P的轨迹的坐标位置(参照图2))变换为俯瞰图像中的坐标位置(参照图3等)。另外，该特征点P的提取结果和追踪结果的坐标位置的变换也可以由特征点取得部21进行，还可以由列长度计算部24进行。
列长度计算部24将作为同一特征点P位移而形成的直线的特征点序列Ps的长度，即特征点P的移动量计算为特征点序列长度Pl。列长度计算部24基于变换为世界坐标的同一特征点P的提取结果和追踪结果即其坐标位置的变化，来计算特征点序列长度Pl。例如，若以在图2中提取出的特征点P为例，则在第N帧的俯瞰图像中，如图3的左侧所示，检测出特征点P1，在第N+1帧的俯瞰图像中，如图3的右侧所示，特征点P1发生了位移，所以连结该两坐标位置的直线的长度尺寸成为特征点序列长度Pl1。在此，由于俯瞰图像中的长度尺寸为世界坐标上的长度尺寸，所以该特征点序列长度Pl1实际上与特征点P位移的距离相等。
就该特征点序列长度Pl而言，即使从同样连续的2个帧求得，若车辆1的速度不同或特征点P的高度位置不同，则也与上述的例子不同。图4示出了这种不同的一例。在图4左侧的第M帧的俯瞰图像中检测出的特征点P2如果在第M+1帧的俯瞰图像中如图4的右侧所示那样发生了位移，则作为连结该两坐标位置的直线的长度尺寸，计算出特征点序列长度Pl2。该特征点P2虽然与图3所示的特征点P1左右不同，但与图3所示的特征点P1同样地检测车辆1行驶的路面的白线，因此被认为车辆1的速度与图3所示的场景不同。
在实施例1中，列长度计算部24汇集(累积)按照特征点P所属的每个宽度方向分区dv(参照图5)计算出的特征点序列长度Pl。各宽度方向分区dv是将路面区域检测装置10进行是否为路面区域Ar的检测的检测区域Ad在宽度方向Dw上按每个给定大小进行划分而设定的分区，在实施例1中，如图5所示，将检测区域Ad在宽度方向Dw上按每1m进行划分而以车辆1为中心设定了24个。该图5所示的分布图表是用宽度方向Dw的距离表示横轴，用标准化速度nv的大小表示纵轴的图表，表示后述的代表点Rv(标准化速度nv)分布的状况。以下，在个别描述多个宽度方向分区dv之际，在从正面观察图5时，从左侧起依次将1～24号作为第n宽度方向分区dv的n进行记载而示出。在实施例1中，第12宽度方向分区dv和第13宽度方向分区dv是车辆1行驶的位置。在该检测区域Ad中，将以车辆1所在的第12宽度方向分区dv和第13宽度方向分区dv为中心的多个宽度方向分区dv设定为中央区域部cp。中央区域部cp设定为预计能够检测出多个特征点P(特定的特征物)的范围，在实施例1中，作为一例，设定为第10宽度方向分区dv到第15宽度方向分区dv，即以车辆1为中心的6m的范围。另外，各宽度方向分区dv的大小、中央区域部cp的范围(宽度方向分区dv的个数)只要适当设定即可，并不限定于实施例1的结构。
列长度计算部24将计算出的多个特征点序列长度Pl与分别作为对象的特征点P所在的宽度方向分区dv相关联地存储于存储部31。由于图像变换部23将提取结果和追踪结果变换为俯瞰图像中的坐标位置，所以该特征点P所在的宽度方向分区dv能够从该宽度方向Dw的坐标位置判别出。
标准化速度计算部25计算将各特征点P的移动速度标准化所得的标准化速度nv。在实施例1中，标准化速度计算部25将由列长度计算部24计算出的特征点序列长度Pl除以在达到该特征点序列长度Pl的期间车辆1所移动的距离而得到的值作为标准化速度nv。该标准化速度nv用特征点序列长度Pl(特征点P的移动距离(速度))相对于车辆1的移动距离(速度)之比来表示，从而能够比较特征点P的移动量的差异，即，能够比较特征点P相对于路面的高度位置。这是由于，即使车辆1的移动量相同，在同一图像中，在与路面为相同的高度位置的情况下和为不同的高度位置的情况下，特征点P的移动量也不同。
使用相机13取得特征点序列长度Pl的计算所使用的连续的多个帧的图像的时间和该期间的来自车速传感器14的速度，来计算该车辆1所移动的距离。另外，车辆1所移动的距离也可以利用来自设置于车辆1的车轮速度传感器的信息来计算，还可以采用其他方法，并不限定于实施例1的方法。在此，在位于与车辆1行驶的路面相同的高度时，特征点P的移动量与车辆1的移动量相等，与该路面的高度的差异越大，与车辆1的移动量的差异越大。因此，在作为对象的特征点P位于与路面相同的高度时，标准化速度nv理论上为1。标准化速度计算部25将计算出的各标准化速度nv与分别作为对象的特征点P所在的宽度方向分区dv相关联地存储于存储部31。
代表点计算部26在各宽度方向分区dv中，计算成为属于其中的多个标准化速度nv的平均的代表点Rv。在实施例1中，代表点计算部26不是简单地进行平均，而是以如下方式计算代表点Rv。首先，代表点计算部26计算作为对象的宽度方向分区dv中的全部标准化速度nv的平均av1和标准偏差σ1。然后，代表点计算部26从作为对象的宽度方向分区dv中的全部标准化速度nv中，取出处于平均av1加上或减去标准偏差σ1的三倍所得的值(av1±3σ1)以内的标准化速度nv(以下为了区别而记为标准化速度nvα)。然后，代表点计算部26计算所有标准化速度nvα的平均av2，并将该平均av2设为作为对象的宽度方向分区dv中的代表点Rv。如此，实施例1的代表点计算部26将从在作为对象的宽度方向分区dv中计算出的所有标准化速度nv之中，排除了成为差异较大的数值的标准化速度nv之后求出的平均作为代表点Rv，所以能够排除在特征点P的提取和追踪、车辆1的移动量的检测等时产生较大误差的标准化速度nv而求出代表点Rv，从而能够提高精度。在作为对象的宽度方向分区dv仅存在单个标准化速度nv的情况下，代表点计算部26将该标准化速度nv作为代表点Rv。代表点计算部26将计算出的各代表点Rv与分别作为对象的宽度方向分区dv相关联地存储于存储部31。
如图6所示，近似直线计算部27计算对成为中央区域部cp的各宽度方向分区dv(在实施例1中为第10宽度方向分区dv到第15宽度方向分区dv)的代表点Rv进行连结的近似直线，并设为路面判定基准线Sb。在此，在仅通过成为中央区域部cp的各宽度方向分区dv当中的两个来计算出代表点Rv的情况下，近似直线计算部27将连结该2个代表点Rv的直线作为路面判定基准线Sb。近似直线计算部27将计算出的路面判定基准线Sb存储于存储部31。
判定范围计算部28为了判定各宽度方向分区dv是否为路面区域Ar，而求出由标准化速度nv的大小表示的路面判定范围E(在图6中加点示出的部位)。在实施例1中，判定范围计算部28在图6所示的分布图表中，计算出相对于近似直线计算部27计算出的路面判定基准线Sb平行移动了Δnv的路面判定上限线Su，并且计算出平行移动了-Δnv的路面判定下限线Sl。该Δnv只要适当设定即可，在实施例1中基于验证实验来进行了设定。另外，Δnv也可以由路面区域检测装置10的使用者来设定。判定范围计算部28将由路面判定上限线Su和路面判定下限线Sl夹着的范围作为路面判定范围E而存储于存储部31。
路面区域确定部29通过判断代表点Rv是否存在于判定范围计算部28计算出的路面判定范围E内，来判断各宽度方向分区dv是否为路面区域Ar(参照图7等)。路面区域确定部29基本上将具有包括中央区域部cp在内的全部宽度方向分区dv的代表点Rv当中的、存在于路面判定范围E内的代表点Rv的宽度方向分区dv确定为路面区域Ar。具体而言，在图7所示的例子的情况下，当设为在车辆1的左侧处于最远离的位置(外侧的位置)的第6宽度方向分区dv的代表点Rv存在于路面判定范围E内、并且在车辆1的右侧处于最远离的位置(外侧的位置)的第18宽度方向dv的代表点Rv存在于路面判定范围E内时，路面区域确定部29将第6宽度方向分区dv到第18宽度方向dv的区间确定为路面区域Ar。
实施例1的路面区域确定部29将代表点Rv是否存在于路面判定范围E内的判断的对象从与车辆1所在的第12宽度方向分区dv和第13宽度方向分区dv的两外侧相邻的宽度方向分区dv向各自的外侧依次变更。即，路面区域确定部29首先将第11宽度方向分区dv及第14宽度方向分区dv作为判断对象，接着将第10宽度方向分区dv及第15宽度方向分区dv作为判断对象，并反复进行上述操作。然后，路面区域确定部29在检测出代表点Rv不存在于路面判定范围E内的宽度方向分区dv时，将到与其内侧相邻的宽度方向分区dv为止确定为路面区域Ar。具体而言，在图8所示的例子的情况下，在车辆1的左侧，到第10宽度方向分区dv为止的代表点Rv存在于路面判定范围E内，第9宽度方向分区dv的代表点Rv不存在于路面判定范围E内，在车辆1的右侧，到第14宽度方向分区dv为止的代表点Rv存在于路面判定范围E内，第15宽度方向分区dv的代表点Rv不存在于路面判定范围E内。在该情况下，路面区域确定部29将从第10宽度方向分区dv到第14宽度方向分区dv的区间确定为路面区域Ar。如此，路面区域确定部29将到比代表点Rv(标准化速度nv)处于路面判定范围E外的特征点P当中的、在宽度方向Dw上距车辆1最近的特征点P更靠车辆1侧的特征点P的位置处的宽度方向分区dv为止确定为路面区域Ar。在此，由于第12宽度方向分区dv及第13宽度方向分区dv是当前车辆1正在行驶的路面，所以各个代表点Rv存在于路面判定范围E内而成为路面区域Ar，因此即使不进行代表点Rv是否存在于路面判定范围E内的判断也没有问题。
接着，使用图9对在路面区域检测装置10中，在运算处理装置11的控制下确定路面区域Ar的路面区域确定处理的一例进行说明。图9是表示由实施例1中的运算处理装置11执行的路面区域确定处理(路面区域确定方法)的流程图。该路面区域确定处理由运算处理装置11基于存储在存储装置12中的程序执行。以下，对图9的流程图的各步骤(各工序)进行说明。图9的流程图通过使路面区域检测装置10成为执行路面区域确定处理的状态而开始。路面区域检测装置10也可以始终处于执行路面区域确定处理的状态，还可以设为能够通过对操作部的操作来切换执行的有无。在实施例1中，当车辆1起动时，成为执行路面区域确定处理的状态，开始图9的流程图。
在步骤S1中，开始取得来自相机13的图像(图像数据)，并进入步骤S2。
在步骤S2中，从车速传感器14及转向角传感器15取得车速(车速数据)及转向角(转向角数据)，并进入步骤S3。在步骤S2中，为了如后所述判断车速及转向角的变化的有无而取得车速及转向角，因此以给定的时间进行车速及转向角的取得。
在步骤S3中，进行车辆1的行为是否处于适于路面区域Ar的确定的状态的行为判断，在是(适合的状态)的情况下进入步骤S4，在否(不适合的状态)的情况下返回步骤S2。在步骤S3中，行为判断部22基于在步骤S2中所取得的车速或转向角，来判断车辆1的行为是否处于适于路面区域Ar的确定的状态。
在步骤S4中，开始进行取得时间的计时，并进入步骤S5。在步骤S4中，开始用于进行后述的步骤S5和步骤S6中的特征点P的提取及其追踪的取得时间的计时。
在步骤S5中，提取特征点P，并进入步骤S6。在步骤S5中，特征点取得部21进行来自相机13的图像的第N帧中的特征点P的提取(既可以是单个，也可以是多个)，并求出该特征点P的坐标位置。
在步骤S6中，追踪特征点P，并进入步骤S7。在步骤S6中，特征点取得部21对在步骤S5中在第N帧提取出的特征点P在第N+1帧中存在于哪个位置进行检测，并求出其坐标位置，在此以后也尽可能地追踪特征点P(求出坐标位置)。
在步骤S7中，判断取得时间是否达到给定的时间，在是(已达到的状态)的情况下进入步骤S8，在否(未达到)的情况下返回步骤S5。该给定的时间从能够取得路面区域Ar的确定所需的数量的特征点序列Ps的观点出发来设定。由此，在进入步骤S8时，已经取得了多个特征点序列Ps。由此，在步骤S4和步骤S7中，可以用进行了特征点P的提取和追踪的帧数进行判断，也可以用特征点序列Ps的累计数进行判断，并不限定于实施例1的结构。
在步骤S8中，计算中央区域部cp中的各代表点Rv，并进入步骤S9。在步骤S8中，在作为中央区域部cp的各宽度方向分区dv(在实施例1中为第10宽度方向分区dv到第15宽度方向分区dv)中，列长度计算部24计算特征点序列长度Pl，标准化速度计算部25使用该特征点序列长度Pl来计算标准化速度nv，代表点计算部26使用该标准化速度nv来计算代表点Rv。
在步骤S9中，判断在步骤S8中计算出的代表点Rv是否为2个以上，在是的情况下进入步骤S10，在否的情况下返回到步骤S2。在步骤S9中，判断计算出的代表点Rv是否为2个以上，即判断是否计算出中央区域部cp中的两个以上的宽度方向分区dv的代表点Rv。另外，在步骤S9中，是为了能够计算路面判定基准线Sb而设定的个数，所以只要为作为中央区域部cp的宽度方向分区dv的个数(在实施例1中为6个)以下，则也可以通过是否计算出多于3个的数量的代表点Rv来进行判断，并不限定于实施例1的结构。另外，在实施例1中，在代表点Rv为1个以下而返回到步骤S2的情况下，废弃通过重复步骤S5至步骤S7而求出的各特征点序列Ps和在步骤S8中求出的各代表点Rv(它们的数据)。这是因为，在返回到步骤S2的情况下，有时车辆1正在行驶的路面及其周边的状况发生了变化，所以如果将之前取得的各特征点序列Ps及各代表点Rv与此后取得的各特征点序列Ps及各代表点Rv合在一起，则有可能不准确。
在步骤S10中，基于中央区域部cp的各代表点Rv来计算路面判定范围E，并进入步骤S11。在步骤S10中，近似直线计算部27基于在步骤S8中计算出的代表点Rv来计算路面判定基准线Sb，判定范围计算部28使用该路面判定基准线Sb来求出路面判定上限线Su和路面判定下限线Sl并计算出路面判定范围E。
在步骤S11中，计算检测区域Ad中的其他各个代表点Rv，并进入步骤S12。在步骤S11中，在检测区域Ad中，与步骤S8同样地计算在步骤S8中计算出各代表点Rv的中央区域部cp以外的各宽度方向分区dv(在实施例1中为第1宽度方向分区dv到第9宽度方向分区dv以及第16宽度方向分区dv到第24宽度方向分区dv)的各代表点Rv。另外，各代表点Rv也可以不是在步骤S8和步骤S11中分开进行计算，而是在步骤S8中一起计算出全部宽度方向分区dv的代表点Rv。
在步骤S12中，判断各宽度方向分区dv的各代表点Rv是否存在于路面判定范围E内，并进入步骤S13。在步骤S12中，路面区域确定部29判断在步骤S8或步骤S11中计算出的各宽度方向分区dv的各代表点Rv是否存在于在步骤S10中计算出的路面判定范围E内。
在步骤S13中，基于步骤S12中的判断来确定路面区域Ar，并结束该路面区域确定处理。在步骤S13中，在车辆1即第12宽度方向分区dv和第13宽度方向分区dv的左右，求出最近且代表点Rv不存在于路面判定范围E内的宽度方向分区dv，并将到其一个内侧的宽度方向分区dv为止确定为路面区域Ar。
因此，路面区域检测装置10能够在车辆1行驶时，将在与自身行驶的路面相等的高度位置连续的平坦区域确定为路面区域Ar。路面区域检测装置10通过使用标准化速度nv，并利用与车辆1的移动量相对应的由相机13取得的同一图像中的特征点P的移动量在为与路面相等的高度位置时和为不同的高度位置时发生变化的情况，来判断是否为与路面相等的高度位置以确定路面区域Ar。因此，路面区域检测装置10能够不使用双眼相机、立体相机、多眼相机等而使用单眼相机13来确定路面区域Ar。
路面区域检测装置10只要能够进行特征点P的提取和追踪，就能够确定路面区域Ar，所以能够应对各种路面来确定路面区域Ar，并且能够不限于路面而将到在与路面相等的高度位置连续的平坦区域为止也确定为路面区域Ar。这是由于，作为确定路面的现有技术，存在通过检测颜色的差异来判断是否为路面的技术，但在路面上使用不同的多个颜色的情况下，有可能无法适当地确定。另外，在该现有技术中，即使为在与路面相等的高度位置连续的平坦区域，也仅检测出路面。
路面区域检测装置10能够在行驶中确定路面区域Ar，因此例如能够在相机13的用于恰当地形成俯瞰图像的校准中使用。这是由于，为了准确地进行相机13的校准，有时需要使用成为与路面相等的高度位置的平坦面上的特征点。特别地，由于路面区域检测装置10将到在与路面相等的高度位置连续的平坦区域为止确定为路面区域Ar，所以能够不仅能够通过路面还能够利用更宽的路面区域Ar来进行校准，因此能够更准确地进行校准。路面区域检测装置10通过将检测出的路面区域Ar重叠于俯瞰图像而显示于影像显示装置16，从而能够使乘员识别出路面区域Ar。
本公开所涉及的路面区域检测装置的一个实施例的路面区域检测装置10能够得到以下的各作用效果。
路面区域检测装置10在基于相机13所取得的图像中的特征点P的移动而求出的标准化速度nv存在于基于中央区域部cp的标准化速度nv而求出的路面判定范围E内时，将成为该标准化速度nv的特征点P所在的宽度方向Dw确定为路面区域Ar。因此，路面区域检测装置10利用即使是同一图像在为与路面相等的高度位置时和为不同的高度位置时特征点P的移动量也发生变化的情况，来确定路面区域Ar，所以能够使用单眼相机13来确定路面区域Ar。此外，路面区域检测装置10基于作为特征点P而提取的道路上的白线或道路标识存在的可能性高的中央区域部cp的标准化速度nv，来求出路面判定范围E，所以能够以高概率恰当地计算出适当的路面判定范围E，由此能够恰当地确定路面区域Ar。该中央区域部cp包含车辆1所行驶的路面，所以能够适于确定处于与路面相等的高度位置的部位。
另外，路面区域检测装置10将比标准化速度nv处于路面判定范围E外的特征点P当中的、在宽度方向Dw上距车辆1最近的特征点P更靠车辆1侧确定为路面区域Ar。因此，路面区域检测装置10能够将到在与路面相等的高度位置连续的平坦区域为止确定为路面区域Ar。
此外，路面区域检测装置10在用宽度方向Dw的距离表示横轴且用标准化速度nv的大小表示纵轴的分布图表中，将对宽度方向Dw的位置不同的至少2个特征点P的标准化速度nv进行连结的近似直线作为路面判定基准线Sb，将路面判定范围E设定为以该路面判定基准线Sb为基准而求出的路面判定上限线Su和路面判定下限线Sl所夹的范围。因此，路面区域检测装置10能够以简单的结构恰当地检测出处于与路面相等的高度位置的部位。
当在相等的宽度方向Dw的位置处存在多个特征点P时，路面区域检测装置10将各个标准化速度nv的平均作为该宽度方向Dw的位置处的标准化速度nv的代表点Rv而记载在分布图表上，并求出近似直线而求出路面判定基准线Sb。因此，路面区域检测装置10能够减小由于特征点P的提取等而产生的误差的影响来确定路面区域Ar。
路面区域检测装置10针对将作为路面区域Ar的检测对象的检测区域Ad在宽度方向Dw上按每个给定大小进行划分而设定的多个宽度方向分区dv中的每个宽度方向分区来计算标准化速度nv，并以宽度方向分区dv为单位来确定路面区域Ar。因此，路面区域检测装置10能够针对每个宽度方向分区dv求出作为标准化速度nv的代表点Rv，因此能够进一步减小由于特征点P的提取等而产生的误差的影响来确定路面区域Ar。
路面区域检测装置10将在检测区域Ad中的以车辆1为中心的给定的中央区域部cp内对宽度方向分区dv不同的至少2个特征点P的标准化速度nv进行连结的近似直线设定为路面判定基准线Sb，并将以该路面判定基准线Sb为基准而求出的路面判定上限线Su和路面判定下限线Sl所夹的范围设定为路面判定范围E。因此，路面区域检测装置10能够以简单的结构进一步减小由于特征点P的提取等而产生的误差的影响来确定路面区域Ar。
路面区域检测装置10通过将特征点P的移动量除以该期间的车辆1的移动量而计算出标准化速度nv。因此，路面区域检测装置10能够以简单的结构对特征点P的移动量的差异进行比较，能够用于路面区域Ar的确定。
因此，作为本公开所涉及的路面区域检测装置的实施例1的路面区域检测装置10能够以不使用双眼相机、立体相机、多眼相机等的简单的结构来检测路面区域Ar。
以上，基于实施例1对本公开的路面区域检测装置进行了说明，但对于具体的结构，并不限于实施例1，只要不脱离权利要求书的各个权利要求所涉及的发明的主旨，就允许进行设计的变更或追加等。
例如，在实施例1中，针对将检测区域Ad在宽度方向Dw上按每个给定大小进行划分所得的每个宽度方向分区dv，求出标准化速度nv或代表点Rv，并且以宽度方向分区dv为单位来确定路面区域Ar。但是，也可以不设定宽度方向分区dv而使用标准化速度nv或代表点Rv来确定路面区域Ar，并不限定于实施例1的结构。
另外，在实施例1中，若在相等的宽度方向Dw的位置处存在多个特征点P，则根据各标准化速度nv的平均av1和标准偏差σ1求出将较大不同的数值除外的标准化速度nvα，并将该标准化速度nvα的平均av2作为该宽度方向Dw的位置的代表点Rv。但是，也可以将各标准化速度nv的平均av1作为该宽度方向Dw的位置的代表点Rv，还可以用其他方法求出平均而作为代表点Rv，并不限定于实施例1的结构。
而且，在实施例1中，行为判断部22根据车速和转向角来判断是否处于适于路面区域Ar的确定的状态，但也可以将是否存在车辆1所行驶的路面的倾斜的变化用于判断是否处于确定的状态。这是由于，例如在相机13所取得的图像中的路面相对于车辆1行驶的路面倾斜的情况下和不倾斜的情况下，路面的映像方法发生变化，因此，如果路面的倾斜在中途发生变化，则相机13所取得的图像中的特征点P的追踪变得困难。因此，通过将路面的倾斜的变化是否处于给定的范围内用于判断是否处于适于确定的状态，从而能够更恰当地追踪特征点P，能够更恰当地确定路面区域Ar。另一方面，在路面区域检测装置10中，也可以通过使用取得路面的倾斜的变化的倾斜传感器，并在特征点取得部21进行特征点P的追踪时考虑路面的倾斜，从而能够更恰当地追踪特征点P。
相关申请的相互参照
本申请基于2017年11月8日向日本特许厅提交的日本特愿2017-215363而主张优先权，其全部公开内容以参照的方式完全并入本说明书中。

Claims (7)

1.一种路面区域检测装置，其特征在于，具备：
标准化速度计算部，其基于搭载于行驶的车辆的相机所取得的图像中的特征点的移动，求出标准化速度；
判定范围计算部，其在所述车辆的宽度方向上的以所述车辆为中心的给定的中央区域部中，基于所述宽度方向的位置不同的至少2个所述特征点的所述标准化速度，求出由所述标准化速度的大小表示的路面判定范围；以及
路面区域确定部，其将所述标准化速度存在于所述路面判定范围内的所述特征点所在的所述宽度方向确定为所述车辆行驶的路面区域。
2.根据权利要求1所述的路面区域检测装置，其特征在于，
所述路面区域确定部将比所述标准化速度处于所述路面判定范围外的所述特征点当中的、在所述宽度方向上距所述车辆最近的所述特征点更靠所述车辆侧的区域确定为所述路面区域。
3.根据权利要求1或2所述的路面区域检测装置，其特征在于，
在用所述宽度方向的距离表示横轴、且用所述标准化速度的大小表示纵轴的分布图表中，将对所述宽度方向的位置不同的至少2个所述特征点的所述标准化速度进行连结的近似直线作为路面判定基准线，所述路面判定范围被设定为以所述路面判定基准线为基准而求出的路面判定上限线和路面判定下限线所夹的范围。
4.根据权利要求3所述的路面区域检测装置，其特征在于，
若在相等的所述宽度方向的位置处存在多个所述特征点，则所述判定范围计算部将各个所述标准化速度的平均作为该所述宽度方向的位置处的所述标准化速度的代表点而记载在所述分布图表上，并求出所述路面判定基准线。
5.根据权利要求1至4中任一项所述的路面区域检测装置，其特征在于，
所述标准化速度计算部针对将作为所述路面区域的检测对象的检测区域在所述宽度方向上按每个给定大小进行划分而设定的多个宽度方向分区的每个宽度方向分区，计算所述标准化速度，
所述路面区域确定部以所述宽度方向分区为单位来确定所述路面区域。
6.根据权利要求5所述的路面区域检测装置，其特征在于，
将对在所述检测区域中的所述中央区域部内所述宽度方向分区不同的至少2个所述特征点的所述标准化速度进行连结的近似直线作为路面判定基准线，所述路面判定范围被设定为以所述路面判定基准线为基准而求出的路面判定上限线和路面判定下限线所夹的范围。
7.根据权利要求1至6中任一项所述的路面区域检测装置，其特征在于，
所述标准化速度计算部通过将所述特征点的移动量除以此期间的所述车辆的移动量来计算出所述标准化速度。
CN201880071686.XA 2017-11-08 2018-06-19 路面区域检测装置 Active CN111316322B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017215363A JP6960827B2 (ja) 2017-11-08 2017-11-08 路面領域検出装置
JP2017-215363 2017-11-08
PCT/JP2018/023262 WO2019092913A1 (ja) 2017-11-08 2018-06-19 路面領域検出装置

Publications (2)

Publication Number Publication Date
CN111316322A true CN111316322A (zh) 2020-06-19
CN111316322B CN111316322B (zh) 2023-10-13

Family

ID=66437720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880071686.XA Active CN111316322B (zh) 2017-11-08 2018-06-19 路面区域检测装置

Country Status (5)

Country Link
US (1) US11403770B2 (zh)
EP (1) EP3709265A4 (zh)
JP (1) JP6960827B2 (zh)
CN (1) CN111316322B (zh)
WO (1) WO2019092913A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102522923B1 (ko) * 2018-12-24 2023-04-20 한국전자통신연구원 차량의 자기위치 추정 장치 및 그 방법
JP7335713B2 (ja) * 2019-03-28 2023-08-30 株式会社Subaru 路面判定装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1796042A2 (en) * 2005-12-06 2007-06-13 Nissan Motor Co., Ltd. Detection apparatus and method
CN104520894A (zh) * 2012-06-19 2015-04-15 丰田自动车株式会社 路旁物检测装置
CN106056569A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4811201B2 (ja) * 2005-12-06 2011-11-09 日産自動車株式会社 走路境界線検出装置、および走路境界線検出方法
JP2008003696A (ja) * 2006-06-20 2008-01-10 Toyota Motor Corp 画像処理装置及び画像処理方法
JP4919036B2 (ja) 2007-01-30 2012-04-18 アイシン精機株式会社 移動物体認識装置
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8099213B2 (en) * 2008-07-18 2012-01-17 GM Global Technology Operations LLC Road-edge detection
JP4970516B2 (ja) * 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 周囲確認支援装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
CN103854008B (zh) 2012-12-04 2019-10-18 株式会社理光 路面检测方法和装置
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
US10115024B2 (en) * 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
US9866816B2 (en) * 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
JP6733225B2 (ja) 2016-03-08 2020-07-29 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6769477B2 (ja) 2016-03-10 2020-10-14 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1796042A2 (en) * 2005-12-06 2007-06-13 Nissan Motor Co., Ltd. Detection apparatus and method
CN104520894A (zh) * 2012-06-19 2015-04-15 丰田自动车株式会社 路旁物检测装置
CN106056569A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张凤静;夏伟杰;: "双目立体视觉测距系统目标车辆检测算法研究" *

Also Published As

Publication number Publication date
CN111316322B (zh) 2023-10-13
JP2019087070A (ja) 2019-06-06
JP6960827B2 (ja) 2021-11-05
US20200265588A1 (en) 2020-08-20
EP3709265A4 (en) 2021-08-04
US11403770B2 (en) 2022-08-02
WO2019092913A1 (ja) 2019-05-16
EP3709265A1 (en) 2020-09-16

Similar Documents

Publication Publication Date Title
CN110567469B (zh) 视觉定位方法、装置、电子设备及系统
US9426364B2 (en) Image processing apparatus and image processing method
JP4956452B2 (ja) 車両用環境認識装置
CN106462968B (zh) 用于校准机动车的摄影机系统的方法和装置
CN102646343B (zh) 车辆检测装置
EP2546602B1 (en) Stereo camera apparatus
WO2018225446A1 (ja) 地図変化点検出装置
US8526681B2 (en) On-vehicle image processing device for vehicular control
US20170140542A1 (en) Vehicular image processing apparatus and vehicular image processing system
JP2010224924A (ja) 画像処理装置
JP6708730B2 (ja) 移動体
KR20150041334A (ko) Avm 시스템의 이미지 처리 방법
JP5163165B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
WO2012066999A1 (ja) 車載カメラの変位量検出装置
CN111316322B (zh) 路面区域检测装置
JP2005214914A (ja) 移動速度検出装置および移動速度検出方法
US9827906B2 (en) Image processing apparatus
JP6768554B2 (ja) キャリブレーション装置
JP2009139325A (ja) 車両用走行路面検出装置
US10867400B2 (en) System for processing an image obtained by using stereo photography
WO2015001747A1 (ja) 走行路面標示検知装置および走行路面標示検知方法
US10726528B2 (en) Image processing apparatus and image processing method for image picked up by two cameras
CN113170057A (zh) 摄像部控制装置
JP2020087210A (ja) キャリブレーション装置及びキャリブレーション方法
JP5182589B2 (ja) 障害物検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant