CN103098111B - 行驶道路推定装置及程序 - Google Patents
行驶道路推定装置及程序 Download PDFInfo
- Publication number
- CN103098111B CN103098111B CN201180042149.0A CN201180042149A CN103098111B CN 103098111 B CN103098111 B CN 103098111B CN 201180042149 A CN201180042149 A CN 201180042149A CN 103098111 B CN103098111 B CN 103098111B
- Authority
- CN
- China
- Prior art keywords
- travel
- system noise
- lane boundary
- presumption
- boundary point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 239000002245 particle Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- JHJOOSLFWRRSGU-UHFFFAOYSA-N Fenchlorphos Chemical compound COP(=S)(OC)OC1=CC(Cl)=C(Cl)C=C1Cl JHJOOSLFWRRSGU-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明由特征点提取部(30)获取由摄像装置(12)拍摄到的摄像图像,并从摄像图像提取特征点,由车道边界点选择部(32)从提取出的特征点选择表示车道的车道边界点,再通过分布判定部(34)判定车道边界点的分布,由系统噪声设定部(36)基于车道边界点的分布设定各系统噪声,由行驶道路参数推定部(38)基于车道边界点、过去的推定结果、及设定的系统噪声稳定推定行驶道路参数。
Description
技术领域
本发明涉及行驶道路推定装置及程序,特别涉及基于利用摄像装置拍摄到的图像推定行驶道路参数的行驶道路推定装置及程序。
背景技术
目前,提出有以下车辆行驶路识别装置:根据由CCD摄影机对车辆前方拍摄到的输入图像检测车道标志,基于车道标志的检测结果利用卡尔曼滤波算出用于表示车辆前方的道路形状的道路模型参数(参照专利文献1)。在专利文献1的行驶路识别装置中,推定的道路模型参数的变化作为概率性的行为而定义为由固定的白色高斯噪声驱动的离散系随机游动模型。
专利文献1:(日本)特开2002-109695号公报
发明内容
但是,每个推定的参数的推定精度根据观测值的分布而受到影响,在上述专利文献1中的技术中,因为表示道路模型参数的变动的程度的系统噪声被设定为与观测值无关,所以,存在不能稳定进行道路模型参数推定的问题。
本发明为了解决上述问题点而提出,其目的在于提供一种可以稳定推定行驶道路参数的行驶道路推定装置及程序。
为了实现上述目的,本发明的行驶道路推定装置包括:获取单元,获取对本车辆周边拍摄而得到的摄像图像;提取单元,从利用所述获取单元获取的摄像图像提取表示车道的特征点;设定单元,基于由所述提取单元提取处的特征点的分布,设定系统噪声,该系统噪声表示推定与相对所述本车辆行驶的行驶道路的与本车辆的位置及姿态、以及该行驶道路的形状及大小相关的行驶道路参数时的该行驶道路参数的变动的程度;推定单元,基于由所述提取单元提取出的特征点、过去的所述行驶道路参数的推定结果、及由所述设定单元设定的系统噪声,通过处理离散时间信号的概率性信号处理推定所述行驶道路参数。
根据本发明的行驶道路推定装置,获取单元获取对本车辆周边拍摄而得到的摄像图像,提取单元从由获取单元获取的摄像图像提取表示车道的特征点。表示车道的特征点的提取是如下进行的,即首先从摄像图像提取边缘点,基于边缘点的连续性或形状等从边缘点中选择表示车道的特征点。
而且,设定单元基于由提取单元提取出的特征点的分布对表示推定与相对本车辆行驶的行驶道路的本车辆的位置及姿态、以及行驶道路的形状及大小相关的行驶道路参数时的行驶道路参数的变动的程度的系统噪声进行设定,推定单元基于由提取单元提取出的特征点、过去的行驶道路参数的推定结果、及由设定单元设定的系统噪声,通过处理离散时间信号的概率性信号处理推定行驶道路参数。
这样,基于从摄像图像提取出的表示车道的特征点的分布、即观测值的分布,对与各推定的行驶道路参数分别对应的系统噪声进行设定,因此,可以稳定推定行驶道路参数。
另外,可以将与相对所述行驶道路的本车辆的位置及姿态相关的行驶道路参数设为相对该行驶道路的本车辆的横向位置、相对该行驶道路的中央线的横摆角、及相对行驶道路的平面的俯仰角,将与所述行驶道路的形状及大小相关的行驶道路参数设为该行驶道路的曲率及该行驶道路的车道宽度。
另外,所述设定单元可以在所述特征点仅分布于摄像图像上的远方区域的情况下,将与所述行驶道路的曲率、所述行驶道路的车道宽度、及相对所述行驶道路的本车辆的横向位置对应的系统噪声分别减小,在所述特征点仅分布于摄像图像上的附近区域的情况下,将与所述行驶道路的曲率对应的系统噪声减小,在仅分布有表示所述车道的左侧边界的特征点或表示右侧边界的特征点的情况下,将与所述行驶道路的车道宽度、及相对所述行驶道路的平面的俯仰角对应的系统噪声分别减小,在所述特征点不存在预先确定的规定数量以上的情况下,将与全部行驶道路参数对应的系统噪声分别减小。由此,即使是行驶道路参数的推定精度降低这样的观测状况也可以稳定推定行驶道路参数。
另外,本发明的行驶道路推定程序是用于使计算机作为以下单元发挥功能:获取单元,获取对本车辆周边拍摄而得到的摄像图像;提取单元,从由所述获取单元获取的摄像图像提取表示车道的特征点;设定单元,基于由所述提取单元提取出的特征点的分布,设定系统噪声,该系统噪声表示推定与相对所述本车辆行驶的行驶道路的本车辆的位置及姿态、以及该行驶道路的形状及大小相关的行驶道路参数时的该行驶道路参数的变动的程度;及推定单元,基于由所述提取单元提取出的特征点、过去的所述行驶道路参数的推定结果、及由所述设定单元设定的系统噪声,通过处理离散时间信号的概率性信号处理推定所述行驶道路参数。
发明效果
如上所说明,根据本发明的行驶道路推定装置及程序,基于从摄像图像提取出的表示车道的特征点的分布、即观测值的分布,设定与推定的各行驶道路参数对应的系统噪声,因此,可以得到能够稳定推定行驶道路参数的效果。
附图说明
图1是表示本实施方式行驶道路推定装置的电气系的要部构成的框图;
图2A是示意性表示推定的行驶道路参数(横向位置、横摆角、车道宽度)的图;
图2B是示意性表示推定的行驶道路参数(曲率)的图;
图2C是示意性表示推定的行驶道路参数(俯仰角)的图;
图3是表示本实施方式行驶道路推定装置的功能构成的框图;
图4A是用于说明特征点的提取的图;
图4B是用于说明特征点的提取的图;
图4C是用于说明特征点的提取的图;
图5是用于说明车道边界点的选择的图;
图6是用于说明远方区域及附近区域的图;
图7A是表示车道边界点的分布的图案的图;
图7B是表示车道边界点的分布的图案的图;
图7C是表示车道边界点的分布的图案的图;
图7D是表示车道边界点的分布的图案的图;
图7E是表示车道边界点的分布的图案的图;
图7F是表示车道边界点的分布的图案的图;
图7G是表示车道边界点的分布的图案的图;
图7H是表示车道边界点的分布的图案的图;
图7I是表示车道边界点的分布的图案的图;
图7J是表示车道边界点的分布的图案的图;
图7K是表示车道边界点的分布的图案的图;
图7L是表示车道边界点的分布的图案的图;
图7M是表示车道边界点的分布的图案的图;
图7N是表示车道边界点的分布的图案的图;
图7O是表示车道边界点的分布的图案的图;
图7P是表示车道边界点的分布的图案的图;
图8是表示与车道边界点的分布对应的每个行驶道路参数的系统噪声的设定之一例的图;
图9是表示本实施方式行驶道路推定装置的行驶道路推定处理例程的内容的流程图;
图10是用于说使用了粒子滤波的例的图。
具体实施方式
下面,参照附图对本发明实施方式详细进行说明。
如图1所示,本实施方式的行驶道路推定装置10具备对车辆前方区域连续进行拍摄的摄像装置12、执行推定行驶道路参数的处理的计算机16。
摄像装置12具备对车辆前方的对象区域拍摄且生成图像信号的摄像部(省略图示)、将摄像部生成的模拟信号即图像信号转换为数字信号的A/D转换部(省略图示)、及用于临时贮存A/D转换后的图像信号的图像存储器(省略图示)。
计算机16包含负责行驶道路推定装置10整体的控制的CPU20、存储后述的行驶道路推定处理例程的程序等各种程序的作为存储介质的ROM22、作为工作区而临时贮存数据的RAM24、作为存储了各种信息的存储装置的存储器26、输入输出端口(I/O端口)28、将这些相互连接的总线而构成。I/O端口28与摄像装置12连接。
本实施方式的行驶道路推定装置10从由摄像装置12拍摄到的摄像图像提取表示车道的特征点(车道边界点),将该特征点作为观测值使用卡尔曼滤波推定行驶道路参数。
另外,作为行驶道路参数,推定与相对于本车辆行驶的行驶道路的本车辆的位置及姿态相关的行驶道路参数、以及与本车辆行驶的行驶道路的形状及大小相关的行驶道路参数。更具体而言,将与相对于行驶道路的本车辆的位置及姿态相关的行驶道路参数设为表示行驶道路的左侧边界的车道、表示右侧边界的车道、或相对于中央线的本车辆的横向位置ek|k、相对于行驶道路的中央线的横摆角θk|k、及相对于行驶道路的平面的俯仰角φk|k,将与行驶道路的形状及大小相关的行驶道路参数设为行驶道路的曲率ck|k、及行驶道路的车道宽度wk|k。在将这五个行驶道路参数合并称为行驶道路参数的情况下,设为行驶道路参数xk|k(xk|k=(ek|kθk|kφk|kck|kwk|k))。图2A~图2C示意性表示作为行驶道路参数进行推定的横向位置、横摆角、俯仰角、曲率(行驶道路的形状)及车道宽度。
对执行这样的处理的计算机16通过分割为基于硬件和软件而确定的每个功能实现装置的功能框图进行说明,如图3所示,可以用含有以下部分的构成表示:获取由摄像装置12拍摄到的摄像图像并从摄像图像提取特征点的特征点提取部30、从提取出的特征点选择表示车道的车道边界点的车道边界点选择部32、判定车道边界点的分布的分布判定部34、基于车道边界点的分布设定各系统噪声的系统噪声设定部36、基于车道边界点、过去的推定结果、及设定了的系统噪声推定行驶道路参数的行驶道路参数推定部38。
特征点提取部30对例如图4A所示的摄像图像,如图4B那样沿水平方向扫描,将每个像素的亮度的变化点即边缘点作为特征点提取。图4C表示示意性表示了提取出的特征点之一例。
车道边界点选择部32从由特征点提取部30提取出的特征点通过判别连续排列的边缘点的形状或宽度、颜色等选择表示车道的车道边界点。在存在多个车道的情况下,选择表示最内侧的左右一对车道的车道边界点。图5表示示意性表示已被选择的车道边界点之一例。
另外,特征点提取部30及车道边界点选择部32是本发明的提取装置之一例。
分布判定部34判定由车道边界点选择部32选择了的车道边界点为怎样的分布。本实施方式中为判定车道边界点是分布于远方区域及附近区域双方、是只分布于远方区域、或者还是只分布于附近区域。另外,判定是存在表示左侧边界的车道边界点及表示右侧边界的车道边界点这两方的分布、是只存在表示左侧边界的车道边界点的分布、或者还是只存在表示右侧边界的车道边界点的分布。另外,判定选择了的车道边界点的总数是否在预先确定的规定数以下。将车道边界点的总数为规定数以下的分布称为无观测值的分布。
在此,对在远方区域及附近区域是否存在车道边界点的判定进行说明。首先,如图6所示,以摄像图像的左上端的像素为原点,设水平方向为x轴、设垂直方向为y轴。设定消失点的位置的y坐标为ya、设定摄像图像的y坐标的最大值为yb,设定yc=ya+k(yb-ya)形成的y坐标yc。另外,k设定为0<k<1的值,可以设定为例如1/3。另外,考虑摄像装置12的安装角度等,也可以将与相距摄像装置12的距离为例如20m的位置对应的摄像图像上的y坐标设定为yc。而且,将y坐标为ya~yc的范围设定为远方区域,将y坐标为yc~yb的范围设定为附近区域。
然后,将表示左侧边界的车道边界点的y坐标的最小值设为LF,只要LF≦yc,则判定为车道边界点存在于左侧远方区域。另外,将表示左侧边界的车道边界点的y坐标的最大值设为LN,只要LN>yc,则判定为车道边界点存在于左侧附近区域。同样,将表示右侧边界的车道边界点的y坐标的最小值设为RF,将最大值设为RN,与yc进行比较,判定车道边界点是存在于右侧远方区域还是存在于右侧附近区域。另外,也可以分别设置用于判定车道边界点是否存在于远方区域及附近区域的y坐标阈值Tf及Tn,只要LF(RF)≦Tf,则判定为车辆边界点存在于远方区域,只要LN≧Tn,则判定为车辆边界点存在于附近区域。
如上述,为了判定车道边界点是分布于远方区域还是附近区域,及分布于左侧还是分布于右侧,车道边界点的分布的图案分类为图7A~图7P所示的图案。图7P是无观测值的分布。
系统噪声设定部36基于由分布判定部34判定出的车道边界点的分布,设定与各推定的行驶道路参数xk|k对应的系统噪声。系统噪声表示在基于本次的观测使上次的推定结果变动而推定本次的行驶道路参数时使行驶道路参数变动的程度。
在车道边界点分布于远方区域及附近区域、以及左右两侧的情况下,可以稳定推定全部的行驶道路参数xk|k。但是,例如在车道边界点只分布于远方区域的情况下,因为本车辆的横向位置ek|k或车道宽度wk|k等行驶道路参数的推定精度降低,因此推定结果不稳定。因此,根据车道边界点的分布判断观测状况,设定与各行驶道路参数分别对应的系统噪声。
图8表示系统噪声的设定方法之一例。在以下情况下可以比较稳定推定参数:横向位置ek|k为在车道边界点分布于附近区域的情况下,横摆角θk|k为在车道边界点存在有规定数量以上的情况下(存在观测值的情况),俯仰角φk|k为在车道边界点分布于左右两侧的情况下,曲率ck|k为在车道边界点在从附近区域到远方区域进行分布的情况下,车道宽度wk|k为在车道边界点分布于附近区域的左右两侧的情况下。因此,判定由分布判定部34判定出的车道边界点的分布的图案属于以下哪一个分布种类:车道边界点存在于全部区域的“远近左右有”、只存在于远方区域的“仅远方”、只存在于附近区域的“仅附近”、存在于表示左侧边界的车道边界点及表示右侧边界的车道边界点双方的“左右有”、只存在于表示左侧边界或右侧边界的一侧的边界的车道边界点的“仅单侧”、及车道边界点的总数为规定数以下的“无观测值”。图8中的分布的种类名的下段的字母与图7A~图7P中的各分布的图案对应。“左右有”中不含图7A、图7F及图7J的图案。另外,图7H及图7N的图案属于“仅远方”及“仅单侧”这两者。另外,图7L及图7O的图案属于“仅附近”及“仅单侧”这两者。
另外,如图8所示,对每个分布的种类制定有与行驶道路参数分别对应的系统噪声的设定方法。例如,在“仅远方”的情况下,对于与横向位置ek|k、曲率ck|k及车道宽度wk|k对应的系统噪声,定为“噪声小”。在“噪声小”的情况下,将该系统噪声设定得较小(例如,设定为“0”),在不是“噪声小”的情况下,根据现有的方法设定系统噪声。另外,将系统噪声设定得较小是指缩小行驶道路参数推定时的变动的程度,包括以不更新相应的行驶道路参数的方式进行设定。系统噪声越大,行驶道路参数越易于变动,系统噪声越小,行驶道路参数越难以变动,可以得到稳定的推定结果。
另外,分布判定部34及系统噪声设定部36是本发明的设定装置之一例。
行驶道路参数推定部38根据下述所示的卡尔曼滤波的式推定行驶道路参数xk|k。
[数1]
滤波方程式
xk|k=xk|k-1+Kk(yk-hk(xk|k-1))(1)
xk+1==fk(xk|k)(2)
卡尔曼增益
误差协方差矩阵方程式
Σk|k=Σk|k-1-KkHkΣk|k-1(4)
初期值
xk|k是时刻k时的内部状态(行驶道路参数),yk是由yk=[yk 1…yk m]T表现的观测值(车道边界点的坐标),fk是状态转换函数,hk是观测函数,Fk是在时刻k时的状态转换矩阵,Gk是在时刻k时的驱动矩阵,Hk是观测矩阵。Σk|k是在时刻k时的推定误差协方差矩阵,Σk+1| k是在时刻k时的预测误差协方差矩阵,Σwk是在时刻k时的系统噪声的协方差矩阵,Σvk是在时刻k时的观测噪声的协方差矩阵。由系统噪声设定部36设定的系统噪声为(5)式中的Σwk。而且,将车道边界点的坐标设定为观测值yk,推定行驶道路参数xk|k。
下面,参照图9对本实施方式的行驶道路推定装置10的计算机16执行的行驶道路推定处理例程进行说明。本例程通过由CPU20执行存储于ROM22的行驶道路推定程序进行。
在步骤100中,获取由摄像装置12拍摄到的摄像图像,然后,在步骤102中将摄像图像的每个像素的亮度的变化点即边缘点作为特征点进行提取。
然后,在步骤104中从在上述步骤102中提取出的特征点通过判别连续排列的边缘点的形状或宽度、颜色等选择表示车道的车道边界点。
然后,在步骤106中,判定在上述步骤104中被选择了的车道边界点为怎样的分布。首先判定车道边界点的总数是否在规定数以下,若车道边界点的总数为规定数以下,则判定为是图7P中的图案的无观测值的分布。然后,将表示左侧边界的车道边界点的y坐标的最小值设为LF,若LF≦yc,则判定为车道边界点存在于左侧远方区域。另外,将表示左侧边界的车道边界点的y坐标的最大值设为LN,若LN>yc,则判定为车道边界点存在于左侧附近区域。同样,将表示右侧边界的车道边界点的y坐标的最小值设为RF,将最大值设为RN,然后与yc进行比较,判定车道边界点是存在于右侧远方区域还是存在于右侧附近区域。根据这些判定,判定车道边界点的分布属于图7A~图7O中的哪一个。例如,在车道边界点在左侧远方区域、左侧附近区域、右侧远方区域、及右侧附近区域中的任一个都存在的情况下,判定为是图7A中的图案。另外,在车道边界点仅存在于左侧远方区域及右侧远方区域的情况下,判定为是图7F中的图案。
然后,在步骤108中基于在上述步骤106中判定出的车道边界点的分布,设定与推定的各行驶道路参数xk|k分别对应的系统噪声。参照图8所示的、预先确定的车道边界点和系统噪声的对应,读入与车道边界点的分布的图案对应的各系统噪声的设定,设定为上述(5)式中的Σwk。例如,在上述步骤106中判定出的车道边界点的分布为图7F中的图案的情况下,分布的种类属于“仅远方”,因此,将与横向位置ek|k、曲率ck|k及车道宽度wk|k的行驶道路参数对应的系统噪声设定得较小。另外,在车道边界点的分布为图7N中的图案的情况下,分布的种类属于“仅远方”及“仅单侧”,因此,在上述的行驶道路参数的基础上,也将俯仰角φk|k对应的系统噪声设定得较小。
然后,在步骤110中,根据上述(1)~(5)式将在上述步骤104中被选择了的车道边界点的坐标设为观测值yk,推定行驶道路参数xk| k,并输出推定结果。输出的推定结果可以由未图示的显示装置显示或作为控制车辆运动的车辆运动控制系统等的输入数据使用。
如上所说明,根据本实施方式的行驶道路推定装置,基于车道边界点的分布、即观测值的分布对各行驶道路参数判断是否处于推定精度降低这样的观测状况,将与推定精度降低这样的行驶道路参数对应的系统噪声的设定减小,来减小行驶道路参数的变动,因此,可以稳定推定行驶道路参数。
另外,在上述实施方式中,对使用卡尔曼滤波推定行驶道路参数的情况进行了说明,但也可以使用基于其它处理离散时间信号的概率性(统计性)信号处理的滤波。例如,可以使用粒子滤波。该情况下,如图10所示,(1)将行驶道路参数的概率用粒子的大小(重量)表现,(2)预测下一时刻的行驶道路参数。此时,考虑例如若车辆相对车道倾斜,则下一时刻的横向位置也变动等的车辆运动模型。而且,(3)使行驶道路参数概率性扩散。在变化大的情况下,使其在广范围内扩散,在变化小的情况下,使其在窄范围内扩散。该使其扩散的宽度相当于本发明中的系统噪声。而且,(4)将各行驶道路参数的值的合理性(合理度)使用观测值(车道边界点)加权,(5)算出根据观测值被更新了的行驶道路参数的概率分布。
另外,在上述实施方式中,就对车道边界点的分布根据是否存在于远方区域或附近区域、及左侧或右侧进行判定的情况进行了说明,但不限定于该情况。也可以分割为更详细的区域来判定分布,也可以仅以远方区域或附近区域进行判定,只要可以根据推定的行驶道路参数的性质判定作为观测值的车道边界线的分布即可。
另外,本发明的程序也可以为贮存于记录介质后进行提供、或经由有线或无线的通信装置进行提供的方式。另外,不限定于通过软件构成实现,也可以通过硬件构成或硬件构成和软件构成的组合实现。
附图标记说明
10行驶道路推定装置
12摄像装置
16计算机
30特征点提取部
32车道边界点选择部
34分布判定部
36系统噪声设定部
38行驶道路参数推定部
Claims (4)
1.一种行驶道路推定装置,包括:
获取单元,获取对本车辆周边拍摄而得到的摄像图像;
提取单元,从利用所述获取单元获取的摄像图像提取表示车道的特征点;
设定单元,基于由所述提取单元提取出的特征点的分布,设定系统噪声,该系统噪声表示推定与相对所述本车辆行驶的行驶道路的本车辆的位置及姿态、以及该行驶道路的形状及大小相关的行驶道路参数时的该行驶道路参数的变动的程度;以及
推定单元,基于由所述提取单元提取出的特征点、过去的所述行驶道路参数的推定结果、及由所述设定单元设定的系统噪声,通过处理离散时间信号的概率性信号处理来推定所述行驶道路参数。
2.如权利要求1所述的行驶道路推定装置,其中,
将与相对所述行驶道路的本车辆的位置及姿态相关的行驶道路参数设为相对该行驶道路的本车辆的横向位置、相对该行驶道路的中央线的横摆角、及相对该行驶道路的平面的俯仰角,将与所述行驶道路的形状及大小相关的行驶道路参数设为该行驶道路的曲率及该行驶道路的车道宽度。
3.如权利要求2所述的行驶道路推定装置,其中,
所述设定单元在所述特征点仅分布于摄像图像上的远方区域的情况下,将与所述行驶道路的曲率、所述行驶道路的车道宽度、及相对所述行驶道路的本车辆的横向位置对应的系统噪声分别减小,
所述设定单元在所述特征点仅分布于摄像图像上的附近区域的情况下,将与所述行驶道路的曲率对应的系统噪声减小,
所述设定单元在仅分布有表示所述车道的左侧边界的特征点或表示右侧边界的特征点的情况下,将与所述行驶道路的车道宽度、及相对所述行驶道路的平面的俯仰角对应的系统噪声分别减小,
所述设定单元在不存在预先确定的规定数量以上的所述特征点的情况下,将与全部行驶道路参数对应的系统噪声分别减小。
4.一种行驶道路推定方法,包括:
获取步骤,获取对本车辆周边拍摄而得到的摄像图像;
提取步骤,从利用所述获取步骤获取的摄像图像提取表示车道的特征点;
设定步骤,基于由所述提取步骤提取出的特征点的分布,设定系统噪声,该系统噪声表示推定与相对所述本车辆行驶的行驶道路的本车辆的位置及姿态、以及该行驶道路的形状及大小相关的行驶道路参数时的该行驶道路参数的变动的程度;及
推定步骤,基于由所述提取步骤提取出的特征点、过去的所述行驶道路参数的推定结果、及由所述设定步骤设定的系统噪声,通过处理离散时间信号的概率性信号处理来推定所述行驶道路参数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010214025A JP5258859B2 (ja) | 2010-09-24 | 2010-09-24 | 走路推定装置及びプログラム |
JP2010-214025 | 2010-09-24 | ||
PCT/JP2011/071898 WO2012039496A1 (ja) | 2010-09-24 | 2011-09-26 | 走路推定装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103098111A CN103098111A (zh) | 2013-05-08 |
CN103098111B true CN103098111B (zh) | 2015-12-16 |
Family
ID=45873975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180042149.0A Active CN103098111B (zh) | 2010-09-24 | 2011-09-26 | 行驶道路推定装置及程序 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8948455B2 (zh) |
EP (1) | EP2620930B1 (zh) |
JP (1) | JP5258859B2 (zh) |
CN (1) | CN103098111B (zh) |
BR (1) | BR112013006124B1 (zh) |
WO (1) | WO2012039496A1 (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4378186B2 (ja) | 2004-02-06 | 2009-12-02 | キヤノン株式会社 | 有機el素子アレイ |
JP5970811B2 (ja) | 2011-12-28 | 2016-08-17 | セイコーエプソン株式会社 | 発光素子、発光装置および電子機器 |
US9740942B2 (en) | 2012-12-12 | 2017-08-22 | Nissan Motor Co., Ltd. | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method |
US20160227098A1 (en) * | 2013-09-27 | 2016-08-04 | Nissan Motor Co., Ltd. | Information Presentation System |
JP6046666B2 (ja) * | 2014-06-24 | 2016-12-21 | トヨタ自動車株式会社 | 走路境界推定装置及び走路境界推定方法 |
KR20160059376A (ko) * | 2014-11-18 | 2016-05-26 | 엘지전자 주식회사 | 전자 기기 및 그 제어방법 |
JP6363518B2 (ja) * | 2015-01-21 | 2018-07-25 | 株式会社デンソー | 区画線認識装置 |
EP3435352B1 (en) * | 2016-03-24 | 2021-11-17 | Nissan Motor Co., Ltd. | Travel path detection method and travel path detection device |
CN106092121B (zh) * | 2016-05-27 | 2017-11-24 | 百度在线网络技术(北京)有限公司 | 车辆导航方法和装置 |
JP6293213B2 (ja) * | 2016-08-01 | 2018-03-14 | 三菱電機株式会社 | 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム |
JP6637399B2 (ja) * | 2016-09-30 | 2020-01-29 | 株式会社デンソー | 領域認識装置及び領域認識方法 |
JP2019011971A (ja) * | 2017-06-29 | 2019-01-24 | 株式会社東芝 | 推定システムおよび自動車 |
US10963706B2 (en) | 2018-01-13 | 2021-03-30 | Toyota Jidosha Kabushiki Kaisha | Distributable representation learning for associating observations from multiple vehicles |
US10586118B2 (en) * | 2018-01-13 | 2020-03-10 | Toyota Jidosha Kabushiki Kaisha | Localizing traffic situation using multi-vehicle collaboration |
US10916135B2 (en) | 2018-01-13 | 2021-02-09 | Toyota Jidosha Kabushiki Kaisha | Similarity learning and association between observations of multiple connected vehicles |
CN112733874B (zh) * | 2020-10-23 | 2023-04-07 | 招商局重庆交通科研设计院有限公司 | 基于知识图谱推理的可疑车辆判别方法 |
KR102371849B1 (ko) * | 2020-10-29 | 2022-03-11 | 주식회사 드림티엔에스 | 차선추출 방법 |
CN112465831B (zh) * | 2020-11-16 | 2023-10-20 | 北京中科慧眼科技有限公司 | 基于双目立体相机的弯道场景感知方法、系统和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1836267A (zh) * | 2003-09-24 | 2006-09-20 | 爱信精机株式会社 | 路面行驶车道检测装置 |
CN1924947A (zh) * | 2005-08-30 | 2007-03-07 | 珠海金联安软件有限公司 | 多功能行车、停车引导报警系统 |
CN1945596A (zh) * | 2006-11-02 | 2007-04-11 | 东南大学 | 用于车道偏离报警的车道线鲁棒识别方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3288566B2 (ja) * | 1994-11-10 | 2002-06-04 | 株式会社豊田中央研究所 | 走行レーン認識装置 |
JP3538476B2 (ja) * | 1995-05-12 | 2004-06-14 | 本田技研工業株式会社 | 車両の走行路区分線などの認識装置 |
EP0827127B1 (en) * | 1996-08-28 | 2006-10-04 | Matsushita Electric Industrial Co., Ltd. | Local positioning apparatus, and method therefor |
JPH1123291A (ja) * | 1997-07-04 | 1999-01-29 | Nissan Motor Co Ltd | 車両用画像処理装置 |
JP3319399B2 (ja) * | 1998-07-16 | 2002-08-26 | 株式会社豊田中央研究所 | 走行路認識装置 |
JP3521860B2 (ja) | 2000-10-02 | 2004-04-26 | 日産自動車株式会社 | 車両の走行路認識装置 |
JP3695315B2 (ja) * | 2000-11-14 | 2005-09-14 | 日産自動車株式会社 | 車両用表示装置 |
JP4086759B2 (ja) * | 2002-11-05 | 2008-05-14 | ダイハツ工業株式会社 | 道路モデルの推定装置及びその推定方法 |
US7660436B2 (en) * | 2003-06-13 | 2010-02-09 | Sarnoff Corporation | Stereo-vision based imminent collision detection |
JP4390631B2 (ja) * | 2004-06-02 | 2009-12-24 | トヨタ自動車株式会社 | 境界線検出装置 |
JP4659631B2 (ja) * | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
JP2009154647A (ja) * | 2007-12-26 | 2009-07-16 | Aisin Aw Co Ltd | マルチ画面表示装置及びそのプログラム |
JP5058002B2 (ja) * | 2008-01-21 | 2012-10-24 | 株式会社豊田中央研究所 | 物体検出装置 |
JP2010191661A (ja) * | 2009-02-18 | 2010-09-02 | Nissan Motor Co Ltd | 走行路認識装置、自動車及び走行路認識方法 |
-
2010
- 2010-09-24 JP JP2010214025A patent/JP5258859B2/ja active Active
-
2011
- 2011-09-26 WO PCT/JP2011/071898 patent/WO2012039496A1/ja active Application Filing
- 2011-09-26 US US13/820,030 patent/US8948455B2/en active Active
- 2011-09-26 EP EP11826938.0A patent/EP2620930B1/en active Active
- 2011-09-26 CN CN201180042149.0A patent/CN103098111B/zh active Active
- 2011-09-26 BR BR112013006124-3A patent/BR112013006124B1/pt not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1836267A (zh) * | 2003-09-24 | 2006-09-20 | 爱信精机株式会社 | 路面行驶车道检测装置 |
CN1924947A (zh) * | 2005-08-30 | 2007-03-07 | 珠海金联安软件有限公司 | 多功能行车、停车引导报警系统 |
CN1945596A (zh) * | 2006-11-02 | 2007-04-11 | 东南大学 | 用于车道偏离报警的车道线鲁棒识别方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5258859B2 (ja) | 2013-08-07 |
BR112013006124B1 (pt) | 2021-03-09 |
EP2620930B1 (en) | 2016-08-31 |
WO2012039496A1 (ja) | 2012-03-29 |
BR112013006124A2 (pt) | 2016-05-31 |
US8948455B2 (en) | 2015-02-03 |
EP2620930A1 (en) | 2013-07-31 |
EP2620930A4 (en) | 2015-09-16 |
CN103098111A (zh) | 2013-05-08 |
JP2012068961A (ja) | 2012-04-05 |
US20130177211A1 (en) | 2013-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103098111B (zh) | 行驶道路推定装置及程序 | |
US9990728B2 (en) | Planar region guided 3D geometry estimation from a single image | |
CN103294991B (zh) | 车外环境识别装置 | |
CN105723180B (zh) | 移动体位置估计装置以及移动体位置估计方法 | |
US9536147B2 (en) | Optical flow tracking method and apparatus | |
CN111693972A (zh) | 一种基于双目序列图像的车辆位置与速度估计方法 | |
CN103003842B (zh) | 运动物体检测装置、运动物体检测方法、运动物体跟踪装置、运动物体跟踪方法 | |
CN109919144B (zh) | 可行驶区域检测方法、装置、计算机存储介质及路测视觉设备 | |
CN105608417B (zh) | 交通信号灯检测方法及装置 | |
CN104200485A (zh) | 一种面向视频监控的人体跟踪方法 | |
CN111462096A (zh) | 三维目标检测方法及装置 | |
CN110737266A (zh) | 一种自动驾驶控制方法、装置、车辆和存储介质 | |
CN104978733B (zh) | 烟雾检测方法以及装置 | |
US10692235B2 (en) | Image processing apparatus and method for determining a depth of a pixel of a reference image | |
CN110992424B (zh) | 基于双目视觉的定位方法和系统 | |
Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
CN112947419A (zh) | 避障方法、装置及设备 | |
CN104700384B (zh) | 基于增强现实技术的展示系统及展示方法 | |
CN103404130A (zh) | 兴趣区间确定装置、兴趣区间确定方法、兴趣区间确定程序 | |
JP7145770B2 (ja) | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム | |
Pan et al. | Inferring 3d layout of building facades from a single image | |
Schauwecker et al. | A comparative study of stereo-matching algorithms for road-modeling in the presence of windscreen wipers | |
CN109059780B (zh) | 检测障碍物高度的方法、装置、设备及存储介质 | |
CN116092035A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
JP7074723B2 (ja) | 学習装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |