CN103582907A - 道路形状判定装置、车载用图像识别装置、拍摄轴调整装置及车道识别方法 - Google Patents

道路形状判定装置、车载用图像识别装置、拍摄轴调整装置及车道识别方法 Download PDF

Info

Publication number
CN103582907A
CN103582907A CN201280026555.2A CN201280026555A CN103582907A CN 103582907 A CN103582907 A CN 103582907A CN 201280026555 A CN201280026555 A CN 201280026555A CN 103582907 A CN103582907 A CN 103582907A
Authority
CN
China
Prior art keywords
vehicle
shooting angle
deviation
track shape
shoot part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280026555.2A
Other languages
English (en)
Other versions
CN103582907B (zh
Inventor
高浜琢
武田文纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN103582907A publication Critical patent/CN103582907A/zh
Application granted granted Critical
Publication of CN103582907B publication Critical patent/CN103582907B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

以更少的运算负荷推定车辆中具有的拍摄部的拍摄角度。车辆（1）中具有的车载用图像识别装置，根据用于拍摄车辆（1）周边的道路的照相机（10）的拍摄图像，对车辆（1）所行驶的行驶车道的车道形状进行识别。另外，根据识别出的车道形状求出照相机（10）的拍摄角度。并且，判定相对于识别出的车道形状有无偏差，使用判定为没有偏差时的拍摄角度对照相机（10）的拍摄角度进行校正。另外，计算判定为没有偏差时的拍摄角度的标准偏差，对应于该计算出的标准偏差对照相机（10）的拍摄角度进行校正。另外，检测车辆（1）的速度和转向操纵角而识别车辆（1）的动作，通过判定相对于该车辆（1）的动作有无偏差，对照相机（10）的拍摄角度进行校正。

Description

道路形状判定装置、车载用图像识别装置、拍摄轴调整装置及车道识别方法
技术领域
本发明涉及一种利用搭载在车辆中的照相机对车辆所行驶的车道形状等进行识别的技术。
背景技术
在专利文献1记载的白线识别装置中，根据由照相机拍摄得到的结果，对车辆所行驶的行驶车道的左右的车道标志线进行图像识别。并且，根据识别出的左右的车道标志线求出其延长线的交点，通过将其汇集而进行平均化，求出照相机安装角度误差。
专利文献1：日本特开2000－242899号公报
发明内容
在专利文献1的白线识别技术中，求取照相机的拍摄角度时的误差要因，大多是车辆动作（偏航率或横向速度等）或道路形状（曲率等）变化导致的。由此，在专利文献1的白线识别技术中，为了减少上述误差要因的影响，必须经常在车辆动作或道路形状难以发生变化的直线车道上行驶。但是，在通常的高速道路上，常见即使看起来是直线车道，但实际上具有小曲率的情况，因此，必须行驶长距离而汇集大量的数据。
另外，在此情况下，由于要运算大量的数据，对车载用的处理器来说，为了进行实时处理，产生运算负荷大的问题。
本发明就是鉴于上述情况而提出的，其目的在于以更少的运算负荷，判定是否为直行路而推定车辆中具有的拍摄部的拍摄角度。
为了解决上述课题，本发明的一个技术方案利用车辆中具有的拍摄部对所述车辆周边进行拍摄，根据该拍摄图像对所述车辆所行驶的行驶车道的车道形状进行识别。另外，本发明的一个技术方案基于所述识别出的车道形状中的与本车辆相对较近的附近区域的车道形状和远离本车辆的远方区域的车道形状，如果判断出将位于上述附近区域的左右的车道标志线进行直线近似而得到的延长线的交点、与将位于远方区域部分的左右的车道标志线进行直线近似而得到的延长线的交点的交点偏差小于或等于预先设定的阈值，则判定为直线车道。
发明的效果
根据本发明，能够以更少的运算负荷对直线车道进行判定。
附图说明
图1是表示搭载有本发明的第1实施方式所涉及的车载用图像识别装置的车辆的一个例子的图。
图2是表示本发明的第1实施方式所涉及的车载用图像识别装置的结构的一个例子的功能框图。
图3是表示车道形状识别部102的结构的一个例子的功能框图。
图4是表示车道形状识别部102中的处理的概念的示意图。
图5是表示区分出附近区域和远方区域而进行车道识别处理的情况的概念的示意图。
图6是表示本发明的第1实施方式所涉及的车载用图像识别装置中的处理的一个例子的流程图。
图7是表示本发明的第2实施方式所涉及的车载用图像识别装置的结构的一个例子的功能框图。
图8是表示本发明的第2实施方式所涉及的车载用图像识别装置中的处理的一个例子的流程图。
图9是表示本发明的第3实施方式所涉及的车载用图像识别装置的结构的一个例子的功能框图。
图10是表示本发明的第3实施方式所涉及的车载用图像识别装置中的处理的一个例子的流程图。
图11是说明本发明的第3实施方式所涉及的车载用图像识别装置的效果的图。
具体实施方式
下面，参照附图，对本发明的实施方式进行说明。此外，在下面的说明中参照的各附图中，对与其他附图等同的部分示出相同的标号。
（第1实施方式）
（车载用图像识别装置的结构）
图1是表示搭载有本实施方式所涉及的车载用图像识别装置的车辆的一个例子的图。本实施方式所涉及的车载用图像识别装置设置在车辆中，是用于根据车载照相机所拍摄的图像对车辆所行驶的车道进行识别的装置。车辆1具有：照相机10，其内置图像处理装置10a；车速检测装置20；转向操纵角检测装置30；转向操纵角控制装置40；以及转向操纵角致动器50。
照相机10对车辆1前方的图像进行拍摄。
照相机10例如是具有CCD（Charge Coupled Device）或CMOS（Complementary Metal Oxide Semiconductor）等拍摄元件的数字照相机。更具体地说，照相机10是用于高速地进行拍摄的逐行扫描式的3CMOS照相机。
此外，照相机10设置为，例如位于车辆1的驾驶室内的顶棚的前方中央部，对车辆1的前方进行拍摄，透过前玻璃对车辆1的前方行驶车道进行拍摄。但是，除了上述设置方式之外，只要是对本车辆1的行驶车道进行拍摄的照相机即可，也可以为其他设置方式。例如，可以如后视照相机这样在车辆1的后方安装照相机10，或也可以安装在保险杆等车辆1的前端，另外，也可以是使消失点不会映射到照相机10的视野内的设置方式。在上述任一种方式中，通过进行车道标志线的边缘的检测及近似直线的计算，能够计算出虚拟消失点。
另外，图像处理装置10a是执行本实施方式所涉及的车道识别处理的装置。即，图1的内置有图像处理装置10a的照相机10相当于本实施方式所涉及的车载用图像识别装置。
从图像处理装置10a、车速检测装置20以及转向操纵角检测装置30输出的信息输入至转向操纵角控制装置40。并且，转向操纵角控制装置40将用于实现作为目标的转向操纵的信号输出至转向操纵角致动器50。
另外，照相机10和转向操纵角控制装置40分别具有微型计算机和其周边部件、及各种致动器的驱动电路等，彼此经由通信电路发送/接收信息。通过上述的硬件结构，实现本实施方式所涉及的车道识别处理。
内置图像处理装置10a的照相机10从功能方面来说，如图2所示，具有：拍摄部101、车道形状识别部102、车辆动作识别部103、拍摄角度导出部104、信息偏差判定部105、拍摄角度校正部106。
拍摄部101对车辆1的周边进行拍摄。
车道形状识别部102根据拍摄部101拍摄的拍摄图像，对车辆1所行驶的行驶车道的车道形状进行识别。作为行驶车道的检测方法，可以采用例如日本特开2004－252827号公报中记载的公知的方法。另外，作为行驶车道的形状或车辆1的位置或姿态等的计算方法，可以采用例如日本特开2004－318618号公报中记载的公知的方法。
另外，车道形状识别部102使用按照上述方式识别出的车道形状，根据远方区域和附近区域中的左右一对车道标志线的延长线，求出其交点坐标。例如通过以下所述的方法，根据远方区域和附近区域中的左右一对车道标志线的延长线，求出其交点坐标。
即，车道形状识别部102具有运算装置，其对拍摄部101的拍摄图像进行解析，对车辆1的偏航角C、车辆1的俯仰角D、拍摄部101相距路面的高度H、相距车道中心的横向位移A、及行驶车道的曲率B进行计算。此外，车道形状识别部102将利用该运算装置计算出的车辆1的偏航角C、相距车道中心的横向位移A及行驶车道的曲率B输出至转向操纵角控制装置40。由此，实现例如车辆1的自动转向操纵等。
图3是表示车道形状识别部102的结构例的图。另外，图4是表示车道形状识别部102中的处理的概念的示意图。
在图3中，车道形状识别部102包含：白线候补点检测部200、车道识别处理部300和光轴校正部400。
白线候补点检测部200基于拍摄部101拍摄的图像数据，检测成为行车线区分线的白线的候补点。
如图4所示，在白线候补点检测部200中，从拍摄部101获取对本车辆1的行驶车道进行拍摄得到的图像，通过进行图像处理而检测白线边缘Ed。在本实施方式中的图像处理中，对于位于获取到的拍摄图像的左右的行车线区分线（白线），基于后述的道路参数（道路形状及相对于该道路的车辆姿态），设定图像处理框F的位置。然后，对于已设定的图像处理框F，实施例如利用Sobel滤波器进行的一维空间微分，在强调白线和路面的边界的边缘后，提取白线边缘Ed。
车道识别处理部300包含有：道路形状计算部310，其对道路形状进行直线近似；以及道路参数推定部320，其推定道路形状及相对于道路的车辆姿态。
如图4所示，道路形状计算部310，对于由白线候补点检测部200提取出的白线边缘Ed的强度大于或等于预先设定的阈值Edth的像素，将穿过大于或等于预先设定的像素数Pth、且将检测区域的上边1点和下边1点连结的直线，利用霍夫变换提取出，从而计算道路形状的近似直线Rf。在本实施方式中，将拍摄得到的道路的图像数据区分为远方和附近这2个区域，并在各自区域对道路形状进行直线近似（参照图5）。
道路参数推定部320使用下面的式（1），根据由道路形状计算部310检测出的道路形状的近似直线Rf，推定出道路参数（道路形状及相对于道路的车辆姿态）而作为道路模型。
【式1】
x = ( A - W 2 H ) ( y + f · D ) - B · H · f 2 ( y + f · D ) - C · f + jW ( y + f · D ) - - - ( 1 )
在这里，（1）式中的参数A、B、C、D、H是在道路参数推定部320中推定的道路参数及车辆状态量。并且，参数A、B、C、D、H分别是车辆1相对于行车线的横向位移（A）、道路曲率（B）、本车辆1相对于行车线的偏航角（C）、车辆1的俯仰角（D）以及拍摄部101相距路面的高度（H）。
另外，W是表示行车线宽度（实际道路上的左右白线内侧之间的距离）的常数，f是照相机透视变换常数，j是区分左右白线的参数，在为左白线时j=0，为右白线时j=1。另外，（x，y）是左或右白线的行车线内侧端部上的任意点在道路图像上的坐标，将道路图像左上设为原点，将右方向设为x轴正方向，将下方向设为y轴正方向。
光轴校正部400包含有：直线车道判定部410，其对本车辆1的行驶车道为直线车道的情况进行判定；平行行驶判定部420，其对本车辆1与行驶车道平行地行驶的情况进行判定；以及虚拟消失点计算部430，其根据道路形状的近似直线Rf计算虚拟消失点。
直线车道判定部410针对由道路形状计算部310计算出的远方和附近的道路形状的近似直线Rf，通过对直线式的斜率和截矩的值的一致程度进行比较，从而判定本车辆1的行驶车道是否为直线车道。
平行行驶判定部420根据由道路参数推定部320推定出的本车辆1相对于行驶车道的车辆姿态，对本车辆1与行驶车道平行地行驶的情况进行判定。具体来说，平行行驶判定部420使用由道路参数推定部320推定出的车辆状态量的1个即本车辆1相对于行车线的横向位移A，根据当前值和过去值的差计算本车辆1相对于行车线的横向速度（横向位移A的微分值）。并且，在计算出的横向速度小于或等于预先设定的阈值的情况下，判定为本车辆1与行驶车道平行地行驶。所谓本车辆1与行驶车道平行地行驶，是指在行驶车道为直线车道的情况下，本车辆1直线行进地进行行驶。
在直线车道判定部410和平行行驶判定部420的判定为本车辆1的行驶车道为直线车道、且本车辆1处于与本车辆1的行驶车道平行地行驶的状态的情况下，虚拟消失点计算部430计算道路形状的左右近似直线Rf的交点作为虚拟消失点。
图5是表示区分出附近区域和远方区域而进行车道识别处理的情况的概念的示意图。此外，在图5中示出半径较大的曲线车道的例子。
如图5所示，车道形状识别部102将拍摄部101拍摄到的图像数据区分为附近区域（图像下部）和远方区域（图像中央部），在各自的区域中，白线候补点检测部200及车道识别处理部300对白线边缘Ed及近似直线Rf进行检测。并且，基于它们的一致程度，直线车道判定部410判定行驶车道是否为直线。例如，直线车道判定部410在附近区域和远方区域中的近似直线Rf各自的斜率及截矩的差小于或等于预先设定的阈值的情况下，判定为上述近似直线Rf一致，判定为行驶车道为直线。
按照上述方式求出的附近区域中的交点坐标和远方区域中的交点坐标，在下面分别定义为（Pn_x，Pn_y）、（Pf_x，Pf_y）。
回到图2，车辆动作识别部103对具有拍摄部101的车辆1的动作进行识别。具体来说，车辆动作识别部103利用由车速检测装置20检测的车辆1的车速（行驶速度）、由转向操纵角检测装置30检测的转向操纵角度、由未图示的加速度传感器检测的车辆前后及车宽方向的加速度、由偏航率传感器检测的偏航率值等，判断车辆1的动作。
拍摄角度导出部104根据车道形状识别部102对车道形状的识别，求出拍摄部101的拍摄角度。
信息偏差判定部105针对车道形状识别部102及车辆动作识别部103的至少一方判定有无偏差。
拍摄角度校正部106使用在信息偏差判定部105中判定出偏差小于或等于预先设定的阈值时的拍摄角度导出部104输出的拍摄角度，对拍摄部101的拍摄角度进行校正。
（车载用图像识别装置中的处理流程）
下面，参照图6所示的流程图，对本实施方式所涉及的车载用图像识别装置中的处理进行说明。此外，图6的车载用图像识别装置的处理每隔预先设定的时间间隔（例如50ms（毫秒））重复执行。
在步骤S101中，车道形状识别部102读取拍摄部101拍摄到的车辆1的前方的图像。另外，在步骤S102中，车辆动作识别部103读取车速检测装置20检测出的车辆1的车速和转向操纵角检测装置30检测出的转向操纵角等。
在步骤S103中，车道形状识别部102对在步骤S101中读取的拍摄部101的拍摄图像进行处理，对车辆1行驶中的行驶车道进行识别，并且，计算车辆1相对于行驶车道的位置和车辆姿态等。
另外，在步骤S104中，车道形状识别部102使用在步骤S103中识别出的车道形状，根据远方区域和附近区域中的左右一对车道标志线的延长线，求出其交点坐标。此外，如上所述，将在本步骤中由车道形状识别部102求出的附近区域的交点坐标定义为（Pn_x，Pn_y），将远方区域的交点坐标定义为（Pf_x，Pf_y）。
在步骤S105中，直线车道判定部410利用下式，根据在步骤S104中求出的远方区域和附近区域的各自的交点坐标，判定是否为直线车道。在满足下式的情况下，转入步骤S106。在其以外的情况下，转入步骤S110。
abs(Pn_x-Pf_x)≤TH_Px     (0-1)
在上述式（0－1）中，abs（A）是返回A的绝对值的函数。此外，HP_Px的值是例如1.0等预先设定的正值。此外，所谓满足上述式（0－1），是指从照相机拍摄画面的附近区域检测出的左右车道标志线的延长线上的交点坐标、和从远方区域检测出的左右车道标志线的延长线上的交点坐标接近。即，该条件成立是指从远方至附近为止是相同方向的直线。
在步骤S106中，平行行驶判定部420将在步骤S103中求出的本车辆相对于本行车线的横向偏移位置（至车道标志线为止的左右方向的距离）Y作为输入，利用下式的传递函数进行模拟的时间微分，计算出本车辆的横向速度Ydot。并且，在满足下式（0－4）的情况下转入步骤S107，在不满足的情况下转入步骤S110。
G(Z-1)＝(c-cZ-2)/(1-aZ-1+bZ-2)      (0-2)
Ydot＝G(Z-1)Y                   (0-3)
abs(Ydot)≤TH_Ydot             (0-4)
在这里，Z－1是延迟运算符，系数a、b、c均为正数，它们以采样周期50ms进行离散化，从而具有预先设定的频率特性。另外，TH_Ydot的值是例如0.03等预先设定的正值，可以是与车速的大小相对应的较大值。此外，所谓满足上述式（0－4），是指本车辆相对于车道标志线在横向上不移动。即，是指在沿车道标志线不向左右摇晃的状态下行驶。并且，在同时满足上述式（0－1）和（0－4）的情况下，是指沿笔直的道路笔直地行驶。
在步骤S107中，直线车道判定部410对在步骤S103中求出的道路曲率Row是否满足全部下式的条件进行判断。在道路曲率Row满足全部下式的条件的情况下进入步骤S108，在其以外的情况下进入步骤S110。
abs(Row)＜TH_ROW                    (1-1)
abs(SumTotalRow+Row)＜TH_ROW        (1-2)
在上述式（1－1）和（1－2）中，abs（A）是返回A的绝对值的函数。另外，SumTotalRow是道路曲率Row的总和值。另外，TH_ROW是将行驶车道视作直线车道的情况下的阈值。信息偏差判定部105在道路曲率Row的绝对值及其总和SumTotalRow+Row的绝对值小于TH_ROW的情况下，判定出行驶车道为直线车道。此外，TH_ROW的值是例如0.0003等预先设定的正值。
即，在步骤S1057及步骤S107中由车道形状识别部102识别出的行驶车道为直线车道的情况下，在步骤S108及其之后，对拍摄部101的拍摄角度进行校正。上述将对拍摄部101的拍摄角度的校正限定为相当于直线车道的情景的原因在于，在直线车道的情况下，直线车道的无穷远地点在进行图像处理时的图像上成为中心坐标。即，通常与在弯道车道上根据推定曲率值进行校正而求出中心坐标的情况相比，根据在直线车道上识别出的左右一对车道标志线的延长线交点求出中心坐标的方法具有高精度。
下面，在步骤S108中，通过下式对道路曲率的总和值SumTotalRow进行更新。
SumTotalRow＝SumTotalRow+Row              (1-3)
在步骤S109中，拍摄角度校正部106通过下式对拍摄部101的拍摄角度进行校正，并确定为校正后的拍摄部101的拍摄角度。
FOE_X_est＝0.9*FOE_X_est+0.1*Pn_x        (1-4)
FOE_Y_est＝0.9*FOE_Y_est+0.1*Pn_y        (1-5)
此外，FOE_X_est和FOE_Y_est是与拍摄部101的拍摄角度相当的车辆1正面的拍摄图像上的坐标，其初始值在工厂等中实施初始调整（称为工厂校准等的安装误差调准），是相对于固定目标的照相机安装误差（也称为照相机拍摄角度误差）的测定值。通过上述式（1－4）和（1－5）计算出的坐标，作为在进行以后的步骤S103的车道识别处理时的原点坐标而使用。在此，所谓校准是指光轴调整。
在步骤S110中，对滤波器等中使用的过去值和定时器等中使用的计数值进行更新后结束。
此外，在执行图6的处理流程前，SumTotalRow的值预先初始化为“0”。
（总结）
上述说明的车载用图像识别装置，根据用于拍摄车辆1周边的车道的拍摄部101的拍摄图像，对车辆1所行驶的行驶车道的车道形状进行识别。另外，根据识别出的车道形状求出拍摄部101的拍摄角度。并且，判定识别出的车道形状有无相对于识别出的车道形状的偏差，使用判定为没有偏差时的拍摄角度，对拍摄部101的拍摄角度进行校正。
由此，在仅单侧行驶于高速公路上、或行驶于右弯较多的道路上等道路形状存在偏转的情况下，也能够以更少的处理负荷，对拍摄部的拍摄角度的误差准确地进行校正。
此外，在本实施方式中没有标准偏差计算部，但在没有偏转的状态下，可以将在直线车道上直线行进的这种特定的状态作为目标结果而进行输入，通过上述（1－4）（1－5）进行校正。在此情况下，由于输入值成为正态分布的倾向很强，因此，成为校正精度高的状态。
（第1实施方式的效果）
本实施方式具有下述效果。
（1）本实施方式的车载用图像识别装置，是车辆1中具有的车载用图像识别装置。拍摄部101对车辆1周边进行拍摄。车道形状识别部102根据拍摄部101的拍摄图像，对车辆1所行驶的行驶车道的车道形状进行识别。拍摄角度导出部104根据车道形状识别部102识别出的车道形状，求出拍摄部101的拍摄角度。直线车道判定部410基于所述车道形状识别部识别出的车道形状中的与本车辆相对较近的附近区域的车道形状、和远离本车辆的远方区域的车道形状，对将位于上述附近区域的左右的车道标志线进行直线近似而得到的延长线的交点、和将位于远方区域部分的左右的车道标志线进行直线近似而得到的延长线的交点的交点偏差进行判定。拍摄角度校正部106使用在直线车道判定部410中判定出偏差处于阈值以内时由拍摄角度导出部104求出的拍摄角度，对拍摄部101的拍摄角度进行校正。
由此，在仅单侧行驶于高速公路上、或行驶于右弯较多的道路上等道路形状存在偏转的情况下，也能够以更少的运算负荷推定拍摄部的拍摄角度。
另外，通过利用交点的偏差，能够更高精度地判定直行路。
（2）直线车道判定部410，在车道形状识别部102识别出的车道形状的表示所识别出的车道形状的值的绝对值小于预先设定的阈值、且表示车道形状的值的总和也小于阈值的情况下，判定为偏差处于阈值以内。另外，信息偏差判定部105使用车道形状识别部102识别出的道路曲率，对偏差进行判定。
由此，在仅单侧行驶于高速公路上、或行驶于右弯较多的道路上等道路形状存在偏转的情况下，也能够以更少的运算负荷推定出拍摄部的拍摄角度。
（3）车速检测装置20检测车辆1的车速。转向操纵角检测装置30检测车辆1的转向操纵角。车辆动作识别部103根据车速检测装置20检测出的车速和转向操纵角检测装置30检测出的转向操纵角，对车辆1的动作进行识别。如果针对车辆动作识别部103识别出的车辆1的动作判定出其偏差处于阈值以内，则对拍摄部101的拍摄角度进行校正。
由此，在仅单侧行驶于高速公路上、或行驶于右弯较多的道路上等道路形状存在偏转的情况下，也能够以更少的运算负荷推定出拍摄部的拍摄角度。
（4）车道形状识别部102检测与道路曲率相关的参数。信息偏差判定部105对与道路曲率相关的参数的值收敛在预先设定的范围以内的情况进行判定。信息偏差判定部105对从判定出所述收敛的时刻开始的预先设定的时间内的参数值进行累计。信息偏差判定部105通过对累计得到的累计值处于预先设定的值以内的情况进行判定，从而对车辆的直线行驶状态进行判定。并且，图像识别装置在信息偏差判定部105判定出直线行驶状态的情况下，进行校准处理。
由此，在仅单侧行驶于高速公路上、或行驶于右弯较多的道路上等道路形状存在偏转的情况下，也能够以更少的运算负荷推定出拍摄部的拍摄角度。
（第2实施方式）
下面，参照附图，对第2实施方式进行说明。此外，针对与上述第1实施方式相同的结构标注相同的标号而进行说明。
（车载用图像识别装置的结构）
本实施方式的基本结构与上述第1实施方式相同。但是，本实施方式的车载用图像识别装置的不同之处在于，还具有标准偏差计算部。
图7是表示本实施方式所涉及的车载用图像识别装置的结构的一个例子的图。本实施方式所涉及的车载用图像识别装置具有：拍摄部101、车道形状识别部102、车辆动作识别部103、拍摄角度导出部104、信息偏差判定部105、拍摄角度校正部106、标准偏差计算部107。
标准偏差计算部107对在信息偏差判定部105中判定出没有偏差时由拍摄角度导出部104求出的拍摄角度的标准偏差进行计算。
另外，拍摄角度校正部106对应于标准偏差计算部107计算出的标准偏差，对拍摄部101的拍摄角度进行校正。
（车载用图像识别装置中的处理流程）
下面，参照图8所示的流程图，对本实施方式所涉及的车载用图像识别装置中的处理进行说明。此外，图8的车载用图像识别装置的处理每隔预先设定的时间间隔（例如50ms（毫秒））而重复执行。
在步骤S201中，车道形状识别部102读取拍摄部101拍摄到的车辆1的前方的图像。另外，在步骤S202中，车辆动作识别部103分别读取由车速检测装置20检测出的车辆1的车速、由转向操纵角检测装置30检测出的转向操纵角、由加速度传感器检测的前后方向的加速度、来自偏航率传感器的偏航率值。
在步骤S203中，车道形状识别部102对在步骤S201中读取的拍摄部101的拍摄图像进行处理，对车辆1行驶中的行驶车道进行识别，并且，计算车辆1相对于行驶车道的位置和车辆姿态等。另外，在步骤S204中，车道形状识别部102使用在步骤S203中识别出的车道形状，根据远方区域和附近区域中的左右一对的车道标志线的延长线，求出其交点坐标。此外，如上所述，将在本步骤中由车道形状识别部102求出的附近区域的交点坐标定义为（Pn_x，Pn_y），将远方区域的交点坐标定义为（Pf_x，Pf_y）。
在步骤S205中，直线车道判定部410利用下式，根据在步骤S204中求出的远方区域和附近区域的各自的交点坐标，判定是否为直线车道。在满足全部下式的情况下，转入步骤S206。在其以外的情况下，转入步骤S213。该处理是与第1实施方式的步骤S105相同的处理。
abs(Pn_x-Pf_x)＜TH_PX       (2-1)
abs(Pn_y-Pf_y)＜TH_PY       (2-2)
在上述式中，TH_PX是与拍摄画面的水平方向上的远方区域和附近区域的交点坐标的差异相关的阈值。TH_PY是与拍摄画面的铅直方向上的远方区域和附近区域的交点坐标的差异相关的阈值。
在步骤S206中，平行行驶判定部420将在步骤S203中求出的本车辆相对于本行车线的横向偏移位置（至车道标志线为止的左右方向的距离）Y作为输入，利用上述式（0－2）（0－3）的传递函数进行模拟的时间微分，计算出本车辆的横向速度Ydot。并且，在满足上述式（0－4）的情况下转入步骤S207，在不满足的情况下转入步骤S213。
在步骤S207中，信息偏差判定部105判断是否满足全部下式的条件。在满足全部下式的条件的情况下进入步骤S208，在其以外的情况下进入步骤S213。
abs(SumTotalPx+Pn_x-Pf_x)＜TH_PX        (2-3)
abs(SumTotalPy+Pn_y-Pf_y)＜TH_PY        (2-4)
abs(YawRate)＜TH_YR                     (2-5)
abs(SumTotalYR+YawRate)＜TH_YR          (2-6)
abs(VspDot)＜TH_VD                      (2-7)
abs(SumTotalVD+VspDot)＜TH_VD           (2-8)
另外，YawRate是表示车辆1的旋转方向的速度的偏航率值。SumTotalYR是YawRate的总和值。另外，TH_YR是车辆1视作直线行进的情况下的阈值，在YawRate的绝对值及YawRate的总和值SumTotalYR小于TH_YR的情况下，车辆1视作正在直线行进（式（（2－5）、（2－6））。
另外，VspDot是车辆1的前后方向的加速度。另外，TH_VD是车辆1视作以固定速度行驶的情况下的阈值，在VspDot的绝对值小于TH_VD的情况下，车辆1视作以固定速度行驶。另外，SumTotalVD是VspDot的总和值。
即，在根据由车辆动作识别部103及车道形状识别部102识别出的车道形状，识别出车辆1正在直线车道上直线行驶的情况（同时满足步骤S205和S206的条件的情况），且行驶车道不偏转（满足上述式（2－3）和（2－4）），且行驶中不发生偏转（满足上述式（2－5）至（2－8））的情况下，在步骤S208及其以后，对拍摄部101的拍摄角度进行校正。如上所述，将对拍摄部101的拍摄角度进行校正这一情况限定为在车辆1沿直线车道进行直线行驶的情景，且行驶车道和行驶中均不发生偏转的情况的原因如下所述。
即，虽然获取拍摄部101的拍摄图像等硬件方面的时间延迟和图像处理等软件方面的时间延迟一定会产生，但即使对于该情况，由于很难受到由车辆1的动作造成的干扰的影响，能够高精度地对相当于拍摄部101的拍摄角度的交点坐标进行计算，并且，对于右转弯和左转弯的出现频率的差异较大的情况，也能够准确地求出照相机的安装角度误差。
下面，在步骤S208中，通过下式，更新SumTotalPx、SumTotalPy、SumTotalYR、SumTotalVD、SumCount，以及将附近交点的坐标数据向收集用存储器进行存储。
SumTotalPx＝SumTotalPx+Pn_x-Pf_x        (2-9)
SumTotalPy＝SumTotalPy+Pn_y-Pf_y        (2-10)
SumTotalYR＝SumTotalYR+YawRate          (2-11)
SumTotalVD＝SumTotalVD+VspDot           (2-12)
FOE_X_DataRcd[SumCount]＝Pn_x           (2-13)
FOE_Y_DataRcd[SumCount]＝Pn_y           (2-14)
SumCount＝SumCount+1                    (2-15)
在上述式中，FOE_X_DataRcd[]是对车辆1的行进方向正面的拍摄图像上的水平方向坐标进行存储的参数，FOE_Y_DataRcd[]是对车辆1的行进方向正面的拍摄图像上的铅直方向坐标进行存储的参数。上述参数存储在未图示的RAM存储器中。
此外，SumCount是对所收集的附近交点的坐标数据的个数进行计数的计数器，初始值设为“0”。此外，SumCount的初始化在执行图8的处理流程前进行。
在步骤S209中，判断所收集的附近交点的坐标数据的个数是否大于或等于50个。具体来说，在满足下式的条件的情况（附近交点的坐标数据的个数大于或等于50个的情况）下进入步骤S210，在其以外的情况下进入步骤S213。
SumCount>=50                (2-16)
在步骤S210中，拍摄角度导出部104通过下式（2－17）和（2－18）对拍摄部101的拍摄角度进行计算。另外，标准偏差计算部107通过下式（2－19）和（2－20）对拍摄部101的拍摄角度的标准偏差进行计算。
FOE_X_e_tmp＝ΣFOE_X_DataRcd/SumCount        (2-17)
FOE_Y_e_tmp＝ΣFOE_Y_DataRcd/SumCount        (2-18)
FOE _ X _ stdev = Σ ( FOE _ X _ e _ tmp - FOE _ X _ DataRcd ) 2 / SumCount - - - ( 2 - 19 )
FOE _ Y _ stdev = Σ ( FOE _ Y _ e _ tmp - FOE _ Y _ Datarcd ) 2 / SumCount - - - ( 2 - 20 )
在这里，上述式中的Σ，是指用于求出与由SumCount表示的附近交点的坐标数据的个数相对应量的总和的运算符。
然后，在步骤S211中，对由拍摄角度导出部104求出的拍摄部101的拍摄角度的候补的波动进行判断。具体来说，如果满足全部下式的条件，则进入步骤S212，如果不满足则进入步骤S213。
FOE_X_stdev＜TH_STDEV        (2-21)
FOE_Y_stdev＜TH_STDEV        (2-22)
TH_STDEV是表示针对由拍摄角度导出部104求出的拍摄部101的拍摄角度的候补所容许的波动的阈值。TH_STDEV设为例如1.0pix等正值。即，在通过步骤S210求出的标准偏差FOE_X_stdev、FOE_Y_stdev的各值小于TH_STDEV的情况下，判断为由拍摄角度导出部104求出的拍摄部101的拍摄角度的候补的波动小，在步骤S212中对拍摄部101的拍摄角度进行校正。
如上所述，通过限定为在所求出的标准偏差判定出波动小的情况下才进行校正，从而能够与第1实施方式相比提高校正精度。并且，能够将在工厂校准工序后进行的、基于本发明的拍摄角度的校正精度规定为具体的值。
在步骤S212中，拍摄角度校正部106通过下式对校正后的拍摄部101的拍摄角度进行确定。另外，这些坐标作为在进行以后的步骤S203的车道识别处理时的原点坐标而使用。
FOE_X_est＝FOE_X_e_tmp        (2-23)
FOE_Y_est＝FOE_Y_e_tmp        (2-24)
在步骤S213中，对在滤波器等中使用的过去值和定时器等中使用的计数值进行更新后结束。
此外，在执行图8的处理流程前，SumCount的各值预先初始化为“0”。
（总结）
本实施方式的车载用图像识别装置，对于除了标准偏差计算部107以外的结构，与第1实施方式相同。
在本实施方式的车载用图像识别装置中，标准偏差计算部107对判定出没有偏差时的拍摄部101的拍摄角度的标准偏差进行计算。并且，与该计算出的标准偏差相对应，对拍摄部101的拍摄角度进行校正。
由此，能够提高拍摄部101的拍摄角度的推定精度。
（第2实施方式的效果）
本实施方式在第1实施方式的效果的基础上，具有下述效果。
（1）标准偏差计算部107对在信息偏差判定部105中判定出偏差在阈值以内时由拍摄角度导出部104求出的拍摄图像的标准偏差进行计算。另外，拍摄角度校正部106与由标准偏差计算部107计算出的标准偏差相对应，对拍摄部101的拍摄角度进行校正。
由此，能够提高拍摄部101的拍摄角度的推定精度。另外，由于在信息偏差判定部105中判定有无信息的偏差，并仅收集判定出没有偏差的信息而计算标准偏差，因此，即使对于较少的数据数（例如仅50的数据数量），成为正态分布的倾向也很强，能够利用较少的运算负荷实现对波动程度的准确判定。
（2）在本实施方式中，由车辆动作识别部103识别出的车辆1的动作是与车辆1的车宽方向的旋转动作相关的信息。另外，车辆动作识别部103根据车辆1的车宽方向的位置或偏航角度相对于由车道形状识别部102识别出的行驶车道随时间的变化，对车辆1的动作进行识别。
由此，能够提高拍摄部101的拍摄角度的推定精度。
（第3实施方式）
下面，参照附图，对第3实施方式进行说明。此外，针对与上述第1实施方式及第2实施方式相同的结构标注相同的标号进行说明。
（车载用图像识别装置的结构）
本实施方式的基本结构与上述第2实施方式相同。但是，本实施方式的车载用图像识别装置的不同之处在于，还具有结束部。
图9是表示本实施方式所涉及的车载用图像识别装置的结构的一个例子的图。本实施方式所涉及的车载用图像识别装置具有：拍摄部101、车道形状识别部102、车辆动作识别部103、拍摄角度导出部104、信息偏差判定部105、拍摄角度校正部106、标准偏差计算部107、结束部108。
结束部108在由标准偏差计算部107计算出的标准偏差小于预先设定的值的情况下，结束对拍摄角度的校正。
（车载用图像识别装置中的处理流程）
下面，参照图10所示的流程图，对本实施方式所涉及的车载用图像识别装置中的处理进行说明。此外，图10的车载用图像识别装置的处理，每隔预先设定的时间间隔（例如50ms（毫秒））重复执行。
在步骤S301中，车道形状识别部102读取拍摄部101拍摄到的车辆1的前方的图像。另外，在步骤S302中，车辆动作识别部103分别读取由车速检测装置20检测出的车辆1的车宽方向的速度、由转向操纵角检测装置30检测出的转向操纵角、由加速度传感器检测的前后方向的加速度、来自偏航率传感器的偏航率值。
在步骤S303中，车道形状识别部102对在步骤S301中读取的拍摄部101的拍摄图像进行处理，对车辆1行驶中的行驶车道进行识别，并且，计算车辆1相对于行驶车道的位置和车辆姿态等。
在步骤S304中，在结束部108中对拍摄部101的拍摄角度的校正处理是否已完成进行判断。在已完成的情况下进入步骤S305，在没有完成的情况下进入步骤S314。具体来说，如果满足下式的条件则进入步骤S305，如果不满足则进入步骤S314。
FlgAimComplt＜1       (3-1)
在上述式（3－1）中，FlgAimComplt是表示拍摄部101的拍摄角度的校正处理是否完成的标志，在FlgAimComplt=“0”的情况下，表示拍摄部101的拍摄角度的校正处理没有完成，在FlgAimComplt=“1”的情况下，表示拍摄部101的拍摄角度的校正处理已完成。另外，FlgAimComplt的初始值设为“0”。
在步骤S305中，车道形状识别部102使用在步骤S303中识别出的车道形状，根据远方区域和附近区域中的左右一对的车道标志线的延长线求出其交点坐标。此外，如上所述，将在本步骤中由车道形状识别部102求出的附近区域的交点坐标定义为（Pn_x，Pn_y），将远方区域的交点坐标定义为（Pf_x，Pf_y）。
在步骤S306中，直线车道判定部410利用下式，根据在步骤S305中求出的远方区域和附近区域的各自的交点坐标，判定是否为直线车道。在满足全部上述式（2－1）（2－2）的情况下，转入步骤S307，在其以外的情况下，转入步骤S314。该处理是与第2实施方式的步骤S205相同的处理。
在步骤S307中，平行行驶判定部420将在步骤S303中求出的本车辆相对于本行车线的横向偏移位置（至车道标志线为止的左右方向的距离）Y作为输入，利用上述式（0－2）（0－3）的传递函数模拟地进行时间微分，计算出本车辆的横向速度Ydot。并且，在满足上述式（0－4）的情况下转入步骤S308，在不满足的情况下转入步骤S314。该处理是与第2实施方式的步骤S206相同的处理。
在步骤S308中，信息偏差判定部105判断是否满足全部下式的条件。在满足全部下式的条件的情况下进入步骤S309，在其以外的情况下进入步骤S314。
abs(Row)＜TH_ROW                        (3-2)
abs(SumTotalRow+Row)＜TH_ROW            (3-3)
abs(ysoku)＜TH_YS                       (3-4)
abs(SumTotalYsoku+ysoku)＜TH_YS         (3-5)
abs(YawRate)＜TH_YR                     (3-6)
abs(SumTotalYR+YawRate)＜TH_YR          (3-7)
abs(VspDot)＜TH_VD                      (3-8)
abs(SumTotalVD+VspDot)＜TH_VD           (3-9)
在上述式中，ysoku是表示车辆1的车宽方向的速度的参数。作为ysoku的值，可以直接使用在步骤S303的车道识别处理中使用的车道识别用卡尔曼滤波器的状态变量的车宽方向速度，也可以对至行驶车道为止的车宽方向的位置进行时间微分，上述两者是等价的。另外，SumTotalYsoku是ysoku的总和值。TH_YS是车辆1视作直线行驶的情况下的阈值，如式（3－4）、（3－5）所示，在ysoku的绝对值及其总和SumTotalYsoku+ysoku的绝对值小于TH_YS的情况下，判定出车辆1正在直线行驶。
相同地，上述式（3－6）和（3－7）中的车辆1的偏航率值YawRate可以直接使用在步骤S303的车道识别处理中使用的车道识别用卡尔曼滤波器的状态变量的偏航率，也可以对相对于车道的偏航角度进行时间微分。
此外，对于式（3－4）、（3－5）以外的式的含义，与第1实施方式及第2实施方式相同。
下面，在步骤S309中，通过下式，更新SumTotalRow、SumTotalYsoku、SumTotalYR、SumTotalVD、SumCount，以及将附近交点的坐标数据向收集用存储器进行存储。
SumTotalRow＝SumTotalRow+Row              (3-10)
SumTotalYsoku＝SumTotalYsoku+ysoku        (3-11)
SumTotalYR＝SumTotalYR+YawRate            (3-12)
SumTotalVD＝SumTotalVD+VspDot             (3-13)
FOE_X_DataRcd[SumCount]＝Pn_x             (3-14)
FOE_Y_DataRcd[SumCount]＝Pn_y             (3-15)
SumCount＝SumCount+1                      (3-16)
另外，从步骤S310至S312中的处理与图8的从步骤S209至S211中的处理相同。
并且，在步骤S313中，拍摄角度校正部106通过下式，将拍摄部101的拍摄角度的推定处理的完成标志FlgAimComplt置为成立，并且，确定拍摄部101的拍摄角度。另外，这些坐标作为在进行以后的步骤S303的车道识别处理时的原点坐标而使用。
FlgAimComplt＝1               (3-17)
FOE_X_est＝FOE_X_e_tmp        (3-18)
FOE_Y_est＝FOE_Y_e_tmp        (3-19)
在步骤S314中，对在滤波器等中使用的过去值和定时器等中使用的计数值进行更新后结束。
此外，在执行图10的处理流程前，FlgAimComplt、SumTotalRow的各值预先初始化为“0”。
（总结）
本实施方式的车载用图像识别装置对于除了结束部108以外的结构，与第2实施方式相同。
在本实施方式的车载用图像识别装置中，结束部108在计算出的标准偏差小于预先设定的值的情况下，结束对拍摄角度的校正。
由此，由于在一旦判断出拍摄部101的拍摄角度候补的波动小的情况下，能够完成用于校正拍摄角度的处理，因此，能够减轻车载用图像识别装置的处理负荷。
图11是示出本实施方式的车载用图像识别装置具有的效果的图。图11所示的标志是在高速公路的缓弯较多的情况下，执行本实施方式所涉及的车道识别处理的结果。
在图11中，用圆圈包围的范围70是表示在步骤S305中计算出的Pn_x的结果的数据。另外，范围71的数据是在步骤S307中所收集的Pn_x的结果。
根据图11的结果，由虚线80和虚线81所示的各自的最差值大约对应于10像素量，真值接近120.0像素。另外，根据标准偏差也能确认出波动大致减半（大约减少44%）。并且，数据数从8000减少到50，标准偏差的处理负荷也减少。
（第3实施方式的效果）
本实施方式在第1实施方式及第2实施方式的效果的基础上，具有下述效果。（1）结束部108在由标准偏差计算部107计算出的标准偏差小于预先设定的值的情况下，结束对拍摄角度的校正。
由此，由于在一旦判断出拍摄部101的拍摄角度候补的波动小的情况下，能够完成用于校正拍摄角度的处理，因此，能够减轻车载用图像识别装置的处理负荷。
（2）在本实施方式中，由车辆动作识别部103识别出的车辆1的动作是与车辆1的车宽方向的平移动作相关的信息。另外，车辆动作识别部103根据车辆1的车宽方向的位置或偏航角度相对于由车道形状识别部102识别出的行驶车道随时间的变化，对车辆1的动作进行识别。
由此，能够提高拍摄部101的拍摄角度的推定精度。
在这里，在上述说明中，车速检测装置20构成车速检测部。转向操纵角检测装置30构成转向操纵角检测部。车道形状识别部102构成参数检测部。车辆动作识别部103或车速检测装置20和转向操纵角检测装置30以及转向操纵角控制装置40构成参数检测部。直线车道判定部410构成交点偏差判定部、识别偏差判定部。信息偏差判定部105构成收敛判定部、累计部以及直线行驶状态判定部。拍摄角度导出部104及拍摄角度校正部106构成校准执行部。
以上，本申请主张优先权的日本特许申请2011－131222（2011年6月13日申请）的全部内容，在此作为引用例而包含在内。
在此，参照有限数量的实施方式并进行了说明，但权利要求范围并不限定于此，基于上述公开的各实施方式的改变对本领域技术人员来说是显而易见的。
标号的说明
1   车辆
10  照相机
10a 图像处理装置
20  车速检测装置
30  转向操纵角检测装置
40  转向操纵角控制装置
50  转向操纵角致动器
101 拍摄部
102 车道形状识别部
103 车辆动作识别部
104 拍摄角度导出部
105 判定部
106 拍摄角度校正部
107 标准偏差计算部
108 结束部
200 白线候补点检测部
300 车道识别处理部
310 道路形状计算部
320 道路参数推定部
400 光轴校正部
410 直线车道判定部
420 平行行驶判定部
430 虚拟消失点计算部

Claims (13)

1.一种道路形状判定装置，其特征在于，具有：
拍摄部，其对所述车辆周边进行拍摄；
车道形状识别部，其基于所述拍摄部拍摄到的拍摄图像，对所述车辆所行驶的行驶车道的车道形状进行识别；
平行行驶判定部，其对本车辆与行驶车道平行地行驶的情况进行判定；
交点偏差判定部，其基于所述车道形状识别部识别出的车道形状中的与本车辆相对较近的附近区域的车道形状、和远离本车辆的远方区域的车道形状，对下述两个交点的交点偏差进行判定，即，将位于上述附近区域的左右的车道标志线进行直线近似而得到的延长线的交点、和将位于远方区域部分的左右的车道标志线进行直线近似而得到的延长线的交点；以及
直线车道判定部，其在所述交点偏差判定部判定出所述交点的偏差小于或等于预先设定的阈值时，判定为直线车道。
2.一种车载用图像识别装置，其特征在于，具有：
权利要求1所述的道路形状判定装置；以及
拍摄角度校正部，其在所述道路形状判定装置判定为直行路时，对所述拍摄部的拍摄角度进行校正。
3.根据权利要求2所述的车载用图像识别装置，其中，
还具有拍摄角度导出部，其根据所述车道形状识别部识别出的车道形状，求出所述拍摄部的拍摄角度，
所述拍摄角度校正部，使用所述道路形状判定装置判定为直行路时由所述拍摄角度导出部所求出的拍摄角度，对所述拍摄部的拍摄角度进行校正。
4.根据权利要求3所述的车载用图像识别装置，其特征在于，
还具有标准偏差计算部，其对所述交点偏差判定部判定出交点的偏差小于或等于预先设定的阈值时由所述拍摄角度导出部求出的所述拍摄角度的标准偏差进行计算，
所述拍摄角度校正部，对应于所述标准偏差计算部计算出的标准偏差，对所述拍摄部的拍摄角度进行校正。
5.根据权利要求4所述的车载用图像识别装置，其特征在于，
在所述标准偏差计算部计算出的标准偏差小于预先设定的值的情况下，结束对所述拍摄角度的校正。
6.根据权利要求2至5中任一项所述的车载用图像识别装置，其特征在于，
还具有识别偏差判定部，其使用由所述车道形状识别部识别的道路曲率，根据相对于识别出的车道形状的偏差，判定行驶车道的形状，
所述拍摄角度校正部在所述交点偏差判定部判定出所述交点的偏差小于或等于预先设定的阈值、且所述识别偏差判定部判定为直行路时，对所述拍摄部的拍摄角度进行校正。
7.根据权利要求6所述的车载用图像识别装置，其特征在于，
所述识别偏差判定部，在相对于所述车道形状识别部识别出的车道形状的偏差的绝对值小于预先设定的阈值、且所述偏差的总和小于所述阈值的情况下，判定为直行路。
8.根据权利要求2至7中任一项所述的车载用图像识别装置，其特征在于，还具有：
车速检测部，其检测所述车辆的车速；
转向操纵角检测部，其检测所述车辆的转向操纵角；以及
车辆动作识别部，其根据由所述车速检测部检测出的车速、和由所述转向操纵角检测部检测出的转向操纵角，对车辆动作进行识别，
所述拍摄角度校正部，在判定出相对于所述车辆动作识别部识别出的车辆动作的偏差小于或等于预先设定的设定阈值时，对所述拍摄部的拍摄角度进行校正。
9.根据权利要求8所述的车载用图像识别装置，其特征在于，
由所述车辆动作识别部识别出的所述车辆动作，是与所述车辆的车宽方向的平移动作相关的信息。
10.根据权利要求8所述的车载用图像识别装置，其特征在于，
由所述车辆动作识别部识别出的所述车辆动作，是与所述车辆的车宽方向的旋转动作相关的信息。
11.根据权利要求8所述的车载用图像识别装置，其特征在于，
所述车辆动作识别部，根据所述车辆的车宽方向的位置或偏航角度相对于由所述车道形状识别部识别出的所述行驶车道随时间的变化，对所述车辆动作进行识别。
12.一种拍摄轴调整装置，其自动调整车辆中具有的拍摄部的拍摄轴，
其特征在于，具有：
参数检测部，其检测与道路曲率相关的参数；
收敛判定部，其对与所述道路曲率相关的参数的值收敛在预先设定的范围以内这一情况进行判定；
累计部，其对从所述收敛判定部作出判定的时刻开始规定时间内的参数值进行累计；
直线行驶状态判定部，其通过对所述累计部所累计的累计值落在预先设定的值以内的情况进行判定，从而判定所述车辆的直线行驶状态；以及
校准执行部，其在所述直线行驶状态判定部判定出直线行驶状态的情况下，进行校准处理。
13.一种车道识别方法，其特征在于，
利用车辆中具有的拍摄部对所述车辆周边进行拍摄，根据该拍摄得到的拍摄图像对所述车辆所行驶的行驶车道的车道形状进行识别，根据该识别出的车道形状求出所述拍摄部的拍摄角度，
基于所述识别出的车道形状中的与本车辆相对较近的附近区域的车道形状、和远离本车辆的远方区域的车道形状，使用在判定出交点偏差小于或等于预先设定的阈值时所述检测出的拍摄角度，对所述拍摄部的拍摄角度进行校正，该交点偏差是将位于上述附近区域的左右的车道标志线进行直线近似而得到的延长线的交点、与将位于远方区域部分的左右的车道标志线进行直线近似而得到的延长线的交点的偏差。
CN201280026555.2A 2011-06-13 2012-03-07 车载用图像识别装置及车道识别方法 Expired - Fee Related CN103582907B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-131222 2011-06-13
JP2011131222 2011-06-13
PCT/JP2012/001576 WO2012172713A1 (ja) 2011-06-13 2012-03-07 道路形状判定装置、車載用画像認識装置、撮像軸調整装置およびレーン認識方法

Publications (2)

Publication Number Publication Date
CN103582907A true CN103582907A (zh) 2014-02-12
CN103582907B CN103582907B (zh) 2016-07-20

Family

ID=47356734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280026555.2A Expired - Fee Related CN103582907B (zh) 2011-06-13 2012-03-07 车载用图像识别装置及车道识别方法

Country Status (5)

Country Link
US (1) US20140118552A1 (zh)
EP (1) EP2720213A4 (zh)
JP (1) JP5733395B2 (zh)
CN (1) CN103582907B (zh)
WO (1) WO2012172713A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106240574A (zh) * 2015-06-05 2016-12-21 现代自动车株式会社 诊断车辆用的音响主机和相机单元的故障的方法
CN106875744A (zh) * 2015-12-14 2017-06-20 现代摩比斯株式会社 周边车辆识别系统及方法
CN106910358A (zh) * 2017-04-21 2017-06-30 百度在线网络技术（北京）有限公司 用于无人车的姿态确定方法和装置
CN107031505A (zh) * 2015-11-20 2017-08-11 株式会社万都 车道偏离警示装置和方法
CN107209998A (zh) * 2015-01-21 2017-09-26 株式会社电装 车道线识别装置
CN107416020A (zh) * 2016-04-29 2017-12-01 福特全球技术公司 用于控制和/或调节车辆的转向系统的系统和方法以及车辆
CN107479032A (zh) * 2016-04-22 2017-12-15 德尔福技术有限公司 用于自动化车辆的对象检测系统
CN108099905A (zh) * 2017-12-18 2018-06-01 深圳大学 车辆偏航检测方法、系统及机器视觉系统
CN108427417A (zh) * 2018-03-30 2018-08-21 北京图森未来科技有限公司 自动驾驶控制系统及方法、计算机服务器和自动驾驶车辆
CN108694374A (zh) * 2017-03-31 2018-10-23 本田技研工业株式会社 车辆控制装置
CN108921079A (zh) * 2018-06-27 2018-11-30 盯盯拍（深圳）技术股份有限公司 拍摄角度调整方法、拍摄角度调整设备以及车载摄像装置
CN108995714A (zh) * 2017-06-06 2018-12-14 丰田自动车株式会社 车道变更辅助装置
CN110140158A (zh) * 2017-01-10 2019-08-16 三菱电机株式会社 行驶路径识别装置及行驶路径识别方法
CN112352260A (zh) * 2018-06-27 2021-02-09 日本电信电话株式会社 车道估计装置、方法以及程序
CN112686904A (zh) * 2020-12-14 2021-04-20 深兰人工智能(深圳)有限公司 车道划分方法、装置、电子设备和存储介质
CN113016179A (zh) * 2018-11-15 2021-06-22 松下知识产权经营株式会社 摄像机系统和车辆

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5747482B2 (ja) * 2010-03-26 2015-07-15 日産自動車株式会社 車両用環境認識装置
JP5739465B2 (ja) * 2013-02-14 2015-06-24 本田技研工業株式会社 車両の操舵制御装置
JP6154001B2 (ja) * 2013-04-18 2017-06-28 西日本高速道路エンジニアリング四国株式会社 道路走行面の形状を調査する装置
JP6093314B2 (ja) * 2014-02-14 2017-03-08 株式会社デンソー 境界線認識装置
JP6299373B2 (ja) * 2014-04-18 2018-03-28 富士通株式会社 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置
JP6189816B2 (ja) * 2014-11-19 2017-08-30 株式会社Ｓｏｋｅｎ 走行区画線認識装置
JP6389119B2 (ja) * 2014-12-25 2018-09-12 株式会社デンソー 車線境界線認識装置
KR101748269B1 (ko) * 2015-11-11 2017-06-27 현대자동차주식회사 자율 주행 차량의 조향 제어 방법 및 장치
JP6606472B2 (ja) * 2016-07-04 2019-11-13 株式会社Ｓｏｋｅｎ 走路形状認識装置、走路形状認識方法
JP6637399B2 (ja) * 2016-09-30 2020-01-29 株式会社デンソー 領域認識装置及び領域認識方法
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
CN111868486B (zh) * 2018-03-22 2023-02-28 松下知识产权经营株式会社 轴重计测装置及轴重计测方法
KR102132899B1 (ko) * 2018-10-08 2020-07-21 주식회사 만도 교차로에서의 경로 생성 장치 및 교차로에서의 차량 제어 장치 및 방법
US10800412B2 (en) * 2018-10-12 2020-10-13 GM Global Technology Operations LLC System and method for autonomous control of a path of a vehicle
US10728461B1 (en) * 2019-01-31 2020-07-28 StradVision, Inc. Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
JP7505596B2 (ja) 2021-01-04 2024-06-25 日本電気株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN112862899B (zh) * 2021-02-07 2023-02-28 黑芝麻智能科技(重庆)有限公司 用于图像获取设备的外参标定方法、装置和系统
JP7359922B1 (ja) 2022-09-26 2023-10-11 株式会社デンソーテン 情報処理装置、情報処理方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359666A (en) * 1988-09-28 1994-10-25 Honda Giken Kogyo Kabushiki Kaisha Driving way judging device and method
CN1371079A (zh) * 2001-02-09 2002-09-25 松下电器产业株式会社 图象合成装置
JP3807651B2 (ja) * 1999-02-24 2006-08-09 三菱電機株式会社 白線認識装置
CN1979524A (zh) * 2005-12-06 2007-06-13 日产自动车株式会社 检测道路边界的设备和方法
CN102201056A (zh) * 2010-03-26 2011-09-28 日产自动车株式会社 车辆用环境识别装置以及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0624035B2 (ja) * 1988-09-28 1994-03-30 本田技研工業株式会社 走行路判別装置
JP3357749B2 (ja) * 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
JP3521860B2 (ja) * 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2004252827A (ja) 2003-02-21 2004-09-09 Nissan Motor Co Ltd 車線認識装置
JP2004318618A (ja) 2003-04-17 2004-11-11 Nissan Motor Co Ltd 車線認識装置
JP2008003959A (ja) * 2006-06-23 2008-01-10 Omron Corp 車両用通信システム
JP4820221B2 (ja) * 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
JP2008241446A (ja) * 2007-03-27 2008-10-09 Clarion Co Ltd ナビゲーション装置及びその制御方法
JP4801821B2 (ja) * 2007-09-21 2011-10-26 本田技研工業株式会社 道路形状推定装置
JP5141333B2 (ja) * 2008-03-28 2013-02-13 マツダ株式会社 車両の車線逸脱警報装置
US8687896B2 (en) * 2009-06-02 2014-04-01 Nec Corporation Picture image processor, method for processing picture image and method for processing picture image
JP5375958B2 (ja) * 2009-06-18 2013-12-25 富士通株式会社 画像処理装置および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359666A (en) * 1988-09-28 1994-10-25 Honda Giken Kogyo Kabushiki Kaisha Driving way judging device and method
JP3807651B2 (ja) * 1999-02-24 2006-08-09 三菱電機株式会社 白線認識装置
CN1371079A (zh) * 2001-02-09 2002-09-25 松下电器产业株式会社 图象合成装置
CN1979524A (zh) * 2005-12-06 2007-06-13 日产自动车株式会社 检测道路边界的设备和方法
CN102201056A (zh) * 2010-03-26 2011-09-28 日产自动车株式会社 车辆用环境识别装置以及方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209998A (zh) * 2015-01-21 2017-09-26 株式会社电装 车道线识别装置
CN106240574B (zh) * 2015-06-05 2020-06-19 现代自动车株式会社 诊断车辆用的音响主机和相机单元的故障的方法
CN106240574A (zh) * 2015-06-05 2016-12-21 现代自动车株式会社 诊断车辆用的音响主机和相机单元的故障的方法
US10249195B2 (en) 2015-11-20 2019-04-02 Mando Corporation Lane departure warning device and method
CN107031505B (zh) * 2015-11-20 2019-08-13 株式会社万都 车道偏离警示装置和方法
CN107031505A (zh) * 2015-11-20 2017-08-11 株式会社万都 车道偏离警示装置和方法
US10643475B2 (en) 2015-11-20 2020-05-05 Mando Corporation Lane departure warning device and method
CN106875744A (zh) * 2015-12-14 2017-06-20 现代摩比斯株式会社 周边车辆识别系统及方法
CN106875744B (zh) * 2015-12-14 2019-08-20 现代摩比斯株式会社 周边车辆识别系统及方法
CN107479032A (zh) * 2016-04-22 2017-12-15 德尔福技术有限公司 用于自动化车辆的对象检测系统
CN107416020A (zh) * 2016-04-29 2017-12-01 福特全球技术公司 用于控制和/或调节车辆的转向系统的系统和方法以及车辆
CN107416020B (zh) * 2016-04-29 2021-07-16 福特全球技术公司 用于控制和/或调节车辆的转向系统的系统和方法及车辆
CN110140158A (zh) * 2017-01-10 2019-08-16 三菱电机株式会社 行驶路径识别装置及行驶路径识别方法
CN108694374A (zh) * 2017-03-31 2018-10-23 本田技研工业株式会社 车辆控制装置
CN106910358A (zh) * 2017-04-21 2017-06-30 百度在线网络技术（北京）有限公司 用于无人车的姿态确定方法和装置
CN106910358B (zh) * 2017-04-21 2019-09-06 百度在线网络技术（北京）有限公司 用于无人车的姿态确定方法和装置
CN108995714A (zh) * 2017-06-06 2018-12-14 丰田自动车株式会社 车道变更辅助装置
CN108099905A (zh) * 2017-12-18 2018-06-01 深圳大学 车辆偏航检测方法、系统及机器视觉系统
CN108427417A (zh) * 2018-03-30 2018-08-21 北京图森未来科技有限公司 自动驾驶控制系统及方法、计算机服务器和自动驾驶车辆
CN108427417B (zh) * 2018-03-30 2020-11-24 北京图森智途科技有限公司 自动驾驶控制系统及方法、计算机服务器和自动驾驶车辆
CN108921079A (zh) * 2018-06-27 2018-11-30 盯盯拍（深圳）技术股份有限公司 拍摄角度调整方法、拍摄角度调整设备以及车载摄像装置
CN112352260A (zh) * 2018-06-27 2021-02-09 日本电信电话株式会社 车道估计装置、方法以及程序
CN113016179A (zh) * 2018-11-15 2021-06-22 松下知识产权经营株式会社 摄像机系统和车辆
CN112686904A (zh) * 2020-12-14 2021-04-20 深兰人工智能(深圳)有限公司 车道划分方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN103582907B (zh) 2016-07-20
JPWO2012172713A1 (ja) 2015-02-23
WO2012172713A1 (ja) 2012-12-20
EP2720213A4 (en) 2015-03-11
US20140118552A1 (en) 2014-05-01
EP2720213A1 (en) 2014-04-16
JP5733395B2 (ja) 2015-06-10

Similar Documents

Publication Publication Date Title
CN103582907A (zh) 道路形状判定装置、车载用图像识别装置、拍摄轴调整装置及车道识别方法
EP1193661B1 (en) Lane recognition apparatus for vehicle
EP2958054B1 (en) Hazard detection in a scene with moving shadows
US6868168B2 (en) Lane recognition system for vehicle
CN103630122B (zh) 一种单目视觉车道线检测方法及其测距方法
CN102201056B (zh) 车辆用环境识别装置以及方法
CN102646343B (zh) 车辆检测装置
JP3729095B2 (ja) 走行路検出装置
US9792683B2 (en) System, vehicle and method for online calibration of a camera on a vehicle
CN109791598A (zh) 用于识别地面标记的图像处理方法以及地面标记检测系统
CN107750364A (zh) 使用稳定的坐标系的道路垂直轮廓检测
CN107133985A (zh) 一种基于车道线消逝点的车载摄像机自动标定方法
CN103196418A (zh) 一种弯道车距测量方法
WO2018179281A1 (ja) 物体検出装置及び車両
CN103204104A (zh) 一种车辆全视角驾驶监控系统及方法
CN114399748A (zh) 一种基于视觉车道检测的农机实时路径校正方法
CN103797788A (zh) 车载摄像头的光轴掌握装置
JP4020071B2 (ja) 周囲状況表示装置
CN113071500A (zh) 车道线的获取方法、装置、计算机设备和存储介质
JPH0789443A (ja) 車両用自動操縦装置
JP3319383B2 (ja) 走行路認識装置
CN111539278A (zh) 一种用于目标车辆的检测方法及系统
WO2020132965A1 (zh) 车载成像装置的安装参数的确定与驾驶控制方法及设备
JP3700681B2 (ja) 走行路検出装置
JPH03139706A (ja) 車両状態量測定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160720

Termination date: 20180307

CF01 Termination of patent right due to non-payment of annual fee