CN112352260A - 车道估计装置、方法以及程序 - Google Patents

车道估计装置、方法以及程序 Download PDF

Info

Publication number
CN112352260A
CN112352260A CN201980042935.7A CN201980042935A CN112352260A CN 112352260 A CN112352260 A CN 112352260A CN 201980042935 A CN201980042935 A CN 201980042935A CN 112352260 A CN112352260 A CN 112352260A
Authority
CN
China
Prior art keywords
lane
road
vehicle
region
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980042935.7A
Other languages
English (en)
Other versions
CN112352260B (zh
Inventor
森皓平
社家一平
横畑夕贵
吉田学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN112352260A publication Critical patent/CN112352260A/zh
Application granted granted Critical
Publication of CN112352260B publication Critical patent/CN112352260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/10—Number of lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供能够不依赖于区划线而准确地估计车道的技术。从对车辆(6)的行进方向进行摄像而得到的图像数据提取表示道路区域的形状，以表示该形状的信息为基础，算出一个轮廓线的倾斜角、表示上述道路区域的形状的图形的重心坐标、夹着表示上述形状的图形的一顶点而连续的两个轮廓线间的角度、表示上述形状的图形的面积，作为上述道路区域的形状的特征量。并且，通过判断上述算出的特征量是否被包含于按每个车道被预先设定的阈值的范围，对车辆(6)正行驶的车道进行估计。

Description

车道估计装置、方法以及程序
技术领域
本发明涉及例如用于估计在道路上形成的、车辆行驶或人步行的车道(lane)的装置、方法以及程序。
背景技术
近年来，例如与汽车的行驶控制或驾驶支持相关的技术的开发被活跃地进行。在道路中，准确地辨识车辆正在哪个车道(行车道)行驶，在安全地控制车辆的行驶上是至关重要的。在以往，以下技术被报告：使用由车辆中搭载的相机而摄影的路面的影像，通过图像处理来检测对车道进行划分的区划线，从而对车辆的车道进行估计(例如参考专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2005-157731号公报
发明内容
发明要解决的课题
然而，在专利文献1中记载的以路面的区划线为基础来估计车道的技术中，有在正规的区划线以外存在基于施工等的维修痕迹的情况、或由于随时间劣化而区划线变浅或消失的情况下，不能准确地估计车道这样的问题。
本发明着眼于上述情况，在一侧面，提供能够准确地估计正移动的车道而不依赖于区划线的技术。
用于解决课题的手段
为了达成上述目的，本发明的第一方式在用于对在道路上移动体正移动的车道进行估计的装置、方法或者程序中，取得对包含移动体正移动的道路区域的范围进行摄像而得到的图像数据，从所述取得的图像数据辨识表示所述道路区域的形状，以该辨识出的形状为基础而算出所述道路区域的特征量，基于所述算出的特征量，对所述移动体正移动的车道进行估计。
根据本发明的第一方式，从例如对车辆的行进方向进行摄像而得到的图像数据辨识表示道路区域的形状，以该形状为基础而算出上述道路区域的特征量，以该特征量为基础而估计移动体正移动的车道。即，着眼于表示从移动体观看时的道路区域的形状的特征而估计车道。因此，能够不依赖于对道路上的车道进行区分的区划线而估计正移动的车道，由此即使在例如由于施工等而区划线的维修痕迹残余的情况、或由于随时间劣化而区划线变浅或消失的情况下，也能够估计车道。
本发明的第二方式是在第一方式中，以上述辨识出的表示道路区域的形状为基础而算出该轮廓线的倾斜角，作为道路区域的特征量，通过判定该算出的轮廓线的倾斜角被包含于按每个车道被预先设定的阈值的范围的哪个中，对移动体正移动的车道进行估计。
根据本发明的第二方式，着眼于例如表示从移动体观看时的道路区域的路崖等的轮廓线的倾斜角根据移动体正移动的车道的位置而不同，能够估计移动体正在哪个车道移动。一般来说道路的轮廓在哪个道路中都能够从图像数据来辨识，因此在不能辨识区划线的道路中也能够切实地估计车道。
本发明的第三方式是在上述第一方式中，以表示道路区域的形状为基础，算出表示该形状的图形的重心坐标、表示上述形状的图形或者从该图形导出的虚拟图形的一个顶点的角度、和表示上述形状的图形的面积之中的至少一个，作为道路区域的特征量，通过判定上述算出的图形的重心坐标、一个顶点的角度、以及图形的面积是否被包含于按每个车道被设定的阈值的范围，对移动体正移动的车道进行估计。
根据本发明的第三方式，表示道路区域的图形的重心坐标、该图形或者从该图形导出的虚拟的图形的一个顶点的角度、和上述图形的面积的至少一个作为道路区域的特征量而被算出，以该算出结果为基础而估计车道。从而，在该情况下也基于从表示道路区域的形状求得的特征量而估计车道，所以在不能检测区划线的道路中也能够切实地估计车道。
本发明的第四方式是在上述第一方式中，算出将表示道路区域的形状变换为将通过所述图像数据表示的画面的垂直方向设为一边的三角形后的图形的二边间的角度、以及上述三角形的图形的面积之中的至少一个，作为道路区域的特征量，通过判定该算出的二边的角度或者图形的面积被包含于按每个车道被预先设定的阈值的范围的哪个中，对移动体正移动的车道进行估计。
根据本发明的第四方式，将表示道路区域的形状变换为将通过所述图像数据表示的画面的垂直方向设为一边的三角形，将该三角形的二边间的角度或者面积作为道路区域的特征量而估计车道。从而，在该情况下也基于从表示道路区域的形状求得的特征量而估计车道，所以在不能检测区划线的道路中也能够切实地估计车道。
本发明的第五方式是在第一方式中，从图像数据，分别辨识表示包含在道路上存在的物体的道路区域的第一形状、和表示在上述道路区域之中去除了上述物体的区域的第二形状，以该辨识出的第一形状以及第二形状为基础而对所述道路区域的轮廓线进行估计，算出其倾斜角。并且，通过判定该算出的轮廓线的倾斜角被包含于按每个车道被预先设定的阈值的范围的哪个中，对移动体正移动的车道进行估计。
根据本发明的第五方式，在道路区域上存在其他行驶车辆等物体的情况下，从图像数据分别辨识表示包含上述物体的道路区域整体的第一形状、和表示在上述道路区域之中去除了上述物体的区域的第二形状，以上述辨识出的第一以及第二各形状为基础而估计在假设为不存在上述物体时的道路区域的轮廓线。并且，以该估计出的轮廓线的倾斜角为基础，估计移动体正移动的车道。因此，即使在通过例如正在路崖侧的车道行驶的其他车辆而路崖或行驶车道的左端部隐藏的情况下，也对该路崖或行驶车道的左端部的轮廓线进行估计，能够以该估计结果为基础而估计车道。
本发明的第六方式是在上述第一方式中，取得以表示上述道路区域的形状为基础而对道路区域内的各像素贴标后的像素值数据，作为道路区域的特征量，通过判定所取得的素值数据与对上述道路区域预先设定的多个图案之中的哪个类似，对移动体正移动的车道进行估计。
本发明的第七方式是在上述第一方式中，取得以表示上述道路区域的形状为基础而对道路区域内的各像素贴标后的像素值数据，作为道路区域的特征量，通过判定所取得的像素值数据与按上述道路区域中包含的每个车道被预先设定的图案之中的哪个类似，对移动体正移动的车道进行估计。
根据本发明的第六或者第七方式，着眼于例如从移动体观看时的道路区域的形状根据该移动体正移动的车道而不同，通过判定对图像数据内的道路区域按每个像素进行贴标后的像素值数据与被预先设定的图案之中的哪个类似，估计移动体正移动的车道。因此，若在图像数据内拍到道路区域，则能够判定与图案的是否类似，能够不依赖于区划线就估计移动体正在哪个车道移动。
本发明的第八方式是在上述第一方式中，辨识表示包含在所述道路区域上存在的物体的上述道路区域的第一形状，作为道路区域的特征量，取得对所述第一形状内的各像素贴标后的像素值数据，通过判定所取得的像素值数据与被预先设定的图案之中的哪个类似，对移动体正移动的车道进行估计。
根据本发明的第八方式，在道路区域上存在物体的情况下，辨识表示包含该物体的道路区域的第一形状，取得对该第一形状内的各像素贴标后的像素值数据，通过判定与被预先设定的图案之中的哪个类似，估计移动体正移动的车道。因此，即使在道路区域上存在物体，基于从图像数据得到的道路区域的形状的信息不充分时，通过将物体视为道路区域的一部分，能够高效地估计移动体正在哪个车道移动。
本发明的第九方式中，基于从在过去得到的车道估计结果而估计的表示移动体的车道变更历史的信息、与对应于移动体的移动位置的道路的结构相关的信息、和从移动体的移动的状态而估计的表示道路区域中的车道变更的信息的至少一个，对当前的车道估计结果进行校正。
根据本发明的第九方式，基于移动体的车道变更历史、与正移动的道路的结构相关的信息、和表示移动体是否进行了车道变更的信息的至少一个，校正当前的车道估计结果。从而，即使在例如由于天气或照度等的影响，得不到鲜明的图像数据的情况或不能从图像数据准确地辨识道路区域的情况下，也能够对当前正移动的车道的估计结果进行校正，由此能够得到准确的车道估计结果。
发明效果
即，根据本发明的各方式，能够提供能够准确地估计正移动的车道而不依赖于区划线的技术。
附图说明
图1是具备本发明的一实施方式所涉及的车道估计装置的车载控制系统的概略结构图。
图2是表示本发明的一实施方式所涉及的车道估计装置的硬件结构的框图。
图3是表示本发明的第一实施方式所涉及的车道估计装置的软件结构的框图。
图4是表示图3所示的车道估计处理部的功能结构的框图。
图5是表示图3所示的车道估计装置的整体的处理过程和处理内容的流程图。
图6是表示图5所示的图像处理例程的处理过程和处理内容的流程图。
图7是表示图5所示的车道估计处理例程的处理过程和处理内容的流程图。
图8是表示图5所示的车道校正处理例程的处理过程和处理内容的流程图。
图9是表示图7所示的车道估计处理例程之中的道路区域提取处理例程的处理过程和处理内容的流程图。
图10是表示道路的结构的一例的平面图。
图11是表示由车载相机对行进方向进行摄像时得到的道路的图像数据的第一例的图。
图12是表示从图11所示的图像数据提取了表示道路区域的图形的结果的第二例的图。
图13是用于说明从图12所示的图形算出轮廓的倾斜角而估计车辆的行驶车道的处理的第一例的图。
图14是用于说明从图12所示的图形算出轮廓的倾斜角而估计车辆的行驶车道的处理的第二例的图。
图15是用于说明从图12所示的图形算出特定区域的重心而估计车辆的行驶车道的处理的第一例的图。
图16是用于说明从图12所示的图形算出特定区域的重心而估计车辆的行驶车道的处理的第二例的图。
图17是用于说明从图12所示的图形算出三角形的面积或者角度而估计车辆的行驶车道的处理的第一例的图。
图18是用于从图12所示的图形算出三角形的面积或者角度而估计车辆的行驶车道的处理的第二例的图。
图19是用于说明以从车辆观看道路区域的两侧部中的任意的点时的角度为基础来估计车辆正行驶的车道的处理的第一例的图。
图20是用于说明以从车辆观看道路区域的两侧部中的任意的点时的角度为基础来估计车辆正行驶的车道的处理的第二例的图。
图21是用于说明车辆正在其他车道行驶时的道路区域的算出方法的一例的图。
图22是表示本发明的第二实施方式所涉及的车道估计装置的软件结构的框图。
图23是表示图22所示的车道估计处理部的功能结构的框图。
图24是表示图23所示的车道估计处理部所进行的车道估计处理例程的处理过程和处理内容的流程图。
图25A是表示由车载相机对行进方向进行摄像时得到的道路的图像数据的第二例的图。
图25B是表示从图25A所示的图像数据提取了表示道路区域的图形的结果的第二例的图。
图26A是表示区域图案的第一例的图。
图26B是表示对图26A所示的区域图案，描绘了对行驶车道进行区分的虚拟线的一例的图。
图26C是表示区域图案的第二例的图。
图26D是表示对图26C所示的区域图案，描绘了对行驶车道进行区分的虚拟线的一例的图。
图27A是表示区域图案的第三例的图。
图27B是表示区域图案的第四例的图。
图27C是表示区域图案的第五例的图。
图27D是表示区域图案的第六例的图。
图28A是表示由车载相机对行进方向进行摄像时得到的道路的图像数据的第三例的图。
图28B是表示从图28A所示的图像数据提取了表示道路区域以及其他车辆的图形的结果的第三例的图。
图29是表示以从图像数据的提取结果为基础以像素级与区域图案进行比较的图像的一例的图。
图30是表示以从图像数据的提取结果为基础以像素级与区域图案进行比较的图像的其他例的图。
具体实施方式
以下，参考附图来说明本发明所涉及的实施方式。
[第一实施方式]
(结构)
(1)系统
图1是具备本发明的一实施方式所涉及的车道估计装置的车载系统的概略结构图。在车辆6中，搭载有车道估计装置1、相机2、GPS(全球定位系统(Global PositioningSystem))传感器3、车辆传感器4、自动驾驶控制装置5。
相机2例如使用了CMOS(互补金属氧化物半导体(Complementary Metal OxideSemiconductor))传感器等固体摄像设备，其设置地点、朝向以及角度被设定以使至少将车辆6的行进方向上的道路区域包含于摄像范围。并且相机2将对包含上述车辆6的行进方向上的道路区域的范围进行摄像而得到的图像数据输出至车道估计装置1。
另外，相机2也可以被设置为车道估计专用，但只要是行车记录仪的相机或以其他目的被搭载的相机等能够得到同等的图像数据的相机，还能够利用任意相机。例如，在车辆为摩托车或自行车的情况下也可以使用被设置于驾驶员的安全帽的相机，此外，也可以使用车辆的同乘者所持的智能手机等被设置于便携终端的相机。进而，作为相机的种类，也可以使用红外线相机。此外，作为图像数据，也可以是运动图像数据，但也可以是以一定的时间间隔摄像的静止图像数据。
GPS传感器3通过分别接收多个GPS卫星所发送的GPS信号而进行测距运算从而算出车辆6的纬度经度，将该算出的纬度经度作为车辆6的位置数据而输出至车道估计装置1。另外，代替于GPS传感器3，只要是发挥与GPS传感器同等的功能的部件，就也可以使用以地面(道路)为基础的定位系统(Ground Based Positioning System：GBPS)等。
车辆传感器4例如为了进行车辆6的自身诊断(On-board diagnostics：OBD)，对车辆6的速度、加速度以及引擎的转速等表示车辆6的移动的状态的信息进行检测，将该检测结果作为车辆传感器数据而输出至车道估计装置1。另外，作为车辆传感器4，除了对速度、加速度以及引擎的转速进行检测的传感器以外，也可以包含对方向盘的转向角等进行检测的传感器，进而也可以使用以OBD以外的目的被使用的传感器。
自动驾驶控制装置5用于进行基于车外相机以及驾驶员相机的摄像图像或从各种车载传感器输出的传感器数据而使车辆6以全自动或者半自动的方式行驶的控制，利用从车道估计装置1输出的表示车道估计结果的数据作为传感器数据之一。
(2)车道估计装置
(2-1)硬件结构
车道估计装置1估计车辆6正行驶的车道，例如由个人计算机构成。图2是表示车道估计装置1的硬件结构的一例的框图。
车道估计装置1具有CPU(中央处理单元(Central Processing Unit))等的硬件处理器10A，对该硬件处理器10A，经由总线40连接了程序存储器10B、数据存储器20、输入输出接口单元(以后称为输入输出I/F)30。
在输入输出I/F30上，连接相机2、GPS传感器3、车辆传感器4以及自动驾驶控制装置5等外部设备。输入输出I/F30从相机2、GPS传感器3以及车辆传感器4接受数据，并且将由车道估计装置1生成的表示估计结果的数据输出至自动驾驶控制装置5。输入输出I/F30还能够包含有线或者无线的通信接口。
程序存储器10B作为存储介质，例如将HDD(硬盘驱动(Hard Disk Drive))、SSD(固态驱动(Solid State Drive))等能够随时写入以及读出的非易失性存储器、和ROM等非易失性存储器组合使用，储存有为了执行实施方式所涉及的各种控制处理所需的程序。
数据存储器20作为存储介质，例如将HDD或者SSD等能够随时写入以及读出的非易失性存储器、和RAM(随机存取存储器(Random Access Memory))等易失性存储器组合使用，被用于存储在进行各种处理的过程中取得以及制成的各种数据。
(2-2)软件结构
图3是将本发明的第一实施方式所涉及的车道估计装置1的软件结构与图2所示的硬件结构相关联而示出的框图。
输入输出I/F30接收从相机2、GPS传感器3以及车辆传感器4输出的各数据，将该各数据供应给控制单元10，并且将从控制单元10输出的表示车道的估计结果的数据输出至上述自动驾驶控制装置5。此外，输入输出I/F30生成用于显示上述车道估计结果的显示数据，将该显示数据输出至例如车辆6的汽车导航装置的显示部而使其显示。
数据存储器20的存储区域具备图像数据存储部21、车道估计数据存储部22、道路信息存储部23、车辆传感器数据存储部24、阈值存储部25。
图像数据存储部21被用于存储由相机2得到的图像数据。车道估计数据存储部22被用于将后述的由控制单元10得到的表示车道估计结果的数据与其估计日期时间或车辆6的位置数据等相关联而存储。在道路信息存储部23中，例如与由纬度经度表示的位置数据相对应，预先存储有表示与该位置相应的道路的结构的信息。在表示道路的结构的信息中，例如，包含表示上行下行各方向的车道数、或人行道、路崖、侧带以及中央分离带的有无及其宽度的信息。车辆传感器数据存储部24被用于将从车辆传感器4输出的车辆传感器数据与表示数据类型以及检测时刻的信息相对应而存储。阈值存储部25被用于存储按每个车道被预先设定的、各种各样的特征量所涉及的阈值。
控制单元10由上述硬件处理器10A和上述程序存储器10B构成，作为基于软件的处理功能部，具有图像数据取得部11、图像处理部12、车道估计处理部13、车道校正部14、过去估计数据取得部15、道路信息取得部16、车辆传感器数据取得部17、车辆动作状态估计部18、估计数据输出控制部19。
上述各处理部11～19的功能通过使CPU(硬件处理器)10A执行程序存储器10B中储存的程序从而被实现。另外，用于使得执行上述各处理部11～19的处理的程序除了被预先存储至车道估计装置1内的程序存储器10B以外，也可以使用被存储至网络上的应用服务器等的程序。在该情况下，车道估计装置1通过在需要时将所需的程序从应用服务器经由网络进行下载，从而执行上述各处理部11～19的功能。
图像数据取得部11作为图像取得部，将从相机2输出的图像数据经由输入输出I/F30依次接受，将该图像数据与表示其摄像定时或者接收定时的信息相关联而使其存储至图像数据存储部21。
图像处理部12从上述图像数据存储部21读入图像数据。并且，在该图像数据为运动图像数据的情况下以规定的帧周期切出静止图像数据。此外，图像处理部12对上述静止图像数据，作为车道估计的前处理而进行例如噪音去除以及对相机2的性能个体差或设置时的斜率等进行校正的校正处理。
车道估计处理部13从上述图像处理部12接受上述前处理后的图像数据，基于该图像数据而进行对车辆6正行驶的车道进行估计的处理，作为其功能，例如图4所示具备道路区域提取部131、特征量算出部132、车道估计部133。
道路区域提取部131具有以下的处理功能。
(1)从自上述图像处理部12接受到的图像数据提取相当于道路区域的范围的处理。
(2)将被误提取为道路区域的区域使用其面积的大小等信息进行排除，进而对所提取到的道路区域实施平滑化等处理而提取表示道路区域的形状的处理。
(3)在上述提取到的相当于道路区域的范围的图像中包含道路以外的物体、例如正行驶的其他车辆等的情况下，分别提取表示包含该物体的区域的形状、和表示上述道路区域之中去除了上述物体的区域的形状，以所提取到的各形状为基础，对表示在假设为不存在上述物体时的道路区域的形状进行估计的处理。
特征量算出部132进行以由上述道路区域提取部131提取到的表示道路区域的形状为基础，算出该形状的特征量的处理。另外，针对特征量的细节，在后面叙述。
车道估计部133进行通过判定由上述特征量算出部132算出的特征量是否被包含于例如按每个车道被设定的阈值的范围中，对车辆6现在正在哪个车道行驶进行估计的处理。另外，作为按每个车道的阈值，也可以使用根据一般的道路的形状而被设定的通用的阈值，此外，也可以使用按道路的每个区间、根据该道路的形状而通过测量等事先设定的值。
过去估计数据取得部15从车道估计数据存储部22读出过去的车道估计数据，基于该数据而估计车辆6在过去行驶的车道的变更历史或倾向性，将该估计信息作为校正候选的信息之一而给予车道校正部14。
道路信息取得部16以由GPS传感器3检测到的车辆6的位置数据为基础，从道路信息存储部23取得表示车辆6当前正行驶的位置中的道路的结构的信息，将表示该道路的结构的道路信息作为校正候选的信息之一而给予车道校正部14。
车辆传感器数据取得部17进行经由输入输出I/F30接受从车辆传感器4输出的表示车辆6的移动的状态的车辆传感器数据，将所接受到的车辆传感器数据与表示其测量定时或者接收定时的信息相关联而使其存储至车辆传感器数据存储部24的处理。
车辆动作状态估计部18从上述车辆传感器数据存储部24读出车辆传感器数据，以该车辆传感器数据为基础来估计车辆6是否进行了车道变更，将该估计信息作为校正候选的信息之一而给予车道校正部14。
车道校正部14对由上述车道估计部133得到的、车辆6正行驶的车道的估计结果进行规定的校正处理，将校正后的车道估计数据与表示当前时刻的信息相关联而使其存储至车道估计数据存储部22。在上述车道估计结果的校正处理中考虑以下的3种处理。
(1)以由上述道路信息取得部16取得的、表示车辆6当前正行驶的位置中的道路的结构的道路信息为基础，判定由上述车道估计部133得到的车辆6正行驶的车道的估计结果的似然性，在能够视为错误的情况下，对上述估计结果进行校正的处理。
(2)以由上述过去估计数据取得部15估计出的、表示车辆6的过去的车道的变更历史或者倾向性的信息为基础，判定由上述车道估计部133得到的、车辆6正行驶的车道的估计结果的似然性(確からしさ)，在能够视为错误的情况下，对上述估计结果进行校正的处理。
(3)基于由上述车辆动作状态估计部18估计出的、表示车辆6的移动的变化的信息、和由上述过去估计数据取得部15估计出的、表示车辆6的过去的车道的变更历史的信息，判定由上述车道估计部133得到的、车辆6正行驶的车道的估计结果的似然性，在能够视为错误的情况下，对上述估计结果进行校正的处理。
估计数据输出控制部19进行从上述车道估计数据存储部22读出最新的车道估计数据，将其从输入输出I/F30输出至自动驾驶控制装置5的处理。此外，估计数据输出控制部19进行生成用于将上述最新的车道估计数据显示于例如地图数据上的显示数据，将该显示数据输出至例如汽车导航装置的显示部的处理。另外，估计数据输出控制部19除了输出最新的车道估计数据以外，也可以读出与过去的任意的定时对应的车道估计数据并进行输出。
(动作)
接着，说明以上那样构成的第一实施方式所涉及的车道估计装置1所进行的车道估计动作。
图5是表示控制单元10所进行的车道估计处理的整体的处理过程的流程图。
(1)图像数据的取得和图像处理
在车辆6正行驶中，包含其行进方向的道路区域的景色通过相机2被摄像，其图像数据从相机2被输出至车道估计装置1。车道估计装置1的控制单元10在图像数据取得部11的控制之下，通过步骤S1而经由输入I/F30接受从上述相机2输出的图像数据，以与表示摄像日期时间的信息相关联的状态使其依次存储至图像数据存储部21。
此外，控制单元10与上述图像数据的取得处理并行，在图像处理部12的控制之下，通过步骤S2而对上述取得的图像数据执行用于车道估计所需的图像处理。
图6是表示上述图像处理部12所进行的处理过程和处理内容的流程图。即，图像处理部12首先从上述图像数据存储部21读入图像数据。并且，在步骤S21中判定图像数据是否是运动图像数据，若是运动图像数据，则通过步骤S22从该运动图像数据以一定的帧周期切出静止图像数据。接下来，图像处理部12在步骤S23中，对上述静止图像数据进行用于车道估计的前处理。在此，进行例如噪音去除以及对相机2的性能个体差或设置时的斜率等进行校正的校正处理。另外，该图像处理也可以通过由硬件构成的图像处理电路被进行。
图11表示上述图像处理后的静止图像数据VD的第一例。
(2)行驶车道的估计
接着，车道估计装置1的控制单元10在车道估计处理部13的控制之下，在步骤S3中，如以下那样执行对车辆6正行驶的车道进行估计的处理。
图7是表示车道估计处理部13的处理过程和处理内容的流程图。
(2-1)道路区域的提取
车道估计处理部13首先通过道路区域提取部131，进行从上述前处理结束了的图像数据提取道路区域的处理(步骤S31)。
现在，若取单侧二行车道的道路为例，则道路例如如图10所示，以中央分离带MS为边界而在上行方向以及下行方向上分别配置构成车道的行驶车道TL1、TL2，在行驶车道TL1的外侧由隔着路崖SR以及由混凝土块构成的路缘石SB，或者隔着灌木丛SH，配置了人行道WL。
对于这样的道路，道路区域提取部131提取例如包含行驶车道TL1、TL2以及路崖SR的区域作为道路区域。另外，也可以仅提取行驶车道TL1、TL2作为道路区域。
作为道路区域的提取处理部件，作为一例而使用SegNet。SegNet是用于实现以像素为单位的贴标(labeling)功能的深层编码器/解码器架构，例如对图像中包含的各部位进行区分而以不同的多个显示方式(例如颜色)进行贴标。在本实施方式中，设为以道路区域、在道路上存在的物体的区域(作为一例是车辆区域)、其以外的区域这3种进行贴标。
接下来，道路区域提取部131考虑存在被误提取为道路区域的区域的情况，进行使用区域的面积的大小等信息而排除被误检测的区域的处理，进而对所提取到的道路区域实施平滑化等处理而提取表示道路区域的形状。另外，在所提取到的道路区域的形状的轮廓线具有零星的凹凸的情况下，例如也可以对上述轮廓线进行直线近似。
在图12中，示出将通过上述道路区域提取处理而提取到的表示单侧二行车道的道路的道路区域的形状与原始的图像重叠显示的一例。在该例中示出了表示包含上下各方向的行驶车道TL1、TL2、和至左侧的路崖SR为止的区域RE的形状(图中阴影(網掛け)部分)被提取到的情况。在该情况下，也可以在路崖SR中包含路缘石SB。
另一方面，在图像数据中有时拍到在路崖侧的行驶车道TL1正行驶的其他车辆，在该情况下行驶车道TL1的侧端部或者路崖SR的侧端部通过上述其他行驶车辆而隐藏，有时不能提取道路区域的真的侧端部。因此，道路区域提取部131如以下那样提取真的道路区域。
图9是表示在该情况下的道路区域提取部131的处理过程和处理内容的流程图。
即，道路区域提取部131在步骤S51中，以使用上述SegNet被提取到的道路区域的图像为基础，提取表示包含道路区域和其他行驶车辆的外形的整体的区域的形状。此外，与此同时在步骤S52中，提取表示在上述道路区域之中去除了上述行驶车辆的区域的形状。另外，上述步骤S51，S52中的、提取表示各自的区域的形状的处理中，进行将被误提取的区域使用其面积的大小等信息进行排除的处理、和对所提取到的道路区域进行平滑化等而提取轮廓的处理。并且道路区域提取部131在步骤S53中，以通过上述步骤S51，S52被提取到的各形状为基础，对假设为不存在上述其他行驶车辆时的道路区域的真的形状进行估计。
(2-2)特征量的算出以及基于特征量的车道估计
接着，车道估计处理部13在特征量算出部132的控制之下，在步骤S32中，从上述提取到的表示道路区域的形状算出该特征量。并且车道估计处理部13在车道估计部133的控制之下，在步骤S33中，基于上述算出的特征量而估计车辆6现在正在路崖侧的行驶车道TL1行驶，还是正在中央分离带侧的行驶车道TL2行驶。
对于使用于车道估计的特征量，考虑多个方式。以下，说明使用了这多个特征量的各个的情况下的车道估计处理的一例。
(2-2-1)将道路区域的左侧端边的倾斜角作为特征量而估计车道的情况
特征量算出部132例如在得到图13所示的那样的图像的情况下，对由上述道路区域提取部131提取到的表示道路区域RE的形状的左侧端边、也就是说行驶车道TL1的左侧端部或者路崖SR的左侧端部，描绘近似线OL1。在将图像数据所构成的画面的左下角部定义为x-y坐标平面的基准坐标(0，0)时，上述近似线OL1被表示为y＝a1x+b1。在此，a1表示斜率，b1表示对于点P1的截距。
同样，特征量算出部132在得到例如图14所示的那样的图像的情况下，对由上述道路区域提取部131提取到的表示道路区域RE的形状的左侧端边描绘近似线OL2。在该情况下，若将图像数据所构成的画面的左下角定义为x-y坐标平面的基准坐标(0，0)，则上述近似线OL2被表示为y＝a2x+b2(其中，y在x为P2以下时为0)。
就这样，通过特征量算出部132，表示道路区域RE的形状的左侧轮廓线、也就是说行驶车道TL1的左端部或者路崖SR的左端部的倾斜角a1、a2被算出，作为特征量。
接下来，车道估计部133在步骤S33中，从数据存储器20的阈值存储部25，读出按每个车道被预先设定的倾斜角的阈值。并且，将由上述特征量算出部132算出的近似线OL1、OL2的倾斜角与上述按每个车道被设定的各阈值分别进行比较，以该比较结果为基础而判定车辆6现在正行驶的车道是路崖侧的行驶车道TL1还是中央分离带侧的行驶车道TL2。
例如，若现在算出的特征量为近似线OL1的倾斜角a1，则如图13所例示，该倾斜角a1被包含于与行驶车道TL2对应的阈值的范围，因此判定为车辆6正行驶的车道为中央分离带侧的行驶车道TL2。相对于此，若所算出的特征量为近似线OL2的倾斜角a2，则如图14所例示，该倾斜角a2被包含于与行驶车道TL1对应的阈值的范围，因此判定为车辆6正行驶的车道为路崖侧的行驶车道TL1。
(2-2-2)将道路区域的形状的重心作为特征量而估计车道的情况
特征量算出部132从由道路区域提取部131提取到的表示道路区域的形状，切出表示相当于单侧的各车道的区域的形状，对该切出的形状的任意部位定义特征量算出用的图形。并且，算出该图形的重心的坐标作为特征量。
例如，如图15所示，在表示相当于单侧的各车道的区域RE的形状中，将以坐标点P11～P14包围的部位定义为特征量算出用的图形RE10。并且，算出表示该图形RE10的重心的坐标W1。同样，如图16所示，在表示相当于单侧的车道的区域RE的形状中，将以坐标点P11～P14包围的部位定义为特征量算出用的图形RE20，算出表示该图形RE20的重心的坐标W2。
接下来，车道估计部133从数据存储器20的阈值存储部25，读出表示将图像数据分割为左右的中心线CL的坐标值。并且，通过判定由上述特征量算出部132算出的表示图形RE20的重心的坐标相对于上述中心线CL的坐标值在x轴方向的图中位于左侧和右侧的哪一侧，从而判定车辆6正行驶的车道是路崖侧的行驶车道TL1还是中央分离带侧的行驶车道TL2。
例如，车道估计部133在如图15所示，特征量为图形RE10的重心坐标W1的情况下，由于该重心坐标W1相对于中心线CL的坐标值在x轴方向的图中位于左侧，所以判定为车辆6正行驶的车道为中央分离带侧的行驶车道TL2。相对于此，在如图16所示，特征量为图形RE20的重心坐标W2的情况下，由于该重心坐标W2相对于中心线CL的坐标值在x轴方向的图中位于右侧，所以判定为车辆6正行驶的车道为路崖侧的行驶车道TL1。
(2-2-3)将道路区域的形状以将图像数据的y轴方向作为一边的三角形来近似，将该三角形的角度或者面积作为特征量而估计车道的情况
特征量算出部132在由道路区域提取部131提取到的表示道路区域RE的形状之中，提取相对于图像数据所构成的画面的x轴方向的中心线CL在左侧的区域中包含的形状。并且，将该提取到的形状通过将上述中心线CL作为一边的直角三角形来近似，算出该直角三角形的面积或者一个顶点中的角度作为特征量。
例如在图17所示的例中，在表示道路区域RE的形状之中，提取图像数据所构成的画面的左半部分的区域VDL中包含的形状(轮廓REL)，将该形状通过将中心线CL作为一边的直角三角形TA1来近似，算出该直角三角形TA1的面积或者顶点P3中的内角的角度θ5作为特征量。
同样，在图18所示的例中，提取图像数据所构成的画面的左半部分的区域VDL中包含的形状，将该形状通过将中心线CL作为一边的直角三角形TA2来近似，算出该直角三角形TA2的面积或者顶点P4中的角度θ6作为特征量。另外，除了算出内角的角度的以外，也可以算出顶点的外角的角度或内角+90°的角度。
接下来，车道估计部133从数据存储器20的阈值存储部25，读出按每个车道被预先设定的直角三角形的面积的阈值或者角度的阈值。并且，将由上述特征量算出部132算出的直角三角形的面积或者角度与被预先设定的面积或者角度的阈值分别进行比较，以该比较结果为基础而判定车辆6现在正行驶的车道是路崖侧的行驶车道TL1或者中央分离带侧的行驶车道TL2。
例如，在图17所示的例中，由于直角三角形TA1的顶点P3的角度θ5比角度阈值大，由此判定为车辆6正行驶的车道是中央分离带侧的行驶车道TL2。相对于此，在图18所示的例中，直角三角形TA2的顶点P4的角度θ6成为角度阈值以下，由此判定为车辆6正行驶的车道为路崖侧的行驶车道TL1。
此外，代替于直角三角形的顶点的角度θ5、θ6，还能够将直角三角形TA1、TA2的面积与阈值进行比较从而判定车道TL1、TL2。直角三角形TA1、TA2的面积例如能够通过对以直角三角形TA1、TA2的轮廓包围的区域的像素数进行计数来求得。
(2-2-4)将图像数据所构成的画面上绘制的2条平行的水平线和道路区域的轮廓线的交点、与画面的下边中央点的角度θ作为特征量而估计车道的情况
特征量算出部132算出由道路区域提取部131提取到的表示道路区域的形状的左右两端边、和图像数据所构成的画面中设定的2条平行的水平线的交点。并且，算出将图像数据的下边中央点Pc和上述各交点以直线进行连结时的相对于图像数据的下边的角度，将该算出的角度作为特征量。
例如，在图19所示的例子中，检测表示道路区域RE的形状的左右两端边、和图像数据所构成的画面中设定的2条平行的水平线H1、H2的交点P51、P52以及P53、P54。并且，算出将图像数据所构成的画面的下边中央点Pc和上述各交点P51、P52以及P53、P54分别以直线进行连结时的、相对于画面的下边的上述各直线的角度θ1、θ2以及θ3、θ4，将该算出的角度θ1、θ2的差以及角度θ3、θ4的差作为特征量。在图20所示的例中，也同样，算出对图像数据所构成的画面的下边中央点Pc和各交点P51、P52以及P53、P54进行连结的各直线的角度θ1、θ2的差以及角度θ3、θ4的差作为特征量。
接下来，车道估计部133从数据存储器20的阈值存储部25，读出按每个车道被预先设定的左边用以及右边用的角度差阈值。并且，将由上述特征量算出部132算出的角度θ1、θ2的差以及角度θ3、θ4的差与上述按每个车道被设定的左边用以及右边用的角度差阈值分别进行比较，以该比较结果为基础而判定车辆6现在正行驶的车道是路崖侧的行驶车道TL1还是中央分离带侧的行驶车道TL2。
例如，在图19所示的例中，若角度θ1、θ2的差比左边用的阈值大，且角度θ3、θ4的差为右边用的阈值以下，则判定为车辆6正行驶的车道是中央分离带侧的行驶车道TL2。同样，在图20所示的例中，若角度θ1、θ2的差为左边用的阈值以下，且角度θ3、θ4的差比右边用的阈值大，则判定为车辆6正行驶的车道是路崖侧的行驶车道TL1。
(2-2-5)以表示在行驶车道中存在其他行驶车辆时提取到的道路区域的形状为基础而估计正行驶的车道的情况
在道路区域提取部131中，如之前叙述的那样，在步骤S51中表示包含道路区域和其他行驶车辆的整体的区域的形状被提取，在步骤S52中表示在上述道路区域之中去除了上述其他行驶车辆的区域的形状被提取。并且，在步骤S53中，以上述被提取到的各形状为基础，估计表示在假设为不存在其他行驶车辆时的道路区域的形状。
特征量算出部132以通过上述步骤S53而估计出的表示道路区域的形状为基础在该左侧端边描绘近似线，算出该近似线的倾斜角作为特征量。
例如，在图21所示的例中，特征量算出部132以在步骤S51中被提取到的、表示包含其他行驶车辆的图像MB的整体的区域的形状为基础，在该左侧端边描绘近似线OL2。该近似线OL2被表示为y＝a2x+b2。此外，与此同时特征量算出部132以在步骤S52中被提取到的、表示在道路区域之中去除了上述行驶车辆的区域的形状为基础，在该左侧端边描绘近似线OL1。该近似线OL1被表示为y＝a1x+b1。
并且，特征量算出部132以上述各近似线OL1、OL2为基础，算出取这些近似线OL1、OL2之间的第三近似线OL3，将该第三近似线OL3设为在假设为不存在其他行驶车辆的图像MB时的道路区域的左侧端边的轮廓线。此时第三近似线OL3通过y＝{(a1+a2)/A}x+(b1+b2)/B来表示。在此，A、B是系数，以其他行驶车辆从车道的中央向左右方向偏移多少而行驶，或其他行驶车辆的车高是几m等参数为基础而被决定。通过适当设定这些系数A、B，能够将近似线OL3的位置接近于实际的道路区域的左侧端边的位置。
车道估计部133将上述算出的近似线OL3的倾斜角{(a1+a2)/A}与预先按每个车道被设定的阈值进行比较。并且，以该比较结果为基础而判定车辆6现在正行驶的车道是路崖侧的行驶车道TL1还是中央分离带侧的行驶车道TL2。
例如，在图21所示的例中，倾斜角{(a1+a2)/A}被包含于与行驶车道TL2对应的阈值的范围，因此判定为车辆6正行驶的车道是中央分离带侧的行驶车道TL2。相对于此，若倾斜角{(a1+a2)/A}被包含于与行驶车道TL1对应的阈值的范围，则判定为车辆6正行驶的车道是路崖侧的行驶车道TL1。
(3)车道估计结果的校正
接着，车道估计装置1的控制单元10在车道校正部14的控制之下，在图5所示的步骤S4中，判定由上述车道估计处理部13估计出的车道的似然性(妥当性)，在判定为并非妥当的情况下执行对车道的估计结果进行校正的处理。
图8是表示上述车道校正部14的处理过程和处理内容的流程图。
(3-1)基于表示道路的结构的信息的校正
车道校正部14首先在步骤S41中，以表示与车辆6的行驶位置对应的道路的结构的信息为基础，对上述车道估计结果进行校正。例如，在道路信息取得部16中，以由GPS传感器3测量出的车辆6的当前位置数据为基础，表示与车辆6当前正行驶的位置对应的道路的结构的信息从道路信息存储部23被读出。车道校正部14将基于上述车道估计处理部13的车道估计结果与表示上述被读出的道路的结构的信息进行对照，判定上述车道估计结果是否正确。
例如，若车道估计结果成为中央分离带侧的“行驶车道TL2”，现在车辆6正行驶的道路为单侧一行车道的道路，则上述车道估计结果判定为错误，将车道估计结果校正为“行驶车道TL1”。
(3-2)基于过去的车道变更历史的校正
若得到新的车道估计结果，则过去估计数据取得部15从车道估计数据存储部22读出过去的车道估计数据，基于该数据而估计车辆6在过去的一定期间中行驶的车道的变更历史或倾向性。该估计处理例如也可以算出过去的一定期间中的每个行驶车道TL1、TL2的使用次数或者频度，但例如也可以预先按每个驾驶员基于行驶时段或行驶路径、行驶位置而制成表示驾驶员的行驶的倾向性的学习数据，以该学习数据为基础而估计当前的正行驶的车道。
车道校正部14在步骤S42中，将由上述车道估计处理部13得到的最新的车道估计结果与由上述过去估计数据取得部15估计出的、表示车辆6的车道变更历史或者倾向性的信息进行比较，对上述最新的车道估计结果的妥当性进行评估。并且，例如尽管驾驶员平日仅在行驶车道TL1行驶，但若最新的车道估计结果为中央分离带侧的“行驶车道TL2”，则该估计结果判断为错误而将车道估计结果校正为路崖侧的“行驶车道TL1”。
(3-3)基于车辆6的移动的状态和过去的车道变更历史的校正
在车辆动作状态估计部18中，以由车辆传感器数据取得部17取得的、表示车辆6的速度或加速度、方向盘操作角度等的车辆6的移动的传感器数据为基础，估计车辆6是否进行了车道变更。
车道校正部14在步骤S43中，将由上述车道估计处理部13得到的车道估计结果、和由上述车辆动作状态估计部18得到的车道变更的估计结果，在时间上对应地彼此进行比较。并且，若由上述车道估计处理部13得到的车道估计结果不与由上述车辆动作状态估计部18得到的车道变更的估计结果对应，则将由上述车道估计处理部13得到的车道估计结果以由上述车辆动作状态估计部18得到的车道变更的估计结果为基础进行校正。
最后，车道校正部14将通过以上的各校正处理而最终被校正的车道估计结果的数据与表示当前时刻的信息相关联而使其存储至车道估计数据存储部22。
另外，在以上叙述的车道校正处理中，取执行基于(3-1)、(3-2)、(3-3)的全部3种校正处理的情况为例进行了说明，但也可以仅执行上述3种校正处理的其中一个或者任意选择的两个，此外，在不需要校正的情况下也可以省略校正处理。此外，针对上述3种校正处理的执行顺序，也可以在以下进行设定。
(4)车道估计数据的输出
控制单元10在估计数据输出控制部19的控制之下，在步骤S5中，如以下那样执行用于输出车道估计结果的控制。
即，估计数据输出控制部19在每次在车道估计数据存储部22中存储最新的车道估计数据时，从该车道估计数据存储部22读出该车道估计数据。并且，将该车道估计数据从输入输出I/F30向自动驾驶控制装置5进行输出。其结果，在自动驾驶控制装置5中，利用上述车道估计数据作为表示车辆6的当前的行驶状态的数据之一，进行例如用于对车辆的行驶位置进行维持或者变更的控制。
此外，估计数据输出控制部19以上述最新的车道估计数据为基础，生成例如将车辆6正行驶的车道的位置与地图数据上重叠显示的显示数据，将该显示数据从输入输出I/F30向例如汽车导航装置进行输出。其结果是，在汽车导航装置中，进行使显示部显示上述显示数据的处理，由此在汽车导航装置的显示部中，在地图上显示本车辆6的当前正行驶的车道的位置。
(效果)
如以上详述那样在第一实施方式中，从对车辆6的行进方向进行摄像而得到的图像数据提取表示道路区域的形状，以表示该形状的信息为基础，算出一个轮廓线的倾斜角、表示上述道路区域的形状的图形的重心坐标、夹着表示上述形状的图形的一顶点而连续的两个轮廓线间的角度、表示上述形状的图形的面积作为上述道路区域的形状的特征量。并且，通过判定上述算出的特征量是否被包含于按每个车道被预先设定的阈值的范围，对车辆6正行驶的车道进行估计。
从而，根据第一实施方式，能够着眼于表示从车辆6观看行进方向时的道路区域的形状的特征而估计车道。因此，不依赖于对道路上的车道进行区分的区划线就能够估计正行驶的车道，由此例如在由于施工等而区划线的维修痕迹残余的情况、或由于随时间劣化而区划线变浅或消失的情况下，也能够估计车道。
此外，在第一实施方式中，在道路区域上存在其他行驶车辆等物体的情况下，从图像数据分别提取表示包含上述物体的道路区域整体的形状、和表示在上述道路区域之中去除了上述物体的区域的形状，以这些提取到的各形状为基础而估计在假设为不存在上述物体时的道路区域的轮廓线。并且，以该估计出的轮廓线的倾斜角为基础，对车辆6正行驶的车道进行估计。因此，即使在例如由于在路崖侧的车道正行驶的其他车辆而路崖或行驶车道的左端部隐藏的情况下，也能够对该路崖或行驶车道的左端部的轮廓线进行估计，以该估计结果为基础而估计车道。
进而，在第一实施方式中，基于表示与车辆6的行驶位置对应的道路的结构的信息、以过去的车道变更历史、表示车辆6的移动的传感器数据为基础而估计出的表示车辆6的车道变更的有无的信息，由车道估计处理部13得到的车道估计结果的妥当性被评估，在判定为并非妥当的情况下对该车道估计结果进行校正。因此，例如，即使在由于天气或照度等的影响，得不到鲜明的图像数据的情况或不能从图像数据准确地辨识道路区域的情况下，也能够对当前正移动的车道的估计结果进行校正，由此能够得到准确的车道估计结果。
[第二实施方式]
本发明的第二实施方式所涉及的车道估计装置、方法以及程序中，使用以表示道路区域的形状为基础而对道路区域内的各像素贴标后的像素值数据作为道路区域的特征量。并且，第二实施方式所涉及的车道估计装置、方法以及程序中，通过判定该像素值数据与按每个道路或者每个车道被预先设定的多个图案(pattern)之中的哪个类似，对车辆6正移动的车道进行估计。
本发明的第二实施方式所涉及的车道估计装置能够采用与关于第一实施方式而说明的车道估计装置1同样的结构。因此，在以下，针对第二实施方式，对与第一实施方式同样的结构使用相同的标号进行说明，省略与第一实施方式重复的详细的说明。
(结构)
具备本发明的第二实施方式所涉及的车道估计装置1的车载系统能够采用与参考图1而说明的结构相同的结构。
此外，第二实施方式所涉及的车道估计装置1能够采用与参考图2而说明的硬件结构相同的硬件结构。
图22是将本发明的第二实施方式所涉及的车道估计装置1的软件结构与图2所示的硬件结构相关联而示出的框图。
数据存储器20的存储区域与第一实施方式同样，具备图像数据存储部21、车道估计数据存储部22、道路信息存储部23、车辆传感器数据存储部24、阈值存储部25。在第二实施方式所涉及的车道估计装置1中，数据存储器20的存储区域还具备图案存储部26。
图案存储部26被用于存储按每个道路或者每个车道被预先设定的、与在图像内拍出的道路区域的形状对应的图案(以下，称为“区域图案”，将多种多样的区域图案总括地称为“区域图案PT”)。区域图案PT表示，若车辆6正在各车道的中央行驶，则在由车辆6中设置的相机而摄影的图像内这样拍出道路这样的、理想的道路区域的形状。
区域图案PT例如由提供拥堵预测服务的道路管理服务器等，基于预先从大量车辆收集到的图像数据而被制成或者设定。车道估计装置1能够从该服务器，经由例如未图示的通信部，经由网络，取得包含与车辆6的类型(车型或车高等)相应的多个区域图案PT的图案的集合，使其存储至图案存储部26。在此，根据相机被设置在车辆6的哪个位置，在由该相机摄影的图像内被拍出的道路的形状较大地不同。因此，车道估计装置1也可以根据相机的设置位置、例如是车辆6的中央还是左右的其中一个，根据相对于车辆6的中心线的距离、以道路为基准时的设置高度、或者在图像内被拍出的本车辆的引擎盖的观看方法等，对所取得的区域图案PT适当进行校正后使其存储至图案存储部26。或者，车道估计装置1也可以将预先通过车载相机而摄影的图像发送至上述服务器，接收以该图像为基础而由服务器校正后的区域图案PT的集合。或者，车道估计装置1本身也可以生成与相机的设置位置相应的区域图案PT的集合。
在图案存储部26中，作为与上述车辆6的类型相应的图案的集合，存储根据道路的类型(例如，快速汽车国道、一般国道、都道府县道、市町村道等)或行车道数(车辆6正在几行车道的道路的哪个车道行驶)等而不同的大量区域图案PT。图案存储部26例如与位置信息关联而储存各区域图案PT，以使能够基于由GPS传感器3检测到的车辆6的位置数据而检索所需的区域图案PT。
控制单元10与第一实施方式同样，具有图像数据取得部11、图像处理部12、车道校正部14、过去估计数据取得部15、道路信息取得部16、车辆传感器数据取得部17、车辆动作状态估计部18、估计数据输出控制部19。第二实施方式所涉及的控制单元10代替于车道估计处理部13而具有车道估计处理部130。
车道估计处理部130与关于第一实施方式而说明的车道估计处理部13同样，进行从图像处理部12接受前处理后的图像数据，基于该图像数据而对车辆6正行驶的车道进行估计的处理，但就车道估计处理部13而言，使用于估计处理的特征量以及详细的功能不同。
图23表示车道估计处理部130的功能的一例。车道估计处理部130具备道路区域提取部131、图案取得部1301、类似度判定部1302、车道估计部1303。
道路区域提取部131进行以下的处理。
(1)从自图像处理部12接受到的图像数据，提取相当于道路区域、以及在道路上存在的物体的区域(在该实施方式中为车辆区域)的范围的处理。
(2)将被误提取为道路区域或者车辆区域的区域，使用其面积的大小等信息进行排除，进而对所提取到的道路区域以及车辆区域实施平滑化等处理而提取表示道路区域以及车辆区域的形状的处理。
图案取得部1301进行读出在图案存储部26中存储的区域图案PT，转交给类似度判定部1302的处理。
类似度判定部1302作为特征量算出部，进行以由道路区域提取部131提取到的表示道路区域的形状为基础，取得包含对道路区域内的各像素贴标后的像素值的像素值数据作为道路区域的特征量的处理。类似度判定部1302进而基于所取得的像素值数据，判定与由图案取得部1301取得的区域图案PT的类似度，将该判定结果转交给车道估计部1302。
车道估计部1303作为估计处理部，进行根据基于上述类似度判定部1302的判定结果，对车辆6现在正在哪个车道行驶进行估计的处理。
(动作)
接着，说明如以上那样构成的第二实施方式所涉及的车道估计装置1所进行的车道估计动作。
车道估计动作能够按照与参考图5关于第一实施方式而说明的、控制单元10所进行的车道估计处理的整体的处理过程相同的流程图。
(1)图像数据的取得和图像处理
在步骤S1中，车道估计装置1的控制单元10与第一实施方式同样，在图像数据取得部11的控制之下，执行图像数据的取得处理。此外，在步骤S2中，车道估计装置1的控制单元10与第一实施方式同样，在图像处理部12的控制之下，对上述取得的图像数据执行用于车道估计所需的图像处理。图像处理部12所进行的处理过程和处理内容能够采用与关于图6而说明的处理过程和处理内容相同的处理过程和处理内容。
图25A表示上述图像处理后的静止图像数据VD的第二例。该例中，通过正在例如图10所示的那样的单侧2行车道的道路行驶的车辆6中搭载的相机2摄像。在图25A的静止图像数据VD中，本车辆的引擎盖部分6、中央分离带MS、中央分离带MS上的护栏RL、行驶车道TL1、TL2、路崖SR以及路缘石SB、进而在前方行驶的其他车辆MB被拍出。
(2)行驶车道的估计
接着，第二实施方式所涉及的车道估计装置1的控制单元10在车道估计处理部130的控制之下，在步骤S3中，如以下那样执行对车辆6正行驶的车道进行估计的处理。
图24是表示车道估计处理部130的处理过程和处理内容的流程图。
(2-1)道路区域的提取
车道估计处理部130首先在步骤S301中，通过道路区域提取部131，进行从上述前处理结束了的图像数据VD提取道路区域的处理。
对上述那样的单侧2行车道的道路，道路区域提取部131提取例如包含行驶车道TL1、TL2以及路崖SR的区域作为道路区域。另外，与第一实施方式同样，道路区域提取部131也可以仅提取行驶车道TL1、TL2作为道路区域。
与第一实施方式同样，作为道路区域的提取处理部件，作为一例而使用SegNet。可选地，道路区域提取部131也可以与第一实施方式同样，考虑存在被误提取为道路区域的区域的情况，进行使用区域的面积的大小等信息而排除被误检测的区域的处理，进而对所提取到的道路区域实施平滑化等处理而提取表示道路区域的形状。
图25B表示对图25A所示的图像数据VD进行了基于SegNet的提取处理的输出结果的一例。在图25B中，在处理完毕图像数据TVD内，表示包含与本车辆6相同的行驶方向的行驶车道TL1、TL2和至左侧的路崖SR为止的道路区域RE的形状(图中阴影部分)、和表示包含在前方行驶的其他车辆MB的区域MBR的形状(图中点阴影部分)被提取。对各区域，赋予了与以像素为单位的贴标对应的颜色。在以下，作为一例，设为道路区域RE被贴标为绿色([R，G，B]＝[0，255，0])，车辆区域MBR被贴标为红色([R，G，B]＝[255，0，0])，其以外的区域(在图中为无色)被贴标为黑色([R，G，B]＝[0，0，0])而进行说明。
另外，在图像数据中拍到其他车辆，不能通过其他车辆提取道路区域的情况下，道路区域提取部131也可以与关于第一实施方式而说明的同样，进行图9所示的道路区域提取处理。
(2-2)区域图案的读出
接着，车道估计处理部130在图案取得部1301的控制之下，在步骤302中，进行从图案存储部26读出按道路的每个类型、按每个道路、或者按每个车道被预先设定的区域图案PT，转交给类似度判定部1302的处理。图案取得部1301例如以由GPS传感器3检测到的车辆6的位置信息为基础，从图案存储部26读出与该位置信息对应的1个或者多个区域图案PT，转交给类似度判定部1302。
图26A作为从图案存储部26读出的区域图案PT的一例，示出按每个道路被设定的区域图案PT1。图26A所示的区域图案PT1是特别针对单侧2行车道的一般国道而被设定的，表示由正在路崖侧(左侧)的车道行驶的车辆6取得的图像数据中被拍出的道路区域所涉及的图案。区域图案PT1包含道路部分RD(阴影部分)、和其以外的部分BK(无色的部分)。在以下，作为一例，设为对道路部分RD赋予绿色([R，G，B]＝[0，255，0])的像素值，对其以外的部分BK赋予黑色([R，G，B]＝[0，0，0])的像素值而进行说明。
图26B是对图26A所示的区域图案PT1，为了说明而描绘了对行驶车道进行区分的虚拟线VL的图。道路部分RD包含车辆6正在行驶的行驶车道TL1的区域、和其右侧的行驶车道TL2的区域。
图26C作为从图案存储部26读出的区域图案PT的其他例，示出按每个道路被设定的区域图案PT2。图26C所示的区域图案PT2针对单侧2行车道的一般国道而被设定，表示由正在中央分离带侧(右侧)的车道行驶的车辆6取得的图像数据中被拍出的道路区域所涉及的图案。区域图案PT2包含道路部分RD(阴影部分)、和其以外的部分BK(无色的部分)。
图26D是对图26C所示的区域图案PT2，为了说明而描绘了对行驶车道进行区分的虚拟线VL的图。道路部分RD包含车辆6正在行驶的行驶车道TL2的区域、和其左侧的行驶车道TL1的区域。
如图26A～26D所示，被用于估计处理的区域图案PT以根据车辆6正在哪个车道行驶，反映在由车辆6中搭载的相机2摄像的图像中被拍出的道路区域的形状不同的方式，预先按每个道路或者每个车道被设定。第二实施方式所涉及的车道估计装置1的车道估计处理部130通过对这样的区域图案PT的道路部分RD和在图像数据中被拍出的道路区域以像素级(level)进行比较，从而进行正移动的车道估计。
图案取得部1301构成为以由GPS传感器3检测到的车辆6的位置数据为基础，从图案存储部26读出车道估计所需的1个或者多个区域图案PT。作为一例，图案取得部1301构成为以由GPS传感器3检测到的车辆6的位置数据为基础，从道路信息存储部23取得表示车辆6当前正行驶的位置中的道路的结构的信息，基于所取得的信息，从图案存储部26读出所需的1个或者多个区域图案PT。
例如，图案取得部1301构成为基于当前正行驶的道路为单侧2行车道的一般国道的信息，读出与“单侧2行车道的一般国道”关联的区域图案PT1和区域图案PT2。在当前正行驶的道路为单侧3行车道的快速汽车国道的情况下，图案取得部1301能够读出对应于与单侧3行车道的快速汽车国道关联的正在路崖侧的车道行驶的情况、正在中央的车道行驶的情况、以及正在中央分离带侧的车道行驶的情况的、3种区域图案PT。这些不过是一例，图案取得部1301从图案存储部26读出的区域图案PT的种类以及数目也可以被任意设定。以下，省略与道路的类型(一般国道、快速道等)相关的说明。
另外，“单侧”不过是说明的方便，即便是包含对向行车道的道路区域、车辆区域，也能够通过读出与N行车道道路的各行车道对应的N个区域图案PT来估计车道。图案取得部1301也可以设为通过未图示的通信部而从上述道路管理服务器等直接取得区域图案PT。
此外，区域图案PT只要是能与在由车辆6取得的图像数据中被拍出的道路区域进行对比的区域图案，也可以是任意区域图案。如上述那样，图26C所示的区域图案PT2是由正在单侧2行车道的道路的中央分离带侧的行驶车道TL2行驶的车辆6取得的图像数据所涉及的区域图案，包含行驶车道TL1以及行驶车道TL2这双方。但是，区域图案PT不需要包含道路中包含的全部行驶车道。
图27A～27D表示那样的按每个车道被设定的区域图案PT的例子。
图27A表示在相对于本车辆6正行驶的车道在左侧一个存在车道的情况下，用于与在图像数据中被拍出的道路区域RE进行对比的区域图案PT3。区域图案PT3包含在图26C所示的区域图案PT2之中仅切出行驶车道TL1所涉及的区域的道路部分RD、和其以外的部分BK。
例如，车道估计处理部130在车辆6正在单侧2行车道的道路行驶的情况下，判定处理完毕图像数据TVD内的道路区域RE是否包含与图27A所示的区域图案PT3类似的区域，在包含类似的区域的情况下，能够估计在正在中央分离带侧的车道TL2行驶，在不包含类似的区域的情况下，能够估计为正在路崖侧的车道TL1行驶。
图27B表示在相对于本车辆6正行驶的车道在右侧一个存在车道的情况下，用于与在图像数据中被拍出的道路区域RE进行对比的区域图案PT4。区域图案PT4包含在图26A所示的区域图案PT1之中仅切出行驶车道TL2所涉及的区域的道路部分RD、和其以外的部分BK。
图27C表示在单侧3行车道的道路等、相对于本车辆6正行驶的车道在左侧两个存在车道的情况下用于与在图像数据中被拍出的道路区域RE进行对比的区域图案PT5。区域图案PT5包含在图26C所示的区域图案PT2中未包含的行驶车道所涉及的道路部分RD。
图27D表示在单侧3行车道的道路等、相对于本车辆6正行驶的车道在右侧两个存在车道的情况下用于与在图像数据中被拍出的道路区域RE进行对比的区域图案PT6。区域图案PT6此外还包含在图26A所示的区域图案PT1中未包含的行驶车道所涉及的道路部分RD。
通过使用图27A～27D所示的区域图案PT，所对比的面积变得更小，车道估计装置1能够以更少的处理来判定类似度。另外，图27A～27D所示的区域图案PT不过是一例。区域图案PT能根据路崖的有无、各行车道(车道)的宽度、中央分离带的有无、道路的曲率半径等而多种多样地变化。
图案取得部1301也可以通过车道估计装置1的用户等而任意地设定应读出图26A～26D所示的那样的道路整体的区域图案PT，还是应读出图27A～27D所示的那样的按每个车道的区域图案PT。另外，图案取得部1301也可以通过未图示的通信部从上述道路管理服务器等直接取得区域图案PT。
(2-3)类似度的判定
接着，车道估计处理部130在类似度判定部1302的控制之下，在步骤S303中，对从图像数据VD提取到的道路区域RE、和由图案取得部1301读出的区域图案PT的道路部分RD以像素级进行比较。设为车道估计处理部130对处理完毕图像数据TVD和区域图案PT预先进行尺寸调整或斜率调整等前处理以使能够对比。设为车道估计处理部130此外除了相机2的性能个体差或设置时的斜率等外，还根据车辆6的车高或图像数据VD内的引擎盖的观看方法等，预先进行所需的校准。
首先类似度判定部1302针对处理完毕图像数据TVD以及区域图案PT的各个，取得表示各像素位置中的像素值的像素值数据。如上述那样，处理完毕图像数据TVD通过道路区域提取部131所进行的区域提取处理，各像素位置被贴标为不同的颜色(像素值)。区域图案PT也同样地，对各像素位置赋予了不同的RGB值。
类似度判定部1302从各像素值数据，读出例如以二维排列的形式储存的各像素位置中的RGB值，在各像素位置中对RGB值进行对比，判定RGB值是否相同。类似度判定部1302也可以针对全部像素位置进行对比，也可以仅针对与区域图案PT内的道路部分RD对应的像素位置进行对比。针对对比处理，进而在后面叙述。
接着，车道估计处理部130在类似度判定部1302的控制之下，在步骤S304中，以按每个像素的对比结果为基础，判定整体的类似度。作为一例，类似度判定部1302通过算出在所对比的全部像素数之中判定为RGB值一致的像素数的比例，判定类似度。
在步骤S305中，车道估计处理部130针对由图案取得部1301从图案存储部26读出的全部区域图案PT，判定类似度判定部1302所进行的类似度判定处理是否结束。在有未对比的区域图案PT的情况下(“否(NO)”的分支)，针对未对比的区域图案PT反复进行步骤S303～304。在针对全部区域图案PT而类似度判定处理结束的情况下(“是(YES)”的分支)，转移至步骤S306。
在步骤S306中，车道估计处理部130在类似度判定部1302的控制之下，将类似度判定结果转交给车道估计部1303。在一例中，类似度判定部1302在判定了类似度的多个区域图案PT之中选择类似度最高的区域图案PT，与被判定出的类似度一起转交给车道估计部1303。由类似度判定部1302选择的区域图案PT不需要是一个，也可以选择满足一定的基准的多个区域图案PT。例如，类似度判定部1302也可以构成为，将判定为与图像数据TVD的类似度超过规定的阈值的全部区域图案PT转交给车道估计部1303。或者，类似度判定部1302也可以构成为在由图案取得部1301读出的区域图案PT仅为一个的情况下，判定类似度是否超过规定的阈值，与该判定结果一起将该区域图案PT转交给车道估计部1303。
(2-4)车道的估计
在步骤S307中，车道估计处理部130在车道估计部1303的控制之下，进行基于从类似度判定部1302接受到的类似度判定结果，估计车辆6正在哪个车道行驶的处理。例如，在通过GPS信息而判定为车辆6正在单侧2行车道的道路行驶，通过图案取得部1301读出区域图案PT1和区域图案PT2，通过类似度判定部1302而判定为区域图案PT1类似度更高的情况下，车道估计部1303能够估计为车辆6正行驶的车道为单侧2行车道的道路的路崖侧的车道TL1。
或者，在被设定为正在单侧2行车道的道路行驶时图案取得部1301仅读出区域图案PT1的情况下等，车道估计部1303还能够仅基于图像数据TVD和区域图案PT1的类似度来估计车道。在该情况下，若从类似度判定部1302接受到的与区域图案PT1的类似度超过规定的阈值，则车道估计部1303能够估计为车辆6正行驶的车道为单侧2行车道的道路的路崖侧的车道TL1，若与区域图案PT1的类似度为规定的阈值以下，则车道估计部1303能够估计为车辆6正行驶的车道为单侧2行车道的道路的中央分离带侧的车道TL2。
作为其他例，还考虑被设定为在通过GPS信息而判定为正在单侧2行车道的道路行驶的情况下，图案取得部1301读出图27A以及图27B所示的区域图案PT3以及PT4。在这样的情况下，在通过类似度判定部1302，判定为与区域图案PT4相比区域图案PT3类似度更高的情况下，车道估计部1303判定为在本车辆6正在行驶的车道的左侧存在行驶车道，能够估计为本车辆6正在单侧2行车道的道路的中央分离带侧的车道TL2行驶。
进而，作为其他例，考虑被设定为在通过GPS信息而判定为正在单侧3行车道的道路行驶的情况下，图案取得部1301读出图27A～27D所示的区域图案PT3～PT6，类似度判定部1302选择超过规定的阈值的类似度的区域图案PT。例如，在通过类似度判定部1302而选择了区域图案PT3和区域图案PT4的情况下，车道估计部1303能够判定为车辆6正在单侧3行车道的道路的中央的车道行驶。或者在通过类似度判定部1302而选择了区域图案PT3和区域图案PT5的情况下，车道估计部1303能够判定为车辆6正在单侧3行车道的道路的中央分离带侧的车道行驶。
车道估计处理部130也可以以在阈值存储部25中存储的预先设定的阈值为基础，对类似度的允许范围进行判断。例如，也可以在从类似度判定部1302接受到具有最高的类似度的区域图案PT的情况下，若该类似度不满足于预先设定的阈值，则中断处理，输出不能估计的错误消息。阈值也可以与车道无关而是一定的值，也可以是按每个车道或者每个区域图案PT被设定的值。或者，在从类似度判定部1302接受到的、类似度超过规定的阈值的区域图案PT的数目不充分的情况下等，在不能估计车道估计部1303正行驶的车道的情况下，车道估计处理部130也中断处理，输出错误消息。在该情况下，也可以取得新的图像数据VD而重新进行处理。
(3)车道估计结果的校正
接着，车道估计装置1的控制单元10与第一实施方式同样，在车道校正部14的控制之下，在图5所示的步骤S4中，判定由上述车道估计处理部130估计出的车道的似然性(妥当性)，在判定为并非妥当的情况下执行对车道的估计结果进行校正的处理。车道校正部14所进行的处理过程和处理内容能够采用与关于图8而说明的处理过程和处理内容相同的处理过程和处理内容。
(4)车道估计数据的输出
控制单元10在估计数据输出控制部19的控制之下，在步骤S5中，执行用于输出车道估计结果的控制。该处理也能够与第一实施方式同样地执行。
(5)其他实施例
图28A表示存在其他行驶车辆MB的情况下的静止图像数据VD的其他例。该静止图像数据VD由例如图10所示的那样的在正在单侧2行车道的道路的路崖侧车道TL1行驶的车辆6中搭载的相机2摄像，由图像数据取得部11执行图像处理。在图28A的静止图像数据VD中，与图25A所示的图像数据VD同样，本车辆的引擎盖部分6、中央分离带MS、行驶车道TL1、TL2、路崖SR以及路缘石SB、进而在行驶车道TL2行驶的其他车辆MB被拍出。
图28B表示对图28A所示的图像数据VD通过道路区域提取部131进行了使用了SegNet的提取处理的输出结果的一例。在图28B中，在处理完毕图像数据TVD内，道路区域RE(阴影部分)、和包含其他车辆MB的区域MBR(点阴影部分)被提取。依然，对各区域赋予与以像素为单位的贴标对应的颜色，在此，道路区域RE被贴标为绿色([R，G，B]＝[0，255，0])，车辆区域MBR被贴标为红色([R，G，B]＝[255，0，0])，其以外的区域被贴标为黑色([R，G，B]＝[0，0，0])。
在该实施例中，通过GPS信息可知本车辆6正在单侧2行车道的道路行驶，图案取得部1301从图案存储部26读出区域图案PT1和区域图案PT2。另外，图28B表示区域提取的精度有些低，未进行近似处理的例子，在道路区域RE以及车辆区域MBR中包含起因于误检测的凹凸的轮廓线部分。
图29表示类似度判定部1302所进行的、判定区域图案PT1和处理完毕图像数据TVD的类似度的处理的一例。在该例中，类似度判定部1302以各图像的左上为原点，将图像的横方向设为x轴，将图像的纵方向设为y轴，将各像素位置设为坐标点P(x，y)，进行各坐标点P中的像素值的对比。像素值的对比也可以遍及图像整体而进行，也可以仅将区域图案PT1之中与道路部分RD对应的坐标设为对象。另外，在该例中，将各图像的右下的点Q的坐标设为(640，360)。
在图29中，点P1在图案PT1以及图像数据TVD这双方中处于被辨识为道路的绿色的区域，RGB值一致。从而，类似度判定部1302能够针对点P1，进行例如设置表示像素值的一致的标志等处理。另一方面，点P2在图案PT1中处于道路部分RD内，但在图像数据TVD中处于被识别为车辆的区域MBR内。从而，类似度判定部1302针对点P2而判定为像素值不一致。
在此，在一实施例中，类似度判定部1302能够构成为针对区域图案PT的道路部分RD中包含的坐标点，只要在图像数据TVD中被包含于道路部分RD(阴影部分)或者车辆区域MBR(点阴影部分)的其中一个，就将像素值判定为一致。换言之，该实施例所涉及的类似度判定部1302构成为针对区域图案PT的道路部分RD中包含的坐标点，仅将在图像数据TVD中什么都没提取到的黑色的区域(在图中为无色的区域)判定为不一致。
即，类似度判定部1302将在道路区域RE中包含在道路区域上存在的物体的区域MBR的全部形状RE+MBR用于与区域图案PT的对比。这样，即使在道路区域上存在其他行驶车辆等物体，在图像数据上不能提取道路区域的一部分的情况下，也通过针对与区域图案PT的道路部分RD对应的坐标点而视为道路区域，能够容易地进行信息的补全。另外，也可以将车辆区域MBR如被贴标那样设为与道路区域RE不同的区域而进行是否类似判定。
图30作为说明类似度判定的再一其他例，表示对图27A所示的图案PT3的道路部分PT3-RD(将其轮廓以点划线来表示)、和图28B所示的处理完毕图像数据TVD中的道路区域RE进行重合的图像。如图30所示，类似度判定部1302还能够仅将道路部分PT3-RD的部分设为类似度判定的对象。在该情况下，车道估计装置1针对道路部分PT3-RD内的各坐标点，与图像数据TVD内的对应的坐标点进行像素值的对比。若针对道路部分PT3-RD内的坐标点而与图像数据TVD像素值一致的点比一定数多，则车道估计装置1能够估计为在该区域中有车道、即本车辆6正在中央分离带侧的行驶车道TL2行驶。另一方面，若针对道路部分PT3-RD内的坐标点而与图像数据TVD像素值一致的点为一定数以下，则车道估计装置1能够估计为在该区域中没有车道、即本车辆6正在路崖侧的行驶车道TL1行驶。
根据图30所示的例，通过使用图案PT3那样的与一部分车道对应的区域图案PT，车道估计装置1即使在本车辆6的前方的相同的车道上其他车辆正在行驶的情况下也能够无障碍地进行车道估计。此外，车道估计装置1能够将更小的面积设为对比的对象，能够通过较少的对比处理进行车道估计。
将哪个区域图案PT用于对比也可以根据道路的状态、处理的速度、估计的精度等，通过车道估计装置1的用户等而任意地被设定。
此外，车道估计装置1也可以构成为对图像以及各区域图案PT的上部或下部进行剪切(例如，对640×360的图像的上部640×100、下部640×60进行剪切)，仅在剩余的部分中对像素值进行比较。由此，能够抑制车道估计所涉及的计算成本。进而，如图25A以及图28A所示，构成为在图像数据VD内拍入本车辆的引擎盖部分6的情况下，对与该引擎盖部分6对应的图像以及各区域图案PT的下部进行剪切，仅在剩余的部分中对像素值进行比较，从而能够减少起因于引擎盖形状的差异的类似度的判定错误，因此能够在不同的车型间使用公共的区域图案PT。
(效果)
如以上详述那样，第二实施方式所涉及的车道估计装置1从对车辆6的行进方向进行摄像而得到的图像数据提取表示道路区域的形状，取得以表示道路区域的形状为基础对该道路区域内的各像素贴标后的像素值数据作为特征量。并且，通过判定该像素值数据与按每个道路或者每个车道被预先设定的图案之中的哪个类似，从而对车辆6正移动的车道进行估计。
这样，根据第二实施方式，着眼于表示从正移动的车辆6观看行进方向时的道路区域的形状根据车辆6正移动的车道而不同这样的特征，以对各像素贴标而得到的像素值为基础，通过与被预先设定的图案进行对比，能够对车辆6正移动的车道进行估计。因此，能够不依赖于对道路上的车道进行区分的区划线就对正行驶的车道进行估计，由此即使在例如由于施工等而区划线的维修痕迹残余的情况、或由于随时间劣化而区划线变浅或消失的情况下，也能够准确地估计车道。
在一实施例中，与道路上的全部车道对应的区域图案PT用于对比，由此，期待估计的精度提高。在其他实施例中，将与道路上的一部分车道对应的区域图案PT用于对比，由此，与处理的高速化一起，还期待能够减轻其他车辆的影响。
进而，在一实施例中，在道路区域上存在其他行驶车辆等物体的情况下，也针对区域图案中的道路部分RD内的坐标点，视为该物体为道路的一部分而对类似度进行判定。因此，即使由于存在其他行驶车辆等物体而从在图像数据中拍到的道路区域得到的信息不充分，也能够以该物体的形状为基础对信息进行补全来估计车道。
[其他实施方式]
(1)在所述各实施方式中，取将车道估计装置1搭载于车辆的情况为例进行了说明。但是，并非限于此，也可以构成为将车道估计装置1设置于云计算机或边缘路由器上，车辆6将由相机2得到的图像数据、由GPS传感器3得到的位置数据以及由车辆传感器4得到的车辆传感器数据，从车载通信装置发送至上述云或边缘路由器上的车道估计装置，车道估计装置接收上述各数据而执行车道估计处理。
此外，此时，也可以将车道估计装置所具备的各处理部分散配置于车载装置、云计算机、边缘路由器等，通过这些装置相互协作而得到车道估计数据。
所述各实施方式中说明的各种各样的功能部也可以使用电路来实现。电路也可以是实现特定的功能的专用电路，也可以是处理器那样的通用电路。
所述各实施方式的处理的至少一部分还能够通过使用例如在通用的计算机中搭载的处理器作为基本硬件来实现。实现上述处理的程序也可以被储存至可由计算机读取的记录介质而被提供。程序作为可安装的形式的文件或者可执行的形式的文件而被存储至记录介质。作为记录介质，是磁盘、光盘(CD-ROM、CD-R、DVD等)、光磁盘(MO等)、半导体存储器等。只要记录介质能够存储程序、且能够由计算机读取，就也可以是任意的介质。此外，将实现上述处理的程序储存至在互联网等的网络上连接的计算机(服务器)上，经由网络而下载至计算机(客户端)。
(2)在所述各实施方式中，取用于将由车道估计装置1得到的车道估计数据输出至自动驾驶控制装置5，自动驾驶控制装置5以上述车道估计数据为基础而使车辆6在车道内行驶，或者用于行车道变更的控制的情况而进行了说明。但是，本发明并非限于此，也可以将车道估计数据输出至行车记录仪而行车记录仪记录上述车道估计数据作为车辆6的行驶历史信息之一。
此外，也可以将上述车道估计数据例如发送至道路管理服务器，作为道路管理服务器用于进行以道路的车道为单位的交通量的监视或拥堵的预测等的数据来使用。在该情况下，也可以基于上述拥堵等的预测结果，对车辆提示行车道的变更指示信息。进而，也可以通过将车道估计数据输入至在车辆中搭载的导航装置，例如根据目的地而将车辆的行驶车道的变更指示信息提示给驾驶员。
(3)在所述各实施方式中，作为移动体而取汽车等车辆6为例，取车辆6在例如单侧2行车道的道路行驶的情况为例进行了说明。但是不限于此，作为移动体，例如也可以是摩托车或自行车、个人移动性、马车等家畜牵引的车辆、耕种机等农活用车辆，进而也可以是步行者。
其中，在将摩托车设为对象的情况下，例如也可以以正行驶的车道的估计结果、和事先注册的表示摩托车的排气量的信息为基础，判定当前正行驶的车道的可否行驶，在正在不能行驶的车道行驶的情况下输出基于合成声音或者铃声的警告消息。同样，在将自行车设为对象的情况下，例如也可以基于正行驶的车道的估计结果、和行进方向的检测结果，判定自行车是否在道路上设定的自行车专用车道在所决定的方向上行驶，在正在自行车专用车道以外的车道行驶的情况、或即使正在自行车专用车道行驶但走反的情况下，将基于合成声音或者铃声的警告消息向驾驶者输出。
此外，作为估计对象的道路的种类，除了单侧2行车道的一般道路以外也可以是快速道路或收费道路、自行车道、人行道、田间小路，此外，针对车道估计装置的结构或车道估计方法的处理过程或处理内容、成为估计对象的道路的结构等，在不脱离本发明的要旨的范围中能够进行各种各样变形而实施。
(4)此外，在所述各实施方式中，将用于车道估计的图像数据作为相机2对包含车辆6的行进方向上的道路区域的范围进行摄像而得到的图像数据进行了说明，但并非限于此，例如也可以是车辆6的后方等、相机2对包含其他方向的道路区域的范围进行摄像而得到的图像数据。
(5)进而，在第二实施方式中，说明了对图像数据TVD的道路区域RE和区域图案PT的道路部分RD进行比较而判定类似度的例，但还能够对道路区域以外的区域(非道路区域)和区域图案PT的道路部分RD以外的部分BK进行比较而判定类似度。
总之，本发明并非直接限定于上述实施方式，能够在实施阶段中在不脱离其要旨的范围中对结构元素进行变形而具体化。此外，通过上述实施方式中公开的多个结构元素的适当组合而能够形成各种各样的发明。例如，也可以从实施方式所示的全部结构元素删除一些结构元素。进而，也可以适当组合遍及不同的实施方式的结构元素。
(备注)
上述各实施方式的一部分或者全部除了权利要求书外还能够如以下的备注所示那样进行记载，但不限于此。
[C1]
一种车道估计装置，具备：
图像取得部，取得对包含移动体正移动的道路区域的范围进行摄像而得到的图像数据；
特征量算出部，从所述取得的图像数据对表示所述道路区域的形状进行辨识，以该辨识出的形状为基础而算出所述道路区域的特征量；以及
估计处理部，基于所述算出的特征量，对所述移动体正移动的车道进行估计。
[C2]
如上述C1所述的车道估计装置，
所述特征量算出部以所述辨识出的表示道路区域的形状为基础而算出该轮廓线的倾斜角，作为所述道路区域的特征量，
所述估计处理部通过判定所述算出的轮廓线的倾斜角被包含于按每个车道被预先设定的阈值的范围的哪个中，对所述移动体正移动的车道进行估计。
[C3]
如上述C1所述的车道估计装置，
所述特征量算出部以所述辨识出的表示道路区域的形状为基础，算出表示该形状的图形的重心坐标、表示所述形状的图形或者从该图形导出的虚拟图形的一个顶点的角度、以及表示所述形状的图形的面积之中的至少一个，作为所述道路区域的特征量，
所述估计处理部通过判定所述算出的图形的重心坐标、顶点的角度、以及图形的面积被包含于按每个车道被设定的阈值的范围的哪个中，对所述移动体正移动的车道进行估计。
[C4]
如上述C1所述的车道估计装置，
所述特征量算出部以所述辨识出的表示道路区域的形状为基础，算出将该形状变换为将通过所述图像数据表示的画面的垂直方向设为一边的三角形的图形的二边间的角度、以及所述变换后的图形的面积之中的至少一个，作为所述特征量，
所述估计处理部通过判定所述算出的轮廓线间的角度或者所述图形的面积被包含于按每个车道被预先设定的阈值的范围的哪个中，对所述移动体正移动的车道进行估计。
[C5]
如上述C1所述的车道估计装置，
所述特征量算出部从所述取得的图像数据，分别辨识表示包含在所述道路区域上存在的物体的所述道路区域的第一形状、和表示在所述道路区域之中去除了所述物体的区域的第二形状，以所述辨识出的第一形状以及所述第二形状为基础而对不存在所述物体时的所述道路区域的轮廓线进行估计，进行该轮廓线的倾斜角的算出，
所述估计处理部通过判定所述算出的轮廓线的倾斜角被包含于按每个车道被预先设定的阈值的范围的哪个中，对所述移动体正移动的车道进行估计。
[C6]
如上述C1所述的车道估计装置，
所述特征量算出部取得以所述辨识出的表示道路区域的形状为基础而对所述道路区域内的各像素贴标后的像素值数据，作为所述道路区域的特征量，
所述估计处理部通过判定所述取得的像素值数据与对所述道路区域预先设定的多个图案之中的哪个类似，对所述移动体正移动的车道进行估计。
[C7]
如上述C1所述的车道估计装置，
所述特征量算出部取得以所述辨识出的表示道路区域的形状为基础而对所述道路区域内的各像素贴标后的像素值数据，作为所述道路区域的特征量，
所述估计处理部通过判定所述取得的像素值数据与按所述道路区域中包含的每个车道被预先设定的图案之中的哪个类似，对所述移动体正移动的车道进行估计。
[C8]
如上述C1所述的车道估计装置，
所述特征量算出部从所述取得的图像数据，对表示包含在所述道路区域上存在的物体的所述道路区域的第一形状进行辨识，取得对所述第一形状内的各像素贴标后的像素值数据，
所述估计处理部通过判定所述取得的像素值数据与对所述道路区域预先设定的多个图案或者按所述道路区域中包含的每个车道被预先设定的图案之中的哪个类似，对所述移动体正移动的车道进行估计。
[C9]
如上述C1至8的其中一个所述的车道估计装置，还具备：
校正部，基于从由所述估计处理部在过去得到的车道估计结果而估计的表示所述移动体的车道变更历史的信息、与所述移动体的移动位置中的所述道路区域的结构相关的信息、和表示从所述移动体的移动的状态而估计的表示所述道路区域中的车道变更的信息的至少一个，对由所述估计处理部当前得到的车道估计结果进行校正。
[C10]
一种车道估计方法，信息处理装置对移动体正移动的车道进行估计，具备：
取得对包含所述移动体正移动的道路区域的范围进行摄像而得到的图像数据的过程；
从所述取得的图像数据对表示所述道路区域的形状进行辨识，以该辨识出的形状为基础而算出所述道路区域的特征量的过程；以及
基于所述算出的特征量，对所述移动体正移动的车道进行估计的过程。
[C11]
一种程序，使所述车道估计装置所具备的处理器执行上述C1至9的其中一个所述的车道估计装置所具备的各部的处理。
[C12]
一种方法，是由计算机执行的、对移动体(6)正移动的车道进行估计的车道估计方法，具备：
取得对包含所述移动体(6)正移动的道路区域的范围进行摄像而得到的图像数据；
从所述取得的图像数据对表示所述道路区域的形状进行辨识，以该辨识出的形状为基础而算出所述道路区域的特征量；以及
基于所述算出的特征量，对所述移动体(6)正移动的车道进行估计。
[C13]
如上述C12所述的方法，
算出所述特征量包含：以所述辨识出的表示道路区域的形状为基础而算出该轮廓线的倾斜角，作为所述道路区域的特征量，
所述估计包含：通过判定所述算出的轮廓线的倾斜角被包含于按每个车道被预先设定的阈值的范围的哪个中，对所述移动体(6)正移动的车道进行估计。
[C14]
如上述C12所述的方法，
算出所述特征量包含：以所述辨识出的表示道路区域的形状为基础，算出表示该形状的图形的重心坐标、表示所述形状的图形或者从该图形导出的虚拟图形的一个顶点的角度、以及表示所述形状的图形的面积之中的至少一个，作为所述道路区域的特征量，
所述估计包含：通过判定所述算出的图形的重心坐标、顶点的角度、以及图形的面积被包含于按每个车道被设定的阈值的范围的哪个中，对所述移动体(6)正移动的车道进行估计。
[C15]
如上述C12所述的方法，
算出所述特征量包含：以所述辨识出的表示道路区域的形状为基础，算出将该形状变换为将通过所述图像数据表示的画面的垂直方向设为一边的三角形后的图形的二边间的角度、以及所述变换后的图形的面积之中的至少一个，作为所述特征量，
所述估计包含：通过判定所述算出的轮廓线间的角度或者所述图形的面积被包含于按每个车道被预先设定的阈值的范围的哪个中，对所述移动体(6)正移动的车道进行估计。
[C16]
如上述C12所述的方法，
算出所述特征量包含：从所述取得的图像数据，分别辨识表示包含在所述道路区域上存在的物体的所述道路区域的第一形状、和表示在所述道路区域之中去除了所述物体的区域的第二形状，以所述辨识出的第一形状以及所述第二形状为基础而对不存在所述物体时的所述道路区域的轮廓线进行估计，进行该轮廓线的倾斜角的算出，
所述估计包含：通过判定所述算出的轮廓线的倾斜角被包含于按每个车道被预先设定的阈值的范围的哪个中，对所述移动体(6)正移动的车道进行估计。
[C17]
如上述C12所述的方法，
算出所述特征量包含：取得以所述辨识出的表示道路区域的形状为基础而对所述道路区域内的各像素贴标后的像素值数据，作为所述道路区域的特征量，
所述估计包含：通过判定所述取得的像素值数据与对所述道路区域预先设定的多个图案之中的哪个类似，对所述移动体(6)正移动的车道进行估计。
[C18]
如上述C12所述的方法，
算出所述特征量包含：取得以所述辨识出的表示道路区域的形状为基础而对所述道路区域内的各像素贴标后的像素值数据，作为所述道路区域的特征量，
所述估计包含：通过判定所述取得的像素值数据与按所述道路区域中包含的每个车道被预先设定的图案之中的哪个类似，对所述移动体(6)正移动的车道进行估计。
[C19]
如上述C12所述的方法，
算出所述特征量包含：从所述取得的图像数据，辨识表示包含在所述道路区域上存在的物体的所述道路区域的第一形状，取得对所述第一形状内的各像素贴标的像素值数据，
所述估计包含：通过判定所述取得的像素值数据与对所述道路区域预先设定的多个图案或者按所述道路区域中包含的每个车道被预先设定的图案之中的哪个类似，对所述移动体(6)正移动的车道进行估计。
[C20]
如上述C12至19的任一项所述的方法，还具备：
基于从在过去得到的车道估计结果而估计的表示所述移动体(6)的车道变更历史的信息、与所述移动体(6)的移动位置中的所述道路区域的结构相关的信息、从所述移动体(6)的移动的状态而估计的表示所述道路区域中的车道变更的信息的至少一个，对当前得到的车道估计结果进行校正。
[C21]
一种车道估计装置(1)，
具备执行上述C12至19的任一项所述的方法的部件。
[C22]
一种程序，具备在由计算机执行时，使计算机执行上述C12至19的任一项所述的方法的指令。
[C23]
一种计算机可读存储介质，具备在由计算机执行时，使计算机执行上述C12至19的任一项所述的方法的指令。
标号说明
1……车道估计装置
2……相机
3……GPS传感器
4……车辆传感器
5……自动驾驶控制装置
6……车辆
10……控制单元
10A……硬件处理器
10B……程序存储器
11……图像数据取得部
12……图像处理部
13……车道估计处理部
14……车道校正部
15……过去估计数据取得部
16……道路信息取得部
17……车辆传感器数据取得部
18……车辆动作状态估计部
19……估计数据输出控制部
20……数据存储器
21……图像数据存储部
22……车道估计数据存储部
23……道路信息存储部
24……车辆传感器数据存储部
25……阈值存储部
26……图案存储部
30……输入输出I/F
40……总线
130……车道估计处理部
1301……图案取得部
1302……类似度判定部
1303……车道估计部
VD……静止图像数据
TVD……处理完毕图像数据
TL1，TL2……行驶车道
WL……人行道
MS……中央分离带
SR……路崖
SB……路缘石
SH……植栽
RE……道路区域的轮廓
PT……区域图案
RD……道路部分的轮廓
MBR……车辆区域
GR……护栏

Claims (11)

1.一种车道估计装置，具备处理器、和与该处理器连接的存储器，其中，
所述处理器构成为，
取得对包含移动体正移动的道路区域的范围进行摄像而得到的图像数据，并存储至所述存储器，
读出在所述存储器中存储的图像数据，从所述图像数据辨识表示所述道路区域的形状，以该辨识出的形状为基础而算出所述道路区域的特征量，
基于所述算出的特征量，对所述移动体正移动的车道进行估计。
2.如权利要求1所述的车道估计装置，其中，
所述处理器进一步构成为，
以所述辨识出的表示道路区域的形状为基础而算出该轮廓线的倾斜角，作为所述道路区域的特征量，
通过判定所述算出的轮廓线的倾斜角被包含于按每个车道被预先设定的阈值的范围的哪个中，对所述移动体正移动的车道进行估计。
3.如权利要求1所述的车道估计装置，其中，
所述处理器进一步构成为，
以所述辨识出的表示道路区域的形状为基础，算出表示该形状的图形的重心坐标、表示所述形状的图形或者从该图形导出的虚拟图形的一个顶点的角度、以及表示所述形状的图形的面积之中的至少一个，作为所述道路区域的特征量，
通过判定所述算出的图形的重心坐标、顶点的角度、以及图形的面积被包含于按每个车道被设定的阈值的范围的哪个中，对所述移动体正移动的车道进行估计。
4.如权利要求1所述的车道估计装置，其中，
所述处理器进一步构成为，
以所述辨识出的表示道路区域的形状为基础，算出将该形状变换为将通过所述图像数据表示的画面的垂直方向设为一边的三角形后的图形的二边间的角度、以及所述变换后的图形的面积之中的至少一个，作为所述特征量，
通过判定所述算出的轮廓线间的角度或者所述图形的面积被包含于按每个车道被预先设定的阈值的范围的哪个中，对所述移动体正移动的车道进行估计。
5.如权利要求1所述的车道估计装置，其中，
所述处理器进一步构成为，
从所述取得的图像数据，分别辨识表示包含在所述道路区域上存在的物体的所述道路区域的第一形状、和表示在所述道路区域之中去除了所述物体的区域的第二形状，以所述辨识出的第一形状以及所述第二形状为基础而对不存在所述物体时的所述道路区域的轮廓线进行估计，进行该轮廓线的倾斜角的算出，
通过判定所述算出的轮廓线的倾斜角被包含于按每个车道被预先设定的阈值的范围的哪个中，对所述移动体正移动的车道进行估计。
6.如权利要求1所述的车道估计装置，其中，
所述处理器进一步构成为，
取得以所述辨识出的表示道路区域的形状为基础而对所述道路区域内的各像素贴标后的像素值数据，作为所述道路区域的特征量，
通过判定所述取得的像素值数据与对所述道路区域预先设定的多个图案之中的哪个类似，对所述移动体正移动的车道进行估计。
7.如权利要求1所述的车道估计装置，其中，
所述处理器进一步构成为，
取得以所述辨识出的表示道路区域的形状为基础而对所述道路区域内的各像素贴标后的像素值数据，作为所述道路区域的特征量，
通过判定所述取得的像素值数据与按所述道路区域中包含的每个车道被预先设定的图案之中的哪个类似，对所述移动体正移动的车道进行估计。
8.如权利要求1所述的车道估计装置，其中，
所述处理器进一步构成为，
从所述取得的图像数据，辨识表示包含在所述道路区域上存在的物体的所述道路区域的第一形状，取得对所述第一形状内的各像素贴标后的像素值数据，
通过判定所述取得的像素值数据与对所述道路区域预先设定的多个图案或者按所述道路区域中包含的每个车道被预先设定的图案之中的哪个类似，对所述移动体正移动的车道进行估计。
9.如权利要求1所述的车道估计装置，其中，
所述处理器进一步构成为，
基于从在过去得到的车道估计结果而估计的表示所述移动体的车道变更历史的信息、与所述移动体的移动位置中的所述道路区域的结构相关的信息、和从所述移动体的移动的状态而估计的表示所述道路区域中的车道变更的信息中的至少一个，对当前得到的车道估计结果进行校正。
10.一种车道估计方法，是具备处理器和与该处理器连接的存储器的信息处理装置对移动体正移动的车道进行估计的车道估计方法，其中，具备以下步骤：
取得对包含所述移动体正移动的道路区域的范围进行摄像而得到的图像数据；
从所述取得的图像数据辨识表示所述道路区域的形状，以该辨识出的形状为基础而算出所述道路区域的特征量；以及
基于所述算出的特征量，对所述移动体正移动的车道进行估计。
11.一种计算机可读存储介质，是存储了用于对移动体正移动的车道进行估计的程序的非临时的有形的计算机可读存储介质，所述程序具备用于使处理器执行以下步骤的指令：
取得对包含所述移动体正移动的道路区域的范围进行摄像而得到的图像数据；
从所述取得的图像数据辨识表示所述道路区域的形状，以该辨识出的形状为基础而算出所述道路区域的特征量；以及
基于所述算出的特征量，对所述移动体正移动的车道进行估计。
CN201980042935.7A 2018-06-27 2019-06-20 车道估计装置、方法以及计算机可读存储介质 Active CN112352260B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018121714 2018-06-27
JP2018-121714 2018-06-27
PCT/JP2019/024570 WO2020004231A1 (ja) 2018-06-27 2019-06-20 レーン推定装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
CN112352260A true CN112352260A (zh) 2021-02-09
CN112352260B CN112352260B (zh) 2024-09-17

Family

ID=68986833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980042935.7A Active CN112352260B (zh) 2018-06-27 2019-06-20 车道估计装置、方法以及计算机可读存储介质

Country Status (4)

Country Link
US (1) US11861841B2 (zh)
JP (1) JP6977887B2 (zh)
CN (1) CN112352260B (zh)
WO (1) WO2020004231A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7112347B2 (ja) * 2019-02-08 2022-08-03 本田技研工業株式会社 車両制御装置、車両制御方法、車両およびプログラム
JP7361482B2 (ja) * 2019-03-27 2023-10-16 京セラ株式会社 画像処理装置、撮像装置、移動体及び画像処理方法
CN114401876B (zh) * 2019-09-30 2024-08-16 北京航迹科技有限公司 用于预测自行车轨迹的系统和方法
WO2021176677A1 (ja) * 2020-03-05 2021-09-10 日本電信電話株式会社 管理装置、管理方法及び管理プログラム
KR102296520B1 (ko) * 2020-12-18 2021-09-01 주식회사 카비 단안 카메라를 이용한 경로추정에 의한 곡선차선 검출 방법
CN113386773A (zh) * 2021-07-30 2021-09-14 蔚来汽车科技(安徽)有限公司 视觉识别可靠度的判断方法及设备
JP2023076903A (ja) * 2021-11-24 2023-06-05 三菱電機株式会社 路面劣化検出システムおよび路面劣化検出方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132677A (ja) * 1998-10-21 2000-05-12 Nec Corp 画像処理方法
JP2003044978A (ja) * 2001-07-27 2003-02-14 Mitsubishi Motors Corp 走行レーン認識装置
CN103582907A (zh) * 2011-06-13 2014-02-12 日产自动车株式会社 道路形状判定装置、车载用图像识别装置、拍摄轴调整装置及车道识别方法
JP2014194698A (ja) * 2013-03-29 2014-10-09 Aisin Aw Co Ltd 道路端検出システム、方法およびプログラム
JP2015069289A (ja) * 2013-09-27 2015-04-13 日産自動車株式会社 車線認識装置
JP2015123929A (ja) * 2013-12-27 2015-07-06 富士重工業株式会社 車両のレーンキープ制御装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157731A (ja) 2003-11-26 2005-06-16 Nissan Motor Co Ltd 車線認識装置および車線認識方法
JP2015001773A (ja) 2013-06-13 2015-01-05 ボッシュ株式会社 車線推定装置
JP2019016246A (ja) * 2017-07-10 2019-01-31 株式会社Ｓｏｋｅｎ 走路認識装置
JP6590988B1 (ja) * 2018-05-01 2019-10-16 三菱電機株式会社 区画線認識装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132677A (ja) * 1998-10-21 2000-05-12 Nec Corp 画像処理方法
JP2003044978A (ja) * 2001-07-27 2003-02-14 Mitsubishi Motors Corp 走行レーン認識装置
CN103582907A (zh) * 2011-06-13 2014-02-12 日产自动车株式会社 道路形状判定装置、车载用图像识别装置、拍摄轴调整装置及车道识别方法
JP2014194698A (ja) * 2013-03-29 2014-10-09 Aisin Aw Co Ltd 道路端検出システム、方法およびプログラム
JP2015069289A (ja) * 2013-09-27 2015-04-13 日産自動車株式会社 車線認識装置
JP2015123929A (ja) * 2013-12-27 2015-07-06 富士重工業株式会社 車両のレーンキープ制御装置

Also Published As

Publication number Publication date
JPWO2020004231A1 (ja) 2021-01-07
CN112352260B (zh) 2024-09-17
US20210279484A1 (en) 2021-09-09
WO2020004231A1 (ja) 2020-01-02
US11861841B2 (en) 2024-01-02
JP6977887B2 (ja) 2021-12-08

Similar Documents

Publication Publication Date Title
CN112352260B (zh) 车道估计装置、方法以及计算机可读存储介质
US20240132154A1 (en) Road profile along a predicted path
JP7349792B2 (ja) 車両走行のための情報を提供する方法
US10696227B2 (en) Determining a road surface characteristic
US11814079B2 (en) Systems and methods for identifying potential communication impediments
US11200433B2 (en) Detection and classification systems and methods for autonomous vehicle navigation
KR102595897B1 (ko) 차선 결정 방법 및 장치
US8818026B2 (en) Object recognition device and object recognition method
US20220035378A1 (en) Image segmentation
CN102208011B (zh) 图像处理系统及车辆控制系统
GB2629117A (en) Systems and methods for determining road safety
CN102208035B (zh) 图像处理系统及位置测量系统
US20210381848A1 (en) Bandwidth management for map generation and refinement
JP2006209510A (ja) 画像認識装置及び画像認識方法
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
CN102207389A (zh) 车辆位置识别系统
CN102208036A (zh) 车辆位置检测系统
EP4275192A2 (en) Systems and methods for common speed mapping and navigation
WO2020248197A1 (en) Saturation flow estimation for signalized intersections using vehicle trajectory data
JP2017117105A (ja) 見通し判定装置
JP4492592B2 (ja) 車両検出装置、ナビゲーション装置、車両検出プログラムおよび車両検出方法
CN115985109B (zh) 一种无人驾驶矿车环境感知方法和系统
WO2023067385A2 (en) Radar-camera fusion for vehicle navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant