CN109564682A - 路面估计装置、车辆控制装置、路面估计方法以及程序 - Google Patents

路面估计装置、车辆控制装置、路面估计方法以及程序 Download PDF

Info

Publication number
CN109564682A
CN109564682A CN201780048046.2A CN201780048046A CN109564682A CN 109564682 A CN109564682 A CN 109564682A CN 201780048046 A CN201780048046 A CN 201780048046A CN 109564682 A CN109564682 A CN 109564682A
Authority
CN
China
Prior art keywords
road surface
vehicle
estimation device
dimensional measurement
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780048046.2A
Other languages
English (en)
Inventor
德弘崇文
福本贤
山根郎
山根一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109564682A publication Critical patent/CN109564682A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/016—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input
    • B60G17/0165—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input to an external condition, e.g. rough road surface, side wind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/80—Exterior conditions
    • B60G2400/82—Ground surface
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/80—Exterior conditions
    • B60G2400/82—Ground surface
    • B60G2400/821—Uneven, rough road sensing affecting vehicle body vibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2401/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60G2401/14—Photo or light sensitive means, e.g. Infrared
    • B60G2401/142—Visual Display Camera, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/22—Suspension systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24—Direction of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

路面估计装置具有空间测量部、过滤部以及路面估计部。空间测量部基于从立体摄像机或能够进行三维测量的摄像机输入的图像，来测量路面的多个三维测量点。过滤部基于根据地图的信息制作出的路面模型，针对多个三维测量点实施过滤，来获取路面候选点。路面估计部基于路面候选点来估计路面。

Description

路面估计装置、车辆控制装置、路面估计方法以及程序
技术领域
本公开涉及一种路面估计装置、车辆控制装置、路面估计方法以及程序。
背景技术
近年来，随着计算机的处理能力提高，正在研究一种根据由摄像机拍摄到的图像使用计算机来估计道路形状等的装置。作为这样的装置的一例，提出了一种道路形状估计装置(参照专利文献1)，通过将根据单眼摄像机图像估计出的道路形状与数字道路地图的道路形状进行对照，来估计行驶中的道路等的概要的形状。
在与车载立体摄像机相关的图像处理技术的研究中，路面的检测是重要的课题。是因为通过高精度地检测路面，能够更有效地进行可行驶路径的搜索、行人或汽车等障碍物识别。
专利文献1：日本特开2001-331787号公报
发明内容
本公开提供一种具有得到了改善的检测精度的路面估计装置。
本公开所涉及的路面估计装置具有空间测量部、过滤部以及路面估计部。空间测量部基于从立体摄像机或能够进行三维测量的摄像机输入的图像，来测量路面的多个三维测量点。过滤部基于根据地图的信息制作出的路面模型，针对多个三维测量点实施过滤，来获取路面候选点。路面估计部基于路面候选点来估计路面。
本公开所涉及的车辆控制装置具有本公开所涉及的路面估计装置以及对进行搭载的车辆进行控制的控制部。控制部根据由路面估计装置估计出的估计路面，来对车辆进行控制。
根据本公开，能够提供一种具有得到了改善的检测精度的路面估计装置。
附图说明
图1是第一实施方式所涉及的路面估计装置的框图。
图2是x-y-z坐标系与u-v-disparity(视差)坐标系之间的坐标转换的说明图。
图3是路面模型和三维测量点向x-y-z坐标系中的y-z平面投影的投影图。
图4是第一实施方式所涉及的路面估计装置的动作流程图。
图5是示出计算机2100的硬件结构的一例的图。
具体实施方式
在说明本公开的实施方式之前，简单地说明现有技术中的问题点。一般地，在路面上存在台阶、凹陷。为了通过不进行激光照射等的被动三维测量来确定路面的台阶、凹陷等的立体形状，需要使用由两个以上的摄像机(立体摄像机)拍摄到的包含视差的多个图像。近年来，开发一种作为全域匹配方法的Semi-Global Matching(SGM，半全局匹配)等的技术，能够不使用路面上的白线等边缘信息而从立体摄像机的图像中获得路面信息来作为三维空间内的点群。然而，在采用SGM得到的点群中混入误差。由于该误差，导致本来应该分布在路面上的点群以具有宽度的方式分布在路面的上下方向上。其结果，存在无法根据点群高精度地估计路面的立体形状这样的问题。
下面，参照附图来说明本公开的实施方式。此外，在所有图中，同一标记表示相同或相当的部分。
(第一实施方式)
图1是第一实施方式所涉及的车辆控制装置200的框图。
车辆控制装置200与外部的摄影部110连接，并且具有路面估计装置100和车辆控制部160。此外，路面估计装置100或车辆控制部160也可以具有摄影部110。
路面估计装置100用于估计路面的形状，具有空间测量部120、路面模型制作部130、过滤部140以及路面估计部150。
摄影部110用于拍摄自车辆的前方的图像。在一例中，摄影部110是具有左侧摄像机和右侧摄像机的立体摄像机。在其它的例子中，摄影部110例如是TOF(Time Of Flight：飞行时间)摄像机等能够进行三维测量的摄像机。
空间测量部120从摄影部110输入由左侧摄像机和右侧摄像机这两台摄像机拍摄同一对象物得到的左侧图像和右侧图像，根据这些图像来测量该同一对象物的三维位置。
图2是x-y-z坐标系与u-v-disparity坐标系之间的坐标转换的说明图。在图2中，对象物的位置P映现在左侧图像112中的位置Q，并映现在右侧图像114中的位置R。在图2中，y轴和v轴沿图纸的深度方向延伸，u轴和v轴在左侧图像112和右侧图像114中分别沿左右方向和上下方向延伸。
位置Q在左侧图像112中的u-v坐标值(ul，vl)与以左侧摄像机的焦点O’为中心的位置Q的x-y坐标值(ul，vl)一致。位置R在右侧图像114中的u-v坐标值(ur，vr)与以右侧摄像机的焦点O为中心的位置R的x-y坐标值(ur，vr)一致。
首先，使用对象物的位置P的u-v-disparity坐标值(ur，vr，d)、摄像机间距离b以及焦距f，来表示以右侧摄像机的焦点O为中心的对象物的位置P的x-y-z坐标值(x，y，z)。在此，d＝ul-ur表示视差(disparity)值。
当将线段O’P以通过O的方式进行平行移动所得到的线段OS与右侧图像114的交点设为Q’时，Q’具有以O为中心的x-y坐标值(ul，vl)。当关注三角形OPS时，导出下面的式(1)。
x：b＝ur：d…(1)
关于y坐标(图2的深度方向)和z坐标，同样的式子也成立，从这些式子导出自u-v-disparity坐标值(ur，vr，d)向x-y-z坐标值(x，y，z)转换的转换式即下面的式(2)。
[数1]
接着，使用以右侧摄像机的焦点O为中心的对象物的位置P的x-y-z坐标值(x，y，z)、摄像机间距离b以及焦距f，来表示对象物的位置P的u-v-disparity坐标值(ur，vr，d)。从图2导出下面的式(3)。
x：ur＝y：vr＝z：f…(3)
从式(3)导出自x-y-z坐标值(x，y，z)向u-v-disparity坐标值(ur，vr，d)转换的转换式即下面的式(4)。
[数2]
像这样，留意到对象物的三维测量点能够使用x-y-z坐标系和u-v-disparity坐标系中的任一坐标系来表示。
空间测量部120从左侧图像和右侧图像检测同一对象物，输出该同一对象物的三维测量点。例如，为了检测同一对象物，针对左侧图像或右侧图像中的各像素，使用对与该像素对应的部分处的视差进行映射得到的视差图等视差信息。例如，利用SGM来获取视差图。此外，在摄影部110是能够直接进行三维测量的摄像机的情况下，空间测量部120也可以将由摄影部110进行的三维测量的结果直接作为三维测量点进行输出。
在空间测量部120输出的三维测量点中混入因视差信息的误差等引起的误差。图3是路面模型210和三维测量点向x-y-z坐标系中的y-z平面投影的投影图。在此，y轴向铅垂方向延伸，z轴向车辆前方方向延伸。三维测量点具有如图3所示的那样具有宽度的分布。当路面估计部150基于混入有误差的三维测量点来估计路面时，导致估计出的该路面也混入误差。
因此，在第一实施方式中，在路面估计部150对估计路面进行估计之前，过滤部140对由空间测量部120输出的三维测量点的集合实施过滤，来获取三维测量点的集合中包含的路面候选点。过滤部140基于与该三维测量点的信息不同的表示路面的信息，来实施参照图3后述的过滤。由此，路面估计部150基于精度更高的路面候选点来估计路面，因此估计出的该路面的精度也得到改善。另外，由于路面的估计中使用的三维测量点的个数减少，因此路面估计部150能够更高速地估计路面。
路面模型制作部130制作作为表示路面形状的信息的路面模型210。在一例中，路面模型制作部130基于三维地图的信息和自车辆的位置信息，来制作由三维空间内的平面或曲面表示的路面模型210，将其作为表示路面的信息。例如，路面模型制作部130为了使三维地图的坐标系与摄影部110的坐标系一致，根据三维地图的信息和自车辆的位置信息，来探测摄影部110的在道路的横断方向上的倾斜度、在道路的纵断方向上的倾斜度以及在摄影方向上的倾斜度。另外，路面模型制作部130也可以被输入来自用于探测自车辆的倾斜度的倾斜度传感器的倾斜度信息，基于所输入的倾斜度信息，来探测摄影部110的在道路的横断方向上的倾斜度、在道路的纵断方向上的倾斜度以及在摄影方向上的倾斜度。
三维地图的信息例如是表示道路的纵断梯度的信息、表示道路的横断梯度的信息、表示道路的宽度的信息，一般优选为比导航系统中使用的地图的信息更高的精度。道路的宽度信息也可以包含比道路的中心线靠右部分的宽度即右宽度、比中心线靠左部分的宽度即左宽度。路面模型制作部130基于三维地图的信息和自车辆的位置信息，来以摄影部110的摄影方向为基准生成由二维曲面表示的路面模型210。在一例中，路面模型制作部130在道路的宽度范围内制作路面模型210，但是也可以在道路的宽度范围外，通过延长道路的横断梯度来制作路面模型210。
过滤部140被输入由路面模型制作部130制作出的路面模型210。接着，过滤部140基于路面模型210，来决定用于判定是将三维测量点作为路面候选点采用、还是将三维测量点作为偏离候选点排除的过滤器。在一例中，过滤器通过由过滤宽度划定的范围而被赋予特征，其中，该过滤宽度是在法线方向上相对于路面模型210的宽度。例如图3所示，过滤器通过由过滤宽度上限220和过滤宽度下限230划定的范围而被赋予特征。
在一例中，过滤部140根据摄影部110的误差特性来变更过滤宽度。在摄影部110为立体摄像机的情况下，在由空间测量部120测量的三维测量点中混入与离摄影部110的距离的平方成比例的误差。即，对象物离摄影部110越远，则在三维测量点中混入的误差越大。因而，例如图3所示，通过以离摄影部110越远则使过滤宽度越宽的方式根据离摄影部110的距离变更宽度，能够抑制过度地排除远处的点。另外，过滤宽度的变更不限于如图3所示那样根据离摄影部110的距离连续地进行变更。也可以是，例如针对小于10m的距离将过滤宽度设为10cm，针对10m以上的距离将过滤宽度设为30cm等，以使过滤宽度根据离摄影部110的距离而呈阶梯状地变宽的方式进行变更。
过滤部140从路面模型制作部130输入路面模型210，对从空间测量部120输入的三维测量点实施过滤，来获取路面候选点。在图3中，将所输入的三维测量点中的处于由过滤宽度上限220和过滤宽度下限230划定的范围的内侧的三维测量点240采用为路面候选点，将处于该范围的外侧的三维测量点250作为偏离候选点排除。
路面估计部150基于从过滤部140输出的路面候选点，来估计路面。如上述的那样，对象物离摄影部110越远，则在三维测量点中混入的误差越大。在此，对象物离摄影部110越远，则z坐标值越大，disparity坐标值(视差值)越小。相反地，对象物离摄影部110越近，则z坐标值越小，disparity坐标值(视差值)越大。因而，作为一例，路面估计部150从向三维测量点混入的误差更少的且大的disparity坐标值朝向小的disparity坐标值来估计路面。
例如，能够沿disparity坐标轴方向将空间分割为多个分区，从与大的disparity值对应的分区开始按邻接的分区的顺序，使用由下面的式(5)
[数3]
vr＝a0+a1ur+a2d+a3ur 2+a4d2…(5)
表示的二次曲面，采用例如最小二乘法来求出使与该分区中包含的路面候选点的误差最小化的参数a0～a4。
在求出多个分区中的所有分区的参数a0～a4之后，路面估计部150通过将由这些参数规定的二次曲面相互连接，来估计路面。
在由路面估计部150估计出的路面即估计路面中，还估计出在用于估计的三维地图信息中没有表示的路面。因而，与只基于地图信息来估计路面的情况相比，能够获取更忠实于实际路面的估计路面。
车辆控制部160基于估计路面来对车辆进行控制。例如，车辆控制部160基于来自识别部(未图示)的输入来对自车辆进行控制，使得采取避开障碍物的行为，其中，该识别部用于基于估计路面和由空间测量部120输出的三维测量点来识别车辆前方的障碍物。另外，例如由于道路是未辅修道路、道路正在施工、道路上存在台阶、凹陷等原因而估计路面的表面有时凹凸不平。在这样的情况下，车辆控制部160对自车辆进行控制，例如以使车辆的速度减速或者将悬架的硬度例如调节得小来吸收冲击。通过基于估计路面对自车辆进行控制，车辆控制部160能够与自车辆此后通过的部分的路面的状态相应地对自车辆进行控制。因而，与基于实际的自车辆的振动进行控制的情况相比，能够进行更灵活的控制，从而能够使自车辆的乘坐感觉更好。并且，通过从由空间测量部120输出的三维测量点群减去与路面相当的点群(例如从过滤部140输出的路面候选点群)，上述的识别部能够提取除路面以外的三维物体。通过提取除路面以外的三维物体，路面估计装置100能够还应用于可行驶路径搜索、障碍物识别。
图4是路面估计装置100的动作流程图。首先，路面模型制作部130根据地图信息来制作路面模型210(步骤S1100)。接着，空间测量部120基于由摄影部110拍摄到的图像，来对自车辆前方的空间进行测量(步骤S1200)。在此，步骤S1100和步骤S1200的顺序也可以相反。接着，过滤部140使用由路面模型制作部130制作出的路面模型210，针对从空间测量部120输出的三维测量点实施过滤，来获取路面候选点(步骤S1300)。接着，路面估计部150使用路面候选点来估计路面(步骤S1400)。接着，车辆控制部160基于由路面估计部150估计出的估计路面，来对自车辆进行控制(步骤S1500)。
在一例中，路面模型制作部130按由摄影部110拍摄的图像的每帧制作路面模型210，空间测量部120测量自车辆前方的空间，过滤部140对三维测量点实施过滤，路面估计部150对路面进行估计。于是，针对相比于离摄影部110近的点而言三维测量点的估计精度较低的离摄影部110远的点，也能够随着自车辆行驶并向该较远的点靠近而提高该三维测量点的估计精度。
图5是示出构建图1的路面估计装置100和车辆控制装置200的计算机2100的硬件结构的一例的图。上述的各实施方式以及各变形例中的各部的功能通过由计算机2100执行的程序来实现。
如图5所示，计算机2100具有输入装置2101、输出装置2102、CPU(CentralProcessing Unit：中央处理单元)2103、ROM(Read Only Memory：只读存储器)2104、RAM(Random Access Memory：随机存取存储器)2105、存储装置2106、读取装置2107以及发送接收装置2108。输入装置2101例如是输入按钮、触摸板等。输出装置2102例如是显示器、扬声器等。存储装置2106例如是硬盘装置、SSD(Solid State Drive：固态硬盘)等。读取装置2107从DVD-ROM(Digital Versatile Disk Read Only Memory：数字通用磁盘只读存储器)、USB(Universal Serial Bus：通用串行总线)存储器等记录介质读取信息。发送接收装置2108经由网络来进行通信。上述的各部通过总线2109来进行连接。
而且，读取装置2107从记录有用于实现上述各部的功能的程序的记录介质读取该程序，并将该程序存储到存储装置2106中。或者，发送接收装置2108与连接于网络的服务器装置进行通信，将从服务器装置下载的用于实现上述各部的功能的程序存储到存储装置2106中。
而且，CPU 2103将存储装置2106中存储的程序复制到RAM 2105中，从RAM 2105依次读出并执行该程序中包含的命令，由此实现上述各部的功能。另外，在执行程序时，在RAM2105或存储装置2106中存储通过各实施方式中记述的各种处理获得的信息，并适当地利用该信息。
产业上的可利用性
本公开所涉及的路面估计装置适合于根据由立体摄像机等拍摄到的图像来估计路面。
附图标记说明
100：路面估计装置；110：摄影部；112：左侧图像；114：右侧图像；120：空间测量部；130：路面模型制作部；140：过滤部；150：路面估计部；160：车辆控制部(控制部)；200：车辆控制装置；210：路面模型；220：过滤宽度上限；230：过滤宽度下限；240：三维测量点(路面候选点)；250：三维测量点(偏离候选点)；2100：计算机；2101：输入装置；2102：输出装置；2103：CPU；2104：ROM；2105：RAM；2106：存储装置；2107：读取装置；2108：发送接收装置；2109：总线。

Claims (11)

1.一种路面估计装置，具备：
空间测量部，其基于从立体摄像机或能够进行三维测量的摄像机输入的图像，来测量路面的多个三维测量点；
过滤部，其基于根据地图的信息制作出的路面模型，针对所述多个三维测量点实施过滤，来获取路面候选点；以及
路面估计部，其基于所述路面候选点来估计路面。
2.根据权利要求1所述的路面估计装置，其特征在于，
所述过滤部将处于由过滤宽度划定的范围的内侧的三维测量点作为所述路面候选点采用，将处于所述范围的外侧的三维测量点作为偏离候选点排除，其中，所述过滤宽度是在法线方向上相对于所述路面模型表示的平面或曲面的宽度。
3.根据权利要求2所述的路面估计装置，其特征在于，
所述过滤部根据离所述立体摄像机的距离，来变更所述过滤宽度。
4.一种车辆控制装置，具备：
根据权利要求1所述的路面估计装置；以及
控制部，其对车辆进行控制，
其中，所述控制部根据由所述路面估计装置估计出的路面即估计路面，来对所述车辆进行控制。
5.一种车辆控制装置，具备：
根据权利要求2所述的路面估计装置；以及
控制部，其对车辆进行控制，
其中，所述控制部根据由所述路面估计装置估计出的路面即估计路面，来对所述车辆进行控制。
6.一种车辆控制装置，具备：
根据权利要求3所述的路面估计装置；以及
控制部，其对车辆进行控制，
其中，所述控制部根据由所述路面估计装置估计出的路面即估计路面，来对所述车辆进行控制。
7.一种车辆控制装置，具备：
根据权利要求4所述的路面估计装置；以及
控制部，其对车辆进行控制，
其中，所述控制部根据由所述路面估计装置估计出的路面即估计路面，来对所述车辆进行控制。
8.根据权利要求4所述的车辆控制装置，其特征在于，
所述控制部根据所述估计路面来调节所述车辆的悬架的硬度。
9.根据权利要求4所述的车辆控制装置，其特征在于，
所述控制部根据所述估计路面来调节所述车辆的速度。
10.一种路面估计方法，包括以下步骤：
基于从立体摄像机或能够进行三维测量的摄像机输入的图像，来测量路面的多个三维测量点；
基于根据地图的信息制作出的路面模型，针对所述多个三维测量点实施过滤，来获取路面候选点；以及
基于所述路面候选点来估计路面。
11.一种程序，使计算机执行以下步骤：
基于从立体摄像机或能够进行三维测量的摄像机输入的图像，来测量路面的多个三维测量点；
基于根据地图的信息制作出的路面模型，针对所述多个三维测量点实施过滤，来获取路面候选点；以及
基于所述路面候选点来估计路面。
CN201780048046.2A 2016-08-12 2017-06-27 路面估计装置、车辆控制装置、路面估计方法以及程序 Pending CN109564682A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016158836A JP6712775B2 (ja) 2016-08-12 2016-08-12 路面推定装置、車両制御装置、路面推定方法、およびプログラム
JP2016-158836 2016-08-12
PCT/JP2017/023467 WO2018030010A1 (ja) 2016-08-12 2017-06-27 路面推定装置、車両制御装置、路面推定方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN109564682A true CN109564682A (zh) 2019-04-02

Family

ID=61162083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048046.2A Pending CN109564682A (zh) 2016-08-12 2017-06-27 路面估计装置、车辆控制装置、路面估计方法以及程序

Country Status (5)

Country Link
US (1) US20190152487A1 (zh)
JP (1) JP6712775B2 (zh)
CN (1) CN109564682A (zh)
DE (1) DE112017004047T5 (zh)
WO (1) WO2018030010A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112092563A (zh) * 2020-09-11 2020-12-18 广州小鹏汽车科技有限公司 车辆的控制方法、控制装置、车载终端和车辆
WO2023131253A1 (zh) * 2022-01-10 2023-07-13 武汉路特斯汽车有限公司 一种可识别路况的自动驾驶方法、系统及车辆

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005667A1 (en) * 2017-07-24 2019-01-03 Muhammad Zain Khawaja Ground Surface Estimation
JP6849569B2 (ja) * 2017-09-29 2021-03-24 トヨタ自動車株式会社 路面検出装置
US20220165073A1 (en) * 2019-02-22 2022-05-26 Panasonic Intellectual Property Management Co., Ltd. State detection device and state detection method
CN110378293B (zh) * 2019-07-22 2021-02-23 泰瑞数创科技(北京)有限公司 一种基于实景三维模型生产高精度地图的方法
US11164369B2 (en) * 2019-12-20 2021-11-02 Argo AI, LLC Methods and systems for constructing map data using poisson surface reconstruction
DE102020007645A1 (de) * 2020-04-03 2021-10-07 Daimler Ag Verfahren zur Kalibrierung eines Lidarsensors

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
CN101929867A (zh) * 2009-05-08 2010-12-29 通用汽车环球科技运作公司 使用道路模型的畅通路径检测
CN103854008A (zh) * 2012-12-04 2014-06-11 株式会社理光 路面检测方法和装置
CN103963593A (zh) * 2013-01-08 2014-08-06 福特全球技术公司 具有道路预视的自适应主动悬架系统
CN104541128A (zh) * 2012-08-02 2015-04-22 丰田自动车株式会社 路面状态取得装置及悬架系统
CN104949619A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆用立体图像处理装置
CN105096591A (zh) * 2014-05-14 2015-11-25 杭州海康威视数字技术股份有限公司 道路智能监控系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3324821B2 (ja) * 1993-03-12 2002-09-17 富士重工業株式会社 車輌用車外監視装置
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
JP6274557B2 (ja) * 2013-02-18 2018-02-07 株式会社リコー 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
CN101929867A (zh) * 2009-05-08 2010-12-29 通用汽车环球科技运作公司 使用道路模型的畅通路径检测
CN104541128A (zh) * 2012-08-02 2015-04-22 丰田自动车株式会社 路面状态取得装置及悬架系统
CN103854008A (zh) * 2012-12-04 2014-06-11 株式会社理光 路面检测方法和装置
CN103963593A (zh) * 2013-01-08 2014-08-06 福特全球技术公司 具有道路预视的自适应主动悬架系统
CN104949619A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆用立体图像处理装置
CN105096591A (zh) * 2014-05-14 2015-11-25 杭州海康威视数字技术股份有限公司 道路智能监控系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112092563A (zh) * 2020-09-11 2020-12-18 广州小鹏汽车科技有限公司 车辆的控制方法、控制装置、车载终端和车辆
WO2023131253A1 (zh) * 2022-01-10 2023-07-13 武汉路特斯汽车有限公司 一种可识别路况的自动驾驶方法、系统及车辆

Also Published As

Publication number Publication date
WO2018030010A1 (ja) 2018-02-15
DE112017004047T5 (de) 2019-04-25
JP6712775B2 (ja) 2020-06-24
US20190152487A1 (en) 2019-05-23
JP2018026058A (ja) 2018-02-15

Similar Documents

Publication Publication Date Title
CN109564682A (zh) 路面估计装置、车辆控制装置、路面估计方法以及程序
US10762643B2 (en) Method for evaluating image data of a vehicle camera
EP3517997B1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101699922B1 (ko) 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법
CN111060946B (zh) 用于估计位置的方法和装置
CN107980138B (zh) 一种虚警障碍物检测方法及装置
CN111462096A (zh) 三维目标检测方法及装置
EP2887315B1 (en) Camera calibration device, method for implementing calibration, program and camera for movable body
CN110795984A (zh) 信息处理方法、信息处理装置及程序记录介质
CN106461402A (zh) 用于确定相对于数字地图的位置的方法及系统
EP2175237B1 (en) System and methods for image-based navigation using line features matching
JP2008082870A (ja) 画像処理プログラム及びこれを用いた路面状態計測システム
KR101431373B1 (ko) 스테레오 정합을 이용한 차량의 움직임 측정 장치
CN109074653A (zh) 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助系统以及机动车辆
CN113012224B (zh) 定位初始化方法和相关装置、设备、存储介质
CN111476798B (zh) 一种基于轮廓约束的车辆空间形态识别方法及系统
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP2020003463A (ja) 自車位置推定装置
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
CN109115232A (zh) 导航的方法和装置
CN104166995A (zh) 一种基于马步测度的Harris-SIFT双目视觉定位方法
JP2022513830A (ja) 道路の表面上の対象体を検出してモデル化する方法
JP4116116B2 (ja) 移動体の測距原点認識装置
Panahandeh et al. Vision-aided inertial navigation using planar terrain features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190402