CN105723180B - 移动体位置估计装置以及移动体位置估计方法 - Google Patents

移动体位置估计装置以及移动体位置估计方法 Download PDF

Info

Publication number
CN105723180B
CN105723180B CN201480058813.4A CN201480058813A CN105723180B CN 105723180 B CN105723180 B CN 105723180B CN 201480058813 A CN201480058813 A CN 201480058813A CN 105723180 B CN105723180 B CN 105723180B
Authority
CN
China
Prior art keywords
edge
evaluation
estimate
particle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480058813.4A
Other languages
English (en)
Other versions
CN105723180A (zh
Inventor
田中慎也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN105723180A publication Critical patent/CN105723180A/zh
Application granted granted Critical
Publication of CN105723180B publication Critical patent/CN105723180B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

评价值计算部件(15)对每个粒子比较边缘图像和假想图像，边缘重叠的数越多给予越高的评价值，并且，作为不重叠的边缘，边缘图像中的边缘和假想图像中的边缘的距离即边缘间距离为规定距离以下的边缘越多，给予越高的评价值。位置、姿态估计部件(16)根据各粒子的评价值估计本车辆的位置。

Description

移动体位置估计装置以及移动体位置估计方法
技术领域
本发明涉及移动体位置估计装置以及移动体位置估计方法。
背景技术
在专利文献1中，对每个粒子进行由摄像机的摄像图像生成的边缘图像与使用粒子滤波器由已知的三维地图生成的假想图像的边缘的匹配，通过边缘的重叠越多使似然越高，边缘的重叠越少使似然越低，由似然分布概率性地估计移动体的位置。
现有技术文献
专利文献
专利文献1:日本专利特开2010-60451号公报
发明内容
发明要解决的课题
但是，在上述以往技术中，由于从边缘的重叠程度计算似然，所以即使在粒子的参数接近移动体的真实的位置的情况下，当粒子的位置的参数从真实的位置仅偏移了一点时，由于该粒子的似然极端地降低，产生估计变得不稳定的问题。
本发明的目的是提供可以稳定地估计移动体的位置的移动体位置估计装置以及移动体位置估计方法。
用于解决课题的手段
在本发明中，对于每个粒子比较边缘图像和假想图像，边缘重叠的数越多则给予越高的评价值，并且，作为不重叠的边缘，在边缘图像中的边缘与假想图像中的边缘的距离即边缘间距离为规定距离以下的边缘越多，则给予越高的评价值。
发明的效果
因此，可以稳定地估计移动体的位置。
附图说明
图1是实施例1的移动体位置估计装置的结构图。
图2是实施例1的计算机3中的自身位置估计的控制方框图。
图3是表示实施例1的移动体位置估计装置的粒子的散布方法的说明图。
图4是表示实施例1的与像素数对应的评价校正值的计算方法的说明图。
图5是表示实施例1的与实际距离对应的评价校正值的计算方法的说明图。
图6是表示实施例1的计算机3的全体处理的流程的流程图。
图7是表示实施例1的自身位置估计处理的流程的流程图。
图8是表示实施例1的自身位置估计作用的图。
图9是表示实施例2的与边缘密度对应的评价校正值的计算方法的说明图。
1 车辆
2 摄像机(摄像单元)
3 计算机
4 存储部件(存储单元)
11 特征提取部件(边缘图像生成单元)
12 初始化处理部件
13 位置、姿态候选生成部件
14 假想图像生成部件(假想图像生成单元)
15 评价值计算部件(评价值计算单元)
15a 评价校正值计算部件
16 位置、姿态估计部件(位置估计单元)
17 初始化判定部件
具体实施方式
〔实施例1〕
图1是实施例1的移动体位置估计装置的结构图。
车辆1包括：摄像机(摄像单元)2；计算机3；以及存储部件(存储单元)4。
在车辆1的前端部，以高度h、从水平下向角度θ安装摄像机2，拍摄车辆1的前方区域。
计算机3实施在存储部件4中存储的地图数据与由摄像机2拍摄的图像的匹配处理，估计车辆1的位置、姿态。
存储部件4记录具有车辆1的周围存在的结构物的边缘信息和位置信息的三维的地图数据。
图2是实施例1的计算机3中的自身位置估计的控制方框图。
摄像机2的镜头为一般的无失真的镜头，但是也可以例如为了拍摄宽范围而设为鱼眼镜头。在该情况下，如果将如后所述的假想图像生成部件14中的摄像机模型设为鱼眼的模型，则可以以相同的框架估计车辆的自身位置。而且，在为了在更宽范围拍摄车辆周边而安装了鱼眼镜头的情况下，也可以车载多个摄像机。
特征提取部件(边缘图像生成单元)11从摄像机2拍摄的图像提取边缘而生成边缘图像。为了提取该边缘，使用Canny法等已存在的边缘检测方法即可。当然，也可以与问题相应，用Sobel滤波器等方法检测边缘，重要的是，只要根据地图数据，在与从某个被提供的位置、姿态的参数和摄像机2的模型生成的假想图像的匹配中，可以从图像中观测足够精度的边缘即可。
初始化处理部件12进行为了估计车辆的位置、姿态而利用的粒子滤波器的初始化处理。在实施例1中，在车辆的被设想的位置、姿态的范围进行粒子群的(位置、姿态)参数的初始化。此次，由于是在受到限制的区间中估计车辆的位置、姿态的问题，所以设为表示车辆位置的3自由度(x,y,z)、以及表示车辆姿态的3自由度(yaw,pitch,roll)的合计6自由度(参照图3)。在使用地图数据估计自身位置的实施例1的情况下，为了设定初始化的范围也可以使用GPS来设定粗略的位置范围。而且，虽然这时需要设定粒子的数，但是只要与问题相应地设定适当的数即可。由于粒子滤波器自身为已知的方法，所以省略细节。
位置、姿态候选生成部件13使用预先设定的车辆的系统模型，从一时刻前的粒子群的位置、姿态参数，设定当前时刻的粒子群的参数(在刚经过初始化处理部件之后，从该被初始化的值设定当前时刻的参数)。该框架也是粒子滤波器的范畴，省略细节，但是在实施例1中，将系统模型设为随机漫步(在规定范围内随机地设想车辆运动。)。当然，也可以与问题相应，将等速直线运动等的模型作为系统模型。例如，如图3所示，使1循环前估计的车辆V(t1)的位置以及姿态角的粒子P和周围的粒子P1～P5仅移动相当于里程计(odometry)的量，设定并校正粒子的存在分布范围。然后，为了估计新的车辆V(t2)的位置以及姿态角，设定粒子P10～P15。
假想图像生成部件(假想图像生成单元)14参照存储部件4，使用在前述的位置、姿态候选生成部件13中对某个粒子设定的位置、姿态的参数和摄像机2的摄像机模型，生成假想图像。一般来说，车辆的位置、姿态被作为参数提供，并且摄像机2的摄像机模型已知(只要事前测量即可。或者也可以是设计值)，进而，如果存储部件4的三维数据已知，则可以将三维的地图数据变换为二维的图像(将其称为假想图像)。
在实施例1中，在如后所述的评价值计算部件15中进行假想图像生成部件14中生成的假想图像的边缘、与特征提取部件11从摄像机2拍摄的图像提取的图像中的边缘的匹配。因此，在假想图像生成部件14中，仅将对应于从特征提取部件11拍摄的图像中作为边缘提取的成分的、三维的地图数据的边缘信息投影到假想图像即可。具体地说，只要投影地图中的建筑物的边缘部分和路面上的白线等即可，不需要投影建筑物和路面的纹理(texture)、颜色等信息。
虽然记载了在前述的位置、姿态候选生成部件13中与问题相应地设定粒子的数即可，但是在假设生成100个粒子的情况下，将该处理重复100次。
评价值计算部件(评价值计算单元)15进行从特征提取部件11输出的边缘图像与从假想图像生成部件14输出的假想图像的边缘成分的匹配，评价两者的边缘的重叠程度，越重叠，计算越高的评价值(似然)e。在以往的评价值计算方法中，扫描两个图像，如果关注像素(xi,yi)中都存在边缘，则加上评价值(Eval(xi,yi)＝1)，在不是这样的情况下不加上(Eval(xi,yi)＝0)，越重叠，评价值越高地进行设定，相对于此，在实施例1中，以提高使用了粒子滤波器的位置、姿态估计方法的精度以及稳定性为目标，在计算评价值时，即使边缘不重叠，在最接近的边缘之间的距离(边缘间距离)近的(规定距离以下)情况下，加上与两边缘的接近度相应的评价校正值。评价校正值的计算通过评价值计算部件15内的评价校正值计算部件15a来进行。
评价校正值可以根据从假想图像中的边缘至边缘图像中的边缘为止的像素数(像素数)来设定。例如，对于假想图像中的边缘，设与边缘图像中的边缘偏移1或者2像素的像素(xi,yi)的像素数对应的评价校正值ep(xi,yi)＝0.5，设与偏移3或者4像素的像素(xi,yi)的像素数对应的评价校正值ep(xi,yi)＝0.25，设与偏移5像素以上的像素(xi,yi)的像素数对应的评价校正值ep(xi,yi)＝0.0。即，在图4(a)那样的假想图像中，通过在边缘的两侧设置相当于4像素的边缘近旁区域，如图4(b)所示，假想地加宽假想图像中的边缘的宽度，在该边缘近旁区域中边缘图像中的边缘重叠的情况下，与边缘间距离相应地赋予评价校正值ep(xi,yi)。
作为其它的例子，也可以不是像素数，而是利用实际空间的三维的距离来计算评价校正值。这是因为，在如上述那样根据像素数定义了规定距离的情况下，根据离车辆的纵深的距离，与1像素对应的实际空间的距离不同，即，在跟前的立体物与里面的立体物的位置中，每1像素的纵、横的分辨率不同。例如，在图5(a)所示的假想图像中，以虚线包围的立体物在实际空间中，虽然跟前的面和里面的面为相同的大小，但是根据纵深，被投影在假想图像上的大小变化。由此，在反映实际空间的情况下，与假想图像生成部件14中的方法相同，三维信息使用已知的地图数据，如图5(b)所示，设置考虑了实际距离的边缘近旁区域，求出与实际距离相应的评价校正值ed(xi,yi)。
与实际距离相应的评价校正值ed(xi,yi)由以下的式子求出。
ed(xi,yi)＝1/(1+alpha×d(xi,yi))
这里，alpha是调整参数，d(xi,yi)是将座标(xi,yi)进行了三维投影时的与边缘的最短距离。在该距离为规定值以上的(至边缘远)情况下，也可以将ed(xi,yi)全体设为零。
在评价校正值计算部件15a中，将上述的处理重复在位置、姿态候选生成部件13中设定的粒子的数。
评价值计算部件15根据以下的式子计算各像素的评价值。
(i)在设定了与像素数相应的评价校正值ep(xi,yi)的情况下
e＝Σ(Eval(xi,yi)+ep(xi,yi))
Eval(xi,yi)＝1(边缘重叠)
Eval(xi,yi)＝0(边缘不重叠(otherwise))
(ii)在设定了与实际距离相应的评价校正值ed(xi,yi)的情况下
e＝Σ(Eval(xi,yi)+ed(xi,yi))
Eval(xi,yi)＝1(边缘重叠)
Eval(xi,yi)＝0(边缘不重叠(otherwise))
由此，在设定了与像素数相应的评价校正值ep(xi,yi)的情况下，如果从假想图像中的边缘至边缘图像中的边缘的像素数为2像素以内的部分，则加上原来的点数的1/2，如果为4像素以内的部分，则加上原来的点数的1/4。另一方面，在设定了与实际距离相应的评价校正值ed(xi,yi)的情况下，如果在相加时加上距离的倒数，则从假想图像中的边缘至边缘图像中的边缘为止的距离越近，加上越高的值。
在评价值计算部件15中也同样，只要将该处理反复进行在位置、姿态候选生成部件13中设定的粒子的数即可。
而且，在上述的例子中，以假想图像中的边缘为基准，根据从假想图像中的边缘至边缘图像中的边缘为止的像素数或者实际距离计算评价校正值，但是以边缘图像中的边缘为基准，根据从边缘图像中的边缘至假想图像中的边缘为止的像素数或者实际距离计算评价校正值也得到相同的结果。
位置、姿态估计部件(位置估计单元)16根据在评价值计算部件15中设定的各粒子的评价值，估计车辆的位置、姿态。该处理本身是粒子滤波器的框架，但是评价值越大的粒子，设定越大的权重。例如，计算似然最高的预测位置以及姿态角候选作为车辆的实际的位置以及姿态角。而且，也可以使用各预测位置以及姿态角候选的似然，求出预测位置以及姿态角的加权平均，将该值作为最终的车辆的位置以及姿态角。
在位置、姿态估计部件16中，在粒子滤波器的框架下估计位置、姿态，计算该估计出的参数(位置、姿态)下的评价值(作为处理，执行位置、姿态候选生成部件13以及评价值计算部件15。在至此叙述的处理中，需要将该一连串的流程执行相当于粒子的个数的次数，这里，仅执行相当于估计结果的一参数的次数)。将该评价值输出到后级的初始化判定部件17，利用于估计错误的情况下的初始化处理。
初始化判定部件17进行估计出的位置、姿态是否为误检测的判定。在被误检测判定的情况下，对初始化处理部件12发出初始化的指令，再次执行处理。作为判定的方法，在由位置、姿态估计部件16输出的估计结果中的评价值低于事前设定的阈值的情况下，判定为误检测。
[全体处理]
图6是表示实施例1的计算机3的全体处理的流程的流程图。
在步骤S1中，初始化处理部件12中，进行粒子滤波器的初始化处理。该处理只要在系统起动时执行一次即可。其中，在步骤S5中，在初始化判定部件17中判定为需要再次初始化的情况下，再次将粒子群初始化。
在步骤S2中，通过摄像机2拍摄车辆前方的图像。
在步骤S3中，在特征提取部件11中，从摄像机2获取的图像提取边缘。
在步骤S4中，实施自身位置估计处理。细节如后所述。
在步骤S5中，在初始化判定部件17中，判定估计出的位置、姿态是否为误检测，是否需要再次初始化。在“是”的情况下进至步骤S1，在“否”的情况下进至步骤S6。
在步骤S6中，判定是否通过用户的手输入了系统关闭，在“是”的情况下结束处理，“否”的情况下进至步骤S2。
[自身位置估计处理]
图7是表示实施例1的自身位置估计处理的流程的流程图。
在步骤S41中，在位置、姿态候选生成部件13中使用预先设定的车辆的系统模型，从一时刻前的粒子群的位置、姿态参数设定当前时刻的粒子群的参数(位置、姿态的6自由度)。
在步骤S42中，在假想图像生成部件14中，根据对粒子设定的位置、姿态的参数，生成假想图像。
在步骤S43中，在评价值计算部件15的评价校正值计算部件15a中，根据边缘图像中的边缘和假想图像中的边缘的偏移量(像素或者实际距离)计算评价校正值(ep或者ed)。
在步骤S44中，在评价值计算部件15中，评价边缘图像和假想图像的边缘的重叠程度。这时，还考虑评价校正值(ep或者ed)来计算评价值。
在步骤S45中，在评价值计算部件15中，对在初始化处理部件12中生成的全部粒子判定评价值计算是否已结束，在“是”的情况下进至步骤S46，在“否”的情况下进至步骤S41。
在步骤S46中，在位置、姿态估计部件16中，对各粒子的评价值计算权重，估计当前时刻下的位置、姿态。
接着，说明作用。
在以往的移动体位置估计装置中，即使在粒子的参数接近本车辆的真实的位置、姿态的情况下，在位置的参数仅从真实的位置、姿态偏移一点时，由于该粒子的似然极端地降低，所以如图8(a)所示，产生了本车辆的位置、姿态的估计变得不稳定的问题。
相对于此，在实施例1中，在边缘图像中的边缘与假想图像中的边缘的距离即边缘间距离为规定距离以下的像素越多，越提高似然(评价值)。由此，如图8(b)所示，对于相对本车辆的真实的位置、姿态的位置、姿态的参数的偏移小的粒子，可以抑制似然极端地降低。换言之，即使在粒子群的位置、姿态参数从本车辆的真实的位置、姿态产生了小的偏移的情况下，由于也被提供似然，所以可以估计接近本车辆的真实的位置、姿态的位置、姿态。由此，可以稳定地估计本车辆的位置、姿态。
在实施例1中，在边缘间距离为规定距离以下的情况下，边缘间距离越近越提高似然。由此，相对本车辆的真实的位置、姿态的位置、姿态的参数的偏移越小的粒子似然越高，所以可以使参数空间的似然分布中接近真实的位置、姿态的区域紧密。由此，可以求出更恰当的似然，提高位置、姿态估计的精度以及稳定性。
在实施例1中，将规定距离设为规定像素数。由此，可以将提高评价值的范围设为设计者预先决定的像素数。由此，可以根据问题，设定距粒子的似然被较高地评价的边缘的像素数的范围。
在实施例1中，将规定距离设为实际空间上的三维的距离。由此，可以将提高评价值的范围设为设计者预先决定的实际空间的距离。由此，可以根据问题，设定距粒子的似然被较高地评价的边缘在实际空间上的距离的范围。
在实施例1中产生以下列举的效果。
(1)包括：摄像机2，拍摄本车辆前方并获取摄像图像；特征提取部件11，生成从摄像图像提取了边缘的边缘图像；存储部件4，存储具有本车辆周围存在的结构物的边缘信息和位置信息的地图数据；假想图像生成部件14，设定多个作为本车辆的设想的位置以及姿态的粒子，对于每个粒子将地图数据的边缘信息变换为从设想的位置以及姿态拍摄的假想图像；评价值计算部件15，对每个粒子比较边缘图像和假想图像，边缘重叠的数越多给予越高的评价值，并且，作为不重叠的边缘，边缘图像中的边缘与假想图像中的边缘的距离即边缘间距离为规定距离以下的边缘越多，给予越高的评价值；以及位置、姿态估计部件16，根据各粒子的评价值估计本车辆的位置。
由此，可以稳定地估计本车辆的位置、姿态。
(2)评价值计算部件15在边缘间距离为规定距离以下的情况下，该边缘间距离越近，越提高评价值。
由此，可以求出更合适的似然，可以提高本车辆的位置、姿态的估计的精度以及稳定性。
(3)将规定距离设为了规定像素数。
由此，可以根据问题，设定距粒子的似然被较高地评价的边缘的像素数的范围。
(4)将规定距离设为了实际空间上的三维的距离。
由此，可以根据问题，设定粒子的似然被较高地评价的边缘的实际空间上的距离的范围。
(5)拍摄本车辆前方并获取摄像图像，生成从摄像图像提取了边缘的边缘图像，设定多个作为本车辆的设想的位置以及姿态的粒子，对于每个粒子，将具有本车辆周围存在的结构物的边缘信息和位置信息的地图数据的边缘信息变换为从设想的位置以及姿态拍摄的假想图像，对每个粒子比较边缘图像和假想图像，边缘重叠的数越多给予越高的评价值，并且，作为不重叠的边缘，边缘图像中的边缘和假想图像中的边缘的距离即边缘间距离为规定距离以下的边缘越多给予越高的评价值，根据各粒子的评价值估计本车辆的位置。
由此，可以稳定地估计本车辆的位置、姿态。
〔实施例2〕
接着，参照附图说明实施例2的移动体位置估计装置。
图9是表示与边缘密度相应的评价校正值的计算方法的说明图。
而且，其它的结构与实施例1相同，所以赋予同一标号并省略详细的说明。
图9(a)是在特征提取部件(边缘图像生成单元)11中从摄像机2拍摄的图像提取边缘而生成的边缘图像。在图9(a)所示的边缘图像中，与车道9a并行，路肩9b存在于近旁，所以按照粒子的位置、姿态，假想图像的车道的边缘与边缘图像中的路肩9b的边缘为接近状态(边缘密度高的状态)，评价值部分地升高。
因此，在实施例2中，在最接近的边缘之间的距离(边缘间距离)近的(规定距离以下)情况下，在边缘图像的边缘密度高的区域中，减小判定的规定距离。
例如，在边缘图像的边缘密度低的区域中，如实施例1那样，对于假想图像中的边缘，设边缘图像中的边缘偏移1或者2像素的像素(xi,yi)的像素数所对应的评价校正值ep(xi,yi)＝0.5，设偏移3或者4像素的像素(xi,yi)的像素数所对应的评价校正值ep(xi,yi)＝0.25，设偏移5像素以上的像素(xi,yi)的像素数所对应的评价校正值ep(xi,yi)＝0.0。
另一方面，在边缘图像的边缘密度高的区域中，对于假想图像中的边缘，设边缘图像中的边缘偏移1像素的像素(xi,yi)的像素数所对应的评价校正值ep(xi,yi)＝0.5，设偏移2像素的像素(xi,yi)的像素数所对应的评价校正值ep(xi,yi)＝0.25，设偏移3像素以上的像素(xi,yi)的像素数所对应的评价校正值ep(xi,yi)＝0.0。
即，在图9(a)那样的边缘图像中，通过在作为边缘图像的边缘密度高的区域的车道9a的边缘的两侧，设置相当于2像素的边缘近旁区域，如图9(b)所示，与其它的区域相比，缩窄边缘近旁区域，可以抑制由于路肩9b的边缘评价校正值变高。
在实施例2中，除了实施例1的效果(1)～(5)，还具有以下的效果。
(6)边缘图像的边缘密度越高，评价值计算部件15越减小规定距离。
由此，可以抑制边缘密度高的区域的评价校正值错误地变高，可以提高本车辆的位置、姿态的估计的精度以及稳定性。
(其它的实施例)
以上，根据实施例说明了用于实施本发明的方式，本发明的具体的结构不限于实施例，不脱离发明的要旨的范围的设计变更等也包含在本发明中。
例如，在实施例中，设定了评价函数，使得边缘图像和假想图像的边缘越重叠评价值越高(最大化问题)，但是也可以设定评价函数，使得边缘越重叠误差越少(最小化问题)。
本发明也可以适用于车辆相对行驶路线的左右白线的相对位置(横向位置)的估计中。在该情况下，位置、姿态参数设为作为位置参数的横向位置的1自由度、作为姿态参数间距、摇摆的2自由度的合计3自由度。而且，由于白线的宽度也因场所而不同，所以还可以追加白线的宽度作为估计参数。

Claims (6)

1.一种移动体位置估计装置，其特征在于，包括：
摄像单元，拍摄移动体周围并获取摄像图像；
边缘图像生成单元，生成从所述摄像图像提取了边缘的边缘图像；
存储单元，存储具有所述移动体周围存在的结构物的边缘信息和位置信息的地图数据；
假想图像生成单元，设定多个作为所述移动体的设想的位置以及姿态的粒子，对于每个粒子，将所述地图数据的边缘信息变换为从所述设想的位置以及姿态拍摄的假想图像；
评价值计算单元，对于每个所述粒子，比较所述边缘图像和所述假想图像，边缘重叠的数越多给予越高的评价值，并且，对于不重叠的边缘，在将所述边缘图像中的边缘与所述假想图像中的边缘三维投影在实际空间上时的边缘间距离不足实际空间上的规定距离的边缘越多，给予越高的评价值；以及
位置估计单元，根据所述各粒子的评价值，估计所述移动体的位置。
2.一种移动体位置估计装置，其特征在于，包括：
摄像单元，拍摄移动体周围并获取摄像图像；
边缘图像生成单元，生成从所述摄像图像提取了边缘的边缘图像；
存储单元，存储具有所述移动体周围存在的结构物的边缘信息和位置信息的地图数据；
假想图像生成单元，设定多个作为所述移动体的设想的位置以及姿态的粒子，对于每个粒子，将所述地图数据的边缘信息变换为从所述设想的位置以及姿态拍摄的假想图像；
评价值计算单元，对于每个所述粒子，比较所述边缘图像和所述假想图像，边缘重叠的数越多给予越高的评价值，并且，作为不重叠的边缘，所述边缘图像中的边缘与所述假想图像中的边缘的距离即边缘间距离为规定距离以下的边缘越多，给予越高的评价值；以及
位置估计单元，根据所述各粒子的评价值，估计所述移动体的位置，
所述边缘图像的边缘密度越高，所述评价值计算单元越减小所述规定距离。
3.如权利要求2所述的移动体位置估计装置，其特征在于，
所述评价值计算单元在所述边缘间距离为规定距离以下的情况下，该边缘间距离越近，越提高所述评价值。
4.如权利要求2或3所述的移动体位置估计装置，其特征在于，
将所述规定距离设为规定像素数。
5.一种移动体位置估计方法，其特征在于，
拍摄移动体周围并获取摄像图像，
生成从所述摄像图像提取了边缘的边缘图像，
设定多个作为所述移动体的设想的位置以及姿态的粒子，对于每个粒子，将具有所述移动体周围存在的结构物的边缘信息和位置信息的地图数据的边缘信息，变换为从所述设想的位置以及姿态拍摄的假想图像，
对于每个所述粒子，比较所述边缘图像和所述假想图像，边缘重叠的数越多给予越高的评价值，并且，作为不重叠的边缘，所述边缘图像中的边缘和所述假想图像中的边缘的距离即边缘间距离为规定距离以下的边缘越多，给予越高的评价值，
根据所述各粒子的评价值，估计所述移动体的位置，
所述边缘图像的边缘密度越高时，越减小所述规定距离。
6.一种移动体位置估计方法，其特征在于，
拍摄移动体周围并获取摄像图像，
生成从所述摄像图像提取了边缘的边缘图像，
存储具有所述移动体周围存在的结构物的边缘信息和位置信息的地图数据，
设定多个所述移动体的设想的位置以及姿态的粒子，对于每个粒子，将所述地图数据的边缘信息，从所述设想的位置以及姿态变换为拍摄的假想图像，
对于每个所述粒子，比较所述边缘图像和所述假想图像，边缘重叠的数越多给予越高的评价值，并且，对于不重叠的边缘，在将所述边缘图像中的边缘与所述假想图像中的边缘三维投影在实际空间上时的边缘间距离不足实际空间上的规定距离的边缘越多，给予越高的评价值，
根据所述各粒子的评价值，估计所述移动体的位置。
CN201480058813.4A 2013-11-13 2014-09-05 移动体位置估计装置以及移动体位置估计方法 Expired - Fee Related CN105723180B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-234516 2013-11-13
JP2013234516 2013-11-13
PCT/JP2014/073432 WO2015072217A1 (ja) 2013-11-13 2014-09-05 移動体位置推定装置および移動体位置推定方法

Publications (2)

Publication Number Publication Date
CN105723180A CN105723180A (zh) 2016-06-29
CN105723180B true CN105723180B (zh) 2017-08-15

Family

ID=53057162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480058813.4A Expired - Fee Related CN105723180B (zh) 2013-11-13 2014-09-05 移动体位置估计装置以及移动体位置估计方法

Country Status (8)

Country Link
US (1) US9424649B1 (zh)
EP (1) EP3070430B1 (zh)
JP (1) JP6112221B2 (zh)
CN (1) CN105723180B (zh)
BR (1) BR112016010089B1 (zh)
MX (1) MX355313B (zh)
RU (1) RU2621480C1 (zh)
WO (1) WO2015072217A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9849591B2 (en) * 2015-10-02 2017-12-26 X Development Llc Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment
JP2018504652A (ja) * 2015-10-09 2018-02-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 顕著特徴ベースの移動体測位
US10013617B2 (en) * 2015-12-03 2018-07-03 Gm Global Technology Operations Snow covered path of travel surface condition detection
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
JP6782903B2 (ja) * 2015-12-25 2020-11-11 学校法人千葉工業大学 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
JP6795379B2 (ja) * 2016-03-10 2020-12-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 運転制御装置、運転制御方法及び運転制御プログラム
JP6552448B2 (ja) * 2016-03-31 2019-07-31 株式会社デンソーアイティーラボラトリ 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP6929183B2 (ja) * 2017-09-29 2021-09-01 株式会社デンソーテン レーダ装置および物標検出方法
GB2568286B (en) 2017-11-10 2020-06-10 Horiba Mira Ltd Method of computer vision based localisation and navigation and system for performing the same
WO2019111702A1 (ja) * 2017-12-05 2019-06-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN109935108A (zh) * 2017-12-18 2019-06-25 姜鹏飞 一种基于准确位置的交通安全预警方法及装置
US20200311455A1 (en) * 2019-03-27 2020-10-01 GM Global Technology Operations LLC Methods and systems for correcting sensor information
RU2769918C1 (ru) 2021-05-18 2022-04-08 Общество с ограниченной ответственностью "ЭвоКарго" Способ позиционирования наземного транспортного средства
WO2024185134A1 (ja) * 2023-03-09 2024-09-12 日本電気株式会社 カメラ姿勢推定装置、カメラ姿勢推定方法、及びコンピュータ読み取り可能な記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842038A (zh) * 2011-05-19 2012-12-26 富士重工业株式会社 环境识别装置及环境识别方法
CN103154666A (zh) * 2011-06-14 2013-06-12 日产自动车株式会社 距离测量装置以及环境地图生成装置
WO2013133129A1 (ja) * 2012-03-06 2013-09-12 日産自動車株式会社 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
JP2013186551A (ja) * 2012-03-06 2013-09-19 Nissan Motor Co Ltd 移動物体位置姿勢推定装置及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350850B2 (en) * 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
JP5111210B2 (ja) * 2008-04-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
JP5297727B2 (ja) 2008-09-04 2013-09-25 トヨタ自動車株式会社 ロボット装置及び物体の位置姿勢推定方法
US8385591B1 (en) * 2009-04-28 2013-02-26 Google Inc. System and method of using images to determine correspondence between locations
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
JP5512258B2 (ja) * 2009-12-25 2014-06-04 本田技研工業株式会社 向き計測装置、向き計測システム、向き計測方法、及び向き計測プログラム
EP2606472A2 (en) * 2010-06-11 2013-06-26 Estill, James A. System and method for manipulating data having spatial coordinates
JP5703801B2 (ja) * 2011-02-04 2015-04-22 富士通株式会社 ロボット、位置推定方法及びプログラム
US8704882B2 (en) * 2011-11-18 2014-04-22 L-3 Communications Corporation Simulated head mounted display system and method
EP2662828B1 (en) * 2012-05-11 2020-05-06 Veoneer Sweden AB A vision system and method for a motor vehicle
JP6079076B2 (ja) * 2012-09-14 2017-02-15 沖電気工業株式会社 物体追跡装置及び物体追跡方法
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
WO2015159547A1 (ja) * 2014-04-18 2015-10-22 日本電気株式会社 情報処理システム、制御方法、及びプログラム記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842038A (zh) * 2011-05-19 2012-12-26 富士重工业株式会社 环境识别装置及环境识别方法
CN103154666A (zh) * 2011-06-14 2013-06-12 日产自动车株式会社 距离测量装置以及环境地图生成装置
WO2013133129A1 (ja) * 2012-03-06 2013-09-12 日産自動車株式会社 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
JP2013186551A (ja) * 2012-03-06 2013-09-19 Nissan Motor Co Ltd 移動物体位置姿勢推定装置及び方法

Also Published As

Publication number Publication date
US9424649B1 (en) 2016-08-23
MX355313B (es) 2018-04-16
JPWO2015072217A1 (ja) 2017-03-16
WO2015072217A1 (ja) 2015-05-21
EP3070430A1 (en) 2016-09-21
EP3070430A4 (en) 2017-01-11
BR112016010089A2 (pt) 2020-11-10
BR112016010089B1 (pt) 2021-06-08
MX2016005904A (es) 2016-07-13
EP3070430B1 (en) 2019-08-14
US20160239973A1 (en) 2016-08-18
JP6112221B2 (ja) 2017-04-12
CN105723180A (zh) 2016-06-29
RU2621480C1 (ru) 2017-06-06

Similar Documents

Publication Publication Date Title
CN105723180B (zh) 移动体位置估计装置以及移动体位置估计方法
Braux-Zin et al. A general dense image matching framework combining direct and feature-based costs
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
CN109300142B (zh) 基于车辆的对象跟踪方法
Yang et al. Color-guided depth recovery from RGB-D data using an adaptive autoregressive model
EP2992508B1 (en) Diminished and mediated reality effects from reconstruction
Vogel et al. An evaluation of data costs for optical flow
US20150178900A1 (en) Depth image processing apparatus and method based on camera pose conversion
KR101554241B1 (ko) 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
CN114144809A (zh) 通过摄像机进行交通工具环境建模
CN102714697B (zh) 图像处理装置、图像处理方法及程序
KR102038570B1 (ko) 시차 이미지 생성 디바이스, 시차 이미지 생성 방법, 시차 이미지 생성 프로그램, 물체 인식 디바이스, 및 기기 제어 시스템
US20130004079A1 (en) Image processing apparatus, image processing method, and program thereof
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
KR101551026B1 (ko) 차량 검출 방법
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
CN111914913B (zh) 一种新型立体匹配优化方法
CN110992424B (zh) 基于双目视觉的定位方法和系统
US20110267430A1 (en) Detection Device of Planar Area and Stereo Camera System
CN104517099B (zh) 滤波装置和环境识别系统
Shen et al. Self-supervised learning of depth and motion under photometric inconsistency
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
Wang et al. Robust obstacle detection based on a novel disparity calculation method and G-disparity
CN109785367A (zh) 三维模型追踪中外点滤除方法和装置
CN115346191A (zh) 用于校准的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170815

CF01 Termination of patent right due to non-payment of annual fee