CN108027230B - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN108027230B
CN108027230B CN201680055411.8A CN201680055411A CN108027230B CN 108027230 B CN108027230 B CN 108027230B CN 201680055411 A CN201680055411 A CN 201680055411A CN 108027230 B CN108027230 B CN 108027230B
Authority
CN
China
Prior art keywords
section
self
road surface
information processing
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680055411.8A
Other languages
English (en)
Other versions
CN108027230A (zh
Inventor
加藤嵩明
鹤见辰吾
江岛公志
贝野彰彦
福地正树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108027230A publication Critical patent/CN108027230A/zh
Application granted granted Critical
Publication of CN108027230B publication Critical patent/CN108027230B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本公开涉及一种信息处理设备、信息处理方法和程序，其准确且连续地估计自身移动以便能够估计自身位置。作为本公开的一个方面的信息处理设备包括：向下成像单元，其被布置在沿着路面移动的移动体的底部并捕获路面的图像；以及移动估计单元，其基于由向下成像单元在不同时刻捕获的多个路面图像来估计移动体的移动。本公开可以例如应用于安装到汽车的位置传感器。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开涉及信息处理设备、信息处理方法和程序，并且更具体地涉及适用于估计安装在汽车或其他移动体中的设备的位置的信息处理设备、信息处理方法和程序。
背景技术
GPS(全球定位系统)通常被认为是在安装在汽车或其他移动体中时用于估计其位置的方案。根据GPS，当接收到从预定数量的卫星发送的信号时，可以估计其位置。但是，例如，如果GPS在高层建筑物附近行进或通过隧道行进，则由于无法接收到上述信号而无法估计GPS的位置。
如果引起这样的不便以至于无法估计移动体的位置，则应当用被定义为参考点的特定时间点处的已知位置来连续检测移动体(例如，汽车)的后续移动(移动的方向和速度)。更具体而言，例如，可想到的方法是将相机安装在移动体上，连续捕获周边环境的图像以获得时间顺序的图像，并且根据相同主体在时间顺序图像中的移动来检测移动体的移动。
但是，如果所采用的方法根据所捕获的周边环境的图像来检测移动体的移动，则可能会产生不便。更具体而言，如果所捕获的图像显示由于环境光而引起的高光溢出、所捕获的图像主要被与自身移动体一起行进的另一移动体(例如，在前的大型汽车)占据、所捕获的图像由于暴雨或其他恶劣天气而不清楚或者所捕获的图像由于缺少适当的附近主体而仅显示远景，则移动体的移动无法容易地被连续检测到。
为了解决上述问题而提出的一种方法是，不是通过捕获移动体周边环境的图像来检测移动，而是通过跟踪在通过连续捕获路面而获得的时间顺序图像中表示的路面上的特征点来检测移动(参考例如专利文献1或2)。
注意，为了通过跟踪路面上的特征点来检测移动，有必要准确地测量路面与相机之间的距离(从路面到相机的高度)。根据专利文献1，两个激光指示器将参考标记投射到路面上，以便根据参考标记之间的距离来测量路面到相机的距离。根据专利文献2，用正方形格子图案的光束来照射路面，以便根据正方形格子图案的变形来测量路面到相机的距离。
引用列表
专利文献
专利文献1：JP 2014-149209A
专利文献2：JP 2007-278951
发明内容
技术问题
专利文献1和专利文献2中描述的方法假定路面是完全平坦的。因此，在可能具有大量的斜坡和表面不规则性的实际路面上，无法准确地测量路面到相机的距离。结果，无法以高精度连续地检测自身移动体的移动方向和移动速度。
本公开是鉴于上述情况做出的并且能够准确且连续地估计自身移动体的移动(移动的方向和速度)。
问题的解决方案
根据本公开的一个方面的信息处理设备包括向下成像部和移动估计部。向下成像部被布置于在路面上行进的移动体的底部，并且捕获该路面的图像。移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计移动体的移动。
根据本公开的一个方面的信息处理设备还可以包括路面估计部，其估计到路面的距离。
向下成像部可以包括立体相机。路面估计部能够根据由立体相机在相同时间点捕获的一对路面图像来估计到路面的距离。
路面估计部可以包括ToF传感器。
根据本公开的一个方面的信息处理设备还可以包括投光部，其将纹理图案投射到路面上。路面估计部能够根据投射到由向下成像部所成像的路面上的纹理图案的图像来估计到路面的距离。
投光部可以兼作照亮向下成像部的成像范围的照明部。
根据本公开的一个方面的信息处理设备还可以包括照明部，其照亮向下成像部的成像范围。
根据本公开的一个方面的信息处理设备还可以包括第一自身位置估计部。第一自身位置估计部根据由移动估计部估计的移动体的移动来估计移动体的自身位置。
根据本公开的一个方面的信息处理设备还可以包括向外成像部和第二自身位置估计部。向外成像部被布置于在路面上行进的移动体中，并捕获移动体的周边环境的图像。第二自身位置估计部根据由向外成像部捕获的移动体的周边环境的图像来估计移动体的自身位置。
根据本公开的一个方面的信息处理设备还可以包括校正部。校正部通过使用由第二自身位置估计部估计的第二自身位置来校正由第一自身位置估计部估计的第一自身位置。
校正部能够对由第一自身位置估计部估计的第一自身位置和由第二自身位置估计部估计的第二自身位置进行加权平均。
校正部能够根据移动体的车速采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。
校正部能够根据从由向下成像部捕获的路面的图像中得到的地标的数量，采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。
根据本公开的一个方面的信息处理方法被在包括向下成像部和移动估计部的信息处理设备中使用。向下成像部被布置于在路面上行进的移动体的底部，并且捕获该路面的图像。移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计移动体的移动。该信息处理方法包括由移动估计部获取由向下成像部捕获的路面的图像的获取步骤，以及由移动估计部根据所获取的在不同时间点捕获的多个路面图像来估计移动体的移动的移动估计步骤。
根据本公开的一个方面的程序控制包括向下成像部和移动估计部的信息处理设备。向下成像部被布置于在路面上行进的移动体的底部，并且捕获该路面的图像。移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计移动体的移动。该程序使该信息处理设备中的计算机执行包括以下步骤的处理：获取由向下成像部捕获的路面的图像的获取步骤，以及根据所获取的在不同时间点捕获的多个路面图像来估计移动体的移动的移动估计步骤。
本公开的一个方面捕获由向下成像部捕获的路面的图像，并且根据在不同时间点捕获的多个路面图像来估计移动体的移动。
发明的有利效果
本公开的一个方面能够准确且连续地估计自身移动体的移动。
附图说明
图1是例示出本公开所应用于的信息处理设备的第一示例性配置的框图。
图2是例示出包括在向下成像部中的立体相机的示例性布置的示图。
图3是例示出包括在向下成像部中的立体相机的另一示例性布置的示图。
图4是例示出基于特征点的路面估计和移动估计的概况的示图。
图5是例示出由图1所描绘的信息处理设备执行的第一自身位置估计处理的流程图。
图6是例示出基于像素梯度的路面估计和移动估计的概况的示图。
图7是例示出由图1所描绘的信息处理设备执行的第二自身位置估计处理的流程图。
图8是例示出本公开所应用于的信息处理设备的第二示例性配置的框图。
图9是例示出由图8所描绘的信息处理设备执行的自身位置估计处理的流程图。
图10是例示出本公开所应用于的信息处理设备的第三示例性配置的框图。
图11是例示出包括在向外成像部中的相机的示例性布置的示图。
图12是例示出由图10所描绘的校正部执行的第一自身位置校正处理的流程图。
图13是例示出由图10所描绘的校正部执行的第二自身位置校正处理的流程图。
图14是例示出由图10所描绘的校正部执行的第三自身位置校正处理的流程图。
图15是例示出通用计算机的示例性配置的框图。
具体实施方式
现在将参照附图描述用于执行本公开的最佳模式(以下称为实施例)。
根据本公开的实施例的信息处理设备被安装在移动体中以估计其位置。注意，下面描述的实施例假定移动体是汽车。然而，信息处理设备不仅可以安装在汽车中，而且可以安装在包括自主移动机器人和诸如自行车和摩托车之类的车辆在内的各种其他移动体中。
<根据本公开的实施例的信息处理设备的第一示例性配置>
图1例示出了根据本公开的实施例的信息处理设备的第一示例性配置。
信息处理设备10包括向下成像部11、照明部13、控制部14和信息处理部15。
向下成像部11包括一对立体相机，即第一相机12L和第二相机12R(这些相机也可以被称为立体相机12)，以预定的帧速率捕获移动图像以获得时间顺序的帧图像，并且将时间顺序的帧图像输出到后一阶段。由第一相机12L在时间点t捕获的帧图像在下文中被称为第一图像(t)，并且由第二相机12R在时间t捕获的帧图像在下文中被称为第二图像(t)。
图2和图3例示出了汽车中的包括在向下成像部11中的一对立体相机12的示例性布置。在图2和图3中的A处描绘了该汽车的侧视图。在图2和图3中的B处描绘了该汽车的底视图。
如图2中的A所例示，立体相机12定向为向下，使得路面是不受外部光影响的成像范围。另外，如图2中的B所例示，立体相机12与汽车的宽度方向平行地布置并且以预定的距离(视差)间隔开。注意，立体相机12的布置不限于图2所例示的示例性布置。立体相机12可以布置在任何位置处，只要可以捕获路面的图像而不受外部光影响即可。例如，立体相机12可以布置在前轮轮胎的前面，如图3所例示。替代地，立体相机12可以布置在后轮轮胎后面或者附接到左车门后视镜和右车门后视镜。
另外，可以将两对或更多对的立体相机12包括在向下成像部11中。在这种情况下，如图3所例示，一对立体相机12布置在汽车底面的前方，而另一对立体相机12布置在汽车底面的后方。当如上所述将立体相机布置在汽车的底面上并且使其彼此间隔开时，即使在汽车高速行进时也可以实现后述的移动估计。
回到图1，照明部13用照明光来照射向下成像部11的成像范围。控制部14控制向下成像部11和照明部13。
信息处理部15包括路面估计部16、移动估计部17、路面环境估计部18和自身位置估计部19。
路面估计部16根据由立体相机12在相同时间点t捕获的第一图像(t)和第二图像(t)来执行路面估计。移动估计部17根据在时间点t捕获的第一图像(t)(或第二图像(t))和在紧接的前一时间点t-1捕获的第一图像(t-1)(或第二图像(t-1))来执行移动估计。下面详细描述这两种估计操作。
图4例示出了基于特征点的路面估计和移动估计的概况。
如图4所例示，通过检测第一图像(t)和第二图像(t)中的相同特征点并基于三角测量原理计算路面上的特征点与连接向下成像部11的立体相机的基线之间的距离(以下简称为特征点到相机的距离)来执行路面估计。
如图4所例示，通过检测第一图像(t)和第一图像(t-1)中的相同特征点以及根据这两个图像中的特征点之间的坐标差异估计自身移动体的移动来执行移动估计。注意，用于移动估计的两个图像不限于连续捕获的第一图像(t)和第一图像(t-1)。替代地，可以通过使用例如第一图像(t)和第一图像(t-2)或第一图像(t)和第一图像(t-3)来执行移动估计。
回到图1，路面环境估计部18根据路面估计的结果(特征点到相机的距离)来估计路面环境，即例如路面的坡度、不规则性和滑移(slipperiness)(μ)。注意，路面估计结果不仅可用于路面环境估计，而且可用于汽车的上下振动测量。上下振动测量的结果可用于振动控制。
自身位置估计部19通过将自身移动体的估计移动添加到参考点(即，在特定时间点处的已知位置)来估计当前自身位置(自身移动体的当前位置)。
<通过信息处理设备10的第一自身位置估计处理>
图5是例示出由信息处理设备10执行的第一自身位置估计处理的流程图。
按照与由向下成像部11的立体相机12成像的帧速率相等的间隔来重复执行第一自身位置估计处理。
另外，假定向下成像部11使用一对立体相机12以按预定帧速率预先捕获移动图像，以获得时间顺序的帧图像，并在输出阶段将时间顺序的帧图像输出到信息处理部15。还假定自身位置估计部19获取在特定时间点处的位置的地理坐标，并通过将这样的位置视为参考点来识别当前自身位置(自身移动体的位置)。
在步骤S1中，信息处理部15的路面估计部16获取在时间点t捕获的第一图像(t)和第二图像(t)。在步骤S2中，路面估计部16从第一图像(t)和第二图像(t)中检测特征点，在这些图像中识别相同的特征点，基于这些图像的视差匹配来执行路面估计，并且计算特征点到相机的距离。
在步骤S3中，信息处理部15的移动估计部17检测在时间点t捕获的第一图像(t)和在紧接的前一时间点t-1捕获的第一图像(t-1)中的相同特征点，并且根据这两个图像中的特征点之间的坐标差异来估计自身移动(自身汽车的移动)。
在步骤S4中，路面环境估计部18根据路面估计的结果(特征点到相机的距离)来估计路面环境，即例如路面的坡度和不规则性。同时，自身位置估计部19通过将当前估计的自身移动添加到已知的参考点或将其添加到先前估计的自身位置来估计当前自身位置。随后，处理返回到步骤S1，以便重复步骤S1及其以后的步骤。现在，对由信息处理设备10执行的第一自身位置估计处理的描述已经完成。
<通过信息处理设备10的第二自身位置估计处理>
如果可以假定路面是平面三角形的组合，则路面估计部16和移动估计部17能够通过使用基于像素梯度的方法来执行路面估计和移动估计。
图6例示出了通过使用基于像素梯度的方法来执行的路面估计和移动估计的概况。
如图6所例示，通过在路面上设置特定区域(如图6所描绘的通过组合多个三角形而获得的区域)并根据该特定区域在第一图像(t)中和第二图像(t)中的像素梯度直接估计该特定区域的平面形状(每个三角形的坡度)来执行路面估计。
如图6所例示，通过根据该特定区域在第一图像(t)中和第一图像(t-1)中的图像梯度检测该特定区域并根据该特定区域在这两个图像中的每一个中的像素梯度直接估计自身移动来执行移动估计。
图7是例示出为了通过使用基于像素梯度的方法来实现路面估计和移动估计而由信息处理设备10执行的第二自身位置估计处理的流程图。
按照与由向下成像部11的立体相机12成像的帧速率相等的间隔来重复执行第二自身位置估计处理。
另外，假定汽车所行进于的路面可以由包括平面的多边形模型来表示，并且假定向下成像部11使用一对立体相机12来以预定帧速率预先捕获在路面上设置的特定区域的移动图像以便获得时间顺序的帧图像，并且在输出阶段中将时间顺序的帧图像输出到信息处理部15。还假定自身位置估计部19获取在特定时间点处的位置的地理坐标，并且通过将这样的位置视为参考点来识别当前自身位置。
在步骤S11中，信息处理部15的路面估计部16获取在时间点t捕获的第一图像(t)和第二图像(t)。在步骤S12中，路面估计部16根据特定区域在第一图像(t)和第二图像(t)中的每一个中的像素梯度来直接估计特定区域的平面形状。
在步骤S13中，信息处理部15的移动估计部17根据特定区域在第一图像(t)和在紧接的前一时间点t-1捕获的第一图像(t-1)中的每一个中的像素梯度来直接估计自身移动(自身移动体的移动)。
在步骤S14中，路面环境估计部18根据所估计的特定区域的平面形状来估计路面环境，即，例如路面的坡度和不规则性。同时，自身位置估计部19通过将当前估计的自身移动添加到已知的参考点或将其添加到先前估计的自身位置来估计当前自身位置。随后，处理返回到步骤S11，使得重复步骤S11及其以后的步骤。现在，由信息处理设备10执行的第二自身位置估计处理的描述已经完成。
<根据本公开的实施例的信息处理设备的第二示例性配置>
图8例示出了根据本公开的实施例的信息处理设备的第二示例性配置。
该信息处理设备20包括向下成像部21、照明部22、投光部23、控制部24和信息处理部25。
向下成像部21包括相机。相机安装在移动体(例如，汽车)的底部并且定向为向下，使得路面是不受外部光影响的成像范围。向下成像部21按照预定帧速率捕获移动图像以获得时间顺序的帧图像，并将时间顺序的帧图像输出到后一阶段。在下文中，由向下成像部21的相机在时间点t捕获的帧图像被称为图像(t)。
照明部22用照明光来照射向下成像部21的成像范围。投光部23将纹理图案(结构光)投射到向下成像部21的成像范围上。注意，照明部22可以与投光部23集成在一起。另外，如果获得用于捕获当将纹理图案投射到成像范围上时可能存在于路面的成像范围内的特征点的图像的足够的照度，则不需要照射照明光。控制部24控制向下成像部21、照明部22和投光部23。
信息处理部25包括路面估计部26、移动估计部27、路面环境估计部28和自身位置估计部29。
路面估计部26根据表示用纹理图案照射的路面的图像(t)来执行路面估计。注意，代替投光部23和路面估计部26，也可以使用用于用激光照射路面并根据激光反射回来所需的时间来测量到路面的距离的ToF(Time of Flight，飞行时间)传感器。
移动估计部27通过跟踪在时间点t捕获的第一图像(t)(或第二图像(t))和在紧接的前一时间点t-1捕获的第一图像(t-1)(或第二图像(t-1))中的相同特征点来执行移动估计。
路面环境估计部28根据路面估计的结果(路面到相机的距离)来估计路面环境，即，例如路面的坡度和不规则性。
自身位置估计部29通过将估计的自身移动添加到参考点(即，在特定时间点处的已知位置)来估计当前自身位置。
<通过信息处理设备20的自身位置估计处理>
图9是例示出由信息处理设备20执行的自身位置估计处理的流程图。
按照与由向下成像部21成像的帧速率相等的间隔来重复执行该自身位置估计处理。
另外，假定向下成像部21按照预定的帧速率预先捕获用纹理图案照射的路面的图像以便获得时间顺序的帧图像，并在输出阶段将时间顺序的帧图像输出到信息处理部25。还假定自身位置估计部29获取特定时间点处的位置的地理坐标，并通过将这样的位置视为参考点来识别当前自身位置。
在步骤S21中，信息处理部25的路面估计部26获取在时间点t捕获的用纹理图案照射的路面的图像(t)。在步骤S22中，路面估计部26根据图像(t)中的纹理图案的形状来计算路面到相机的距离。
在步骤S23中，信息处理部25的移动估计部27检测在时间点t捕获的图像(t)和在紧接的前一时间点t-1捕获的图像(t-1)中的相同特征点，并根据这两个图像中的特征点之间的坐标差异以及在步骤S22中计算出的路面到相机的距离来估计自身移动(自身移动体的移动)。
在步骤S24中，路面环境估计部28根据路面估计的结果(路面到相机的距离)来估计道路环境，即，例如路面的坡度、不规则性和滑移。同时，自身位置估计部29通过将当前估计的自身移动添加到已知的参考点或将其添加到先前估计的自身位置来估计当前自身位置。随后，处理返回到步骤S21，以便重复步骤S21及其以后的步骤。现在，对由信息处理设备20执行的自身位置估计处理的描述已经完成。
上述信息处理设备10和20能够按照与成像的帧速率相等的间隔准确地估计自身移动。因此，可以准确估计当前自身位置。
然而，例如当汽车在无法容易检测到特征点的雪路或泥泞道路的路面上行进或正在以不能由向下成像部11的帧速率处理的高速行进时，可能无法估计自身移动或者估计的结果可能出错。因此，如果仅使用路面图像，则将会累积这样的误差，使得作为结果的所估计的自身位置偏离正确位置。
<根据本公开的实施例的信息处理设备的第三示例性配置>
图10例示出了根据本公开的实施例的信息处理设备的第三示例性配置，其解决了由自身位置估计误差的累积引起的作为结果的所估计的自身位置偏离正确位置的问题。
该信息处理设备30是通过向图1所描绘的信息处理设备10添加向外成像部31、车速检测部32和GPS处理部33并且用信息处理部34替换信息处理设备10的信息处理部15而获得的。信息处理设备30能够例如根据基于来自向外成像部31的图像的自身位置估计的结果来校正基于来自向下成像部11的图像的自身位置估计的结果。
作为信息处理部15的替代的信息处理部34是通过向由信息处理部34替换的信息处理部15添加SLAM处理部35和校正部36而获得的。注意，信息处理设备30的与信息处理设备10的组件相同的组件由与对应元件相同的附图标记来指示，并且将不再冗余地描述。
向外成像部31包括至少一个相机，该至少一个相机被附接到移动体并且被定向为捕获周边环境的图像。由向外成像部31捕获的图像被供应给SLAM处理部35。
图11例示出了当向外成像部31中所包括的一个或多个相机被附接到汽车(即，移动体)时使用的示例性相机布置。广角相机或全方位相机可以被采用并且被定向为捕获例如汽车的前方、侧方或向后视野的图像。
回到图10，车速检测部32根据例如从汽车得到的车速脉冲来检测移动体的行进速度。GPS处理部33接收GPS信号并根据接收到的GPS信号来识别自身位置。SLAM处理部35通过检查用于来自向外成像部31的显示汽车的周边环境的图像的数据库来估计自身位置。该数据库可被包含在SLAM处理部35中或被布置在可通过通信网络连接的服务器中。
通过使用由GPS处理部33根据GPS信号识别的自身位置并且使用由SLAM处理部35估计的自身位置，校正部36校正由自身位置估计部19基于由向下成像部11捕获的图像而进行的自身位置估计的结果。
<通过校正部36的第一自身位置校正处理>
图12是例示出由校正部36执行的第一自身位置校正处理的流程图。
第一自身位置校正处理根据基于来自向外成像部31的图像的第二自身位置估计结果wTcO来校正基于来自向下成像部11的图像的第一自身位置估计结果wTcG。
在步骤S31中，校正部36从自身位置估计部19获取基于来自向下成像部11的图像的第一自身位置估计结果wTcG。
在步骤S32中，校正部36从SLAM处理部35获取基于来自向外成像部31的图像的第二自身位置估计结果wTcO。
在步骤S33中，根据下面的公式(1)，校正部36通过对在步骤S31中获取的第一自身位置估计结果wTcG和在步骤S32中获取的第二自身位置估计结果wTcO进行加权平均来进行校正，并获取校正后的自身位置wTc。
wTc＝α×wTcG+(1-α)×wTcO---(1)
这里，α是满足关系表达式0<α<1的值。注意，可以如卡尔曼滤波器的情况那样自适应地设置α的值。
注意，可以使用由GPS处理部33根据GPS信号识别的自身位置wTcGPS来代替基于来自向外成像部31的图像的自身位置估计结果wTcO。
可以按照预定的间隔间歇地执行上述第一自身位置校正处理。当以这种方式执行时，第一自身位置校正处理校正基于路面图像估计的自身位置wTcG中的误差的累积。
<通过校正部36的第二自身位置校正处理>
图13是例示出由校正部36执行的第二自身位置校正处理的流程图。
当汽车的车速vt等于或高于预定的阈值时，第二自身位置校正处理采用基于来自向外成像部31的图像的第二自身位置估计结果wTcO，而不是基于来自向下成像部11的图像的第一自身位置估计结果wTcG。
在步骤S41中，校正部36从自身位置估计部19获取基于来自向下成像部11的图像的第一自身位置估计结果wTcG。
在步骤S42中，校正部36从SLAM处理部35获取基于来自向外成像部31的图像的第二自身位置估计结果wTcO。
在步骤S43中，校正部36从车速检测部32获取车速vt，并判定车速vt是否等于或高于预定的阈值。
如果车速vt等于或高于预定的阈值，则可以想到的是，第一自身位置估计结果wTcG容易出错。因此，校正部36进入步骤S44，并采用第二自身位置估计结果wTcO作为最终自身位置估计结果wTc。
相反，如果车速vt低于预定的阈值，则可以想到的是，第一自身位置估计结果wTcG不容易出错。因此，校正部36进入步骤S45，并采用第一自身位置估计结果wTcG作为最终自身位置估计结果wTc。
注意，可以使用由GPS处理部33根据GPS信号识别的自身位置wTcGPS来代替基于来自向外成像部31的图像的自身位置估计结果wTcO。
可以不断地重复上述第二自身位置校正处理。结果，如果第一自身位置估计结果wTcG出错，则可以采用第二自身位置估计结果wTcO。
<通过校正部36的第三自身位置校正处理>
图14是例示出由校正部36执行的第三自身位置校正处理的流程图。
如果在基于来自向下成像部11的图像的第一自身位置估计处理期间在来自向下成像部11的图像中识别出的地标(识别出其真实空间坐标的特征点)的数量xt小于预定的阈值，则第三自身位置校正处理采用基于来自向外成像部31的图像的第二自身位置估计结果wTcO，而不是基于来自向下成像部11的图像的第一自身位置估计结果wTcG。
在步骤S51中，校正部36从自身位置估计部19获取基于来自向下成像部11的图像的第一自身位置估计结果wTcG。
在步骤S52中，校正部36从SLAM处理部35获取基于来自向外成像部31的图像的第二自身位置估计结果wTcO。
在步骤S53中，校正部36从路面环境估计部18获取在来自向下成像部11的图像中识别出的地标的数量xt，并且确定地标的数量xt是否等于或大于预定的阈值。
如果地标的数量xt等于或大于预定的阈值，则可以想到的是，第一自身位置估计结果wTcG不容易出错。因此，校正部36进入步骤S54，并采用第一自身位置估计结果wTcG作为最终自身位置估计结果wTc。
相反，如果地标的数量xt小于预定的阈值，则可以想到的是，第一自身位置估计结果wTcG容易出错。因此，校正部36进入步骤S55，并采用第二自身位置估计结果wTcO作为最终自身位置估计结果wTc。
注意，可以使用由GPS处理部33根据GPS信号识别出的自身位置wTcGPS来代替基于来自向外成像部31的图像的自身位置估计结果wTcO。
可以不断地重复上述第三自身位置校正处理。结果，如果第一自身位置估计结果wTcG出错，则可以采用第二自身位置估计结果wTcO。
<结论>
如上所述，信息处理设备10、20和30能够准确且连续地估计自身移动和当前自身位置。
另外，即使所估计的自身移动和自身位置出错，信息处理设备30也能够校正这些错误而不允许它们累积。
由信息处理设备10中的信息处理部15、信息处理设备20中的信息处理部25和信息处理设备30中的信息处理部34所要执行的一系列处理可以由硬件来执行或由软件来执行。当所述一系列处理要由软件来执行时，形成该软件的程序被安装在计算机中。该计算机可以例如是内置在专用硬件中的计算机或通用个人计算机或能够在安装有各种程序的情况下执行各种功能的其他计算机。
图15是例示出执行程序以执行上述一系列处理的计算机的示例性硬件配置的框图。
在计算机100中，CPU(中央处理单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103通过总线104而互连。
总线104还连接到输入/输出接口105。输入/输出接口105连接到输入部106、输出部107、存储部108、通信部109和驱动器110。
输入部106例如由键盘、鼠标和麦克风形成。输出部107例如由显示器和扬声器形成。存储部108例如由硬盘和非易失性存储器形成。通信部109例如由网络接口形成。驱动器110驱动磁盘、光盘、磁光盘或诸如半导体存储器之类的可移动介质111。
在如上所述配置的计算机100中，通过允许CPU 101将存储在例如存储部108中的程序通过输入/输出接口105和总线104加载到RAM 103中并执行所加载的程序来执行上述一系列处理。
注意，由计算机100所要执行的程序可以按照本文档中描述的顺序按照时间顺序进行处理、以并行方式进行处理或者响应于例如调用而在适当的时间点处进行处理。
注意，本公开不限于前述实施例。在不脱离本公开的精神的情况下可以做出各种改变和修改。
本公开可以采用以下配置。
(1)一种信息处理设备，包括：
向下成像部，该向下成像部被布置于在路面上行进的移动体的底部并捕获该路面的图像；以及
移动估计部，该移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计该移动体的移动。
(2)如上面的(1)中所述的信息处理设备，还包括：
路面估计部，该路面估计部估计到路面的距离。
(3)如上面的(2)中所述的信息处理设备，其中，向下成像部包括立体相机，并且路面估计部根据由立体相机在相同时间点捕获的一对路面图像来估计到路面的距离。
(4)如上面的(2)中所述的信息处理设备，其中，路面估计部包括ToF传感器。
(5)如上面的(2)中所述的信息处理设备，还包括：
投光部，该投光部将纹理图案投射到路面上；
其中，路面估计部根据投射到由向下成像部成像的路面上的纹理图案的图像来估计到路面的距离。
(6)如上面的(5)中所述的信息处理设备，其中，投光部兼作照亮向下成像部的成像范围的照明部。
(7)如以上(1)至(5)中任一项所述的信息处理设备，还包括：
照明部，该照明部照亮向下成像部的成像范围。
(8)如以上(1)至(7)中任一项所述的信息处理设备，还包括：
第一自身位置估计部，该第一自身位置估计部根据由移动估计部估计的移动体的移动来估计移动体的自身位置。
(9)如以上(1)至(8)中任一项所述的信息处理设备，还包括：
向外成像部，该向外成像部被布置于在路面上行进的移动体上并捕获移动体的周边环境的图像；以及
第二自身位置估计部，该第二自身位置估计部根据由向外成像部捕获的移动体的周边环境的图像来估计移动体的自身位置。
(10)如上面的(9)中所述的信息处理设备，还包括：
校正部，该校正部通过使用由第二自身位置估计部估计的第二自身位置来校正由第一自身位置估计部估计的第一自身位置。
(11)如上面的(10)中所述的信息处理设备，其中，校正部对由第一自身位置估计部估计的第一自身位置和由第二自身位置估计部估计的第二自身位置进行加权平均。
(12)如上面的(10)中所述的信息处理设备，其中，校正部根据移动体的车速采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。
(13)如上面的(10)中所述的信息处理设备，其中，校正部根据从由向下成像部捕获的路面的图像中得到的地标的数量，采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。
(14)一种信息处理方法，该信息处理方法被在包括向下成像部和移动估计部的信息处理设备中使用，向下成像部被布置于在路面上行进的移动体的底部并且捕获该路面的图像，移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计移动体的移动，该信息处理方法包括：
由移动估计部获取由向下成像部捕获的路面的图像的获取步骤；和
由移动估计部根据所获取的在不同时间点捕获的多个路面图像来估计移动体的移动的移动估计步骤。
(15)一种控制信息处理设备的程序，该信息处理设备包括向下成像部和移动估计部，向下成像部被布置于在路面上行进的移动体的底部并且捕获该路面的图像，移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计移动体的移动，该程序使该信息处理设备中的计算机执行包括以下步骤的处理：
获取由向下成像部捕获的路面的图像的获取步骤；和
根据所获取的在不同时间点捕获的多个路面图像来估计移动体的移动的移动估计步骤。
附图标记列表
10 信息处理设备
11 向下成像部
12 立体相机
13 照明部
14 控制部
15 信息处理部
16 路面估计部
17 移动估计部
18 路面环境估计部
19 自身位置估计部
20 信息处理设备
21 向下成像部
22 照明部
23 投光部
24 控制部
25 信息处理部
26 路面估计部
27 移动估计部
28 路面环境估计部
29 自身位置估计部
30 信息处理设备
31 向外成像部
32 车速检测部
33 GPS处理部
34 信息处理部
35 SLAM处理部
36 校正部
100 计算机
101 CPU

Claims (11)

1.一种信息处理设备，包括：
向下成像部，所述向下成像部被布置于在路面上行进的移动体的底部并且捕获所述路面的图像；
移动估计部，所述移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计所述移动体的移动；
路面估计部，所述路面估计部估计到所述路面的距离；
第一自身位置估计部，所述第一自身位置估计部根据由移动估计部估计的移动体的移动来估计移动体的自身位置；
向外成像部，所述向外成像部被布置于在路面上行进的移动体上并捕获移动体的周边环境的图像；
第二自身位置估计部，所述第二自身位置估计部根据由向外成像部捕获的移动体的周边环境的图像来估计移动体的自身位置；以及
校正部，所述校正部通过使用由第二自身位置估计部估计的第二自身位置来校正由第一自身位置估计部估计的第一自身位置。
2.根据权利要求1所述的信息处理设备，其中，所述向下成像部包括立体相机，并且所述路面估计部根据由所述立体相机在相同时间点捕获的一对路面图像来估计到所述路面的距离。
3.根据权利要求1所述的信息处理设备，其中，所述路面估计部包括ToF传感器。
4.根据权利要求1所述的信息处理设备，还包括：
投光部，所述投光部将纹理图案投射到所述路面上；
其中，所述路面估计部根据投射到由向下成像部成像的路面上的纹理图案的图像来估计到所述路面的距离。
5.根据权利要求4所述的信息处理设备，其中，所述投光部兼作照亮向下成像部的成像范围的照明部。
6.根据权利要求1所述的信息处理设备，还包括：
照明部，所述照明部照亮向下成像部的成像范围。
7.根据权利要求1所述的信息处理设备，其中，所述校正部对由第一自身位置估计部估计的第一自身位置和由第二自身位置估计部估计的第二自身位置进行加权平均。
8.根据权利要求1所述的信息处理设备，其中，所述校正部根据移动体的车速采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。
9.根据权利要求1所述的信息处理设备，其中，所述校正部根据从由向下成像部捕获的所述路面的图像中得到的地标的数量，采用由第二自身位置估计部估计的第二自身位置，而不是由第一自身位置估计部估计的第一自身位置。
10.一种信息处理方法，所述信息处理方法被在包括向下成像部、移动估计部、路面估计部、第一自身位置估计部、向外成像部、第二自身位置估计部和校正部的信息处理设备中使用，所述向下成像部被布置于在路面上行进的移动体的底部并且捕获所述路面的图像，所述移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计所述移动体的移动，所述向外成像部被布置于在路面上行进的移动体上，所述信息处理方法包括：
由移动估计部获取由向下成像部捕获的所述路面的图像的获取步骤；
由移动估计部根据所获取的在不同时间点捕获的多个路面图像来估计所述移动体的移动的移动估计步骤；
由路面估计部估计到所述路面的距离的距离估计步骤；
由所述第一自身位置估计部根据由移动估计部估计的移动体的移动来估计移动体的自身位置的第一自身位置估计步骤；
由所述向外成像部捕获移动体的周边环境的图像的捕获步骤；
由所述第二自身位置估计部根据由向外成像部捕获的移动体的周边环境的图像来估计移动体的自身位置的第二自身位置估计步骤；以及
由所述校正部通过使用由第二自身位置估计部估计的第二自身位置来校正由第一自身位置估计部估计的第一自身位置的校正步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质上存储有控制信息处理设备的程序，所述信息处理设备包括向下成像部、移动估计部、路面估计部、第一自身位置估计部、向外成像部、第二自身位置估计部和校正部，所述向下成像部被布置于在路面上行进的移动体的底部并且捕获所述路面的图像，所述移动估计部根据由向下成像部在不同时间点捕获的多个路面图像来估计所述移动体的移动，所述向外成像部被布置于在路面上行进的移动体上，所述程序包括指令，所述指令在由所述信息处理设备中的计算机执行时使所述信息处理设备中的计算机执行包括以下步骤的处理：
获取由向下成像部捕获的所述路面的图像的获取步骤；
根据所获取的在不同时间点捕获的多个路面图像来估计所述移动体的移动的移动估计步骤；
估计到所述路面的距离的距离估计步骤；
根据由移动估计部估计的移动体的移动来估计移动体的自身位置的第一自身位置估计步骤；
捕获移动体的周边环境的图像的捕获步骤；
根据由向外成像部捕获的移动体的周边环境的图像来估计移动体的自身位置的第二自身位置估计步骤；以及
通过使用由第二自身位置估计部估计的第二自身位置来校正由第一自身位置估计部估计的第一自身位置的校正步骤。
CN201680055411.8A 2015-09-30 2016-09-16 信息处理设备、信息处理方法和程序 Expired - Fee Related CN108027230B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-194553 2015-09-30
JP2015194553 2015-09-30
PCT/JP2016/077425 WO2017057052A1 (ja) 2015-09-30 2016-09-16 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN108027230A CN108027230A (zh) 2018-05-11
CN108027230B true CN108027230B (zh) 2020-10-23

Family

ID=58427562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055411.8A Expired - Fee Related CN108027230B (zh) 2015-09-30 2016-09-16 信息处理设备、信息处理方法和程序

Country Status (4)

Country Link
US (1) US10731994B2 (zh)
JP (1) JP6780648B2 (zh)
CN (1) CN108027230B (zh)
WO (1) WO2017057052A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017008246A1 (en) * 2015-07-14 2017-01-19 SZ DJI Technology Co., Ltd. Method, apparatus, and system for determining a movement of a mobile platform
US10740612B2 (en) * 2017-07-20 2020-08-11 International Business Machines Corporation Location determination
JP6941543B2 (ja) * 2017-11-17 2021-09-29 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7127289B2 (ja) * 2018-02-08 2022-08-30 株式会社デンソー 運転支援装置、プログラム、運転支援方法
CN112106003A (zh) * 2018-03-29 2020-12-18 索尼公司 控制器、控制方法和程序
JP2021043486A (ja) 2019-09-06 2021-03-18 株式会社東芝 位置推定装置
JP7283579B2 (ja) * 2019-12-09 2023-05-30 日本電気株式会社 自己位置推定装置、自己位置推定方法及びプログラム
JP2022142515A (ja) * 2021-03-16 2022-09-30 本田技研工業株式会社 移動体の移動量を推定する情報処理装置、情報処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1452714A (zh) * 2000-02-21 2003-10-29 西门子公司 对于一个系统形成总位置信息的方法和装置
CN1690659A (zh) * 2004-04-23 2005-11-02 株式会社自动网络技术研究所 车辆周围环境观察设备
CN101529201A (zh) * 2006-10-20 2009-09-09 电子地图有限公司 用于匹配不同来源的位置数据的计算机布置和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3677974B2 (ja) 1997-12-09 2005-08-03 アシスト シンコー株式会社 移動体の位置決め装置
US6041274A (en) * 1997-04-21 2000-03-21 Shinko Electric Co., Ltd. Positional deviation detecting device for a mobile body and position correcting apparatus for a working machine mounted on a mobile body
KR100500842B1 (ko) 2002-10-31 2005-07-12 삼성광주전자 주식회사 로봇청소기와, 그 시스템 및 제어방법
US20050234679A1 (en) * 2004-02-13 2005-10-20 Evolution Robotics, Inc. Sequential selective integration of sensor data
GB0503392D0 (en) * 2005-02-18 2005-03-23 King S College London Vehicle location
JP4780614B2 (ja) * 2006-04-10 2011-09-28 アルパイン株式会社 車体挙動測定装置
JP6140463B2 (ja) 2013-01-31 2017-05-31 本田技研工業株式会社 車速算出装置
JP2015138530A (ja) 2014-01-24 2015-07-30 清水建設株式会社 移動体位置検出システムおよび方法
JP6398217B2 (ja) 2014-02-24 2018-10-03 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1452714A (zh) * 2000-02-21 2003-10-29 西门子公司 对于一个系统形成总位置信息的方法和装置
CN1690659A (zh) * 2004-04-23 2005-11-02 株式会社自动网络技术研究所 车辆周围环境观察设备
CN101529201A (zh) * 2006-10-20 2009-09-09 电子地图有限公司 用于匹配不同来源的位置数据的计算机布置和方法

Also Published As

Publication number Publication date
US10731994B2 (en) 2020-08-04
JPWO2017057052A1 (ja) 2018-07-19
CN108027230A (zh) 2018-05-11
WO2017057052A1 (ja) 2017-04-06
JP6780648B2 (ja) 2020-11-04
US20180266830A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
CN108027230B (zh) 信息处理设备、信息处理方法和程序
US9274526B2 (en) Autonomous vehicle and method of estimating self position of autonomous vehicle
CN107567412B (zh) 利用汽车相机使用车辆运动数据的对象位置测量
US10616555B2 (en) Method and device for ascertaining an image of the surroundings of a vehicle
JP2018124787A (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP2018036067A (ja) 自車位置認識装置
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2017004176A (ja) 路面標示検出装置及び路面標示検出方法
US11663808B2 (en) Distance estimating device and storage medium storing computer program for distance estimation
JP2019056629A (ja) 距離推定装置及び方法
WO2019073772A1 (ja) 移動体の位置推定装置及び位置推定方法
JP6988873B2 (ja) 位置推定装置および位置推定用コンピュータプログラム
JP7456857B2 (ja) 自己位置推定装置
JP6815935B2 (ja) 位置推定装置
JP7280371B2 (ja) 車両コンポーネントの運動を補償するためのシステム、商用車両、方法およびコンピュータプログラム
CN109309785B (zh) 拍摄控制装置以及拍摄控制方法
JP2019029986A (ja) 撮像制御装置および撮像制御方法
US11461928B2 (en) Location estimation apparatus
US20240112363A1 (en) Position estimation system, position estimation method, and program
JP4196211B2 (ja) 画像処理装置及び画像処理方法
CN112272757A (zh) 一种探测装置的外参数标定方法、装置及可移动平台
KR102721928B1 (ko) 차량 구성요소의 움직임을 보상하기 위한 시스템 및 방법
US20240255304A1 (en) Control device
JP2018044769A (ja) 自己位置推定装置、移動体及び自己位置推定方法
KR101767169B1 (ko) 비전 센서 기반 자이로 드리프트 감소 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201023

CF01 Termination of patent right due to non-payment of annual fee