CN110959143A - 信息处理装置、信息处理方法、程序和移动体 - Google Patents

信息处理装置、信息处理方法、程序和移动体 Download PDF

Info

Publication number
CN110959143A
CN110959143A CN201880049231.8A CN201880049231A CN110959143A CN 110959143 A CN110959143 A CN 110959143A CN 201880049231 A CN201880049231 A CN 201880049231A CN 110959143 A CN110959143 A CN 110959143A
Authority
CN
China
Prior art keywords
section
movement
allowable area
plane
normal direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880049231.8A
Other languages
English (en)
Other versions
CN110959143B (zh
Inventor
元山琢人
小柳津秀纪
周藤泰广
山崎寿夫
土场健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110959143A publication Critical patent/CN110959143A/zh
Application granted granted Critical
Publication of CN110959143B publication Critical patent/CN110959143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Input (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种能够检测构成移动允许区域的平面的信息处理装置，并且涉及一种信息处理方法、程序和移动体。基于由偏振相机获取的多个偏振方向上的偏振图像来检测构成路面的平面的法线方向。激光测距传感器测量到路面上的某个点的距离，从而测量该点的位置。基于与构成路面的平面的法线方向有关的信息以及与该点在路面上的位置有关的信息来标识构成路面的平面。本公开可以应用于车载系统。

Description

信息处理装置、信息处理方法、程序和移动体
技术领域
本公开涉及信息处理装置、信息处理方法、程序和移动体。更具体地，本公开涉及一种能够检测构成移动允许区域的平面的信息处理装置，并且涉及一种信息处理方法、程序和移动体。
背景技术
为了实现移动体的自主移动，移动体必须识别自身的位置。要做到这一点，首先需要识别自己周围环境的状态，从中生成局部图，并据此估计自己的位置。
已经提出了一种技术，其中获取偏振图像并从所获取的偏振图像估计法向量，然后将法向量与深度图集成，以提高深度图的精度(参见专利文献1)。可以想到将该技术应用于根据关于从偏振图像获得的法线方向的信息来识别物体当中，以用于生成局部图。
引用列表
专利文献
专利文献1：日本专利公开No.2015-114307
发明内容
[技术问题]
然而，由于从偏振图像获得的法线方向信息不是三维信息，因此可以识别图像中的物体，但是不能识别到这些物体的距离。这使得不能直接生成局部图。
鉴于以上情况做出了本公开。本公开的一个特定目的是提供一种用于基于从偏振图像获得的法线方向信息，通过识别构成移动允许区域的三维空间中的平面来生成局部图的装置。
[技术问题的解决方案]
根据本公开的一个方面，提供了一种信息处理装置，包括：移动允许区域法线检测部分，被配置为检测构成移动体的移动允许区域的平面的法线方向；位置标识部分，其被配置为标识点在构成移动允许区域的平面上的位置；以及平面标识部分，其被配置为基于移动允许区域的法线方向和点在移动允许区域中的位置来标识构成移动允许区域的平面。
信息处理装置可以进一步包括偏振相机，其被配置为在多个偏振方向上获取偏振图像。移动允许区域法线检测部分可以基于偏振图像检测构成移动体的移动允许区域的平面的法线方向。
信息处理装置还可以包括：法线方向检测部分，被配置为以像素为单位检测偏振图像中的被摄体的表面的法线方向，然后将检测到的法线方向作为法向量图输出；重构部分，被配置为从多个偏振图像重构非偏振图像；以及属性设置部分，被配置为将被摄体的属性设置到非偏振图像中的每个像素。移动允许区域法线检测部分可以在法向量图上检测主法线方向，其对应于非偏振图像中具有其属性被属性设置部分设置为移动允许区域的那些像素的区域，主法线方向是构成移动允许区域的平面的法线方向。
属性设置部分可以通过语义分割来将被摄体的属性设置到非偏振图像中的每个像素。
信息处理装置还可以包括环境建图部分，被配置为基于与被设置到非偏振图像中的每个像素有关的被摄体的属性有关的信息以及与由平面标识部分标识的平面有关的信息来生成环境图。
给定与被设置到非偏振图像中的每个像素的被摄体的属性有关的信息，环境建图部分可以基于与其属性被设置为移动允许区域的像素有关的信息和与其属性被设置为障碍物的像素有关的信息来生成环境图，环境图指示障碍物在构成移动允许区域的平面上的位置。
给定与被设置到非偏振图像中的每个像素的被摄体的属性有关的信息，环境建图部分可以通过将在构成移动允许区域的平面上且对应于属性被设置为移动允许区域的像素的区域与属性被设置为障碍物的像素的区域之间在垂直向下方向上的边界像素的位置作为障碍物在构成移动允许区域的平面上的位置，来生成环境图。
环境图可以是占据栅格图(Occupancy Grid Map)。
信息处理设备还可以包括坐标系整合部分，被配置为将指示由位置标识部分所标识的点在移动允许区域中的位置的坐标系与由偏振相机获取的偏振图像的坐标系进行整合。
信息处理设备还可以包括测距部分，被配置为测量到移动允许区域中的点的距离。位置标识部分可以基于由测距部分测量的到移动允许区域中的点的距离，来标识该点在移动允许区域中的位置。
测距部分可以是激光测距传感器、立体相机或毫米波雷达。
移动允许区域可以是路面。
另外，根据本公开的一个方面，提供了一种信息处理方法，包括以下步骤：基于偏振图像检测构成移动体的移动允许区域的平面的法线方向；标识点在移动允许区域中的位置；基于移动允许区域的法线方向和该点在移动允许区域中的位置标识构成移动允许区域的平面。
另外，根据本公开的一个方面，提供了一种程序，使计算机执行以下过程：移动允许区域法线检测部分，被配置为基于偏振图像检测构成移动体的移动允许区域的平面的法线方向；位置标识部分，被配置为标识点在构成移动允许区域的平面上的位置；平面标识部分，被配置为基于移动允许区域的法线方向和该点在移动允许区域中的位置，来标识构成移动允许区域的平面。
另外，根据本公开的一个方面，提供了一种移动体，其包括：移动允许区域法线检测部分，被配置为基于偏振图像检测构成移动体的移动允许区域的平面的法线方向；位置标识部分，被配置为标识点在构成移动允许区域的平面上的位置；平面标识部分，被配置为基于移动允许区域的法线方向和该点在移动允许区域中的位置来标识构成移动允许区域的平面；环境建图部分，被配置为基于由平面标识部分标识的平面生成环境图；规划部分，被配置为基于由环境建图部分生成的环境图来规划移动路线；以及控制部分，被配置为基于由规划部分规划的移动路线来控制移动体的动作。
因此，根据本公开的一个方面，基于偏振图像来检测构成移动体的移动允许区域的平面的法线方向。标识点在构成移动允许区域的平面上的位置。然后基于移动允许区域的法线方向和该点在移动允许区域中的位置来标识构成移动允许区域的平面。
[本发明的有益效果]
根据本公开的一个方面，特别是可以基于从偏振图像获得的法线方向信息识别构成移动允许区域的平面，从而生成局部图。
附图说明
图1是说明根据本公开的用于标识构成路面的平面的原理的图。
图2是说明基于构成路面的平面来生成环境图的方法的图。
图3是说明根据本公开的用于控制移动体的移动体控制系统的示例性配置的框图。
图4是根据本公开的用于生成环境图的示例性配置的详细框图。
图5是说明激光测距传感器的图。
图6是说明激光测距传感器的坐标系与偏振相机的坐标系之间的变换的图。
图7是说明检测图像中的被摄体表面的法线方向的示例的图。
图8是说明获得构成路面的平面的方法的图。
图9是说明语义分割的图。
图10是说明环境图的生成方法的图。
图11是说明环境图生成过程的流程图。
图12是说明环境建图过程的流程图。
图13是说明通用计算机的示例性配置的图。
具体实施方式
下面参考附图详细描述本公开的一个优选实施例。在整个随后的描述和附图中，具有基本相同的功能和配置的组成元件由相同的附图标记表示，并且不再重复其冗余的说明。
下面描述用于实现本技术的一个优选实施例。将按照以下顺序给出描述。
1.本公开的优选实施例
2.通过软件执行流程的示例
<<1.本公开的优选实施例>>
<本公开的概述>
本公开的移动体是生成自主移动所需的局部图的移动体。
在下文中概述了本公开的移动体11如何在三维空间中标识构成路面的平面S，从而基于关于所标识的平面S的信息来生成环境图。例如，图1示出了当移动体11在路面13上向右前进时的移动体11，如在图中所见。在图1中，在路面13上，在移动体11的前进方向前面有障碍物12。
如在图1的左部分所示，移动体11包括偏振相机21和激光测距传感器22。
偏振相机21获取在移动体11的前进方向上的前方的多个偏振方向上具有视场角Z1的偏振图像。
基于由偏振相机21获取的多个偏振方向上的偏振图像，移动体11检测构成路面13的平面S的法线方向(法向量)N(nx,ny,nz)，如图1的右部分所示。顺便提一下，关于检测法线方向的原理请参考专利文献1。
激光测距传感器22使用ToF(飞行时间)方法测量从移动体11在其前进方向上到路面13的距离。距路面13的距离例如通过测量从将激光投射至路面13到接收到来自路面13上的点X的反射光为止的时间间隔来获得。
由激光测距传感器22测量的位置是到路面13上的该位置的距离，预先标识了从移动体11到该位置的方向。由此得出，一旦获得该距离，就测量出了点X(x,y,z)在平面S上的位置。
然后从平面S的法线方向N(nx,ny,nz)和平面S上的点X(x,y,z)标识构成路面13的平面S。
换句话说，平面S的方程定义为以下数学表达式(1)：
[数学表达式1]
NTX+d＝0
Figure BDA0002377814460000061
Figure BDA0002377814460000062
d:系数
在上式中，X代表由激光测距传感器22在平面S上测得的坐标X，N代表平面S的法向量，T代表转置，d代表系数。
换句话说，系数d是通过输入到上式(1)中的平面S的法向量N和坐标位置X求解上式(1)而获得的。然后，将获取的系数d用于标识平面S。
因此，标识了由平面S构成的路面13的平面。
<使用构成路面的平面来生成局部图>
接下来参考图2进行说明的是通过使用构成路面的平面来生成局部图(下文将讨论的环境图)。
例如，假设如图2的左部分所示，偏振相机21从构图获取具有视场角Z1的图像P1，在该构图中，人34在路面31上左右侧为三维建筑物32-1和32-2、背景为可见的天空33的空间中。
偏振相机21获取多个偏振方向上的图像，而图2的左部分的图像P1是通过对多个偏振方向上的图像求平均而重构的普通非偏振图像。
图像P中的被摄体类型可以通过包括机器学习(例如后文将讨论的深度学习)在内的语义分割技术，以像素为单位来标识。
因此，在图2的左部分中描绘的图像P1的情况下，如图2的顶部中央所示，图像P1中的像素通过语义分割被分类如下：属于图像P1的下部分中的区域Z31的像素代表路面31；属于区域Z32-1和Z32-2的像素分别代表左右三维建筑物32-1和32-2；属于区域Z33的像素代表背景中上部的天空33；以及属于区域Z34的像素代表人34。
因为图像P1是二维图像，所以不能识别三维空间中的每个像素的位置。
然而，在路面31的情况下，与图1的路面13一样，可以通过使用激光测距传感器22测量到路面31上的预定点的距离来标识构成路面31的平面S。因此，图像P1的区域Z31中的每个像素的坐标可以在构成相应路面31的平面S上及进行标识。
另一方面，在诸如三维建筑物32-1和32-2以及假设站在路面31上的人34之类的对于移动体11的障碍物的情况下，图像P1中三维建筑物32-1和32-2的每个区域Z32-1和Z32-2与人34的区域Z34，在竖直向下方向上与路面31的区域Z31之间的边界可以被认为代表三维建筑物32-1和32-2以及人34所站立的路面31的位置。
本文考虑，如在图2的顶部中心的图像P1中的方形单元所示，在图像P1中的路面区域Z31与三维建筑物32-1和32-2的区域Z32-1和Z32-2以及人34的区域Z34之间在垂直向下方向上的边界像素51。
然后，可以考虑属于路面31的区域Z31与三维建筑物32-1和32-2的区域Z32-1和Z32-2以及人34的区域Z34之间的边界的边界像素51在平面S上具有相同的位置。
因此，如在图2的底部中心所示，边界像素51和沿着同一视线在平面S上的交点61彼此关联。该关联使得可以在构成路面的平面S上标识诸如属于边界像素51的三维建筑物32-1和32-2以及人34之类的障碍物的位置。
结果，如图2的右部分所示，生成局部图，在该局部图中，假定具有预定高度的条状对象分别存在于交点组61-1、61-2和62处，其包括在构成路面31的平面S上于假设存在三维建筑物32-1和32-2以及人34的位置处的一组交点61。
注意，在图像P1中，在属于天空33的区域Z33与路面31之间的边界上没有设置边界像素51。由于天空33不是立在路面31上，因此天空33未设置边界像素51。另外，由于可以根据天空的颜色及其在图像中的位置来估计天空33的区域Z33，因此边界像素51可以被布置为不包括天空33的区域Z33与路面31之间在垂直向下方向上的边界上的像素。
根据本公开，如图1和图2所示，通过偏振相机21获取偏振图像。如此获取的偏振图像用于检测构成路面13的平面的法线方向N。使用激光测距传感器22来标识构成路面13的平面上的点X。然后使用法线方向N和点X标识路面13的平面S。
此外，从多个偏振图像重构非偏振图像。标识非偏振图像中区域的属性。然后，通过在构成路面的平面S上标识对应于构成路面的区域与其他成分的区域之间在非偏振图像中在垂直向下方向上的边界像素的边界像素的位置来生成局部图。
<根据本公开的用于控制移动体的移动体控制系统的示例性配置>
下面说明用于控制实现上述功能的移动体11的移动体控制系统。
图3是说明根据本公开的控制移动体11的移动体控制系统100的示意性功能的示例性配置的框图。顺便说一下，图3中的移动体控制系统100是可以应用本技术的移动体控制系统的示例。例如，该系统可用于控制其他可移动体，例如飞机、轮船、无人机和机器人。
移动体控制系统100包括输入部分101、数据获取部分102、通信部分103、移动体内部设备104、输出控制部分105、输出部分106、传动系控制部分107、传动系系统108、存储部分109和自动驾驶控制部分110。输入部分101、数据获取部分102、通信部分103、输出控制部分105、传动系控制部分107、存储部分109、自动驾驶控制部分110和自动驾驶控制部分110通过通信网络121互连。通信网络121可以是遵循诸如CAN(控制器区域网)、LIN(本地互连网络)、LAN(局域网)或FlexRay(注册商标)的协议之类的适当协议的通信网络、总线等。替代地，移动体控制系统100的组件可以彼此直接连接，而无需通信网络121为中介。
在下面的描述中，在移动体控制系统100的组件通过通信网络121彼此通信的情况下，将不提及通信网络121。例如，在输入部分101通过通信网络121与自动驾驶控制部分110通信的情况下，将简单地说输入部分101与自动驾驶控制部分110通信。
输入部分101包括乘客用于输入各种数据、指令等的装置。例如，输入部分101包括诸如触摸面板、按钮、麦克风、开关和操纵杆之类的用于手动输入的操作设备，以及能够通过诸如语音、手势等非手动输入的操作设备。作为另一示例，输入部分101可以是使用红外线或无线电波的遥控装置，或者是诸如支持移动体控制系统100的操作的移动设备或可穿戴设备的外部连接设备。输入部分101基于乘客输入的数据、指令等来生成输入信号，并将所生成的信号提供给移动体控制系统100的组件。
数据获取部分102包括各种传感器等，用于获取供移动体控制系统100进行处理的数据。数据获取部分102将获取的数据提供给移动体控制系统100的组件。
例如，数据获取部分102包括用于检测移动体的状态和其他信息的各种传感器。具体地，数据获取部分102包括例如陀螺仪传感器、加速度传感器、惯性测量单元(IMU)以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、电动机转速、车轮转速等的传感器。
作为另一示例，数据获取部分102包括用于检测关于移动体的外部的信息的各种传感器。具体地，数据获取部分102包括例如成像装置，例如ToF(飞行时间)相机、立体相机、单眼相机、红外线相机、偏振相机和其他相机。作为又一示例，数据获取部分102包括用于检测天气、气象状况等的环境传感器以及用于检测移动体周围的物体的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、日照传感器、雪传感器等。周围信息检测传感器包括例如激光测距传感器、超声传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)、声纳等。注意，在本公开的移动体控制系统100中，数据获取部分102具有图1中的偏振相机作为成像设备，以及图1中的激光测距传感器22作为周围信息检测传感器。
作为另一示例，数据获取部分102包括用于检测移动体的当前位置的各种传感器。具体地，数据获取部分102包括例如用于从GNSS(全球导航卫星系统)卫星等接收GNSS信号的GNSS接收器。
作为又一示例，数据获取部分102包括用于检测关于移动体的内部的信息的各种传感器。具体地，数据获取部分102包括例如用于对驾驶员进行成像的成像设备，用于检测与驾驶员有关的生物信息的生物传感器，用于从移动体内部收集声音的麦克风等。例如，生物传感器附接到座椅、方向盘等，以便检测关于坐在座椅上的乘客或握住方向盘的驾驶员的生物学信息。
通信部分103与移动体内部设备104以及移动体外部的各种设备、服务器和基站进行通信。在执行通信时，通信部分103向内部和外部设备发送从移动体控制系统100的各个组件提供的数据，并且向这些系统组件提供从这些设备接收的数据。顺便说一下，通信部分103支持的通信协议不限于任何特定的。此外，通信部分103可以支持多种类型的通信协议。
例如，通信部分103经由无线LAN、蓝牙(注册商标)、NFC(近场通信)、WUSB(无线USB)等与移动体内部设备104无线通信。作为另一示例，通信部分103使用USB(通用串行总线)、HDMI(注册商标)(高清多媒体接口)、MHL(移动高清链接)等，通过未示出的连接端子(和电缆，如果需要的话)与移动体内部设备104有线通信。
作为另一示例，通信部分103经由基站或接入点与存在于外部网络(例如，因特网、云网络或商业运营商的专有网络)上的设备(例如，应用服务器或控制服务器)进行通信。作为又一示例，通信部分103使用P2P(Peer TO Peer)技术与靠近移动体的终端(例如，由行人持有或由商店设置的终端或MTC(机器类型通信)终端)进行通信。作为又一示例，在移动体11是车辆的情况下，通信部分103执行V2X通信，例如车辆到车辆(Vehicle to Vehicle)通信、车辆到基础设施(Vehicle to Infrastructure)通信、移动体到家庭(车辆到家庭)通信、以及车辆到行人(Vehicle to Pedestrian)通信。作为另一示例，通信部分103包括信标接收器，该信标接收器接收从沿着道路等设置的无线站发射的无线电波或电磁波，以便获取诸如当前位置、交通拥堵、交通控制和到达目的地的时间之类的信息。
移动体内部设备104包括例如由乘客携带或穿戴的移动设备或可穿戴设备，带上移动体或附接到移动体的信息设备以及搜索到期望目的地的路径的导航设备。
输出控制部分105控制关于移动体的乘客或关于移动体的外部的各种信息的输出。例如，输出控制部分105生成至少包括视觉信息(例如，图像数据)或音频信息(例如，语音数据)中的任一个的输出信号，并将所生成的输出信号提供给输出部分106。然后，输出控制部分105控制输出部分106对视觉信息和音频信息的输出。具体地，输出控制部分105通过组合由数据获取部分102中的不同成像设备获取的图像数据来生成鸟瞰图像或全景图像，并将包括所生成的图像的输出信号提供给输出部分106。作为另一个示例，输出控制部分105生成包括警告声音、警告消息等的音频数据，以提示诸如碰撞、碰触、或进入危险区域之类的危险，并将包括所生成的音频数据的输出信号提供给输出部分106。
输出部分106包括能够向移动体的乘客或移动体的外部输出视觉信息或音频信息的装置。例如，输出部分106包括显示装置、仪表板、音频扬声器、耳机、乘客佩戴的诸如眼镜型显示器之类的可穿戴设备、投影仪、灯等。输出部分106中包括的显示装置可以是具有普通显示器的装置，或者可以是平视显示器、透射显示器的装置，或者具有例如用于在驾驶员的视野中显示视觉信息的AR(增强现实)显示功能的装置。
传动系控制部分107生成各种控制信号，并将所生成的信号提供给传动系系统108，以控制传动系系统108。传动系控制部分107根据需要将控制信号提供给传动系系统108以外的组件，以便将传动系系统108等的控制状态通知给这些组件。
传动系系统108包括与移动体的传动系有关的各种装置。例如，传动系系统108包括：用于使内燃机、驱动马达等产生驱动力的驱动力产生装置，用于将驱动力传递至车轮的驱动力传递机制，用于调节转向角的转向机制，用于产生制动力的制动装置，ABS(防抱死制动系统)，ESC(电子稳定控制)，电力转向装置等。
存储部分109包括例如，磁存储设备(例如，ROM(只读存储器)、RAM(随机存取存储器)或HDD(硬盘驱动器))、半导体设备、光存储设备、磁光存储设备等。存储部分109存储供移动体控制系统100的组件使用的各种程序、数据等。例如，存储部分109存储构成三维高精度图(例如，动态图)、精度比高精度图低但覆盖范围更广的全局图、以及包含有关移动体周围环境信息的局部图的图数据。
自动驾驶控制部分110执行与自动驾驶有关的控制，例如自主移动或驾驶辅助。具体而言，自动驾驶控制部分110执行例如移动体的碰撞避免或撞击减轻，基于移动体之间的距离来追踪移动，移动体的恒定速度移动或旨在实现发出移动体碰撞警告的功能的协调控制。作为另一示例，自动驾驶控制部分110执行旨在实现用于自主移动的自动驾驶，而无需依靠驾驶员的操作的协调控制等。自动驾驶控制部分110包括检测部分131、自身位置估计部分132、状态分析部分133、规划部分134和操作控制部分135。
检测部分131检测控制自动驾驶所需的各种信息。检测部分131包括移动体外部信息检测部分141，移动体内部信息检测部分142和移动体状态检测部分143。
移动体外部信息检测部分141基于来自移动体控制系统100的组件的数据或信号执行检测关于移动体外部的信息的过程。例如，移动体外部信息检测部分141执行检测、识别和跟踪移动体周围的物体的过程，以及检测到物体的距离的过程。检测的物体包括例如移动体、人、障碍物、建筑物、道路、交通信号灯、交通标志、路标等。作为另一示例，移动体外部信息检测部分141执行检测移动体周围的环境的过程。意图检测的周围环境例如包括天气、温度、湿度、亮度、路面状况等。移动体外部信息检测部分141将指示检测过程的结果的数据提供给自身位置估计部分132、状态分析部分133中的图分析部分151和状态识别部分152、操作控制部分135等。
移动体内部信息检测部分142基于来自移动体控制系统100的组件的数据或信号执行检测关于移动体内部的信息的过程。例如，移动体内部信息检测部分142执行对驾驶员进行认证和识别的过程，检测驾驶员的状态的过程，检测乘客的过程，检测移动体的内部环境的过程等。意图检测的驾驶员的状态例如包括驾驶员的身体状况、警觉度、集中度、疲劳度、视线方向等。意图检测的移动体的内部环境包括例如温度、湿度、亮度、气味等。移动体内部信息检测部分142将指示检测过程的结果的数据提供给状态分析部分133中的状态识别部分152、操作控制部分135等。
移动体状态检测部分143基于来自移动体控制系统100的组件的数据或信号来执行检测移动体的状态的过程。意图检测的移动体的状态包括例如：速度、加速度、转向角、是否存在异常及详情、驾驶操作状态、电动座椅的位置和倾斜度、门锁状态、移动体的其他车载设备的状态等。移动体状态检测部分143将指示检测过程的结果的数据提供给状态分析部分133中的状态识别部分152、操作控制部分135等。
自身位置估计部分132基于来自诸如状态分析部分133中的移动体外部信息检测部分141和状态识别部分152之类的移动体控制系统100的组件的数据或信号，执行估计移动体的位置、姿势等的过程。此外，自身位置估计部分132根据需要生成用于估计自身位置的局部图(该图在下文中称为自身位置估计图)。自身位置估计图可以是使用诸如SLAM(同时定位和建图)之类的技术的高精度图。自身位置估计部分132将指示估计过程结果的数据提供给状态分析部分133中的图分析部分151和状态识别部分152等。此外，自身位置估计部分132使存储部分109存储自身位置估计图。
状态分析部分133执行分析移动体的状态及其周围环境的状态的过程。状态分析部分133包括图分析部分151、状态识别部分152和状态预测部分153。
图分析部分151通过执行分析存储在存储部分109中的各种图的过程，同时根据需要使用来自移动体控制系统100的组件(例如，自身位置估计部分132和移动体外部信息检测部分141)的数据或信号，来创建包括自动驾驶处理所需的信息的图。图分析部分151将如此创建的图提供给状态识别部分152和状态预测部分153以及规划部分134中的路线规划部分161、动作规划部分162和操作规划部分163。
状态识别部分152基于来自移动体控制系统100的组件(例如，自身位置估计部分132、移动体外部信息检测部分141、移动体内部信息检测部分142，移动体状态检测部分143和图分析部分151)的数据或信号来执行识别移动体的状态的过程。例如，状态识别部分152执行识别移动体的状态、移动体周围环境的状态、移动体驾驶员的状态等的过程。此外，状态识别部分152可以根据需要生成用于识别移动体的周围状态的局部图(该图在下文中称为状态识别图)。状态识别图例如可以是占据栅格图(Occupancy Grid Map)。
旨在识别的移动体的状态包括例如移动体的位置、姿势和移动(例如，速度、加速度、移动方向等)以及是否存在异常的详情等。旨在识别的移动体的周围状态例如包括附近的静止物体的种类和位置；附近动物体的类型、位置和移动(例如，速度、加速度、移动方向等)；周围道路的配置和路面状况；环境天气、温度、湿度和亮度；等等。旨在识别的驾驶员的状态包括例如驾驶员的身体状况、警觉程度、专注程度、疲劳程度、视线方向、驾驶操作等。
状态识别部分152将指示识别过程的结果的数据(根据需要包括状态识别图)提供给自身位置估计部分132、状态预测部分153等。此外，状态识别部分152使存储部分109存储状态识别图。
状态预测部分153基于来自诸如图分析部分151和状态识别部分152之类的移动体控制系统100的组件的数据或信号，执行预测与移动体有关的状态的过程。例如，状态预测部分153执行预测移动体的状态、移动体周围环境的状态、驾驶员的状态等的过程。
旨在预测的移动体的状态例如包括移动体的行为、移动体发生异常、移动体的可移动距离等。旨在预测的移动体的周围环境状态包括，例如，移动体附近的任何动物体的行为、交通信号灯的变化、诸如天气之类的环境变化等。旨在预测的驾驶员的状态包括例如驾驶员的行为和身体状况等。
状态预测部分153将指示预测过程的结果的数据与来自状态预测部分152的数据一起提供给规划部分134中的路线规划部分161、动作规划部分162以及操作规划部分163等等。
路线规划部分161基于来自移动体控制系统100的组件(例如，图分析部分151和状态预测部分153)的数据或信号，规划到目的地的路线。例如，路线规划部分161基于全局图来设置从当前位置到指定目的地的路线。作为另一示例，路线规划部分161基于交通拥挤、事故、交通管控、道路维修等的状态以及驾驶员的身体状况等适当地改变路线。路线规划部分161将指示规划路线的数据提供给动作规划部分162等。
动作规划部分162基于来自移动体控制系统100的组件(例如，图分析部分151和状态预测部分153)的数据或信号，在沿着路线规划部分161规划的路线的规划时间段内，规划移动体安全移动的动作。例如，动作规划部分162规划开始、停止、前进方向(例如，前进、后退、左转、右转、方向改变等)、移动速度、通过等。动作规划部分162将指示移动体的规划动作的数据提供给操作规划部分163等。
操作规划部分163基于来自移动体控制系统100的组件(例如，图分析部分151和状态预测部分153)的数据或信号，来规划用于执行由动作规划部分162规划的动作的移动体的动作。例如，操作规划部分163规划加速度、减速度、移动路线等。操作规划部分163将指示移动体的规划操作的数据提供给操作控制部分135等。
操作控制部分135控制移动体的操作。
更具体地，操作控制部分135基于由移动体外部信息检测部分141、移动体内部信息检测部分142和移动体状态检测部分143的检测结果，来检测诸如碰撞、碰触、进入危险区域、驾驶员的异常或移动体的异常之类的紧急情况的过程。当检测到紧急情况发生时，操作控制部分135规划移动体的操作，例如突然停止、急转弯，以避开紧急情况。
另外，操作控制部分135控制加速和减速来实现由操作规划部分163规划的移动体的操作。例如，操作控制部分135计算驱动力产生装置或制动装置的控制目标值，以执行规划的加速、减速或突然停止。操作控制部分135将指示计算出的控制目标值的控制命令提供给传动系控制部分107。
操作控制部分135执行用于执行由操作规划部分163所规划的移动体的操作的方向控制。例如，操作控制部分135计算用于使转向机制执行操作规划部分163所规划的移动过程或急转弯的控制目标值。操作控制部分135将指示计算出的控制目标值的控制命令提供给传动系控制部分107。
<用于生成环境图的示例性配置>
接下来参考图4说明图3中的移动体控制系统100的用于生成环境图的详细示例性配置。本文提及的环境图是上述状态识别图，其是用于识别移动体的周围状态的局部图。更具体地，环境图包括占据栅格图(Occupancy Grid Map)。
如图4所示，由数据获取部分102、自动驾驶控制部分110的检测部分131中的移动体外部信息检测部分141、以及状态分析部分133中的状态识别部分152构成了用于生成环境图的详细示例性配置。
数据获取部分102包括激光测距传感器22和偏振相机21。
移动体外部信息检测部分141包括三维距离测量部分301、坐标系整合部分302、法线检测部分303、路面平面法线检测部分304、图像重构部分305、语义分割部分306和路面平面计算部分307。
状态识别部分包括环境建图部分321。
激光测距传感器22以相对于路面13的预定角度将来自可移动体11的红外激光投射到路面13上的预定点，给定从路面上的预定点对投射的红外激光的反射，基于红外激光的往返时间来测量以预定角度从移动体11向其投射红外激光的路面13上的该点的距离。激光测距传感器22将测量结果输出到三维距离测量部分301。要注意，激光测距传感器22将在后文参考图5进行详细讨论。
偏振相机21通过多个偏振方向的滤光器获取多个偏振方向的偏振图像。偏振相机21将这样获取的偏振图像输出到法线检测部分303和图像重构部分305。
三维距离测量部分301从激光测距传感器22获取有关从移动体11到路面13上红外激光以预定角度投射到的点的距离的信息。然后，三维距离测量部分301获取与构成路面13的平面上的点的三维坐标有关的信息，并将所获取的信息输出到坐标系整合部门302。
坐标系整合部分302将三维点坐标转换为偏振相机21的坐标系，以与偏振相机201的相机坐标系整合，并将转换后的坐标输出至路面平面计算部分307。后文将参照图6详细讨论激光测距传感器的坐标系与偏振相机的坐标系的整合。
法线检测部分303基于多个偏振方向上的偏振图像，生成以偏振图像的像素为单位、由被摄体表面的法线方向构成的法向量图。法线检测部分303将如此生成的法向量图输出到路面法线检测部分304和语义分割部分306。要注意的是，法线检测部分303对法线的检测将将在后文参考图7详细讨论。
图像重构部分305通过求出多个偏振方向上的偏振图像的像素的平均值，来重构非偏振图像。图像重构部分305将重构的非偏振图像输出到语义分割部分306。
语义分割部分306基于法向量图和非偏振图像，使用诸如深度学习之类的机器学习来估计每个像素所属的被摄体的类型，将估计结果设置为语义标记，并将语义标记输出到环境建图部分328。此外，语义分割部分306将由语义标记分类的像素有关的信息中与标记为路面13的像素有关的信息输出到路面平面法线检测部分304。要注意的是，语义分割将在后文参考图9详细讨论。
路面平面法线检测部分304使用来自法线检测部分303的法向量图和与标记为路面13的像素有关的信息，获得构成路面13的平面的法线方向(路面的法向量)。法线检测部分303将所获得的法线方向作为与路面法线有关的信息输出到路面平面计算部分307。要注意的是，路面平面的法线检测将在后文参考图8详细讨论。
路面平面计算部分307基于与构成路面平面的平面法向量有关的信息作为与路面法线有关的信息，以及与该平面上的点的三维坐标有关的信息，来计算构成路面的平面。路面平面计算部分307将如此计算的平面输出到环境建图部分308。
环境建图部分321基于与构成路面13的平面有关的信息和语义标记信息，通过环境建图过程来生成环境图。要注意的是，后文将参考图10详细讨论环境建图。
<激光测距传感器>
接下来参照图5详细说明激光测距传感器22。如图5所示，激光测距传感器22包括测距部分351、光投射部分352和光接收部分353。
测距部分351控制光投射部分352以相对于路面13的预定角度向路面13的方向投射红外激光。此时，测距部分351存储使光投射部分352投射红外激光的时间。
测距部分351还控制光接收部分353以接收来自障碍物361(对应于路面13)对投射的红外激光的反射。同时，测距部分351存储接收到反射的红外激光的时间。
然后，测距部分351根据光投射部分352投射红外激光的时间与光接收部分353接收从障碍物361反射的光的时间差，获得到障碍物361的往返时间。测距部分351根据如此获得的往返时间测量到障碍物361的距离。
应当注意的是，图5中的图示仅旨在说明激光测距传感器22所使用的测距原理。实际上，激光测距传感器22测量从移动体11以相对于路面13的预定角度到路面13上的预定点的距离。
<激光测距传感器与偏振相机的坐标系的集成>
接下来参考图6说明激光测距传感器22的坐标系与偏振相机21的坐标系的整合。
如图6所示，在激光测距传感器22的坐标系中路面13上的点X的坐标XLaser(＝[xL,yL,zL]的转置)，即通过激光测距传感器22测量的到点X的距离，与在偏振相机21的坐标系中的坐标Xcam(＝[xc,yc,zc]的转置)之间的关系，通过被校准为先前传感器配置信息获知。例如，通过以下表达式(2)获得该关系：
Xcam＝RXLaser+T...(2)
在以上表达式中，R代表指示激光测距传感器22与偏振相机21之间的角度的旋转矩阵，并且T代表从激光测距传感器22与偏振相机21之间的位置关系获得的平移向量。
通过使用以上表达式(2)执行操作，坐标系整合部分302将构成路面13的平面上的点X的坐标(该坐标被测量为与激光测距传感器22的坐标系有关的信息)变换为相机坐标系以整合两个坐标系。
<从偏振图像检测法线>
接下来参考图7说明从偏振图像检测法线。
法线检测部分303基于多个偏振图像，获得图像中的每个像素所属的被摄体的表面的法线方向，作为具有天顶角θ和方位角φ的极坐标，从而生成法向量图。
例如，在图7中的图像P1的情况下，将指示法线方向的箭头的分布视为法向量图(图8的最左部分)。
换句话说，在图7中，将图像P1的大致中心以下的区域作为路面31的区域Z31；图像P1中的左和右区域被认为是三维建筑物32-1和32-2的(墙壁的)区域Z32-1和Z32-2；顶部中心的区域被认为是天空33的区域Z33；在右侧三维建筑物32-2的区域Z32-2的左侧，且在路面31的区域Z31的上方的人34的区域被视为区域Z34。
在路面31的区域Z31中，分布有指示垂直于路面31的法线方向的箭头。在图像P1中的左侧的三维建筑物32-1的(墙壁的)区域Z32-1中，分布有指示垂直于图7中的墙壁的向右方向的箭头。此外，在图像P1的右侧的三维建筑物32-1的(墙壁的)区域Z32-1中，分布有指示垂直于图7中的墙壁的向左的箭头。
<路面平面法线的检测>
接下来参照图8说明路面平面的法线的检测。
检测路面平面的法线(该法线是构成路面的平面的法线)作为法向量图中通过语义分割标记为路面的区域中的像素的主法线方向。
换句话说，考虑在图8的最左部分中示出的法向量图P11的情况。在这种情况下，如果在法向量图P11中标记为路面13的像素的区域是区域Z11，如图8中从左数第二幅图所示，则将法向量图的区域Z11提取为ROI(兴趣区域)区(兴趣区)。
接下来，如在图8中从左数第三幅图所示，例如，所提取的区域Z11中明显不在路面的法线方向上的那些法线(例如，正面面向偏振相机21的法线)被排除。
然后生成其余法线的直方图，并提取主法线。关于法线的信息由具有天顶角θ和方位角φ的极坐标构成。因此，由极坐标构成的法线信息被变换成正交坐标系，并且，如图8的最右部分所示，被输出为构成路面的平面S的法向量N[nx,ny,nz]。
<语义分割>
接下来参考图9说明语义分割。
例如，根据图9左侧的法向量图P1和非偏振图像P31，通过诸如深度学习之类的机器学习来估计图像中的每个像素所属的被摄体。估计的结果作为语义标记被提供。然而，在本例中，足以将至少三种类型的被摄体分类为语义标记，即路面、障碍物和天空。
例如，在图9的左侧图像P1中，在垂直方向和检测到的法向量之间的内积的绝对值大于预定值的区域Z31可以在语义上标记为路面31。关于其余区域Z32-1、Z32-2和Z34，三维建筑物32-1和32-2以及人34可以在语义上被共同标记为障碍物。
此外，可以将图像中亮度级别较高的上部分中的区域Z33在语义上标记为天空33。
<环境建图>
接下来参考图10说明环境建图。
关于在图10的左侧示出的非偏振图像P1，假设路面31的区域Z31、三维建筑物32-1和32-2的区域Z32-1和Z32-2、天空33的区域Z33以及人34的区域Z34中的每一个都通过语义分割在语义上进行标记。本文假设除去路面31的区域Z31和天空33的区域Z33，被视为障碍物的区域Z32-1、Z32-2和Z34构成障碍物区域。
在这种情况下，路面31的区域Z31与障碍物区域Z32-1、Z32-2和Z34之间在垂直向下方向上的边界的像素(表示为正方形单元的像素)被提取为边界像素51。
然后，将偏振相机21的相机坐标系中的每个边界像素51的坐标变换为构成路面31的平面S上的坐标。
换句话说，如图10的中央部分所示，例如，当偏振相机21获取非偏振图像P1时，假设焦点位置在图像中心(中心像素)Pc，并且以偏振相机21的成像位置为起点，将到边界像素51的视线向量定义为(xi,yi,f)。本文中，xi和yi表示以中心像素Pc为原点的偏振相机21所获取的图像D中的像素位置，f表示距离以焦点位置在图像中心(中心像素)Pc的偏振相机21的焦点距离。
此时，对应于从偏振相机21的视线与构成路面31的平面S之间的边界像素51的交点Xp由以下表达式(3)定义：
[数学表达式2]
与平面的交点：
Figure BDA0002377814460000221
在以上表达式中，s代表系数，它是一个标量。换句话说，从偏振相机21开始直到交点Xp的向量是视线向量Ve乘以系数s。因此，通过将数学表达式(3)代入构成路面的平面S的方程来获得常数s，该方程由上述表达式(1)限定。利用所获得的常数s，相应地获取平面S上的交点61的坐标。
然后假设在构成所获得的路面31的平面S上，在边界上的边界像素51处存在预定高度的障碍物，如图10的右上所示。这提供了路面31和对应于非偏振图像P1的障碍物32-1、32-2和34的三维分布。
基于关于与非偏振图像P1相对应的路面31和障碍物32-1、32-2和34的三维分布的信息，从平面S上方看时，对应于障碍物区域Z32-1、Z32-2和Z34的交点组61-1、61-2和62的分布被生成为环境图M。
<环境图生成过程>
接下来参考图11的流程图说明环境图生成过程。
在步骤S11中，偏振相机21例如通过多个偏振方向的滤光器以相对于移动体的预定视场角，在移动体的前方多个偏振方向上获取偏振图像。偏振相机21将获取的偏振图像输出到法线检测部分303和图像重构部分305。
在步骤S12中，激光测距传感器22将激光投射到路面并从路面接收反射光，如上面参考图5所解释的。激光测距传感器22基于光投射的时间与接收反射光的时间之差，通过通常称为ToF法的方法来测量到路面13的距离。激光测距传感器22将测量结果输出到三维距离测量部分301。
在步骤S13中，基于激光测距传感器22的测距结果，三维距离测量部分301以激光测距传感器22的坐标系中的坐标，来标识反射激光并且在构成路面13的平面S上的点的三维坐标。三维距离测量部分301将如此标识的坐标输出到坐标系整合部分302。
在步骤S14中，坐标系整合部分302将激光测距传感器22的坐标系中的构成路面13的平面S上的点的三维坐标变换为偏振相机21的相机坐标系的坐标，如以上参考图6所解释的。坐标系整合部分302将变换后的坐标输出到路面平面计算部分307。
在步骤S15中，图像重构部分305通过获得多个偏振方向上的图像的像素的平均值，来重建非偏振图像。图像重构部分305将重构的非偏振图像输出到语义分割部分306。
在步骤S16中，法线检测部分303基于偏振图像，如上述参照图7所说明的那样，检测偏振图像中的被摄体表面上的每个像素的法线方向。法线检测部分303将检测到的法线方向作为法向量图输出至路面平面法线检测部分304和语义分割部分306。
在步骤S17中，基于非偏振图像和法向量图，语义分割部分306通过语义分割来将非偏振图像中的每个像素标记为该像素所属的图像中的哪个被摄体，如上面参考图9所解释的。语义分割部分306在以像素为单位将语义标记输出到环境建图部分321之前，将语义标记附加到每个像素。此时，语义分割部分306将关于标记为路面的像素的信息输出到路面平面法线检测部分304。
在步骤S18中，路面平面法线检测部分304根据法向量图和与被标记为路面的像素有关的信息来检测路面的法线方向，如上面参考图8所解释的。路面平面法线检测部分304将检测到的法线方向输出到路面平面计算部分307。
在步骤S19中，路面平面计算部分307基于与路面的法线方向有关的信息以及与构成路面的平面上的点的三维坐标有关的信息，来计算构成路面13的平面S的方程式，如以上参考图1所解释的。路面平面计算部分307将计算出的方程式作为与路面平面有关的信息输出到环境建图部分321。
在步骤S20中，环境建图部分321基于与路面有关的信息以及语义标记，通过进行环境建图过程来生成并输出环境图。应当注意，稍后将参考图12的流程图详细讨论环境建图过程。
在步骤S21中，确定是否命令过程结束。如果没有命令结束，则控制返回到步骤S11，并重复随后的步骤。如果在步骤S21中确定命令过程结束，则过程终止。
换句话说，以上过程提供了构成路面的平面上的点的三维坐标、由激光测距传感器22测量的到该点的距离以及从偏振相机21获取的多个偏振方向上的偏振图像所获得的构成路面的平面的法线方向。然后根据与构成路面的平面上的点的三维坐标有关的信息和构成路面的平面的法线方向来标识构成路面的平面S。
结果，使用与构成所标识的路面的平面S有关的信息，通过环境建图过程来生成环境图。
<环境建图过程>
接下来，参照图12的流程图说明由环境建图部分321执行的环境建图过程。
在步骤S31中，环境建图部分321在非偏振图像中基于分割标记来检测路面31的区域Z31与障碍物32-1、32-2和34的区域Z32-1、Z32-2和Z34之间的边界上的边界像素51，如上面参考图10的左部分所解释的。
在步骤S32中，环境建图部分321将非偏振图像中的边界像素51的坐标变换为构成路面31的平面上的相应交点61的坐标。
在步骤S33中，环境建图部分321基于关于与平面上的边界像素51的交点61的坐标的信息，生成并输出表示在构成路面31的平面上存在障碍物的位置的环境图，如以上参考图10的右部分所解释的。
以上过程使得可以基于与包括在非偏振图像中的路面和障碍物有关的信息来生成环境图。
上面说明了其中激光测距传感器22测量到路面上的单个点的距离从而单个交点构成路面的示例。替代地，可以测量到路面上的多个点的距离，并且可以使用路面上的多个交点来标识构成路面的平面。
在测量从移动体11到路面上的预定点的距离时，不仅可以使用激光测距传感器32，还可以使用立体相机或毫米波雷达来检测该点。
在以上描述中进一步假设路面是没有凹凸的平面。然而，即使在路面具有凹凸的情况下，也可以利用被标记为路面的每个像素的法线方向中的主法线方向。这意味着涵盖路面上的凹凸的平均法线方向可以用作主法线方向。作为另一种选择，可以获取路面上的多个交点并进行平均，以获取构成路面的平均平面。
上面还描述了相对于可移动体11的移动方向构成路面的平面。然而，这样的平面足以构成移动体将要移动到的移动允许区域。
上面还说明了其中通过使用从多个偏振方向上的偏振图像获取的法向量图，从设置路面属性的每个像素的法线方向中获取主法线方向的示例。但是，可以使用任何其他合适的方法来获得法线方向。例如，现有图信息可用于获得法线方向。替代地，可以采用立体相机来获取法线方向。
<<2.通过软件执行过程的示例>>
可以通过硬件或软件来执行上述一系列过程。在要由软件执行一系列过程的情况下，构成软件的程序从记录介质安装到合适的计算机中。计算机的变型包括预先在其专用硬件中安装了软件的计算机，以及通用个人计算机或能够基于其中安装的程序执行各种功能的类似设备。
图13是示出通用计算机的示例性配置的图。该计算机包括CPU(中央处理单元)1001。CPU 1001通过总线1004与输入/输出接口1005连接。总线1004与ROM(只读存储器)1002和RAM(随机存取存储器)1003连接。
输入/输出接口1005与输入部分1006、输出部分1007、存储部分1008和通信部分1009连接。输入部分1006包括诸如键盘和鼠标之类的输入设备，用户使用它们来输入操作命令。输出部分1007将过程操作画面和处理结果的图像输出到显示设备。存储部分1008包括用于存储程序和各种数据的硬盘驱动器。通信部分1009包括LAN(局域网)适配器等，并且经由以因特网为代表的网络执行通信过程。输入/输出接口1005还与驱动器1010连接，该驱动器1010向和从诸如以下各项的可移除介质1011写和读数据：磁盘(包括柔性盘)、光盘(包括CD-ROM(压缩盘-只读存储器)和DVD(数字多功能盘)、磁光盘(包括MD(微型盘))或半导体存储器。
CPU 1001根据存储在ROM 1002中的程序或者根据从存储部分1008加载到RAM1003中的程序执行各种过程，这些程序在被从诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质1011读出之后被安装在其中。适当地，RAM 1003还存储CPU 1001在执行各种过程中所需的数据。
在如上所述配置的计算机中，CPU 1001通过例如经由输入/输出接口1005和总线1004将适当的程序从存储部分1008加载到RAM1003中并通过执行所加载的程序来执行上述一系列处理。
要由计算机(CPU 1001)执行的程序当被提供时可以被记录在例如作为封装介质的可移除介质1011上。替代地，可以经由诸如局域网、因特网和数字卫星广播之类的有线或无线传输介质来提供程序。
在计算机中，可以经由输入/输出接口1005从附接到驱动器1010的可移除介质1011将程序安装到存储部分1008中。也可以在经由有线或无线传输介质通过通信部分1009接收之后将程序安装到存储部分1008中。替代地，程序可以预安装在ROM 1002或存储部分1008中。
顺便提及，将由计算机执行的程序每一个可以按时间顺序(即，以本说明书中描述的顺序)、与其他程序并行地，或者以其他适当的时序方式(例如，当根据需要调用程序时)进行处理。
要注意的是，图13中的CPU 1001实现图3中的自动驾驶控制部分110的功能。另外，图13中的存储部分1008实现图3中的存储部109的功能。
在本说明书中，术语“系统”是指多个组件(例如，装置、模块(部件)等)的集合。是否所有组件都放在同一外壳中并不重要。因此，系统可以配置有容纳在分离的外壳中并通过网络互连的多个装置，或者配置有容纳多个模块的单个外壳中的单个装置。
本公开不限于以上讨论的实施例，并且可以以各种变型实施，只要它们在所附权利要求或其等同的范围内。
例如，本公开可以被实现为云计算设置，其中多个联网装置基于共享协同地处理单个功能。
而且，参考上述流程图讨论的每个步骤可以由单个装置或由基于共享的多个装置执行。
此外，如果单个步骤包括多个过程，则这些过程既可以由单个装置执行，也可以由多个装置基于共享执行。
本公开还可以如下配置来实现：
(1)一种信息处理装置，包括：
移动允许区域法线检测部分，被配置为检测构成移动体的移动允许区域的平面的法线方向；
位置标识部分，被配置为标识构成所述移动允许区域的平面上的点的位置；以及
平面标识部分，被配置为基于所述移动允许区域的法线方向和所述移动允许区域中的点的位置来标识构成所述移动允许区域的平面。
(2)根据以上段落(1)中所述的信息处理装置，还包括：
偏振相机，被配置为获取多个偏振方向上的偏振图像，其中
所述移动允许区域法线检测部分基于所述偏振图像检测构成所述移动体的移动允许区域的平面的法线方向。
(3)根据以上段落(2)中所述的信息处理装置，还包括：
法线方向检测部分，被配置为以像素为单位检测所述偏振图像中的被摄体的表面的法线方向，然后将检测到的法线方向作为法向量图输出。
重构部分，被配置为根据所述偏振图像重构非偏振图像；以及
属性设置部分，被配置为将所述被摄体的属性设置到所述非偏振图像中的每个像素，其中
所述移动允许区域法线检测部分检测所述法向量图上的主法线方向，所述主法线方向对应于在所述非偏振图像中具有属性被属性设置部分设置为所述移动允许区域的那些像素的区域，所述主法线方向是构成所述移动允许区域的平面的法线方向。
(4)根据以上段落(3)中所述的信息处理装置，其中，
所述属性设置部分通过语义分割将所述被摄体的属性设置到所述非偏振图像中的每个像素。
(5)根据以上段落(3)中所述的信息处理装置，还包括：
环境建图部分，被配置为基于与被设置到所述非偏振图像中的每个像素的被摄体的属性有关的信息和与由所述平面标识部分标识的平面有关的信息，来生成环境图。
(6)根据以上段落(5)中所述的信息处理装置，其中，
给定与被设置到所述非偏振图像中的每个像素的被摄体的属性有关的信息，所述环境建图部分基于与属性被设置为所述移动允许区域的像素有关的信息和与属性被设置为障碍物的像素有关的信息，来生成所述环境图，所述环境图指示所述障碍物在构成所述移动允许区域的平面上的位置。
(7)根据以上段落(6)中所述的信息处理装置，其中，
给定与被设置到所述非偏振图像中的每个像素的被摄体的属性有关的信息，所述环境建图部分通过将在构成所述移动允许区域的平面上且对应于属性被设置为所述移动允许区域的像素的区域与属性被设置为障碍物的像素的区域之间在垂直向下方向上的边界像素的位置，作为所述障碍物在构成所述移动允许区域的平面上的位置，来生成所述环境图。
(8)根据以上段落(5)中所述的信息处理装置，其中，
所述环境图是占据栅格图(Occupancy Grid Map)。
(9)根据以上段落(2)中所述的信息处理装置，还包括：
坐标系整合部分，被配置为将指示由所述位置标识部分标识的点在所述移动允许区域中的位置的坐标系与由所述偏振相机获取的偏振图像的坐标系进行整合。
(10)根据以上段落(2)中所述的信息处理装置，还包括：
测距部分，被配置为测量到所述移动允许区域中的点的距离，其中
所述位置标识部分基于所述测距部分所测量的到所述移动允许区域中的点的距离，来标识所述移动允许区域中的点的位置。
(11)根据以上段落(10)中所述的信息处理装置，其中，
所述测距部分包括激光测距传感器、立体相机或毫米波雷达。
(12)根据以上段落(1)中所述的信息处理装置，其中，
所述移动允许区域是路面。
(13)一种信息处理方法，包括以下步骤：
基于偏振图像，检测构成移动体的移动允许区域的平面的法线方向；
标识所述移动允许区域中的点的位置；以及
基于所述移动允许区域的法线方向和所述移动允许区域中的点的位置，来标识构成所述移动允许区域的平面。
(14)一种用于使计算机执行过程的程序，包括：
移动允许区域法线检测部分，被配置为基于偏振图像检测构成移动体的移动允许区域的平面的法线方向；
位置标识部分，被配置为标识构成所述移动允许区域的平面上的点的位置；以及
平面标识部分，被配置为基于所述移动允许区域的法线方向和所述移动允许区域中的点的位置来标识构成所述移动允许区域的平面。
(15)一种移动体，包括：
移动允许区域法线检测部分，被配置为基于偏振图像检测构成移动体的移动允许区域的平面的法线方向。
位置标识部分，被配置为标识构成所述移动允许区域的平面上的点的位置；
平面标识部分，被配置为基于所述移动允许区域的法线方向和所述移动允许区域中的点的位置来标识构成所述移动允许区域的平面；
环境建图部分，被配置为基于由所述平面标识部分标识的平面来生成环境图；
规划部分，被配置为基于由所述环境建图部分生成的环境图，规划移动路线；以及
控制部分，被配置为基于由所述规划部分规划的移动路线来控制所述移动体的操作。
附图标记
11移动体，12障碍物，21偏振相机，22激光测距传感器，31路面，32、32-1、32-2三维建筑物，33天空，34人，51边界像素(像素)，61交点(点)，61-1、61-2、62交点组，102数据获取部分，110自动驾驶控制部分，141移动体外部信息检测部分，152状态识别部分，301三维距离测量部分，302坐标系整合部分，303法线检测部分，304路面法线检测部分，305图像重构部分，306语义分割部分，321环境建图部分，351测距部分，352光投射部分，353光接收部分。

Claims (15)

1.一种信息处理装置，包括：
移动允许区域法线检测部分，被配置为检测构成移动体的移动允许区域的平面的法线方向；
位置标识部分，被配置为标识构成所述移动允许区域的平面上的点的位置；以及
平面标识部分，被配置为基于所述移动允许区域的法线方向和所述移动允许区域中的点的位置来标识构成所述移动允许区域的平面。
2.根据权利要求1所述的信息处理装置，还包括：
偏振相机，被配置为获取多个偏振方向上的偏振图像，其中
所述移动允许区域法线检测部分基于所述偏振图像检测构成所述移动体的移动允许区域的平面的法线方向。
3.根据权利要求2所述的信息处理装置，还包括：
法线方向检测部分，被配置为以像素为单位检测所述偏振图像中的被摄体的表面的法线方向，然后将检测到的法线方向作为法向量图输出。
重构部分，被配置为根据所述偏振图像重构非偏振图像；以及
属性设置部分，被配置为将所述被摄体的属性设置到所述非偏振图像中的每个像素，其中
所述移动允许区域法线检测部分检测所述法向量图上的主法线方向，所述主法线方向对应于在所述非偏振图像中具有属性被属性设置部分设置为所述移动允许区域的那些像素的区域，所述主法线方向是构成所述移动允许区域的平面的法线方向。
4.根据权利要求3所述的信息处理装置，其中，
所述属性设置部分通过语义分割将所述被摄体的属性设置到所述非偏振图像中的每个像素。
5.根据权利要求3所述的信息处理装置，还包括：
环境建图部分，被配置为基于与被设置到所述非偏振图像中的每个像素的被摄体的属性有关的信息和与由所述平面标识部分标识的平面有关的信息，来生成环境图。
6.根据权利要求5所述的信息处理装置，其中，
给定与被设置到所述非偏振图像中的每个像素的被摄体的属性有关的信息，所述环境建图部分基于与属性被设置为所述移动允许区域的像素有关的信息和与属性被设置为障碍物的像素有关的信息，来生成所述环境图，所述环境图指示所述障碍物在构成所述移动允许区域的平面上的位置。
7.根据权利要求6所述的信息处理装置，其中，
给定与被设置到所述非偏振图像中的每个像素的被摄体的属性有关的信息，所述环境建图部分通过将在构成所述移动允许区域的平面上且对应于属性被设置为所述移动允许区域的像素的区域与属性被设置为障碍物的像素的区域之间在垂直向下方向上的边界像素的位置，作为所述障碍物在构成所述移动允许区域的平面上的位置，来生成所述环境图。
8.根据权利要求5所述的信息处理装置，其中，
所述环境图是占据栅格图(Occupancy Grid Map)。
9.根据权利要求2所述的信息处理装置，还包括：
坐标系整合部分，被配置为将指示由所述位置标识部分标识的点在所述移动允许区域中的位置的坐标系与由所述偏振相机获取的偏振图像的坐标系进行整合。
10.根据权利要求2所述的信息处理装置，还包括：
测距部分，被配置为测量到所述移动允许区域中的点的距离，其中
所述位置标识部分基于所述测距部分所测量的到所述移动允许区域中的点的距离，来标识所述移动允许区域中的点的位置。
11.根据权利要求10所述的信息处理装置，其中，
所述测距部分包括激光测距传感器、立体相机或毫米波雷达。
12.根据权利要求1所述的信息处理装置，其中，
所述移动允许区域是路面。
13.一种信息处理方法，包括以下步骤：
基于偏振图像，检测构成移动体的移动允许区域的平面的法线方向；
标识所述移动允许区域中的点的位置；以及
基于所述移动允许区域的法线方向和所述移动允许区域中的点的位置，来标识构成所述移动允许区域的平面。
14.一种程序，使计算机执行以下过程：
移动允许区域法线检测部分，被配置为基于偏振图像检测构成移动体的移动允许区域的平面的法线方向；
位置标识部分，被配置为标识构成所述移动允许区域的平面上的点的位置；以及
平面标识部分，被配置为基于所述移动允许区域的法线方向和所述移动允许区域中的点的位置来标识构成所述移动允许区域的平面。
15.一种移动体，包括：
移动允许区域法线检测部分，被配置为基于偏振图像检测构成移动体的移动允许区域的平面的法线方向；
位置标识部分，被配置为标识构成所述移动允许区域的平面上的点的位置；
平面标识部分，被配置为基于所述移动允许区域的法线方向和所述移动允许区域中的点的位置来标识构成所述移动允许区域的平面；
环境建图部分，被配置为基于由所述平面标识部分标识的平面来生成环境图；
规划部分，被配置为基于由所述环境建图部分生成的环境图，规划移动路线；以及
控制部分，被配置为基于由所述规划部分规划的移动路线来控制所述移动体的操作。
CN201880049231.8A 2017-08-04 2018-07-25 信息处理装置、信息处理方法、程序和移动体 Active CN110959143B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-151476 2017-08-04
JP2017151476 2017-08-04
PCT/JP2018/027840 WO2019026714A1 (ja) 2017-08-04 2018-07-25 情報処理装置、および情報処理方法、プログラム、並びに移動体

Publications (2)

Publication Number Publication Date
CN110959143A true CN110959143A (zh) 2020-04-03
CN110959143B CN110959143B (zh) 2023-09-22

Family

ID=65233831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880049231.8A Active CN110959143B (zh) 2017-08-04 2018-07-25 信息处理装置、信息处理方法、程序和移动体

Country Status (5)

Country Link
US (1) US11373418B2 (zh)
EP (1) EP3663882B1 (zh)
JP (1) JP7259749B2 (zh)
CN (1) CN110959143B (zh)
WO (1) WO2019026714A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111595328A (zh) * 2020-06-01 2020-08-28 四川阿泰因机器人智能装备有限公司 基于深度相机的真实障碍物地图构建和导航方法及系统
CN112389440A (zh) * 2020-11-07 2021-02-23 吉林大学 一种基于车路作用机理的越野环境中车辆行驶风险预测方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657388B2 (en) * 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
WO2020163742A1 (en) * 2019-02-08 2020-08-13 Photon-X, Inc. Integrated spatial phase imaging
JP2020155047A (ja) * 2019-03-22 2020-09-24 三菱重工エンジニアリング株式会社 位置検出システム、車両、及び、位置検出方法
CN113994408A (zh) * 2019-06-14 2022-01-28 索尼集团公司 信息处理装置、信息处理方法和程序
JP7327077B2 (ja) * 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
WO2021131797A1 (ja) * 2019-12-25 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
EP3971556A1 (en) * 2020-09-17 2022-03-23 Evonik Operations GmbH Qualitative or quantitative characterization of a coating surface
CN112171668A (zh) * 2020-09-21 2021-01-05 河南颂达信息技术有限公司 一种基于人工智能的轨道式机器人防卡死检测方法及装置
JP2022173682A (ja) * 2021-05-10 2022-11-22 ソニーグループ株式会社 移動体、移動制御方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120268602A1 (en) * 2009-12-25 2012-10-25 Hideaki Hirai Object identifying apparatus, moving body control apparatus, and information providing apparatus
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN105182358A (zh) * 2014-04-25 2015-12-23 谷歌公司 用于使用激光点云进行物体检测的方法和系统
EP3113150A1 (en) * 2014-02-24 2017-01-04 Nissan Motor Co., Ltd. Local location computation device and local location computation method
CN106463060A (zh) * 2014-05-19 2017-02-22 株式会社理光 处理装置、处理系统、处理程序和处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4462220B2 (ja) 2006-03-28 2010-05-12 パナソニック電工株式会社 自律移動装置、並びに、自律移動システム
CN102017601B (zh) * 2008-06-26 2013-03-13 松下电器产业株式会社 图像处理装置及图像合成方法
JP2011033497A (ja) * 2009-08-03 2011-02-17 Honda Motor Co Ltd 環境認識システム、環境認識方法およびロボット
JP5429986B2 (ja) 2009-12-25 2014-02-26 株式会社Ｉｈｉエアロスペース 移動ロボットの遠方環境認識装置及び方法
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
JP2015114307A (ja) 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
US10617271B2 (en) 2013-12-19 2020-04-14 Aktiebolaget Electrolux Robotic cleaning device and method for landmark recognition
JP5949814B2 (ja) 2014-03-06 2016-07-13 トヨタ自動車株式会社 自律移動ロボット、及びその制御方法
WO2017057058A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6801666B2 (ja) 2015-09-30 2020-12-16 ソニー株式会社 画像処理装置と画像処理方法および車両制御システム
EP3544283B1 (en) * 2016-11-15 2023-07-19 Sony Group Corporation Image processing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120268602A1 (en) * 2009-12-25 2012-10-25 Hideaki Hirai Object identifying apparatus, moving body control apparatus, and information providing apparatus
EP3113150A1 (en) * 2014-02-24 2017-01-04 Nissan Motor Co., Ltd. Local location computation device and local location computation method
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN105182358A (zh) * 2014-04-25 2015-12-23 谷歌公司 用于使用激光点云进行物体检测的方法和系统
CN106463060A (zh) * 2014-05-19 2017-02-22 株式会社理光 处理装置、处理系统、处理程序和处理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111595328A (zh) * 2020-06-01 2020-08-28 四川阿泰因机器人智能装备有限公司 基于深度相机的真实障碍物地图构建和导航方法及系统
CN111595328B (zh) * 2020-06-01 2023-04-25 四川阿泰因机器人智能装备有限公司 基于深度相机的真实障碍物地图构建和导航方法及系统
CN112389440A (zh) * 2020-11-07 2021-02-23 吉林大学 一种基于车路作用机理的越野环境中车辆行驶风险预测方法

Also Published As

Publication number Publication date
CN110959143B (zh) 2023-09-22
EP3663882A4 (en) 2020-08-12
JP7259749B2 (ja) 2023-04-18
WO2019026714A1 (ja) 2019-02-07
EP3663882A1 (en) 2020-06-10
JPWO2019026714A1 (ja) 2020-08-27
EP3663882B1 (en) 2022-06-22
US20200272834A1 (en) 2020-08-27
US11373418B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
CN110959143B (zh) 信息处理装置、信息处理方法、程序和移动体
US11288860B2 (en) Information processing apparatus, information processing method, program, and movable object
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7103359B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
JPWO2019188389A1 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
US11100675B2 (en) Information processing apparatus, information processing method, program, and moving body
US11501461B2 (en) Controller, control method, and program
US20220180561A1 (en) Information processing device, information processing method, and information processing program
US20220036043A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
CN112119282A (zh) 信息处理装置、移动装置、方法和程序
JPWO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
US20220292296A1 (en) Information processing device, information processing method, and program
EP3971527A1 (en) Information processing device, information processing method, and program
CN114026436B (zh) 图像处理装置、图像处理方法和程序
US20220277556A1 (en) Information processing device, information processing method, and program
US11366237B2 (en) Mobile object, positioning system, positioning program, and positioning method
US20230121905A1 (en) Information processing apparatus, information processing method, and program
US20240012108A1 (en) Information processing apparatus, information processing method, and program
WO2020203241A1 (ja) 情報処理方法、プログラム、及び、情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant