CN108028023B - 信息处理装置、信息处理方法和计算机可读存储介质 - Google Patents

信息处理装置、信息处理方法和计算机可读存储介质 Download PDF

Info

Publication number
CN108028023B
CN108028023B CN201680055467.3A CN201680055467A CN108028023B CN 108028023 B CN108028023 B CN 108028023B CN 201680055467 A CN201680055467 A CN 201680055467A CN 108028023 B CN108028023 B CN 108028023B
Authority
CN
China
Prior art keywords
confidence
region
road surface
distance
imaging range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680055467.3A
Other languages
English (en)
Other versions
CN108028023A (zh
Inventor
小柳津秀纪
元山琢人
周藤泰广
山崎寿夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108028023A publication Critical patent/CN108028023A/zh
Application granted granted Critical
Publication of CN108028023B publication Critical patent/CN108028023B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技术涉及信息处理装置、信息处理方法和程序，利用它们可以抑制错误识别的发生。路面区域估计单元估计在预定图像捕获范围被捕获的第一图像中的路面区域。非偏振区域提取单元提取在图像捕获范围被捕获的第二图像中的非偏振区域。低置信度区域估计单元基于指示路面区域和非偏振区域的信息来估计图像捕获范围中第一传感器的测量范围内由第一传感器获得的对象的第一置信度低的低置信度区域。权重计算单元基于第一置信度、在图像捕获范围中由第二传感器获得的对象的第二置信度以及指示低置信度区域的信息来计算关于第一置信度的权重。存在似然计算单元基于第一置信度、第二置信度和指示权重的信息来计算在图像捕获范围内的每个距离基础上的对象的存在似然。本技术适用于车载距离估计装置。

Description

信息处理装置、信息处理方法和计算机可读存储介质
技术领域
本技术涉及信息处理装置、信息处理方法和程序。更具体地，该技术涉及用于抑制错误识别的发生的信息处理装置、信息处理方法和程序。
背景技术
立体相机和毫米波雷达通常用作车载距离传感器。但是，这些设备都有其自身的问题：立体相机在黑暗的地方和长距离处失去其准确性，并且毫米波雷达无法处理例如隧道中的多重反射，并且难以在垂直方向上获取信息。
同时，已经公开了融合从这两种类型的距离传感器获得的信息的技术。所公开的技术旨在使两个传感器中的每一个传感器补偿另一个传感器不强的条件和范围。
例如，通过专利文献1公开的技术，如果来自雷达的距离信息和来自立体相机的距离信息将合并，并且如果距对象远，则雷达导出的信息的置信度(confidence level)提高，以便增加对象的横向位置准确度。如果距对象近，则该技术涉及提高来自立体相机的信息的置信度，因为不知道如何确切地通过附近对象来反射雷达的无线电波。
进一步地，专利文献2陈述了在概率被融合之前，从多个传感器的输出获得的立体物的存在的概率基于传感器的识别率被校正或者依据行驶环境而以加权的方式被改变。
进一步地，专利文献3讨论了当通过自适应巡航控制跟踪前方车辆离开毫米波雷达的检测范围时要采取的措施。具体而言，如果本车通过GPS(全球定位系统)被确定为处于交通路口，则毫米波雷达的置信度降低，而同时立体相机的置信度提高。该措施旨在保持车辆之间的适当距离。
[引文列表]
[专利文献]
[专利文献1]JP2008-116357A
[专利文献2]JP2007-310741A
[专利文献3]JP1994-230115A
发明内容
[技术问题]
如上面所提到的，毫米波雷达难以在垂直方向上获取信息。具体而言，毫米波雷达的测量范围在上下方向上受到限制，从而不检测路面上或高架位置处那些不可能与本车发生碰撞的对象。
但是，例如，可能发生如下情况：金属件(诸如检修孔盖或格栅(grating))被埋在本车前方的上坡路面中。在该情况下，来自毫米波雷达的毫米波被金属件反射。因此，金属被错误地识别为障碍物，这激活自动刹车。
相反，立体相机对距离的估计包括估计路面，以便确定金属件是否是该路面上的对象。但是，由于缺乏确定来自毫米波雷达和来自立体相机的两种信息中的哪一种是正确的手段，因此这种金属件最终可能被识别为障碍物。
鉴于上述情况而设计了本技术。因此该技术的目的是抑制错误识别的发生。
[对问题的解决方案]
根据本技术的一方面，提供了一种信息处理装置，包括：路面区域估计部分，被配置为估计在预定成像范围被捕获的第一图像中的路面区域；非偏振区域提取部分，被配置为从成像范围被捕获的第二图像中提取非偏振区域；低置信度区域估计部分，被配置为基于指示路面区域和非偏振区域的信息来估计在成像范围中第一传感器的测量范围内由第一传感器获得的对象的第一置信度低的低置信度区域；权重计算部分，被配置为基于第一置信度、在成像范围中由第二传感器获得的对象的第二置信度以及指示低置信度区域的信息来计算关于第一置信度的权重；以及存在似然(likelihood)计算部分，被配置为基于第一置信度、第二置信度和指示权重的信息来计算在成像范围内的各距离处对象的存在似然。
根据本技术的一方面，提供了一种信息处理方法，包括以下步骤：估计在预定成像范围被捕获的第一图像中的路面区域；从成像范围被捕获的第二图像中提取非偏振区域；基于指示路面区域和非偏振区域的信息来估计在成像范围中第一传感器的测量范围内由第一传感器获得的对象的第一置信度低的低置信度区域；基于第一置信度、在成像范围中由第二传感器获得的对象的第二置信度以及指示低置信度区域的信息来计算关于第一置信度的权重；以及基于第一置信度、第二置信度和指示权重的信息来计算在成像范围内的各距离处对象的存在似然。
根据本技术的一方面，提供了一种使计算机执行包括以下步骤的处理的程序：估计在预定成像范围被捕获的第一图像中的路面区域；从成像范围被捕获的第二图像中提取非偏振区域；基于指示路面区域和非偏振区域的信息来估计在成像范围中第一传感器的测量范围内由第一传感器获得的对象的第一置信度低的低置信度区域；基于第一置信度、在成像范围中由第二传感器获得的对象的第二置信度以及指示低置信度区域的信息来计算关于第一置信度的权重；以及基于第一置信度、第二置信度和指示权重的信息来计算在成像范围内的各距离处对象的存在似然。
根据本技术的一方面，首先估计在预定成像范围被捕获的第一图像中的路面区域。从成像范围被捕获的第二图像中提取非偏振区域。基于指示路面区域和非偏振区域的信息来估计在成像范围中第一传感器的测量范围内由第一传感器获得的对象的第一置信度低的低置信度区域。基于第一置信度、在成像范围中由第二传感器获得的对象的第二置信度以及指示低置信度区域的信息来计算关于第一置信度的权重。然后基于第一置信度、第二置信度和指示权重的信息来计算在成像范围内的各距离处对象的存在似然。
[发明的有益效果]
根据本技术的一方面，有可能抑制错误识别的发生。
附图说明
图1是绘出根据实施例的距离估计装置的典型配置的框图。
图2是解释要成像的景观的说明图。
图3是解释距离估计处理的流程图。
图4是解释距离估计处理的另一个流程图。
图5是绘出典型的立体相机距离图像的示意图。
图6是绘出典型的立体相机置信度图像的示意图。
图7是绘出典型的毫米波雷达数据地图的示意图。
图8是绘出典型的偏振角的示意图。
图9是绘出典型的路面区域地图的示意图。
图10是绘出典型的非偏振区域地图的示意图。
图11是解释毫米波雷达的测量范围的说明图。
图12是绘出典型的毫米波雷达低置信度区域地图的示意图。
图13是绘出典型的路面相关立体相机距离图像的示意图。
图14是绘出典型的立体相机置信度地图的示意图。
图15是解释毫米波雷达数据地图中的置信度改变的说明图。
图16是绘出其置信度改变的典型毫米波雷达数据地图的示意图。
图17是绘出计算机的典型功能配置的框图。
具体实施方式
下面参考附图来描述本技术的优选实施例。
<距离估计装置的典型配置>
图1绘出了作为根据实施例的信息处理装置的距离估计装置的典型配置。
安装在车辆(诸如汽车)上的距离估计装置11构成所谓电子控制单元(ECU)的一部分。基于来自各种传感器的信号，距离估计装置11估计到对象(诸如本车前方行驶的车辆)的距离。本实施例具有安装在车辆上的立体相机12、毫米波雷达13和偏振相机14作为具有不同检测特点的三种类型的传感器。
立体相机12包括以预定的基线长度分开部署在左侧和右侧的一对相机，成对相机配备有固态成像设备(CMOS(互补金属氧化物半导体)图像传感器或CCD(电荷耦合器件)图像传感器)。立体相机12从不同的视点对车辆外部景观进行成像。立体相机12例如附连在车内后视镜上方。将捕获的车辆外部景观的右图像和左图像供应给距离估计装置11。
毫米波雷达13使用毫米波来检测前方的对象。毫米波雷达13例如附连在车辆的前端，大约在车辆宽度的中间。毫米波雷达13在本车的前方发射毫米波，并接收来自每个前方对象的后端的反射的毫米波。然后，通过测量从发射到接收的时间，毫米波雷达13计算本车的前端和前方对象的后端之间的距离。毫米波雷达13以毫米波雷达图像的形式向距离估计装置11供应表示计算出的距离的信号。
偏振相机14向距离估计装置11供应在至少三个方向上的已经通过偏振滤波器的图像。具体而言，偏振相机14包括偏振器阵列，该偏振器阵列组合了构成单元(偏振器单元)并具有不同透射轴的至少三个偏振器。偏振器阵列允许各个偏振器使入射输入光的非偏振分量以及其偏振方向依据偏振器而变的偏振分量通过。以这种方式，偏振相机14同时捕获不同偏振方向中的偏振图像，并将捕获的图像供应给距离估计装置11。
顺便提及，由立体相机12和偏振相机14获得的图像的成像范围基本相同。由毫米波雷达获得的图像的成像范围在上下方向上比由立体相机12和偏振相机14获取的图像的成像范围更受限制。
以下解释距离估计装置11的详细配置。
距离估计装置11包括立体相机评估部分51、毫米波雷达评估部分52、偏振角估计部分53、路面区域估计部分54、非偏振区域提取部分55、低置信度区域估计部分56、障碍物候选提取部分57、路面相关距离提取部分58、图像-地图转换部分59、权重计算部分60以及距离合并部分61。
立体相机评估部分51基于从立体相机12供应的右图像和左图像来生成立体相机距离图像和立体相机置信度图像。立体相机评估部分51将立体相机距离图像供应给路面相关距离提取部分58并且将立体相机置信度图像供应给图像-地图转换部分59。将在后面详细讨论立体相机距离图像和立体相机置信度图像。
毫米波雷达评估部分52基于从毫米波雷达13供应的毫米波雷达图像来生成毫米波雷达数据地图。毫米波雷达评估部分52将毫米波雷达数据地图供应给权重计算部分60和距离合并部分61。将在后面详细讨论毫米波雷达数据地图。
基于从偏振相机14供应的偏振图像，偏振角估计部分53生成指示偏振图像中对象的偏振角的偏振角地图。偏振角估计部分53将偏振角地图供应给路面区域估计部分54。
路面区域估计部分54基于从偏振角估计部分53供应的偏振角地图来估计偏振图像中路面的区域(路面区域)。路面区域估计部分54将指示偏振图像中的路面区域的路面区域地图供应给低置信度区域估计部分56、障碍物候选提取部分57和路面相关距离提取部分58。
基于从偏振相机14供应的偏振图像，非偏振区域提取部分55提取偏振分量强度变化有限的像素区域作为偏振图像中的非偏振区域。非偏振区域提取部分55将指示非偏振区域的非偏振区域地图供应给低置信度区域估计部分56。
低置信度区域估计部分56基于从路面区域估计部分54供应的路面区域地图并且基于来自非偏振区域提取部分55的非偏振区域地图来估计毫米波雷达数据地图中置信度低的低置信度区域。低置信度区域估计部分56向权重计算部分60供应指示低置信度区域的毫米波雷达低置信度区域地图。
基于从路面区域估计部分54供应的路面区域地图，障碍物候选提取部分57提取构成路面区域中的障碍物候选的区域。障碍物候选提取部分57向路面相关距离提取部分58供应指示障碍物候选区域的路面障碍物候选区域地图。
路面相关距离提取部分58基于从路面区域估计部分54供应的路面区域地图以及从障碍物候选提取部分57供应的路面障碍物候选区域地图在从立体相机评估部分51供应的立体相机距离图像中提取关于排除了被视为路面的区域之外的区域的距离信息。路面相关距离提取部分58向图像-地图转换部分59供应立体相机距离图像作为路面相关立体相机距离图像，从该路面相关立体相机距离图像中提取关于排除了被视为路面的区域之外的区域的距离信息。
图像-地图转换部分59基于从立体相机评估部分51供应的立体相机置信度图像并基于从路面相关距离提取部分58供应的路面相关立体相机距离图像生成立体相机置信度地图。图像-地图转换部分59将立体相机置信度地图供应给权重计算部分60和距离合并部分61。
权重计算部分60基于从毫米波雷达评估部分52供应的毫米波雷达数据地图、基于来自低置信度区域估计部分56的毫米波雷达低置信度区域地图以及基于来自图像-地图转换部分59的立体相机置信度地图来计算关于毫米波雷达数据地图的权重。权重计算部分60向距离合并部分61供应相对于毫米波雷达数据地图加权的毫米波雷达权重地图。
距离合并部分61基于从毫米波雷达评估部分52供应的毫米波雷达数据地图、基于来自图像-地图转换部分59的立体相机置信度地图以及来自权重计算部分60的毫米波雷达权重地图来计算在成像范围内的每个不同距离处对象的存在似然。距离合并部分61输出指示在成像范围内的各距离处对象的存在似然的存在似然地图。
<距离估计处理>
下面描述由距离估计装置11执行的距离估计处理。顺便提及，在随后的描述中，假设图2中绘出的景观将由立体相机12、毫米波雷达13和偏振相机14进行成像。
在图2中，在上坡路面100上存在非金属障碍物111、金属障碍物112和金属检修孔盖113。进一步地，在路面100的外部是金属障碍物114和树木。利用现有技术，来自毫米波雷达13的毫米波被检修孔盖113反射，使得检修孔盖113被错误地识别为障碍物。
图3和图4绘出了解释距离估计处理的流程图。
在步骤S1中，立体相机评估部分51基于从立体相机12供应的右图像和左图像来生成立体相机距离图像和立体相机置信度图像。
图5绘出了典型的立体相机距离图像。
图5中绘出的立体相机距离图像120指示区域越暗，与该区域对应的对象所处的距离越远。
图6绘出了典型的立体相机置信度图像。
立体相机置信度图像指示由立体相机12测量距离的置信度。对于图像中的边缘和纹理部分的值高。例如，基于来自立体相机12的立体匹配相关值来计算立体相机置信度图像的值。在图6的立体相机置信度图像130中，区域越暗，与该区域对应的置信度越高。在涉及使用立体相机的距离估计中，基于右图像和左图像之间的视差来估计距离。出于这个原因，图像中的平坦部分或暗部分具有低置信度，而尖锐边缘部分具有高置信度。
顺便提及，也可以从目标图像的对比度或目标图像的纹理强度(即，从可以提高立体相机的距离估计的置信度的任何参数)计算立体相机置信度图像的级别。
将这样生成的立体相机距离图像供应给路面相关距离提取部分58。将立体相机置信度图像供应给图像-地图转换部分59。
顺便提及，可以用超声传感器或激光雷达取代立体相机12。来自这种替代设备的输出可以用作生成取代立体相机距离图像或立体相机置信度图像的图像的基础。
返回到图3的流程图，在步骤S2中，毫米波雷达评估部分52基于从毫米波雷达13供应的毫米波雷达图像来生成毫米波雷达数据地图。毫米波雷达数据地图指示对象的位置以及从该对象反射的毫米波的反射强度。
例如，基于毫米波雷达13的反射强度来计算毫米波雷达数据地图的值。利用毫米波雷达，来自诸如金属对象的对象的反射波的反射强度高。表示基于该反射强度计算的距离的信号往往具有高置信度。因此，使用毫米波雷达数据地图使得有可能检测出路面上或其它区域中反射大量毫米波的对象(诸如金属)。
图7绘出了典型的毫米波雷达数据地图。
在图7中所绘出的毫米波雷达数据地图140中，水平轴(x轴)表示图2中的水平方向，并且垂直轴(z轴)表示图2中的深度方向。图7中的毫米波雷达数据地图140指示区域越暗，与该区域对应的对象的置信度越高。
即，在图7的示例中，分别与图2中的各自包括具有高毫米波反射强度的金属的金属障碍物112、检修孔盖113和金属障碍物114对应的区域142、143和144的置信度最高。与非金属障碍物111对应的区域141具有第二高的置信度。顺便提及，对于与图2中的树木对应的区域的置信度不是很高。
将这样生成的毫米波雷达数据地图供应给权重计算部分60和距离合并部分61。
返回到图3的流程图，在步骤S3中，偏振角估计部分53基于从偏振相机14供应的偏振图像来生成偏振角地图。
例如，使用日本专利4974543中所公开的数学模型，偏振角估计部分53从偏振图像中分离偏振分量强度和非偏振分量强度。基于由数学模型指示的偏振分量强度的相位，偏振角估计部分53估计偏振图像中的每个对象的偏振角。
图8绘出了典型的偏振角。
在图8中，由箭头指示的偏振角被绘制为在图2中的路面100沿着z轴的近侧部分中是均匀的。在路面100上沿着z轴的远侧(上坡)部分中，由箭头指示的偏振角被绘制为连续变化。
将指示这样估计的偏振角的偏振角地图供应给路面区域估计部分54。
返回到图3的流程图，在步骤S4中，路面区域估计部分54基于由从偏振角估计部分53供应的偏振角地图指示的偏振角来估计偏振图像中的路面区域。
具体而言，路面区域估计部分54检测偏振图像中由偏振角地图指示的偏振角看起来均匀或在预定范围内连续变化的那些部分。路面区域估计部分54然后生成具有检测到的部分的路面区域地图作为偏振图像中的路面区域。路面区域地图指示区别于其它地区的路面区域。在这个示例中，具有大致垂直的偏振角的区域和与该区域邻接的区域被视为构成路面区域。
图9绘出了典型的路面区域地图。
在图9的路面区域地图170中，暗区域被认为是路面区域。路面区域地图170中的暗区域与从图2中的路面100排除了非金属障碍物111、金属障碍物112和金属检修孔盖113之外的部分对应。
将这样生成的路面区域地图供应给低置信度区域估计部分56、障碍物候选提取部分57和路面相关距离提取部分58。
顺便提及，尽管上面已经解释了路面区域估计部分54基于偏振图像来估计路面区域，但是路面区域估计部分54可以替代地基于例如由立体相机12获得的右图像和左图像来估计路面区域。
返回到图3的流程图，在步骤S5中，非偏振区域提取部分55从偏振相机14供应的偏振图像中提取非偏振区域，由此生成指示非偏振区域的非偏振区域地图。非偏振区域地图指示在由偏振相机14捕获的偏振图像中显现或似乎显现(近似)相同相位图像的区域。换言之，非偏振区域地图指示偏振分量强度的变化小的像素区域。
图10绘出了典型的非偏振区域地图。
在图10中的非偏振区域地图180中，与图2中所绘出的各自包括金属的金属障碍物11、检修孔盖113和金属障碍物114对应的暗区域被认为是非偏振区域。当非偏振光被发射到金属上时，从该金属反射的光是不偏振的。这使得有可能将每个非偏振区域估计为与金属对应的区域。
将这样生成的非偏振区域地图供应给低置信度区域估计部分56。
可替代地，除了从偏振图像中提取非偏振区域以外的其他任何技术也可以用作估计与金属对应的区域的方法。
返回到图3的流程图，在步骤S6中，低置信度区域估计部分56基于从路面区域估计部分54供应的路面区域地图并且基于来自非偏振区域提取部分55的非偏振区域地图来估计毫米波雷达数据地图中的低置信度区域。
具体而言，从路面区域地图和非偏振区域地图中，低置信度区域估计部分56提取在毫米波雷达13的测量范围内的路面区域中的非偏振区域作为低置信度区域。
图11是解释毫米波雷达13的测量范围的说明图。
在图11中，在路面区域200中存在分别与非金属障碍物111、金属障碍物112和检修孔盖113对应的区域211、212和213。进一步地，在路面区域200的外部是与金属障碍物114对应的区域214。在图11的示例中，毫米波雷达13的测量范围220由虚线矩形框表示。
在图11的示例中，路面区域200中的非偏振区域分别是与金属障碍物112和检修孔盖113对应的区域212和213。即，区域212和213的被包括在测量范围220中的区域被认为是低置信度区域。
图12绘出了典型的毫米波雷达低置信度区域地图。毫米波雷达低置信度区域地图指示毫米波雷达数据地图中的低置信度区域。在毫米波雷达低置信度区域地图的这个示例中，如上面所讨论的，由非偏振区域地图指示的非偏振区域被认为是金属区域，该金属区域进而被认为是低置信度区域。
在毫米波雷达13的测量范围220中存在低置信度区域的水平方向(x轴方向)上，存在毫米波雷达13可能将路面上的金属错误地识别为障碍物的概率。在图12中绘出的毫米波雷达低置信度区域地图230中，与被包括在图11中的测量范围220中的路面上的非偏振区域(即，金属区域)对应的暗区域被认为是低置信度区域。因此，使用毫米波雷达低置信度区域地图使得有可能降低被认为是路面上的金属的区域(诸如检修孔盖)的置信度。
将这样生成的毫米波雷达低置信度区域地图供应给权重计算部分60。
返回到图3的流程图，在步骤S6之后，控制转移到图4的流程图中的步骤S7。在步骤S7中，障碍物候选提取部分57基于从路面区域估计部分54供应的路面区域地图来提取路面区域中的障碍物候选区域。
具体而言，障碍物候选提取部分57从占据路面区域地图中的路面区域的所有路面区域中减去路面区域以确定可以成为障碍物候选区域的区域。即，与路面上的非金属障碍物111、金属障碍物112和检修孔盖113对应的区域构成障碍物候选区域。
路面相关距离提取部分58被供应有指示构成这样提取出的障碍物候选的区域的路面障碍物候选区域地图。路面障碍物候选区域地图指示与路面区域中除了路面之外的对象对应的区域的候选。
返回到图4的流程图，在步骤S8中，路面相关距离提取部分58根据从路面区域估计部分54供应的路面区域地图并根据来自障碍物候选提取部分57的路面障碍物候选区域地图，从由立体相机评估部分51给出的立体相机距离图像中排除与路面相关的距离信息。即，路面相关距离提取部分58从立体相机距离图像中提取关于排除了那些被视为路面区域之外的区域的距离信息。
具体而言，如果在立体摄影机距离图像中在离路面上的给定障碍物候选区域的距离的平均值与离该区域附近的路面区域的距离的平均值之间至少存在预定距离，则路面相关距离提取部分58完整地保留关于障碍物候选区域的距离信息。进一步地，如果平均值之间的差小于预定距离，则路面相关距离提取部分58将关于障碍物候选区域的距离信息作为无限远距离来处理。此外，路面相关距离提取部分58还将关于路面区域的距离信息作为无限远距离来处理。以这种方式，生成了从立体相机距离图像中排除了关于与路面相关的距离信息的路面相关立体相机距离图像。
图13绘出了典型的路面相关立体相机距离图像。
在图13中绘出的路面相关立体相机距离图像240中，与图5中给出的立体相机距离图像相反，被视为包括检修孔盖113的路面的区域被绘为黑色，即，作为无限远处的对象。要注意的是，在路面相关立体相机距离图像240中，与路面上的非金属障碍物111和金属障碍物112对应的区域保持为对象。
将这样生成的路面相关立体相机距离图像供应给图像-地图转换部分59。
返回到图4的流程图，在步骤S9中，图像-地图转换部分59基于从立体相机评估部分51供应的立体相机置信度图像并基于来自路面相关距离提取部分58的路面相关立体相机距离图像来生成立体相机置信度地图。
具体而言，图像-地图转换部分59将立体相机置信度图像和路面相关立体相机距离图像转换为x-z地图，由此生成与毫米波雷达数据地图对应的立体相机置信度地图。
图14绘出了典型的立体相机置信度地图。
在图14中绘出的立体相机置信度地图250中，水平轴(x轴)表示水平方向，并且垂直轴(z轴)表示深度方向。进一步地，图14中的立体相机置信度地图指示区域越暗，与该区域对应的对象的置信度越高。
具体而言，在图14的示例中，与短距离处的非金属障碍物111对应的区域251以及与树木对应的区域的置信度高。进一步地，对于与长距离处的金属障碍物112和114对应的区域252和254，置信度不那么高。顺便提及，图14中的示例指示检修孔盖113不被识别为对象。
将这样生成的立体相机置信度地图供应给权重计算部分60和距离合并部分61。
返回到图4的流程图，在步骤S10中，权重计算部分60基于从毫米波雷达评估部分52供应的毫米波雷达数据地图、基于来自低置信度区域估计部分56的毫米波雷达低置信度区域地图并且基于来自图像-地图转换部分59的立体相机置信度地图来生成毫米波雷达权重地图。
具体而言，使用毫米波雷达低置信度区域地图，权重计算部分60进行改变以降低与毫米波雷达数据地图中的低置信度区域对应的置信度。
图15是解释毫米波雷达数据地图中置信度如何改变的说明图。
在图15中的上部绘出了毫米波雷达低置信度区域地图230。在图15中的下部示出了毫米波雷达数据地图140。
在图15中的毫米波雷达数据地图140的示例中，对于具有与毫米波雷达低置信度区域地图230中的低置信度区域相同的水平位置的区域142和143，置信度降低。
图16绘出了置信度改变的典型毫米波雷达数据地图。
在图16的毫米波雷达数据地图140中，与图7中的毫米波雷达数据地图140相比，将指示区域142和143的颜色绘制为浅色，以指示这些区域的置信度降低。即，在图16中的毫米波雷达数据地图140的示例中，路面上的检修孔盖113和金属障碍物112的置信度降低。
然后，权重计算部分60使用具有改变的置信度的毫米波雷达数据地图和立体相机置信度地图的值来计算由下面的数学表达式(1)定义的权重Wr。
[数学表达式1]
Figure GDA0002899608040000151
在上面的数学表达式(1)中，Wr表示关于毫米波雷达13在置信度地图中的位置r＝(x,z)处的置信度的权重；Bmr表示毫米波雷达13在位置r处的置信度；并且Bsr代表立体相机12在位置r处的置信度。
将指示这样计算出的权重Wr的毫米波雷达权重地图供应给距离合并部分61。
返回到图4的流程图，在步骤S11中，距离合并部分61基于从毫米波雷达评估部分52供应的毫米波雷达数据地图、基于来自图像-地图转换部分59的立体相机置信度地图并且基于来自权重计算部分60的毫米波雷达权重地图来计算在成像范围内的各距离处对象的存在似然。
具体而言，距离合并部分61计算由下面的数学表达式(2)定义的对象在位置r＝(x,z)处的存在似然Lr。给定对象的存在似然Lr的值越大，该对象存在的置信度越高。即，该对象很可能存在。
[数学表达式2]
Figure GDA0002899608040000161
距离合并部分61输出指示这样计算出的存在似然Lr的存在似然地图，并且终止处理。存在似然地图指示在不同位置、不同方向和不同距离处对象存在的置信度。存在似然的值越大，给定对象在其位置、方向和距离处存在的置信度越高。在对象检测中，存在似然地图的值被用于阈值确定，通过该阈值来检测给定距离处的对象。顺便提及，可以通过实验和学习预先计算用于阈值确定的阈值。
在上述处理中，如果金属(诸如检修孔盖和格栅)被掩埋在本车前方的上坡路面中，则在这些对象的存在的置信度低的假设上基于毫米波雷达来执行距离估计。这使得有可能抑制金属被错误识别为路面上的障碍物，并由此执行正确的距离估计。顺便提及，检测到的对象的距离可以例如由警告搭乘本车(即，其上安装有距离估计装置11的车辆)的驾驶员即将发生碰撞的系统使用或者由以跟踪另一辆前方行驶的车辆的方式控制本车的系统使用。
可以通过硬件或通过软件来执行上述一系列步骤和处理。在通过软件执行这些步骤或处理时，构成软件的程序被安装到合适的计算机中。例如，计算机的变体包括结合在其专用硬件中的计算机以及能够基于其中安装的程序执行多种功能的通用个人计算机或类似装备。
图17是绘出通过程序执行上述一系列步骤和处理的计算机的典型硬件配置的框图。
在计算机中，CPU 901、ROM(只读存储器)902和RAM(随机存取存储器)903经由总线904互相连接。
总线904还与输入/输出接口905连接。输入/输出接口905与输入部分906、输出部分907、存储部分908、通信部分909和驱动器910连接。
输入部分906包括例如键盘、鼠标和麦克风。输出部分907包括例如显示单元和扬声器。存储部分908通常包括硬盘或非易失性存储器。通信部分909通常包括网络接口。驱动器910驱动可移除介质911，诸如磁盘、光盘、磁-光盘或半导体存储器。
在如上所述配置的计算机中，CPU 901通过例如经由输入/输出接口905和总线904将来自存储部分908的适当程序加载到RAM 903中并且通过执行所加载的程序来执行上述一系列步骤和处理。
将由计算机(CPU 901)执行的程序可以例如在被提供时被记录在可移除介质911(诸如封装介质)上。还可以经由有线或无线传输介质(诸如局域网、互联网和数字卫星广播)提供该程序。
利用计算机，可以经由输入/输出接口905将程序从附接到驱动器910的可移除介质911安装到存储部分908中。程序还可以在经由有线或无线传输介质被通信部分909接收之后被安装到存储部分908中。可替代地，可以将程序预先安装在ROM 902或存储部分908中。
顺便提及，将由计算机执行的每个程序可以按照时间顺序(即，按照本描述中所描述的顺序)被处理；与其它程序并行地被处理或者以其它适当的时间方式(诸如当根据需要被调用时)被处理。
应当理解的是，本技术在被实施时不限于上述实施例，并且可以在不背离本技术的主旨的情况下进行各种修改。
例如，本技术可以被实现为云计算设置，其中单个功能由多个联网设备在共享的基础上协作处理。
而且，参考上述流程图所讨论的每个步骤可以由单个设备或者由多个设备在共享的基础上执行。
此外，如果单个步骤包括多个处理，则被包括在单个步骤中的这些处理可以或者由单个设备或者由多个设备在共享的基础上执行。
进一步地，本技术在被实现时可以进行如下配置：
(1)一种信息处理装置，包括：
路面区域估计部分，被配置为估计在预定成像范围被捕获的第一图像中的路面区域；
非偏振区域提取部分，被配置为从所述成像范围被捕获的第二图像中提取非偏振区域；
低置信度区域估计部分，被配置为基于指示所述路面区域和所述非偏振区域的信息来估计在所述成像范围中第一传感器的测量范围内由所述第一传感器获得的对象的第一置信度低的低置信度区域；
权重计算部分，被配置为基于所述第一置信度、在所述成像范围中由第二传感器获得的所述对象的第二置信度以及指示所述低置信度区域的信息来计算关于所述第一置信度的权重；以及
存在似然计算部分，被配置为基于所述第一置信度、所述第二置信度和指示所述权重的信息来计算在所述成像范围内的各距离处所述对象的存在似然。
(2)如上面的段落(1)中所述的信息处理装置，其中所述权重计算部分通过降低与所述低置信度区域对应的所述第一置信度来计算所述权重。
(3)如上面的段落(2)中所述的信息处理装置，还包括：
距离信息提取部分，被配置为对于由所述第二传感器获得的所述对象提取排除了被视为路面的区域之外的区域的距离信息；以及
置信度生成部分，被配置为使用排除了被视为路面的区域之外的区域的所述距离信息来生成指示所述第二置信度的信息。
(4)如上面的段落(3)中所述的信息处理装置，还包括：
障碍物候选提取部分，被配置为基于指示所述路面区域的信息来提取所述路面区域中的障碍物候选；
其中所述距离信息提取部分基于构成所述障碍物候选的区域的距离信息来提取排除了被视为路面的区域之外的区域的所述距离信息。
(5)如上面的段落(1)至(4)中任一段所述的信息处理装置，其中所述第二图像包括由偏振相机在至少三个方向上获得的偏振图像。
(6)如上面的段落(5)中所述的信息处理装置，其中所述第一图像与所述第二图像相同。
(7)如上面的段落(1)中所述的信息处理装置，其中所述第一传感器是毫米波雷达，并且所述第二传感器是立体相机。
(8)如上面的段落(7)中所述的信息处理装置，其中所述第一置信度包括所述毫米波雷达的反射强度。
(9)如上面的段落(7)或(8)中所述的信息处理装置，其中所述第二置信度包括所述立体相机的立体匹配相关值。
(10)一种信息处理方法，包括以下步骤：
估计在预定成像范围被捕获的第一图像中的路面区域；
从所述成像范围被捕获的第二图像中提取非偏振区域；
基于指示所述路面区域和所述非偏振区域的信息来估计在所述成像范围中第一传感器的测量范围内由所述第一传感器获得的对象的第一置信度低的低置信度区域；
基于所述第一置信度、在所述成像范围中由第二传感器获得的所述对象的第二置信度以及指示所述低置信度区域的信息来计算关于所述第一置信度的权重；以及
基于所述第一置信度、所述第二置信度和指示所述权重的信息来计算在所述成像范围内的各距离处所述对象的存在似然。
(11)一种使计算机执行包括以下步骤的处理的程序：
估计在预定成像范围被捕获的第一图像中的路面区域；
从所述成像范围被捕获的第二图像中提取非偏振区域；
基于指示所述路面区域和所述非偏振区域的信息来估计在所述成像范围中第一传感器的测量范围内由所述第一传感器获得的对象的第一置信度低的低置信度区域；
基于所述第一置信度、在所述成像范围中由第二传感器获得的所述对象的第二置信度以及指示所述低置信度区域的信息来计算关于所述第一置信度的权重；以及
基于所述第一置信度、所述第二置信度和指示所述权重的信息来计算在所述成像范围内的各距离处所述对象的存在似然。
[标号列表]
11 距离估计装置
12 立体相机
13 毫米波雷达
14 偏振相机
51 立体相机评估部分
52 毫米波雷达评估部分
53 偏振角估计部分
54 路面区域估算部分
55 非偏振区域提取部分
56 低置信度区域估计部分
57 障碍物候选提取部分
58 路面相关距离提取部分
59 图像-地图转换部分
60 权重计算部分
61 距离合并部分

Claims (11)

1.一种信息处理装置，包括：
路面区域估计部分，被配置为估计由偏振相机或立体相机在预定成像范围捕获的第一图像中的路面区域；
非偏振区域提取部分，被配置为从由所述偏振相机在所述成像范围捕获的第二图像中提取非偏振区域；
低置信度区域估计部分，被配置为基于指示所述路面区域和所述非偏振区域的信息来估计在所述成像范围中第一传感器的测量范围内由所述第一传感器获得的对象的第一置信度低的低置信度区域；
权重计算部分，被配置为基于所述第一置信度、在所述成像范围中由第二传感器获得的所述对象的第二置信度以及指示所述低置信度区域的信息来计算关于所述第一置信度的权重；以及
存在似然计算部分，被配置为基于所述第一置信度、所述第二置信度和指示所述权重的信息来计算在所述成像范围内的各距离处所述对象的存在似然。
2.根据权利要求1所述的信息处理装置，其中所述权重计算部分通过降低与所述低置信度区域对应的所述第一置信度来计算所述权重。
3.根据权利要求2所述的信息处理装置，还包括：
距离信息提取部分，被配置为对于由所述第二传感器获得的所述对象提取排除了被视为路面的区域之外的区域的距离信息；以及
置信度生成部分，被配置为使用排除了被视为路面的区域之外的区域的所述距离信息来生成指示所述第二置信度的信息。
4.根据权利要求3所述的信息处理装置，还包括：
障碍物候选提取部分，被配置为基于指示所述路面区域的信息来提取所述路面区域中的障碍物候选；
其中所述距离信息提取部分基于构成所述障碍物候选的区域的距离信息来提取排除了被视为路面的区域之外的区域的所述距离信息。
5.根据权利要求4所述的信息处理装置，其中所述第二图像包括由所述偏振相机在至少三个方向上获得的偏振图像。
6.根据权利要求5所述的信息处理装置，其中所述第一图像与所述第二图像相同。
7.根据权利要求1所述的信息处理装置，其中所述第一传感器是毫米波雷达，并且所述第二传感器是所述立体相机。
8.根据权利要求7所述的信息处理装置，其中所述第一置信度包括所述毫米波雷达的反射强度。
9.根据权利要求7所述的信息处理装置，其中所述第二置信度包括所述立体相机的立体匹配相关值。
10.一种信息处理方法，包括以下步骤：
估计由偏振相机或立体相机在预定成像范围捕获的第一图像中的路面区域；
从由所述偏振相机在所述成像范围捕获的第二图像中提取非偏振区域；
基于指示所述路面区域和所述非偏振区域的信息来估计在所述成像范围中第一传感器的测量范围内由所述第一传感器获得的对象的第一置信度低的低置信度区域；
基于所述第一置信度、在所述成像范围中由第二传感器获得的所述对象的第二置信度以及指示所述低置信度区域的信息来计算关于所述第一置信度的权重；以及
基于所述第一置信度、所述第二置信度和指示所述权重的信息来计算在所述成像范围内的各距离处所述对象的存在似然。
11.一种存储有程序的计算机可读存储介质，所述程序使计算机执行包括以下步骤的处理：
估计由偏振相机或立体相机在预定成像范围捕获的第一图像中的路面区域；
从由所述偏振相机在所述成像范围捕获的第二图像中提取非偏振区域；
基于指示所述路面区域和所述非偏振区域的信息来估计在所述成像范围中第一传感器的测量范围内由所述第一传感器获得的对象的第一置信度低的低置信度区域；
基于所述第一置信度、在所述成像范围中由第二传感器获得的所述对象的第二置信度以及指示所述低置信度区域的信息来计算关于所述第一置信度的权重；以及
基于所述第一置信度、所述第二置信度和指示所述权重的信息来计算在所述成像范围内的各距离处所述对象的存在似然。
CN201680055467.3A 2015-09-30 2016-09-16 信息处理装置、信息处理方法和计算机可读存储介质 Expired - Fee Related CN108028023B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015194137 2015-09-30
JP2015-194137 2015-09-30
PCT/JP2016/077431 WO2017057058A1 (ja) 2015-09-30 2016-09-16 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN108028023A CN108028023A (zh) 2018-05-11
CN108028023B true CN108028023B (zh) 2021-10-26

Family

ID=58423744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055467.3A Expired - Fee Related CN108028023B (zh) 2015-09-30 2016-09-16 信息处理装置、信息处理方法和计算机可读存储介质

Country Status (5)

Country Link
US (1) US10591594B2 (zh)
EP (1) EP3358551B1 (zh)
JP (1) JP6784943B2 (zh)
CN (1) CN108028023B (zh)
WO (1) WO2017057058A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
EP3318890B1 (en) * 2016-11-02 2019-05-01 Aptiv Technologies Limited Method to provide a vehicle environment contour polyline from detection data
US10318827B2 (en) * 2016-12-19 2019-06-11 Waymo Llc Object detection neural networks
JP7127969B2 (ja) * 2017-07-12 2022-08-30 株式会社デンソーテン レーダ装置及び信号処理方法
US11373418B2 (en) * 2017-08-04 2022-06-28 Sony Corporation Information processing apparatus, information processing method, program, and mobile object
JP6808590B2 (ja) 2017-08-08 2021-01-06 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび移動体
US11513531B2 (en) * 2017-08-08 2022-11-29 Lg Electronics Inc. Apparatus for providing map
JP6996353B2 (ja) * 2018-03-06 2022-01-17 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
JP2019178971A (ja) * 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 環境地図生成装置、環境地図生成方法、及び環境地図生成プログラム
EP3819668A4 (en) * 2018-07-02 2021-09-08 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, COMPUTER PROGRAM AND MOVING BODY DEVICE
DE102018216983B3 (de) 2018-10-04 2019-11-28 Audi Ag Verfahren zum Unterdrücken von Abbildungen von Reflexionen in zumindest einem Kamerabild einer Kamera einer Umfeldsensorvorrichtung eines Kraftfahrzeugs sowie entsprechende Umfeldsensorvorrichtung
JP7203583B2 (ja) * 2018-11-30 2023-01-13 古河電気工業株式会社 センサシステム、センサ装置、および、異常検出方法
US11899099B2 (en) 2018-11-30 2024-02-13 Qualcomm Incorporated Early fusion of camera and radar frames
US11987271B2 (en) 2018-12-07 2024-05-21 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, mobile-object control apparatus, and mobile object
WO2020196676A1 (ja) * 2019-03-26 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、車両制御装置、および方法、並びにプログラム
JP7401273B2 (ja) 2019-11-26 2023-12-19 日立Astemo株式会社 移動体の制御装置及び方法
WO2021108002A1 (en) * 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
KR20220117218A (ko) * 2019-12-27 2022-08-23 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 정보 처리 시스템, 정보 처리 프로그램 및 정보 처리 방법
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
EP4094433A4 (en) 2020-01-22 2024-02-21 Nodar Inc. NON-RIGID STEREOSCOPIC VISION CAMERA SYSTEM
KR20210152741A (ko) * 2020-06-09 2021-12-16 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
CN113870347A (zh) * 2020-06-30 2021-12-31 北京市商汤科技开发有限公司 目标车辆的控制方法、装置、电子设备及存储介质
EP4275194A1 (en) * 2021-01-06 2023-11-15 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
US11398153B1 (en) * 2021-03-02 2022-07-26 Here Global B.V. System and method for determining a driving direction
CN113851000A (zh) * 2021-09-10 2021-12-28 泰州蝶金软件有限公司 基于云计算的命令解析系统
US11577748B1 (en) 2021-10-08 2023-02-14 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
WO2023244252A1 (en) 2022-06-14 2023-12-21 Nodar Inc. 3d vision system with automatically calibrated stereo vision sensors and lidar sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
CN102292754A (zh) * 2008-11-07 2011-12-21 沃尔沃拉斯特瓦格纳公司 用于合并传感器数据的方法和系统
CN104573646A (zh) * 2014-12-29 2015-04-29 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统
EP2889641A1 (en) * 2013-12-27 2015-07-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, program and image processing system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2900737B2 (ja) 1993-02-01 1999-06-02 トヨタ自動車株式会社 車間距離検出装置
JP2007310741A (ja) 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP2008116357A (ja) 2006-11-06 2008-05-22 Toyota Motor Corp 物体検出装置
JP5664152B2 (ja) 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5556508B2 (ja) * 2010-08-30 2014-07-23 株式会社デンソー 物体検出装置
JP6046190B2 (ja) * 2015-03-31 2016-12-14 本田技研工業株式会社 運転支援装置
JP6365385B2 (ja) * 2015-04-17 2018-08-01 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
CN102292754A (zh) * 2008-11-07 2011-12-21 沃尔沃拉斯特瓦格纳公司 用于合并传感器数据的方法和系统
EP2889641A1 (en) * 2013-12-27 2015-07-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, program and image processing system
CN104573646A (zh) * 2014-12-29 2015-04-29 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统

Also Published As

Publication number Publication date
EP3358551A4 (en) 2019-03-13
EP3358551B1 (en) 2021-10-27
JPWO2017057058A1 (ja) 2018-08-30
US20180284260A1 (en) 2018-10-04
WO2017057058A1 (ja) 2017-04-06
US10591594B2 (en) 2020-03-17
JP6784943B2 (ja) 2020-11-18
CN108028023A (zh) 2018-05-11
EP3358551A1 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
CN108028023B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
CN108243623B (zh) 基于双目立体视觉的汽车防碰撞预警方法和系统
CN111712731B (zh) 目标检测方法、系统及可移动平台
CN107703505B (zh) 利用二维雷达和摄像头进行拖车尺寸估计
US10668924B2 (en) Method and apparatus to control velocity of vehicle
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
KR101787996B1 (ko) 차선 추정 장치 및 그 방법
CN110609274B (zh) 一种测距方法、装置及系统
WO2016031494A1 (ja) 物体検出装置
EP3403216B1 (en) Systems and methods for augmenting upright object detection
KR101961571B1 (ko) 복수의 물체 검출 수단을 사용한 물체 인식 장치
CN107517592B (zh) 汽车可行驶区域实时检测方法和系统
JP2015125760A (ja) 鉱山用作業機械
US10936886B2 (en) Method and system for stereo based vehicle pose estimation
WO2019065970A1 (ja) 車両用外界認識装置
EP2913998A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
EP2913999A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
JP6204782B2 (ja) オフロードダンプトラック
KR100962329B1 (ko) 스테레오 카메라 영상으로부터의 지면 추출 방법과 장치 및이와 같은 방법을 구현하는 프로그램이 기록된 기록매체
JP7401273B2 (ja) 移動体の制御装置及び方法
JP2023068009A (ja) 地図情報作成方法
EP3435286A1 (en) Imaging control device and imaging control method
JP7064400B2 (ja) 物体検知装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211026