CN112119282A - 信息处理装置、移动装置、方法和程序 - Google Patents

信息处理装置、移动装置、方法和程序 Download PDF

Info

Publication number
CN112119282A
CN112119282A CN201980019774.XA CN201980019774A CN112119282A CN 112119282 A CN112119282 A CN 112119282A CN 201980019774 A CN201980019774 A CN 201980019774A CN 112119282 A CN112119282 A CN 112119282A
Authority
CN
China
Prior art keywords
image
camera
distance
point
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980019774.XA
Other languages
English (en)
Inventor
大场英史
鹤见辰吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Semiconductor Solutions Corp filed Critical Sony Corp
Publication of CN112119282A publication Critical patent/CN112119282A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

本发明实现了一种用于基于来自用于拍摄在与移动装置的移动方向正交的方向上或具有正交分量的方向上的图像的相机的拍摄图像来计算对象距离的配置。在本发明中，数据处理单元从来自用于拍摄在与移动装置的移动方向正交的方向上或具有正交分量的方向上的图像的相机的拍摄图像检测无限远点，并使用关于检测到的无限远点的位置与拍摄图像内的对象的位置之间的位置关系的信息计算对象距离。数据处理单元检测拍摄图像中从相机位置向远方延长的多条现实世界平行线，并将检测到的多条平行线的延长线的交点设置为无穷远点。可替代地，数据处理单元将每个图像帧单位中的直线的延长线的交点设置为无穷远点，该直线具有拍摄图像中随着相机的移动而变化的方向。

Description

信息处理装置、移动装置、方法和程序
技术领域
本公开涉及信息处理装置、移动装置、方法和程序。更具体地，本公开涉及用于通过使用相机捕获图像来计算在与诸如汽车的移动装置的行驶方向正交的向左或右方向上到对象的距离的信息处理装置、移动装置、方法和程序。
背景技术
近年来，开发了用于自动制动、自动速度控制、障碍物检测等的各种驾驶辅助系统，今后期待不需要驾驶员的操作的自动驾驶车辆或者搭载有减少驾驶员的操作的驾驶辅助系统的车辆的增加。
为了汽车的安全行驶，需要计算到阻碍移动的各种对象(诸如车辆、行人或墙壁)的距离。
计算对象距离的距离测量装置的示例包括以下所述的装置。
例如，已知以下距离测量装置：
(a)通过使用脉冲激光束获取周边信息的光检测和测距或激光成像检测和测距(LiDAR)；
(b)检测无线电波的反射波并测量到反射对象的距离的雷达；以及
(c)通过分析由两个相机捕获的图像中的对应点来计算到捕获图像中的对象的距离的立体相机。
然而，所有这些距离测量装置都是昂贵的。
便宜的距离测量仪器的示例是使用具有低输出的激光束、红外光等的距离传感器。然而，在这种便宜的距离传感器中，可测量的距离范围是有限的。例如，可以测量大约10到15米的距离。
因此，即使将这种便宜的距离传感器安装到汽车上，该便宜的距离传感器也不能用于检测例如与以高速从远处接近的车辆的距离。
为了使用如上所述的(a)至(c)的高精度距离测量仪器来测量汽车的所有方向(即向前、向后、向左和右方向)上的距离，至少四个距离测量装置需要被分别附接在前侧、后侧、左侧和右侧，并且成本增加。
因此，在距离测量装置被附接到汽车的情况下，经常采用距离测量装置仅被附接在汽车的前侧的配置。
作为具体示例，诸如LiDAR或立体相机的距离测量装置例如仅被附接在汽车的前侧，并且相对低成本的相机被附接在汽车的四个位置，即前、后、左手和右手位置。作为相机，例如，使用利用广角镜头的环视成像相机等。
通过在汽车的左侧和右侧中的每一侧上附接利用广角镜头的相机，可以在视野中捕获从汽车的左右方向接近的车辆等。然而，这种利用广角镜头的相机的捕获图像与单焦点距离的图像相比具有失真。例如，即使驾驶员查看图像，驾驶员也难以直观地掌握与各被摄体的距离。此外，存在这样的问题，即，即使校正了失真并且将捕获图像变换成中心投影图像，驾驶员也难以从图像直观地掌握到与各被摄体的精确距离。
公开检测与汽车的行驶方向不同的方向上的危险的现有技术的示例包括专利文献1(日本特开2017-191471号公报)和专利文献2(日本特开2009-067292号公报)等。
专利文献1公开了一种从狭窄的十字路口进入十字路口的盲点辅助系统。但是，在该公开技术中，仅报告能够视觉地观察接近车辆的接近状况的时刻。
专利文献2公开了一种切出并显示来自全向相机的以指定取向的视频的配置。
在上述专利文献1和2中，在存在从汽车的左右方向接近的汽车等的情况下，向驾驶员提供接近的汽车等的图像，然后，驾驶员需要基于该图像来判断危险程度。在驾驶员没有基于图像判断危险程度的充分感觉的情况下，存在引起危险的可能性。
也就是说，专利文献1和2仅公开了向驾驶员提供表示危险汽车等正在接近的图像，而不提供从左右方向接近的诸如汽车的对象的距离信息的配置。
引文列表
专利文献
专利文献1：日本特开2017-191471号公报
专利文献2：日本特开2009-067292号公报
发明内容
本发明要解决的问题
本公开是鉴于例如上述问题而做出的，并且本公开的一个示例的目的是提供能够仅通过使用相机捕获图像来计算在与诸如汽车的移动装置的行驶方向正交或交叉的左右方向上到对象的距离的信息处理装置、移动装置、方法和程序。
此外，本公开的一个示例的目的是提供能够通过使用便宜的距离传感器和相机捕获图像来计算在与诸如汽车的移动装置的行驶方向正交的左右方向上到对象的距离的信息处理装置、移动装置、方法和程序。
问题的解决方案
本公开的第一方面是一种信息处理装置，包括：
数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像计算对象距离，
其中，所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离。
此外，本公开的第二方面是一种信息处理装置，包括：
数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像计算对象距离，
其中，所述数据处理单元通过使用捕获图像和与到位于比对象更靠近相机的基准点P的距离有关的信息来计算对象距离，以及
当对象距离为L时，所述数据处理单元根据下述式2计算对象距离：
L＝Lref×(Wref/W)……式2，
其中
Lref：从相机到基准点P的实际距离，
Wref：参考对象的图像上位于基准点P的图像横向方向上的宽度，以及
W：参考对象的图像上位于距离计算目标对象的图像横向上的宽度。
此外，本公开的第三方面是一种信息处理装置，包括：
数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像计算对象距离，
其中，当对象距离为L时，所述数据处理单元根据下述式3计算对象距离：
L＝f×(Wrw/W)……式3，
其中
f：相机的焦点距离，
Wrw：包括在对象图像中的具有已知实际尺寸的构成物的实际尺寸，以及
W：包括在对象图像中的具有已知实际尺寸的构成物的图像尺寸。
此外，本公开的第四方面是一种移动装置，包括：
相机，该相机捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像；以及
数据处理单元，该数据处理单元基于相机的捕获图像来计算对象距离，
其中，所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离，并且
所述数据处理单元包括：
计划单元，该计划单元基于已计算出的对象距离来确定移动装置的路线；以及
运动控制器，该运动控制器根据计划单元已确定的路线来控制移动装置的运动。
此外，本公开的第五方面是一种由信息处理装置执行的信息处理方法，
其中，所述信息处理装置包括数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像来计算对象距离，以及
所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离。
此外，本公开的第六方面是一种由移动装置执行的信息处理方法，
其中，所述移动装置包括：
相机，该相机捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像；以及
数据处理单元，该相机基于相机的捕获图像来计算对象距离，
所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离，
计划单元，基于已计算出的对象距离来确定移动装置的路线，以及
运动控制器，根据已由计划单元确定的路线控制移动装置的运动。
此外，本公开的第七方面是一种程序，其使信息处理装置执行信息处理，
其中，所述信息处理装置包括数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像来计算对象距离，以及
所述程序使所述数据处理单元：
从捕获图像中检测无限远点；并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离。
注意，根据本公开的程序例如是可以提供给信息处理装置或计算机系统的程序，该信息处理装置或计算机系统可以通过以计算机可读形式提供该程序的存储介质或通信介质来执行各种程序代码。通过以计算机可读形式提供这种程序，在信息处理装置或计算机系统上执行根据该程序的处理。
将通过基于本公开的稍后描述的示例或附图的更详细的描述来阐明本公开的其他目的、特征或优点。注意，这里描述的系统是多个装置的逻辑聚合配置，并且并不总是将具有各自配置的装置包括在同一壳体中。
本发明的效果
通过采用本公开的一个示例中的配置，实现了基于捕获在与移动装置的移动方向正交的方向上或者在具有正交分量的方向上的图像的相机的捕获图像来计算对象距离的配置。
具体地，例如，数据处理单元从捕获在与移动装置的移动方向正交的方向上或者在具有正交分量的方向上的图像的相机的捕获图像中检测无限远点，并且通过使用与检测到的无限远点的位置和捕获图像中的对象的位置之间的位置关系有关的信息来计算对象方向。数据处理单元从捕获图像检测现实世界上在从相机位置远离的方向上延长的多条平行线，并且将检测到的多条平行线的延长线上的交点判定为无限远点。或者，将图像帧单位中的直线的各延长线上的交点判定为无限远点，直线的方向随着相机的移动而在捕获图像上改变。
通过采用本配置，实现了基于捕获在与移动装置的移动方向正交的方向上的图像的相机的捕获图像来计算对象距离的配置。
注意，这里描述的效果仅是说明性的，而不是限制性的。此外，可以表现出额外的效果。
附图说明
图1是说明移动装置的配置的示例的图。
图2是说明附接到移动装置的距离传感器的可测量区域和相机的图像捕获区域的设置示例的图。
图3是说明用于计算对象距离的处理的示例的图。
图4是说明用作距离计算目标的对象的示例的图。
图5是说明用于检测应用于对象距离的计算的无限远点的处理的一个示例的图。
图6是说明对象距离计算处理的一个示例的图。
图7是说明用于检测应用于对象距离的计算的无限远点的处理的一个示例的图。
图8是说明对象距离计算处理的一个示例的图。
图9是说明对象距离计算处理的一个示例的图。
图10是说明对象距离计算处理的一个示例的图。
图11是说明对象距离计算处理的一个示例的图。
图12是说明对象距离计算处理的一个示例的图。
图13是说明对象距离计算处理的一个示例的图。
图14是说明对象距离计算处理的一个示例的图。
图15是说明对象距离计算处理的一个示例的图。
图16是示出说明由信息处理装置执行的对象距离计算处理的顺序的流程图的图。
图17是示出说明由信息处理装置执行的对象距离计算处理的序列的流程图的图。
图18是说明移动装置的车辆控制系统的配置的一个示例的图。
图19是说明信息处理装置的硬件配置的示例的图。
具体实施方式
下面参考附图描述根据本公开的信息处理装置、移动装置、方法和程序的细节。注意，根据以下描述的项目提供描述。
1.根据本公开的移动装置的配置示例
2.无限远点计算处理和对象距离计算处理的具体示例
2-1.(处理示例1)用于通过使用包括在相机捕获图像中的多条平行线来检测无限远点的位置的处理的示例
2-2。(处理示例2)用于通过使用包括在相机捕获图像中的一个线段来检测无限远点的位置的处理的示例
3.对象距离计算处理的其他示例
3-1.(处理示例1)在距离计算目标对象和基准点对象的相应位置中包括具有一定宽度(诸如道路)的图像的情况下的对象距离计算处理的示例
3-2.(处理示例2)在距离计算目标对象包括具有已知实际尺寸的构成物的情况下的对象距离计算处理的示例
4.信息处理装置执行的处理序列
5.移动装置的配置的示例
6.信息处理装置的配置示例
7.根据本公开的配置的概述
[1.根据本公开的移动装置的配置示例]
首先，参照图1和以下的附图对根据本公开的移动装置的配置的示例进行描述。
图1示出了作为根据本公开的移动装置的一个示例的汽车10。
注意，在以下的示例中，作为移动装置的一个示例，描述了移动装置为汽车10的示例。但根据本公开的配置或处理可以在汽车以外的各种移动装置中使用。
例如，根据本公开的配置或处理可以应用于各种移动装置，诸如在仓库、办公室等中行驶的机器人。
如图1所示，汽车10安装有多个相机和多个距离传感器。
注意，在根据本公开的一些处理中，距离传感器不是必要配置，并且即使在不包括任何距离传感器的配置中，也可以执行根据本公开的一些处理。
下面描述所附接的相机。
安装了以下两个相机：
对汽车10的左方向进行成像的左方向相机11L；以及
对汽车10的右方向进行成像的右方向相机11R。
这些相机捕获在与汽车10的移动方向正交的方向上的图像。
注意，作为这些相机11L和11R，可以使用捕获正常图像的相机或包括诸如鱼眼镜头的广角镜头的相机(单目相机)。
汽车10还附接有以下两个距离传感器作为距离传感器：
测量汽车10的左方向上的对象距离的左方向距离传感器12L；以及
测量汽车10的右方向上的对象距离的右方向距离传感器12R。
注意，如上所述，这些距离传感器不是必要配置，并且可以采用不包括任何距离传感器的配置。
即使在包括距离传感器的配置中，如果使用例如具有低输出的激光束或红外光的便宜距离传感器用作距离传感器中的每一个，则也是足够的。如果使用例如具有最大约10至15m的距离测量范围的距离传感器就足够。
图2中示出了附接有相机11L和11R以及距离传感器12L和12R的汽车10的图像捕获范围和距离测量范围的示例。
图2示出以下各个区域。
作为左方向相机11L的成像区域的左方向相机成像范围21L，
作为右方向相机11R的摄像区域的右方向相机摄像范围21R，
作为左方向距离传感器12L的距离测量范围的左方向距离传感器距离测量范围22L，以及
作为右方向距离传感器12R的距离测量范围的右方向距离传感器距离测量范围22R。
左方向距离传感器距离测量范围22L和右方向距离传感器距离测量范围22R例如落在距汽车10大约10米的范围内。
相机11L和11R可以捕获图2中所示的对象(行人)31或对象(车辆)32的图像。
然而，距离传感器12L和12R不能直接测量到上述对象(行人)31或对象(车辆)32的距离。
如图2所示，当汽车10从狭窄小巷的十字路口出去或者从车辆所在的平行停车框之一出去时，在一些情况下，从左手侧或右手侧接近的车辆位于驾驶员的直接视野的盲点中，并且从左手侧或右手侧接近的车辆不能被视觉识别。
已经提出了一种系统，该系统在车体的前侧和后侧安装有广角相机或棱镜型相机，并且将相机捕获图像呈现给驾驶员。然而，从广角图像中切出的图像包括失真，并且失去了深度感。
因此，存在这样的问题，即，即使在车辆或人正在接近的情况下，驾驶员也无法准确地掌握与图像中所包括的接近对象(诸如车辆或人)的距离。
为了使驾驶员执行安全驾驶，要求将对象的距离信息准确地报告给驾驶员。
本公开的一个示例中的装置(移动装置或信息处理装置)可以仅基于对汽车10的左右方向进行成像的相机11L或11R的捕获图像来估计到存在于汽车10的左手侧或右手侧的远处的对象的距离，并且可以向驾驶员报告接近风险。
此外，本公开的一个示例中的装置(移动装置或信息处理装置)可以基于对汽车10的左右方向进行成像的相机11L或11R的捕获图像以及已经由仅可以测量近区域中的距离的便宜距离传感器12L或12R测量的近处对象(基准点对象)的距离信息，来估计到存在于汽车10的左手侧或右手侧的远处的对象的距离，并且可以向驾驶员报告接近风险。
参照图3描述计算对象距离的示例。
图3是说明通过使用用作相机的捕获图像的中心投影图像来计算对象距离的示例的图。
图3示出了用于基于道路或周边环境物的几何信息来估计对象距离的处理的示例。
注意，这里的描述是在将相机的捕获图像的现实空间投影图像变换为中心投影图像的假设下提供的。近年来，在许多车载相机中，由于需要获取车辆的更宽范围中的图像信息，因此鱼眼广角相机已经被广泛使用。在这种情况下，在将广角现实空间投影到成像面的方式中，不能获得通常被认为不包括失真的传统中心投影图像。然而，可以通过将由鱼眼镜头捕获的图像变换成根据投影变换函数确定的对应取向的中心投影图像，来将与根据基于物理光学设计确定的鱼眼镜头的投影方式指定的取向的中心投影相对应的图像变换成根据虚拟中心投影方式的捕获图像面。因此，即使在使用鱼眼镜头的情况下，也可以执行与这里描述的处理类似的处理。因此，在此省略了使用利用鱼眼镜头的投影方式的相机系统的描述。
图3是说明通过使用右方向相机11R的捕获图像40计算对象距离的示例的图。
假设右方向相机11R已经被安装在距离平坦路面一定高度H处。
相机11R的捕获图像(中心投影图像)40包括用作距离测量目标的对象(行人)31。
注意，作为捕获图像，捕获图像(中心投影图像)40包括与位于可以由右方向距离传感器12R测量距离的位置处的近处对象相对应的基准点P 41和无限远点O 42。
如果相机12的安装高度H和焦点距离f是固定的，则从右方向相机11R到对象(行人)31的距离(到相机的入射光瞳的位置的水平距离)L可以根据下面描述的计算式(式1)唯一地计算。
L＝Lref×(href/h)＝f×(H/h)……(式1)
在这个式中，
f：相机的焦点距离，
H：相机的安装高度(距基准面(＝路面)的高度)，
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上下方向的间距)，
Lref：到基准点P(在基准面(路面)上)的距离(实际距离)，以及
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向的间距)。
如上述(式1)所表示的，到对象(行人)21的距离L可以表示为与投影图像上对象的路面接触点与水平无限远点之间的间距成反比。
如上所述，对于距离传感器12未能测量到其的距离的远处对象，也可以通过使用由相机11捕获的图像来根据上述(式1)计算对象距离。
然而，为了通过应用上述(式1)来计算对象距离，需要应用以下所述的(式1A)或(式1B)的计算处理。
L＝Lref×(href/h)……(式1a)
L＝f×(H/h)……(式1b)
在上述(式1)中包括的参数中，已知以下参数：
f：相机的焦点距离，以及
H：相机的设置高度(距基准面(＝路面)的高度)。
在该设置中，为了通过使用下述(式1a)来计算对象距离L：
L＝Lref×(href/h)……(式1a)，
需要获得以下各个参数的值。
Lref：到基准点P(在基准面(路面)上)的距离(实际距离)，
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上沿图像上下方向的间距)，以及
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向的间距)。
在使用上述(式1a)的情况下，首先，位于可以由右方向距离传感器12R测量距离的位置处的近处对象被选择为基准点P，并且到基准点P的距离被测量。因此，获得了到基准点P的距离Lref。
此外，需要获得参数h和href。下面描述用于获得这些参数h和href的处理。
此外，在使用下述(式1b)的情况下：
L＝f×(H/h)……(式1b)，
需要获得以下参数的值。
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上沿图像上下方向的间距)
注意，在使用上述(式1b)的对象距离计算处理中，不需要计算到基准点P的距离，并且不包括任何距离传感器的汽车也可以仅基于捕获图像来计算对象距离。
下面描述在用于计算参数h和href的处理中所需的无限远点计算处理和对象距离计算处理的具体示例。
[2.无限远点计算处理和对象距离计算处理的具体示例]
接下来，描述使用由相机11捕获的图像的无限远点计算处理和对象距离计算处理的具体示例。
例如，如图4所示，在汽车10要从停车场50出去的情况下，假定存在从横向方向接近的对象(车辆)32。
在这种情况下，驾驶员首先不能视觉识别对象(车辆)32。只有在汽车10的大约一半进入道路之后，驾驶员才能视觉识别对象(车辆)32。
在这种情况下，要求汽车10执行以下处理：
1.以低速在行驶方向上移动；以及
2.检查左手侧和右手侧的情况，并根据检查的情况执行驾驶。
汽车10的左方向相机11L和右方向相机11R的捕获图像使得能够在较早阶段检查左手侧和右手侧的情况。
根据本公开的移动装置或安装在移动装置中的信息处理装置使用汽车10的左方向相机11L和右方向相机11R的捕获图像，并计算到包括在捕获图像中的对象(诸如车辆或人的对象)的距离。
或者，通过使用左方向相机11L和右方向相机11R的捕获图像以及可以测量仅在汽车10的左手或右手邻近区域中到对象的距离的距离传感器12L和12R的测量距离信息来计算对象距离。
具体地，如上所述，根据下述(式1)计算对象距离。
L＝Lref×(href/h)＝f×(H/h)……(式1)
在这个式中，
f：相机的焦点距离，
H：相机的安装高度(距基准面(＝路面)的高度)，
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上沿图像上下方向的间距)，
Lref：到基准点P(在基准面(路面)上)的距离(实际距离)，以及
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向的间距)。
在上述(式1)中，已知以下值：
f：相机的焦点距离，以及
H：相机的设置高度(距基准面(＝路面)的高度)。
Lref：到基准点P(在基准面(路面)上的)的距离(实际距离)
该到基准点P的距离可以通过使用距离传感器12来获得。
如果可以获得剩余的参数，即下面描述的参数，则可以计算对象距离L：
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上沿图像上下方向的间距)，以及
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向的间距)。
可以从捕获图像获得捕获图像上的对象地面接触点(与基准面(路面)的接触点)或捕获图像上的基准点P的位置。
因此，为了计算参数h和href，如果获得捕获图像上的无限远点的位置就足够了。
下面描述用于检测捕获图像上的无限远点的位置的处理的多个示例。
顺序地描述以下两个处理示例。
(处理示例1)用于通过使用包括在相机捕获图像中的多条平行线来检测无限远点的位置的处理的示例
(处理示例2)用于通过使用包括在相机捕获图像中的一个线段来检测无限远点的位置的处理的示例
[2-1.(处理示例1)使用包括在相机捕获图像中的多条平行线检测无限远点的位置的处理示例]
首先，作为处理示例1，参考图5描述用于通过使用包括在相机捕获图像中的多条平行线来检测无限远点的位置的处理的示例。
注意，在以下示例的描述中，描述了应用由左方向相机11L捕获的图像的处理。然而，应用由右方向相机11R捕获的图像的处理也作为类似的处理被执行。
首先，确定是否可以从包括在左方向相机11L的捕获图像中的路面检测到平行线。注意，平行线不是图像上的平行线，而是现实世界中的平行线，并且是在从相机位置远离的方向上延长的平行线。
具体地，示例包括道路的中央隔离带、分离白线、车道分离白线、道路和人行道之间的分离块或分离白线等。
在图5所示的捕获图像60的示例中，检测到四条平行线，即平行线a 61a、平行线b61b、平行线c 61c和平行线d 61d。
在从捕获图像60中检测到多条平行线(现实世界中的平行线)的情况下，将多条平行线的延长上的无限远处的估计交点判定为无限远点O 62。
如上所述，检测捕获图像上的无限远点O 62。
注意，在本公开的描述中，在假定路面总是位于与车辆行驶的路面相同的路面上或者所有检测到的平行线平行或准平行于车辆安装表面的情况下，检测到无限远点。
当道路(如车道、路肩路缘、人行道或人行道边界线)所造成的平行线段相对于相应的车辆安装平面具有倾角时，根据倾角的取向α确定一组平行线的无限远点的取向。如果中心投影的光轴与关注平面的无限远一致，在与同一平面形成各倾角α的情况下，与根据焦点距离确定的取向α对应的图像被投影到摄像装置，从而移动到f*tan(α)的位置。因此，需要在从车辆安装平面观察的倾斜平行线的无限远点上执行对此的校正。
另一方面，在同一车辆总是行驶在平坦道路上，并且只要检测到的道路保持在同一平面上，则捕获图像中的道路平行线段的无限远点不会在水平方向和上下方向上移动，并且总是位于包括同一水平无限远的水平线上。然后，根据道路平面的取向确定水平线的横向取向上的位置。为了便于描述，在假定面向侧面的相机以垂直于车辆的前后移动取向上的水平面的取向附接并且平行线段相对于相机的光轴具有角度β的情况下提供以下描述。换言之，在通过使用相对于车辆的平移行驶的取向的直角作为基准进行测量的情况下，检测到的线段的取向β在车辆的小的平移移动中几乎不移动。此外，类似地，如果世界完全由平面构成，则不执行移动。这是因为具有确定的取向并且位于无限远点的对象保持一定方向，除非该对象本身旋转。
指向横向取向的相机的光轴不总是需要垂直于行驶方向。但是，为了便于描述，在光轴与行驶方向垂直的情况下，沿从相机的光轴在横向方向的偏移量为f*tan(β)的取向具有消失点的线群是相对于车辆的行驶方向始终具有π/2-β的倾角的线段。
然而，作为图像而捕获的单帧图像内的交点仅是作为视觉错觉的“无限远点”，并且现实世界中的线段不总是平行线。当无限远点的估计被简单地应用于被成像为现实世界空间的投影视频的画面中的多个线段的交点时，仅作为错觉的视觉“无限远点”被看作无限远点，并且这在距离的计算中引起错觉误差。
因此，实际上，在不位于车辆的行驶平面上的面上存在检测到的线，因此需要适当地执行排除处理或校准处理。此外，即使当所提取的线段位于道路上时，在一些情况下，为了便于道路设计，一条边界线或两条边界线也已经被设计为使得将车道变窄为锥形道路，结果，看到其中要检测的一对边界线部分倾斜的道路。当在这些检测到的线段的交点总是无限远点的假设下计算距离时，获得包括错觉误差的结果。
在平坦道路上，车体的结构变化是车体由于负载而发生的诸如摇摆、俯仰或悬架下沉的变化，并且如果相机和路面的位置或取向没有变化，则由相机检测到的无限远处的上下取向不变化。
此外，根据相应车辆的行驶车辆相对于路面的行驶取向来确定水平取向。因此，通常，仅在道路本身弯曲或起伏时，或者在由于本车辆的事故、故障等而使相机安装于本车辆的状态发生改变时，非平行线对检测到的线段的交点的影响才会改变。因此，可以基于历史进行比较，并且每次存在改变时，可以详细地评估上述位移。可以参考局部动态地图等，可以组合和评估与相机的视野中的道路的平面或弯曲有关的信息。在允许作为对策的资源和资源中，存在各种校准手段，例如基于移动变化的帧间图像分析或使用稍后描述的SLAM的校正。
此外，在使用更便宜的系统并且不能执行稳定且可靠的测量的情况下，该系统可以仅用于在存在距离估计误差的风险的情况下通过向驾驶员给出警告来引起驾驶员的注意，而不向用户提供准确的距离变换信息。
如上所述，根据本公开的信息处理装置的数据处理单元从相机捕获图像检测现实世界中在从相机位置远离的方向上延长的多条平行线，并且将检测到的多条平行线的延长线上的交点判定为无限远的点。或者，将图像帧单位中的直线的各条延长线上的交点判定为无限远点，直线的方向随着相机的移动而在捕获图像上改变。
注意，除了从垂直方向对平行线段进行成像的情况之外，现实空间上的所有检测到的平行线段在视野内部或视野外部的无限远处的取向上彼此交叉。换句话说，如果平行线所面对的取向落入中心投影成像中的成像视角的范围内，则在视野内的取向中的投影点处绘制对应平行线的交点。本公开使用作为中心投影的几何投影性质的平行线在无限远点处彼此交叉的特征，并且使用该特征通过导出平行线的绘制的无限远点并且使用该无限远点来计算距离。
然而，当线段在成像面的投影面上彼此交叉时，中心投影的投影面上的线段在现实空间中不总是平行线。线段仅在稍后描述的单个检测到的线段伴随成像相机的平移移动在坐标上与位于无限远方向上的作为中心点的投影图像点具有相同的旋转中心点的情况下才彼此平行。换句话说，由安装在移动装置上的相机捕获的检测到的平行线段具有不根据移动而改变的无限远处的取向，并且相对于与在中心投影中捕获的捕获图像中的平行线段的取向相对应的取向固定在无限远处。平行线段以无限远点为中心旋转。如果车辆的平移距离是大约几米的近处距离，则可以认为在本地道路的远处部分的取向上的中心投影图像中的绘制位置几乎是恒定的。
即使在技术上能够在几百米或几千米的长距离中执行完全平移的平行移动，在正常行驶中，在远处观察到的无限远点在这种宽范围的移动中也不被跟踪，并且可以认为无限远点不是本公开中要检测的目标。本公开可以应用的范围是非常短的平移移动，诸如车辆通过车辆的前部进入十字路口等，并且本公开被应用于可以认为无限远点是固定且恒定的范围，其中由车载相机捕获的检测到的周边道路的平行路段会聚。
换句话说，如果车辆在行驶方向上移动，则存在于与车辆在其上行驶的道路平坦场所相同的对应路面平面匹配的平面上的平行线的线段跟随随着行驶在帧的图像中的平移，并且在线段的无限远处的消失点维持恒定位置。此外，靠近线段的部分随着车辆的行驶而在反向方向上移动。因此，线段改变为在帧之间围绕无限远处的消失点旋转。稍后将描述细节，但是如果通过使用画面中的所有对象与随着在与中心投影图像的光轴交叉的取向上的横向移动的距离成反比地横向移动的点，适当地校准这些大致无限远点，则是足够的。如上所述，根据本公开的信息处理装置通过分析线段的坐标来精确地估计无限远点。
如果可以检测到捕获图像上的无限远点O 62，则可以计算以下所述的参数：
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上沿图像上下方向上的间距)；以及
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向上的间距)。
参照图6描述该处理。
注意，在图6中，假定用作距离计算目标的对象是对象(车辆)64。
如图6所示，
参数h是捕获图像上的对象(车辆)64的地面接触点(与基准面(路面)的接触点)和无限远点O 62之间的间距(图像上沿图像上下方向的间距)，以及
参数href是捕获图像上的基准点P 63和无限远点O 62之间的间距(图像上沿图像上下方向的间距)。
这两个间距是图像上的间距，并且可以直接从图像获得。
结果，可以根据上面已经描述的下述(式1)来计算对象距离。
L＝Lref×(href/h)＝f×(H/h)……(式1)
注意，为了通过应用上述(式1)来计算对象距离，如上所述，可以使用下述式1a或式1b。
L＝Lref×(href/h)……(式1a)
L＝f×(H/h)……(式1b)
在上述各式中包含的参数中，已知有以下参数：
f：相机的焦点距离；以及
H：相机的安装高度(距基准面(＝路面)的高度)。
注意，这里，H有可能随着车辆的装载量物等而改变。但是，在已经开始行驶的车辆中，对应期间的改变是由悬架等的工作条件引起的临时名称和改变。因此，每次行驶开始时，通过基准测量装置可以对H的中心值适当地执行自校准。
此外，在使用以正常中心投影的投影方式将现实空间投影并变换成捕获图像面的镜头的情况下，焦点距离f基于设计具有固定值。但是，在基于通过基于根据与中心投影不同的投影方式(诸如使用鱼眼镜头的立体投影变换)的图像进行指定取向的图像变换而获得的虚拟中心投影图像进行计算时，如果代入此时的虚拟投影方式中假定的小距离的变换值即可。
在该设置中，为了通过使用下述(式1a)来计算对象距离L：
L＝Lref×(href/h)……(式1a)，
需要获得以下各个参数的值。
Lref：到基准点P(在基准面(路面)上)的距离(实际距离)
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上沿图像上下方向的间距)
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向的间距)
在使用上述(式1a)的情况下，首先，位于可以由左方向距离传感器12L测量距离的位置的近处对象被选择为基准点P，并且到基准点P的距离被测量。因此，获得了到基准点P的距离Lref。
此外，参数h和href是基于在参照图6描述的处理中已经检测到的无限远点O 62而获得的。
通过使用这些参数，可以根据下述(式1a)来计算对象距离：
L＝Lref×(href/h)……(式1a)。
此外，在使用下述(式1b)的情况下：
L＝f×(H/h)……(式1b)，
参数h是基于在参考图6描述的处理中检测到的无限远点O 62而获得的。
通过使用该参数，可以根据下述(式1b)来计算对象距离：
L＝f×(H/h)……(式1b)。
注意，在使用上述(式1b)的对象距离计算处理中，不需要计算到基准点P的距离，并且不包括任何距离传感器的汽车也可以仅基于捕获图像来计算对象距离。
注意，为了在上述处理中基于相机捕获图像来计算无限远点，优选的是，根据本公开的信息处理装置的数据处理单元具有例如具有下述功能的配置。
(功能1)从相机捕获图像检测现实世界空间中在从相机位置远离的方向上延长的多条线，并分析在已被检测的多条线段的帧之间的线段的坐标的变化以确定对应的线段是否是现实世界空间中的平行线的组合的功能
(功能2)从相机捕获图像检测现实世界空间中在从相机位置远离的方向上延长的多条线，并确定已检测到的多条线段是平行线段还是非平行线段的功能
(功能3)从相机捕获图像检测现实世界空间中在从相机位置远离的方向上延长的多条线，并且检测已检测到的线段的组合的交叉峰的坐标随着车辆的平移移动而在帧之间顺序移动的功能
[2-2.(处理示例2)通过使用相机捕获图像中包括的一个线段来检测无限远点的位置的处理示例]
接下来，作为处理示例2，参考图7描述用于通过使用相机捕获图像中包括的一个线段来检测无限远点的位置的处理的示例。
在未能从汽车10的相机11的捕获图像中检测到多条平行线的情况下，跟踪随着汽车10的轻微平移而发生的单个检测到的线段的变化，搜索旋转中心的峰，并且将旋转中心点判定(估计)为无限远点。
参考图7描述具体示例。
图7的图像帧(f(t1))(1)是在时间t1时左方向相机11L的捕获图像。
图7的图像帧(f(t2))(2)是在时间t1之后的时间t2时左方向相机11L的捕获图像。
此后，以预定时间间隔捕获左方向相机11L的捕获图像，以及
图7(n)的图像帧(f(tn))是在随后的时间tn时左方向相机11L的捕获图像。
这n个捕获图像表示n个单个检测到的线71((1)、(71)(2))、......、71(n)，其各自表示相同的被摄体。
注意，用作检测目标的单个检测到的线是在从汽车10的位置(＝相机位置)远离的方向上延长的直线。
根据汽车10的行驶，单个检测到的线71的方向稍微改变。
图7的上部示出用于计算无限远点的合成图像70，其中在同一图像上显示n个单独检测到的线71(1)、71(2)、......、71(n)。
将该合成图像上的n个单独检测到的线71(1)、71(2)、......、71(n)延长并彼此交叉的点确定为无限远点O 62。
如上所述，在未能从捕获图像中检测到多条平行线的情况下，跟踪随着汽车10的轻微平移而发生的单个检测到的线段的变化，搜索旋转中心的峰，并且将旋转中心点判定(估计)为无限远点O 62。
如上所述，移动装置中的信息处理装置从捕获图像检测现实世界中在从相机位置远离的方向上延长的直线，检测方向随着相机的移动在捕获图像上改变的图像帧单位中的直线的各条延长线上的交点，并且将该交点的位置判定为无限远点。
如果检测到捕获图像上的无限远点O 62，则可以获得以下参数：
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上沿图像上下方向的间距)；以及
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向的间距)。
如果可以获得这些参数，则可以根据以上已经描述的下述(式1)来计算对象距离。
L＝Lref×(href/h)＝f×(H/h)……(式1)
注意，在参照图7描述的该处理中，在汽车10已经直线前进的情况下，即，在汽车10已经沿与单个检测到的线形成直角的方向行驶的情况下，不需要特别的校正。但是，在汽车10不是直线前进的情况下，即，在汽车10不在与单个检测到的线形成直角的方向上行驶的情况下，例如，在汽车10已经行驶以旋转Δθ的情况下，在每个成像帧中产生了Δθ的横摆旋转。因此，如果捕获图像中的线段取向光轴的无限远方向，则该线段的无限远点的交点水平且横向偏移f×tan(Δθ)，因此需要对其进行校正。
注意，在连续的捕获图像帧中，无限远点的位置几乎是固定的。
图8是示出在每个连续捕获图像帧中检测到的无限远O 62的示例的图。
这是根据参照图5、6或7描述的方法计算的无限远点O 62。
如图所示，在每个连续捕获图像帧中检测到的无限远O 62是固定在每个图像中几乎相同位置的点。
参考图9描述在应用图8所示的图像并且获得该图像中到行人的距离的情况下的处理的示例。
图9中示出的图像80是汽车10的左方向相机11L的捕获图像，即，左方向相机捕获图像80。
该左方向相机捕获图像80表示正朝着汽车行走的行人。假定该行人是用作距离计算目标的对象85。
左方向相机捕获图像80表示能够由汽车10的左方向距离传感器12L测量距离的近处对象82。该近处对象82用作基准点P。换句话说，由左方向距离传感器12L计算从汽车10到近处对象82的距离，并且计算基准点P的距离Lref。
此外，根据以上参考图5、6或7描述的方法检测无限远点O 81。
当确定无限远点O 81和可以测量距离的近处对象(基准点P)82时，可以根据已经在上面描述的下述(式1)计算到正朝着汽车10行走的行人的对象距离L，即，用作距离计算目标的对象(行人)85的对象距离L。
L＝Lref×(href/h)＝f×(H/h)……(式1)
参考图10描述处理的具体示例。
下面描述上述(式1)中的各个参数。
f：相机的焦点距离，
H：相机的安装高度(距基准面(＝路面)的高度)，
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上沿图像上下方向的间距)，
Lref：到基准点P(在基准面(路面)上)的距离(实际距离)，以及
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向的间距)。
在这些参数中，已知以下值：
f：相机的焦点距离；以及
H：相机的安装高度(距基准面(＝路面)的高度)。
下面描述的到基准点P的距离可以通过使用距离传感器12来获得。
Lref：到基准点P(在基准面(路面)上)的距离(实际距离)
其余参数，即，下面描述的参数，如图10所示被设置：
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上沿图像上下方向的间距)；以及
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向的间距)。
如上所述，通过从图像80检测可以测量到其的距离的近处对象(基准点P)82和无限远点O 81，可以根据下述(式1)计算到用作距离计算目标的对象(行人)85的对象距离L。
L＝Lref×(href/h)＝f×(H/h)……(式1)
注意，如上所述，为了通过应用上述(式1)来计算对象距离，可以使用下述(式1a)或(式1b)。
L＝Lref×(href/h)……(式1a)
L＝f×(H/h)……(式1b)
在上述各式中包含的参数中，已知有以下参数：
f：相机的焦点距离；以及
H：相机的安装高度(距基准面(＝路面)的高度)。
在该设置中，为了通过使用下述(式1a)来计算对象距离L：
L＝Lref×(href/h)……(式1a)，
需要获得以下各个参数的值。
Lref：到基准点P(基准面(路面)上)的距离(实际距离)，
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)和无限远点之间的间距(图像上沿图像上下方向的间距)，以及
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向的间距)。
在使用上述(式1a)的情况下，首先，位于可以由左方向距离传感器12L测量距离的位置的近处对象82被选择为基准点P，并且到基准点P的距离被测量。因此，获得了到基准点P的距离Lref。
此外，参数h和href是基于在参照图5、6或7描述的处理中检测到的无限远点O 81而获得的。
通过使用这些参数，可以根据下述(式1a)来计算对象距离：
L＝Lref×(href/h)……(式1a)。
此外，在使用下述(式1b)的情况下：
L＝f×(H/h)……(式1b)，
参数h是基于在参考图5、6或7描述的处理中检测到的无限远点O 81而获得的。
通过使用该参数，可以根据下述(式1b)来计算对象距离：
L＝f×(H/h)……(式1b)。
注意，在使用上述(式1b)的对象距离计算处理中，不需要计算到基准点P的距离，并且不包括任何距离传感器的汽车也可以仅基于捕获图像来计算对象距离。
注意，如从以上描述理解的，基于附接到汽车的相机的捕获图像执行对象距离计算处理，并且可以计算在捕获每个捕获图像时的对象距离。
由相机执行的图像捕获处理被作为用于捕获预定帧速率的运动图像的处理执行，并且捕获各图像的间隔是指定时间段。例如，在60fps的情况下，每秒捕获60帧图像。
因此，如果以每个图像帧为单位计算对象距离，则可以计算对象在每个帧间隔的移动距离。换句话说，可以计算对象的移动速度。
汽车10中的信息处理装置可以如上所述计算每个图像帧单位的对象距离，并且还可以计算对象的移动速度。
[3.对象距离计算处理的其他示例]
接下来，参考图11和随后的附图描述对象距离计算处理的其他示例。
以下，依次描述处理示例。
(处理示例1)在距离计算目标对象和基准点对象的相应位置中包括具有一定宽度(诸如道路)的图像的情况下的对象距离计算处理的示例
(处理示例2)在距离计算目标对象包括具有已知实际尺寸的构成物的情况下的对象距离计算处理的示例
[3-1.(处理示例1)在距离计算目标对象和基准点对象的相应位置中包括具有一定宽度(诸如道路)的图像的情况下的对象距离计算处理的示例]
首先，作为处理示例1，参考图11描述在距离计算目标对象和基准点对象的相应位置中包括具有一定宽度(诸如道路)的图像的情况下的对象距离计算处理的示例。
图11中示出的图像是由汽车10的左方向相机11L捕获的图像。
道路上正在接近的对象(车辆)91已经被作为被摄体成像。
计算到该对象(车辆)91的距离。
此外，该图像表示汽车10的左方向距离传感器12L可以测量到其的距离的近处对象92。
该近处对象92被用作基准点P。换句话说，从汽车10到近处对象92的距离由左方向距离传感器12L测量，并且计算到基准点P的距离Lref。
注意，在图中，将表示距离Lref或距离L的线段的箭头的起点示为画出的圆。然而，在中心投影的现实相机图像中，与其光轴正交的取向在无限远处，因此未指示该取向。换句话说，这是因为面向水平方向的中心投影的相机不形成相机正下方的道路部分作为图像。为了方便，提供本公开的附图以直观地示出距相机安装位置的距离。这可以从以下事实中理解，在示意性地示出中心投影的投影关系的图3中，当假设镜头位于表示距离L的箭头的起点时，该起点不能在投影图像面上形成为图像。
此外，图像包括道路，即，用作距离计算目标对象的对象(车辆)91正在其上行驶的道路。
该道路也存在于近处对象(基准点P)92的位置中，并且可以估计，在该道路的几乎整个范围中，现实世界中的道路宽度是恒定的。
即使道路宽度恒定，在道路弯曲或起伏不定而相对于车辆的道路平面起伏的情况下，检测到的平行线的无限远点也会随着道路的取向而偏移，例如图12所示。在中心投影方式的相机所形成的图像的画面内的配置中，角度β的取向被成像为相对于相机的光轴中心偏移捕获图像高度f*tan(β)。因此，无限远点在区间之间改变以对应于各线段中形成道路的每个平行分量的区间的取向。在图12(1)所示的示例中，假设在距相机的镜头位置距离Lturn内，线段与垂直于车辆行驶方向安装的相机的光轴平行，并且在超过距离Lturn的位置，线段与相机的光轴形成角度β。另外，图12(2)示出路面在超过相同距离Lslope的位置以倾角α上升的情况。
另一方面，在道路的边界划分线不平行的情况下，如果试图基于单帧图像执行确定，则会引起不便。例如，如图13所示，在道路宽度逐渐变窄的情况下，或者在道路一侧的边界线被设计成使得道路在向前方向上变窄的情况下，基于单帧图像的判定导致无限远点的视觉错觉。换句话说，已经被成像和检测到的线段的交点是平行线的无限远点的假设不成立。
如图12和13中所示的这些示例中那样，在道路宽度改变的情况下，在道路包括相对于本车辆在其上行驶的平面倾斜的区域的情况下，或者在另一情况下，该交点存在于有限长度处，因此，点的位置在车辆的平移向前移动中改变。通过使用该特性，可以将可应用于计算距离的无限远点和单个帧中的“视在(apparent)”无限远点彼此区分开。在车辆向前平移地移动时的线段的捕获图像的帧中，检测到的线段的组合的平行线段的无限远点具有与被绘制为非平行线段的交点的行为不同的行为。在此，注意到在中心投影的相机图像中，在相对于现实空间中的光轴的取向为γ的情况下，从捕获画面上的光轴的中心起的点的绘制位置是从其绘制画面上的光轴的中心点起的f*tan(γ)，并且所有的成像线段中的每一个的无限远处的消失点根据成像线段中的每一个与相机的光轴之间的关系而唯一地确定。
从在其区间中检测到的平行线段的无限远点的点，可以估计每个区间的区间距离，并且通过在跟随的每个区间中执行积分，原则上，即使对于弯曲的平行道路，也可以估计到更远地方的距离。
注意，在校准路面上的无限远点或估计路面上的对象距离时，在检测到多个路面特征的情况下，如图14所示，成像画面上的路面特征点随着车辆的平移移动而在行驶方向的反方向上移动，并且其移动量ΔM和距离L具有反比例的关系。通过仅选择性地绘制路面上的特征点，可以获得线性函数。例如，可以根据最小二乘法拟合的关系表达式来估计距离。然而，在路面三维结构的情况下，不能在高于该结构的路面的位置处执行对校准的应用。
然而，在图像上，在更靠近相机的位置处，被摄体的尺寸增大。因此，图像上的以下两个道路宽度尺寸彼此不同：
(a)用作距离计算目标对象的对象(车辆)91的位置处的道路宽度的图像尺寸W；以及
(b)在近处对象(基准点P)92的位置处的道路宽度的图像尺寸Wref。
现实世界中具有相同尺寸的对象的图像的尺寸与从相机到被摄体的距离成反比。换句话说，随着从相机到被摄体的距离增加，图像上的尺寸减小。
对于图11中所示的近处对象(基准点P)92，通过左方向距离传感器12L测量距汽车10的距离。换句话说，以下成立：
基准点P距离＝Lref。
此外，图像上在该近处对象(基准点P)92的位置的图像横向(水平方向)上的道路宽度是Wref。该道路尺寸Wref可以从图像获得。
另外，图像上在用作距离计算目标对象的对象(车辆)91的位置的图像横向(水平方向)的道路宽度为W。该道路尺寸W可以从图像获得。
因此，能够根据下述(式2)计算从相机的位置(＝汽车10的位置)到用作距离计算目标对象的对象(车辆)91的距离L。
L＝Lref×(Wref/W)……(式2)
在这个式中，
Lref：到基准点P(在基准面(路面)上)的距离(实际距离)，
Wref：基准点P(在基准面(路面)上)的图像横向(水平方向)上的对象(诸如道路)的宽度(在图像上的长度)，以及
W：距离计算目标对象(在基准面(路面)上)的图像横向(水平方向)上的对象(诸如道路)的宽度(图像上的长度)。
[3-2.(处理示例2)在距离计算目标对象包括具有已知实际尺寸的构成物的情况下的对象距离计算处理的示例]
接下来，作为处理示例2，参考图15描述在距离计算目标对象包括具有已知实际尺寸的构成物的情况下的对象距离计算处理的示例。
图15中示出的图像是由汽车10的左方向相机11L捕获的图像。
道路上正在接近的对象(车辆)91已经被作为被摄体成像。
计算到该对象(车辆)91的距离。
用作距离计算目标对象的对象(车辆)91包括牌照的图像。
汽车的牌照尺寸符合标准，并且所有普通的乘用车都一样。
换句话说，牌照的实际尺寸是已知的。
假设作为已知的牌照尺寸的实际尺寸(宽度)是Wrw。
此外，假设包括在捕获图像中的牌照的图像尺寸(宽度)为W。
此外，假设相机的焦点距离是f。该f是已知的。
在这种情况下，可以根据下述(式3)来计算从相机的位置(＝汽车10的位置)到用作距离计算目标对象的对象(车辆)91的距离L。
L＝f×(Wrw/W)……(式3)
在这个式中，
f：相机的焦点距离，
Wrw：距离计算目标对象的图像中包括的具有已知的实际尺寸的构成物的实际尺寸，以及
W：距离计算目标对象的图像中包括的具有已知的实际尺寸的构成物的图像尺寸。
在已经参考图11和15描述的对象距离计算处理中，省略了上述用于从图像检测无限远点的位置的处理。
换句话说，即使在无法从图像中检测到无限远点的情况下，也可以计算对象距离。
此外，在参照图15描述的处理中，也不需要计算到基准点P的距离，并且不包括任何距离传感器的汽车也可以计算对象距离。
[4.信息处理装置执行的处理序列]
接下来，参照图16和图17所示的流程图，对汽车10的信息处理装置执行的处理序列进行描述。
注意，例如，可以根据存储在信息处理装置的储存器中的程序来执行根据图16和图17所示的流程图的处理。
信息处理装置包括具有程序执行功能的硬件，诸如CPU。
下面描述流程图中的各个步骤的处理。
(步骤S101)
首先，在步骤S101中，判定是否已在相机捕获图像中检测到距离计算目标对象。
注意，在这种情况下的相机是左方向相机11L或右方向相机11R。
此外，距离计算目标对象可以是诸如车辆、行人、扶手、侧壁等成为妨碍汽车10的移动的障碍物的任意对象，或者也可以设置为仅选择移动的对象。
(步骤S102)
接下来，在步骤S102中，判定是否已经从相机捕获图像中检测到可应用于无限远点的检测的多条平行线(现实世界中的平行线)。
这些平行线是在从相机侧远离的方向上延长的线。换句话说，这些平行线是上面已经参考图5描述的线，例如平行线a至d或61a至61d。
在判定已经从相机捕获图像检测到可以应用于无限远点的检测的多条平行线(现实世界中的平行线)的情况下，处理进行到步骤S104。
相反，在判定未能从相机捕获图像中检测到可应用于无限远点的检测的多条平行线(现实世界中的平行线)的情况下，处理进行到步骤S103。
(步骤S103)
在步骤S102中，在判定未能从相机捕获图像中检测到可应用于无限远点的检测的多条平行线(现实世界中的平行线)的情况下，处理进行到步骤S103。
在步骤S103中，判定是否已从相机捕获图像中检测到可应用于无限远点的检测的单个线段。
该线段也是在从相机侧远离的方向上延长的线。换句话说，该线段是上面已经参考图7描述的线，诸如单个检测到的线71。
在判定已经从相机捕获图像中检测到可应用于无限远点的检测的单个线段的情况下，处理进行到步骤S104。
相反，在判定未能从相机捕获图像中检测到可应用于无限远点的检测的单个线段的情况下，处理进行到步骤S201。
(步骤S104)
在步骤S102中，在判定已经从相机捕获图像检测到可以应用于无限远点的检测的多条平行线(现实世界中的平行线)的情况下，或者
在步骤S103中，在判定已经从相机捕获图像检测到可以应用于无限远点的检测的单个线段的情况下，处理进行到步骤S104。
在步骤S104中，从相机捕获图像中检测无限远点。
在步骤S102中，在从相机捕获图像检测到可以应用于无限远点的检测的多条平行线(现实世界中的平行线)的情况下，如上参照图5所述，延长该多条平行线，并且检测所延长的线的交点。将该交点判定为无限远点。
此外，在步骤S103中，在已经从相机捕获图像中检测到可以应用于无限远点的检测的单个线段的情况下，如以上参照图7所述，延长在预定时段期间包括在多个捕获图像帧中的线段已在单个图像上输出的情况下输出的多条线，并且检测所延长的线的交点，将该交点确定为无限远点。
(步骤S105)
在步骤S104中，当完成了无限远点的检测时，处理进行到步骤S105。
在步骤S105中，根据下述(式1)计算对象距离。
L＝Lref×(href/h)＝f×(H/h)……(式1)
在这个式中，
f：相机的焦点距离，
H：相机的安装高度(距基准面(＝路面)的高度)，
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上沿图像上下方向的间距)，
Lref：到基准点P(在基准面(路面)上)的距离(实际距离)，以及
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向的间距)。
注意，为了通过应用上述(式1)来计算对象距离，可以使用下述(式1a)或(式1b)。
L＝Lref×(href/h)……(式1a)
L＝f×(H/h)……(式1b)
在上述各式中包括的参数中，以下参数已知：
f：相机的焦点距离；以及
H：相机的安装高度(距基准面(＝路面)的高度)。
在该设置中，在通过使用下述(式1a)计算对象距离L的情况下：
L＝Lref×(href/h)……(式1a)，
需要获得以下描述的参数：
Lref：到基准点P(在基准面(路面)上)的距离(实际距离)；
h：捕获图像上的对象地面接触点(与基准面(路面)的接触点)与无限远点之间的间距(图像上沿图像上下方向的间距)；以及
href：捕获图像上的基准点P与无限远点之间的间距(图像上沿图像上下方向的间距)。
在使用上述(式1a)的情况下，首先，位于距离传感器12可以测量距离的位置的近处对象被选择为基准点P，测量到基准点P的距离，并且获得到基准点P的距离Lref。
此外，参数h和href是基于在步骤S104中已经检测到的无限远点而获得的。
通过使用这些参数，可以根据下述(式1a)来计算对象距离：
L＝Lref×(href/h)……(式1a)。
此外，在使用下述(式1b)的情况下：
L＝f×(H/h)……(式1b)，
参数h是基于在步骤S104中检测到的无限远点而获得的。
通过使用该参数，可以根据下述(式1b)来计算对象距离：
L＝f×(H/h)……(式1b)。
注意，在使用上述(式1b)的对象距离计算处理中，不需要计算到基准点P的距离，并且不包括任何距离传感器的汽车也可以仅基于捕获图像来计算对象距离。
(步骤S201)
在步骤S102中，在判定未能从相机捕获图像中检测到可应用于无限远点的检测的多条平行线(现实世界中的平行线)的情况下，以及
在步骤S103中，在判定未能从相机捕获图像中检测到可应用于无限远点的检测的单个线段的情况下，处理进行到步骤S201。
在步骤S201中，判定是否已经从图像中检测到可以作为基准点并且可以计算到其的距离的近处对象。
在已经检测到近处对象的情况下，处理进行到步骤S202。
在未能检测到近处对象的情况下，处理进行到步骤S211。
(步骤S202)
在步骤S201中，在判定已经从图像中检测到可以作为基准点并且可以计算到其的距离的近处对象的情况下，处理进行到步骤S202。
在步骤S202中，将近处对象判定为基准点P，并且计算到基准点P的距离。
通过距离传感器12L和12R中的任一个计算距离。
(步骤S203)
接下来，根据下述(式2)计算对象距离L。
L＝Lref×(Wref/W)……(式2)
在这个式中，
Lref：到基准点P(在基准面(路面)上)的距离(实际距离)，
Wref：基准点P(在基准面(路面)上)的图像横向(水平方向)上的对象(诸如道路)的宽度(图像上的长度)，以及
W：距离计算目标对象(在基准面(路面)上)的图像横向(水平方向)上的对象(诸如道路)的宽度(图像上的长度)。
使用上述(式2)的对象距离计算处理与以上参照图11描述的处理相对应。
(步骤S211)
相反，在步骤S201中，在判定未能从图像中检测到可以作为基准点并且可以计算到其的距离的近处对象的情况下，处理进行到步骤S211。
在步骤S211中，判定诸如牌照的具有已知实际尺寸的构成物是否包括在距离计算目标对象的图像中。
在包括具有已知实际尺寸的构成物的情况下，处理进行到步骤S212。
在不包括具有已知实际尺寸的构成物的情况下，处理终止。
(步骤S212)
在步骤S211中，在判定距离计算目标对象的图像中包括诸如牌照的具有已知实际尺寸的构成物的情况下，处理进行到步骤S212。
在步骤S212中，根据下述(式3)计算对象距离L。
L＝f×(Wrw/W)……(式3)
在这个式中，
f：相机的焦距，
Wrw：距离计算目标对象的图像中包括的具有已知实际尺寸的构成物的实际尺寸，以及
W：距离计算目标对象的图像中包括的具有已知实际尺寸的构成物的图像尺寸。
使用上述(式3)的对象距离计算处理与以上参照图15描述的处理相对应。
[5.移动装置的配置示例]
接下来，参照图16描述执行根据本公开的处理的诸如汽车10的移动装置的配置示例。
图16是示出作为执行上述处理的诸如汽车10的移动装置的控制系统的一个示例的车辆控制系统100的概略的功能配置示例的框图。
注意，在下文中，在将设置有车辆控制系统100的车辆与其他车辆区分开的情况下，将设置有车辆控制系统100的车辆称为本车或本车辆。
车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车内装置104、输出控制器105、输出单元106、驱动系统控制器107、驱动系统108、主体系统控制器109、主体系统110、储存器111和自动驾驶控制器112。输入单元101、数据获取单元102、通信单元103、输出控制部105、驱动系统控制器107、主体系统控制器109、储存器111、自动驾驶控制器112经由通信网络121相互连接。通信网络121例如包括符合任意标准的车载通信网络，诸如控制器区域网络(CAN)、局域互联网络(LIN)、局域网(LAN)或FlexRay(注册商标)、总线等。注意，在一些情况下，车辆控制系统100的各个单元直接连接而没有通信网络121。
注意，在下文中，在车辆控制系统100的各个单元经由通信网络121执行通信的情况下，省略对通信网络121的描述。例如，在输入单元101和自动驾驶控制器112经由通信网络121执行通信的情况下，简单地描述输入单元101和自动驾驶控制器112执行通信。
输入单元101包括乘客用来输入各种类型的数据、指令等的装置。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关或操纵杆的操作装置、可以通过使用手动操作以外的方法(诸如声音或手势)来在其上执行输入操作的操作装置等。此外，例如，输入单元101可以是使用红外线或其他无线电波的远程控制装置，或者是与车辆控制系统100的操作相对应的外部连接装置，诸如移动装置或可穿戴装置。输入单元101基于由乘客输入的数据或指令等生成输入信号，并将该输入信号提供给车辆控制系统100的各个单元。
数据获取单元102包括获取在由车辆控制系统100执行的处理中使用的数据的各种传感器等，并且将所获取的数据提供给车辆控制系统100的各个单元。
例如，数据获取单元102包括检测本车的状态的各种传感器等。具体地，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)、检测对加速器踏板执行的操作量、对制动踏板执行的操作量、方向盘的转向角、发动机速度、马达的转速、车轮的转速等的传感器、以及其他传感器。
此外，例如，数据获取单元102包括检测与本车的外部有关的信息的各种传感器。具体地，例如，数据获取单元102包括成像装置，诸如飞行时间(ToF)相机、立体相机、单目相机、红外相机或其他相机。此外，例如，数据获取单元102包括检测天气、气象现象等的环境传感器，以及检测本车周围的对象的周边信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、阳光传感器、雪传感器等。周边信息检测传感器包括例如超声波传感器、雷达、光检测和测距或激光成像检测和测距(LiDAR)、声纳等。
此外，例如，数据获取单元102包括检测本车的当前位置的各种传感器。具体地，例如，数据获取单元102包括从GNSS卫星接收GNSS信号的全球导航卫星系统(GNSS)接收器等。
此外，例如，数据获取单元102包括检测车内信息的各种传感器。具体地，例如，数据获取单元102包括对驾驶员进行成像的成像装置、检测驾驶员的生物信息的生物传感器、收集车厢中的声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等上，并且检测与坐在座椅上的乘客或握住方向盘的驾驶员相关的生物信息。
通信单元103与车内装置104以及各种车外装置、服务器、基站等执行通信，并且发送从车辆控制系统100的各个单元提供的数据或者将接收的数据提供给车辆控制系统100的各个单元。注意，通信单元103所支持的通信协议没有特别限制，并且通信单元103还可以支持多种类型的通信协议。
例如，通信单元103通过使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车内装置104执行无线通信。此外，例如，通信单元103通过使用通用串行总线(USB)、高清晰度多媒体接口(HDMI)(注册商标)、移动高清晰度链路(MHL)等，经由未示出的连接端子(以及如果需要的话，线缆)与车内装置104执行有线通信。
此外，例如，通信单元103经由基站或接入点与存在于外部网络(例如，因特网、云网络或公司专用网络)上的装备(例如，应用服务器或控制服务器)执行通信。此外，例如，通信单元103通过使用对等(P2P)技术与存在于本车附近的终端(例如，行人或商店的终端或机器类型通信(MTC)终端)执行通信。此外，例如，通信单元103执行诸如车辆与车辆间通信、车辆与基础设施间通信、车辆与家庭间通信或车辆与行人间通信的V2X通信。此外，例如，通信单元103包括信标接收器，接收从设置在道路上的无线站等发送的无线电波或电磁波，并且获取与当前位置、交通堵塞、交通管制、所需时间等有关的信息。
车内装置104包括例如乘客所拥有的移动装置或可穿戴装置、携带在或附接到本车的信息装置、搜索到任意目的地的路线的导航装置等。
输出控制器105控制向本车的乘客或车辆外部输出各种类型的信息。例如，输出控制器105通过生成包括视觉信息或听觉信息中的至少一个的输出信号并将该输出信号提供给输出单元106，来控制来自输出单元106的视觉信息(例如，图像数据)和听觉信息(例如，声音数据)的输出。具体地，例如，输出控制器105组合由数据获取单元102中彼此不同的成像装置捕获的图像数据，生成俯瞰图像、全景图像等，并且将包括所生成的图像的输出信号提供给输出单元106。此外，例如，输出控制器105针对诸如碰撞、接触或进入危险区的危险生成包括警告声音、警告消息等的声音数据，并且将包括所生成的声音数据的输出信号提供给输出单元106。
输出单元106包括可以向本车的乘客或车辆外部输出视觉信息或听觉信息的装置。例如，输出单元106包括显示装置、仪表板、音频扬声器、头戴式耳机、乘客佩戴的诸如眼镜类型显示器的可穿戴装置、投影仪、灯等。输出单元106中包括的显示装置可以是包括正常显示器的装置，或者可以是例如在驾驶员的视野中显示听觉信息的装置，诸如平视显示器、透射型显示器或具有增强现实(AR)显示功能的装置。
驱动系统控制器107通过生成各种控制信号并将各种控制信号提供给驱动系统108来控制驱动系统108。此外，驱动系统控制器107根据需要向除驱动系统108以外的各个单元提供控制信号，并且对驱动系统108的控制状态进行通知等。
驱动系统108包括与本车的驱动系统相关的各种装置。例如，驱动系统108包括产生驱动力的驱动力产生装置(诸如内燃机或驱动马达)、将驱动力传递到车轮的驱动力传递机构、调节转向角的转向机构、产生制动力的制动装置、防抱死制动系统(ABS)、电子稳定控制(ESC)、电动转向装置等。
主体系统控制器109通过生成各种控制信号并将各种控制信号提供给主体系统110来控制主体系统110。此外，主体系统控制器109根据需要向主体系统110以外的各个单元提供控制信号，并且给出主体系统110的控制状态的通知等。
主体系统110包括装备在车体中的主体系统的各种装置。例如，主体系统110包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、方向盘、空调、各种灯(例如，头灯、尾灯、刹车灯、转向信号、雾灯等)等。
储存器111包括例如只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等。储存器111存储由车辆控制系统100的各个单元使用的各种程序、数据等。例如，储存器111存储地图数据，诸如三维高精度地图(例如动态地图)、具有较低精度并且覆盖比高精度地图更宽的区域的全局地图、或者包括与本车的周围有关的信息的本地地图。
自动驾驶控制器112执行与自动驾驶相关的控制，诸如自主行驶或驾驶支持。具体地，例如，自动驾驶控制器112执行旨在实现包括本车的碰撞避免或碰撞减轻、基于车辆之间的距离的跟随行驶、车速维持行驶、防止与本车碰撞的警告、防止本车的车道偏离的警告等的高级驾驶员辅助系统(ADAS)的功能的协同控制。此外，例如，自动驾驶控制器112执行旨在针对独立于驾驶员执行的操作的自主行驶的自动驾驶等协作控制。自动驾驶控制器112包括检测单元131、自身位置估计单元132、状况分析器133、计划单元134和运动控制器135。
检测单元131检测控制自动驾驶所需的各种类型的信息。检测单元131包括车外信息检测单元141、车内信息检测单元142以及车辆状态检测单元143。
车外信息检测单元141基于来自车辆控制系统100的各单元的数据或信号，执行用于检测与本车的外部有关的信息的处理。例如，车外信息检测单元141执行用于检测、识别、追踪本车周围的对象的处理、以及用于检测与对象之间的距离的处理。要检测对象的示例包括车辆、人、障碍物、构造物、道路、信号灯、交通标识、道路标识等。此外，例如，车外信息检测单元141执行用于检测本车的周围环境的处理。要检测的周围环境的示例包括天气、气温、湿度、亮度、路面状态等。车外信息检测单元141将表示检测处理结果的数据提供给自身位置估计单元132、状况分析器133的地图分析器151、交通规则识别器152、状况识别器153、动作控制器135的紧急情况回避单元171等。
车内信息检测单元142基于来自车辆控制系统100的各单元的数据或信号，执行用于检测车内信息的处理。例如，车内信息检测单元142执行用于认证和识别驾驶员的处理、用于检测驾驶员的状态的处理、用于检测乘客的处理、用于检测车内环境的处理等。要检测的驾驶员的状态的示例包括身体状态、清醒度、专注度、疲劳度、视线方向等。要检测的车内环境的示例包括气温、湿度、亮度、气味等。车内信息检测单元142将指示检测处理的结果的数据提供给状况分析器133的状况识别器153、运动控制器135的紧急情况回避单元171等。
车辆状态检测单元143基于来自车辆控制系统100的各单元的数据或信号，执行用于检测本车的状态的处理。用作检测对象的本车的状态的示例包括速度、加速度、转向角、异常的有无及内容、驾驶操作的状态、电动座椅的位置及倾角、门锁的状态、其他车载装置的状态等。车辆状态检测单元143将指示检测处理的结果的数据提供给状况分析器133的状况识别器153、运动控制器135的紧急情况回避单元171等。
自身位置估计单元132基于来自车辆控制系统100的例如车外信息检测单元141、状况分析器133的状况识别器153等的各单元的数据或信号，执行用于估计本车的位置、取向等的处理。此外，自身位置估计单元132根据需要生成用于估计自身位置的本地地图(以下称为自身位置估计地图)。例如，假设自身位置估计地图是使用诸如同时定位与地图绘制(SLAM)的技术的高精度地图。自身位置估计单元132将指示估计处理的结果的数据提供给状况分析器133的地图分析器151、交通规则识别器152和状况识别器153等。此外，自身位置估计单元132将自身位置估计地图存储在储存器111中。
状况分析器133执行用于分析本车和周围的状况的处理。状况分析器133包括地图分析器151、交通规则识别器152、状况识别器153和状况预测单元154。
地图分析器151根据需要，使用来自车辆控制系统100的例如自身位置估计单元132、车外信息检测单元141等的各单元的数据或信号，执行用于对储存器111中存储的各种地图进行分析的处理，并且构建包括自动驾驶处理所需的信息的地图。地图分析器151将所构建的地图提供给交通规则识别器152、状况识别器153、状况预测单元154、计划单元134的路线计划单元161、行动计划单元162和运动计划单元163等。
交通规则识别器152基于来自车辆控制系统100的例如自身位置估计单元132、车外信息检测单元141、地图分析器151等的各单元的数据或信号，执行用于识别本车周围的交通规则的处理。通过执行该识别处理，例如，识别本车周围的信号灯的位置和状态、本车周围的交通管制的内容、可行驶车道等。交通规则识别器152将指示识别处理的结果的数据提供给状况预测单元154等。
状况识别器153基于来自车辆控制系统100的例如自身位置估计单元132、车外信息检测单元141、车内信息检测单元142、车辆状态检测单元143、地图分析器151等的各单元的数据或信号，执行用于识别与本车相关的状况的处理。例如，状况识别器153执行用于识别本车的状况、本车的周围的状况、本车的驾驶员的状况等的处理。此外，状况识别器153根据需要生成用于识别本车的周围的状况的本地地图(下文中称为状况识别地图)。例如，假设状况识别图是占有率栅格地图。
用于要识别的对象的本车辆的状况的示例包括本车的位置、取向、移动(例如速度、加速度、移动方向等)、有无异常以及内容等。用作要识别的对象的本车的周围的状况的示例包括周围静止对象的种类和位置、周围移动对象的种类、位置、移动(例如速度、加速度、移动方向等)、周围道路的配置和路面状态、周围的天气、气温、湿度和明亮度等。用作要识别的对象的驾驶员的状态的示例包括身体状况、清醒度、专注度、疲劳度、视线的移动、驾驶操作等。
状况识别器153将指示识别处理的结果的数据(根据需要，包括状况识别图)提供给自身位置估计单元132、状况预测单元154等。此外，状况识别器153将状况识别图存储在储存器111中。
状况预测单元154基于来自车辆控制系统100的例如地图分析器151、交通规则识别器152、状况识别器153等的各单元的数据或信号，执行用于预测与本车相关的状况的处理。例如，状况预测单元154执行用于预测本车的状况、本车的周围的状况、驾驶员的状况等的处理。
用作预测对象的本车的状况的示例包括本车的行为、异常的发生、可行驶距离等。用作预测对象的本车的周围状况的示例包括本车周围的移动对象的行为、信号灯的状态改变、诸如天气的环境变化等。用作预测目标的驾驶员的状况的示例包括驾驶员的行为、身体状况等。
状况预测单元154将表示预测处理结果的数据与来自交通规则识别器152和状况识别器153的数据一起提供给计划单元134的路线计划单元161、行动计划单元162和动作计划单元163等。
路线计划单元161基于来自车辆控制系统100的例如地图分析器151、状况预测单元154等的各单元的数据或信号计划到目的地的路线。例如，路线计划单元161基于全局地图设置从当前位置到指定目的地的路线。此外，例如，路线计划单元161基于交通堵塞、事故、交通管制、施工作业等的状况、驾驶员的身体状况等，适当地改变路线。路线计划单元161将表示所计划的路线的数据提供给行动计划单元162等。
行动计划单元162根据来自车辆控制系统100例如地图分析器151、状况预测单元154等的各单元的数据或信号，计划在计划时间内在由路线计划单元161计划的路线上安全行驶的本车的行动。例如，行动计划单元162计划出发、停止、行驶方向(例如前进、后退、左转、右转、方向改变等)、行驶车道、行驶速度、通过等。行动计划单元162将表示本车的计划行动的数据提供给动作计划单元163等。
动作计划单元163基于来自车辆控制系统100的例如地图分析器151、状况预测单元154等的各单元的数据或信号，计划用于实现由行动计划单元162计划的行动的本车的动作。例如，动作计划单元163计划加速度、减速度、行驶轨迹等。动作计划单元163将表示本车的计划动作的数据提供给动作控制器135的加减速控制器172和方向控制器173等。
动作控制器135控制本车的动作。动作控制器135包括紧急情况回避单元171、加减速控制器172和方向控制器173。
紧急情况回避单元171基于车外信息检测单元141、车内信息检测单元142以及车辆状态检测单元143的检测结果，执行用于检测诸如碰撞、接触、进入危险区、驾驶员的异常、车辆的异常的紧急情况的处理。在检测到紧急情况发生的情况下，紧急情况回避单元171计划本车的用于回避紧急情况的动作，诸如急停或突然转弯。紧急情况回避单元171将表示本车的计划动作的数据提供给加减速控制器172、方向控制器173等。
加减速控制器172控制加减速，以实现由动作计划单元163或紧急情况回避单元171计划的本车的动作。例如，加减速控制器172计算用于实现所计划的加速、减速或急停的驱动力产生器或制动装置的控制目标值，并将表示计算出的控制目标值的控制命令提供给驱动系统控制器107。
方向控制器173控制用于实现由动作计划单元163或紧急情况回避单元171计划的本车的动作的方向。例如，方向控制器173计算用于实现由动作计划单元163或紧急情况回避单元171计划的行驶轨迹或急转弯的转向机构的控制目标值，并将表示所计算的控制目标值的控制命令提供给驱动系统控制器107。
注意，例如通过应用以下所述的组件来执行上述示例中所述的对象距离检测处理。
由被配置为数据获取单元102的相机或距离传感器获取的信息被输入到检测单元131的车外信息检测单元141。
车外信息检测部141使用由相机或距离传感器获取的信息指定用作距离检测目标的对象，并计算该对象的距离。
或者，也可以采用如下配置，即，车外信息检测单元141使用由相机或距离传感器获取的信息指定用作距离检测目标的对象，并将所指定的信息输出到状况分析器133的状况识别器153以及状况识别器153来计算该对象的距离。
计算出的目标距离被输出到确定汽车的路线的计划单元134，并且制定用于安全行驶的移动计划。
此外，与由计划单元134确定的路线有关的信息被输入到控制汽车的动作的动作控制器135，并且动作控制器135控制汽车的动作。
[6.信息处理装置的配置示例]
图18示出了可以附接在执行上述处理的移动装置中的车辆控制系统100的配置。在上述示例中的处理中，可以将由诸如距离传感器或相机的各种传感器检测到的信息输入到诸如PC的信息处理装置，可以执行数据处理，并且可以计算到对象的距离或者对象的尺寸或位置。
参考图19描述在这种情况下信息处理装置的具体硬件配置示例。
图19是示出诸如一般PC的信息处理装置的硬件配置示例的图。
中央处理单元(CPU)301起根据存储在只读存储器(ROM)302或储存器308中的程序执行各种类型的处理的数据处理单元的作用。例如，执行根据上述示例中描述的序列的处理。随机存取存储器(RAM)303存储由CPU 301执行的程序、数据等。上述CPU 301、ROM 302和RAM 303经由总线304相互连接。
CPU 301经由总线304连接到输入/输出接口305，并且输入/输出接口305连接到包括各种开关、键盘、触摸面板、鼠标、麦克风、诸如传感器、相机或GPS的状况数据获取单元等的输入单元306以及包括显示器、扬声器等的输出单元307。
注意，来自诸如距离传感器或相机的传感器321的输入信息也被输入到输入单元306。
此外，输出单元307还将与对象之间的距离、对象的位置信息等作为用于移动装置的计划单元322(诸如动作计划单元)的信息输出。
CPU 301接收从输入单元306输入的命令、状况数据等作为输入，执行各种类型的处理，并将处理结果输出到例如输出单元307。
连接到输入/输出接口305的储存器308包括例如硬盘等，并且存储由CPU 301执行的程序或各种类型的数据。通信单元309起经由诸如因特网或局域网的网络的数据通信的发送/接收单元的作用，并且与外部装置执行通信。
连接到输入/输出接口305的驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器(例如，存储卡)的可移除介质311，并记录或读取数据。
[7.根据本公开的配置的概要]
以上已经参考具体示例详细描述了本公开的示例。然而，显然，本领域技术人员可以在不背离本公开的主旨的情况下对实施例进行修改或替换。换句话说，本发明已经以示例的形式公开，并且不应被解释为限制。为了判断本公开的要点，应当考虑权利要求。
注意，这里公开的技术可以采用以下描述的配置。
(1)一种信息处理装置，包括：
数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像计算对象距离，
其中，所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离。
(2)根据(1)所述的信息处理装置，
其中，所述数据处理单元具有从捕获图像中检测现实世界空间上在从相机位置远离的方向上延长的多条线，并分析已经检测到的多个线段的帧之间的线段坐标的改变来判定所述多个线段是现实世界空间中的平行线的组合的功能，并且估计所述多个线段中的一组的无限远点。
(3)根据(1)或(2)所述的信息处理装置，
其中，所述数据处理单元具有从捕获图像中检测现实世界空间上在从相机位置远离的方向上延长的多条线，并判定已检测到的多条线段是平行线段还是非平行线段的功能。
(4)根据(1)至(3)中任一项所述的信息处理装置，
其中，所述数据处理单元具有从捕获图像中检测现实世界空间中在从相机位置远离的方向上延长的多条线，并检测已检测到的线段的组合的交叉峰的坐标随着车辆的平移移动而在帧之间顺序移动的功能。
(5)根据(1)至(4)中任一项所述的信息处理装置，
其中，所述数据处理单元
校准已检测到的无限远点的位置，并且
通过使用与已校准的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离。
(6)根据(1)至(5)中任一项所述的信息处理装置，
其中，当对象距离为L时，所述数据处理单元根据下述式1b计算对象距离：
L＝f×(H/h)……式1b，
其中
f：相机的焦点距离，
H：距相机的基准面的高度，以及
h：捕获图像上的与对象的基准面的接触点与无限远点之间的间距，该间距是图像向上或向下方向上的间距。
(7)根据(1)至(6)中任一项所述的信息处理装置，
其中，所述数据处理单元通过使用捕获图像和与到位于比对象更靠近相机的基准点P的距离有关的信息来计算对象距离。
(8)根据(7)所述的信息处理装置，
其中，当对象距离为L时，所述数据处理单元根据下述式1a计算对象距离：
L＝Lref×(href/h)……式1a，
其中
Lref：从相机到基准点P的实际距离，
href：捕获图像上的基准点P与无限远点之间的间距，该间距是图像向上或向下方向上的间距，以及
h：捕获图像上的与对象的基准面的接触点与无限远点之间的间距，该间距是图像向上或向下方向上的间距。
(9)根据(1)至(8)中任一项所述的信息处理装置，
其中，所述数据处理单元从捕获图像中检测现实世界中在从相机位置远离的方向上延长的多条平行线，并将已检测到的所述多条平行线的延长线上的交点判定为无限远点。
(10)根据(1)至(9)中任一项所述的信息处理装置，
其中，所述数据处理单元从捕获图像中检测现实世界中在从相机位置远离的方向上延长的直线，并将图像帧单位中的直线的各延长线上的交点判定为无限远点，直线的方向随着相机的移动而在捕获图像上改变。
(11)根据(1)至(10)中任一项所述的信息处理装置，
其中，所述数据处理单元基于与已由相机捕获的多个图像帧相对应的多个对象距离来计算对象的移动速度。
(12)一种信息处理装置，包括：
数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像计算对象距离，
其中，所述数据处理单元通过使用捕获图像和与到位于比对象更靠近相机的基准点P的距离有关的信息来计算对象距离，以及
当对象距离为L时，所述数据处理单元根据下述式2计算对象距离：
L＝Lref×(Wref/W)……式2，
其中
Lref：从相机到基准点P的实际距离，
Wref：参考对象的图像上位于基准点P的图像横向方向上的宽度，以及
W：参考对象的图像上位于距离计算目标对象的图像横向上的宽度。
(13)一种信息处理装置，包括：
数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像计算对象距离，
其中，当对象距离为L时，所述数据处理单元根据下述式3计算对象距离：
L＝f×(Wrw/W)……式3，
其中
f：相机的焦点距离，
Wrw：包括在对象图像中的具有已知实际尺寸的构成物的实际尺寸，以及
W：包括在对象图像中的具有已知实际尺寸的构成物的图像尺寸。
(14)一种移动装置，包括：
相机，该相机捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像；以及
数据处理单元，该数据处理单元基于相机的捕获图像来计算对象距离，
其中，所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离，并且
所述数据处理单元包括：
计划单元，该计划单元基于已计算出的对象距离来确定移动装置的路线；以及
运动控制器，该运动控制器根据计划单元已确定的路线来控制移动装置的运动。
(15)根据(14)所述的移动装置，
其中，所述数据处理单元从捕获图像中检测现实世界中在从相机位置远离的方向上延长的多条平行线，并将已检测到的所述多条平行线的延长线上的交点判定为无限远点
(16)根据(14)所述的移动装置，
其中，所述数据处理单元从捕获图像中检测现实世界中在从相机位置远离的方向上延长的直线，并将图像帧单位中的直线的各延长线上的交点判定为无限远点，直线的方向随着相机的移动而在捕获图像上改变。
(17)一种由信息处理装置执行的信息处理方法，
其中，所述信息处理装置包括数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像来计算对象距离，以及
所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离。
(18)一种由移动装置执行的信息处理方法，
其中，所述移动装置包括：
相机，该相机捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像；以及
数据处理单元，该相机基于相机的捕获图像来计算对象距离，
所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离，
计划单元，基于已计算出的对象距离来确定移动装置的路线，以及
运动控制器，根据已由计划单元确定的路线控制移动装置的运动。
(19)一种程序，其使信息处理装置执行信息处理，
其中，所述信息处理装置包括数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像来计算对象距离，以及
所述程序使所述数据处理单元：
从捕获图像中检测无限远点；并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离。
此外，说明书中描述的一系列处理可以通过硬件或软件或者硬件和软件的复合配置来执行。在通过软件执行一系列处理的情况下，记录处理顺序的程序可以被安装在已经集成到专用硬件中的计算机内的存储器中并且可以被执行，或者该程序可以被安装在可以执行各种类型的处理的通用计算机中，并可以被执行。例如，程序可以预先记录在记录介质中。该程序可以从记录介质安装在计算机中，或者该程序可以经由诸如局域网(LAN)或因特网的网络来接收，并且可以被安装在诸如内置硬盘的记录介质中。
注意，在描述中描述的各种类型的处理可以根据描述而按顺序执行，或者可以根据执行各种类型的处理的装置的吞吐量或者根据需要并行地或单独地执行。此外，本文描述的系统是多个装置的逻辑集合配置，并且并不总是在同一外壳中包括具有各自配置的装置。
工业适用性
如上所述，通过采用本公开的一个示例中的配置，实现了如下配置，该配置基于捕获与移动装置的移动方向正交的方向上或具有正交分量的方向上的图像的相机的捕获图像来计算对象距离。
具体地，例如，数据处理单元从捕获与移动装置的移动方向正交的方向上或具有正交分量的方向上的图像的相机的捕获图像中检测无限远点，并通过使用与检测到的无限远点的位置和捕获图像中的对象的位置之间的位置关系有关的信息来计算对象方向。数据处理单元从捕获图像中检测现实世界中在从相机位置远离的方向上延长的多条平行线，并将检测到的多条平行线的延长线上的交点判定为无限远点。可替代地，将图像帧单位中的直线的各个延长线上的交点判定为无限远点，该直线的方向随着相机的移动而在捕获图像上改变。
通过采用本配置，实现了如下配置，该配置基于捕获与移动装置的移动方向正交的方向上的图像的相机的捕获图像来计算对象距离。
附图标记列表
10 移动装置
11L 左方向相机
11R 右方向相机
12L 左方向距离传感器
12R 右方向距离传感器
100 车辆控制系统
101 输入单元
102 数据获取单元
103 通信单元
104 车内装置
105 输出控制器
106 输出单元
107 驱动系统控制器
108 驱动系统
109 主体系统控制器
110 主体系统
111 储存器
112 自动驾驶控制器
121 通信网络
131 检测单元
132 自身位置估计单元
141 车外信息检测单元
142 车内信息检测单元
143 车辆状态检测单元
151 地图分析器
152 交通规则识别器
153 状况识别器
154 状况预测单元
161 路线计划单元
162 行动计划单元
163 动作计划单元
171 紧急情况回避单元
172 加减速控制器
173 方向控制器
301 CPU
302 ROM
303 RAM
304 总线
305 输入/输出接口
306 输入单元
307 输出单元
308 储存器
309 通信单元
310 驱动器
311 可移除介质
321 传感器
322 计划单元

Claims (19)

1.一种信息处理装置，包括：
数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像计算对象距离，
其中，所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离。
2.根据权利要求1所述的信息处理装置，
其中，所述数据处理单元具有从捕获图像中检测现实世界空间上在从相机位置远离的方向上延长的多条线，并分析已经检测到的多个线段的帧之间的线段坐标的改变来判定所述多个线段是现实世界空间中的平行线的组合的功能，并且估计所述多个线段中的一组的无限远点。
3.根据权利要求1所述的信息处理装置，
其中，所述数据处理单元具有从捕获图像中检测现实世界空间上在从相机位置远离的方向上延长的多条线，并判定已检测到的多条线段是平行线段还是非平行线段的功能。
4.根据权利要求1所述的信息处理装置，
其中，所述数据处理单元具有从捕获图像中检测现实世界空间中在从相机位置远离的方向上延长的多条线，并检测已检测到的线段的组合的交叉峰的坐标随着车辆的平移移动而在帧之间顺序移动的功能。
5.根据权利要求1所述的信息处理装置，
其中，所述数据处理单元
校准已检测到的无限远点的位置，并且
通过使用与已校准的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离。
6.根据权利要求1所述的信息处理装置，
其中，当对象距离为L时，所述数据处理单元根据下述式1b计算对象距离：
L＝f×(H/h)……式1b，
其中
f：相机的焦点距离，
H：距相机的基准面的高度，以及
h：捕获图像上的与对象的基准面的接触点与无限远点之间的间距，该间距是图像向上或向下方向上的间距。
7.根据权利要求1所述的信息处理装置，
其中，所述数据处理单元通过使用捕获图像和与到位于比对象更靠近相机的基准点P的距离有关的信息来计算对象距离。
8.根据权利要求7所述的信息处理装置，
其中，当对象距离为L时，所述数据处理单元根据下述式1a计算对象距离：
L＝Lref×(href/h)……式1a，
其中
Lref：从相机到基准点P的实际距离，
href：捕获图像上的基准点P与无限远点之间的间距，该间距是图像向上或向下方向上的间距，以及
h：捕获图像上的与对象的基准面的接触点与无限远点之间的间距，该间距是图像向上或向下方向上的间距。
9.根据权利要求1所述的信息处理装置，
其中，所述数据处理单元从捕获图像中检测现实世界中在从相机位置远离的方向上延长的多条平行线，并将已检测到的所述多条平行线的延长线上的交点判定为无限远点。
10.根据权利要求1所述的信息处理装置，
其中，所述数据处理单元从捕获图像中检测现实世界中在从相机位置远离的方向上延长的直线，并将图像帧单位中的直线的各延长线上的交点判定为无限远点，直线的方向随着相机的移动而在捕获图像上改变。
11.根据权利要求1所述的信息处理装置，
其中，所述数据处理单元基于与已由相机捕获的多个图像帧相对应的多个对象距离来计算对象的移动速度。
12.一种信息处理装置，包括：
数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像计算对象距离，
其中，所述数据处理单元通过使用捕获图像和与到位于比对象更靠近相机的基准点P的距离有关的信息来计算对象距离，以及
当对象距离为L时，所述数据处理单元根据下述式2计算对象距离：
L＝Lref×(Wref/W)……式2，
其中
Lref：从相机到基准点P的实际距离，
Wref：参考对象的图像上位于基准点P的图像横向方向上的宽度，以及
W：参考对象的图像上位于距离计算目标对象的图像横向上的宽度。
13.一种信息处理装置，包括：
数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像计算对象距离，
其中，当对象距离为L时，所述数据处理单元根据下述式3计算对象距离：
L＝f×(Wrw/W)……式3，
其中
f：相机的焦点距离，
Wrw：包括在对象图像中的具有已知实际尺寸的构成物的实际尺寸，以及
W：包括在对象图像中的具有已知实际尺寸的构成物的图像尺寸。
14.一种移动装置，包括：
相机，该相机捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像；以及
数据处理单元，该数据处理单元基于相机的捕获图像来计算对象距离，
其中，所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离，并且
所述数据处理单元包括：
计划单元，该计划单元基于已计算出的对象距离来确定移动装置的路线；以及
运动控制器，该运动控制器根据计划单元已确定的路线来控制移动装置的运动。
15.根据权利要求14所述的移动装置，
其中，所述数据处理单元从捕获图像中检测现实世界中在从相机位置远离的方向上延长的多条平行线，并将已检测到的所述多条平行线的延长线上的交点判定为无限远点。
16.根据权利要求14所述的移动装置，
其中，所述数据处理单元从捕获图像中检测现实世界中在从相机位置远离的方向上延长的直线，并将图像帧单位中的直线的各延长线上的交点判定为无限远点，直线的方向随着相机的移动而在捕获图像上改变。
17.一种由信息处理装置执行的信息处理方法，
其中，所述信息处理装置包括数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像来计算对象距离，以及
所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离。
18.一种由移动装置执行的信息处理方法，
其中，所述移动装置包括：
相机，该相机捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像；以及
数据处理单元，该相机基于相机的捕获图像来计算对象距离，
所述数据处理单元
从捕获图像中检测无限远点，并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离，
计划单元，基于已计算出的对象距离来确定移动装置的路线，以及
运动控制器，根据已由计划单元确定的路线控制移动装置的运动。
19.一种程序，其使信息处理装置执行信息处理，
其中，所述信息处理装置包括数据处理单元，该数据处理单元基于捕获在与移动装置的移动方向正交的方向上或在具有正交分量的方向上的图像的相机的捕获图像来计算对象距离，以及
所述程序使所述数据处理单元：
从捕获图像中检测无限远点；并且
通过使用与已检测到的无限远点的位置与捕获图像中的对象的位置之间的位置关系有关的信息来计算对象距离。
CN201980019774.XA 2018-03-23 2019-02-13 信息处理装置、移动装置、方法和程序 Pending CN112119282A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018056512 2018-03-23
JP2018-056512 2018-03-23
PCT/JP2019/005044 WO2019181284A1 (ja) 2018-03-23 2019-02-13 情報処理装置、移動装置、および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN112119282A true CN112119282A (zh) 2020-12-22

Family

ID=67987711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980019774.XA Pending CN112119282A (zh) 2018-03-23 2019-02-13 信息处理装置、移动装置、方法和程序

Country Status (6)

Country Link
US (1) US20210097707A1 (zh)
EP (1) EP3770549B1 (zh)
JP (1) JPWO2019181284A1 (zh)
KR (1) KR20200131832A (zh)
CN (1) CN112119282A (zh)
WO (1) WO2019181284A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114440821A (zh) * 2022-02-08 2022-05-06 三一智矿科技有限公司 基于单目相机的测距方法及装置、介质、设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7204612B2 (ja) * 2019-08-06 2023-01-16 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
JPWO2021075090A1 (zh) * 2019-10-17 2021-04-22
US11910092B2 (en) * 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system
CN112465947B (zh) * 2020-11-18 2024-04-23 李刚 影像的虚拟空间建立方法及系统
US20220207769A1 (en) * 2020-12-28 2022-06-30 Shenzhen GOODIX Technology Co., Ltd. Dual distanced sensing method for passive range finding
JP7187590B2 (ja) * 2021-01-27 2022-12-12 キヤノン株式会社 光学系、撮像装置、車載システムおよび移動装置
JP2023131720A (ja) * 2022-03-09 2023-09-22 キヤノン株式会社 電子機器、移動体、距離算出方法、及びコンピュータプログラム
CN116402871A (zh) * 2023-03-28 2023-07-07 苏州大学 一种基于场景平行要素的单目测距方法、系统及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935197A (ja) * 1995-07-14 1997-02-07 Aisin Seiki Co Ltd 車輌認識方法
JPH10255071A (ja) * 1997-03-10 1998-09-25 Iwane Kenkyusho:Kk 画像処理システム
JP2007240422A (ja) * 2006-03-10 2007-09-20 Fujitsu Ten Ltd 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置
JP2013114585A (ja) * 2011-11-30 2013-06-10 C Micro:Kk 衝突検出装置
CN104081763A (zh) * 2012-01-17 2014-10-01 日本先锋公司 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
JP2016009331A (ja) * 2014-06-24 2016-01-18 本田技研工業株式会社 車両周辺監視装置
CN105405319A (zh) * 2014-09-05 2016-03-16 丰田自动车株式会社 车辆的接近物体检测装置以及车辆的接近物体检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5156307B2 (ja) 2007-09-14 2013-03-06 株式会社日立製作所 車載カメラシステム
JP6798133B2 (ja) * 2016-04-13 2020-12-09 日産自動車株式会社 運転支援方法及び運転支援装置
WO2018230021A1 (ja) * 2017-06-16 2018-12-20 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935197A (ja) * 1995-07-14 1997-02-07 Aisin Seiki Co Ltd 車輌認識方法
JPH10255071A (ja) * 1997-03-10 1998-09-25 Iwane Kenkyusho:Kk 画像処理システム
JP2007240422A (ja) * 2006-03-10 2007-09-20 Fujitsu Ten Ltd 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置
JP2013114585A (ja) * 2011-11-30 2013-06-10 C Micro:Kk 衝突検出装置
CN104081763A (zh) * 2012-01-17 2014-10-01 日本先锋公司 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质
JP2016009331A (ja) * 2014-06-24 2016-01-18 本田技研工業株式会社 車両周辺監視装置
CN105405319A (zh) * 2014-09-05 2016-03-16 丰田自动车株式会社 车辆的接近物体检测装置以及车辆的接近物体检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114440821A (zh) * 2022-02-08 2022-05-06 三一智矿科技有限公司 基于单目相机的测距方法及装置、介质、设备
CN114440821B (zh) * 2022-02-08 2023-12-12 三一智矿科技有限公司 基于单目相机的测距方法及装置、介质、设备

Also Published As

Publication number Publication date
KR20200131832A (ko) 2020-11-24
WO2019181284A1 (ja) 2019-09-26
EP3770549A1 (en) 2021-01-27
EP3770549A4 (en) 2021-05-19
US20210097707A1 (en) 2021-04-01
EP3770549B1 (en) 2022-09-21
JPWO2019181284A1 (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
EP3770549B1 (en) Information processing device, movement device, method, and program
WO2019111702A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200241549A1 (en) Information processing apparatus, moving apparatus, and method, and program
US11501461B2 (en) Controller, control method, and program
US11100675B2 (en) Information processing apparatus, information processing method, program, and moving body
US11341615B2 (en) Image processing apparatus, image processing method, and moving body to remove noise in a distance image
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP7374098B2 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
CN113692521A (zh) 信息处理装置、信息处理方法和信息处理程序
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20200191975A1 (en) Information processing apparatus, self-position estimation method, and program
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
US11366237B2 (en) Mobile object, positioning system, positioning program, and positioning method
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20210295563A1 (en) Image processing apparatus, image processing method, and program
US20240142607A1 (en) Information processing device, information processing method, computer program, and mobile device
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP2024003806A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201222

WD01 Invention patent application deemed withdrawn after publication