CN109313018B - 成像控制装置和方法、以及车辆 - Google Patents

成像控制装置和方法、以及车辆 Download PDF

Info

Publication number
CN109313018B
CN109313018B CN201780033997.2A CN201780033997A CN109313018B CN 109313018 B CN109313018 B CN 109313018B CN 201780033997 A CN201780033997 A CN 201780033997A CN 109313018 B CN109313018 B CN 109313018B
Authority
CN
China
Prior art keywords
distance
unit
vehicle
detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780033997.2A
Other languages
English (en)
Other versions
CN109313018A (zh
Inventor
纲岛宣浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109313018A publication Critical patent/CN109313018A/zh
Application granted granted Critical
Publication of CN109313018B publication Critical patent/CN109313018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/14—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明技术涉及实现距离测量精度的改善的一种成像控制装置和方法，以及一种车辆。通过检测单元检测处于检测范围中的观测点的距离。通过校正单元基于处于与多个检测单元相对应的多个检测范围中的观测点的重叠校正观测点的检测距离。例如，检测到在车辆的侧表面的检测范围中检测到的观测点与在车辆的前方的检测范围中检测到的观测点之间的重叠，并且基于观测点的所检测的重叠校正检测距离。本发明技术可应用于车辆的驾驶辅助。

Description

成像控制装置和方法、以及车辆
技术领域
本发明技术涉及一种成像控制装置和方法、以及一种车辆，并且具体地涉及改善距离测量精度的一种成像控制装置和方法、以及一种车辆。
背景技术
存在这样的情况：相机附接至诸如汽车的车辆或对象，并且通过计算机对通过该相机获得的照片进行视觉监测或处理以自动监测视频。这是为了通过掌握车辆周围的情况来防止诸如事故的损坏和执行自动驾驶。然而，由于利用一个相机仅可捕捉车辆外周的一部分，因此已经提出了附接多个相机并监测车辆的整个外周(例如，专利文档1)。
此外，已经提出了通过将多个立体相机的监测区域叠加来校准立体相机系统的技术(专利文档2)。
引用列表
专利文档
专利文档1：未审查的日本专利申请2007-195061
专利文档2：未审查的日本专利申请2014-215039
发明内容
在专利文档1的提议中，在车辆的四个方向上安装相机以监测整个外周，并且在相应相机的视野重叠的区域中，使用立体相机的原理测量距离。然而，根据专利文档1的提议，不可测量没有视野重叠的区域中的距离。
在专利文档2的提议中，通过校准保持立体相机系统的测量精度。然而，距离测量精度本身不能得到改善。
本发明技术鉴于这种情况作出，并且能够实现距离测量精度的改善。
问题的解决方案
本发明技术的一个方面是一种成像控制装置，其包括：检测单元，其被配置成检测处于检测范围中的观测点的距离；以及校正单元，其被配置成基于与多个检测单元相对应的多个检测范围中的观测点的重叠来校正观测点的检测距离。
校正单元可以将观测点的检测距离的误差范围的重叠检测为观测点的重叠。
可以基于构成立体相机系统的至少一组相机所捕捉的图像检测该距离。
多个检测单元可以是相互之间定向于不同方向的多个立体相机系统。
校正单元可以基于车辆周围四个方向中的两个检测范围中的观测点的重叠执行校正。
在检测到误差范围的多个重叠的情况下，校正单元可以基于车辆附近的重叠或靠近观测点的重叠来校正观测点的检测距离。
至少一组相机可以布置在竖直方向上并且具有定向于斜下方的至少一个光轴。
构成立体相机系统的至少一组相机也可以包括在内。
观测点可以是通过测量车辆周围的目标对象获得的点。
被配置成基于通过安装在车辆上的至少一个相机成像的图像识别目标对象的识别处理单元也可以包括在内。
包括超声波传感器、红外线传感器、毫米波传感器、或雷达中的至少一个的另一个检测单元也可以包括在内，并且校正单元也可以使用另一个检测单元的检测结果执行校正。
本发明技术的一个方面是一种成像控制方法，其包括：检测处于检测范围中的观测点的距离的检测步骤；以及基于多个检测范围中的观测点的重叠来校正观测点的检测距离的校正步骤。
本发明技术的一个方面是一种车辆，其包括：配置立体相机系统的相机，其捕捉检测范围以用于检测距观测点的距离；检测单元，其被配置成检测处于检测范围中的观测点的距离；以及校正单元，其被配置成基于与多个检测单元相对应的多个检测范围中的观测点的重叠来校正观测点的检测距离。
在本发明技术的一个方面，通过检测单元检测处于检测范围中的观测点的距离，并且通过校正单元基于与多个检测单元相对应的多个检测范围中的观测点的重叠来校正观测点的检测距离。
本发明的有益效果如下：
如上所述，根据本发明技术的一个方面，距离测量精度可以得到改善。
应注意，本说明书中所述的效果仅为实例且并非限制性的，并且可以表现出另外的效果。
附图说明
图1为示出根据本发明技术的第一实施例的成像控制系统的配置的图。
图2为示出根据本发明技术的第一实施例的立体相机系统的坐标系的图。
图3为用于描述根据本发明技术的第一实施例的其中距离测量精度低的范围的图。
图4为示出根据本发明技术的第一实施例的成像控制系统的配置的框图。图5为示出根据本发明技术的第一实施例的立体距离测量单元的配置的框图。
图6为示出根据本发明技术的第一实施例的距离精度改善单元的配置的框图。
图7为用于描述根据本发明技术的第一实施例的距离测量处理的流程图。
图8为用于描述根据本发明技术的第一实施例的精度改善处理的流程图。
图9为用于描述根据本发明技术的第一实施例的精度改善处理的图。
图10为用于描述根据本发明技术的第一实施例的精度改善处理的图。
图11为用于描述根据本发明技术的第一实施例的精度改善处理的图。
图12为用于描述根据本发明技术的第一实施例的精度改善处理的图。
图13为用于描述根据本发明技术的第一实施例的精度改善处理的图。
图14为用于描述根据本发明技术的第一实施例的集成处理的流程图。
图15为示出根据本发明技术的第一实施例的距离精度改善单元的配置的框图。
图16为示出根据本发明技术的第一实施例的成像控制系统的配置的框图。
图17为示出根据本发明技术的第二实施例的成像控制系统的配置的图。
图18为示出根据本发明技术的第二实施例的成像控制系统的配置的图。
图19为示出根据本发明技术的第二实施例的立体相机系统的坐标系的图。
图20为示出根据本发明技术的第二实施例的距离精度特征的图。
图21为示出根据本发明技术的第二实施例的距离精度特征的图。
图22为示出根据本发明技术的第二实施例的成像控制系统的配置的图。
图23为示出根据本发明技术的第二实施例的成像控制系统的配置的框图。
图24为用于描述根据本发明技术的第二实施例的距离测量处理的流程图。
图25为示出根据本发明技术的第二实施例的成像控制系统的配置的图。
图26为示出根据本发明技术的第二实施例的成像控制系统的配置的框图。
图27为示出根据本发明技术的第二实施例的成像控制系统的配置的框图。
图28为用于描述根据本发明技术的第二实施例的集成处理的流程图。
图29为用于描述视点转换处理的图。
图30为用于描述视点转换处理的图。
图31为示出根据本发明技术的第二实施例的成像控制系统的配置的框图。
图32为用于描述根据本发明技术的第二实施例的距离测量处理的流程图。
图33为用于描述当前帧的图像的图。
图34为用于描述过去帧的图像的图。
图35为示出单目相机与坐标轴之间关系的图。
图36为示出相机与成像表面之间关系的图。
图37为用于描述来自图像中心的光流的图。
图38为示出根据本发明技术的第二实施例的立体相机系统的相机的布置的图。
图39为示出根据本发明技术的第二实施例的立体相机系统的相机的布置的图。
图40为示出根据本发明技术的第二实施例的立体相机系统的相机的布置的图。
图41为示出车辆控制系统的示意性配置的实例的框图。
图42为示出车辆外部信息检测单元和成像单元的安装位置的实例的说明图。
具体实施方式
在下文将描述用于执行本发明技术的模式。应注意，将按照以下顺序给出描述。
1.第一实施例：成像控制系统(图1至14)
(1)成像控制系统(图1至3)
(2)成像控制装置的配置(图4至6)
(3)距离测量单元的操作(图7)
(4)距离精度改善单元的操作(图8至13)
(5)误差
(6)集成处理(图14)
(7)修改(图15和16)
2.第二实施例：成像控制系统(图17至40)
(1)相机的布置(图17至22)
(2)成像控制系统的配置实例1(图23和24)
(3)成像控制系统的配置实例2(图25和26)
(4)成像控制系统的配置实例3(图27至30)
(5)成像控制系统的配置实例4(图31至37)
(6)修改(图38至40)
3.应用实例(图41和42)
4.其他
<第一实施例>
(1)成像控制系统(图1至3)
图1为示出根据本发明技术的第一实施例的成像控制系统的配置的图。在本发明技术的成像控制系统1中，如图1所示，在车辆11的四个方向上附接四组立体相机系统21A至21D。立体相机系统附接至车辆11的侧表面上的后视镜(侧镜)12和13并且附接至前表面和后表面上的保险杠。除后视镜12或13之外，当附接至侧表面时，立体相机系统可附接至立柱(前立柱、中立柱、后立柱等)、门、车顶纵梁等。
立体相机系统21A安装在车辆11的左侧并且测量距车辆11左侧的检测范围22A中的目标对象的距离。立体相机系统21B安装在车辆11的右侧并且测量距车辆11右侧的检测范围22B中的目标对象的距离。立体相机系统21C安装在车辆11的前部并且测量距车辆11前部的检测范围22C中的目标对象的距离。立体相机系统21D安装在车辆11的后部并且测量距车辆11后方的检测范围22D中的目标对象的距离。
立体相机系统21A至21D的相机(图2中的相机41和42，如下文所述)使用具有宽视角的镜头执行用于距离测量的捕捉。图1示出其中视角为180度，作为检测范围22A至22D的情况的实例(应注意，为了实际固定180度的视角，具有比180度更宽的视角(例如，190度)的镜头是必需的)。此外，图1中的检测范围22A至22D以角方向指示检测范围，并且距离方向的尺寸，即半圆直径的尺寸实际上更大。这也类似地应用于图3，如下文所述。
应注意，准确地说，检测范围22A至22D是如下文所述的图2中的相机41和42的成像范围重叠的区域，但为便利起见，检测范围22A至22D通过具有一个半径的半圆示出。
应注意，在不必须单独区分立体相机系统21A至21D的情况下，立体相机系统21A至21D在下文描述为立体相机系统21。具有类似的其他配置元件的四组立体相机系统21监测车辆11的整个外周。一组立体相机系统21由两个或更多个相机配置。
图2为示出根据本发明技术的第一实施例的立体相机系统的坐标系的图。立体相机系统21的坐标系如图2所示进行定义。
由两个相机41和42配置的立体相机系统21的一个相机41的中心点为Oa，另一个相机42的中心点为Ob，中心点Oa与中心点Ob之间的中点(即，立体相机系统21的中心点)为O。待捕捉的目标点为P，并且中心点Oa与中心点Ob之间的距离(基线长度)为L。在由连接目标点P和中心点O的直线46和经过中心点Oa和中心点Ob的直线45形成的角之间，图2中左侧的角(由直线46和直线45上中心点O左侧的线段形成的角)定义为θ。也就是说，角θ是由待捕捉的目标点P和立体相机系统21形成的角。应注意，目标点代表待捕捉的目标对象，即待监测的对象，并且将例如，车辆11周围的人、障碍物、另一车辆等示意性地表示为点。
在由连接目标点P和中心点Oa的直线47和直线45形成的角之间，图2中左侧的角(由直线47和直线45上中心点Oa的图2中左侧的线段形成的角)定义为θa。在由连接目标点P和中心点Ob的直线48和直线45形成的角之间，图2中左侧的角(由直线48和直线45上中心点Ob的图2中左侧的线段形成的角)定义为θb。由直线47和直线48形成的角为α。此外，中心点O与目标点P之间的距离为ρ，目标点P与中心点Oa之间的距离为ρa，并且目标点P与中心点Ob之间的距离为ρb。此时，由正弦定理获得以下方程(1)。
ρa/sinθb＝L/sinα＝L/sin(θa-θb)...(1)
应注意，α＝θa-θb。
此外，中心点O与目标点P之间的距离ρ可写成以下方程(2)。
ρ·sinθ＝ρa·sin(π-θa)＝ρa·sinθa...(2)
由方程(1)和(2)获得方程(3)。
sin(θa-θb)＝L/ρ·sinθa·sinθb/sinθ...(3)
一般而言，中心点Oa与中心点Ob之间的距离(基线长度)L为约几至几十厘米，而从中心点O至目标点P的距离ρ为例如约几米，其足够大，并且在这种情况下，建立θ≈θa且θ≈θb。此外，通常建立θb＜θ＜θa。由这些条件，建立以下近似方程(4)。
sinθa·sinθb≈sin2θ...(4)
由方程(3)和(4)获得以下方程(5)。
sin(θa-θb)≈L/ρ·sinθ...(5)
由于角θa和θb是两个相机41和42的物光的角，角之间的差θa-θb为入射光的角度差。在立体图像处理中，由θa-θb计算距目标对象的距离。由于基线长度L是恒定的，根据方程(5)发现差θa-θb与距目标对象的距离ρ成反比。因此，距离测量精度随着目标对象与立体相机系统21之间距离的增加而减小。
在安装在车辆11上的立体相机系统21中执行距离测量的主要原因之一是检测车辆11附近的障碍物以及防止车辆11与障碍物之间的接触。因此，当车辆11与障碍物之间的距离短时，距离测量精度增大是合理的。
然而，存在距离测量精度低的位置，尽管这些位置接近车辆11。具体地讲，如图3所示，车辆11的四个拐角附近的距离测量精度低。图3为用于描述根据本发明技术的第一实施例的其中距离测量精度低的范围的图。
如图3所示，立体相机系统21A的检测范围22A和立体相机系统21C的检测范围22C重叠的区域61AC远离立体相机系统21A和立体相机系统21C两者。立体相机系统21B的检测范围22B和立体相机系统21C的检测范围22C重叠的区域61BC远离立体相机系统21B和立体相机系统21C两者。
类似地，立体相机系统21B的检测范围22B和立体相机系统21D的检测范围22D重叠的区域61BD远离立体相机系统21B和立体相机系统21D两者。立体相机系统21A的检测范围22A和立体相机系统21D的检测范围22D重叠的区域61AD远离立体相机系统21A和立体相机系统21D两者。
因此，尽管相对接近车辆11，这些区域61AC、61BC、61BD和61AD中的距离测量精度低。两个立体相机系统21的监测区域在四个拐角处的区域61AC、61BC、61BD和61AD中重叠。因此，在本发明技术中，由两个立体相机系统21的距离测量结果改善测量精度。
(2)成像控制装置的配置(图4至6)
图4为示出根据本发明技术的第一实施例的成像控制系统1的配置的框图。成像控制系统1由相机系统20和成像控制单元81配置。
相机系统20包括立体相机系统21A至21D。立体相机系统21A包括成像单元101A和成像单元102A。成像单元101A包括相机41A，并且成像单元102A包括相机42A。
类似地，立体相机系统21B包括成像单元101B和成像单元102B，并且成像单元101B包括相机41B且成像单元102B包括相机42B。立体相机系统21C包括成像单元101C和成像单元102C，并且成像单元101C包括相机41C且成像单元102C包括相机42C。立体相机系统21D包括成像单元101D和成像单元102D，并且成像单元101D包括相机41D且成像单元102D包括相机42D。
成像单元101A和102A捕捉的图像被提供至立体距离测量单元91A，并且成像单元101B和102B捕捉的图像被提供至立体距离测量单元91B。成像单元101C和102C捕捉的图像被提供至立体距离测量单元91C，并且成像单元101D和102D捕捉的图像被提供至立体距离测量单元91D。
成像控制单元81由立体距离测量单元91A至91D、距离精度改善单元92AC、距离精度改善单元92BC、距离精度改善单元92AD、以及距离精度改善单元92BD配置。此外，成像控制单元81包括集成单元93。
立体距离测量单元91A测量车辆11左侧的检测范围22A中的距离。立体距离测量单元91B测量车辆11右侧的检测范围22B中的距离。立体距离测量单元91C测量车辆11前方的检测范围22C中的距离。立体距离测量单元91D测量车辆11后方的检测范围22D中的距离。
距离精度改善单元92从测量对应的重叠区域61中的距离的立体距离测量单元91中获取测量结果，并且改善距离精度。换句话说，距离精度改善单元92AC获取测量检测范围22A中的距离的立体距离测量单元91A和测量检测范围22C中的距离的立体距离测量单元91C的测量结果，并且改善距离精度。距离精度改善单元92BC获取测量检测范围22B中的距离的立体距离测量单元91B和测量检测范围22C中的距离的立体距离测量单元91C的测量结果，并且改善距离精度。
类似地，距离精度改善单元92AD获取测量检测范围22A中的距离的立体距离测量单元91A和测量检测范围22D中的距离的立体距离测量单元91D的测量结果，并且改善距离精度。距离精度改善单元92BD获取测量检测范围22B中的距离的立体距离测量单元91B和测量检测范围22D中的距离的立体距离测量单元91D的测量结果，并且改善距离精度。
集成单元93获取并集成距离精度改善单元92AC、距离精度改善单元92BC、距离精度改善单元92AD、以及距离精度改善单元92BD的输出，掌握车辆11的整个外周的状态，并且输出该状态。
图5为示出根据本发明技术的第一实施例的立体距离测量单元的配置的框图。立体距离测量单元91如图5所示进行配置。
立体距离测量单元91包括图像校正单元111和112以及立体图像处理单元113。立体相机系统21的成像单元101(包括相机41)和成像单元102(包括相机42)的输出被分别提供至图像校正单元111和图像校正单元112，并且作为预处理对镜头的像差等进行校正。也就是说，由于相机41和42具有广角镜头并且是能够用比普通相机更宽的视角执行捕捉的相机，因此所捕捉的图像是失真的。执行校正失真并且将图像投影到平面上以获得平面图像的处理以用于距离校准。立体图像处理单元113由图像校正单元111和图像校正单元112的输出检测距目标对象的距离。也就是说，在相机41和42的一个图像中出现的对象从另一个图像中检测到，并且由位置之间的偏差计算距离。
应注意，广角相机是包括35mm或更小镜头、具体地28mm或更小镜头的相机(35-mm转换)。另选地，广角相机是能够利用60度或更大、具体地120度或更大、或150度或更大的视角执行捕捉的相机。视角可为180度或更大。具体地讲，具有宽视角的广角镜头或相机有时被称为鱼眼镜头(fθ镜头)或鱼眼相机，或超广角镜头或超广角相机。
图4中的距离精度改善单元92如图6所示进行配置。图6为示出根据本发明技术的第一实施例的距离精度改善单元的配置的框图。如图6所示，距离精度改善单元92包括获取单元141和142、交点检测单元143、距离校正单元144、以及输出单元145。
获取单元141和142从对应的立体距离测量单元91中获取测量信息。例如，就距离精度改善单元92AC而言，获取单元141获取立体距离测量单元91A的测量信息，并且获取单元142获取立体距离测量单元91C的测量信息。交点检测单元143由通过获取单元141和142获取的测量信息检测交点。换句话讲，检测观测点的重叠。距离校正单元144计算交点检测单元143检测到的交点的距离。换句话讲，校正通过立体距离测量单元91测量的距离。输出单元145将通过距离校正单元144计算的结果输出至集成单元93。
(3)距离测量单元的操作(图7)
接下来，将参考图7描述立体距离测量单元91的操作。图7为用于描述根据本发明技术的第一实施例的距离测量处理的流程图。
在步骤S11中，图5中的成像单元101(包括相机41)和成像单元102(包括相机42)捕捉观测点。在步骤S12中，图像校正单元111校正通过成像单元101成像的图像的镜头像差、相机图像失真等。类似地，图像校正单元112校正通过成像单元102成像的图像的镜头像差、相机图像失真等。换句话讲，对图像的失真进行校正并且将图像投影在虚拟平面上以获得平面图像用于距离计算。
在步骤S13中，立体图像处理单元113计算距观测点的距离。换句话讲，成像单元101的相机41和成像单元102的相机42被布置在相隔距离L的位置处。因此，相机41捕捉的图像和相机42捕捉的图像具有相差，并且可以基于相差计算距观测点的距离。也就是说，与在相机41和42的一个图像中出现的对象相对应的对象从另一个图像中检测到，并且由两个图像中对象位置之间的偏差计算距离。作为计算的结果获得的测量信息输出至对应的距离精度改善单元92。
在步骤S14中，立体图像处理单元113确定是否终止处理。在用户尚未给出处理终止的指令的情况下，处理返回步骤S11并且重复步骤S11和后续步骤中的处理。在已经给出处理终止的指令的情况下，处理终止。
以上处理分别由立体距离测量单元91A至91D在检测范围22A至22D中执行。作为在检测范围22A至22D的测量的结果获得的测量信息输出至对应的距离精度改善单元92A至92D。
换句话说，测量了检测范围22A中的距离的立体距离测量单元91A和测量了检测范围22C中的距离的立体距离测量单元91C的测量信息被提供至距离精度改善单元92AC。测量了检测范围22B中的距离的立体距离测量单元91B和测量了检测范围22C中的距离的立体距离测量单元91C的测量信息被提供至距离精度改善单元92BC。
类似地，测量了检测范围22A中的距离的立体距离测量单元91A和测量了检测范围22D中的距离的立体距离测量单元91D的测量信息被提供至距离精度改善单元92AD。测量了检测范围22B中的距离的立体距离测量单元91B和测量了检测范围22D中的距离的立体距离测量单元91D的测量信息被提供至距离精度改善单元92BD。
应注意，在校正处理中图像被投影在其上的虚拟平面可以是一个平面。然而，也可以制备多个虚拟平面(例如，三个)，将利用广角镜头捕捉的图像分成三份，并且将被分成1/3的图像投影到相应的虚拟平面上。
(4)距离精度改善单元的操作(图8至13)
接下来，将参考图8描述距离精度改善单元92的操作。图8为用于描述根据本发明技术的第一实施例的精度改善处理的流程图。
在步骤S51中，图6中的获取单元141和142从对应的立体距离测量单元91的立体图像处理单元113中获取测量信息。例如，就距离精度改善单元92AC而言，获取单元141从立体距离测量单元91A的立体图像处理单元113A中获取测量信息，并且获取单元142从立体距离测量单元91C的立体图像处理单元113C中获取测量信息。
在步骤S52中，交点检测单元143确定观测点是否是处于重叠范围中的观测点。换句话讲，确定包括在通过获取单元141和142在步骤S51中获取的测量信息中的观测点的坐标是否为区域61中的坐标。例如，就距离精度改善单元92AC而言，输入检测范围22A中的观测点的坐标和检测范围22C中的观测点的坐标，并且因此确定所输入的坐标是否为包括在范围61AC(检测范围22A和22C在其中重叠)中的坐标。
在观测到重叠范围中的观测点的情况下，交点检测单元143在步骤S53中确定是否存在交点。此处，将参考图9描述交点。
图9为用于描述根据本发明技术的第一实施例的精度改善处理的图。应注意，图9示意性地示出车辆11。这还类似地应用于如下文所述的图10至13。
如图9所示，假设在视线方向201A1上从通过获取单元141获取的立体相机系统21A的图像中观测到观测点PA1。此观测点PA1的坐标具有距离测量误差DA1。换句话讲，在对象处于预先确定的视线上(即，图2中待捕捉的目标点P)并且作为观测点观测到对象的情况下，待捕捉的实际目标点的位置在一定程度上处于误差范围内。通过观测作为待监测的目标对象(诸如车辆11周围的人、障碍物或另一车辆)的预先确定的对象获得的与目标对象相对应的点为观测点。换句话讲，通过观测系统获得的目标对象的图像，即基于观测信息(例如，所观测方向上的测量距离)的点为观测点。因此，由于观测点PA1的坐标包括误差，实际上，观测点PA1可以被认为位于误差DA1的范围内，所述范围为从观测点PA1前面的坐标DA1F至观测点PA1后面的坐标DA1E的范围。在图9中，误差DA1通过粗线示出。应注意，下文将描述误差的细节。
类似地，假设在视线方向201C1上从通过获取单元142获取的立体相机系统21C的图像中观测到观测点PC1。此观测点PC1的坐标具有距离测量误差DC1。也就是说，由于观测点PC1的坐标包括误差，观测点PC1可以被认为实际上位于误差DC1的范围内，所述范围为从观测点PC1前面的坐标DC1F至观测点PC1后面的坐标DC1E的范围。
如上所述，误差DA1和误差DC1分别具有预先确定的范围(宽度)。例如，在观测点P----A1和观测点PC1为基本上相同的观测点的情况下，观测点P----A1和观测点PC1的交点P1可被认为是实际观测点。在步骤S53中，确定是否存在这样的交点P1。也就是说，所测量的观测点的距离(即，位置)具有宽度(即，预先确定的范围)，并且检测到具有该宽度的观测点的重叠。换句话讲，所测量的观测点的距离的误差范围的重叠被检测为观测点的重叠。
因此，在步骤S53中确定存在交点的情况下，在步骤S54中，距离校正单元144校正在步骤S51中获取的距离。具体地讲，在步骤S51中获取的距离被校正成在步骤S53中检测到的交点的距离。换句话讲，在图9的实例中，交点P1的坐标是新计算的。
在步骤S55中，交点检测单元143确定是否存在多个交点。此状态将参考图10进行描述。图10为用于描述根据本发明技术的第一实施例的精度改善处理的图。
在图10的实例中，在视线方向201A2上从通过获取单元141获取的立体相机系统21A的图像中观测到观测点PA2。此观测点PA2的坐标具有距离测量误差DA2。此外，在视线方向201C2的方向上从通过获取单元142获取的立体相机系统21C的图像中观测到观测点PC2。此观测点PC2的坐标具有距离测量误差DC2。此外，在视线方向201C3上从通过获取单元142获取的立体相机系统21C的图像中观测到观测点PC3。此观测点PC3的坐标具有距离测量误差DC3。
误差DA2和误差DC2具有交点P2，并且误差DA2和误差DC3具有交点P3。也就是说，在此实例的情况下，除了交点P2之外还检测到交点P3，并且存在多个交点。
在步骤S55中确定存在多个交点的情况下，在步骤S56中，距离校正单元144选择交点。在图10的实例中，基于预先确定的准则选择交点P2或交点P3中的任一个。例如，可以选择接近车辆11的交点或接近观测点的交点。在图10的实例的情况下，不管采用什么准则均选择交点P2。独立计算单元144将所选交点的距离设定为检测距离。在图10的实例中，代替通过立体距离测量单元91A测量的观测点PA2的距离，将交点P2的距离设定为检测距离。
在步骤S55中确定不存在多个交点的情况下，在步骤S58中，距离校正单元144将交点的距离设定为检测距离。换句话讲，在步骤D54中计算的交点的距离原样用作检测距离。在图9的实例的情况下，由于仅存在一个交点，因此处理从步骤S55前进至步骤S58，其中代替观测点PA1，将交点P1的距离设定为检测距离。
在步骤S53中确定没有交点的情况下，在步骤S61中，距离校正单元144将距观测点的距离设定为检测距离。此状态将参考图11进行描述。图11为用于描述根据本发明技术的第一实施例的精度改善处理的图。
在图11的实例中，在视线方向201A3上从通过获取单元141获取的立体相机系统21A的图像中观测到观测点PA3。此观测点PA3的坐标具有距离测量误差DA3。在视线方向201C4上从通过获取单元142获取的立体相机系统21C的图像中观测到观测点PC4。此观测点PC4的坐标具有距离测量误差DC4。视线方向201A3和视线方向201C4相交，但误差DA3和误差DC4不相交。
图11的实例为这样的实例：其中在重叠范围中观测到观测点PA3和观测点PC4(在步骤S52中确定为“是”)，但不存在交点(在步骤S53中确定为“否”)。在这种情况下，在步骤S61中，距离校正单元144将距观测点的距离设定为检测距离。换句话讲，观测点PA3与观测点PC4之间的距离原样用作检测距离。也就是说，在这种情况下，观测到不同的观测点(目标对象)。
图12为用于描述根据本发明技术的第一实施例的精度改善处理的图。在图12的实例中，在视线方向201A4上从通过获取单元141获取的立体相机系统21A的图像中观测到观测点PA4。此观测点PA4的坐标具有距离测量误差DA4。此外，获取单元142未从立体相机系统21C的图像中检测到观测点。该实例也是这样的实例：其中在重叠范围中观测到观测点PA4(在步骤S52中确定为“是”)，但不存在交点(在步骤S53中确定为“否”)。因此，即使在这种情况下，在步骤S61中，距离校正单元144将距观测点的距离设定为检测距离。换句话讲，观测点PA4的距离原样用作检测距离。
应注意，在观测点和误差中不存在交点且观测点本身的坐标匹配的情况下，也就是说，在立体相机系统21A和21C检测到相同坐标的观测点的情况下，在步骤S53中确定不存在交点。接着，在步骤S61中，距观测点的距离原样用作检测距离。
应注意，在重叠范围中观测到观测点(在步骤S52中为“是”)但不存在交点(在步骤S53中确定“否”)的情况下，也就是说，在图12的实例的情况下，该情况可以如图8中通过虚线所示的那样进行处理。
换句话讲，在步骤S53中确定不存在交点的情况下，交点检测单元143在步骤S60中确定附近是否存在另一个观测点。在附近存在另一个观测点的情况下，在步骤S61中，距离校正单元144将距观测点的距离设定为检测距离。
在步骤S60中确定附近不存在其他观测点的情况下，在步骤S62中，距离校正单元144执行误差处理。换句话讲，在此处理中，假设观测点PA4被立体相机系统21C检测到，但是在图12所示的情况中检测不到观测点PA4。因此，观测点PA4的检测被确定为误差并且被删除。
在步骤S52中确定观测点不位于重叠范围中的情况下，在步骤S61中，距离校正单元144将距观测点的距离设定为检测距离。换句话讲，观测点的距离原样用作检测距离。此实例将参考图13进行描述。
图13为用于描述根据本发明技术的第一实施例的精度改善处理的图。在图13的实例中，在视线方向201A5上从通过获取单元141获取的立体相机系统21A的图像中观测到观测点PA5。此观测点PA5的坐标具有距离测量误差DA5。在检测范围22A中观测到观测点PA5，但是检测范围22A不是区域61AC。此外，在检测范围22C中没有检测到观测点。在这种状态中，观测点PA5的距离原样用作检测距离。也就是说，检测范围22中不位于区域61内的观测点的距离原样用作检测距离。
在步骤S56、S58或S61中的处理之后，在步骤S57中，输出单元145将所获得的测量信息输出至集成单元93。换句话讲，将在步骤S56中选择的交点的测量信息、在步骤S58中获得的交点的测量信息、或在步骤S61中获得的距观测点的距离的测量信息提供至集成单元93。
在步骤S57或S62中的处理之后，距离校正单元144在步骤S59中确定是否终止处理。在用户尚未给出处理终止的指令的情况下，处理返回步骤S51并且重复类似的处理。在已经给出终止指令的情况下，处理终止。
以上处理在距离精度改善单元92AC、距离精度改善单元92BC、距离精度改善单元92AD、以及距离精度改善单元92BD中的每一个中执行。
(5)误差
接下来，将进一步描述立体相机系统21的误差。当将以上方程(5)转化成用于计算从立体相机系统21至待捕捉的目标点P的距离ρ的方程时，获得方程(6)。
ρ≈L·sinθ/sin(θa-θb)＝L·sinθ/sinα...(6)
应注意，α＝θa-θb。
此外，当α足够小时，可以近似为sinα≈α。因此方程(6)可进一步转化成以下方程(7)。
ρ≈L·(sinθ)/α...(7)
由于在立体相机系统21中观测到的角为角θa和θb，距离ρ的误差可以由角α(＝θa-θb)的倒数比计算，其中距离L和角θ是恒定的。一般来讲，由于由立体相机系统21获得的角θa和θb是离散的值，因此角α也是离散的。
此处，当α表示为α＝d/E时，方程(7)可通过以下方程(8)表示。d为整数且根据α变化，并且E为由相机的分辨率等确定的实数的定值。尽管α的值范围为0＜α＜π(3.14)，通过除以足够大的定值E，d可大于3.14。
ρ≈L·E·(sinθ)/d...(8)
假设d的误差为±1。在那种情况下，当d的误差为-1时距离ρ的误差Δρm和当d的误差为+1时距离ρ的误差Δρp如下。
Δρm＝L·E·(sinθ)/(d-1)-L·E·(sinθ)/d
＝L·E·(sinθ)/(d·(d-1))＝ρ/(d-1)
(应注意，d＞1)(9)
Δρp＝L·E·(sinθ)/d-L·E·(sinθ)/(d+1)
＝L·E·(sinθ)/(d·(d+1))＝ρ/(d+1)...(10)
在d＝2的情况下，距离ρ的误差Δ变成最大值。在这种情况下，由方程(9)得到Δρm＝ρ，并且由方程(10)得到Δρp＝ρ/3。相对于距待捕捉的目标点P的距离ρ而言，当d为-1时的误差，换句话讲，距离ρ变得更大(更长)的一侧的误差为100％。此外，相对于距待捕捉的目标点P的距离ρ而言，当d为+1时的误差，即距离ρ变得更小(更短)的一侧的误差为33％。这是最大误差并且正常误差较小。例如，在d＝10的情况下，误差Δρm为距离ρ的11％并且误差Δρp为距离ρ的9％。此外，这是d的误差为±1的情况，并且当d的误差变得更大时，距离ρ的误差变得更大。
如上所述，在系统设计中可以通过将d的值近似确定为±1、±2等来确定误差DA、DC等。例如，首先，用±1检查立体相机系统21，然后将值变成±2、±3等来调节误差。
(6)集成处理(图14)
接下来，将参考图14描述集成过程。图14为用于描述根据本发明技术的第一实施例的集成处理的流程图。
在步骤S91中，图4中的集成单元93执行集成处理。换句话讲，通过距离精度改善单元92AC、距离精度改善单元92BC、距离精度改善单元92AD、以及距离精度改善单元92BD测量的测量信息是车辆11外周，即左侧、右侧、前方和后方的测量信息。集成单元93将这些测量信息集成，并且使得监测器(未示出)显示作为车辆11的所有方向上的测量信息的集成信息，并使得存储单元存储集成信息。
集成单元93执行各种辅助。例如，集成单元93可以执行停车辅助诸如向后停车和平行停车，在交叉路口停车或右转或左转时提供障碍物识别信息诸如车辆斜后方的建筑物、自行车和行人，并且在变道时监测相邻车道的后车。
此外，可以使集成单元93虽然在正常行车中执行监测，但是不发出警报，并且当在等于或小于基本距离的距离处检测到障碍物时可以发出警报，或可以特别监测车辆行使方向的相反侧(例如，左转时的右侧或右转时的左侧)。相反地，可以省略不必要方向(例如，左转时的右侧和右转时的左侧)上的监测。此外，虽然在四个方向上的检测精度可以是相同的，但是可以使得一个方向(例如，侧表面)的检测精度高于其他方向(例如，前表面或后表面)。
在步骤S92中，集成单元93确定是否结束处理。在用户尚未给出处理终止的指令的情况下，处理返回步骤S91并且重复类似的处理。在已经给出终止指令的情况下，处理终止。
一般而言，为了使监测范围变宽，将具有宽视角的镜头附接至相机。具体地讲，在需要宽范围监测的情况下，诸如车辆的侧表面，通过使用超广角镜头诸如鱼眼镜头可以通过一个相机或一组立体相机系统监测车辆的整个侧表面。然而，在使用超广角镜头的情况下，捕捉图像的空间分辨率降低，因此转变成图像的对象的尺寸变小，并且在分析捕捉图像和执行图像识别等的情况下分析精度降低。立体图像处理的距离测量精度也降低。
然而，根据本发明技术，检测到多个观测点的重叠(其中测量范围重叠)，并且基于观测点的重叠计算新距离。因此，可以抑制距离测量精度的减小。
应注意，本发明技术还可应用于使用具有正常视角的相机测量距离的情况。
应注意，虽然立体相机系统21的相机41和42可以沿横向方向布置，但是相机41和42也可以被布置成上下移位(在竖直方向上)，如下文参考图17至22所描述的。此外，相机41和42可被布置成具有相对于平行于基本平面的方向定向向下的光轴。
此外，在以上描述中，通过立体相机系统21监测四个方向，但是四个方向中的至少一个可通过超声波、雷达、激光传感器、红外线传感器等进行监测。此外，除了通过立体相机系统21进行障碍物识别和监测之外，可以组合使用观察系统。
(7)修改(图15和16)
应注意，为了通过距离校正单元144校正距离，可以另外添加一个配置。图15为示出根据本发明技术的第一实施例的距离精度改善单元的配置的框图。
在图15的配置实例中，除了相机系统20之外，还提供了检测系统85。检测系统85包括检测单元149。与检测范围22A至22D中的每一个相对应地提供检测单元149。检测单元149由例如超声波传感器、红外线传感器、毫米波传感器、或雷达中的至少一个配置。作为另一个检测单元的检测单元149通过超声波传感器、红外线传感器、毫米波传感器、雷达等检测处于检测范围22A至22D中的每一个中的观测点的距离。检测结果被提供至对应的距离校正单元144。距离校正单元144不仅使用来自交点检测单元143的输出，而且还使用检测单元149的检测结果执行精度改善处理。利用该配置，可以实现更精确的精度改善处理。
此外，可以添加另一个功能。图16为示出根据本发明技术的第一实施例的成像控制系统的配置的框图。
在图16的配置实例中，立体相机系统21A的成像单元101A或102A中的至少一个(在此实施例中为成像单元101A)的捕捉图像被提供至识别处理单元83。类似地，立体相机系统21B的成像单元101B、立体相机系统21C的成像单元101C、以及立体相机系统21D的成像单元101D的捕捉图像被提供至识别处理单元83。识别处理单元83从所输入的捕捉图像中识别在检测范围22A至22D中的每一个中观测到的目标对象是什么。识别结果呈现给用户。
<第二实施例>
(1)相机的布置(图17至22)
接下来，将描述第二实施例。图17和18为示出根据本发明技术的第二实施例的成像控制系统的配置的图。
如图17和18所示，在根据第二实施例的成像控制系统501中，包括作为一组的两个相机541和542的立体相机系统521在上下方向(即，竖直方向)上提供于车辆511的侧表面上。也就是说，相机541和542被布置在垂直于基本平面(道路平面551)的平面上，以在高度方向上具有视差。应注意，相机541和542、立体相机系统521和车辆511分别对应于第一实施例的相机41和42、立体相机系统21和车辆11。尽管相机541和542的附接位置有利地为靠近车辆511的侧表面中心附近的位置，但是存在由于在中心附近存在门等而安装困难的一些情况。图17和18示出相机541和542附接至后视镜512和513附近的实例。
此外，将相机附接至后视镜512和513附近的另一个原因是附接被定向于斜向下的立体相机系统521，如图18所示。可以在不添加专用夹具或类似物的情况下将立体相机系统521斜向下地附接至后视镜512和513。应注意，广角相机在此处用于配置立体相机系统521的相机541和542。
应注意，在图17和18中，立体相机系统521仅安装在车辆511的左侧。然而，实际上，立体相机系统521也安装在右侧。
当然，除后视镜512或513之外，立体相机系统521可附接至立柱(前立柱、中立柱、后立柱等)、门、车顶纵梁等。立体相机系统521可附接至车辆511侧表面上的任何地方。
在下文，将描述如图17和18所示布置相机541和542的原因。在描述之前，将描述立体相机系统521的坐标系。
相机541和542以及待捕捉的目标点P的坐标系类似于在第一实施例的图2所示的情况中的坐标系。因此，省略坐标系的描述。然而，应通过用相机541和542替代图2中的相机41和42来理解第二实施例。
由于应用图2中的坐标系，因此方程(1)至(5)也应用于第二实施例。
由方程(5)，发现θa-θb(sin(θa-θb))与从立体相机系统521的中心点O至对象(待捕捉的目标点P)的距离ρ成反比，并且与由对象和立体相机系统521形成的角θ成比例。可以说，越大的θa-θb(sin(θa-θb))对误差的影响越具有抵抗性，并且距离测量精度越高。因此，当由对象和立体相机系统521形成的角θ近似为0或180度时，sin(θa-θb)变小，并且因此距离测量精度降低。
出于以上原因，当立体相机系统521的两个相机541和542并排附接在车辆511的侧表面(即，在平行于道路表面551的相同高度上)时，从车辆511的侧表面测量距前部或后部的距离变得困难。因此，在将立体相机系统521安装在车辆511的侧表面上的情况下，将两个相机541和542上下安装(即，通过垂直地改变与道路表面551的高度)更好。通过这样做，可以精确地测量前方的距离(在车辆行使方向上)或后方的距离(在车辆行使方向的相反方向上)(从侧表面)以及车辆511的侧表面的基本中心部分的距离。
然而，当立体相机系统521的两个相机541和542竖直布置时，立体相机系统521正上方和正下方的距离测量精度此时降低。但是执行立体相机系统521正上方空间的距离测量处理以用于检测障碍物和类似物的必要性低，因为所述空间通常是天空。然而，立体相机系统521正下方的空间是道路表面551，因此需要执行距离测量处理。因此，如图18所示，认为立体相机系统521的布置具有被定向于斜向下(道路表面551的方向)的光轴，同时保持竖直布置。
此处，进一步定义图19所示的坐标系。图19为示出根据本发明技术的第二实施例的立体相机系统的坐标系的图。由立体相机系统521和车辆511在其上行使的道路表面551形成的角为β。换句话讲，经过相机541和542的直线552在点R处与道路表面551相交。由直线552和道路表面551形成的角为β。
相机541的光轴541oa和相机542的光轴542oa被定向于垂直于经过相机541和542的直线552的方向上。作为经过立体相机系统521的中心点O的道路表面551的垂直线的直线553与道路表面551上的点T相交。换句话讲，点T是立体相机系统521正下方(即，车辆511正下方)的道路表面551上的点。光轴541oa和542oa被定向于相对于经过立体相机系统521的中心点O和点T的直线553成角β的方向上。换句话讲，角β代表立体相机系统521的附接角并且还代表相机541和542的光轴541oa和542oa的定向性方向。
此外，当立体相机系统521的中心点O距道路表面551的高度(直线553的长度)为H并且道路表面551上待捕捉的目标点为Q时，中心点O与待捕捉的目标点Q之间的距离ρ(连接中心点O和待捕捉的目标点Q的直线554的长度)可通过方程(12)表示。方程(12)可从方程(11)推导出来。
H/ρ＝sin(π-(θ+β))＝sin(θ+β)...(11)
ρ＝H/sin(θ+β)...(12)
此处，由方程(5)和(12)获得以下方程(13)。
sin(θa-θb)≈L/H·sinθ·sin(θ+β)...(13)
假设立体相机系统521的两个相机541和542之间的距离L和附接高度H在方程(13)中是常数。那么，相对于车辆511附近的道路表面551的距离测量精度取决于立体相机系统521的附接角β。
在角β＝π/2的情况下，即在立体相机系统521的两个相机541和542相对于道路表面551垂直附接的情况下，当捕捉到立体相机系统521正下方的点T时，角θ＝0。因此，根据方程(13)发现距离测量精度变得最低。
相反地，在角β＝0的情况下，即在立体相机系统521的两个相机541和542被附接成被定向于正下方且平行于道路表面551的情况下，当捕捉到立体相机系统521正下方的点T时，角θ＝π/2，并且根据方程(13)发现距离测量精度变得最高。
在0＜β＜π/2的情况下，当捕捉到正下方的点T时，角θ＝π/2-β。此时，方程(13)如在以下方程(14)中一样。
sin(θa-θb)≈L/H·sin(π/2-β)·sin(π/2-β+β)
＝L/H·cosβ...(14)
图20示出当立体相机系统521的附接角β改变一些值时，方程(13)相对于角θ的变化。图20为示出根据本发明技术的第二实施例的距离精度特征的图。在图20中，竖直轴代表距离测量精度的放大倍数，并且水平轴代表角θ(单位为弧度)。
将描述距离测量精度的放大倍数。在立体相机系统521平行于道路表面551附接(角β＝0)的情况下，当捕捉到立体相机系统521正下方的空间(角θ＝π/2)时，距离测量精度变得最大。假设立体相机系统521附接的高度H为1.0m并且配置立体相机系统521的两个相机541和542之间的距离L为1.0m，将以上假设的距离测量精度设定为标准(一倍放大倍数)。设定L＝1.0m的原因是通过将方程(14)的常数项(L/H)设定为1而使得距离测量精度的标准为1倍放大倍数。配置实际的立体相机系统521的两个相机541和542之间的距离为约几至几十厘米。
在图20中，相应地，曲线631代表角β＝0的情况，曲线632代表角β＝π/6的情况，曲线633代表角β＝π/4的情况，曲线634代表角β＝π/3的情况，曲线635代表角β＝5π/12的情况，并且曲线636代表角β＝π/2的情况。
将描述图20中的曲线左侧在中间间断的原因。在角θ＝π/2-β的情况下，待捕捉的目标点Q与立体相机系统521正下方的道路表面551上的点T重合。在θ+β＜π/2的情况下，待捕捉的目标点Q在图19中位于点T的右侧，也就是说，在立体相机系统521所附接的车辆511的内部，因此不可捕捉到道路表面551。此外，在θ+β＞π的情况下，待捕捉的目标点Q在无限远处，因此不可执行测量。因此，图20仅示出其中建立了π/2＜θ+β＜π的部分(由于立体相机系统521的附接角β为常数，角θ的值范围为π/2-β＜θ＜π-β的部分)。
参考图20，在角β＝0的情况下(在曲线631的情况下)，距离测量精度在角θ＝π/2时采取最大值并且当角θ变得大于π/2时单调减小。此外，在角β＞0的情况下(在曲线632至636的情况下)，在角θ＝π/2-β处获得值L/H·cosβ。当角θ变得大于π/2-β时，距离测量精度一度变大且接着变小。接下来，当角θ＝π/2时，获得相同的值L/H·cosβ，其等于立体相机系统521正下方的点T的分辨率。然后，当角θ＞π/2时，距离测量精度变得更小。也就是说，在方程(13)中，可以说距离测量精度在π/2-β＜θ＜π/2的范围中是高的，并且此范围适用于距离测量。
当逐渐增大角β(其中β≤π/2)时，适用于距离测量的范围变宽广，但是方程(14)的值变小。换句话讲，其达到距离测量精度低的状态。同时，当逐渐减小角β时，适用于距离测量的范围变窄，但是方程(14)的值变高且距离测量精度变高。因此，由方程(13)，可以说距离测量精度和距离测量范围处于权衡状态。
因此，如果要求宽的距离测量范围，那么使角β是大的(使其达到π/2)。换句话讲，其足以使立体相机系统521的附接角β垂直于道路表面551(其足以使相机541和542的光轴541oa和542oa平行于道路表面551)。同时，如果要求短距离的距离测量精度，那么减小角β(使其达到0)。换句话讲，其足以使立体相机系统521的附接角β平行于道路表面551(即，在这种情况下是水平的)(其足以使相机541和542的光轴541oa和542oa垂直于道路表面551)。
通过将角β设定在0＜β＜π/2的范围内，相机541和542的光轴541oa和542oa在点M和N处与道路表面551相交。也就是说，通过附接相机541和542，以使它们的光轴541oa和542oa与道路表面551相交，距离测量处理变得可能。
图20示出立体相机系统521的附接角β与待捕捉的目标点相对于立体相机系统521的角θ之间的关系。为了使车辆511与待捕捉的目标点Q之间的关系易于理解，将图20转化成示出距离测量精度与距离W之间的关系，其中点T与待捕捉的目标点Q之间的距离为W，如图19所示。首先，通过以下方程(15)表示距离W。应注意，由于θ+β的值大于π/2，tan(θ+β)的值变成负的并且距离W的值变成正的。
W＝H/tan(π-(θ+β))＝-H/tan(θ+β)...(15)
使用方程(15)的图20的修改型式在图21中示出。图21为示出根据本发明技术的第二实施例的距离精度特征的图。在图21中，竖直轴代表距离测量精度的放大倍数，并且水平轴代表距离W(单位为米)。在图21中，相应地，曲线641代表在角β为0的情况下的放大倍数，曲线642代表在角β为π/6的情况下的放大倍数，曲线643代表在角β为π/4的情况下的放大倍数，并且曲线644代表在角β为π/3的情况下的放大倍数。曲线645代表在角β为5π/12的情况下的放大倍数，并且曲线646代表在角β为π/2的情况下的放大倍数。
如图21所示，在角β＝0的情况下(在曲线641的情况下)，即在立体相机系统521平行于道路表面551附接的情况下，立体相机系统521正下方的点T(W＝0.0m)处的距离测量精度的放大倍数变得最高，为1。然而，当距离W增加时，距离测量精度大大减小(换句话讲，减小的速率大并且距离测量精度变得低于角β大于0的情况)。在角β＝π/2的情况下(即，在曲线646的情况下)，点T处的距离测量精度大大减小。然而，当距离W变大时(即，当待捕捉的目标点Q移动远离车辆511时)，距离测量精度的减小速率低(精度比在角β为0的情况下好)。
也就是说，当角β小时，短距离的距离测量精度高，但是长距离的距离测量精度低。相反地，当角β增大时，短距离的距离测量精度减小，但是可防止长距离的距离测量精度的显著减小。因此，通过将角β设定在从π/6至5π/12的范围(通过曲线642至645示出的范围)中，短距离和长距离的距离测量精度可以得到平衡。换句话讲，该范围是具有高实用价值的范围，其中从短距离至长距离的距离测量在实践上是可能的。
例如，假设在立体相机系统521附接至车辆511的侧表面的情况下希望测量整个相邻车道的距离。在宽公路的情况下，车道宽度为约3.5m，但是考虑到车辆511的车道内的行使位置，约4m的距离测量被认为是必要的。如图21所示，在角β＝π/3的情况下(在曲线644的情况下)或在π/2的情况下(在曲线646的情况下)，距离测量精度高。在角β＝π/2的情况下(即，在曲线646的情况下)，点T附近(W＝0.0m)的距离测量精度极低。因此，考虑到短距离的距离精度，可以说，角β＝π/3的情况(曲线644的情况)比角β＝π/2的情况(曲线646的情况)更有利。
换句话讲，为了增大与车辆511的侧表面相邻的一个车道的距离测量精度，以角β＝π/3(曲线644的情况)，即以约60度的角将立体相机系统521附接至车辆511的侧表面是良好的。
然而，在大尺寸车辆诸如卡车的情况下，高度H变大，因此驾驶员难以确认车辆511的附近。然而，在这种情况下，角β可以设定成较小的值，以使当距离W小时精度可以得到改善。
立体相机系统521的附接角β将参考图22进一步描述。图22为示出根据本发明技术的第二实施例的成像控制系统的配置的图。图17示出车辆511布置在水平道路表面551上的情况。相比之下，图22示出车辆511布置在倾斜道路表面551上的情况。
换句话讲，在图22中，道路表面551相对于垂直于为重力方向的竖直方向562的水平面561倾斜角γ。也就是说，图22示出车辆511正在攀爬上坡道路表面551的状态。立体相机系统521监测的是道路表面上的标识显示，诸如车辆511在其中行使的道路表面551上的白线、道路表面的端部、马路牙子、沟槽、护栏等。因此，车辆511在其上行使的道路表面551用作基本平面，并且立体相机系统521被附接相对于基本平面成角β。图19的坐标系也可应用于图22，无论道路表面551的角γ的值如何。
也就是说，立体相机系统521的相机541和542在上下方向(竖直方向)上布置在垂直于作为基本平面的道路表面551的平面563中并且包括光轴541oa和542oa。在图17、18和22的实例中，平面563也是垂直于车辆511的行使方向的平面。在图17、18和22的实例中，在平面563中，相机541被布置在下面且相机542被布置在上面。那么，立体相机系统521在平面563内是倾斜的，由此使得与基本平面(道路表面551)形成的角变成β。
换句话讲，立体相机系统521的相机541和542被布置成使得光轴541oa和542oa被定向相对于平行于基本平面(道路表面551)的方向向下，换句话讲，光轴541oa和542oa与基本平面相交。另选地，光轴541oa和542oa被布置成相对于车辆511被定向于斜向下。换句话讲，参考图19，相机541被布置成使得由光轴541oa和从光轴541oa朝向车辆511正下方的方向形成的角β在从π/6至5π/12的范围内。这还类似地应用于相机542。光轴541oa或542oa中的至少一个(参见如下文所述的图40)被布置成朝向监测方向(图18中相机541和542的右侧方向和图19中相机541和542的左侧方向)被定向于斜向下。具体地讲，相机541和542被布置成使得图19中的角β满足0＜β＜π/2。利用该布置，可以精确地执行较为靠近车辆511的宽范围中的距离测量。因此，其适于监测行使中的车辆511的侧表面，这需要宽范围的监测。
应注意，如相机541和542一样，可以使用具有正常视角的相机代替广角相机。
(2)成像控制系统的配置实例1(图23和24)
接下来，将参考图23描述成像控制系统501，其中立体相机系统521被布置成具有相对于平行于基本平面(道路表面551)的方向被定向向下的光轴541oa和542oa。图23为示出根据本发明技术的第二实施例的成像控制系统的配置的框图。
图23中的成像控制系统501由立体相机系统521和成像控制单元581配置。应注意，成像控制单元581可与立体相机系统521集成，或可被配置成独立于立体相机系统521。
例如，布置在车辆511左侧的立体相机系统521由包括相机541的成像单元701和包括相机542的成像单元702配置。如上所述，相机541和542上下布置在车辆511的侧表面上并且使得光轴541oa和542oa相对于平行于基本平面(道路表面551)的方向被定向向下。成像单元701输出相机541捕捉的图像，并且成像单元702输出相机542捕捉的图像。
成像控制单元581包括图像校正单元711和712、立体图像处理单元713、以及分析单元714。立体相机系统521的成像单元701和成像单元702的输出分别被提供至图像校正单元711和图像校正单元712，并且作为预处理对镜头的像差等进行校正。执行距离测量处理的立体图像处理单元713由图像校正单元711和712的输出计算距目标对象的距离。分析单元714分析距离测量的结果并且将分析结果输出至后续装置。
接下来，将参考图24描述成像控制系统501的操作。图24为用于描述根据本发明技术的第二实施例的距离测量处理的流程图。
在步骤S111中，成像控制单元581控制立体相机系统521的成像操作。应注意，此处理将在之后连续执行。此外，此处理还可在外部控制。在步骤S112中，图23中的成像单元701(包括相机541)和成像单元702(包括相机542)捕捉观测点。在步骤S113中，图像校正单元711校正通过成像单元701捕捉的图像的镜头像差、相机图像失真等。类似地，图像校正单元712校正通过成像单元702捕捉的图像的镜头像差、相机图像失真等。换句话讲，对图像的失真进行校正并且将图像投影在虚拟平面上以获得平面图像用于距离计算。
在步骤S114中，作为执行监测处理的监测处理单元的立体图像处理单元713计算距观测点的距离。换句话讲，成像单元701的相机541和成像单元702的相机542被布置在相隔距离L的位置处。因此，相机541捕捉的图像和相机542捕捉的图像具有相差，并且可以基于相差计算距观测点的距离。也就是说，与在相机541和542的一个图像中出现的对象相对应的对象从另一个图像中检测到，并且由两个图像中对象位置之间的偏差计算距离。计算结果被输出至分析单元714。
在步骤S115中，分析单元714分析通过立体图像处理单元713计算的距离，并且输出分析结果。例如，处于与道路表面551相同高度的白线或类似物(显示在道路表面551上)保持原样，并且被定位高于道路表面551的对象被识别为障碍物。另选地，执行根据相对于车辆511的位置共同显示信息，在所测量的距离小于预先确定的准则值的情况下发出警报等的处理。
在步骤S116中，立体图像处理单元713确定是否终止处理。在用户尚未给出处理终止的指令的情况下，处理返回步骤S111并且重复步骤S111和后续步骤中的处理。在已经给出处理终止的指令的情况下，处理终止。
虽然未示出，还在包括被布置在车辆511右侧的相机541和542的立体相机系统521和相对应的成像控制单元581中执行以上处理。
如上所述，监测车辆511的两侧并辅助其驾驶。相机541和542上下布置并且使得相机541和542的光轴被布置成相对于平行于基本平面的方向被定向向下。因此，不仅可以精确地测量车辆511的侧表面的前方或后方的距离，而且尤其还可以精确地测量侧面的基本上中心部分附近的距离。
此外，在以上描述中，测量处理主要描述为监测处理。然而，在监测处理中还可以处理白线识别、马路牙子识别、道路表面状况的检测、车辆的检测(包括超车车辆和对向来车)、行人的检测等。
(3)成像控制系统的配置实例2(图25和26)
接下来，将参考图25和26描述另一成像控制系统。图25为示出根据本发明技术的第二实施例的成像控制系统的配置的图。图26为示出根据本发明技术的第二实施例的成像控制系统的配置的框图。
在图25的成像控制系统501中，立体相机系统521A和521B被布置在车辆511的左侧和右侧表面上的后视镜512和513上。此外，在成像控制系统501中，立体相机系统521C布置在车辆511的前侧并且立体相机系统521D布置在车辆511的后侧。
立体相机系统521A执行车辆511左侧的检测范围522A中的测量并且立体相机系统521B执行车辆511右侧的检测范围522B中的测量。类似地，立体相机系统521C执行车辆511前方的检测范围522C(即，车辆511向前行驶的方向)中的测量。立体相机系统521D执行车辆511后方的检测范围522D(即，车辆511向后行驶的方向)中的测量。
图25示出其中视角为180度，作为检测范围522A至522D的情况的实例(应注意，为了实际固定180度的视角，具有比180度更宽的视角(例如，190度)的镜头是必需的)。
应注意，图25中的检测范围522以角方向指示范围，并且距离方向的尺寸，即半圆直径的尺寸实际上更大。
如图26所示，在图26的成像控制系统501中，图23所示的立体相机系统521和成像控制单元581与车辆511的四个表面相对应地提供。换句话讲，提供了立体相机系统521A和成像控制单元581A、立体相机系统521B和成像控制单元581B、立体相机系统521C和成像控制单元581C、以及立体相机系统521D和成像控制单元581D。
立体相机系统521A包括捕捉检测范围522A的成像单元701A和成像单元702A。成像控制单元581A包括校正成像单元701A和702A的输出的图像校正单元711A和712A以及由图像校正单元711A和712A的输出计算检测范围522A中的距离的立体图像处理单元713A。
立体相机系统521B包括捕捉检测范围522B的成像单元701B和成像单元702B。成像控制单元581B包括校正成像单元701B和702B的输出的图像校正单元711B和712B以及由图像校正单元711B和712B的输出计算检测范围522B中的距离的立体图像处理单元713B。
立体相机系统521C包括捕捉检测范围522C的成像单元701C和成像单元702C。成像控制单元581C包括校正成像单元701C和702C的输出的图像校正单元711C和712C以及由图像校正单元711C和712C的输出计算检测范围522C中的距离的立体图像处理单元713C。
立体相机系统521D包括捕捉检测范围522D的成像单元701D和成像单元702D。成像控制单元581D包括校正成像单元701D和702D的输出的图像校正单元711D和712D以及由图像校正单元711D和712D的输出计算检测范围522D中的距离的立体图像处理单元713D。
分析单元714被提供为检测范围522A至522D共有，并且分析立体图像处理单元713A至713D的输出。
图26中的成像控制系统501的操作类似于图24中的流程图所示的操作。因此，将参考图24描述图26中的成像控制系统501的操作。
在步骤S112中，图26中的成像单元701A(包括相机541A)和成像单元702A(包括相机542A)捕捉观测点。在步骤S113中，图像校正单元711A校正通过成像单元701A捕捉的图像的镜头像差、相机图像失真等。类似地，图像校正单元712A校正通过成像单元702A捕捉的图像的镜头像差、相机图像失真等。换句话讲，对图像的失真进行校正并且将图像投影在虚拟平面上以获得平面图像用于距离计算。
在步骤S114中，立体图像处理单元713A计算距观测点的距离。换句话讲，成像单元701A的相机541A和成像单元702A的相机542A被布置在相隔距离L的位置处。因此，相机541A捕捉的图像和相机542A捕捉的图像具有相差，并且可以基于相差计算距观测点的距离。也就是说，与在相机541A和542A的一个图像中出现的对象相对应的对象从另一个图像中检测到，并且由两个图像中对象位置之间的偏差计算距离。计算结果被输出至分析单元714A。
步骤S112至S114中的以上处理在立体相机系统521B至521D和成像控制单元581B至581D中类似地执行。
在步骤S115中，分析单元714分析通过立体图像处理单元713A至713D计算的距离，并且输出分析结果。例如，在所测量的距离小于预先确定的准则值的情况下，执行诸如发出警告的处理。
在步骤S116中，立体图像处理单元713A至713D确定是否终止处理。在用户尚未给出处理终止的指令的情况下，处理返回步骤S111并且重复步骤S111和后续步骤中的处理。在已经给出处理终止的指令的情况下，处理终止。
如上所述，不仅监测车辆511的两侧，而且还监测车辆511的前方和后方，并且辅助车辆511的驾驶。相机541和542上下布置并且光轴被布置成相对于平行于基本平面的方向被定向向下。因此，不仅可以精确地测量车辆511的检测范围522A至522D中的基本上中心部分的距离，而且还可以精确地测量从中心部分在向右方向和向左方向上的部分的距离。
此外，图25所示的车辆511前侧的立体相机系统521C和后侧的立体相机系统521D与两个侧表面上的立体相机系统521A和521B相比在距离测量的平行于道路表面551的平面上可具有较窄的测量范围。因此，通过超声波、雷达、激光传感器、红外线传感器等作为另一个监测处理单元，或通过上述装置和立体相机系统521的组合系统执行车辆511的前方和后方的检测范围522C和522D中的距离测量处理。
(4)成像控制系统的配置实例3(图27至30)
接下来，将参考图27描述另一成像控制系统。图27为示出根据本发明技术的第二实施例的成像控制系统的配置的框图。
图27中的成像控制系统501包括立体相机系统521A至521D以及成像控制单元581A至581D，类似于图26中的成像控制系统501。成像控制单元581A包括图像校正单元711A和712A以及立体图像处理单元713A。成像控制单元581B包括图像校正单元711B和712B以及立体图像处理单元713B。成像控制单元581C包括图像校正单元711C和712C以及立体图像处理单元713C。成像控制单元581D包括图像校正单元711D和712D以及立体图像处理单元713D。此外，成像控制单元581A至581D包括成像控制单元581A至581D共有的分析单元714。以上配置是与图26中的成像控制系统501类似的配置。
此外，在图27中，相应地，成像控制单元581A包括图像转换单元811A，成像控制单元581B包括图像转换单元811B，成像控制单元581C包括图像转换单元811C，并且成像控制单元581D包括图像转换单元811D。此外，成像控制单元581A至581D包括成像控制单元581A至581D共有的集成单元812。
图像转换单元811A使用诸如投影变换的图像转换方法转换由成像单元701A输出的图像的视点。利用该转换，可以获得用户观察车辆511外周的图像，诸如用于周围监测系统的图像。类似地，图像转换单元811B使用诸如投影变换的图像转换方法转换由成像单元701B输出的图像的视点，并且图像转换单元811C使用诸如投影变换的图像转换方法转换由成像单元701C输出的图像的视点。图像转换单元811D使用诸如投影变换的图像转换方法转换由成像单元701D输出的图像的视点。
应注意，作为执行监测处理的另一监测处理单元的图像转换单元811A至811D执行从成像单元701A至701D输出的图像的投影变换。然而，图像转换单元811A至811D可以执行从成像单元702A至702D输出的图像的投影变换。
集成单元812将图像转换单元811A、图像转换单元811B、图像转换单元811C、以及图像转换单元811D的输出集成。
接下来，将参考图28描述图27中的成像控制系统501的操作。应注意，关于成像单元701和702、图像校正单元711和712、作为执行监测处理的监测处理单元的立体图像处理单元713、以及分析单元714的处理，图27中的成像控制系统的操作类似于图26中的成像控制系统501的操作。换句话讲，该操作类似于图24中的流程图所示的操作。因此，省略了重复描述。
因此，将主要描述图27中的成像控制系统501中的图像转换单元811和集成单元812的配置的操作。图28为用于描述根据本发明技术的第二实施例的集成处理的流程图。
在步骤S151中，图27中的成像单元701A(即，相机541A)捕捉观测点。类似地，成像单元701B(即，相机541B)、成像单元701C(即，相机541C)、以及成像单元701D(即，相机541D)也捕捉观测点。
成像单元702A(即，相机542A)至成像单元702D(即，相机542D)类似地捕捉观测点，但是所捕捉的图像不用于现在描述的集成处理，因此省略描述。
在步骤S152中，图像转换单元811A执行图像转换处理。换句话讲，通过诸如投影变换的图像转换方法转换通过成像单元701A(即，相机541A)捕捉的图像的视点。利用该转换，生成用于周围监测系统的图像。通过图像转换单元811B、811C和811D执行类似的图像转换处理。
在步骤S153中，集成单元812执行集成处理。换句话讲，通过图像转换单元811A至811D获得车辆511周围的检测范围522A至522D中的图像。因此，将这些图像集成并且生成和输出用于以鸟瞰图观察车辆511的外周的周围监测系统的图像。此图像在后续阶段显示在监测器或类似物上。
在步骤S154中，图像转换单元811A至811D确定是否终止处理。在用户尚未给出处理终止的指令的情况下，处理返回步骤S151并且重复步骤S151和后续步骤中的处理。在已经给出处理终止的指令的情况下，处理终止。
此处，将描述视点转换处理。图29和30为用于描述视点转换处理的图。图30为示出由真实相机获得的照片与图29所示的由虚拟相机获得的照片之间的位置关系的图，所述位置关系显示为如从侧面观察的Y-Z平面和如从上方观察的X-Z平面。
如图29所示，将描述通过安装在三维空间中的任意位置的点Cr(Xr,Yr,Zr)处的实际相机成像的照片Pr转换成安装在任意位置的点Cv(Xv,Yv,Zv)处的虚拟相机的照片Pv的实例。此处，两个相机应为在一个点捕捉照片的针孔相机。此外，照片Pr和Pv可以根据图像的大小设定至任意位置，只要照片Pr和Pv垂直于指示相机的方向的向量Lr和Lv即可。希望在图像大的情况下将照片向后设定并且在图像小的情况下将照片向前设定。
将描述用于将所成像的照片Pr转换成虚拟相机的照片Pv的过程。首先，将点Iv设定在照片Pv上的任意位置处，并且获得连接点Iv和点Cv的直线与X-Z平面相交的点Iz。应注意，在连接点Iv和点Cv的直线不与X-Z平面相交的情况下，将点Iv的像素的颜色设定为预先确定的颜色，以指示点Iv在真实相机的成像范围外部。
接下来，获得连接点Iz和点Cr的直线与照片Pr的平面相交的点Ir，并且将点Ir的色素的颜色设定为与点Iv的像素的颜色相同的颜色。应注意，在连接点Iz和点Cr的直线不与照片Pr的平面相交的情况下，将点Ir的像素的颜色设定为预先确定的颜色，以指示点Ir在真实相机的成像范围外部。重复以上处理，直到确定照片Pr上的所有点的像素的颜色。
图30所示的实际相机位置处的点Cr的中心线与Z轴相交的点Zctr通过以下方程(16)表示。
Zctr＝Yr·tan(θr)...(16)
此处，θr为真实相机相对于X-Z平面的倾斜角。穿过通过Y-Z平面获得的实际相机的照片Pr的横截面的直线Qrxy正交于真实相机的中心线(经过点Cr和点Zctr的具有斜率1/tan(θr)的直线)并且经过照片Pr下端的坐标点(Yps,Zps)。因此，通过以下方程(17)表示直线Qrxy。
Y＝-tan(θr)·Z+tan(θr)·Zps+Yps...(17)
获得经过虚拟相机的照片Pv上的点Iv和虚拟相机位置处的点Cv的直线与Z轴相交的点，然后获得经过点Iz和实际相机位置处的点Cr的直线与通过方程(17)表示的直线Qrxy相交的点Ir的Y-Z坐标。关于X-Z平面，与Y-Z平面类似地获得点Ir的X-Z坐标。然后，将虚拟相机的照片Pv上的点Iv的像素的颜色设定为与真实相机的照片Pr上的点Iv的像素的颜色相同的颜色，并且对于虚拟相机的照片Pv上的所有点执行以上处理。
以此方式，根据图27的成像控制系统501，除了诸如与距目标对象的距离测量相关联的制动的警告和自动控制的驾驶辅助之外，还可以执行停车辅助，诸如向后停车、平行停车等；在交叉路口停车时斜后方的自行车、行人等的识别信息的提供；变道时相邻车道的后车的监测；以及通过视觉观测对用户驾驶的辅助。例如，分析单元714的分析结果可以提供至集成单元812，并且基于距离测量结果的障碍物等的位置可以视觉可观测的方式显示在视觉观测屏上。
应注意，在图27的成像控制系统501中，由配置立体相机系统521的成像单元701捕捉的图像在图像转换单元811中进行处理。然而，可单独提供专用相机。在使用配置立体相机系统521的成像单元701的图像的情况下，一个图像可以既用于通过视觉观测进行监测，也用于通过距离测量进行监测。因此，可减少成本。在已经存在的视觉监测系统的情况下，通过距离测量进行的监测可以通过简单地添加配置立体相机系统521的一个相机来执行。
(5)成像控制系统的配置实例4(图31至37)
接下来，将参考图31描述另一成像控制系统。图31为示出根据本发明技术的第二实施例的成像控制系统的配置的框图。
图31中的成像控制系统501由立体相机系统521和成像控制单元581配置，类似于图23中的成像控制系统501。成像控制单元581控制立体相机系统521的成像操作。
立体相机系统521包括：包括相机541的成像单元701和包括相机542的成像单元702。如上所述，相机541和542上下布置在车辆511的侧表面上并且使得光轴相对于平行于基本平面的方向被定向向下。成像单元701输出相机541捕捉的图像，并且成像单元702输出相机542捕捉的图像。
成像控制单元581包括图像校正单元711和712、立体图像处理单元713、以及分析单元714。立体相机系统521的成像单元701和成像单元702的输出分别被提供至图像校正单元711和图像校正单元712，并且作为预处理对镜头的像差等进行校正。作为执行监测处理的监测处理单元的立体图像处理单元713由成像单元701和702的输出计算距目标对象的距离。分析单元714分析距离测量的结果并且将分析结果输出至后续装置。
图31中的成像控制单元581还包括边缘角检测单元851和运动立体处理单元852。边缘角检测单元851检测在图像中产生亮度或颜色改变的部分，以及为从通过图像校正单元711校正的图像改变的方向的角，并且将检测结果输出至分析单元714。
作为执行监测处理的另一监测处理单元的运动立体处理单元852由通过图像校正单元711校正的图像通过运动立体处理来执行距离测量。换句话讲，当图像中的静止对象的位置在相机视野中与相机的移动一起变化时，可以以与使用多个相机的立体相机系统中的立体图像处理类似的原理执行距离测量。测量信息被输出至分析单元714。
接下来，将参考图32描述图31中的成像控制系统501的操作。图32为用于描述根据本发明技术的第二实施例的距离测量处理的流程图。
在步骤S211中，成像控制单元581控制立体相机系统521的成像操作。应注意，此处理将在之后连续执行。此外，此处理还可在外部控制。在步骤S212中，图31中的成像单元701(包括相机541)和成像单元702(包括相机542)捕捉观测点。在步骤S213中，图像校正单元711校正通过成像单元701捕捉的图像的镜头像差、相机图像失真等。类似地，图像校正单元712校正通过成像单元702捕捉的图像的镜头像差、相机图像失真等。换句话讲，对图像的失真进行校正并且将图像投影在虚拟平面上以获得平面图像用于距离计算。
在步骤S214中，立体图像处理单元713计算距观测点的距离。换句话讲，成像单元701的相机541和成像单元702的相机542被布置在相隔距离L的位置处。因此，相机541捕捉的图像和相机542捕捉的图像具有相差，并且可以基于相差计算距观测点的距离。也就是说，与在相机541和542的一个图像中出现的对象相对应的对象从另一个图像中检测到，并且由两个图像中对象位置之间的偏差计算距离。计算结果被输出至分析单元714。
在步骤S215中，边缘角检测单元851从图像校正单元711输出的校正图像中检测边缘角。换句话讲，检测图像中产生亮度和颜色变化的部分，并且为检测变化的方向的角。
对于边缘检测，可以采用计算亮度变化程度的差分(微分)方法。例如，已知Prewitt边缘检测器和Sobel边缘检测器，并且可以通过由每个边缘检测算子执行处理来检测边缘。此外，可以采用检测亮度变化最急剧的位置的过零法。当然，也可以采用其他各种方法。
在步骤S216中，运动立体处理单元852通过运动立体计算距观测点的距离。计算结果被提供至分析单元714。此处，将描述运动立体。
首先，将参考图33和34描述光流。图33为用于描述当前帧的图像的图，并且图34为用于描述过去帧的图像的图。光流是以时间顺序指示先前和随后的图像中对应点的移动的量的向量。例如，从当前帧的图像A(参见图33)和在图像A之前获取的过去帧中的图像B(参见图34)获得光流的处理以搜索存在于图像A中的点从图像B中的何处移动开始。应注意，V轴取于图像的向上方向上并且U轴取于图像的向右方向上。此外，取图像的中心作为U轴和V轴的原点。
假设点P从图像B移动至图像A，如图33所示。图像B中点P的位置为(u-Δu,v-Δv)，并且图像A中点P的位置为(u,v)。作为图像A中点P的位置与图像B中点P的位置之间的差的(Δu,Δv)是图像A的点(u,v)处的光流。换句话讲，图像A的点(u,v)是光流的终点并且与图像B的点(u-Δu,v-Δv)相对应的图像A上的点(u-Δu,v-Δv)可以说是光流的起点。
接下来，将参考图35和37描述单目运动立体。图35为示出单目相机与坐标轴之间关系的图。图36为示出相机与成像表面之间关系的图。图37为用于描述来自图像中心的光流的图。
在单目运动立体中，由图像A与B之间的光流估计相机的移动量(在下文称为相机运动参数)，并且估计距存在于图像中的对象的距离。因此，为了实施单目运动立体，需要图像A与B之间的光流、相机运动参数、以及距对象的距离之间的关系。相机运动参数与捕捉单元的移动量相对应。
此处，假设相机所捕捉的对象是静止的。在如图35所示的一般针孔相机模型中，使用如图36所示的模型作为相机和成像表面。相机坐标的X和Y轴与捕捉图像的U和V轴彼此平行，并且捕捉图像的中心位于相机坐标中的(0,0,f)的位置处(参见图36)。此处，f代表相机的焦距。PL代表虚拟成像平面，其中假设捕捉图像位于相机坐标系中。
相机运动参数具有六个自由度，如图35所示。换句话讲，相对于旋转移动量的三个自由度(ωx,ωy,ωz)和相对于平移移动量的三个自由度(tx,ty,tz)。旋转移动量是单位时间内角度的改变量，并且平移移动量是单位时间内距离的改变量。已知在相机运动参数(ωx,ωy,ωz)和(tx,ty,tz)、距相机所捕捉的对象的距离z、图像中的某个点(u,v)、以及该点的光流(Δu,Δv)之间建立了以下关系。
Δu＝-ωy·f-tx·f/z+tz/z·u+ωz·v+ωx/f·uv-ωy/f·u2...(18)
Δv＝+ωx·f-ty·f/z+tz/z·v-ωz·u-ωy/f·uv+ωx/f·v2...(19)
相机运动参数使用方程(18)和(19)由光流估计。应注意，在车辆511直线向前行驶的情况下，可以使得相机运动参数简化，因为相机541是单目相机，在直线行驶情况下的相机运动参数如下。
(ωx,ωy,ωz)＝(0,0,0)...(20)
(tx,ty,tz)＝(0,0,tz)...(21)
使用方程(20)和(21)，方程(18)和(19)如下。
Δu＝tz/z·u...(22)
Δv＝tz/z·v...(23)
通过将方程(22)和(23)对应的一侧求平方并相加获得以下方程。
(Δu)2+(Δv)2＝tz2/z2·(u2+v2)...(24)
此处，由于从图像中心的距离w是w2＝u2+v2，使用方程(22)和(23)，方程(24)变成以下方程。
Δw＝tz/z·w...(25)
方程(25)意指可以使用在从图像中心径向延伸的方向上的光流Δw(参见图37)和车辆速度tz(在Z轴方向上的平移移动量)估计距离z。理论上解释的是，距离z可以如上文所述执行计算来估计。图37示出图像B中的光流的起点也显示在图像A上的图像。图37可以看作光流的向量集的图像。这些光流Δw在其处朝向起点会聚的点是消失点。换句话讲，消失点也可以说是从光流Δw朝向起点延伸的直线相交的点。在图37中，消失点Po与图像的中心重合。
返回参考图32的描述，在步骤S217中，分析单元714将由立体图像处理单元713、边缘角检测单元851、以及运动立体处理单元852提供的信息集成以计算距离。也就是说，基于边缘角检测单元851的检测结果、立体图像处理单元713的距离测量处理结果、以及运动立体处理单元852的距离测量处理结果重新计算距离。
如参考图17至24所述，当立体相机系统521的两个相机541和542布置在竖直方向(垂直于基本平面的方向)上时，可以有利地执行图像中横向方向(平行于基本平面的方向)上的距离测量。这是因为两个相机541和542竖直布置，由此使得图像中的成像位置在横向方向上容易地改变，并且方程(13)中的θa-θb容易变大。
例如，在相机541和542安装在车辆511侧表面的情况下，道路表面上的标识显示诸如道路表面551上的白线、道路表面的端部、马路牙子、沟槽、护栏等通常在图像中以在横向方向上近似线的状态被捕捉。因此，通过相机541和542被布置在竖直方向上的立体相机系统521进行距离测量是有利的。相反地，图像中竖直线(处于竖直方向上的线)的距离测量是不利的。这是因为，在相机541和542被布置在竖直方向的情况下，由在竖直方向上的成像位置的偏差造成的竖直线的位置偏差的检测是困难的。例如，诸如电线杆的杆状对象在相机视野中通常具有竖直线(处于竖直方向上的线)。
在车辆511移动，同时相机541和542布置在车辆511的侧表面上并捕捉图像的情况下，相机视野中的对象在横向方向上流动。以此方式，在图像中的对象相对于时间产生位置偏差的情况下，易于应用运动立体处理。在运动立体中，当图像中的静止对象的位置在相机视野中与相机的移动一起变化时，可以以与使用多个相机的立体相机系统中的立体图像处理相同的原理执行距离测量。在图像中的竖直线(处于竖直方向上的线)横向移动的情况下，位置偏差易于检测并且易于应用运动立体。相反地，运动立体不易于应用于处于横向方向上的线。
因此，基于边缘角检测单元851所检测的边缘的方向，对于处于横向方向上的线或与处于横向方向上的线接近的线，分析单元714优先采用由立体图像处理单元713测量的距离。例如，距基本上沿道路延伸(即，基本上平行于道路)的目标对象，诸如道路表面、道路表面上的标识显示诸如白线、道路表面的端部、马路牙子、沟槽、或护栏的距离的计算由立体图像处理单元713执行。相比之下，对于竖直线或接近竖直线的线，优先采用运动立体处理单元852的测量结果。例如，运动立体处理单元852执行距垂直于道路的目标对象(诸如交通信号、交通标志等的支撑柱、或电线杆)的距离的计算。可以根据基于实验等产生的可靠性图谱提前确定采用哪个测量结果。
如上所述，根据对象的线的方向采用不同的距离测量方法。当然，代替只采用一种方法，可以根据边缘的方向等通过加权将两种方法集成。
在步骤S218中，立体图像处理单元713、边缘角检测单元851、以及运动立体处理单元852确定是否终止处理。在用户尚未给出处理终止的指令的情况下，处理返回步骤S211并且重复步骤S211和后续步骤中的处理。在已经给出处理终止的指令的情况下，处理终止。
应注意，在以上描述中，已经使距离测量方法与边缘角相对应。然而，例如，可以单独提供特别检测基本上沿道路延伸(即，基本上平行于道路延伸)的对象(诸如道路上的道路表面、道路表面上的标识显示诸如白线、道路表面的端部、马路牙子、沟槽、或护栏)的检测单元，以及特别检测不必须沿道路延伸(即，基本上不平行于道路)的目标对象的检测单元。例如，立体图像处理单元713可被配置为特别检测基本上平行于道路延伸的目标对象的检测单元，并且运动立体处理单元852可被配置为特别检测不必须平行于道路的目标对象的检测单元。在这种情况下，边缘角检测单元851可省略。此外，可以提供在转弯或类似物处检测对向来车的检测单元。
如上所述，根据图31中的成像控制系统501，通过根据目标对象的特征的方法测量距离，由此精确测量成为可能。
应注意，尽管图31中的成像控制系统501被布置在车辆511的左和右侧表面上。然而，除了侧表面之外，成像控制系统501也可布置在车辆的前侧和后侧。此外，前后和左右成像控制系统501可以协同执行距离测量操作。
(6)修改(图38至40)
接下来，将参考图38至40描述相机541和542的布置的修改。图38至40为示出根据本发明技术的第二实施例的立体相机系统的相机的布置的图。
在图17和19的实例中，相机541和542被布置在车辆511的车身的侧表面上(具体地，在后视镜512和513上)，如图38所示。换句话讲，如从车辆511前方看到的(在图38的左图中)，相机542布置在上面且相机541布置在下面。
然后，将相机542布置在与相机541相比离车辆511更远的位置(车辆511外侧的位置)处，并且将相机541布置在与相机542相比更接近车辆511的位置(车辆511内侧的位置)处。连接相机541和542的中心的线552是倾斜的，以从车身跳出至监测方向(从车辆511的侧面跳出)。换句话讲，线552是倾斜的，以从车辆511的车身的安装表面(侧表面)跳出。立体相机系统521不平行于车身且不垂直于道路表面551。
如从车辆511前方看到的(在图38中的左图中)，两个相机541和542均定向于车辆511的斜向下方向上。换句话讲，相机541和542在包括它们的光轴541oa和542oa的平面中是倾斜的，以使光轴541oa和542oa相对于平行于基本平面(道路表面551)的方向被定向向下且与基本平面相交。也就是说，相机541和542是倾斜的，以使连接相机541和542中心的线552相对于基本平面形成角β。换句话讲，相机541和542是倾斜的，以使光轴541oa和542oa相对于垂直于基本平面的线553形成角β。
此外，如从车辆511的表面看出(在图38的右图中)，相机541和542的光轴541oa和542oa被定向于垂直于行使方向的方向上(在图38中向下)，也就是说，被定向于垂直于车辆511的侧表面的方向上。
相比之下，在图39的A所示的实例中，如从车辆511前方看到的(在图39的A的左图中)，相机542布置在上面且相机541布置在下面。然后，将相机541和542布置在离车辆511相同的距离处。换句话讲，相机541和542被布置成使得连接相机541和542中心的线552变得平行于车身(变得垂直于作为基本平面的道路表面551)。
然而，相机541和542在包括它们的光轴541oa和542oa的平面中是倾斜的，以使光轴541oa和542oa相对于平行于基本平面的方向被定向向下且与基本平面相交。
此外，如从车辆511的顶表面看出(在图39的A的右图中)，相机541和542的光轴541oa和542oa被定向于垂直于车辆511的行使方向的方向上(在图39中向下)，也就是说，被定向于垂直于车辆511的侧表面的方向上。
从图39的B所示的实例的车辆511的前方(在图39的B的左图中)看到的配置类似于图38的左图中所示的情况。省略了重复描述。
图39的B的右图中的配置不同于图38的右图中的配置。换句话讲，在此实例中，如从车辆511的顶表面看到的，代替垂直于车辆511的行使方向的方向(在图39中向下)，相机541和542的光轴541oa和542oa被定向略微处于行使方向上。当光轴541oa和542oa像这样略微定向于行使方向上时，与用于测量处于行使方向上的范围中的距离的立体相机系统(例如，图25中用于测量检测范围522C中的距离的立体相机系统521C)协同执行距离测量操作是有利的。
从图39的C所示的实例的车辆511的前方(在图39的C的左图中)看到的配置类似于图38中的左图中所示的情况。省略了重复描述。
图39的C的右图中的配置不同于图38的右图中的配置。换句话讲，如从车辆511的顶表面看出(在图39的C的右图中)，相机542的光轴542oa被定向于垂直于行使方向的方向上(在图39中向下)，也就是说，被定向于垂直于车辆511的侧表面的方向上。也就是说，当仅考虑到相机542时，该配置类似于图38中的情况。
相比之下，对于相机541，代替垂直于车辆511的行使方向的方向(在图39中向下)，光轴541oa略微定向于行使方向上。也就是说，当仅考虑到相机541时，该配置类似于图39的B中的情况。因此，图中相对窄的阴影范围是立体相机系统的距离可测范围。在需要扩大距离可测范围的情况下，可以使用具有180度或更大的视角的相机。
在图40的A所示的实例中，如从车辆511前方看到的(在图40的A的左图中)，相机542布置在上面且相机541布置在下面。然后，将相机541和542布置在离车辆511相同的距离处。换句话讲，相机541和542被布置成使得连接相机541和542中心的线552变得平行于车身(变得垂直于作为基本平面的道路表面551)。
然后，将相机541定向于车辆511的斜向下方向上，如从车辆511的前方看到的(在图38的左图中)。换句话讲，相机541在包括光轴541oa的平面中是倾斜的，以使光轴541oa相对于平行于基本平面的方向被定向向下且与基本平面相交。相机541是倾斜的，以使光轴541oa相对于垂直于基本平面的线553成角β。也就是说，当仅考虑到相机541时，该配置类似于图38中的情况。
然而，相机542被布置成使得光轴542oa被定向成平行于基本平面。也就是说，相机541和542中只有一个(布置在下面的相机541)被布置成使得光轴541oa相对于平行于作为基本平面的道路表面551的方向被定向向下且与道路表面551相交。然后，将另一个相机(布置在上面的相机542)布置成使得光轴542oa变得平行于基本平面。即使当相机541和542以此方式附接时，图中车辆511附近的阴影范围也是立体相机系统的距离可测范围。该范围是相对窄的范围。在需要扩大距离可测范围的情况下，可以使用具有180度或更大的视角的相机。
从图40的A所示的实例的车辆511的前方(在图40的A的右图中)看到的配置类似于图38中的右图中所示的情况。换句话讲，相机541和542的光轴541oa和542oa被定向于垂直于车辆511的行使方向的方向上(在图40中向下)，也就是说，被定向于垂直于车辆511的侧表面的方向上。
在图40的B所示的实例中，如从车辆511前方看到的(在图40的B的左图中)，相机542布置在上面且相机541布置在下面。然后，将相机542布置在与相机541相比离车辆511更远的位置处，并且将相机541布置在与相机542相比更接近车辆511的位置处。连接相机541和542的中心的线552是倾斜的，以从车身跳出至监测方向(从车辆511的侧面跳出)。也就是说，相机541和542是倾斜的，以使连接相机541和542中心的线552相对于基本平面形成角β。
然后，相机541在包括光轴541oa的平面中是倾斜的，以使光轴541oa相对于平行于基本平面的方向被定向向下且与基本平面相交。也就是说，相机541是倾斜的，以使连接相机541的中心和相机542的中心的线552相对于基本平面形成角β。换句话讲，相机541是倾斜的，以使光轴541oa相对于垂直于基本平面的线553形成角β。
然而，相机542被布置成使得光轴542oa被定向成平行于基本平面。也就是说，相机541和542中只有一个(布置在下面的相机541)被布置成使得光轴541oa相对于平行于作为基本平面的道路表面551的方向被定向向下且与道路表面551相交。然后，将另一个相机(布置在上面的相机542)布置成使得光轴542oa变得平行于基本平面。即使当相机541和542以此方式附接时，图中车辆511附近的阴影范围也是立体相机系统的距离可测范围。该范围是相对窄的范围。在需要扩大距离可测范围的情况下，可以使用具有180度或更大的视角的相机。
从图40的B所示的实例的车辆511的前方(在图40的B的右图中)看到的配置类似于图38中的右图中所示的情况。换句话讲，相机541和542的光轴541oa和542oa被定向于垂直于车辆511的行使方向的方向上(在图40中向下)，也就是说，被定向于垂直于车辆511的侧表面的方向上。
在以上描述中，配置立体相机系统的相机的视角是相同的(例如，180度)，但是相应的视角(焦距)可以是不同的。如果使视角更宽，那么更宽范围中的识别成为可能，而如果使视角更窄，那么更远范围中的更高清晰度的识别成为可能。在立体相机系统中，其中视角重叠的范围内的距离测量成为可能。
应注意，在不偏离本发明技术的实质的范围内，在本发明技术中可存在各种修改。
<应用实例>
根据本公开的技术可应用于各种产品。例如，根据本公开的技术可实现为安装在任何类型的车辆上的装置，所述车辆诸如汽车、电动汽车、混合动力汽车、电动摩托车等。
图41为示出本公开的技术适用的车辆控制系统2000的示意性配置实例的框图。车辆控制系统2000包括通过通信网络2010连接的多个电子控制单元。在图41所示的实例中，车辆控制系统2000包括驱动系统控制单元2100、主体系统控制单元2200、电池控制单元2300、车辆外部信息检测装置2400、车辆内部信息检测装置2500、以及集成控制单元2600。连接多个控制单元的通信网络2010可以是，例如，符合任意标准的板载通信网络，诸如控制器区域网络(CAN)、本地互连网(LIN)、局域网(LAN)、或FlexRay(注册商标)，或符合局部定义的通信标准的网络。
每个控制单元包括，例如，根据各种程序执行算术处理的微型计算机、存储由微型计算机执行的程序、用于各种计算的参数等的存储单元、以及驱动各种待控制的装置的驱动电路。每个控制单元包括用于通过通信网络2010与另一个控制单元通信的网络I/F以及用于通过有线通信或无线通信与车辆外部的装置、传感器等通信的通信I/F。图41示出集成控制单元2600、微型计算机2610、通用通信I/F 2620、专用通信I/F 2630、定位单元2640、信标接收单元2650、车载装置I/F 2660、音频图像输出单元2670、板载网络I/F 2680、以及存储单元2690的功能性配置。类似地，其他控制单元包括微型计算机、通信I/F、存储单元等。
驱动系统控制单元2100根据各种程序控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元2100用作以下各项的控制装置：用于生成车辆的驱动力的驱动力生成装置诸如内燃机或驱动马达、用于将驱动力传递至车轮的驱动力传递机构、调节车辆的转向角度的转向机构、生成车辆的制动力的制动装置等。驱动系统控制单元2100可具有作为防抱死制动系统(ABS)的控制装置、电子稳定性控制器等的功能。
驱动系统控制单元2100与车辆状态检测单元2110连接。车辆状态检测单元2110包括，例如，以下各项中的至少一个：用于检测车身的轴向旋转运动的角速度的陀螺仪传感器，用于检测车辆的加速度的加速度传感器，或用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角度、发动机速度、车轮的旋转速度等的传感器。驱动系统控制单元2100使用从车辆状态检测单元2110输入的信号执行算术处理并且控制内燃机、驱动马达、电子动力转向装置、制动装置等。
主体系统控制单元2200根据各种程序控制配备在车身中的各种装置的操作。例如，主体系统控制单元2200用作无钥匙进入系统、智能钥匙系统、自动窗口装置、以及诸如前灯、尾灯、刹车灯、转弯信号和雾灯的各种灯的控制装置。在这种情况下，可以将取代钥匙或各种开关的信号的从移动装置发射的无线电波输入至主体系统控制单元2200。主体系统控制单元2200接收无线电波或信号的输入，并且控制车辆的门锁装置、自动窗口装置、灯等。
电池控制单元2300根据各种程序控制作为驱动马达的动力供应源的二次电池2310。例如，电池控制单元2300从包括二次电池2310的电池装置中接收诸如电池温度、电池输出电压、或电池的剩余容量的信息。电池控制单元2300使用这些信号执行算术处理，以控制二次电池2310、提供于电池装置中的冷却装置等的温度调节。
车辆外部信息检测装置2400检测具有安装在其上的车辆控制系统2000的车辆外部的信息。例如，成像单元2410或车辆外部信息检测单元2420中的至少一个连接至车辆外部信息检测装置2400。成像单元2410包括渡越时间(ToF)相机、立体相机、单目相机、红外线相机、或另一种相机中的至少一个。车辆外部信息检测单元2420包括，例如，用于检测当前天气或大气现象的环境传感器或用于检测配备有车辆控制系统2000的车辆周围的其他车辆、障碍物、行人等的环境信息检测传感器。
环境传感器可以是，例如，用于检测下雨天气的雨滴传感器、用于检测雾的雾传感器、用于检测日照程度的日照传感器、或用于检测下雪的雪传感器中的至少一个。环境信息检测传感器可以是超声波传感器、雷达装置、或光检测与测距、激光成像检测与测距(LIDAR)装置中的至少一个。成像单元2410和车辆外部信息检测单元2420可以分别提供为独立传感器或装置，或可以提供为其中集成多个传感器或装置的装置。
此处，图42示出成像单元2410和车辆外部信息检测单元2420的安装位置的实例。成像单元2910、2912、2914、2916和2918中的每一个提供于例如，诸如前鼻、侧镜、后保险杠、后门以及车辆2900内部挡风玻璃上部中的至少一个处。提供于前鼻处的成像单元2910和提供于车辆内部挡风玻璃上部的成像单元2918主要获取车辆2900的前方图像。提供于侧镜处的成像单元2912和2914主要获取车辆2900的侧面图像。提供于后保险杠或后门处的成像单元2916主要获取车辆2900的后方图像。提供于车辆内部挡风玻璃上部的成像单元2918主要用于检测前车、行人、障碍物、交通信号、交通标志、车道等。
应注意，图42示出成像单元2910、2912、2914和2916的捕捉范围的实例。成像范围a指示提供于前鼻处的成像单元2910的成像范围，成像范围b和c分别指示提供于侧镜处的成像单元2912和2914的成像范围，并且成像范围d指示提供于后保险杠或后门处的成像单元2916的成像范围。例如，从上方观察的车辆2900的鸟瞰图图像可以通过叠加在成像单元2910、2912、2914和2916中成像的成像数据获得。
提供于前部、后部、侧面、拐角、以及车辆2900内部挡风玻璃上部的车辆外部信息检测单元2920、2922、2924、2926、2928和2930可以是例如超声波传感器或雷达装置。提供于前鼻、后保险杠、后门以及车辆2900内部挡风玻璃上部的车辆外部信息检测单元2920、2926和2930可以是例如LIDAR装置。这些车辆外部信息检测单元2920至2930主要用于检测前车、行人、障碍物等。
返回参考图41，将继续进行描述。车辆外部信息检测装置2400使得成像单元2410对车辆外部的图像成像，并且接收所成像的图像数据。此外，车辆外部信息检测装置2400从所连接的车辆外部信息检测单元2420中接收检测信息。在车辆外部信息检测单元2420为超声波传感器、雷达装置、或LIDAR装置的情况下，车辆外部信息检测装置2400发射超声波、电磁波等并接收所接收的反射波的信息。车辆外部信息检测装置2400可基于所接收的信息针对道路表面上的人、车辆、障碍物、标志、字母等执行对象检测处理或距离检测处理。车辆外部信息检测装置2400可基于所接收的信息执行识别雨点、雾、道路表面状况等的环境识别处理。车辆外部信息检测装置2400可基于所接收的信息计算距车辆外部的对象的距离。
此外，车辆外部信息检测装置2400可基于所接收的图像数据执行识别道路表面上的人、车辆、障碍物、标志、字母等的图像识别处理或距离检测处理。车辆外部信息检测装置2400可执行诸如所接收的图像数据的失真校正或对准的处理并且将通过不同的成像单元2410成像的成像数据组合以生成鸟瞰图图像或全景图像。车辆外部信息检测装置2400可使用通过不同的成像单元2410成像的图像数据执行视点转换处理。
车辆内部信息检测装置2500检测车辆内部的信息。车辆内部信息检测装置2500使用例如检测驾驶员的状态的驾驶员状态检测单元进行检测。驾驶员状态检测单元2510可包括用于对驾驶员成像的相机、用于检测驾驶员的生物信息的生物测量传感器、用于收集车辆内部的声音的麦克风等。生物测量传感器提供于例如座位表面、方向盘等上，并且检测坐在座位上的乘客或保持方向盘的驾驶员的生物信息。基于从驾驶员状态检测单元2510输入的检测信息，车辆内部信息检测装置2500可计算驾驶员的疲劳程度或集中程度，或可确定驾驶员是否在方向盘上睡着。车辆内部信息检测装置2500可针对所收集的声音信号执行诸如噪声消除处理的处理。
集成控制单元2600根据各种程序控制车辆控制系统2000中的总体操作。集成控制单元2600与输入单元2800连接。输入单元2800通过可以例如由乘客操作和输入的装置实现，诸如触摸面板、按钮、麦克风、开关、或杠杆。输入单元2800可以是，例如，使用红外线或另外的无线电波的远程控制装置，或可以是与车辆控制系统2000的操作相对应的外部连接装置，诸如移动电话或个人数字助理(PDA)。输入单元2800可以是，例如，相机，并且在这种情况下，乘客可以通过手势输入信息。此外，输入单元2800可包括，例如，输入控制电路，其基于由乘客等使用以上输入单元2800输入的信息生成输入信号并且将输入信号输出至集成控制单元2600等。乘客等通过操作输入单元2800在处理操作上向车辆控制系统2000输入各种数据并且对其发出指令。
存储单元2690可包括用于存储由微型计算机执行的各种程序的随机存取存储器(RAM)，以及用于存储各种参数、计算结果、传感器值等的只读存储器(ROM)。此外，存储单元2690可以通过磁存储装置诸如硬盘驱动器(HDD)、半导体存储装置、光学存储装置、磁光存储装置等实现。
通用通信I/F 2620是介导与存在于外部环境2750中的各种装置的通信的通用通信I/F。通用通信I/F 2620可包括，例如，蜂窝通信协议诸如全球移动通信系统(GSM)(注册商标)、WiMAX、长期演进(LTE)、或高级长期演进(LTE-A)，或另一无线通信协议，诸如无线LAN(也称为Wi-Fi(注册商标))。通用通信I/F 2620可例如通过基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司专用网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 2620可使用例如对等(P2P)技术与车辆附近存在的终端(例如，行人或商店的终端，或机器类型通信(MTC)终端)连接。
专用通信I/F 2630是支持被制定用于在车辆中使用的通信协议的通信I/F。专用通信I/F 2630可包括，例如，标准协议诸如作为下层IEEE 802.11p和上层IEEE 1609的组合的车辆环境中的无线接入(WAVE)、或专用近程通信(DSRC)。专用通信I/F 2630通常执行V2X通信，其为包括车辆与车辆通信、车辆与基础设施通信、以及车辆与行人通信中的一个或多个的概念。
定位单元2640接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自GPS卫星的全球定位系统(GPS)信号)以执行定位，并且生成例如包括车辆的纬度、经度和海拔的位置信息。应注意，定位单元2640可通过与无线接入点交换信号来指定当前位置，或可从诸如移动电话、PHS、或具有定位功能的智能电话的终端获取位置信息。
信标接收单元2650接收，例如，从安装在道路上的无线电台等发射的无线电波或电磁波，并且获取诸如当前位置、拥堵、道路封闭或所需时间的信息。应注意，信标接收单元2650的功能可包括在上述专用通信I/F 2630中。
车载装置I/F 2660是介导微型计算机2610与车辆中存在的各种装置之间的连接的通信接口。车载装置I/F 2660可使用无线通信协议诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)、或无线USB(WUSB)建立无线连接。此外，车载装置I/F 2660可通过连接终端(未示出)(和线缆，如果需要的话)建立有线连接。车载装置I/F 2660与例如乘客所具有的移动装置或可穿戴装置、或承载于或附接于车辆的信息装置交换控制信号或数据信号。
板载网络I/F 2680是介导微型计算机2610与通信网络2010之间的通信的接口。板载网络I/F 2680根据通信网络2010所支持的预先确定的协议发射和接收信号等。
集成控制单元2600的微型计算机2610基于通过通用通信I/F 2620、专用通信I/F2630、定位单元2640、信标接收单元2650、车载装置I/F 2660、或板载网络I/F 2680中的至少一个获取的信息根据各种程序控制车辆控制系统2000。例如，微型计算机2610可基于车辆内部和外部的获取信息计算驱动力生成装置、转向机构、或制动装置的控制目标值，并且将控制命令输出至驱动系统控制单元2100。例如，微型计算机2610可执行协同控制，以用于避免车辆的碰撞或减轻冲击、基于车辆之间的距离的跟踪、保持车辆速度的行使、自动驾驶等目的。
微型计算机2610可基于通过通用通信I/F 2620、专用通信I/F 2630、定位单元2640、信标接收单元2650、车载装置I/F 2660、或板载网络I/F 2680中的至少一个获取的信息产生包括车辆的当前位置的外周信息的局部地图信息。此外，微型计算机2610可基于所获取的信息预测危险，诸如车辆的碰撞、行人等的接近、或行人等进入封闭的道路，并且生成警告信号。警告信号可以是，例如，用于生成警告声音或用于点亮警告灯的信号。
音频图像输出单元2670将声音或图像中的至少一个的输出信号传输至输出装置，所述输出装置可以视觉和听觉方式将信息通知给车辆的乘客或车辆的外部。在图41的实例中，作为输出装置，示例性地示出音频扬声器2710、显示单元2720、以及仪表板2730。显示单元2720可包括，例如，板载显示器或平视显示器中的至少一个。显示单元2720可具有增强现实(AR)显示功能。除了这些装置之外，输出装置还可以是另一个装置，诸如耳机、投影仪或灯。在输出装置为显示装置的情况下，显示装置以诸如文本、图像、表格和图表的各种格式以视觉方式显示在由微型计算机2610执行的各种类型的处理中获得的结果或从另一个控制单元接收的信息。此外，在输出装置为音频输出装置的情况下，音频输出装置将包括再现音频数据、声数据等的音频信号转换成模拟信号，并且以听觉方式输出模拟信号。
应注意，在图41所示的实例中，通过通信网络2010连接的至少两个控制单元可集成为一个控制单元。另选地，可由多个控制单元配置单个控制单元。此外，车辆控制系统2000可包括另一个控制单元(未示出)。此外，在以上描述中，可通过另一个控制单元执行由控制单元中的任一个执行的一些或所有功能。也就是说，预先确定的算术处理可通过控制单元中的任一个执行，只要通过通信网络2010发射和接收信息即可。类似地，连接至控制单元中的任一个的传感器或装置可连接至另一个控制单元，并且多个控制单元可通过通信网络2010向彼此发射和接收检测信息。
在上述车辆控制系统2000中，参考图4、23、26、27和31所述的根据本发明实施例的成像控制单元81和成像控制单元581可应用于图41所示的应用实例的集成控制单元2600。
此外，参考图4、23、26、27和31所述的成像控制单元81和成像控制单元581的配置元件的至少一部分可在用于图41所示的集成控制单元2600的模块(例如，由一个管芯配置的集成电路模块)中实现。另选地，参考图4、23、26、27和31所述的成像控制单元81和成像控制单元581可通过图41所示的车辆控制系统2000的多个控制单元实现。
应注意，用于实现参考图4、23、26、27和31所述的成像控制单元81和成像控制单元581的功能的计算机程序可安装在控制单元或类似物中的任一个中。此外，可提供其中存储了这种计算机程序的计算机可读记录介质。记录介质为，例如，磁盘、光盘、磁光盘、闪存存储器等。此外，以上计算机程序可通过例如网络传送，而无需使用记录介质。
此外，本发明技术的实施例不限于上述实施例，并且可在不脱离本发明技术的要旨的情况下对它们做出各种修改。
<其他>
本发明技术还可具有以下配置。
(1)
一种成像控制装置，包括：
检测单元，其被配置成检测处于检测范围中的观测点的距离；以及
校正单元，其被配置成基于处于与多个所述检测单元相对应的多个所述检测范围中的所述观测点的重叠来校正所述观测点的所述检测距离。
(2)
根据(1)所述的成像控制装置，其中
所述校正单元将所述观测点的所述检测距离的误差范围的重叠检测为所述观测点的所述重叠。
(3)
根据(1)或(2)所述的成像控制装置，其中
基于配置立体相机系统的至少一组相机所捕捉的图像检测所述距离。
(4)
根据(1)、(2)或(3)所述的成像控制装置，其中
所述多个检测单元是多个相互之间定向于不同方向的所述立体相机系统。
(5)
根据(1)至(4)中任一项所述的成像控制装置，其中
所述校正单元基于车辆周围四个方向中的所述两个检测范围中的所述观测点的所述重叠执行所述校正。
(6)
根据(1)至(5)中任一项所述的成像控制装置，其中
在检测到误差范围的多个所述重叠的情况下，所述校正单元基于所述车辆附近的重叠或靠近所述观测点的重叠来校正所述观测点的所述检测距离。
(7)
根据(1)至(6)中任一项所述的成像控制装置，其中
至少一组所述相机布置在竖直方向上并且具有定向于斜下方的至少一个光轴。
(8)
根据(1)至(7)中任一项所述的成像控制装置，还包括：
构成所述立体相机系统的所述相机。
(9)
根据(1)至(8)中任一项所述的成像控制装置，其中
所述观测点是通过测量车辆周围的目标对象获得的点。
(10)
根据(1)至(9)中任一项所述的成像控制装置，还包括：
识别处理单元，其被配置成基于通过安装在车辆上的至少一个相机成像的图像识别所述目标对象。
(11)
根据(1)至(10)中任一项所述的捕捉控制装置，还包括：
另一个检测单元，其包括超声波传感器、红外线传感器、毫米波传感器、或雷达中的至少一个，其中
所述校正单元还使用所述另一个检测单元的检测结果执行所述校正。
(12)
一种成像控制方法，包括：
检测处于检测范围中的观测点的距离的检测步骤；以及
基于处于多个所述检测范围中的所述观测点的重叠来校正所述观测点的所述检测距离的校正步骤。
(13)
一种车辆，包括：
配置立体相机系统的相机，其捕捉用于检测距观测点的距离的检测范围；
检测单元，其被配置成检测处于所述检测范围中的所述观测点的所述距离；以及
校正单元，其被配置成基于处于与多个所述检测单元相对应的多个所述检测范围中的所述观测点的重叠来校正所述观测点的所述检测距离。
附图标记列表
1 成像控制系统
11 车辆
21A至21D 立体相机系统
22A至22D 检测范围
91A至91D 立体距离测量单元
92A至92D 距离精度改善单元
93 集成单元
101A至101D和102A至102D 成像单元。

Claims (12)

1.一种成像控制装置，包括：
检测单元，其被配置成检测处于检测范围中的观测点的距离；以及
校正单元，其被配置成基于处于与多个所述检测单元相对应的多个所述检测范围中的所述观测点的重叠来校正所述观测点的检测距离，
其中所述校正单元将所述观测点的所述检测距离的误差范围的重叠检测为所述观测点的所述重叠，所述观测点的所述检测距离被校正为所述误差范围的重叠的距离。
2.根据权利要求1所述的成像控制装置，其中
基于构成立体相机系统的至少一组相机所捕捉的图像检测所述距离。
3.根据权利要求2所述的成像控制装置，其中
多个所述检测单元是相互之间定向于不同方向的多个所述立体相机系统。
4.根据权利要求2所述的成像控制装置，其中
所述校正单元基于车辆周围四个方向中的两个所述检测范围中的所述观测点的重叠而执行所述校正。
5.根据权利要求1所述的成像控制装置，其中
在检测到误差范围的多个所述重叠的情况下，所述校正单元基于车辆附近的重叠或靠近所述观测点的重叠来校正所述观测点的所述检测距离。
6.根据权利要求3所述的成像控制装置，其中
至少一组所述相机布置在竖直方向上并且具有定向于斜下方的至少一个光轴。
7.根据权利要求3所述的成像控制装置，还包括：
构成所述立体相机系统的所述相机。
8.根据权利要求1所述的成像控制装置，其中
所述观测点是通过测量车辆周围的目标对象获得的点。
9.根据权利要求1所述的成像控制装置，还包括：
识别处理单元，其被配置成基于通过安装在车辆上的至少一个相机而成像的图像来识别目标对象。
10.根据权利要求1所述的成像控制装置，还包括：
另一个检测单元，其包括超声波传感器、红外线传感器、毫米波传感器、或雷达中的至少一个，其中
所述校正单元还使用所述另一个检测单元的检测结果执行所述校正。
11.一种成像控制方法，包括：
检测处于检测范围中的观测点的距离的检测步骤；以及
基于处于多个所述检测范围中的所述观测点的重叠来校正所述观测点的检测距离的校正步骤，
其中，将所述观测点的所述检测距离的误差范围的重叠检测为所述观测点的所述重叠，所述观测点的所述检测距离被校正为所述误差范围的重叠的距离。
12.一种车辆，包括：
构成立体相机系统的相机，其捕捉用于检测距观测点的距离的检测范围；
检测单元，其被配置成检测处于所述检测范围中的所述观测点的所述距离；以及
校正单元，其被配置成基于处于与多个所述检测单元相对应的多个所述检测范围中的所述观测点的重叠来校正所述观测点的检测距离，
其中所述校正单元将所述观测点的所述检测距离的误差范围的重叠检测为所述观测点的所述重叠，所述观测点的所述检测距离被校正为所述误差范围的重叠的距离。
CN201780033997.2A 2016-06-08 2017-05-25 成像控制装置和方法、以及车辆 Active CN109313018B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016114388 2016-06-08
JP2016-114388 2016-06-08
PCT/JP2017/019492 WO2017212929A1 (ja) 2016-06-08 2017-05-25 撮像制御装置および方法、並びに車両

Publications (2)

Publication Number Publication Date
CN109313018A CN109313018A (zh) 2019-02-05
CN109313018B true CN109313018B (zh) 2021-12-10

Family

ID=60578596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780033997.2A Active CN109313018B (zh) 2016-06-08 2017-05-25 成像控制装置和方法、以及车辆

Country Status (5)

Country Link
US (1) US11158076B2 (zh)
EP (1) EP3470776A4 (zh)
JP (1) JP6819681B2 (zh)
CN (1) CN109313018B (zh)
WO (1) WO2017212929A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109313018B (zh) 2016-06-08 2021-12-10 索尼公司 成像控制装置和方法、以及车辆
DE102016220075A1 (de) * 2016-10-14 2018-04-19 Audi Ag Kraftfahrzeug und Verfahren zur 360°-Umfelderfassung
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
US11521395B2 (en) * 2017-05-30 2022-12-06 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and program
JP2019012915A (ja) * 2017-06-30 2019-01-24 クラリオン株式会社 画像処理装置、画像変換方法
JP7473202B2 (ja) * 2018-07-12 2024-04-23 Ｇｒｏｏｖｅ Ｘ株式会社 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
WO2020170462A1 (ja) * 2019-02-22 2020-08-27 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7157449B2 (ja) * 2019-02-22 2022-10-20 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラム
CN110880184B (zh) * 2019-10-03 2023-07-21 上海淡竹体育科技有限公司 一种基于光流场进行摄像头自动巡检的方法及装置
JP2021148668A (ja) * 2020-03-19 2021-09-27 株式会社リコー ステレオカメラ装置
JP2021148746A (ja) * 2020-03-23 2021-09-27 株式会社リコー 測距装置及び測距方法
CN111427331B (zh) * 2020-03-24 2022-03-04 新石器慧通（北京）科技有限公司 无人驾驶车辆的感知信息展示方法、装置和电子设备
KR102514748B1 (ko) * 2021-05-31 2023-03-30 주식회사 케이 엠 티 감지기의 감지영역을 설정하기 위한 방법, 장치 및 컴퓨터 프로그램
KR102649308B1 (ko) * 2021-11-22 2024-03-19 주식회사 디에이치오토아이 거리보정방법을 이용한 영상기반 전방충돌 경고방법
KR102615479B1 (ko) * 2021-11-24 2023-12-19 현대모비스 주식회사 램프 및 그것의 동작 방법, 차량

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4574483A (en) * 1985-04-19 1986-03-11 Dainippon Screen Mfg. Co. Measurement of degree of offset of attachment position of drafting pen in coordinate plotter
JP2002359838A (ja) * 2001-03-28 2002-12-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP2003235562A (ja) * 2001-11-13 2003-08-26 Univ Pennsylvania アデノ随伴ウィルス（ａａｖ）配列の検出及び／又は同定の方法ならびにそれにより同定される新規な配列の単離
JP2008024216A (ja) * 2006-07-24 2008-02-07 Eleven International:Kk 後方カメラ付リアコンビネーションランプ及び後方カメラ付車両
WO2008029758A1 (en) * 2006-09-01 2008-03-13 Nikon Corporation Mobile body driving method, mobile body driving system, pattern forming method and apparatus, exposure method and apparatus and device manufacturing method
CN101331380A (zh) * 2005-12-16 2008-12-24 株式会社Ihi 三维形状数据的存储/显示方法和装置以及三维形状的计测方法和装置
JP2009202610A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車支援装置
CN100541118C (zh) * 2003-08-28 2009-09-16 奥林巴斯株式会社 物体识别装置
JP4402772B2 (ja) * 1999-08-18 2010-01-20 東芝医用システムエンジニアリング株式会社 生体内組織形態の計測方法および医用画像装置
CN101930162A (zh) * 2009-06-22 2010-12-29 富士胶片株式会社 成像设备及其控制方法
CN102473239A (zh) * 2009-08-05 2012-05-23 戴姆勒股份公司 用于监控车辆的周围环境的方法
CN102869949A (zh) * 2010-05-05 2013-01-09 莱卡地球系统公开股份有限公司 具有光学监测系统的表面感测装置
JP2014224410A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置
CN104251993A (zh) * 2010-03-17 2014-12-31 本田技研工业株式会社 车辆周围监测装置
CN104797903A (zh) * 2012-11-15 2015-07-22 普雷茨特激光技术有限公司 通过校准测量头的方向来获得表面形貌的光学测量方法以及具有测量头的测量装置
CN105073499A (zh) * 2013-03-29 2015-11-18 爱信精机株式会社 图像显示控制装置、图像显示系统及显示单元

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256076B (zh) * 2002-08-28 2013-06-12 索尼株式会社 电子仪器装置、空间位移计算装置和空间位移计算方法
JP4696925B2 (ja) 2006-01-20 2011-06-08 トヨタ自動車株式会社 画像処理装置
EP2777780B1 (en) * 2011-11-08 2021-08-25 Sony Group Corporation Sensor device, analyzer, and storage medium
JP6091977B2 (ja) 2013-04-22 2017-03-08 日立建機株式会社 建設機械
CN109313018B (zh) 2016-06-08 2021-12-10 索尼公司 成像控制装置和方法、以及车辆

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4574483A (en) * 1985-04-19 1986-03-11 Dainippon Screen Mfg. Co. Measurement of degree of offset of attachment position of drafting pen in coordinate plotter
JP4402772B2 (ja) * 1999-08-18 2010-01-20 東芝医用システムエンジニアリング株式会社 生体内組織形態の計測方法および医用画像装置
JP2002359838A (ja) * 2001-03-28 2002-12-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP2003235562A (ja) * 2001-11-13 2003-08-26 Univ Pennsylvania アデノ随伴ウィルス（ａａｖ）配列の検出及び／又は同定の方法ならびにそれにより同定される新規な配列の単離
CN100541118C (zh) * 2003-08-28 2009-09-16 奥林巴斯株式会社 物体识别装置
CN101331380A (zh) * 2005-12-16 2008-12-24 株式会社Ihi 三维形状数据的存储/显示方法和装置以及三维形状的计测方法和装置
JP2008024216A (ja) * 2006-07-24 2008-02-07 Eleven International:Kk 後方カメラ付リアコンビネーションランプ及び後方カメラ付車両
WO2008029758A1 (en) * 2006-09-01 2008-03-13 Nikon Corporation Mobile body driving method, mobile body driving system, pattern forming method and apparatus, exposure method and apparatus and device manufacturing method
JP2009202610A (ja) * 2008-02-26 2009-09-10 Hitachi Ltd 駐車支援装置
CN101930162A (zh) * 2009-06-22 2010-12-29 富士胶片株式会社 成像设备及其控制方法
CN102473239A (zh) * 2009-08-05 2012-05-23 戴姆勒股份公司 用于监控车辆的周围环境的方法
CN104251993A (zh) * 2010-03-17 2014-12-31 本田技研工业株式会社 车辆周围监测装置
CN102869949A (zh) * 2010-05-05 2013-01-09 莱卡地球系统公开股份有限公司 具有光学监测系统的表面感测装置
CN104797903A (zh) * 2012-11-15 2015-07-22 普雷茨特激光技术有限公司 通过校准测量头的方向来获得表面形貌的光学测量方法以及具有测量头的测量装置
CN105073499A (zh) * 2013-03-29 2015-11-18 爱信精机株式会社 图像显示控制装置、图像显示系统及显示单元
JP2014224410A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Satellite Images-Based obstacle recognition and trajectory generation for agticultural vehicls;Mehmet bodur 等;《Internation Journal of adcanced robotic systems》;20151201;全文 *
基于多传感器的智能小车避障研究;王新忠;《中国优秀硕士学位论文全文数据库》;20140601;全文 *
视觉导航智能车的道路识别及障碍物检测算法研究;武晔;《中国优秀硕士学位论文全文数据库》;20110601;全文 *

Also Published As

Publication number Publication date
EP3470776A1 (en) 2019-04-17
EP3470776A4 (en) 2019-04-17
CN109313018A (zh) 2019-02-05
US20200320728A1 (en) 2020-10-08
US11158076B2 (en) 2021-10-26
JPWO2017212929A1 (ja) 2019-04-11
JP6819681B2 (ja) 2021-01-27
WO2017212929A1 (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
CN109313018B (zh) 成像控制装置和方法、以及车辆
CN109313021B (zh) 成像控制装置和方法、以及车辆
JP6780661B2 (ja) 画像処理装置および方法、プログラム、並びに画像処理システム
CN107272168B (zh) 车辆用照相机
CN107272300B (zh) 车辆驾驶辅助装置
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11076141B2 (en) Image processing device, image processing method, and vehicle
CN108139211B (zh) 用于测量的装置和方法以及程序
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2016203988A1 (ja) 画像処理装置および画像処理方法
WO2016203989A1 (ja) 画像処理装置および画像処理方法
US20210295563A1 (en) Image processing apparatus, image processing method, and program
WO2018034157A1 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2022196316A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Sony Corp.

Address before: Japan's Tokyo port harbor 1-7-1

Applicant before: Sony Corp.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant