CN113015884A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN113015884A
CN113015884A CN201980074781.XA CN201980074781A CN113015884A CN 113015884 A CN113015884 A CN 113015884A CN 201980074781 A CN201980074781 A CN 201980074781A CN 113015884 A CN113015884 A CN 113015884A
Authority
CN
China
Prior art keywords
image
camera
angle
depression angle
object distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980074781.XA
Other languages
English (en)
Other versions
CN113015884B (zh
Inventor
东原清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113015884A publication Critical patent/CN113015884A/zh
Application granted granted Critical
Publication of CN113015884B publication Critical patent/CN113015884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Manufacturing & Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明使得即使相机以偏离的角度安装，也可以基于由相机拍摄的图像来准确地计算到被摄体的距离。在本发明中，输入由具有广角镜头的相机拍摄的图像并进行畸变校正，并且生成校正图像。另外，计算真实世界中的垂直对象在校正图像中的倾斜度，基于垂直对象的倾斜度计算相机的相机俯角的偏差角，生成考虑到相机俯角的偏差角的对象距离计算用图像，并且根据对象距离计算用图像计算到包括在由相机捕获的图像中的对象的距离。如果相机俯角的偏差角不小于或等于预定阈值，则利用考虑到相机俯角偏差的俯瞰图像生成用关联对应数据来生成所述对象距离计算用图像。

Description

图像处理装置、图像处理方法和程序
技术领域
本公开涉及图像处理装置、图像处理方法和程序。具体地，例如，本公开涉及用于执行根据利用安装在车辆上的相机捕获的图像计算被摄体距离的处理的图像处理装置、图像处理方法和程序。
背景技术
在无法从驾驶席直接视觉识别车辆行进方向上的状况(诸如车辆的正前方、侧面、后方的状况)的情况下，车辆有碰到隐藏在行进方向的障碍物的风险。用于避免这种风险的系统包括相机安装在车辆的前部或后部或侧表面，并且相机捕获图像显示在驾驶席的监视器上的相机系统。
在这种相机系统中的问题包括在将相机安装到车辆时发生的安装误差。该安装误差根据该安装误差产生相机的实际捕获区域与原始正确捕获区域之间的偏差。
在驾驶席的驾驶员看到的监视器上，可以与相机捕获图像一起重叠显示诸如指示线和进程预测线的辅助线。由于相机安装误差引起的捕获区域的偏差使得相机捕获图像中的指示线和进程预测线被显示在偏离实际位置的位置处。
此外，近年来，车内相机不仅用于驾驶员利用监视器进行监视，而且也用于车辆系统检测障碍物和行人。车辆系统基于相机捕获图像来检测障碍物和行人，估计距离，并将结果发送到车辆侧单元。车辆侧执行例如向驾驶员给出警告通知，并基于该结果操作自动制动器的控制。
在执行车辆系统的这种处理，即，给驾驶员的警告通知或自动制动器的操作的情况下，测量到对象的距离的精度是重要的。
距离测量值受到相机安装角度的偏差和车辆的姿势与设计值的偏差的影响。如果相机没有按照预定的设计没有误差的安装，则会出现不能测量准确距离的问题。
例如，作为检测相机安装误差的方法，已知使用校准图的捕获图像的方法。
在该方法中，利用安装在车辆上的相机来捕获校准图。计算捕获图像与用无误差安装的相机捕获的理想图像之间的偏差。调整相机的安装位置和角度以便减小偏差。
或者，还已知另一种检测相机安装误差的方法。在该方法中，利用安装在车辆上的面向斜下方的相机来捕获在路面上绘制的平行线和直行图。执行将捕获图像变换为从正上方捕获的图像的俯瞰变换。分析俯瞰变换图像中的平行线和直行图的状态。然后，检测相机安装误差。
注意，作为传统技术，例如在专利文献1(专利号5173551)和专利文献2(专利号5923422)中公开了这些校正相机安装误差的方法。
引文列表
专利文献
专利文献1：专利号5173551
专利文献2：专利号5923422
发明内容
本发明要解决的问题
上述传统技术需要预先准备校准图以检测相机安装误差。此外，在通过使用俯瞰变换图像根据捕获图像中的平行线和网格的平行度以及直线性来确定安装误差的情况下，需要根据车辆的相机安装状态来预先准备用于俯瞰变换的图像变换图。
如上所述，校正相机安装误差的传统方法具有需要预先准备用于校正的数据(诸如校准图和图像变换图)的问题。
本公开的目的是提供即使存在相机安装误差，也能够在不使用这种预先准备的数据的情况下准确地计算被摄体距离的图像处理装置、图像处理方法和程序。
问题的解决方案
本公开的第一方面在于一种图像处理装置，包括：
校正图像生成单元，其通过输入利用具有广角镜头的相机捕获的图像来进行畸变校正，并生成校正图像；
垂直对象倾斜度计算单元，其计算真实世界中的垂直对象在校正图像中的倾斜度；
相机俯角偏差计算单元，其基于垂直对象的倾斜度来计算所述相机的相机俯角的偏差角；
对象距离计算用图像生成单元，其生成考虑到所述相机的相机俯角偏差角的对象距离计算用图像；以及
对象距离计算单元，其参考所述对象距离计算用图像来计算包括在利用所述相机捕获的图像中的对象的距离。
此外，本公开的第二方面在于一种在图像处理装置中执行的图像处理方法，包括以下步骤：
校正图像生成单元通过输入利用具有广角镜头的相机捕获的图像来进行畸变校正，并生成校正图像；
垂直对象倾斜度计算单元计算真实世界中的垂直对象在所述校正图像中的倾斜度；
相机俯角偏差计算单元基于垂直对象的倾斜度来计算所述相机的相机俯角的偏差角；
对象距离计算用图像生成单元生成考虑到所述相机的相机俯角偏差角的对象距离计算用图像；以及
对象距离计算单元参考所述对象距离计算用图像来计算包括在利用所述相机捕获的图像中的对象的距离。
此外，本公开的第三方面在于一种使得在图像处理装置中执行图像处理的程序，该程序使得：
校正图像生成单元通过输入利用具有广角镜头的相机捕获的图像来进行畸变校正，并生成校正图像；
垂直对象倾斜度计算单元计算真实世界中的垂直对象在所述校正图像中的倾斜度；
相机俯角偏差计算单元基于垂直对象的倾斜度来计算所述相机的相机俯角的偏差角；
对象距离计算用图像生成单元生成考虑到所述相机的相机俯角偏差角的对象距离计算用图像；以及
对象距离计算单元参考所述对象距离计算用图像来计算包括在利用所述相机捕获的图像中的对象的距离。
注意，本公开的程序可以由例如以计算机可读格式向能够执行各种程序代码的信息处理装置和计算机系统提供各种程序代码的存储介质或通信介质来提供。通过以计算机可读格式提供这样的程序，在信息处理装置和计算机系统中执行与程序对应的处理。
通过基于稍后描述的本公开的实施例和附图的更详细的描述，本公开的其他目的、特征和优点将变得显然。注意，说明书中的系统具有多个装置的逻辑集合的配置。该系统不限于将具有每种配置的装置放置在同一壳体中的系统。
发明的效果
根据本公开的一个实施例的配置，即使在相机安装角度偏离的情况下，也可以基于相机捕获图像来计算准确的被摄体距离。
具体地，例如，输入利用具有广角镜头的相机捕获的图像以进行畸变校正并生成校正图像。此外，计算真实世界中的垂直对象在校正图像中的倾斜度。基于垂直对象的倾斜度来计算相机的相机俯角的偏差角。考虑相机俯角偏差角来生成对象距离计算用图像。根据对象距离计算用图像来计算包括在相机捕获图像中的对象的距离。在相机俯角偏差角不等于或小于预定阈值的情况下，通过使用考虑相机俯角偏差的俯瞰图像生成用关联对应数据来生成对象距离计算用图像。
该配置允许即使在相机安装角度偏离的情况下，也能基于相机捕获图像计算准确的被摄体距离。
注意，说明书中描述的效果仅仅是说明性的而不是限制性的，并且可以呈现附加的效果。
附图说明
图1示出了安装有本公开的图像处理装置的车辆的配置示例。
图2示出了用于描述利用广角镜头捕获的图像的畸变的捕获环境示例。
图3示出了通过校正利用广角镜头捕获的图像而生成的校正图像以及图像中的像素位置之间的对应关系。
图4示出了利用正常安装的相机捕获的图像的校正图像和利用具有偏离的安装角度的相机捕获的图像的校正图像。
图5示出了由本公开的图像处理装置执行的处理。
图6示出了由本公开的图像处理装置执行的处理。
图7示出了通过使用利用具有正常相机俯角(θ)的相机捕获的图像来计算对象距离的处理的示例。
图8示出了通过利用附加有相机俯角偏差(Δθ)的相机捕获的图像来计算错误对象距离的示例。
图9示出了通过使用利用附加有相机俯角偏差(Δθ)的相机捕获的图像来计算准确的对象距离的示例。
图10示出了本公开的图像处理装置的配置示例。
图11是示出由本公开的图像处理装置执行的处理序列的流程图。
图12示出了图像处理装置的硬件配置示例。
具体实施方式
下面将参考附图描述本公开的图像处理装置、图像处理方法和程序的细节。注意，将根据以下项目给出描述。
1.相机捕获图像的变换处理的概要
2.由本公开的图像处理装置执行的处理
2-(1)计算相机俯角的偏差角(Δθ)的处理
2-(2)考虑相机俯角的偏差角(Δθ)计算被摄体距离(对象距离)的处理
2-(2)-(A)通过使用利用具有正常相机俯角的相机捕获的图像计算对象距离的处理的示例(θ)
2-(2)-(B1)通过使用利用具有安装误差的相机俯角(θ+Δθ)的相机捕获的图像计算对象距离的处理的示例(不准确的距离计算的示例)
2-(2)-(B2)通过使用利用具有安装误差的相机俯角(θ+Δθ)的相机所捕获的图像来计算对象距离的处理的示例(准确的距离计算的示例)
3.本公开的图像处理装置的配置和图像处理序列
4.本公开的图像处理装置的硬件配置示例
5.本公开的配置的概述
[1.相机捕获图像的变换处理的概要]
首先，将参考图1和随后的附图概述相机捕获图像的变换处理。
图1示出安装有本公开的图像处理装置的车辆10。相机11安装在车辆10上。
相机11捕获车辆10的后方的图像。
相机11是包括诸如鱼眼镜头的广角镜头相机，并且能够捕获车辆后方的宽区域的图像。
在该图的示例中，相机11对车辆10后方的路面20上的垂直杆30或人40进行捕获。将捕获图像输入到车辆10中的图像处理装置。在图像处理装置中执行图像校正处理。在驾驶席的监视器上显示与用肉眼观察到的图像类似的校正图像。
此外，图像处理装置基于捕获图像，计算从车辆10到垂直杆30或人40的距离(对象距离)。例如，在对象距离达到预定阈值以下的情况下，向驾驶员发出警告通知。
如图所示，由于相机11覆盖作为图像捕捉范围的车辆10的后方附近，所以相机光轴稍微向下。
在驾驶席的监视器上不是显示沿相机光轴方向的图像，即照原样的相机11的图像捕获方向，而是显示通过将利用相机11捕获的图像变换成沿车辆的后方与路面20平行的方向的图像而获得的图像。监视器显示图像的视点方向被定义为虚拟视点方向。
假设虚拟视点方向被定义为车辆的后方与路面20平行的方向，则由虚拟视点方向和相机光轴形成的角度对应于指示相机的倾斜度的相机俯角。
注意，如上所述，相机11是包括诸如鱼眼镜头的广角镜头相机，并且可以捕获车辆后方的宽区域的图像。
然而，注意，利用广角镜头捕获的图像具有畸变。
将参考图2和随后的附图描述畸变的具体示例。
如图2所示，相机11捕获大量垂直杆30在车辆10的后方以网格线竖立在路面上的状态下的图像。垂直杆30与图1中的垂直杆30相似，并且垂直地竖立在路面20上。
包括广角镜头的相机11捕获其中大量垂直杆30竖立的车辆10的后部的图像。
图3(1)是捕获图像。如图3(1)所示，捕获图像中的路面的网格图案具有弯曲畸变。此外，当垂直杆30接近图像的外围时，垂直杆30看起来倾斜度。
该畸变是由利用广角镜头捕获图像引起的。
图3(2)是通过对图3(1)的图像执行畸变校正和视点变换而生成的校正图像。
在该示例中，示出了校正图像。通过执行畸变校正和视点变换来获得校正图像。执行畸变校正，使得垂直杆30垂直地竖立。执行视点变换，使得视点方向对应于与路面平行的方向，即图1中的虚拟视点方向。校正图像被显示在驾驶席中的监视器上。
例如，通过基于相机俯角和相机镜头畸变信息的进行柱面投影的畸变校正和图像变换处理来进行将图3(1)的捕获图像变换为图3(2)的校正图像的图像变换处理。
参照图3(a1)和图3(a2)，描述图像变换中的关联对应处理的示例，即，当将图3(1)的捕获图像变换为图3(2)的校正图像时执行的像素位置关联对应处理的示例。
图3(a1)是图像变换之前的图像。可以基于相机位置(X，Y，Z)、光轴取向(偏转、俯仰、滚动)、透镜畸变数据和传感器尺寸信息来唯一地确定在三维空间中的任何点(例如，世界坐标中的任何点(x，y，z))位于图像上的哪个位置(像素位置)(H，V)。
图3(a2)是图3(a1)的图像被变换之后的图像的示例。图3(a2)的图像是通过进行视点变换以便采用与路面平行的方向、即图1中的虚拟视点方向，并进行将捕获图像进行柱面投影的图像变换而生成的。
可以通过使用关联对应数据(校正图像生成用关联对应数据)来执行图像变换，所述关联对应数据是通过将变换后的图像(校正图像)的像素位置P1(H1，V1)与变换前的图像(捕获图像)的像素位置P0(H0，V0)相对应地进行登记而获得的对应像素位置登记数据。
注意，在每个图像中，每个像素位置由坐标(H，V)表示，其中图像的左上端被定义为(H，V)＝(0，0)，水平向右方向被定义为H轴，并且竖直向下方向被定义为V轴。
使用关联对应数据允许根据变换前图像上的像素位置P0(H0，V0)计算变换后图像上的像素位置P1(H1，V1)。
此外，反过来，可以从变换后图像上的像素位置P1(H1，V1)计算变换前图像上的像素位置P0(H0，V0)。
此外，使用稍后描述的对象距离计算用图像(俯瞰图像)允许计算真实世界中的三维空间的位置，即，世界坐标中的位置(x，y，z)或对象距离(从相机(车辆)到对象(被摄体)的距离)。
这样，使用作为图像变换之前的像素位置和图像变换之后的像素位置的对应数据的校正图像生成用关联对应数据，允许将利用广角镜头捕获的图像变换成从预定视点方向(图1中的虚拟视点方向)看到的正常的相机捕获图像(校正图像(变换图像))。
然而，仅在相机11被以正常安装位置和正常安装角度安装的情况下，通过使用校正图像生成用关联对应数据可以获得正常校正图像。例如，在相机11未被以正常安装角度安装的情况下，即使执行使用预先生成的关联对应数据的像素位置变换，也不能执行向从预定视点方向(图1中的虚拟视点方向)看到的正常的相机捕获图像的变换。
图4并排示出了用正常安装的相机捕获的图像的校正图像和用安装角度偏离的相机捕获的图像的校正图像。
这里，(a)是用正常安装的相机捕获的图像的校正图像，和(b)是用安装角度偏离的相机捕获的图像的校正图像。
在(a)中，以预设的正常相机俯角(由虚拟视点方向和光轴形成的角度)来安装相机11。也就是说，进行安装以使得建立相机俯角＝θ。
相反，在(b)的相机11中建立相机俯角＝θ+Δθ。相机俯角偏离指定角度(θ)达Δθ。也就是说，相机光轴被设置为比法向安装角度低达Δθ。
这样，如果相机11的安装角度偏离，由于同一物体在图像上的显示位置彼此不同，因此在使用同一校正图像生成用关联对应数据生成的校正图像中，对象显示位置和显示方式发生变化。
如通过比较图4中的两个校正图像(a)和(b)可以理解的，在(a)中，在校正图像上垂直显示垂直杆，而在(b)中，随着垂直杆从图像的中心向右和向左分离，垂直杆以倾斜度的方式显示。
这是由使用相同的校正图像生成用关联对应数据的图像变换引起的。也就是说，这是由于使用一个校正图像生成用关联对应数据变换利用具有正常安装角度的相机捕获的图像而引起的。
[2.由本公开的图像处理装置执行的处理]
接下来，将参考图5和随后的附图描述由本公开的图像处理装置执行的处理。
本公开的图像处理装置允许即使图像是利用具有异常安装角度的相机捕获的，也可以计算到被摄体的准确距离(对象距离)。
如上参考图4所述，在利用具有偏离的安装角度的相机捕获的图像的校正图像(即，图4(b)中的校正图像)中，随着垂直杆从图像中心向左和向右分离，垂直杆以倾斜度的方式显示。
本公开的图像处理装置检测垂直于路面的对象的校正图像中的倾斜度(α)，并且基于倾斜度(α)计算相机俯角的偏差角(Δθ)。
此外，考虑所计算的相机俯角的偏离角(Δθ)来生成用于计算被摄体位置和被摄体距离的对象距离计算用图像(俯瞰图像)。通过使用所生成的对象距离计算用图像(俯瞰图像)来计算被摄体距离(对象距离)。
该处理允许即使从利用与指定的相机俯角(θ)具有偏差安装的相机捕获的图像，也可以计算正确的被摄体距离。
在下文中，将按照以下项目的顺序描述由本公开的图像处理装置执行的处理的具体示例。
(1)计算相机俯角的偏差角(Δθ)的处理
(2)考虑相机俯角的偏差角(Δθ)计算被摄体距离(对象距离)的处理
[2-(1)计算相机俯角的偏差角(Δθ)的处理]
首先，将描述计算相机俯角的偏差角(Δθ)的处理。
将参考图5描述在具有偏离的安装角度(相机俯角(θ))的相机所捕获的图像的校正图像中生成的倾斜度，即，诸如真实世界中垂直地竖立在路面上的垂直杆30的垂直对象的倾斜度。
如以上参照图4所述，如果通过使用针对利用具有相机俯角＝θ的相机捕获的图像的关联对应数据来变换利用具有并非指定角度(θ)的相机俯角＝θ+Δθ的相机捕获的图像，则变换后的图像(校正图像)不是从预定视点方向(图1中的虚拟视点方向)看到的右校正图像。
例如，随着垂直对象从图像的左右中心位置向左和向右分离，以倾斜度的方式显示真实世界中的垂直对象。
例如，在图5的示例中，距离图像的左右中心位置的距离(h1至h4)和四个垂直柱31至34的倾斜度(α1至α4)具有以下关系。
四个垂直柱31至34距离图像的左右中心位置的距离(h1至h4)具有以下关系。
h1＜h2＜h3＜h4
在这种情况下，四个垂直杆31至34的倾斜度(α1至α4)具有以下关系。
α1＜α2＜α3＜α4
这样，在现实世界中垂直地竖立在路面上的垂直对象具有随着垂直对象从校正图像的左右中心位置向右和向左分离而增加的倾斜度。
如图6所示，距离校正图像的左右中心位置的距离＝ha与垂直对象的倾斜度α的比率(α/ha)由下面的(表达式1)表示。
α/ha＝αmax/hmax……(表达式1)
在上述(表达式1)中，hmax表示从校正图像的左右中心位置向左右图像端的距离，并且αmax表示真实世界中的垂直对象在右和左图像端处的倾斜度。
这样，在通过使用针对具有相机俯角＝θ的正常安装角度的相机的校正图像生成用关联对应数据来变换利用具有相机俯角＝θ+Δθ的相机俯角偏差(Δθ)的相机捕获的图像的情况下，垂直对象具有与相机俯角偏差(Δθ)对应的倾斜度(α)。
在将通过变换处理生成的校正图像的纵横比(垂直/水平)定义为A的情况下，相机俯角偏差(Δθ)、校正图像的纵横比(垂直/水平)A、以及在校正图像的左右图像端处的真实世界中的垂直对象的倾斜度αmax之间的关系由下面的(表达式2)表示。
Δθ＝A×αmax……(表达式2)
基于上述(表达式2)和上述(表达式1)可以获得(表达式3)的以下关系表达式。
Δθ＝A×α×hmax/ha……(表达式3)
如上面的(表达式3)中所示，可以通过使用校正图像的纵横比(垂直/水平)A、从校正图像的左右中心位置向左右图像端的距离hmax、以及与校正图像的左右中心位置距离任意距离ha的垂直对象的倾斜度α的值来计算相机俯角偏差(Δθ)。
这样，如果能够检测出垂直竖立在相机的捕获区域的路面上的对象，例如，杆、标志和人，则能够根据该图像确定从校正图像的左右中心位置到对象的距离Ha和对象的倾斜度α，并且能够通过使用上面的(表达式3)来计算相机俯角偏差(Δθ)。
注意，在相机捕获图像中检测到多个(n)垂直对象并且针对垂直对象(1至n)检测到各个倾斜角(α1至αn)的情况下，可以进行基于针对各个对象的倾斜角(α1至αn)根据上述(表达式3)计算n个相机俯角偏差(Δθ1至Δθn)、计算n个计算值的平均值或中间值，以及将计算值定义为相机俯角偏差(Δθ)的处理。
[2-(2)考虑相机俯角的偏差角(Δθ)计算被摄体距离(对象距离)的处理]
接下来，将描述考虑相机俯角的偏差角(Δθ)来计算被摄体距离(对象距离)的处理。
以下三种类型的处理示例将被描述为计算被摄体距离(对象距离)的处理的具体示例。
(A)通过使用利用具有正常相机俯角(θ)的相机捕获的图像计算对象距离的处理的示例
(B1)通过使用利用具有安装误差的相机俯角(θ+Δθ)的相机捕获的图像计算对象距离的处理的示例(不准确的距离计算的示例)
(B2)通过使用利用具有安装误差的相机俯角(θ+Δθ)的相机捕获的图像计算对象距离的处理的示例(准确的距离计算的示例)
注意，本公开的图像处理装置执行上述(A)和(B2)的处理。也就是说，在以正常相机俯角(θ)安装相机的情况下和在以具有安装误差的相机俯角(θ+Δθ)安装相机的情况下，都可以正确地计算被摄体距离。
(2-(2)-(A)通过使用利用具有正常相机俯角(θ)的相机捕获的图像计算对象距离的处理的示例)
首先，将参考图7描述通过使用利用具有正常相机俯角(θ)的相机捕获的图像计算对象距离的处理的示例。
也就是说，将描述通过使用校正图像来计算对象距离的处理的示例。通过变换利用正常安装的相机捕获的图像的处理来生成校正图像。
这里，(1)图7中的捕获图像是通过安装为具有预设的正常相机俯角(由虚拟视点方向和光轴形成的角度)(即，相机俯角＝θ)的相机获得的。
与(1)的捕获图像相比，通过使用上述为变换以正常安装角度安装的相机捕获的图像而生成的校正图像生成用关联对应数据(即，校正图像生成用关联对应数据)生成(2)校正图像。
通过变换成从预定视点方向(图1中的虚拟视点方向)看到的正常相机捕获图像(校正图像(变换图像))来获得校正图像。
图7(3)是对象距离计算用图像。图7(3)是从图1中的车辆10的相机11的安装位置的更上方位置到车辆后部的斜下方观察到的俯瞰图像。与图7(1)的捕获图像相反，俯瞰图像可以通过使用为变换利用以正常安装角度安装的相机捕获的图像而生成的用于生成俯瞰图像的关联对应数据、即俯瞰图像生成用关联对应数据来生成。
通过使用这三个图像来计算对象距离。在此，说明计算图7(2)的校正图像中的到一个垂直杆81的距离的示例。
将图7(2)的校正图像中的一个垂直杆81与路面的交点的像素位置、即校正图像中的像素位置设为(Ha，Va)。
可以参考校正图像生成用关联对应数据来确定指示捕获图像中的对应像素位置的坐标(H0，V0)。关联对应数据是其中登记了图7(1)的捕获图像和图7(2)的校正图像的对应像素位置的关联对应。
另外，参考俯瞰图像生成用关联对应数据，可以获得指示捕获图像内的像素位置的坐标(H0，V0)的图7(3)的对象距离计算用图像(俯瞰图像)的对应像素位置(Hb，Vb)。关联对应数据是其中登记图7(1)的捕获图像和图7(3)的对象距离计算用图像(俯瞰图像)的对应像素位置的关联对应。
对象距离计算用图像(俯瞰图像)的对应像素位置(Hb，Vb)是图7(2)的校正图像中的一个垂直杆81与路面的交点的像素位置，即，校正图像中的像素位置(Ha，Va)的对应像素位置。
图7(3)的对象距离计算用图像(俯瞰图像)是通过对路面进行同等缩放而获得的变换图像，即反映真实世界中的位置的俯瞰图像，从而可以根据对象距离计算用图像(俯瞰图像)的像素位置(Hb，Vb)来确定指示真实世界中的位置的坐标。在该示例中，垂直杆81与路面的交点位于从相机起的左侧3m和深度侧3m的位置处。
假定相机11位于车辆10的后面的中心位置，则可以分析垂直杆81是垂直竖立在车辆后方3m和车辆宽度中心左侧3m的位置处的对象。
(2-(2)-(B1)通过使用利用具有安装误差的相机俯角(θ+Δθ)的相机捕获的图像来计算对象距离的处理的示例(不准确的距离计算的示例)]
接下来，将描述通过使用利用具有安装误差的相机俯角(θ+Δθ)的相机捕获的图像来计算对象距离的处理的示例(不准确的距离计算的示例)。
注意，本公开的图像处理装置不执行该处理。在描述由本公开的图像处理装置执行的处理之前，将描述在通过使用利用具有安装误差的相机俯角(θ+Δθ)的相机捕获的图像来计算对象距离的处理中不能计算准确距离的示例。
在参考图7描述的对象距离分析处理的示例中，使用利用以预定相机俯角＝θ正确安装的相机捕获的图像。
将参考图8描述不能计算正确距离的示例。在该示例中，相机未被以预定相机俯角＝θ正确地安装，即，通过使用利用附加有相机俯角偏差(Δθ)的相机捕获的图像来计算对象距离。
这里，图8中的(1)捕获图像是由附加有与预设的正常相机俯角(由虚拟视点方向和光轴形成的角度)(即，相机俯角＝θ)不同的相机俯角偏差(Δθ)的相机(即，具有相机俯角＝θ+Δθ的相机)获得的。
与(1)的捕获图像相反，通过使用上述为变换以正常安装角度安装的相机捕获的图像而生成的校正图像生成用关联对应数据(即校正图像生成用关联对应数据)生成图8(2)的校正图像。
通过变换成从预定视点方向(图1中的虚拟视点方向)看到的正常相机捕获图像(校正图像(变换图像))来获得校正图像。
图8(1)的捕获图像是用具有不同于正常相机俯角＝θ的相机俯角偏差(Δθ)(即，相机俯角＝θ+Δθ)的相机捕获的。因此，如果使用用于利用具有正常安装角度的相机捕获的图像的校正图像生成用关联对应数据，则不执行校正变换。结果，显示图8(2)的校正图像中的垂直杆，使得随着垂直杆从图像的左右中心向图像的左右方向分离，倾斜度增加。
图8(3)是对象距离计算用图像。图8(3)是从图1中的车辆10的相机11的安装位置的更上方位置到车辆后方的斜下方观察到的俯瞰图像。俯瞰图像还通过使用用于根据利用以正常安装角度(相机俯角＝θ)安装的相机捕获到的图像来生成俯瞰图像的俯瞰图像生成用关联对应数据来生成俯瞰图像。
也就是说，在图8(3)的俯瞰图像中，不考虑相机俯角的偏差(Δθ)。
如果通过使用三个图像来计算对象距离，则不能计算正确的对象距离。
以与图7相同的方式，说明计算图8(2)的校正图像中的到一个垂直杆81的距离的示例。
图8(2)的校正图像中的一个垂直杆81与路面的交点的像素位置、即校正图像中的像素位置被定义为(Ha2，Va2)。
可以参考校正图像生成用关联对应数据来确定指示捕获图像中的对应像素位置的坐标(H02，V02)。
此外，参考俯瞰图像生成用关联对应数据，可以获得指示捕获图像中的像素位置的坐标(H02，V02)的图8(3)中的对象距离计算用图像(俯瞰图像)的对应像素位置(Hb2，Vb2)。关联对应数据是其中图8(1)中的捕获图像和图8(3)中的对象距离计算用图像(俯瞰图像)的对应像素位置被登记的关联对应。
但是，注意，在此使用的俯瞰图像生成用关联对应数据是用于根据利用以正常安装角度(相机俯角＝θ)安装的相机捕获到的图像来生成俯瞰图像的俯瞰图像生成用关联对应数据。
因此，对象距离计算用图像(俯瞰图像)的对应像素位置(Hb2、Vb2)不指示实际的正确对象距离。
图8(3)的对象距离计算用图像(俯瞰图像)的对应像素位置(Hb2、Vb2)位于从相机起的左侧4m、深度侧4m的位置。这与垂直杆81的实际位置不同。也就是说，这与上面参照图7描述的从相机起的左侧3m和深度侧3m的位置不同。生成宽度为1m、深度为1m的距离测量偏差。
这是因为相机未被以预定相机俯角＝θ正确地安装。
(2-(2)-(B2)通过使用具有安装误差的相机俯角(θ+Δθ)的相机捕获的图像来计算对象距离的处理的示例(准确的距离计算的示例)]
接下来，将描述通过使用利用具有安装误差的相机俯角(θ+Δθ)的相机捕获的图像来计算对象距离的处理的示例(准确的距离计算的示例)。
将参照图9描述即使在相机未以预定相机俯角＝θ正确地安装的情况下，也可以执行正确的对象距离计算处理而不产生距离偏差的处理示例。
以与图8中的方式类似的方式，图9示出了在没有以预定相机俯角＝θ正确地安装相机的情况下，即，在使用利用附加有相机俯角偏差(Δθ)的相机捕获的图像的情况下的处理示例。
以与图8(1)的捕获图像类似的方式，图9中的(1)捕获图像是通过附加有与预设的正常相机俯角(由视点方向与光轴所成的角度)(即相机俯角＝θ)不同的相机俯角偏差(Δθ)的相机(即，具有相机俯角＝θ+Δθ的相机)获得的。
图9(2)的校正图像与图8(2)的校正图像相似。也就是说，与图9(1)的捕获图像不同，使用为变换以正常的安装角度安装的相机捕获的图像而生成的上述校正图像生成用关联对应数据(即，校正图像生成用关联对应数据)生成校正图像。
通过变换成从预定视点方向(图1中的虚拟视点方向)看到的正常相机捕获图像(校正图像(变换图像))来获得校正图像。
图9(1)中的捕获图像是用具有不同于正常相机俯角＝θ的相机俯角偏差(Δθ)(即，相机俯角＝θ+Δθ)的相机捕获的。因此，如果使用针对用以正常安装角度的相机捕获的图像的校正图像生成用关联对应数据，则不执行校正变换。结果，显示图9(2)的校正图像中的垂直杆，使得随着垂直杆从图像的左右中心向图像的左右方向分离，倾斜角增加。
图9(3)是对象距离计算用图像。图9(3)是从图1中的车辆10的相机11的安装位置的更上方位置到车辆后部的斜下方观察到的俯瞰图像。俯瞰图像还通过使用用于根据利用以正常安装角度(相机俯角＝θ)安装的相机捕获到的图像来生成俯瞰图像的俯瞰图像生成用关联对应数据来生成。
也就是说，考虑相机俯角的偏差(Δθ)生成图9(3)中的俯瞰图像。
如果通过使用三个图像来计算对象距离，则可以计算正确的对象距离。
也就是说，可以通过考虑相机俯角的偏差(Δθ)生成图9(3)的对象距离计算用图像，并通过使用该图像计算对象距离，来计算正确的对象距离。
以与图7和8类似的方式，将描述计算图9(2)的校正图像中到一个垂直杆81的距离的示例。
图9的(2)的校正图像中的一个垂直杆81与路面的交点的像素位置、即校正图像中的像素位置被定义为(Ha3，Va3)。
可以参考校正图像生成用关联对应数据来确定指示捕获图像中的对应像素位置的坐标(H03，V03)。
此外，参考俯瞰图像生成用关联对应数据，可以获得指示捕获图像中的像素位置的坐标(H03，V03)的图9(3)中的对象距离计算用图像(俯瞰图像)的对应像素位置(Hb3，Vb3)。关联对应数据是其中图9(1)中的捕获图像和图9(3)中的对象距离计算用图像(俯瞰图像)的对应像素位置被登记的关联对应。
这里使用的俯瞰图像生成用关联对应数据不是用于根据利用以正常安装角度(相机俯角＝θ)安装的相机捕获到的图像来生成俯瞰图像的俯瞰图像生成用关联对应数据。这里使用的俯瞰图像生成用关联对应数据是考虑到已捕获图9(1)的捕获图像的实际相机的相机俯角偏差(Δθ)的俯瞰图像生成用关联对应数据。也就是说，这里使用的俯瞰图像生成用关联对应数据是用于根据利用以相机俯角＝θ+Δθ安装的相机捕获到的图像来生成俯瞰图像的俯瞰图像生成用关联对应数据。
通过使用考虑已经捕获图9(1)的捕获图像的实际相机的相机俯角偏差(Δθ)的俯瞰图像生成用关联对应数据来计算图9(1)的捕获图像和图9(3)的对象距离计算用图像(俯瞰图像)的对应像素位置，以产生图9(3)的对象距离计算用图像(俯瞰图像)。
结果，图9(3)中的对象距离计算用图像(俯瞰图像)中的图9(1)捕获图像中的坐标(H03，V03)的对应像素位置(Hb3，Vb3)指示实际正确的对象距离。
图9(3)中的对象距离计算用图像(俯瞰图像)的(Hb3，Vb3)的对应像素位置指示从相机起的左侧3m、深度侧3m的位置。这对应于垂直杆81的实际位置。也就是说，这是与以上参照图7描述的从相机起的左侧3m和深度侧3m的位置匹配的正确的对象距离。
这样，可以通过考虑相机俯角的偏差(Δθ)生成图9(3)中的对象距离计算用图像，并通过使用该图像计算对象距离来计算正确的对象距离。
[3.本公开的图像处理装置的配置和图像处理顺序]
接下来，将描述本公开的图像处理装置的配置和图像处理序列。
首先，将参考图10描述本公开的图像处理装置的配置。
图10是示出本公开的图像处理装置100的一个配置示例的框图。
如图10所示，本公开的图像处理装置100包括成像单元(相机)101、校正图像生成单元102、垂直对象倾斜度计算单元103、相机俯角偏差计算单元104、对象距离计算用图像生成单元105和对象距离计算单元106。
注意，成像单元(相机)101不是图像处理装置100的组件所必需的。图像处理装置100不需要包括成像单元(相机)101。图像处理装置100可以处理从外部输入的图像。
在下文中，将描述由图1中的图像处理装置100的每个组件执行的处理。
成像单元(相机)101捕获图像。成像单元(相机)101对应于安装在图1中的车辆10上的相机11。
成像单元(相机)101是包括诸如鱼眼镜头的广角镜头的相机。
成像单元(相机)101的捕获图像被输入到校正图像生成单元102。
校正图像生成单元102对成像单元(相机)101的捕获图像进行校正处理以生成校正图像。
具体地，通过对成像单元(相机)101的捕获图像执行畸变校正和视点变换来生成校正图像。
这是根据以上参考图7至图9描述的(1)捕获图像生成(2)校正图像的处理。
如上所述，通过例如基于相机俯角和相机镜头畸变信息的执行柱面投影的畸变校正以及图像变换处理，执行从(1)捕获图像到(2)校正图像的变换的图像变换处理。作为具体处理，通过针对相应像素位置的关联对应处理来生成校正图像。
也就是说，通过使用关联对应数据(校正图像生成用关联对应数据)生成校正图像，该关联对应数据是通过将变换后的图像(校正图像)的像素位置P1(H1、V1)与变换前的图像(捕获图像)的像素位置P0(H0，V0)对应地登记而得到的对应像素位置登记数据。
注意，这里使用的校正图像生成用关联对应数据是针对以正确的相机俯角＝θ设置并且按照指定正确地安装的相机捕获图像的关联对应数据，并且预先存储在图像处理装置100的存储单元中。
对由校正图像生成单元102生成的校正图像执行视点变换，使得视点方向对应于平行于路面的方向，即图1中的虚拟视点方向。校正图像被显示在驾驶席的监视器上。
由校正图像生成单元102生成的校正图像被输入到垂直对象倾斜度计算单元103。
垂直对象倾斜度计算单元103从由校正图像生成单元102生成的校正图像中提取垂直竖立在真实世界中的路面上的垂直对象，并且计算垂直对象的倾斜度(α)。
注意，在现实世界中垂直地竖立在路面上的垂直对象可以选自道路上的各种被摄体，例如，标志、信号、电线杆、其他杆和人。
垂直对象倾斜度计算单元103计算校正图像生成单元102中的垂直对象的倾斜度(α)。
如上所述，在通过使用针对利用具有相机俯角＝θ的相机捕获的图像的校正图像生成用关联对应数据来变换利用具有指定角度(θ)的相机俯角的相机捕获的图像的情况下，在校正图像中垂直显示真实世界中的垂直对象。
然而，在通过使用针对利用具有相机俯角＝θ的相机捕获的图像的关联对应数据来变换利用具有并非指定角度(θ)的相机俯角＝θ+Δθ的相机捕获的图像的情况下，随着垂直对象从图像的左右中心位置向左右分离，以更倾斜的方式显示真实世界中的垂直对象。
垂直对象倾斜度计算单元103从由校正图像生成单元102生成的校正图像中提取真实世界中的垂直竖立在路面上的垂直对象，并且计算垂直对象的倾斜度(α)。
由垂直对象倾斜度计算单元103计算出的垂直对象的倾斜度(α)被输入至相机俯角偏差计算单元104。
相机俯角偏差计算单元104通过使用由垂直对象倾斜度计算单元103计算出的垂直对象的倾斜度(α)来计算相对于成像单元(相机)101的俯角的基准角(θ)的偏差角(Δθ)。
相机俯角偏差计算单元104根据上述(表达式3)计算成像单元(相机)101的相机俯角的偏差角(Δθ)。
Δθ＝A×α×hmax/ha……(表达式3)
在上述(表达式3)中，A表示校正图像的纵横比(垂直/水平)，hmax表示从校正图像的左右中心位置向左右图像端的距离(图像长度或像素数)，α表示垂直对象的倾斜度，并且ha表示距离垂直对象的校正图像的左右中心位置的距离ha(图像长度或像素数)。
注意，如上所述，在相机捕获图像中检测到多个(n)垂直对象并且针对垂直对象(1至n)检测到各个倾斜度(α1至αn)的情况下，可以进行以下处理，即，基于针对各对象的倾斜度(α1至αn)，根据上述(表达式3)计算n个相机俯角偏差(Δθ1至Δθn)，计算n个计算值的平均值或中间值，并且将计算出的值定义为相机俯角偏差(Δθ)。
注意，在成像单元(相机)101以指定相机俯角(θ)正常安装的情况下，由相机俯角偏差计算单元104计算的相机俯角偏差(Δθ)为0，即，Δθ＝0成立。
由相机俯角偏差计算单元104计算出的相机俯角偏差(Δθ)被输入到对象距离计算用图像(俯瞰图像)生成单元105。
对象距离计算用图像(俯瞰图像)生成单元105考虑由相机俯角偏差计算单元104计算出的相机俯角的偏差角(Δθ)来生成对象距离计算用图像(俯瞰图像)。
该处理对应于例如生成参照图9所述的图9(3)中的对象距离计算用图像(俯瞰图像)的处理。
对象距离计算用图像(俯瞰图像)生成单元105通过使用俯瞰图像生成用关联对应数据来生成对象距离计算用图像(俯瞰图像)。
在这里使用的俯瞰图像生成用关联对应数据中，考虑成像单元(相机)101的相机俯角偏差(Δθ)。也就是说，这里使用的俯瞰图像生成用关联对应数据是用于根据利用以相机俯角＝θ+Δθ安装的相机捕获到的图像来生成俯瞰图像的俯瞰图像生成用关联对应数据。
注意，在由相机俯角偏差计算单元104计算相机俯角偏差Δθ＝0的情况下，即，在以指定的相机俯角(θ)正常安装成像单元(相机)101的情况下，从相机俯角偏差计算单元104输入的相机俯角的偏差角：Δθ＝0成立。
在该情况下，对象距离计算用图像(俯瞰图像)生成单元105通过使用用于根据以正常安装角度(相机俯角＝θ)安装的相机所捕获的图像来生成俯瞰图像的俯瞰图像生成用关联对应数据来生成对象距离计算用图像(俯瞰图像)。
对象距离计算用图像(俯瞰图像)对应于上面参照图7(3)所述的对象距离计算用图像(俯瞰图像)。
注意，俯瞰图像生成用关联对应数据被预先存储在图像处理装置100的存储单元中。例如，存储与预定范围内的相机俯角偏差Δθ相对应的多个数据。具体而言，例如，在存储单元中存储Δθ＝-5°+5°的范围内的多个关联对应数据。
或者，也可以采用存储单元仅存储一个Δθ＝0的关联对应数据、和用于将关联对应数据变换为在Δθ＝-5°+5°的范围内的关联对应数据的参数的配置。
这样，对象距离计算用图像(俯瞰图像)生成单元105选择性地执行以下两种处理中的任一种。
(处理1)在由相机俯角偏差计算单元104计算出的相机俯角偏差Δθ＝0成立的情况下，通过使用用于根据以正常安装角度(相机俯角＝θ)安装的相机所捕获的图像来生成俯瞰图像的俯瞰图像生成用关联对应数据来生成对象距离计算用图像(俯瞰图像)。
(处理2)在由相机俯角偏差计算单元104计算出的相机俯角偏差Δθ≠0成立的情况下，通过考虑到成像单元(相机)101的相机俯角偏差(Δθ)，使用俯瞰图像生成用关联对应数据来生成对象距离计算用图像(俯瞰图像)。
上述(处理1)与以上参照图7描述的处理相对应，并且(处理2)与参照图9描述的处理相对应。
由对象距离计算用图像(俯瞰图像)生成单元105生成的对象距离计算用图像(俯瞰图像)被输入至对象距离计算单元106。
对象距离计算单元106通过使用由对象距离计算用图像(俯瞰图像)生成单元105生成的对象距离计算用图像(俯瞰图像)，来计算利用成像单元(相机)101捕获的图像中所包括的各种被摄体(对象)的距离。
如上参考例如图7所述，对象距离计算用图像(俯瞰图像)是通过同等缩放路面而获得的变换图像，从而可以根据对象距离计算用图像(俯瞰图像)的像素位置来确定指示真实世界中的位置的坐标。可以根据指示真实世界中的位置的坐标来计算距离相机(＝车辆)的距离，即，被摄体距离(对象距离)。
接下来，将参考图11中的流程图描述由本公开的图像处理装置100执行的图像处理，具体地，基于相机捕获图像的被摄体距离的计算序列。
注意，可以在包括例如具有根据存储在图像处理装置的存储单元中的程序执行功能的CPU的数据处理单元的控制下执行根据图11中的流程图的处理。
下面将顺序描述图11中的流程的每个步骤的处理。
(步骤S101)
首先，在步骤S101中，成像单元(相机)101捕获图像。与图1中安装在车辆10上的相机11相对应的成像单元(相机)101捕获图像。
注意，例如，成像单元(相机)101是包括诸如鱼眼镜头的广角镜头的相机，并捕获图7(1)和9(1)中的图像。
(步骤S102)
接下来，在步骤S102中，对在步骤S101中由成像单元(相机)101捕获的图像执行图像变换处理(校正处理)，以生成校正图像。
图10中的校正图像生成单元102执行该处理。
校正图像生成单元102生成通过对成像单元(相机)101的捕获图像执行畸变校正和视点变换所获得的校正图像。具体而言，通过使用关联对应数据(校正图像生成用关联对应数据)来生成校正图像，该关联对应数据是通过将变换后的图像(校正图像)的像素位置P1(H1，V1)与变换前的图像(捕获图像)的像素位置P0(H0，V0)相对应地进行登记而获得的对应像素位置登记数据。
注意，这里使用的校正图像生成用关联对应数据是针对以正确的相机俯角＝θ设置并且如指定的那样正确地安装的相机的相机捕获图像的关联对应数据。
在步骤S102中生成的校正图像是通过进行视点变换，使得视点方向与平行于路面的方向(即图1的虚拟视点方向)对应而获得的。在驾驶席的监视器上显示校正图像。
(步骤S103)
接着，在步骤S103中，从在S102中生成的校正图像中提取真实世界中的垂直竖立在路面上的垂直对象，并且计算垂直对象的倾斜度(α)。垂直对象可以选自道路上的各种被摄体，例如，标志、信号、电线杆、其他杆和人。
如上所述，在通过使用针对利用具有相机俯角＝θ的相机捕获的图像的校正图像生成用关联对应数据来变换利用具有指定角度(θ)的相机捕获的图像的情况下，在校正图像中垂直显示真实世界中的垂直对象。
然而，在通过使用针对利用具有相机俯角＝θ的相机捕获的图像的关联对应数据来变换利用具有并非指定角度(θ)的相机俯角＝θ+Δθ的相机捕获的图像的情况下，随着垂直对象从图像的左右中心位置向左右分离，以更倾斜的方式显示真实世界中的垂直对象。
在步骤S103中，垂直对象倾斜度计算单元103从由校正图像生成单元102生成的校正图像中提取真实世界的垂直竖立在路面上的垂直对象，并计算垂直对象的倾斜度(α)。
(步骤S104)
接着，在步骤S104中，通过使用在步骤S103中检测到的垂直对象的倾斜度(α)，根据成像单元(相机)101的俯角的基准角(θ)来计算偏差角(Δθ)。
图10中的相机俯角偏差计算单元104执行该处理。
相机俯角偏差计算单元104根据以下(表达式3)计算成像单元(相机)101的相机俯角的偏差角(Δθ)。
Δθ＝A×α×hmax/ha……(表达式3)
在上述(表达式3)中，A表示校正图像的纵横比(垂直/水平)，hmax表示从校正图像的左右中心位置向左右图像端的距离(图像长度或像素数)，α表示垂直对象的倾斜度，并且ha表示距离垂直对象的校正图像的左右中心位置的距离ha(图像长度或像素数)。
注意，如上所述，在相机捕获图像中检测到多个(n)垂直对象并且针对垂直对象(1至n)检测到各个倾斜度(α1至αn)的情况下，可以进行以下处理，即，基于针对各对象的倾斜度(α1至αn)，根据上述(表达式3)计算n个相机俯角偏差(Δθ1至Δθn)，计算n个计算值的平均值或中间值，并且将计算出的值定义为相机俯角偏差(Δθ)。
注意，在成像单元(相机)101以指定相机俯角(θ)正常安装的情况下，由相机俯角偏差计算单元104计算的相机俯角偏差(Δθ)为0，即，Δθ＝0成立。
(步骤S105)
图10中的对象距离计算用图像(俯瞰图像)生成单元105执行步骤S105至S107的处理。
对象距离计算用图像(俯瞰图像)生成单元105考虑由相机俯角偏差计算单元104计算出的相机俯角的偏差角(Δθ)来生成对象距离计算用图像(俯瞰图像)。
首先，在步骤S105中，对象距离计算用图像(俯瞰图像)生成单元105判定在步骤S104中由相机俯角偏差计算单元104计算出的相机俯角偏差Δθ是否等于或小于预定阈值Th。
如果判定相机俯角偏差Δθ等于或小于预定阈值Th，则处理进入步骤S106。
相反，如果判断相机俯角偏差Δθ不等于或小于预定阈值Th，则处理进入步骤S107。
(步骤S106)
如果在步骤S105中判定相机俯角偏差Δθ等于或小于预定阈值Th，则执行步骤S106的处理。
相机俯角偏差Δθ等于或小于预定阈值Th的事实意味着成像单元(相机)101以基本上垂直的安装角度(相机俯角＝θ)安装。
在这种情况下，在步骤S106中，通过使用用于根据以正常安装角度(相机俯角＝θ)安装的相机所捕获的图像生成俯瞰图像的俯瞰图像生成用关联对应数据来生成对象距离计算用图像(俯瞰图像)。
该处理对应于生成参考图7所述的图7(3)中的对象距离计算用图像(俯瞰图像)的处理。
(步骤S107)
相反，如果在步骤S105中判定相机俯角偏差Δθ不等于或小于预定阈值Th，则执行步骤S107的处理。
相机俯角偏差Δθ不等于或小于预定阈值Th的事实意味着成像单元(相机)101未被以基本上垂直的安装角度(相机俯角＝θ)安装。
成像单元(相机)101的相机俯角具有偏差(Δθ)，并且相机俯角＝θ+Δθ成立。
在这种情况下，在步骤S107中，通过使用考虑成像单元(相机)101的相机俯角偏差(Δθ)的俯瞰图像生成用关联对应数据来生成对象距离计算用图像(俯瞰图像)。
该处理对应于生成参考图9所述的图9(3)中的对象距离计算用图像(俯瞰图像)的处理。
(步骤S108)
最后，在步骤S108中，通过使用在步骤S106和S107中由对象距离计算用图像(俯瞰图像)生成单元105生成的对象距离计算用图像(俯瞰图像)来计算被摄体距离(对象距离)。
图10中的对象距离计算单元106执行该处理。
在步骤S108中，对象距离计算单元106通过使用在步骤S106和S107中由对象距离计算用图像(俯瞰图像)生成单元105生成的对象距离计算用图像(俯瞰图像)，来计算利用成像单元(相机)101捕获的图像中所包括的各种被摄体(对象)的距离。
如上所述，对象距离计算用图像(俯瞰图像)是通过对路面进行同等缩放而获得的变换图像，从而使得可以根据对象距离计算用图像(俯瞰图像)的像素位置来确定指示真实世界中的位置的坐标。可以根据指示真实世界中的位置的坐标来计算距离相机(＝车体)的距离，即，被摄体距离(对象距离)。
如上所述，本公开的图像处理装置可以在利用具有正常安装角度的相机捕获的图像和利用具有异常安装角度的相机捕获的图像的两种情况下准确地计算到被摄体的距离(对象距离)。
[4.本公开的图像处理装置的硬件配置示例]
接下来，将参考图12描述上述实施例中描述的图像处理装置100的硬件配置示例。
图12示出执行本公开的处理的图像处理装置的硬件配置示例。
中央处理单元(CPU)301起根据存储在只读存储器(ROM)302或存储单元308中的程序执行各种处理的控制单元和数据处理单元的作用。例如，根据上述实施例中描述的顺序执行处理。例如，将由CPU 301执行的程序和数据存储在随机存取存储器(RAM)303中。这些CPU 301、ROM 302和RAM 303通过总线304相互连接。
CPU 301经由总线304连接到输入/输出接口305。输入单元306和输出单元307连接到输入/输出接口305。输入单元306输入成像单元321的捕获图像，并且包括例如使得能够进行用户输入的各种开关、键盘、鼠标和麦克风。输出单元307将数据输出到显示单元322、扬声器等。CPU 301根据从输入单元306输入的命令执行各种处理，并将处理结果输出到例如输出单元307。
连接到输入/输出接口305的存储单元308包括例如硬盘，并且存储要由CPU 301执行的程序和各种数据。通信单元309起在经由诸如因特网和局域网的网络的Wi-Fi通信、蓝牙(注册商标)(BT)通信和其他数据通信中的发送/接收单元的作用，并与外部装置通信。
连接到输入/输出接口305的驱动器310驱动包括磁盘、光盘、磁光盘和诸如存储卡的半导体存储器的可移除介质311。驱动器310记录或读取数据。
[5.本公开的配置概要]
以上已经参考具体实施例详细描述了本公开的实施例。然而，显然，本领域技术人员可以在不脱离本公开的主旨的情况下修改或替换实施例。也就是说，本发明已经以示例的形式公开，并且不应该被限制性地解释。应当考虑权利要求以便确定本公开的要点。
注意，在说明书中公开的技术可以具有如下配置。
(1)一种图像处理装置，包括：
校正图像生成单元，其通过输入利用具有广角镜头的相机捕获的图像来进行畸变校正，并生成校正图像；
垂直对象倾斜度计算单元，其计算真实世界中的垂直对象在校正图像中的倾斜度；
相机俯角偏差计算单元，其基于垂直对象的倾斜度来计算所述相机的相机俯角的偏差角；
对象距离计算用图像生成单元，其生成考虑到所述相机的相机俯角偏差角的对象距离计算用图像；以及
对象距离计算单元，其参考所述对象距离计算用图像来计算包括在利用所述相机捕获的图像中的对象的距离。
(2)根据(1)所述的图像处理装置，
其中，所述校正图像生成单元通过使用像素位置被关联对应的校正图像生成用关联对应数据来生成所述校正图像，所述关联对应数据用于将利用具有指定的相机俯角的相机捕获的图像变换成来自预定视点方向的图像。
(3)根据(1)或(2)所述的图像处理装置，
其中，所述相机俯角偏差计算单元计算与作为由所述相机的光轴方向和所述校正图像的视点方向形成的角度的相机俯角的指定角度的偏差角。
(4)根据(1)至(3)中的任一项所述的图像处理装置，
其中，所述相机俯角偏差计算单元通过使用校正图像的纵横比(垂直/水平)A、从校正图像的左右中心位置到左右的图像端的距离hmax、以及与校正图像的左右中心位置相距任意距离ha的垂直对象的倾斜角α来根据表达式Δθ＝A×α×hmax/ha计算所述相机的相机俯角的偏差角Δθ。
(5)根据(1)至(4)中的任一项所述的图像处理装置，
其中，所述相机俯角偏差计算单元基于与利用所述相机捕获的图像中的多个(n个)垂直对象分别对应的多个倾斜度(α1至αn)来计算n个相机俯角偏差(Δθ1至Δθn)，并且计算所计算出的n个相机俯角偏差(Δθ1至Δθn)的平均值或中间值作为最终相机俯角偏差(Δθ)。
(6)根据(1)至(5)中的任一项所述的图像处理装置，
其中，所述对象距离计算用图像生成单元生成反映真实世界中的位置的俯瞰图像作为对象距离计算用图像。
(7)根据(1)至(6)中的任一项所述的图像处理装置，
其中，在所述相机的相机俯角偏差角等于或小于指定阈值的情况下，所述对象距离计算用图像生成单元通过使用根据利用以正常安装角度安装的相机所捕获的图像生成俯瞰图像的俯瞰图像生成用关联对应数据来生成所述对象距离计算用图像。
(8)根据(1)至(7)中的任一项所述的图像处理装置，
其中，在所述相机的相机俯角偏差角不等于或小于指定阈值的情况下，所述对象距离计算用图像生成单元通过利用考虑到所述相机的相机俯角偏差的俯瞰图像生成用关联对应数据来生成所述对象距离计算用图像。
(9)一种在图像处理装置中执行的图像处理方法，包括以下步骤：
校正图像生成单元通过输入利用具有广角镜头的相机捕获的图像来进行畸变校正，并生成校正图像；
垂直对象倾斜度计算单元计算真实世界中的垂直对象在所述校正图像中的倾斜度；
相机俯角偏差计算单元基于垂直对象的倾斜度来计算所述相机的相机俯角的偏差角；
对象距离计算用图像生成单元生成考虑到所述相机的相机俯角偏差角的对象距离计算用图像；以及
对象距离计算单元参考所述对象距离计算用图像来计算包括在利用所述相机捕获的图像中的对象的距离。
(10)一种使得在图像处理装置中执行图像处理的程序，该程序使得：
校正图像生成单元通过输入利用具有广角镜头的相机捕获的图像来进行畸变校正，并生成校正图像；
垂直对象倾斜度计算单元计算真实世界中的垂直对象在所述校正图像中的倾斜度；
相机俯角偏差计算单元基于垂直对象的倾斜度来计算所述相机的相机俯角的偏差角；
对象距离计算用图像生成单元生成考虑到所述相机的相机俯角偏差角的对象距离计算用图像；以及
对象距离计算单元参考所述对象距离计算用图像来计算包括在利用所述相机捕获的图像中的对象的距离。
此外，说明书中描述的一系列处理可以通过硬件、软件或两者的组合配置来执行。在通过软件执行处理的情况下，可以通过将记录有处理序列的程序安装在专用硬件中所包含的计算机的存储器中或者安装在能够执行各种处理的通用计算机中来执行该程序。例如，程序可以被预先记录在记录介质中。除了从记录介质安装在计算机中之外，还可以经由诸如局域网(LAN)和因特网的网络来接收程序，并且可以将程序安装在诸如内置硬盘的记录介质中。
注意，说明书中描述的各种处理不仅可以根据描述按时间顺序执行，而且可以根据处理能力或执行处理的装置的需要并行或单独执行。此外，说明书中的系统具有多个装置的逻辑集合的配置。该系统不限于将具有每种配置的装置放置在同一壳体中的系统。
工业适用性
如上所述，根据本公开的一个实施例的配置，即使在相机的安装角度偏离的情况下，也可以基于相机捕获图像来计算准确的被摄体距离。
具体地，例如，输入利用具有广角镜头的相机捕获的图像以执行畸变校正并生成校正图像。此外，计算真实世界中的垂直对象在校正图像中的倾斜度。基于垂直对象的倾斜度来计算相机的相机俯角的偏差角。考虑到相机俯角偏差角来生成对象距离计算用图像。根据对象距离计算用图像来计算包括在相机捕获图像中的对象的距离。在相机俯角偏差角不等于或小于预定阈值的情况下，通过使用考虑相机俯角偏差的俯瞰图像生成用关联对应数据来生成对象距离计算用图像。
该配置使得即使在相机安装角度偏离的情况下，也可以基于相机捕获图像计算准确的被摄体距离。
附图标记列表
10车辆
11相机
20路面
30垂直杆
40人
81垂直杆
100图像处理装置
101成像单元(相机)
102校正图像生成单元
103垂直对象倾斜度计算单元
104相机俯角偏差计算单元
105对象距离计算用图像生成单元
106对象距离计算单元
301CPU
302ROM
303RAM
304总线
305输入/输出接口
306输入单元
307输出单元
308存储单元
309通信单元
310驱动器
311可移除介质
321成像单元
322显示单元

Claims (10)

1.一种图像处理装置，包括：
校正图像生成单元，其通过输入利用具有广角镜头的相机捕获的图像来进行畸变校正，并生成校正图像；
垂直对象倾斜度计算单元，其计算真实世界中的垂直对象在校正图像中的倾斜度；
相机俯角偏差计算单元，其基于垂直对象的倾斜度来计算所述相机的相机俯角的偏差角；
对象距离计算用图像生成单元，其生成考虑到所述相机的相机俯角偏差角的对象距离计算用图像；以及
对象距离计算单元，其参考所述对象距离计算用图像来计算包括在利用所述相机捕获的图像中的对象的距离。
2.根据权利要求1所述的图像处理装置，
其中，所述校正图像生成单元通过使用像素位置被关联对应的校正图像生成用关联对应数据来生成所述校正图像，所述关联对应数据用于将利用具有指定的相机俯角的相机捕获的图像变换成来自预定视点方向的图像。
3.根据权利要求1所述的图像处理装置，
其中，所述相机俯角偏差计算单元计算与作为由所述相机的光轴方向和所述校正图像的视点方向形成的角度的相机俯角的指定角度的偏差角。
4.根据权利要求1所述的图像处理装置，
其中，所述相机俯角偏差计算单元通过使用校正图像的纵横比(垂直/水平)A、从校正图像的左右中心位置到左右的图像端的距离hmax、以及与校正图像的左右中心位置相距任意距离ha的垂直对象的倾斜角α来根据表达式Δθ＝A×α×hmax/ha计算所述相机的相机俯角的偏差角Δθ。
5.根据权利要求1所述的图像处理装置，
其中，所述相机俯角偏差计算单元基于与利用所述相机捕获的图像中的多个(n个)垂直对象分别对应的多个倾斜度(α1至αn)来计算n个相机俯角偏差(Δθ1至Δθn)，并且计算所计算出的n个相机俯角偏差(Δθ1至Δθn)的平均值或中间值作为最终相机俯角偏差(Δθ)。
6.根据权利要求1所述的图像处理装置，
其中，所述对象距离计算用图像生成单元生成反映真实世界中的位置的俯瞰图像作为对象距离计算用图像。
7.根据权利要求1所述的图像处理装置，
其中，在所述相机的相机俯角偏差角等于或小于指定阈值的情况下，所述对象距离计算用图像生成单元通过使用根据利用以正常安装角度安装的相机所捕获的图像生成俯瞰图像的俯瞰图像生成用关联对应数据来生成所述对象距离计算用图像。
8.根据权利要求1所述的图像处理装置，
其中，在所述相机的相机俯角偏差角不等于或小于指定阈值的情况下，所述对象距离计算用图像生成单元通过利用考虑到所述相机的相机俯角偏差的俯瞰图像生成用关联对应数据来生成所述对象距离计算用图像。
9.一种在图像处理装置中执行的图像处理方法，包括以下步骤：
校正图像生成单元通过输入利用具有广角镜头的相机捕获的图像来进行畸变校正，并生成校正图像；
垂直对象倾斜度计算单元计算真实世界中的垂直对象在所述校正图像中的倾斜度；
相机俯角偏差计算单元基于垂直对象的倾斜度来计算所述相机的相机俯角的偏差角；
对象距离计算用图像生成单元生成考虑到所述相机的相机俯角偏差角的对象距离计算用图像；以及
对象距离计算单元参考所述对象距离计算用图像来计算包括在利用所述相机捕获的图像中的对象的距离。
10.一种使得在图像处理装置中执行图像处理的程序，该程序使得：
校正图像生成单元通过输入利用具有广角镜头的相机捕获的图像来进行畸变校正，并生成校正图像；
垂直对象倾斜度计算单元计算真实世界中的垂直对象在所述校正图像中的倾斜度；
相机俯角偏差计算单元基于垂直对象的倾斜度来计算所述相机的相机俯角的偏差角；
对象距离计算用图像生成单元生成考虑到所述相机的相机俯角偏差角的对象距离计算用图像；以及
对象距离计算单元参考所述对象距离计算用图像来计算包括在利用所述相机捕获的图像中的对象的距离。
CN201980074781.XA 2018-11-20 2019-11-11 图像处理装置和图像处理方法 Active CN113015884B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-217023 2018-11-20
JP2018217023 2018-11-20
PCT/JP2019/044181 WO2020105499A1 (ja) 2018-11-20 2019-11-11 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN113015884A true CN113015884A (zh) 2021-06-22
CN113015884B CN113015884B (zh) 2023-10-10

Family

ID=70773431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980074781.XA Active CN113015884B (zh) 2018-11-20 2019-11-11 图像处理装置和图像处理方法

Country Status (6)

Country Link
US (1) US11836945B2 (zh)
EP (1) EP3885701A4 (zh)
JP (1) JP7308227B2 (zh)
KR (1) KR20210091146A (zh)
CN (1) CN113015884B (zh)
WO (1) WO2020105499A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
KR102615479B1 (ko) * 2021-11-24 2023-12-19 현대모비스 주식회사 램프 및 그것의 동작 방법, 차량

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101410868A (zh) * 2006-03-27 2009-04-15 三洋电机株式会社 驾驶辅助装置
WO2017179722A1 (ja) * 2016-04-15 2017-10-19 パナソニックＩｐマネジメント株式会社 画像処理装置及び撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5923422B2 (ja) 1979-11-26 1984-06-01 松下電子工業株式会社 メタルハライドランプ
JP2002116008A (ja) 2000-10-11 2002-04-19 Fujitsu Ltd 距離測定装置及び映像監視装置
JP5173551B2 (ja) 2008-04-23 2013-04-03 アルパイン株式会社 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
JP5481337B2 (ja) 2010-09-24 2014-04-23 株式会社東芝 画像処理装置
JP5923422B2 (ja) 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
WO2016189878A1 (ja) 2015-05-27 2016-12-01 京セラ株式会社 演算装置、カメラ装置、車両及びキャリブレーション方法
WO2017212927A1 (ja) 2016-06-08 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
US10420397B2 (en) * 2016-12-14 2019-09-24 Black Brass, Inc. Foot measuring and sizing application

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101410868A (zh) * 2006-03-27 2009-04-15 三洋电机株式会社 驾驶辅助装置
US20100165104A1 (en) * 2006-03-27 2010-07-01 Sanyo Electric Co., Ltd. Drive Assistance Device
WO2017179722A1 (ja) * 2016-04-15 2017-10-19 パナソニックＩｐマネジメント株式会社 画像処理装置及び撮像装置

Also Published As

Publication number Publication date
WO2020105499A1 (ja) 2020-05-28
KR20210091146A (ko) 2021-07-21
CN113015884B (zh) 2023-10-10
JP7308227B2 (ja) 2023-07-13
US11836945B2 (en) 2023-12-05
EP3885701A1 (en) 2021-09-29
JPWO2020105499A1 (ja) 2021-10-14
EP3885701A4 (en) 2022-01-26
US20220051435A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
US10169667B2 (en) External environment recognizing device for vehicle and vehicle behavior control device
JP4406381B2 (ja) 障害物検出装置及び方法
JP4832321B2 (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
JP4919036B2 (ja) 移動物体認識装置
JP5322789B2 (ja) モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム
US7218758B2 (en) Drive supporting device
CN103890606B (zh) 用于使用雷达-光学成像融合来创建地图的方法和系统
US8184160B2 (en) Image processor, driving assistance system, and out-of-position detecting method
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
EP2150053A1 (en) Vehicle periphery monitoring system, vehicle periphery monitoring program and vehicle periphery monitoring method
CN109094669A (zh) 用于评估铰接角度的方法和设备
JP6392693B2 (ja) 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP5865547B2 (ja) 画像表示装置および画像表示方法
US20130002861A1 (en) Camera distance measurement device
JPH06293236A (ja) 走行環境監視装置
JP5663411B2 (ja) 測距装置
CN113015884B (zh) 图像处理装置和图像处理方法
WO2015098222A1 (ja) 情報処理装置及び情報処理方法及びプログラム
JP5783211B2 (ja) 交通量計測装置および交通量計測方法
KR20190134303A (ko) 영상 인식 장치 및 그 방법
JP4752319B2 (ja) 画像認識装置及び画像認識方法
US20220076399A1 (en) Photographing guide device
JP2004126905A (ja) 画像処理装置
US20240153106A1 (en) Object tracking device
JP2014127834A (ja) 車載カメラ用キャリブレーションシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant