CN106204521A - 俯瞰图像生成装置 - Google Patents

俯瞰图像生成装置 Download PDF

Info

Publication number
CN106204521A
CN106204521A CN201510958910.5A CN201510958910A CN106204521A CN 106204521 A CN106204521 A CN 106204521A CN 201510958910 A CN201510958910 A CN 201510958910A CN 106204521 A CN106204521 A CN 106204521A
Authority
CN
China
Prior art keywords
eye view
view image
video camera
viewpoint
look
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201510958910.5A
Other languages
English (en)
Inventor
小崎正宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Alpine Automotive Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Alpine Automotive Technology Inc filed Critical Toshiba Alpine Automotive Technology Inc
Publication of CN106204521A publication Critical patent/CN106204521A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种能够生成可以水平线的位置未偏离的状态显示的俯瞰图像的俯瞰图像生成装置。该俯瞰图像生成装置具备：多个摄像机，安装于车辆的车体上；图像处理部，读入所述摄像机的影像，针对各个所述摄像机生成根据摄像机标定数据和虚拟的视点视线信息而进行视点变换处理后的俯瞰图像，并生成将所述俯瞰图像彼此在边界处连接的合成俯瞰图像；以及显示部，显示通过该图像处理部生成的所述合成俯瞰图像，所述俯瞰图像的形状的高度方向的比例与各个所述摄像机的高度成比例地变化。

Description

俯瞰图像生成装置
本申请以日本专利申请特愿2015-111235(申请日：2015/06/01)为基础，而从该申请享有优先权益。本申请通过参照该申请而包含该申请的全部内容。
技术领域
本发明涉及俯瞰图像生成装置。
背景技术
近年来，提出了与使用监视车辆周围的多个摄像机而显示来自车辆上方的虚拟视点的俯瞰图像的装置有关的技术开发。
例如，根据得到的影像来进行校正的技术(例如参照日本专利第4956799号公报)、根据摄像机的高度而改变地面平面范围的技术(例如参照日本专利特开2010-204821号公报)、将两个平面连接的技术(例如参照日本专利特开2008-141643号公报)、或者将摄像机的数据直接描绘在一个显示面上的技术(例如参照日本专利特开2010-128951号公报)。
然而，在这些技术中，存在这种各摄像机的俯瞰图像彼此的水平线位置未对准的问题。
发明内容
本发明所要解决的课题在于，提供一种能够在水平线的位置未偏离的状态下生成可显示的俯瞰图像的俯瞰图像生成装置。
本实施方式的俯瞰图像生成装置具备：多个摄像机，安装于车辆的车体上；图像处理部，读入所述摄像机的影像，针对各个所述摄像机生成根据摄像机标定数据和虚拟的视点视线信息而进行视点变换处理后的俯瞰图像，并生成将所述俯瞰图像彼此在边界处连接的合成俯瞰图像；以及显示部，显示通过该图像处理部生成的所述合成俯瞰图像，其中，所述俯瞰图像的形状的高度方向的比例与各个所述摄像机的高度成比例地变化。
根据上述构成的俯瞰图像生成装置，在同时显示地面区域和水平线区域的图像时，通过使其位于在显示图像上对于将多个摄像机合成显示时容易产生违和感的水平线的偏离进行了校正后的位置，从而能够以水平线的位置未偏离的状态进行显示。能够根据光盘的外径推断中心孔部的位置，并检出中心孔部中存在异物，从而能够防止异物混入装置内。
附图说明
图1是示出本发明的第一实施方式涉及的俯瞰图像生成装置的构成例的图。
图2是示出本实施方式中的车体图像、各摄像机和俯瞰图像的基本的位置关系的图。
图3是基于各摄像机的影像来说明俯瞰图像彼此的水平线的位置偏离的图。
图4是说明使俯瞰图像的形状的高度方向与摄像机的高度成比例的俯瞰图像的图。
图5是说明从车体中心起在半径方向上具有地面的平面区域、且改变了纵横比的俯瞰图像的图。
图6是说明从车体中心起在纵向、横向上具有地面的平面区域、且改变了纵横比的俯瞰图像的图。
图7的(a)和(b)是说明任意地指定俯瞰图像形状的例子的图。
图8是示出截至俯瞰图像显示的处理的流程的流程图。
图9是示出查找表创建处理的流程的流程图。
图10是说明本发明的第二实施方式中的任意设定视点位置时的俯瞰图像的图。
具体实施方式
以下，参照附图对本发明的一个实施方式进行说明。此外，各图中对于同一处标注同一的符号，并省略重复说明。
＜第一实施方式＞
图1是示出本发明的第一实施方式涉及的俯瞰图像生成装置的构成例的图。如图1所示，俯瞰图像生成装置1主要由前方摄像机10、后方摄像机20、左侧摄像机30、右侧摄像机40、图像处理部50和显示部60而构成。
前方摄像机10是拍摄车辆外部的摄像机，且被安装在车体前方。通过前方摄像机10获得车辆的前方的拍摄影像。
后方摄像机20是拍摄车辆外部的摄像机，且被安装在车体后方。通过后方摄像机20获得车辆后方的拍摄影像。
左侧摄像机30是拍摄车辆外部的摄像机，且被安装在车体左侧。通过左侧摄像机30获得车辆左侧的拍摄影像。
右侧摄像机40是拍摄车辆外部的摄像机，且被安装在车体右侧。通过右侧摄像机40获得车辆右侧的拍摄影像。
俯瞰图像(birds-eye-view image)是对利用摄像机拍摄的影像在从车辆的正上方垂直向下观察的状态下进行视点变换处理的图像。通过将多个俯瞰图像彼此合成而生成从车辆的正上方俯视观察周围的合成俯瞰图像。由此，作为使用者的车辆驾驶员能够在一个画面上连续地确认(視認)车辆周围。本实施方式涉及的图像处理部50生成将多个俯瞰图像的水平线的位置对准的合成俯瞰图像(以下，有时也仅称为俯瞰图像)。关于俯瞰图像彼此的水平线的位置对准，后面进行详述。
图像处理部50由摄像机标定数据存储部51、视点视线信息存储部52、俯瞰查找表创建部53以及俯瞰图像创建部54而构成。
摄像机标定数据存储部51存储事先获得的各摄像机的摄像机标定数据(camera calibration data)。利用摄像机拍摄的影像有时会因为摄像机的镜头的歪斜、焦点距离等而产生歪斜。另外，除了摄像机的特性(镜头的歪斜、焦点距离)之外，还会受到车体上的安装位置的影响。摄像机标定数据是将与这些摄像机的特性等相关的规格汇总而成的数据。
使用者可以设定将合成俯瞰图像设为从哪个视点视线方向观察的图像。视点在三维坐标系中以使视点的坐标(x、y、z)和基准视线矢量绕任意的旋转轴矢量(vx、vy、vz)进行θ弧度旋转后的视线方向(vx、vy、vz、θ)进行定义。视点视线信息存储部52存储与视点视线方向相关的视点视线信息。
俯瞰查找表创建部53读入摄像机标定数据和视点视线信息，并创建用于对利用摄像机获得的影像进行视点变换的坐标变换用的查找表(look-up table)。查找表是针对各摄像机的拍摄像素而预先计算出坐标变换后的像素值，并存储在矩阵(matrix)中，从而无需每次都进行计算，而通过参照矩阵(表格)有效地进行坐标变换用的表格。
此外，在变更虚拟的视点、视线并重新创建查找表时，有时处理需要大量时间。这样的情况下，事先准备预先限定的视点、视线的查找表较佳。由此，能够通过流畅的动作来切换图像。
另外，预先根据当前的视点、视线而对视点、视线的可变化量进行限定，并预先创建将视点、视线的变化量分割为多个的部分的查找表较佳。当当前的视点、视线发生变更时，也可以从变更前后的视点、视线求出变化量，并重新创建将该变化量分割为多个的部分的查找表。由此，能够减少用于运算的缓冲，从而能够通过流畅的动作切换图像。
另外，也可以在确定变更的视点、视线的变更量之后，创建将该视点、视线的变化量分割为多个的查找表，并在查找表创建结束后进行视点、视线的变更。由此，能够通过流畅的动作切换合成俯瞰图像。
俯瞰图像创建部54读入前方摄像机拍摄的车辆外部的前方影像、后方摄像机拍摄的车辆外部的后方影像、左侧摄像机拍摄的车辆外部的左侧影像、右侧摄像机拍摄的车辆外部的右侧影像，并从俯瞰查找表创建部53输入查找表的信息，针对各个摄像机而生成形状的高度方向的比例与各摄像机的高度成比例地变化的俯瞰图像，并将俯瞰图像彼此在边界处加以连接而生成水平线的位置对准的合成俯瞰图像。关于俯瞰图像的生成、俯瞰图像彼此的水平线的位置对准的详细情况，后面进行详述。
显示部60显示利用图像处理部50生成的合成俯瞰图像。
本实施方式涉及的俯瞰图像生成装置1的图像处理部50可以利用通用的CPU、和在该CPU上动作的软件而实现。本实施方式也可以作为使该CPU执行与各摄像机影像的获取、通过读入摄像机标定数据和视点视线信息而创建用于图像的视点变换处理的坐标变换用查找表、通过查找表信息而与俯瞰图像的生成和俯瞰图像彼此的合成相关的一系列处理步骤的程序而实施。
对于以上那样构成的俯瞰图像生成装置1中的俯瞰图像的生成、俯瞰图像彼此的水平线的位置对准详细地进行叙述。
＜俯瞰图像的生成＞
首先，通过前方摄像机10获得车辆的前方影像。前方影像中映出本车辆的车体和车辆前侧的地面区域。另外，通过后方摄像机20获得车辆的后方影像。后方影像中映出本车辆的车体和车辆后侧的地面区域。另外，通过左侧摄像机30获得左侧影像，通过右侧摄像机40获得右侧影像。左侧影像中映出本车辆的车体和车辆左侧的地面区域，右侧影像中映出本车辆的车体和车辆右侧的地面区域。
俯瞰图像创建部54读入各摄像机的影像信息，并根据俯瞰查找表创建部53中存储的查找表，分别对视点视线方向进行坐标变换，以使其从车辆的正上方垂直向下。即，俯瞰图像创建部54对前方影像进行坐标变换，并生成从正上方观察本车辆前方侧的坐标变换图像，同样地，根据后方影像生成从正上方观察本车辆后方侧的坐标变换图像。另外，根据左侧影像生成从正上方观察本车辆左侧的坐标变换图像，根据右侧影像生成从正上方观察本车辆右侧的坐标变换图像。
而且，俯瞰图像创建部54分别将作为俯瞰图像的各坐标变换图像合成，并生成从正上方垂直向下观察本车辆周围的俯瞰图像。此外，俯瞰图像创建部54将本车辆的车体配置于俯瞰图像的中央部。
＜水平线的位置对准＞
图2是示出本实施方式中的本车辆的车体图像、各摄像机和俯瞰图像的基本的位置关系的图。在图2示出那样的x、y、z坐标系中，在以车体中心为基准而将从该车体中心起的半径方向设为r、相对于半径而将俯瞰图像的配置高度设为z时，基本的俯瞰图像的形状为z＝f(r)。此外，在图2中，R为俯瞰图像的配置高度z下的最大半径。
图3是说明基于各摄像机的影像的俯瞰图像彼此的水平线的位置偏离的图。当c＝比例常数时，俯瞰图像f(r)可以以f(r)＝c＊r2或f(r)＝c＊r3表示，但是，在此，如图3所示，以f(r)＝c＊(R-√(R2-r2)表示。如上所述，利用各摄像机获得的影像中，映出本车辆的车体和车辆所处的地面区域的一部分。该情况下，如图3所示，在虚拟的视点从正上方朝向正下方平行投影(第二实施方式中详细叙述)的情况下，若各摄像机的高度互不相同，则根据各摄像机的高度，所显示的水平线的位置在俯瞰图像间不同。在该状态下，导致在两个重叠的摄像机影像的边界处水平线的位置不同，从而变为水平线的位置彼此偏离的俯瞰图像。在图3示出的例子中，前方摄像机10与后方摄像机20之间的高度差最大，因此，利用前方摄像机10获得的俯瞰图像的水平线的位置与利用后方摄像机20获得的俯瞰图像的水平线的位置偏离最大。
因此，在本实施方式中，针对各个摄像机分别准备显示面。图4是说明使俯瞰图像的形状的高度方向与摄像机的高度成比例的俯瞰图像的图。在本实施方式中，如图4所示，以使俯瞰图像f(r)与摄像机的高度CZ成比例的计算式表示。具体而言，以f(r)＝CZ＊g(r)、g(r)＝(1/DefCZ＊(R-√(R2-r2)表示。在此，DefCz为标准的摄像机高度。于是，各个摄像机的俯瞰图像的显示面分别成为不同的计算式，但是，水平线位置相对于俯瞰图像的中心的距离相同。由此，如图4所示，在合成的俯瞰图像中，可以形成为水平线的位置未偏离的图像。
(变形例1)
对于在显示基于各摄像机的影像的俯瞰图像时，通过变更形状来减少违和感而非自由地变更视点视线的变形例进行说明。
图5是说明从车体中心起在半径方向上具有地面的平面区域、且改变了纵横比的俯瞰图像的图。在图5所示的例子中，以车体中心为基准的半径方向r成为r＝√(x2/a2+y2/b2)。在此，a、b为比例常数。
另外，也可以设为半径方向r上w的距离内为平面(z＝0)区域，并表示为g(r)＝0(r＜w)、f(r)＝CZ＊c＊(R-√(R2-(r-w)2)。根据这样的显示方法，车体附近的地面平面与车体图像的距离感一致，因而违和感减轻。
(变形例2)
在此，也可以是从车体中心起在纵向、横向上具有地面的平面区域，而不是在半径方向r上。图6是说明从车体中心起在纵向、横向上具有地面的平面区域、且改变了纵横比的俯瞰图像的图。在图6示出的例子中，使x方向上u的距离内具有设为平面(z＝0)的区域、y方向上v的距离内具有设为平面(z＝0)的区域而显示。在图6示出的例子中，以车体中心为基准的半径方向r变为r＝√((x-u)2/a2+(y-v)2/b2))。在此，a、b为比例常数，x＞0、y＞0。此外，在x＜0、y＜0的情况下，以车体中心为基准的半径方向r表示为r＝√((x+u)2/a2+(y+v)2/b2))。
另外，也可以将半径方向r与x方向、y方向组合设为地面平面。另外，也可以使俯瞰图像形状的中心偏离车体中心。
根据变形例2，由于车体附近的地面平面与车体图像的距离感一致，因而也减轻违和感。
(变形例3)
也可以任意地指定俯瞰图像的形状，而不是同样地进行表示。图7是说明任意地指定俯瞰图像形状的例子的图。在图7的(a)所示的例子中，按照半径方向r的变化任意地绘制俯瞰图像形状g(r)，并作为线性插补或样条插补进行指定。另外，也可以如图7的(b)所示的例子那样，预先确定绘制的顺序，任意地绘制半径方向的距离与摄像机的高度的关系而不是按照半径方向r的变化，并作为线性插补或样条插补进行指定。在图7的(b)中，按照绘制的点(n＝0、1、2、……)确定半径方向的距离rn和摄像机的高度g(n)。
根据这些俯瞰图像的形状的指定方法，可以以随着摄像机的高度上升而使半径方向的距离增长后缩短的方式，表现任意的俯瞰图像的形状。
另外，也可以按照以车体中心为基准的半径方向r变为r＝√(x2/a2+y2/b2)的方式，改变纵向和横向的变化比例。a、b为比例常数。此时的俯瞰图像f(r)的值也与摄像机的高度成比例地变化。
接着，对于以上那样构成的俯瞰图像生成装置1中的处理的流程进行说明。图8是示出截至俯瞰图像显示为止的处理的流程的流程图。
首先，判断截至俯瞰图像显示为止的处理是否为第一次、或者视点视线方向是否发生变化(步骤S81)。
接着，当步骤S81中为“是”时，获得视点、视线方向的信息(步骤S82)。此外，当步骤S81中为“否”时，转移至步骤S85。
接着，获得摄像机标定数据存储部51中存储的摄像机标定的信息(步骤S83)。
然后，在俯瞰查找表创建部53中，根据摄像机标定数据和视点视线信息，创建用于对利用摄像机获得的影像进行视点变换的坐标变换用的查找表(步骤S84)。查找表创建处理的详细情况在后面叙述。
接着，俯瞰图像创建部54获得各摄像机的影像(步骤S85)。
然后，俯瞰图像创建部54根据查找表对各摄像机的影像分别进行坐标变换，并将各坐标变换图像合成而生成俯瞰图像(步骤S86)。在本实施方式中，生成水平线的位置对准的俯瞰图像。
接着，在显示部60中显示水平线的位置对准的俯瞰图像(步骤S87)。
图9是示出查找表创建处理的流程的流程图。
首先，创建后方摄像机的投影面的公式(步骤S91)。在此，在将RearCz设为后方摄像机的高度时，后方摄像机的投影面的公式以f(r)＝RearCz*g(r)表示。
接着，创建后方摄像机的查找表(步骤S92)。
然后，创建前方摄像机的投影面的公式(步骤S93)。在此，在将FrontCz设为前方摄像机的高度时，前方摄像机的投影面的公式以f(r)＝FrontCz*g(r)表示。
接着，创建前方摄像机的查找表(步骤S94)。
然后，创建左侧摄像机的投影面的公式(步骤S95)。在此，在将LeftCz设为左侧摄像机的高度时，左侧摄像机的投影面的公式以f(r)＝LeftCz*g(r)表示。
接着，创建左侧摄像机的查找表(步骤S96)。
然后，创建右侧摄像机的投影面的公式(步骤S97)。在此，在将RightCz设为右侧摄像机的高度时，右侧摄像机的投影面的公式以f(r)＝RightCz*g(r)表示。
接着，创建右侧摄像机的查找表(步骤S98)，查找表创建处理结束。
＜第二实施方式＞
接着，对第二实施方式进行说明。第二实施方式涉及的俯瞰图像生成装置1的构成，与第一实施方式涉及的俯瞰图像生成装置1的构成基本相同。第二实施方式涉及任意设定视点位置时的俯瞰图像的水平线的位置对准。图10是说明第二实施方式中的任意设定视点位置时的俯瞰图像的图。
在将三维世界投影(显示)到二维的投影面上时，需要进行投影变换，大致可分类为平行投影和透视投影。在平行投影中，相同大小的物体以相同大小显示，而和与视点的距离无关。例如，在将x-y平面设为投影面时，将z坐标设为0进行显示。在透视投影中，即使是相同大小的物体，也是远的物体显示较小，而近的物体显示较大。在透视投影中，若将通常相互平行的棱线延长，则全部在同一点(消失点)处交叉，消失点的数量根据视线的方向而在1至3间变化。在能够自由地控制视点的情况下，通常消失点为3个。
在视点从正上方朝向正下方时进行透视投影变换的情况、或者视点倾斜而非从正上方朝向正下方的情况下，即使直接应用第一实施方式，水平线位置也不一致。
因此，在第二实施方式中，预先确定作为基准的摄像机和该摄像机中的成为边界的水平线上的一个点，并将与该作为基准的摄像机的边界处的另一侧的摄像机的水平线的位置，在透视投影变换中以从虚拟视点观察而位于相同位置的方式进行对准。另一方面，在平行投影变换中以在视线方向上位于相同位置的方式进行对准。也就是说，以另一侧的摄像机的水平线的位置在视线方向和成为边界的水平线上的一个点的延长线上的方式进行对准。在图10所示的例子中，将作为基准的摄像机设为前方摄像机，将与作为基准的摄像机的边界处的另一侧的摄像机设为右侧摄像机。
作为第二实施方式中的水平线的位置对准方法，如r＝a*s这样改变以车体中心为基准的半径方向r的倍率进行对应。在此，a为比例常数，s为代替r的变量。
另外，在如r＝√(x2/a2+y2/b2)(a、b为比例常数)这样改变纵横的比率的情况下，也可以是前方摄像机和后方摄像机改变作为纵比率的b进行对应，左侧摄像机和右侧摄像机改变作为横比率的a进行对应。进而，也可以是在成为两个摄像机的边界的位置靠近前方摄像机和后方摄像机时，改变作为纵比率的b进行对应，而在靠近左侧摄像机和右侧摄像机时，改变作为横比率的a进行对应。
另外，也可以根据视线的方向且根据该横向和纵向的比例而改变a和b的比率。该情况下，在将视线方向设为(d、e、f)时，只要以a＝a0＊d＊r、b＝b0＊e＊t的形式创建计算式，并以水平线的位置一致的方式计算t即可。
另外，也可以以从虚拟的视点观察，而对准侧的水平线的横位置未变的方式进行计算。该情况下，在将视点设为(x0、y0、z0)、将视线方向设为(x1、y1、z1)时，只要以维持(x-x0)/x1＝(y-y0)/y1的方式进行计算即可。
另外，在利用α混合而重合显示两个摄像机的重叠区域时，也可以以两个摄像机的重叠区域的两端的水平线的位置位于相同位置的方式进行计算。该情况下，也可以预先确定单侧的摄像机的r＝√(x2/a2+y2/b2)(a、b为比例常数)的计算式的a和b，并以改变另一侧的摄像机的a和b而使水平线的位置一致的方式，针对各个摄像机设为半径方向r的计算式不同的俯瞰图像的形状进行计算。
另外，也可以预先确定单侧的摄像机的a和另一侧的摄像机的b，并以改变单侧的摄像机的b和另一侧的摄像机的a而使水平线的位置一致的方式，针对各个摄像机设为半径方向r的计算式不同的俯瞰图像的形状进行计算。另外，也可以与此相反而预先确定单侧的摄像机的b和另一侧的摄像机的a，并以改变单侧的摄像机的a和另一侧的摄像机的b而使水平线的位置一致的方式，针对各个摄像机设为半径方向r的计算式不同的俯瞰图像的形状进行计算。另外，也可以以从虚拟的视点观察，而对准侧的水平线的横位置未变的方式进行计算。该情况下，在将视点设为(x0、y0、z0)、将视线方向设为(x1、y1、z1)时，只要以维持(x-x0)/x1＝(y-y0)/y1的方式，针对各个摄像机设为半径方向r的计算式不同的俯瞰图像的形状进行计算即可。
另外，在第二实施方式中，也可以如图5所示那样，从车体中心起使半径方向具有地面的平面区域。该情况下，也可以如r＝a＊(s-w)(a为比例常数)这样，纵横的比率从减去地面的平面区域部分的状态计算比例。
另外，在第二实施方式中，也可以如图6所示那样，分别相对于横向、纵向而具有地面的平面区域。该情况下，也可以如r＝√((x-u)2/a2+(y-v)2/b2))(a、b为比例常数)这样，纵横的比率从减去地面的平面区域部分的状态计算比例。
根据第二实施方式，在同时显示地面区域和水平线区域的图像时，即使摄像机的高度不同，也可以使水平线的显示位置对准。
此外，上述第一实施方式和第二实施方式的说明中，以在车体上搭载前方摄像机、后方摄像机、右侧摄像机、左侧摄像机这四台摄像机的情况进行了说明，但并不局限于此，也可以是在车体上安装至少两台以上的摄像机的情况。
根据本实施方式，在同时显示地面区域和水平线区域的图像时，通过使其位于在显示图像上对于将多个摄像机合成显示时容易产生违和感的水平线的错位进行了校正后的位置，从而能够以水平线的位置未偏离的状态进行显示。
对于本发明的多个实施方式进行了说明，但这些实施方式是作为例子而示出的实施方式，并未意图限定发明的范围。这些新的实施方式能够以其他各种方式进行实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围或主旨中，并且包含在权利要求书中记载的发明及其均等的范围内。

Claims (18)

1.一种俯瞰图像生成装置，具备：
多个摄像机，安装于车辆的车体上；
图像处理部，读入所述摄像机的影像，针对各个所述摄像机生成根据摄像机标定数据和虚拟的视点视线信息而进行视点变换处理后的俯瞰图像，并生成将所述俯瞰图像彼此在边界处连接的合成俯瞰图像；以及
显示部，显示通过该图像处理部生成的所述合成俯瞰图像，
其中，所述俯瞰图像的形状的高度方向的比例与各个所述摄像机的高度成比例地变化。
2.根据权利要求1所述的俯瞰图像生成装置，其中，
所述俯瞰图像生成装置预先将标准的摄像机的高度定为基准，使所述俯瞰图像的形状的高度方向与各个所述摄像机的高度成比例。
3.根据权利要求1或2所述的俯瞰图像生成装置，其中，
所述摄像机包括：
前方摄像机，安装在车体前方，拍摄车辆的前方；
后方摄像机，安装在车体后方，拍摄车辆的后方；
左侧摄像机，安装在车体左侧，拍摄车辆的左侧；以及
右侧摄像机，安装在车体右侧，拍摄车辆的右侧。
4.根据权利要求3所述的俯瞰图像生成装置，其中，
所述摄像机标定数据除了是包括镜头的歪斜和焦点距离在内的摄像机特性之外，还是所述摄像机安装在车体上的位置信息。
5.根据权利要求1所述的俯瞰图像生成装置，其中，
在所述视点视线信息中，视点在三维坐标系中以使视点的坐标(x、y、z)和基准视线矢量绕任意的旋转轴矢量(vx、vy、vz)进行θ弧度旋转后的视线方向(vx、vy、vz、θ)进行定义。
6.根据权利要求1所述的俯瞰图像生成装置，其中，
所述图像处理部包括：
摄像机标定数据存储部，存储事先获得的所述摄像机标定数据；
视点视线信息存储部，存储所述视点视线信息；
俯瞰查找表创建部，读入所述摄像机标定数据和所述视点视线信息，并创建用于对利用所述摄像机获得的影像进行视点变换的坐标变换用的查找表；以及
俯瞰图像创建部，读入所述摄像机拍摄的影像，并输入所述查找表的信息，从而生成水平线的位置对准的合成俯瞰图像。
7.根据权利要求2所述的俯瞰图像生成装置，其中，
所述图像处理部包括：
摄像机标定数据存储部，存储事先获得的所述摄像机标定数据；
视点视线信息存储部，存储所述视点视线信息；
俯瞰查找表创建部，读入所述摄像机标定数据和所述视点视线信息，并创建用于对利用所述摄像机获得的影像进行视点变换的坐标变换用的查找表；以及
俯瞰图像创建部，读入所述摄像机拍摄的影像，并输入所述查找表的信息，从而生成水平线的位置对准的合成俯瞰图像。
8.根据权利要求3所述的俯瞰图像生成装置，其中，
所述图像处理部包括：
摄像机标定数据存储部，存储事先获得的所述摄像机标定数据；
视点视线信息存储部，存储所述视点视线信息；
俯瞰查找表创建部，读入所述摄像机标定数据和所述视点视线信息，并创建用于对利用所述摄像机获得的影像进行视点变换的坐标变换用的查找表；以及
俯瞰图像创建部，读入所述摄像机拍摄的影像，并输入所述查找表的信息，从而生成水平线的位置对准的合成俯瞰图像。
9.根据权利要求4所述的俯瞰图像生成装置，其中，
所述图像处理部包括：
摄像机标定数据存储部，存储事先获得的所述摄像机标定数据；
视点视线信息存储部，存储所述视点视线信息；
俯瞰查找表创建部，读入所述摄像机标定数据和所述视点视线信息，并创建用于对利用所述摄像机获得的影像进行视点变换的坐标变换用的查找表；以及
俯瞰图像创建部，读入所述摄像机拍摄的影像，并输入所述查找表的信息，从而生成水平线的位置对准的合成俯瞰图像。
10.根据权利要求5所述的俯瞰图像生成装置，其中，
所述图像处理部包括：
摄像机标定数据存储部，存储事先获得的所述摄像机的标定数据；
视点视线信息存储部，存储所述视点视线信息；
俯瞰查找表创建部，读入所述摄像机标定数据和所述视点视线信息，并创建用于对利用所述摄像机获得的影像进行视点变换的坐标变换用的查找表；以及
俯瞰图像创建部，读入所述摄像机拍摄的影像，并输入所述查找表的信息，从而生成水平线的位置对准的合成俯瞰图像。
11.根据权利要求6所述的俯瞰图像生成装置，其中，
所述查找表是虚拟预先限定的视点视线而创建的查找表。
12.根据权利要求6所述的俯瞰图像生成装置，其中，
所述查找表根据当前的视点、视线预先创建限定的变化量和将该变化量分割为多个的部分，当视点、视线发生变更时，在该变更的范围内进行动作，并根据变更后的视点、视线重新创建变化量和将该变化量分割为多个的部分。
13.根据权利要求6所述的俯瞰图像生成装置，其中，
所述俯瞰查找表创建部在确定变更的虚拟视点、虚拟视线的变化量之后，创建将该虚拟视点、虚拟视线的变化量分割为多个的所述查找表，并在所述查找表的创建结束后进行虚拟视点、虚拟视线的变更。
14.根据权利要求1所述的俯瞰图像生成装置，其中，
基于各个所述摄像机的影像的所述俯瞰图像是从车体中心起在半径方向上具有地面的平面区域、并改变纵横比而创建的。
15.根据权利要求1所述的俯瞰图像生成装置，其中，
基于各个所述摄像机的影像的所述俯瞰图像是从车体中心起在纵向、横向上具有地面的平面区域、并改变纵横比而创建的。
16.根据权利要求1所述的俯瞰图像生成装置，其中，
基于各个所述摄像机的影像的所述俯瞰图像是对以任意距离与高度绘制的点进行线性插补或样条插补而创建的。
17.根据权利要求1所述的俯瞰图像生成装置，其中，
所述俯瞰图像生成装置预先在所述摄像机中确定作为基准的摄像机，并确定所述作为基准的摄像机中的成为边界的水平线上的一个点，并将与所述作为基准的摄像机的边界处的另一侧的所述摄像机的水平线的位置，以在视线方向上观察位于相同位置的方式进行对准。
18.根据权利要求1所述的俯瞰图像生成装置，其中，
所述俯瞰图像生成装置将所述摄像机中的两个摄像机的重叠区域的两端的水平线的位置，以在视线方向上观察位于相同位置的方式进行对准。
CN201510958910.5A 2015-06-01 2015-12-18 俯瞰图像生成装置 Withdrawn CN106204521A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015111235A JP2016225865A (ja) 2015-06-01 2015-06-01 俯瞰画像生成装置
JP2015-111235 2015-06-01

Publications (1)

Publication Number Publication Date
CN106204521A true CN106204521A (zh) 2016-12-07

Family

ID=55315316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510958910.5A Withdrawn CN106204521A (zh) 2015-06-01 2015-12-18 俯瞰图像生成装置

Country Status (4)

Country Link
US (1) US9852494B2 (zh)
EP (1) EP3101621A3 (zh)
JP (1) JP2016225865A (zh)
CN (1) CN106204521A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945558A (zh) * 2017-08-03 2020-03-31 爱信精机株式会社 显示控制装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6669569B2 (ja) * 2016-04-04 2020-03-18 アルパイン株式会社 車両用周辺監視装置
US11541825B2 (en) * 2016-04-29 2023-01-03 Faraday&Future Inc. System for providing color balance in automotive display
JP6958163B2 (ja) 2017-09-20 2021-11-02 株式会社アイシン 表示制御装置
JP7314518B2 (ja) * 2019-02-06 2023-07-26 株式会社アイシン 周辺監視装置
JP2022094050A (ja) 2020-12-14 2022-06-24 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
JP2022101979A (ja) 2020-12-25 2022-07-07 株式会社デンソー 画像生成装置、画像生成方法
CN112365549B (zh) * 2021-01-12 2021-04-09 腾讯科技（深圳）有限公司 车载相机的姿态校正方法、装置和存储介质及电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307655B1 (en) * 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
CN101438590A (zh) * 2006-05-09 2009-05-20 日产自动车株式会社 车辆周围图像提供装置和车辆周围图像提供方法
CN102164274A (zh) * 2011-04-26 2011-08-24 石黎 一种视场可变的车载虚拟全景系统
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
CN102577372A (zh) * 2009-09-24 2012-07-11 松下电器产业株式会社 驾驶辅助显示装置
US20140002614A1 (en) * 2012-07-02 2014-01-02 Sony Pictures Technologies Inc. System and method for alignment of stereo views

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006087993A1 (ja) * 2005-02-15 2006-08-24 Matsushita Electric Industrial Co., Ltd. 周辺監視装置および周辺監視方法
JP4927512B2 (ja) 2006-12-05 2012-05-09 株式会社日立製作所 画像生成装置
JP5182042B2 (ja) 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP4951639B2 (ja) 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5451497B2 (ja) * 2010-04-08 2014-03-26 パナソニック株式会社 運転支援表示装置
JP5699679B2 (ja) * 2011-02-24 2015-04-15 富士通セミコンダクター株式会社 画像処理装置、画像処理システム、及び画像処理方法
WO2013058093A1 (ja) * 2011-10-18 2013-04-25 日立建機株式会社 作業機械の周囲監視装置
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム
JP6099333B2 (ja) * 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
JP5904093B2 (ja) * 2012-10-30 2016-04-13 株式会社デンソー 車載画像生成装置
JP6302624B2 (ja) 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
US9900583B2 (en) * 2014-12-04 2018-02-20 Futurewei Technologies, Inc. System and method for generalized view morphing over a multi-camera mesh

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307655B1 (en) * 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
CN101438590A (zh) * 2006-05-09 2009-05-20 日产自动车株式会社 车辆周围图像提供装置和车辆周围图像提供方法
CN102577372A (zh) * 2009-09-24 2012-07-11 松下电器产业株式会社 驾驶辅助显示装置
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
CN102164274A (zh) * 2011-04-26 2011-08-24 石黎 一种视场可变的车载虚拟全景系统
US20140002614A1 (en) * 2012-07-02 2014-01-02 Sony Pictures Technologies Inc. System and method for alignment of stereo views

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945558A (zh) * 2017-08-03 2020-03-31 爱信精机株式会社 显示控制装置
CN110945558B (zh) * 2017-08-03 2023-06-06 株式会社爱信 显示控制装置

Also Published As

Publication number Publication date
JP2016225865A (ja) 2016-12-28
US9852494B2 (en) 2017-12-26
US20160350894A1 (en) 2016-12-01
EP3101621A3 (en) 2016-12-21
EP3101621A2 (en) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106204521A (zh) 俯瞰图像生成装置
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US11269244B2 (en) System and method for calibrating a display system using manual and semi-manual techniques
US10705678B2 (en) Image processing apparatus, image processing method, and storage medium for generating a virtual viewpoint image
CN105026997B (zh) 投影系统、半导体集成电路及图像修正方法
JP4808600B2 (ja) レンダリングプログラム、レンダリング装置、及びレンダリング方法
CN104735293B (zh) 图像修正装置图像修正方法以及记录介质
CN109035128A (zh) 针对移动设备的全方位立体捕获
US10930008B2 (en) Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image
CN106454291A (zh) 用于自动配准和投影映射的系统和方法
CN104103068B (zh) 用于控制虚拟摄像机的方法与设备
JP6810873B2 (ja) 電子ディスプレイの前方または上に投影されて見える仮想３次元画像を作製するためのシステム、方法、およびソフトウェア
US20080129894A1 (en) Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same
TW201724031A (zh) 擴增實境方法、系統及電腦可讀取非暫態儲存媒介
CN104238665A (zh) 图像处理装置及图像处理方法
JP2010072477A (ja) 画像表示装置、画像表示方法及びプログラム
CN107532917B (zh) 显示控制装置和显示控制方法
JP2004213355A (ja) 情報処理方法
JPWO2005010817A1 (ja) 画像処理装置
CN108108021A (zh) 人眼跟踪系统外参数校正治具及校正方法
CN106384367B (zh) 一种全景相机的自动稳定视角的方法
WO2022125149A1 (en) System configuration for peripheral vision with reduced size, weight, and cost
CN109118525A (zh) 一种双波段红外图像空域配准方法
JP4352430B2 (ja) 空中写真データの作成方法と空中写真データセット
JP2018033133A (ja) ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180306

Address after: Tokyo, Japan

Applicant after: ALPINE ELECTRONICS, Inc.

Address before: Fukushima

Applicant before: Toshiba Alpine Automotive Tech

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180611

Address after: Kanagawa

Applicant after: Toshiba Infrastructure Systems Inc

Address before: Tokyo, Japan

Applicant before: ALPINE ELECTRONICS, Inc.

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20161207