CN117356087A - 图像处理装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN117356087A
CN117356087A CN202180098536.XA CN202180098536A CN117356087A CN 117356087 A CN117356087 A CN 117356087A CN 202180098536 A CN202180098536 A CN 202180098536A CN 117356087 A CN117356087 A CN 117356087A
Authority
CN
China
Prior art keywords
image
stereoscopic
region
image processing
overhead image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180098536.XA
Other languages
English (en)
Inventor
小此木克之
加藤贵幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Publication of CN117356087A publication Critical patent/CN117356087A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

当根据多个图像生成立体俯瞰图像时可自然地对目标进行显示。图像处理装置是将从多个摄像装置获得的摄影图像投影至立体投影面以生成立体俯瞰图像的图像处理装置，具有：获取部，获取对目标进行配置的第1区域在3维空间内的位置信息；转换部，将所述第1区域的位置信息转换为基于所述立体投影面的位置信息；及输出部，输出在第2区域中配置有所述目标的所述立体俯瞰图像，所述第2区域为藉由转换后的位置信息而确定的所述3维空间的区域。

Description

图像处理装置、图像处理方法及图像处理程序
技术领域
本公开涉及图像处理装置、图像处理方法及图像处理程序。
背景技术
已知一种立体俯瞰(鸟瞰)图像生成系统，其中，使用多个摄像装置对车辆等的移动物体(移动体)的周围进行拍摄(摄影)，并利用投影信息将藉由拍摄而得的多个图像投影至立体投影面，由此生成从上方俯瞰移动体的整个周围而得的立体俯瞰图像。
根据该立体俯瞰图像生成系统，例如，在进行本车辆的停车时，能够向驾驶员提供立体俯瞰图像以辅助驾驶员的驾驶操作。
[引证文件]
[专利文件]
[专利文件1](日本)特开2009-96347号公报
[专利文件2](日本)特开2009-232310号公报
[专利文件3](日本)特开2009-265870号公报
[专利文件4](日本)特开2010-268369号公报
[专利文件5](日本)特开2021-27366号公报
发明内容
[要解决的技术问题]
这里，在上述系统的情况下，可将通过摄影而获得的多个图像中包含的对象(目标(object))显示为立体俯瞰图像，但是，就新的对象而言，很难自然地(看起来不会感到不谐调地)在立体俯瞰图像中对其进行显示。
本公开的一个方面的目的在于，当根据多个图像生成立体俯瞰图像时可自然地对目标进行显示。
[技术方案]
根据一个方式，提供一种图像处理装置，将从多个摄像装置获得的摄影图像投影至立体投影面以生成立体俯瞰图像，所述图像处理装置具有：
获取部，获取对目标进行配置的第1区域在3维空间内的位置信息；
转换部，将所述第1区域的位置信息转换为基于所述立体投影面的位置信息；及
输出部，输出在第2区域中配置有所述对象的所述立体俯瞰图像，所述第2区域为藉由转换后的位置信息而确定的所述3维空间的区域。
[有益效果]
当根据多个图像生成立体俯瞰图像时，能够自然地对目标进行显示。
附图说明
[图1]图1是立体俯瞰图像生成系统的系统构成和图像处理装置的功能构成的一例的示意图。
[图2]图2是立体俯瞰图像生成系统的各装置的构成例的示意图。
[图3]图3是操作装置和显示装置的外观构成的一例的示意图。
[图4]图4是图像处理装置的硬件构成的一例的示意图。
[图5]图5是表示第1生成部所执行的处理的具体示例的第1图。
[图6]图6是表示第1生成部所执行的处理的具体示例的第2图。
[图7]图7是表示第2生成部所执行的处理的具体示例的第1图。
[图8]图8是表示第2生成部所执行的处理的具体示例的第2图。
[图9]图9是表示显示图像生成处理的流程的第1流程图。
[图10]图10是立体俯瞰图像生成系统的应用场景的一例的示意图。
[图11]图11是显示图像的具体示例的示意图。
[图12]图12是表示第2生成部所执行的处理的具体示例的第3图。
[图13]图13是表示显示图像生成处理的流程的第2流程图。
[图14]图14是表示第2生成部所执行的处理的具体示例的第4图。
具体实施方式
下面参见附图对各实施方式进行描述。需要说明的是，本说明书和附图中，对具有实质相同的功能构成的构成要素赋予了相同的符号，藉此对重复说明进行了省略。
[第1实施方式]
<立体俯瞰图像生成系统和图像处理装置>
首先，对搭载(安装)在车辆等的移动体上的立体俯瞰图像生成系统的系统构成和该立体俯瞰图像生成系统中包含的图像处理装置的功能构成进行描述。图1是立体俯瞰图像生成系统的系统构成和图像处理装置的功能构成的一例的示意图。
图1的例子示出了在车辆10上安装有立体俯瞰图像生成系统100时的系统构成。如图1所示，车辆10上搭载的立体俯瞰图像生成系统100具有摄像装置111～摄像装置114、图像处理装置120、CAN(Controller Area Network)170、操作装置181及显示装置182。
摄像装置111～摄像装置114分别对车辆10的前方、左侧方、右侧方及后方进行摄影以生成摄影图像，并将所生成的摄影图像发送至图像处理装置120。
图像处理装置120中安装有图像处理程序，通过执行该程序，图像处理装置120可作为第1生成部130、第2生成部140及输出部150而发挥功能。
第1生成部130生成车辆10周围(周边)的立体俯瞰图像即第1俯瞰图像。为了实现该功能，第1生成部130具有摄影图像获取部131、第1投影部132及第1俯瞰图像生成部133。
摄影图像获取部131从操作装置181接收到包含显示图像的生成指示的指示信息后，获取由摄像装置111～摄像装置114发送的摄影图像。
第1投影部132根据投影信息保存部160中保存的投影信息将由摄影图像获取部131获取的各摄影图像投影至立体投影面。
第1俯瞰图像生成部133根据投影至立体投影面的各摄影图像生成预定的视点位置和视点方向的第1俯瞰图像。
第2生成部140生成配置(布置/设置)有对象(目标)的立体俯瞰图像即第2俯瞰图像。为了实现该功能，第2生成部140具有位置信息获取部141、第2投影部142及第2俯瞰图像生成部143。需要说明的是，第2俯瞰图像中包含的对象也可为不包含在从摄像装置111～摄像装置114发送的摄影图像中的对象。
位置信息获取部141藉由CAN170获取车辆10在3维空间内的位置信息。此外，位置信息获取部141还获取配置有对象的配置区域(第1区域)在3维空间内的位置信息。
第2投影部142是转换部的一例，根据投影信息保存部160中保存的投影信息将配置有对象的配置区域投影至立体投影面。此外，第2投影部142还根据生成第1俯瞰图像时的视点位置和视点方向将投影至立体投影面的配置区域投影到3维空间的底面上。
第2俯瞰图像生成部143将对象配置在投影至3维空间的底面的投影后的配置区域(第2区域)内，并生成基于上述视点位置和视点方向的立体俯瞰图像即第2俯瞰图像。需要说明的是，第2俯瞰图像也可为不包含由摄像装置111～摄像装置114发送的摄影图像的、基于上述视点位置和视点方向的对象的图像。
输出部150将第2俯瞰图像叠加(重叠)在第1俯瞰图像上，由此生成显示图像。当生成显示图像时，输出部150例如优先将第2俯瞰图像重叠于第1俯瞰图像。据此，输出部150可将配置有对象的立体俯瞰图像作为显示图像发送给显示装置182，并将其显示在显示装置182上。
下面，依次对立体俯瞰图像生成系统100的各装置的细节(详细内容)以及图像处理装置120的硬件构成和各功能部的细节进行描述。
<立体俯瞰图像生成系统的各装置的细节>
首先，对立体俯瞰图像生成系统100的各装置的构成例(配置例)和外观构成进行描述。
(1)构成例
图2是立体俯瞰图像生成系统的各装置的构成例的示意图。其中，图2的200a是表示车辆10的各摄像装置的构成例的俯视图。
如图2的200a所示，摄像装置111配置在车辆10的前部中央位置处，用于对车辆10的前方(由虚线201所示的范围)进行摄影。摄像装置112配置在车辆10的左侧中央位置处，用于对车辆10的左侧方(由虚线202所示的范围)进行拍摄。摄像装置113配置在车辆10的右侧中央位置处，用于对车辆10的右侧方(由虚线203所示的范围)进行摄影。摄像装置114配置在车辆10的后部中央位置处，用于对车辆10的后方(由虚线204所示的范围)进行摄影。需要说明的是，就摄像装置的数量和配置而言，并不限定于图2所示的数量和配置。摄像装置的数量例如也可为2以上。
另一方面，图2的200b是表示车辆10的图像处理装置120、操作装置181及显示装置182的构成例的侧视图。如图2的200b所示，图像处理装置120配置在车辆10内的中控台(中央控制台)的里侧(背侧)。此外，操作装置181和显示装置182配置在车辆10内的中控台上。
(2)操作装置和显示装置的外观构成
接着，对车辆10内的中控台上所配置的操作装置181和显示装置182的外观构成进行描述。图3是操作装置和显示装置的外观构成的一例的示意图。本实施方式中，操作装置181和显示装置182组合为一体，被构成为所谓的触控面板300。如图3所示，触控面板300例如以镶嵌(内置)的方式安装在中控台301的中央位置付近。
<图像处理装置的硬件构成>
接着，对图像处理装置120的硬件构成进行描述。图4是图像处理装置的硬件构成的一例的示意图。
如图4所示，图像处理装置120具有CPU(Central Processing Unit)401、ROM(ReadOnly Memory)402及RAM(Random Access Memory)403。CPU401、ROM402及RAM403形成所谓的计算机。此外，图像处理装置120还具有辅助存储装置404、连接装置405、通信(通讯)装置406及驱动装置407。需要说明的是，图像处理装置120的各硬件经由总线408相互连接。
CPU401执行辅助存储装置404中安装的各种程序(例如，图像处理程序等)。
ROM402为非易失性存储器。ROM402作为用于对CPU401执行辅助存储装置404中安装的各种程序时所需的各种程序、数据等进行存储的主存储装置而发挥功能。具体而言，ROM402中存储有BIOS(Basic Input/Output System)、EFI(Extensible FirmwareInterface)等的引导程序等。
RAM403为DRAM(Dynamic Random Access Memory)、SRAM(Static Random AccessMemory)等的易失性存储器。RAM403作为用于提供辅助存储装置404中安装的各种程序被CPU401执行时所展开的工作区域的主存储装置而发挥功能。
辅助存储装置404是用于对所安装的各种程序、执行各种程序时所使用的各种信息等进行存储的辅助存储装置。
连接装置405是用于在外部装置(例如，摄像装置111～114、操作装置181及显示装置182)和图像处理装置120之间进行信号的收发的连接装置。
通信装置406是用于经由CAN170与外部装置进行通信的通信装置。
驱动装置407是用于放入(set)计算机可读取存储介质410的装置。这里所说的存储介质410包括类似CD-ROM、软盘、光磁盘等的对信息以光、电或磁的方式进行存储的介质。或者，存储介质410也可包括诸如ROM、闪存等的对信息以电的方式进行存储的半导体存储器等。
需要说明的是，辅助存储装置404中安装的各种程序例如可通过如下方式安装，即，将分发的存储介质410放入驱动装置407，由驱动装置407读取该存储介质410中存储的各种程序。或者，辅助存储装置404中安装的各种程序也可采用经由通信装置406从网络下载的方式来安装。
<图像处理装置的各功能部的细节>
接着，结合具体示例对图像处理装置120的各功能部(这里为第1生成部130和第2生成部140)的细节进行描述。
(1)第1生成部所执行的处理的具体示例
首先，基于图5和图6对第1生成部130所执行的处理的具体示例进行说明。图5是表示第1生成部所执行的处理的具体示例的第1图。图5中，投影信息500为投影信息保存部160中保存的投影信息的一例。如图5所示，作为信息的项目，投影信息500包含“摄像装置”和“立体投影面坐标”。
“摄像装置”还包括“类别”和“摄像像素坐标”。“类别”中保存用于分别对摄像装置111～摄像装置114进行识别的信息。投影信息500中，类别＝1表示摄像装置111，类别＝2表示摄像装置112，类别＝3表示摄像装置113，类别＝4表示摄像装置114。
“摄像像素坐标”中保存由摄像装置111～摄像装置114摄影并由摄影图像获取部131获取的各摄影图像511～514的各像素的坐标。本实施方式中，摄影图像511～514均具有n×m个像素的像素数量。
为此，就投影信息500而言，例如，摄像装置111(类别1)的“摄像像素坐标”中保存摄影图像511的(s11，t11)～(s1n，t1m)的n×m个坐标。类似地，摄像装置112(类别2)的“摄像像素坐标”中保存摄影图像512的(s21，t21)～(s2n，t2m)的n×m个坐标。此外，摄像装置113(类别3)的“摄像像素坐标”中保存摄影图像513的(s31，t31)～(s3n，t3m)的n×m个坐标。另外，摄像装置114(类别4)的“摄像像素坐标”中保存摄影图像514的(s41，t41)～(s4n，t4m)的n×m个的坐标。
在第1投影部132将摄影图像511～514的每个的摄像像素坐标投影至立体投影面520的情况下，“立体投影面坐标”中保存投影后所得到的坐标。为此，“立体投影面坐标”中保存的各坐标与“摄像像素坐标”中保存的各坐标相关联。
例如，在投影信息500的情况下，摄影图像511的摄像像素坐标＝(s11，t11)与立体投影面520的立体投影面坐标＝(x11，y12，z11)相关联。同样，摄影图像512的摄像像素坐标＝(s21，t21)与立体投影面520的立体投影面坐标＝(x21，y22，z21)相关联。类似地，摄影图像513的摄像像素坐标＝(s31，t31)与立体投影面520的立体投影面坐标＝(x31，y32，z31)相关联。同样，摄影图像514的摄像像素坐标＝(s41，t41)与立体投影面520的立体投影面坐标＝(x41，y42，z41)相关联。
由摄像装置111～摄像装置114拍摄的摄影图像511～514被图像处理装置120的摄影图像获取部131获取，并被第1投影部132基于投影信息500投影到立体投影面520上。
投影至立体投影面520的摄影图像511～514由第1俯瞰图像生成部133合成，并被并入(incorporate)本车辆的3维图像530，由此生成第1俯瞰图像。
图6是表示第1生成部所执行的处理的具体示例的第2图。其中，图6的600a为立体投影面520的俯视图，该俯视图中示出了第1俯瞰图像生成部133生成第1俯瞰图像时所使用的视点位置和视点方向的具体示例。
600a中，例如，箭头601示出了从车辆的前方进行观察时的第1俯瞰图像被生成时所使用的视点位置和视点方向。此外，箭头602示出了从车辆的左后方进行观察时的第1俯瞰图像被生成时所使用的视点位置和视点方向。另外，箭头603示出了从车辆的右后方进行观察时的第1俯瞰图像被生成时所使用的视点位置和视点方向。
另一方面，图6的600b示出了第1俯瞰图像生成部133基于箭头602所示的视点位置和视点方向所生成的第1俯瞰图像610的一例。如图6的600b所示，藉由第1俯瞰图像生成部133，可生成例如从左斜后方对表示本车辆的现在位置的区域611上的车辆的3维图像530进行俯瞰而得的第1俯瞰图像610。
(2)第2生成部的处理的具体示例
接着，对第2生成部140所执行的处理的具体示例进行说明。图7和图8是表示第2生成部所执行的处理的具体示例的第1和第2图。图7和图8中，7a～7c和8a～8b分别示出了车辆10移动时在3维空间内的坐标。
图7的7a中，配置区域700(第1区域)示出了配置有对象的区域。7a的例子示出了位置信息获取部141从CAN170获得作为配置区域700在3维空间的底面上的位置信息的(Xa1，Ya1)、(Xa1，Ya2)、(Xa2，Ya1)及(Xa2，Ya2)的情形。
图7的7b中，位置信息710示出了3维空间内的车辆10的位置。7b的例子示出了位置信息获取部141从CAN170获得作为3维空间内的车辆10的位置信息的(Xv，Yv)的情形。需要说明的是，7b中，立体投影面720示出了在车辆10的位置处所生成的立体投影面。7b的例中，也可将车辆10的位置信息作为3维空间的原点，此情况下，将车辆10的位置信息定义为(Xv，Yv)＝(0，0)。
图7的7c中，区域730示出了将配置区域700投影至立体投影面720时的投影后的区域。7c的例子示出了第2投影部142将配置区域700投影至立体投影面720并对作为投影后的区域730的位置信息的(xa1，ya1，za1)、(xa2，ya2，za2)、(xa3，ya3，za3)及(xa4，ya4，za4)进行了计算的情形。
接着，图8的8a中，配置区域810(第2区域)示出了根据预定的视点位置和视点方向820将投影至立体投影面720的投影后的区域730再投影至3维空间的底面时的投影后的配置区域。8a的例子示出了第2投影部142将区域730投影至3维空间的底面并对作为投影后的配置区域810的位置信息的(X’a1，Y’a1)、(X’a1，Y’a2)、(X’a2，Y’a1)及(X’a2，Y’a2)进行了计算的情形。
图8的8b中，对象830示出了配置在投影后的配置区域810上的对象。8b的例子示出了第2俯瞰图像生成部143将长方体的对象830配置于投影后的配置区域810的情形。
据此，第2俯瞰图像生成部143可生成相对于第1俯瞰图像生成部133所生成的第1俯瞰图像不会感到不自然的第2俯瞰图像(配置有对象830的俯瞰图像)。
<显示图像生成处理的流程>
接着，对图像处理装置120所执行的显示图像生成处理的流程进行说明。图9是表示显示图像生成处理的流程的第1流程图，藉由从操作装置181接收显示图像的生成指示而进行执行。
步骤S901中，第1生成部130获取第1俯瞰图像的生成时所使用的车辆的3维图像。
步骤S902中，第1生成部130获取由摄像装置111～114拍摄的摄影图像。
步骤S903中，第1生成部130将获取到的摄影图像投影至立体投影面。
步骤S904中，第1生成部130根据预定的视点位置和视点方向生成包含(并入)了本车辆的3维图像的第1俯瞰图像。
步骤S905中，第2生成部140从CAN170获取对目标进行配置的配置区域在3维空间的底面上的位置信息。
步骤S906中，第2生成部140从CAN170获取3维空间内的车辆的位置信息。需要说明的是，在将本车辆的位置定义为原点的情况下等，也可对车辆的位置信息的获取进行省略。
步骤S907中，第2生成部140将用于配置对象的配置区域投影在基于本车辆的位置信息的位置的立体投影面上。
步骤S908中，第2生成部140根据预定的视点位置和视点方向将投影到立体投影面上的配置区域再投影至3维空间的底面。
步骤S909中，第2生成部140在投影至3维空间的底面的配置区域内配置目标。
步骤S910中，第2生成部140生成从预定的视点位置和视点方向对配置有对象的3维空间进行摄影时的第2俯瞰图像。
步骤S911中，输出部150将第2俯瞰图像重叠在第1俯瞰图像上，由此生成立体俯瞰图像即显示图像。此外，输出部150还将所生成的显示图像显示在显示装置182上。
<立体俯瞰图像生成系统的应用场景>
接着，对立体俯瞰图像生成系统100的应用场景进行说明。图10是立体俯瞰图像生成系统的应用场景的一例的示意图，示出了从上方对停车场1000进行观察时的情形。
图10中，实线四边形示出了所停放的车辆，虚线四边形示出了还没有停放车辆的车辆停放区域(停车区域)。其中，虚线四边形1001示出了可停放车辆10的停车区域。
该应用场景中，立体俯瞰图像生成系统100将虚线四边形1001所示的车辆停放区域作为对目标进行配置的配置区域，并获取其在3维空间内的位置信息。此外，立体俯瞰图像生成系统100还将作为对象的本车辆的3维图像配置在虚线四边形1001所示的车辆停放区域内。据此，在对车辆进行停放之前，车辆10的驾驶员能够将在可停放车辆的停车区域内停放有本车辆的状态的立体俯瞰图像作为显示图像来对其进行视认。
图11是显示图像的具体示例的示意图。如图11所示，藉由立体俯瞰图像生成系统100可使与虚线四边形1001所示的车辆停放区域对应的配置区域1110自然地显示在显示图像1100中。此外，如图11所示，藉由立体俯瞰图像生成系统100还可在显示图像1100中自然地显示车辆的3维图像1120。
需要说明的是，显示图像1100中，仅对从侧方对车辆进行俯瞰而得的第1俯瞰图像中的表示本车辆的现在位置的区域611进行了表示，对区域611上的本车辆的3维图像530进行了省略。
<总结>
从以上的描述可知，第1实施方式的图像处理装置120可进行如下处理：
·将从多个摄像装置获得的摄影图像投影至立体投影面，由此生成第1俯瞰图像。
·获取对目标(对象)进行配置的配置区域在3维空间内的位置信息。
·将配置区域的位置信息转换为基于立体投影面的位置信息。
·在藉由转换后的位置信息而确定的3维空间的配置区域内，将配置有对象的第2俯瞰图像重叠在第1俯瞰图像上，藉此生成显示图像，并对其进行输出。
据此，根据第1实施方式的图像处理装置120，当根据多个摄影图像生成立体俯瞰图像时，可自然地对目标进行显示。
[第2实施方式]
上述第1实施方式中，对第2投影部142投影到3维空间的底面上的投影后的配置区域的形状为长方形的情况进行了说明。但是，投影后的配置区域的形状并不总为长方形。为此，第2实施方式中，对投影后的配置区域的形状为长方形之外的形状的情况进行说明。
图12是表示第2生成部所执行的处理的具体示例的第3图。与图8的不同点在于，在12a的情况下，投影至立体投影面720的投影后的区域730根据预定的视点位置和视点方向820再被投影到3维空间的底面上的情况下的投影后的配置区域1210变成了长方形以外的形状。
在这样的情况下，第2俯瞰图像生成部143确定配置区域1210的内接长方形1220，并将所确定的内接长方形1220中包含的对象1230配置在配置区域1210的内接长方形1220内。
图12的12b示出了将内接长方形1220中包含的对象1230配置在了配置区域1210的内接长方形1220内的情形。据此，第2俯瞰图像生成部143可避免目标在第2俯瞰图像中看起来失真的情况。
[第3实施方式]
上述第1实施方式中，对一次生成显示图像1100的情况进行了说明。但是，图像处理装置120也可被构成为，每次以预定周期获取到摄影图像时均生成显示图像，并连续地对所生成的显示图像进行显示。下面，以第3实施方式和上述第1实施方式的不同点为中心对第3实施方式进行描述。
<显示图像生成处理的流程>
首先，对图像处理装置120所执行的显示图像生成处理的流程进行说明。图13是表示显示图像生成处理的流程的第2流程图。与使用图9所描述的第1流程图的不同点在于步骤S1301。
步骤S1301中，第1生成部130判断是否结束显示图像生成处理。当在步骤S1301中判断为不结束时(步骤S1301中的NO(否)的情况下)，返回步骤S902。据此，重复执行步骤S902～步骤S912的处理，每次以预定周期获取到摄影图像时都生成显示图像。
需要说明的是，当在步骤S1301中判断为结束的情况下(步骤S1301中的YES(是)的情况下)，结束显示图像生成处理。
<第2生成部的处理的具体示例>
接着，对第2生成部140所执行的处理的具体示例进行说明。图14是表示第2生成部所执行的处理的具体示例的第4图。需留意的是，图14中也示出了停车场1000中的车辆10的不同时刻的位置。
图14的14a示出了车辆10位于远离配置区域700的位置处的情况。此情况下，3维空间中，在远离配置区域700的位置处生成立体投影面720。
另一方面，图14的14a示出了车辆10位于接近配置区域700的位置处的情况。此情况下，3维空间中，在接近配置区域700的位置处生成立体投影面720。
如上所述，车辆10的移动导致配置区域700和立体投影面720之间的相对位置关系发生改变，为此，投影到立体投影面上的投影后的位置信息也发生变化。故而，投影至3维空间的配置区域也发生改变。
换言之，藉由为每次获取到摄影图像时都生成显示图像这样的构成，根据图像处理装置120，即使车辆10移动，也可在显示图像上自然地对本车辆的3维图像(对象/目标)进行显示。
[其它实施方式]
上述各实施方式中，对图像处理装置120搭载于车辆10的情况进行了说明。但是，图像处理装置120也可不搭载于车辆10，即，还可搭载在车辆10以外的移动物体上。
此外，上述各实施方式中，对将车辆的3维图像配置为对象(目标)的情况进行了描述，但是，所配置的对象并不限定于车辆的3维图像，即，可为任意的3维图像。
最后，需要说明的是，本发明并不限定于上述实施方式中列举的构成等、与其它要素的组合等及这里所示的构成。关于这些，可在不脱离本发明的主旨的范围内进行修改，并可根据其应用方式适当地进行确定。
[附图标记说明]
10：车辆
100：立体俯瞰图像生成系统
111～114：摄像装置
120：图像处理装置
130：第1生成部
131：摄影图像获取部
132：第1投影部
133：第1俯瞰图像生成部
140：第2生成部
141：位置信息获取部
142：第2投影部
143：第2俯瞰图像生成部
150：输出部
170：CAN
181：操作装置
182：显示装置
500：投影信息
511～514：摄影图像
520：立体投影面
530：3维图像
601～603：箭头
610：第1俯瞰图像
700：配置区域
720：立体投影面
810：配置区域
820：视点位置和视点方向
830：对象
1100：显示图像
1110：配置区域
1120：3维图像
1210：配置区域
1230：对象。

Claims (10)

1.一种图像处理装置，将从多个摄像装置获得的摄影图像投影至立体投影面以生成立体俯瞰图像，所述图像处理装置具有：
获取部，获取对目标进行配置的第1区域在3维空间内的位置信息；
转换部，将所述第1区域的位置信息转换为基于所述立体投影面的位置信息；及
输出部，输出在第2区域中配置有所述目标的所述立体俯瞰图像，所述第2区域为藉由转换后的位置信息而确定的所述3维空间的区域。
2.如权利要求1所述的图像处理装置，其中，
所述转换部将所述第1区域投影至所述立体投影面。
3.如权利要求2所述的图像处理装置，其中，
所述转换部根据生成所述立体俯瞰图像时的视点位置将投影到所述立体投影面上的所述第1区域投影至所述3维空间的所述第2区域，由此将投影到所述立体投影面上的所述第1区域转换为基于所述立体投影面的位置信息。
4.如权利要求1所述的图像处理装置，其中，
所述目标配置在所述第2区域的内接四边形内。
5.如权利要求3所述的图像处理装置，还具有：
第1俯瞰图像生成部，将从所述多个摄像装置获得的摄影图像投影至所述立体投影面，由此生成基于所述视点位置的第1俯瞰图像；及
第2俯瞰图像生成部，将所述目标配置在所述3维空间的所述第2区域内，并生成基于所述视点位置的第2俯瞰图像，
其中，所述输出部优先使所述第2俯瞰图像重叠在所述第1俯瞰图像上，由此输出在所述第2区域内配置有所述目标的所述立体俯瞰图像。
6.如权利要求5所述的图像处理装置，其中，
将从搭载在车辆上且对所述车辆的前方、后方及侧方进行拍摄的所述多个摄像装置获得的摄影图像投影至所述立体投影面，由此生成本车辆的所述第1俯瞰图像。
7.如权利要求6所述的图像处理装置，其中，
所述第1区域为能够停放所述车辆的停车区域。
8.如权利要求6所述的图像处理装置，其中，
当每次以预定周期从所述多个摄像装置获得摄影图像时，所述第1俯瞰图像生成部均将该摄影图像投影至基于所述车辆的位置信息的所述立体投影面，由此生成所述第1俯瞰图像，
当投影到基于所述车辆的位置信息的所述立体投影面上的所述第1区域每次被投影至所述3维空间的所述第2区域内时，所述第2俯瞰图像生成部均将所述目标配置在所述第2区域内，并生成所述第2俯瞰图像。
9.一种图像处理方法，由图像处理装置执行，该图像处理装置将从多个摄像装置获得的摄影图像投影至立体投影面以生成立体俯瞰图像，所述图像处理方法具有：
获取步骤，获取对目标进行配置的第1区域在3维空间内的位置信息；
转换步骤，将所述第1区域的位置信息转换为基于所述立体投影面的位置信息；及
输出步骤，输出在第2区域中配置有所述目标的所述立体俯瞰图像，所述第2区域为藉由转换后的位置信息而确定的所述3维空间的区域。
10.一种图像处理程序，用于使图像处理装置的计算机执行步骤，所述图像处理装置将从多个摄像装置获得的摄影图像投影至立体投影面以生成立体俯瞰图像，所述步骤为：
获取步骤，获取对目标进行配置的第1区域在3维空间内的位置信息；
转换步骤，将所述第1区域的位置信息转换为基于所述立体投影面的位置信息；及
输出步骤，输出在第2区域中配置有所述目标的所述立体俯瞰图像，所述第2区域为藉由转换后的位置信息而确定的所述3维空间的区域。
CN202180098536.XA 2021-05-26 2021-05-26 图像处理装置、图像处理方法及图像处理程序 Pending CN117356087A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/019968 WO2022249318A1 (ja) 2021-05-26 2021-05-26 画像処理装置、画像処理方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
CN117356087A true CN117356087A (zh) 2024-01-05

Family

ID=84228640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180098536.XA Pending CN117356087A (zh) 2021-05-26 2021-05-26 图像处理装置、图像处理方法及图像处理程序

Country Status (4)

Country Link
US (1) US20240096006A1 (zh)
JP (1) JPWO2022249318A1 (zh)
CN (1) CN117356087A (zh)
WO (1) WO2022249318A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6310652B2 (ja) * 2013-07-03 2018-04-11 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法
JP6962372B2 (ja) * 2017-08-25 2021-11-05 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
JP7217090B2 (ja) * 2018-03-16 2023-02-02 株式会社デンソーテン 情報提供装置及び情報提供方法
JP7314518B2 (ja) * 2019-02-06 2023-07-26 株式会社アイシン 周辺監視装置

Also Published As

Publication number Publication date
US20240096006A1 (en) 2024-03-21
JPWO2022249318A1 (zh) 2022-12-01
WO2022249318A1 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
JP5857224B2 (ja) 駐車支援装置、及び駐車支援方法
JP4642723B2 (ja) 画像生成装置および画像生成方法
JP4403172B2 (ja) ファイル生成方法および装置並びに立体画像の表示制御方法および装置
JP5383576B2 (ja) 撮像装置、撮像方法およびプログラム
JP2010103730A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
CN111918020B (zh) 图像处理装置、以及图像处理方法
JP6167824B2 (ja) 駐車支援装置
JP5064201B2 (ja) 画像表示システム及びカメラ出力制御方法
JP4403173B2 (ja) 立体表示用ファイルの生成方法および装置並びに表示制御方法および装置
JP2015186085A (ja) 移動量導出装置、及び、移動量導出方法
JP2020153873A (ja) 診断処理装置、診断システム、診断処理方法、及びプログラム
WO2014166449A1 (zh) 一种基于全景视频的车载导航方法及系统、存储介质
JP2015171106A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2008252493A (ja) ファイル生成方法および装置並びに立体画像の表示制御方法および装置
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
US10623610B2 (en) Display processing device and display processing method
CN117356087A (zh) 图像处理装置、图像处理方法及图像处理程序
JP2005142657A (ja) 車両周辺表示制御装置
JP4685050B2 (ja) 表示装置
JP2018186389A (ja) 映像再生装置、映像再生システム、及び映像再生方法
JP5436056B2 (ja) 障害物検出装置および障害物検出方法
JP2019176330A (ja) 表示装置
JP4407246B2 (ja) 車両周辺モニタシステムおよび車両周辺モニタ方法
JP2022183656A5 (zh)
JP2018148484A (ja) 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination