CN111886624A - 图像处理装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN111886624A
CN111886624A CN201880091553.9A CN201880091553A CN111886624A CN 111886624 A CN111886624 A CN 111886624A CN 201880091553 A CN201880091553 A CN 201880091553A CN 111886624 A CN111886624 A CN 111886624A
Authority
CN
China
Prior art keywords
image
background
dimensional
unit
image portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880091553.9A
Other languages
English (en)
Inventor
深泽司
冈原浩平
古木一朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111886624A publication Critical patent/CN111886624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images

Abstract

图像处理装置(10)具有：立体物提取部(1)，其是图像分割部，将多个摄像图像分别分割为实际存在的立体物即实际存在对象所占据的前景图像部分和该前景图像部分以外的背景图像部分；背景补全部(2)，其通过将参照图像部分粘贴于前景图像部分的区域来补全背景图像部分；背景图像合成部(3)，其进行变更多个补全后的背景图像部分的视点位置的俯瞰转换，对俯瞰转换后的背景图像部分进行合成，由此生成背景俯瞰合成图像；立体物识别部(4)，其取得实际存在对象的姿势信息；立体物投射部(5)，其使用姿势信息，取得与实际存在对象对应的三维虚拟对象；三维空间重叠部(6)，其在背景俯瞰合成图像上重叠三维虚拟对象而生成三维空间图像；以及显示图像输出部(7)，其生成并输出从上方观察三维空间图像得到的图像即俯瞰合成图像。

Description

图像处理装置、图像处理方法及图像处理程序
技术领域
本发明涉及根据多个摄像图像生成俯瞰合成图像的图像处理装置、以及用于根据多个摄像图像生成俯瞰合成图像的图像处理方法及图像处理程序。
背景技术
存在如下技术：对由多个照相机得到的多个摄像图像进行视点转换而生成多个俯瞰图像，将多个俯瞰图像合成，生成俯瞰合成图像。专利文献1记载了如下技术：选择基于区分2个摄像图像的共同的摄像区域的边界位置与共同的摄像区域内的立体物的位置而进行了视点转换的2个俯瞰图像中的、立体物的图像的畸变小的俯瞰图像，使用选择出的俯瞰图像来生成俯瞰合成图像。
现有技术文献
专利文献
专利文献1：日本特许第6239205号公报(例如权利要求1，图3)
发明内容
发明要解决的问题
在上述现有技术中，虽然使用立体物的图像的畸变小的俯瞰图像来生成俯瞰合成图像，但在立体物中存在畸变，有时给观察者带来不适感。
本发明是为了解决上述问题而完成的，其目的在于，提供一种能够生成难以给观察者带来不适感的俯瞰合成图像的图像处理装置、以及用于生成难以给观察者带来不适感的俯瞰合成图像的图像处理方法及图像处理程序。
用于解决问题的手段
本发明的一方案的图像处理装置的特征在于，所述图像处理装置具有：图像分割部，将多个摄像图像分别分割为在所述多个摄像图像的共同的摄影对象区域内实际存在的立体物即实际存在对象所占据的前景图像部分和所述前景图像部分以外的背景图像部分；背景补全部，其通过将预先取得的参照图像的一部分即参照图像部分粘贴于所述前景图像部分的区域来补全所述背景图像部分，生成多个补全后的背景图像部分；背景图像合成部，其进行变更所述多个补全后的背景图像部分的视点位置的俯瞰转换，对俯瞰转换后的所述背景图像部分进行合成，由此生成背景俯瞰合成图像；立体物识别部，其识别所述实际存在对象，取得所述实际存在对象的姿势信息；立体物投射部，其使用所述姿势信息，取得与所述实际存在对象对应的三维虚拟对象；三维空间重叠部，其将所述三维虚拟对象重叠于所述背景俯瞰合成图像，生成三维空间图像；以及显示图像输出部，其生成并输出从上方观察所述三维空间图像而得到的图像即俯瞰合成图像。
本发明的另一方案的图像处理方法的特征在于，所述图像处理方法具有如下步骤：将多个摄像图像分别分割为在所述多个摄像图像的共同的摄影对象区域内实际存在的立体物即实际存在对象所占据的前景图像部分和所述前景图像部分以外的背景图像部分；通过将预先取得的参照图像的一部分即参照图像部分粘贴于所述前景图像部分的区域来补全所述背景图像部分，生成多个补全后的背景图像部分；进行变更所述多个补全后的背景图像部分的视点位置的俯瞰转换，对俯瞰转换后的所述背景图像部分进行合成，由此生成背景俯瞰合成图像；识别所述实际存在对象，取得所述实际存在对象的姿势信息；使用所述姿势信息，取得与所述实际存在对象对应的三维虚拟对象；将所述三维虚拟对象重叠于所述背景俯瞰合成图像，生成三维空间图像；以及生成并输出从上方观察所述三维空间图像而得到的图像即俯瞰合成图像。
发明的效果
根据本发明，能够根据多个摄像图像而生成难以给观察者带来不适感的俯瞰合成图像。
附图说明
图1是示出本发明的实施方式的图像处理装置的硬件结构的图。
图2是示出实施方式的图像处理装置的功能框图。
图3是概要地示出包括本实施方式的图像处理装置、2台摄像装置以及显示设备的图像处理系统的结构例的图。
图4是示出实施方式的图像处理装置的立体物提取部所进行的处理的流程图。
图5的(a)及(b)是示出由立体物提取部从摄像图像分别提取出的前景图像部分、背景图像部分及前景图像摄影信息的例子的说明图。
图6是示出实施方式的图像处理装置的背景补全部所进行的处理的流程图。
图7的(a)至(e)是示出背景补全部所进行的处理的说明图。
图8是示出实施方式的图像处理装置的背景图像合成部所进行的处理的流程图。
图9的(a)至(c)是示出背景图像合成部所进行的处理的说明图。
图10是示出实施方式的图像处理装置的立体物识别部所进行的处理的流程图。
图11是示出实施方式的图像处理装置的立体物投射部所进行的处理的流程图。
图12是示出立体物投射部所进行的处理的说明图。
图13是示出实施方式的图像处理装置的三维空间重叠部所进行的处理的流程图。
图14是示出三维空间重叠部所进行的处理的说明图。
图15是示出实施方式的图像处理装置的显示图像输出部所进行的处理的流程图。
具体实施方式
以下，参照附图对本发明的实施方式的图像处理装置、图像处理方法及图像处理程序进行说明。以下的实施方式只不过是例子，在本发明的范围内能够进行各种变更。
《1》结构
《1-1》硬件结构
图1是示出本发明的实施方式的图像处理装置10的硬件结构的图。图像处理装置10是能够实施本实施方式的图像处理方法的装置。图像处理装置10例如是计算机。如图1所示，图像处理装置10具有作为信息处理部的处理器11、存储器12、存储装置13、接收摄像图像数据(也简称为“摄像图像”)的图像输入接口14、以及输出显示图像数据的显示设备接口15。存储器12和存储装置13也称为存储部16。
处理器11进行各种运算处理及针对硬件的各种控制处理。存储器12是主存储装置。存储器12例如是RAM(Random Access Memory)。存储装置13是辅助存储装置。存储装置13例如是硬盘装置或SSD(Solid State Drive)。图像输入接口14是用于将从多个摄像装置提供的多个影像信号即多个摄像图像取入到图像处理装置10的装置。显示设备接口15是用于将显示图像向显示器等显示设备发送的装置。
在图1的例子中，在图像处理装置10连接有2台摄像装置20a及20b。但是，与图像处理装置10连接的摄像装置的台数也可以为3台以上。摄像装置20a及20b分别具有拍摄图像的功能。摄像装置20a及20b分别是具备CCD(Charged-Coupled Device)或CMOS(Complementary Metal-Oxide-Semiconductor)这样的摄像元件和透镜的照相机设备(也简称为“照相机”)。摄像装置20a及20b优选为彼此具有同样的构造的照相机设备。摄像装置20a拍摄第1摄像对象区域。摄像装置20b拍摄第2摄像对象区域。第1摄像对象区域与第2摄像对象区域部分地重复，具有共同的摄像对象区域部分。
摄像装置20a及20b可以以有线的方式与图像处理装置10的图像输入接口14连接，或者也可以以无线的方式与图像处理装置10的图像输入接口14连接。摄像装置20a及20b与图像输入接口14例如经由IP(Internet Protocol)网络或者同轴缆线而进行通信。摄像装置20a及20b与图像输入接口14之间的连接方式及通信方式不限定于特定的方式。图像输入接口14具有同时(即，并行地)接收从摄像装置20a及20b提供的2个(即，2个画面的)摄像图像100a及100b的功能。
从摄像装置20a及20b提供的2个摄像图像100a及100b经由图像输入接口14被取入到图像处理装置10的内部，并存储于存储器12。取入到图像处理装置10的2个摄像图像100a及100b被转换成在各个摄像对象区域的上方设置有视点的图像即2个俯瞰图像数据(也简称为“俯瞰图像”)，之后，合成2个俯瞰图像。用于生成俯瞰图像的转换处理是“视点转换处理”。在本实施方式中，将用于生成俯瞰图像的视点转换处理称为“俯瞰转换处理”。处理器11通过读出并执行存储器12或存储装置13所存储的图像处理程序，进行视点转换处理及合成处理。通过视点转换处理及合成处理而生成的俯瞰合成图像数据(也简称为“俯瞰合成图像”)即显示图像数据(也简称为“显示图像”)经由显示设备接口15被发送到显示器等显示设备。
《1-2》功能结构
图2是示出本实施方式的图像处理装置10的功能框图。图像处理装置10从摄像装置20a及20b分别接收摄像图像100a及100b，将根据摄像对象区域中的俯瞰图像而生成的俯瞰合成图像作为显示图像输出。图像处理装置10具有作为图像分割部的立体物提取部1，该立体物提取部1从摄像图像100a及100b分别提取实际存在的对象物即立体物(也称为“实际存在对象”)，由此，将摄像图像100a及100b分别分割为前景图像部分数据(也称为“前景图像部分”)与背景图像部分数据(也称为“背景图像部分”)。
此外，图像处理装置10具有背景补全部2，该背景补全部2向各个摄像图像100a及100b的提取出立体物的区域粘贴过去取得的摄像图像100a及100b(也称为“参照图像数据”或“参照图像”)的背景图像部分的一部分。参照图像的背景图像部分也被称为“参照图像部分数据”或“参照图像部分”。此外，图像处理装置10具有将摄像图像100a的背景图像部分与摄像图像100b的背景图像部分合成的背景图像合成部3。
此外，图像处理装置10具有：立体物识别部4，其识别作为前景图像部分而提取的立体物即实际存在对象；以及立体物投射部5，其对与提取出的实际存在对象所占据的前景图像部分对应的(即，与立体物对应的)选择出的三维虚拟对象进行投射。三维虚拟对象例如是用于显示预先存储于存储部16的虚拟的立体物的三维图像数据、或者是以显示具有与立体物对应的大小的虚拟的立体物的方式生成的三维图像数据。
此外，图像处理装置10具有：三维空间重叠部6，其在由背景图像合成部3形成于虚拟的三维空间的背景图像部分上配置(即，重叠)三维虚拟对象；以及显示图像输出部7，其将通过在背景图像部分上重叠三维虚拟对象而形成的俯瞰合成图像作为显示图像输出。
《1-3》结构例
图3是概要地示出包括本实施方式的图像处理装置10、2台摄像装置20a及20b以及显示设备30的图像处理系统的结构例的图。
立体物提取部1从摄像图像100a及100b分别检测实际存在的立体物即实际存在对象40，提取摄像图像中的与实际存在对象40对应的部分即前景图像部分，由此，将摄像图像100a及100b分别分割为前景图像部分与背景图像部分。实际存在对象40例如是人物、车辆、生产物等。立体物提取部1检测实际存在对象40，将检测到的实际存在对象40作为前景图像部分，将前景图像部分以外的部分作为背景图像部分，由此将摄像图像100a及100b分别分割为前景图像部分与背景图像部分。摄像图像100a的背景图像部分是从摄像图像100a去掉了作为立体物的实际存在对象40的区域而得到的图像部分。摄像图像100b的背景图像部分是从摄像图像100b去掉了作为立体物的实际存在对象40的区域而得到的图像部分。使用后述的图4、图5的(a)及(b)，详述立体物提取部1所进行的处理。
背景补全部2从作为过去的摄像图像(例如，由相同的摄像装置拍摄到的图像)而存储于存储部16的参照图像中，抽取实际存在对象40的区域即前景图像部分，代替抽取的前景图像部分而粘贴参照图像的一部分即参照图像部分，由此补全前景图像部分缺失的背景图像部分。由此，生成利用参照图像的一部分补全了实际存在对象40的区域(即，利用参照图像部分数据补全了不足部位的图像数据)的背景图像部分。使用后述的图6、图7的(a)至(e)，详述背景补全部2所进行的处理。
背景图像合成部3根据由背景补全部2补全的2个背景图像部分，生成背景俯瞰合成图像302。为了生成背景俯瞰合成图像302，事先进行各个摄像装置20a及20b的校准，通过图像处理装置10而取得各个摄像装置20a及20b的内部参数和外部参数成为前提。内部参数包括表示摄像装置20a及20b各自的焦距、光轴中心的位置及方向等的信息。外部参数是表示摄像装置20a及20b各自的位置和姿势即照相机位置姿势的信息，包括成为摄像对象的空间内的设置位置(设置坐标)信息和设置姿势信息(例如偏航、滚动、俯仰信息)等。背景图像合成部3使用由背景补全部2补全的2个背景图像部分、以及由表示2个背景图像部分与俯瞰合成图像的对应关系的像素数据构成的参照表，进行俯瞰转换处理和合成处理。使用后述的图8、图9的(a)至(c)，详述背景图像合成部3所进行的处理。
立体物识别部4首先根据从摄像图像100a提取出的前景图像部分和从摄像图像100b提取出的前景图像部分，进行作为立体物的实际存在对象40的识别。实际存在对象40例如是人物、车辆。生产物等。但是，实际存在对象40不限于人物、车辆、生产物。接着，立体物识别部4从自摄像图像100a提取出的前景图像部分和自摄像图像100b提取出的前景图像部分中取得实际存在对象40的姿势信息，将实际存在对象40的识别信息即实际存在对象ID(识别符)、表示实际存在对象40的种类的实际存在对象种类、实际存在对象40的姿势信息存储于存储部16(例如，存储器12)。实际存在对象40的姿势信息例如是在将作为从摄像图像100a提取出的前景图像部分及从摄像图像100b提取出的前景图像部分的二维坐标的像素数据转换成三维坐标的像素数据时使用的表。实际存在对象40的姿势信息可以通过前景图像部分中的图像解析而求出，也可以使用作为与摄像装置20a及20b不同的装置的传感器而取得。实际存在对象40的姿势信息的取得方法不限定于特定的方法。使用后述的图10，详述立体物识别部4所进行的处理。
立体物投射部5取得与由立体物识别部4识别出的实际存在对象40对应的三维虚拟对象400。可以从预先存储于存储部16的多个三维虚拟对象中，根据实际存在对象40来选择三维虚拟对象400，也可以使用姿势信息而生成三维虚拟对象400。例如，在实际存在对象40为人物的情况下，使用表示人物的形状的三维虚拟对象。此外，在实际存在对象40为动物的情况下，使用表示动物的形状的三维虚拟对象。接着，立体物投射部5针对与由立体物提取部1从摄像图像100a提取出的前景图像部分及从摄像图像100b提取出的前景图像部分对应的三维虚拟对象进行投射，由此，生成投射后的三维虚拟对象400。具体而言，立体物投射部5在背景俯瞰合成图像302中的提取出作为实际存在对象40的人物的位置，重叠显示具有与从上方观察人物时的形状对应的形状的三维虚拟对象400的图像。使用后述的图11及图12，详述立体物投射部5所进行的处理。
三维空间重叠部6例如在XYZ正交坐标系所示的三维空间内的Z＝0的面上，配置由背景图像合成部3根据2个补全的背景图像部分而生成的背景俯瞰合成图像302，在前景图像部分的位置坐标上配置所投射的三维虚拟对象400。使用后述的图13及图14，详述三维空间重叠部6所进行的处理。
显示图像输出部7将在背景俯瞰合成图像302上重叠三维虚拟对象400而得到的三维空间的俯瞰合成图像作为显示图像向显示设备30输出。使用后述的图15，详述显示图像输出部7所进行的处理。
《2》动作
《2-1》立体物提取部1
图4是示出图像处理装置10的立体物提取部1所进行的处理的流程图。图5的(a)是示出由立体物提取部1从摄像图像100a提取出的前景图像部分200a及201a、背景图像部分300a、以及前景图像摄影信息500a及501a的例子的说明图。图5的(b)是示出由立体物提取部1从摄像图像100b提取出的前景图像部分200b及201b、背景图像部分300b、以及前景图像摄影信息500b及501b的例子的说明图。在图5的(a)及(b)中示出了从1个摄像图像提取出2个前景图像部分和2个前景图像摄影信息的例子，但前景图像部分的数量不限于2个，前景图像摄影信息的数量也不限于2个。
前景图像摄影信息例如包括实际存在对象40中的与摄像装置20a及20b最近的部分的位置坐标、前景图像部分的分辨率、实际存在对象40的大小等。实际存在对象40的大小例如由以矩形包围实际存在对象40(例如，以外切的方式包围)时的矩形的4个顶点的坐标表示。但是，表示实际存在对象40的大小的信息也可以是矩形的4个顶点的坐标以外的信息指标。
首先，立体物提取部1取得多个摄像图像100a及100b(步骤S10)。在摄像图像100a及100b被压缩编码的情况下，立体物提取部1通过对摄像图像100a及100b进行解码来取得与摄像图像100a及100b对应的RAW图像数据。例如，在从摄像装置20a及20b流发送了以作为动态图像压缩标准的H.264形式被压缩编码后的影像的情况下，立体物提取部1对摄像图像100a及100b进行与H.264形式对应的解码，由此，取得RGBA(Red Green Blue Alpha)32比特的RAW图像数据。但是，立体物提取部1所取得的图像数据的形式不限定于RGBA32比特的RAW图像数据。
接着，立体物提取部1根据取得的RAW图像数据来检测人物、车辆、生产物等这样的立体物，即1个以上的实际存在对象40(步骤S11)。实际存在对象40例如是步行的人物、行驶的车辆、工厂的生产线中的生产物等。但是，实际存在对象40不限于此，也可以是动物、建造物、障碍物、工厂设备、机器人等之类的其他立体物。
接着，立体物提取部1从RAW图像数据提取检测到的实际存在对象40，将RAW图像数据分割为拍摄到实际存在对象40的区域部分即前景图像部分和除此以外的区域部分即背景图像部分(步骤S12)。实际存在对象40的提取例如使用被称为图切的用于提取图像的区域的图像分割技术来进行。立体物提取部1通过使用图切，能够从各个摄像图像100a及100b中分割背景图像部分与前景图像部分。但是，实际存在对象40的提取方法不限定于使用了图切的方法。例如，在实际存在对象的提取中，也可以使用利用了深度学习的学习库的图像分割技术(例如，Open Pose)。与实际存在对象40相关的前景图像摄影信息例如包括摄像图像中的前景图像部分的位置坐标、表示前景图像部分的大小的值、识别实际存在对象40的识别符。从摄像图像100a及100b提取0个或1个以上的成为对象的实际存在对象40。因此，从实际存在对象40的检测到实际存在对象40的提取为止的处理(步骤S11及S12)重复与处理对象的摄像图像的数量相同的次数。
接着，立体物提取部1针对提取出的实际存在对象40，进行实际存在对象40的辨识(步骤S13)。在摄像装置20a的摄像对象区域和摄像装置20b的摄像对象区域包括共同的摄像对象区域部分的情况下，摄像图像100a及100b有时拍摄相同的实际存在对象40。立体物提取部1对实际存在对象分别赋予用于识别多个实际存在对象的各个实际存在对象的识别符。在摄像图像100a所包含的实际存在对象与摄像图像100b所包含的实际存在对象为相同的实际存在对象的情况下，立体物提取部1对该实际存在对象赋予相同的识别符。例如，如图5的(a)及(b)所示，立体物提取部1检测4张前景图像部分200a、201a、200b及201b，在判断为前景图像部分201a与前景图像部分201b相同的情况下，判定为实际的实际存在对象的个数为3个。立体物提取部1将摄像图像100a及100b作为输入而接收，输出背景图像部分300a及300b、前景图像部分200a、201a、200b及201b、前景图像摄影信息500a、501a、500b及501b。
《2-2》背景补全部2
图6是示出图像处理装置10的背景补全部2所进行的处理的流程图。背景补全部2使用预先存储于存储部16的参照图像进行背景补全(步骤S20)。背景补全部2使用与成为对象的前景图像部分200a、201a、200b及201b对应的前景图像摄影信息500a、501a、500b及501b，进行背景补全。背景补全部2基于实际存在对象40的前景图像部分200a、201a、200b及201b的位置坐标及大小，从参照图像取得与前景图像部分200a、201a、200b及201b的位置坐标及大小相同的位置坐标及大小的参照图像部分，将该参照图像部分粘贴于背景图像部分，由此补全前景图像部分的缺失，生成补全后的背景图像部分。
图7的(a)至(e)是示出背景补全部2所进行的处理的说明图。例如，背景补全部2接收图7的(c)所示的背景图像部分300a，图7的(c)所示的背景图像部分300a是从图7的(a)所示的摄像图像100a去除了所提取出的图7的(b)所示的成为对象的前景图像部分200a而得到的。接着，背景补全部2使用与前景图像部分200a相关的前景图像摄影信息500a，基于作为对象物的实际存在对象的前景图像部分200a的位置坐标及大小，从图7的(d)所示的参照图像350取得与作为对象物的实际存在对象的前景图像部分200a的位置坐标及大小相同的位置坐标及大小的参照图像部分350a。接着，背景补全部2通过在背景图像部分300a上粘贴参照图像部分350a来补全背景图像部分300a，生成图7的(e)所示的被补全的背景图像部分301a。即，背景补全部2接收去掉了前景图像部分200a后的背景图像部分300a作为输入，输出使用参照图像350进行了背景补全的背景图像部分301a。
《2-3》背景图像合成部3
图8是示出图像处理装置10的背景图像合成部3所进行的处理的流程图。背景图像合成部3接收背景补全部2中的进行了背景补全的背景图像部分301a及301b作为输入，对背景图像部分301a及301b进行俯瞰转换(视点转换)，将俯瞰转换后的背景图像部分合成，由此，生成背景俯瞰合成图像302。
具体而言，背景图像合成部3针对进行了背景补全的背景图像部分301a及301b，进行用于校正由于摄像装置20a的透镜的特性而产生的畸变及由于摄像装置20b的透镜的特性而产生的畸变的畸变校正处理(步骤S30)。
接着，背景图像合成部3使用摄像装置20a的外部参数，进行以从上方(例如正上方)观察进行了背景补全的背景图像部分301a的方式转换视点位置的俯瞰转换(步骤S31)。此外，背景图像合成部3使用摄像装置20b的外部参数，进行以从上方(例如正上方)观察进行了背景补全的背景图像部分301b的方式转换视点位置的俯瞰转换(步骤S31)。
接着，背景图像合成部3对各个俯瞰转换后的背景图像部分301a及301b进行合成(步骤S32)。
接着，背景图像合成部3对俯瞰转换后的背景图像部分301a及301b重合的区域进行阿尔法混合(步骤S33)。阿尔法混合是重合2个图像并基于按照每个像素而设定的系数即透明度(α值)进行合成的图像合成方法。作为概念，α值表示从透明度0％的完全不透明状态到透明度100％的完全透明状态的透明度。例如，α值是取0到1的范围的值的系数，在最小值(值0)的情况下，透明度为最大，在最大值(值1)的情况下，不透明度成为最大(全部涂抹)。
图9的(a)至(c)是示出背景图像合成部3所进行的处理的说明图。背景图像合成部3根据图9的(a)所示的背景图像部分301a及301b而生成图9的(b)所示的俯瞰转换后的背景图像部分301a及背景图像部分301b，进而生成图9的(c)所示的背景俯瞰合成图像302。图像处理装置10为了生成背景俯瞰合成图像302，需要事先进行摄像装置20a及20b的校准，取得内部参数和外部参数。内部参数包括摄像装置的光学构件的焦距、光轴中心的位置及方向等信息。外部参数包括照相机位置姿势的信息，包括成为摄像对象的空间内的设置位置(设置坐标)信息和设置姿势(偏航、滚动、俯仰信息)等。背景图像合成部3为了根据背景图像部分301a和背景图像部分301b而制作背景俯瞰合成图像302，也能够使用预先准备的参照表来进行。
《2-4》立体物识别部4
图10是示出图像处理装置10的立体物识别部4所进行的处理的流程图。立体物识别部4根据由立体物提取部1提取出的前景图像部分200a、201a、200b及201b，进行实际存在的立体物即实际存在对象40的识别(步骤S40)。
接着，立体物识别部4取得由立体物提取部1提取出的前景图像部分200a及200b的姿势信息，即，实际存在对象的姿势信息，将实际存在对象ID、实际存在对象种类、姿势信息存储于存储部16(步骤S41)。姿势信息是用于从作为前景图像部分200a及200b的二维坐标的像素数据转换成三维坐标的像素数据的数据表。立体物识别部4可以通过前景图像部分中的图像解析而预先求出姿势信息，也可以使用摄像装置以外的传感器而预先取得姿势信息。姿势信息的取得方法不限定于特定的方法。尤其是在实际存在对象40为人物的情况下，由于能够从摄影图像取得人物的骨骼信息，因此，立体物识别部4也可以将人物的骨骼信息作为姿势信息存储于存储部16。
《2-5》立体物投射部5
图11是示出图像处理装置10的立体物投射部5所进行的处理的流程图。立体物投射部5根据由立体物识别部4取得的实际存在对象的姿势信息而生成三维虚拟对象(步骤S50)。
接着，立体物投射部5使用姿势信息，将由立体物提取部1提取出的二维的前景图像部分投射到三维虚拟对象(步骤S51)。作为相同的实际存在对象ID的前景图像部分被投射到相同的三维虚拟对象。
图12是示出立体物投射部5所进行的处理的说明图。立体物投射部5取得(包括生成)与识别出的实际存在对象40对应的三维虚拟对象400a。三维虚拟对象400a根据对应的实际存在对象40，从事先存储于存储部16的多个三维虚拟对象的候选中进行选择。此外，立体物投射部5也可以使用姿势信息来制作三维虚拟对象400a。接着，立体物投射部5向三维虚拟对象400a投射由立体物提取部1提取出的前景图像部分200a及200b。此时，立体物投射部5使用前景图像部分200a及200b的姿势信息向三维虚拟对象进行投射，生成投射后的三维虚拟对象400。
《2-6》三维空间重叠部6
图13是示出图像处理装置10的三维空间重叠部6所进行的处理的流程图。图14是示出立体物投射部5所进行的处理的说明图。三维空间重叠部6在XYZ正交坐标系所示的三维空间上，例如在高度为0(Z＝0)的平面(例如，XY面)上配置由背景图像合成部3生成的背景俯瞰合成图像302(步骤S60)。
接着，三维空间重叠部6将由立体物投射部5生成的投射后的三维虚拟对象400与背景俯瞰合成图像302重叠配置(步骤S61)。三维虚拟对象400的配置位置是使用摄像装置20a及20b中的内部参数和外部参数对前景图像摄影信息所包含的位置信息进行坐标转换而得到的坐标。
《2-7》显示图像输出部7
图15是示出图像处理装置10的显示图像输出部7所进行的处理的流程图。显示图像输出部7取得由三维空间重叠部6生成的由配置在三维空间的背景俯瞰合成图像302和三维虚拟对象400构成的俯瞰合成图像，即，从指定的视点位置(例如，三维虚拟对象400的正上方的视点位置)观察到的俯瞰合成图像(步骤S70)。
接着，显示图像输出部7将取得的俯瞰合成图像向显示设备30输出(步骤S71)。
《3》效果
如以上所说明的那样，根据本实施方式的图像处理装置10及图像处理方法，在三维空间上配置平面的背景俯瞰合成图像302和三维虚拟对象400，因此，在将多个摄像图像100a及100b合成的情况下，在摄像图像100a及100b重叠的范围内不会双重显示立体物，此外，立体物也不会消失。
此外，根据本实施方式的图像处理装置10及图像处理方法，在存在多个实际存在对象40的情况下，能够使用每个实际存在对象的三维虚拟对象独立地抑制畸变，因此，能够生成没有不适感的从正上方观察到的俯瞰图像。
并且，根据本实施方式的图像处理装置10及图像处理方法，不仅能够制作从正上方观察到的俯瞰图像，也能够制作从任意的视点位置观察到的俯瞰合成图像。因此，在将图像处理装置10用于监视用途的情况下，能够实现监视者的监视作业的有效化。
《4》利用方式的说明
本实施方式的图像处理装置10及图像处理方法能够应用于工厂的作业者的监视用的作业监视系统。
此外，本实施方式的图像处理装置10及图像处理方法能够应用于通过搭载于车辆来检测并显示车辆周边的障碍物的驾驶支援系统。
此外，本实施方式的图像处理装置10及图像处理方法能够应用于对位于工厂的生产线上的作业对象物进行管理的制造管理系统或者对完成品的库存状况进行监视的库存管理系统等。
标号说明
1立体物提取部(图像分割部)，2背景补全部，3背景图像合成部，4立体物识别部，5立体物投射部，6三维空间重叠部，7显示图像输出部，10图像处理装置，11处理器，12存储器，13存储装置，14图像输入接口，15显示设备接口，16存储部，20a、20b摄像图像，30显示设备，40实际存在对象(立体物)，100a、100b摄像图像，200a、201a、200b、201b前景图像部分，300a、300b背景图像部分，302背景俯瞰合成图像，350参照图像，350a参照图像部分，400投射后的三维虚拟对象，400a三维虚拟对象，500a、501a、500b、501b前景图像摄影信息。

Claims (9)

1.一种图像处理装置，其特征在于，
所述图像处理装置具有：
图像分割部，其将多个摄像图像分别分割为在所述多个摄像图像的共同的摄影对象区域内实际存在的立体物即实际存在对象所占据的前景图像部分和所述前景图像部分以外的背景图像部分；
背景补全部，其通过将预先取得的参照图像的一部分即参照图像部分粘贴于所述前景图像部分的区域来补全所述背景图像部分，生成多个补全后的背景图像部分；
背景图像合成部，其进行变更所述多个补全后的背景图像部分的视点位置的俯瞰转换，对俯瞰转换后的所述背景图像部分进行合成，由此生成背景俯瞰合成图像；
立体物识别部，其识别所述实际存在对象，取得所述实际存在对象的姿势信息；
立体物投射部，其使用所述姿势信息，取得与所述实际存在对象对应的三维虚拟对象；
三维空间重叠部，其将所述三维虚拟对象重叠于所述背景俯瞰合成图像，生成三维空间图像；以及
显示图像输出部，其生成并输出从上方观察所述三维空间图像而得到的图像即俯瞰合成图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述立体物投射部取得与所述实际存在对象对应的三维虚拟对象，向所述三维虚拟对象投射所述前景图像部分，将投射后的所述三维虚拟对象重叠在所述背景俯瞰合成图像上。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述图像处理装置还具有预先存储多个三维虚拟对象的候选的存储部。
4.根据权利要求1至3中的任意一项所述的图像处理装置，其特征在于，
所述参照图像是由拍摄了所述多个摄像图像的多个摄像装置在过去拍摄到的摄像图像。
5.根据权利要求1至4中的任意一项所述的图像处理装置，其特征在于，
所述图像处理装置还具有预先存储所述参照图像的存储部。
6.根据权利要求1至5中的任意一项所述的图像处理装置，其特征在于，
在所述立体物识别部识别为所述实际存在对象是人物的情况下，所述姿势信息包括所述人物的骨骼信息。
7.根据权利要求1至6中的任意一项所述的图像处理装置，其特征在于，
所述显示图像输出部生成从正上方观察所述实际存在对象而得到的图像，作为所述俯瞰合成图像。
8.一种图像处理方法，其特征在于，
所述图像处理方法具有如下步骤：
将多个摄像图像分别分割为在所述多个摄像图像的共同的摄影对象区域内实际存在的立体物即实际存在对象所占据的前景图像部分和所述前景图像部分以外的背景图像部分；
通过将预先取得的参照图像的一部分即参照图像部分粘贴于所述前景图像部分的区域来补全所述背景图像部分，生成多个补全后的背景图像部分；
进行变更所述多个补全后的背景图像部分的视点位置的俯瞰转换，对俯瞰转换后的所述背景图像部分进行合成，由此生成背景俯瞰合成图像；
识别所述实际存在对象，取得所述实际存在对象的姿势信息；
使用所述姿势信息，取得与所述实际存在对象对应的三维虚拟对象；
将所述三维虚拟对象重叠于所述背景俯瞰合成图像，生成三维空间图像；以及
生成并输出从上方观察所述三维空间图像而得到的图像即俯瞰合成图像。
9.一种图像处理程序，其特征在于，
使计算机执行如下处理：
将多个摄像图像分别分割为在所述多个摄像图像的共同的摄影对象区域内实际存在的立体物即实际存在对象所占据的前景图像部分和所述前景图像部分以外的背景图像部分；
通过将预先取得的参照图像的一部分即参照图像部分粘贴于所述前景图像部分的区域来补全所述背景图像部分，生成多个补全后的背景图像部分；
进行变更所述多个补全后的背景图像部分的视点位置的俯瞰转换，对俯瞰转换后的所述背景图像部分进行合成，由此生成背景俯瞰合成图像；
识别所述实际存在对象，取得所述实际存在对象的姿势信息；
使用所述姿势信息，取得与所述实际存在对象对应的三维虚拟对象；
将所述三维虚拟对象重叠于所述背景俯瞰合成图像，生成三维空间图像；以及
生成并输出从上方观察所述三维空间图像而得到的图像即俯瞰合成图像。
CN201880091553.9A 2018-03-28 2018-03-28 图像处理装置、图像处理方法及图像处理程序 Pending CN111886624A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/012852 WO2019186787A1 (ja) 2018-03-28 2018-03-28 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
CN111886624A true CN111886624A (zh) 2020-11-03

Family

ID=66530751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091553.9A Pending CN111886624A (zh) 2018-03-28 2018-03-28 图像处理装置、图像处理方法及图像处理程序

Country Status (5)

Country Link
US (1) US11403742B2 (zh)
JP (1) JP6513300B1 (zh)
CN (1) CN111886624A (zh)
GB (1) GB2586712B (zh)
WO (1) WO2019186787A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429814B2 (en) * 2018-04-12 2022-08-30 Nec Corporation Learning image generation apparatus, learning image generation method, and non-transitory storage medium
WO2021040075A1 (ko) * 2019-08-27 2021-03-04 엘지전자 주식회사 영상표시장치 및 이의 영상처리방법
EP3968274A1 (en) * 2020-09-14 2022-03-16 Tata Consultancy Services Limited Method and system for asset inspection using unmanned aerial vehicles
WO2022181174A1 (ja) * 2021-02-24 2022-09-01 ソニーグループ株式会社 画像処理装置、画像処理方法、プロジェクタ装置
CN113538318B (zh) * 2021-08-24 2023-12-15 北京奇艺世纪科技有限公司 图像处理方法、装置、终端设备以及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030031253A1 (en) * 1998-10-09 2003-02-13 Osamu Itokawa Image processing apparatus and method
CN102986210A (zh) * 2010-07-14 2013-03-20 三菱电机株式会社 图像合成装置
CN103299617A (zh) * 2011-01-11 2013-09-11 爱信精机株式会社 图像生成装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP4934308B2 (ja) 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
KR101084025B1 (ko) * 2007-07-31 2011-11-16 가부시키가이샤 도요다 지도숏키 주차 지원 장치, 주차 지원 장치의 차량측 장치, 주차 지원 방법 및 주차 지원 프로그램
JP5053043B2 (ja) 2007-11-09 2012-10-17 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP4697480B2 (ja) * 2008-01-11 2011-06-08 日本電気株式会社 車線認識装置、車線認識方法および車線認識プログラム
JP5206366B2 (ja) * 2008-11-27 2013-06-12 カシオ計算機株式会社 ３次元データ作成装置
JP5067632B2 (ja) * 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
TWI433529B (zh) * 2010-09-21 2014-04-01 Huper Lab Co Ltd 增強辨識３ｄ物件的方法
US9355305B2 (en) 2010-10-08 2016-05-31 Panasonic Corporation Posture estimation device and posture estimation method
WO2012053105A1 (ja) * 2010-10-22 2012-04-26 日立建機株式会社 作業機械の周辺監視装置
WO2013046593A1 (ja) * 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
US8970701B2 (en) * 2011-10-21 2015-03-03 Mesa Engineering, Inc. System and method for predicting vehicle location
US20160379074A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices
GB2556797B (en) 2015-11-06 2018-10-24 Mitsubishi Electric Corp Image processing apparatus, image processing method, and image processing program
US10678257B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030031253A1 (en) * 1998-10-09 2003-02-13 Osamu Itokawa Image processing apparatus and method
CN102986210A (zh) * 2010-07-14 2013-03-20 三菱电机株式会社 图像合成装置
CN103299617A (zh) * 2011-01-11 2013-09-11 爱信精机株式会社 图像生成装置

Also Published As

Publication number Publication date
WO2019186787A1 (ja) 2019-10-03
US20210004943A1 (en) 2021-01-07
GB2586712B (en) 2021-12-22
GB202014492D0 (en) 2020-10-28
US11403742B2 (en) 2022-08-02
JPWO2019186787A1 (ja) 2020-04-30
JP6513300B1 (ja) 2019-05-15
GB2586712A (en) 2021-03-03

Similar Documents

Publication Publication Date Title
JP6513300B1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6021541B2 (ja) 画像処理装置及び方法
TWI691197B (zh) 用於全視差光場壓縮之預處理器
JP7146662B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN113038111A (zh) 用于图像捕获和处理的方法、系统和介质
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
CN106067974A (zh) 用于处理摄影机中的视频流的方法和装置
US10349040B2 (en) Storing data retrieved from different sensors for generating a 3-D image
US9380263B2 (en) Systems and methods for real-time view-synthesis in a multi-camera setup
WO2019124248A1 (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
JP2008243184A (ja) 濃淡画像の輪郭補正処理方法及びその装置
CN106709894B (zh) 一种图像实时拼接方法及系统
CN109190533B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2013196532A (ja) ３次元モデル−インテグラル画像変換装置およびそのプログラム
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
JP6021489B2 (ja) 撮像装置、画像処理装置およびその方法
CN113348489A (zh) 图像处理方法和装置
KR20230032893A (ko) 화상처리장치, 화상처리방법 및 기억 매체
KR101801100B1 (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
JP6137910B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11494934B2 (en) Image processing device, image processing method, and monitoring system
KR102019879B1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
KR20190059711A (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination