CN103053169B - 图像处理装置及图像处理方法 - Google Patents

Abstract

具备：数据输入部（101），受理输入图像（121）、深度数据（122）和拍摄参数（123）的输入；参数输入部（102），受理作为关于3维模型的射影变换的参数的变换参数（124）的输入；变换图像生成部（103），通过在根据输入图像（121）、深度数据（122）和拍摄参数（123）得到的3维模型中进行基于变换参数（124）的射影变换，生成变换图像（131）；空白区域检测部（104），在变换图像（131）中，检测作为在输入图像（121）内不存在对应的像素的像素即空白像素的集合的空白区域；输出部（105），在表示空白区域的大小的空白值是阈值以下的情况下，将变换图像（131）输出。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及通过在从输入图像得到的3维模型中进行射影变换而生成变换图像的图像处理装置及图像处理方法。

背景技术

近年来，用户对用数字静止照相机或数字摄像机等拍摄的图像进行编辑的情况变多。例如，用户经由GUI（GraphicalUserInterface：图形用户界面）指定输入图像内的一部分区域，将拍摄在该一部分区域中的被摄体的像放大。在这样的情况下，只是将被摄体的像单纯地放大或缩小，不能得到将照相机向被摄体接近而拍摄那样的像。

此外，提出了将从多个方向拍摄被摄体的输入图像合成而生成3维模型、在所生成的3维模型中通过从任意的视点位置进行射影变换从而生成被摄体像的方法（例如，参照专利文献1）。通过这样的方法，例如能够得到将照相机向被摄体靠近而拍摄那样的被摄体像、或从与实际的照相机不同的方向拍摄那样的被摄体像。

专利文献1：日本特开2002－290964号公报

发明概要

发明要解决的问题

但是，在上述以往的方法中，有变换图像的画质较大地劣化的情况。

发明内容

所以，本发明是鉴于上述问题而做出的，目的是提供一种在通过在从输入图像得到的3维模型中进行射影变换生成变换图像的情况下、能够抑制变换图像的画质的劣化的图像处理装置及图像处理方法。

用于解决问题的手段

有关本发明的一个形态的图像处理装置，其特征在于，具备：数据输入部，受理输入图像、表示上述输入图像的深度的深度数据、和上述输入图像的拍摄参数的输入；参数输入部，受理与3维模型的射影变换相关的参数即变换参数的输入；变换图像生成部，通过在根据上述输入图像、上述深度数据和上述拍摄参数得到的3维模型中进行基于上述变换参数的射影变换，从而生成变换图像；空白区域检测部，在上述变换图像中检测作为空白像素的集合的空白区域，该空白像素是在上述输入图像内不存在对应像素的像素；以及输出部，在表示上述空白区域的大小的空白值是阈值以下的情况下，将上述变换图像输出。

另外，这些全部或具体的形态也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM（CompactDiscReadOnlyMemory）等的记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

发明效果

根据本发明的一个形态，在通过在从输入图像得到的3维模型中进行射影变换来生成变换图像的情况下，能够抑制变换图像的画质的劣化。

附图说明

图1是表示有关实施方式1的图像处理装置的功能结构的框图。

图2是表示有关实施方式1的图像处理装置的处理动作的流程图。

图3是用来说明有关实施方式1的变换图像生成部的处理的一例的图。

图4是用来说明有关实施方式1的变换图像生成部的处理的一例的图。

图5是用来说明有关实施方式1的变换图像生成部的处理的一例的图。

图6是表示有关实施方式2的图像处理装置的功能结构的框图。

图7是表示有关实施方式2的图像处理装置的处理动作的流程图。

图8是表示有关实施方式3的图像处理装置的功能结构的框图。

图9是表示有关实施方式3的图像处理装置的处理动作的流程图。

图10A是表示输入图像的一例的图。

图10B是表示深度数据的一例的图。

图11是表示初始状态下的GUI的一例的图。

图12是表示显示基于输入变换参数生成的变换图像的GUI的一例的图。

图13是表示显示基于插补变换参数生成的变换图像（空白值>阈值）的GUI的一例的图。

图14是表示显示基于插补变换参数生成的变换图像（空白值=阈值）的GUI的一例的图。

图15是表示空白区域补充而得到的变换图像的一例的图。

图16是表示有关实施方式1～3的变形例的显示装置的功能结构的框图。

具体实施方式

（本发明的概要）

在现有技术的方法中，有变换图像的画质较大地劣化的情况。例如，有在通过射影变换生成的变换图像内发生对应的像在输入图像中不存在的空白区域的情况，在这样的情况下，变换图像的画质较大地劣化。

所以，有关本发明的一形态的图像处理装置，其特征在于，具备：数据输入部，受理输入图像、表示上述输入图像的深度的深度数据、和上述输入图像的拍摄参数的输入；参数输入部，受理与3维模型的射影变换相关的参数即变换参数的输入；变换图像生成部，通过在根据上述输入图像、上述深度数据和上述拍摄参数得到的3维模型中进行基于上述变换参数的射影变换，从而生成变换图像；空白区域检测部，在上述变换图像中检测作为空白像素的集合的空白区域，该空白像素是在上述输入图像内不存在对应像素的像素；以及输出部，在表示上述空白区域的大小的空白值是阈值以下的情况下，将上述变换图像输出。

根据本结构，能够根据在变换图像中检测出的空白区域的大小来切换是否输出该变换图像。因而，能够抑制输出因空白区域较大而画质较大地劣化的变换图像的情况。进而，这样在空白区域较大的情况下，例如如果基于其他变换参数进行射影变换，则也能够使空白区域变小，能够抑制变换图像的画质的劣化。

例如，也可以是，上述空白区域检测部以相互邻接的空白像素的集合为1个空白区域的方式，检测多个上述空白区域；上述输出部在多个上述空白区域的各自的空白值中的最大的空白值是上述阈值以下的情况下，将上述变换图像输出。

一般而言，与许多较小的空白区域离散地存在的情况相比，存在较少的大的空白区域的情况给画质的劣化带来的影响更大。所以，根据本结构，在多个空白区域的各自的空白值中的最大的空白值是阈值以下的情况下能够输出变换图像。即，能够根据多个空白区域中的对于画质的劣化的影响较大的空白区域来切换是否输出变换图像，能够抑制将画质较大地劣化的变换图像输出的情况。

例如，也可以是，上述空白值是进行了加权、以使空白区域的位置越接近于变换图像的中心位置则该空白区域的空白值越大的值。

一般而言，与存在于图像的边缘部的空白区域相比，存在于图像的中心的空白区域给画质的劣化带来的影响更大。所以，根据本结构，能够使用进行了加权以使得空白区域的位置越接近于变换图像的中心位置则该空白区域的空白值越大的空白值来切换是否输出变换图像。即，能够根据多个空白区域中的对于画质的劣化的影响较大的空白区域来切换是否输出变换图像，能够抑制将画质较大地劣化的变换图像输出的情况。

例如，也可以是，上述空白值是进行了加权、以使空白区域的宽高比越小则该空白区域的空白值越大的值。

一般而言，如果是相同的面积，则越是宽高比较小（即纵向幅度与横向幅度接近）的空白区域，给画质的劣化带来的影响越大。所以，根据本结构，能够使用进行了加权以使空白区域的宽高比越小则该空白区域的空白值越大的空白值来切换是否输出变换图像。即，能够根据多个空白区域中的对于画质的劣化的影响较大的空白区域来切换是否输出变换图像，能够抑制将画质较大地劣化的变换图像输出的情况。

例如，也可以是，还具备基于上述空白区域附近的像素的像素值对上述空白区域的像素的像素值进行补充的补充部；在上述空白值是上述阈值以下的情况下，上述输出部输出上述空白区域的像素的像素值被补充后的上述变换图像。

根据该结构，能够基于空白区域附近的像素的像素值补充空白区域的像素的像素值。因而，能够抑制因空白区域造成的画质的劣化。

例如，也可以是，上述参数输入部从用户受理对于上述输入图像的视点位置的变更指示，作为上述变换参数的输入；上述变换图像生成部通过根据由上述变换参数确定的视点位置进行射影变换，生成上述变换图像。

根据该结构，能够基于从用户受理的、对于输入图像的视点位置的变更指示来进行射影变换。

例如，也可以是，上述输出部还在上述空白值比上述阈值大的情况下，输出用来请求其他变换参数的输入的信息。

根据该结构，在变换图像的画质的劣化较大的情况下能够请求其他变换参数的输入。结果，也能够基于其他变换参数生成变换图像，能够生成抑制了因空白区域造成的画质的劣化的变换图像。

例如，也可以是，上述输出部在上述空白值比上述阈值大的情况下，输出用于强调显示用来从用户受理将上述变换参数初始化的指示的对象的信息，作为用来请求上述其他变换参数的输入的信息。

根据该结构，在变换图像的画质的劣化较大的情况下，能够将用来从用户受理将变换参数初始化的指示的对象加以强调显示。因而，能够对用户促使进行变换参数的初始化，能够抑制变换图像的画质的劣化。此外，在用来进行图像处理的用户接口中，能够提高用户的操作性。

例如，也可以是，上述输出部还在上述空白值比上述阈值大的情况下，将之前输出的变换图像输出。

根据该结构，在变换图像的画质的劣化较大的情况下能够将之前输出的变换图像输出，能够防止输出画质劣化的变换图像的情况。

例如，也可以是，上述图像处理装置还具备：参数计算部，在上述空白值比上述阈值大的情况下，通过对与上述输入图像对应的变换参数和由上述参数输入部受理的变换参数之间进行插补，计算插补变换参数；上述变换图像生成部还通过进行基于计算出的上述插补变换参数的射影变换，新生成变换图像。

根据该结构，在变换图像的画质的劣化较大的情况下，能够自动地计算比所受理的变换参数更接近于与输入图像对应的变换参数的插补变换参数。因而，能够抑制变换图像的画质的劣化。

例如，也可以是，上述参数计算部依次计算上述插补变换参数，以使上述插补变换参数从由上述参数输入部受理的变换参数向与上述输入图像对应的变换参数逐渐接近，直到上述空白值成为上述阈值以下；上述变换图像生成部基于上述插补变换参数依次生成上述变换图像；上述输出部将上述变换图像依次输出。

根据该结构，能够计算插补变换参数以使插补变换参数逐渐向与输入图像对应的变换参数接近。因而，能够自动地计算变换图像满足预先设定的画质那样的变换参数。即，能够抑制变换图像的画质的劣化。

进而，根据该结构，能够依次输出基于这样计算出的插补变换参数所生成的变换图像。因而，能够将变换图像的画质提高的状况像动画那样对用户提示。

例如，也可以是，上述输出部还输出表示上述空白值与上述阈值的关系的信息。

根据该结构，能够将画质的劣化程度向用户提示。因而，在用来进行图像处理的用户接口中，能够提高用户的操作性。

另外，这些全部或具体的形态也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

以下，参照附图对本发明的实施方式进行说明。

另外，以下说明的实施方式都是表示本发明的一具体例的。由以下的实施方式表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等只是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、并未记载在表示最上位概念的独立权利要求中的构成要素，设为任意的构成要素而进行说明。

（实施方式1）

图1是表示有关实施方式1的图像处理装置的功能结构的框图。该图像处理装置100具备数据输入部101、参数输入部102、变换图像生成部103、空白区域检测部104、和输出部105。

数据输入部101受理输入图像121、深度数据122、和拍摄参数123的输入。以下，将输入图像121、深度数据122和拍摄参数123的组合称作输入数据。

具体而言，数据输入部101例如从HDD（HardDiskDrive：硬盘驱动器）或闪式存储器等的存储装置读出输入数据。此外，例如数据输入部101从经由网络连接的外部装置取得输入数据。

另外，所谓深度数据122，是表示输入图像的深度的数据。在输入图像是由照相机拍摄的图像的情况下，所谓深度，表示从该照相机到被摄体的距离。具体而言，深度数据122例如包括构成输入图像的各像素的深度值。

拍摄参数123是表示输入图像的拍摄条件的参数。在本实施方式中，拍摄参数包括视场角、深度的前端距离、及深度的后端距离。另外，拍摄参数123并不一定需要包括视场角、深度的前端距离、及深度的后端距离。例如，如果包含在深度数据122中的深度值是归一化(normalization)后的值，则拍摄参数123也可以不包括深度的前端距离及深度的后端距离。

参数输入部102受理作为关于3维模型的射影变换的参数的变换参数124的输入。例如，参数输入部102作为变换参数的输入而从用户受理对输入图像121的视点位置的变更指示。

另外，变换参数124并不一定需要是视点位置的变更指示。例如，变换参数也可以是表示射影变换的种类（例如，透视射影或正射影等）的信息。此外，例如变换参数124也可以是表示视场角的信息。

变换图像生成部103在根据输入图像121、深度数据122和拍摄参数123得到的3维模型中，通过进行基于变换参数124的射影变换，生成变换图像131。关于该变换图像生成部103的详细情况，使用其他附图在后面叙述。

空白区域检测部104在变换图像131中检测作为空白像素的集合的空白区域。在本实施方式中，空白区域检测部104以相互邻接的空白像素的集合为1个空白区域的方式检测空白区域。

这里，所谓空白像素，是变换图像内的像素、而且是在输入图像内不存在对应的像素的像素。即，所谓空白像素，是与没有拍摄到输入图像中的图像对应的位置的像素。换言之，所谓空白像素，是没有像素值的像素、或像素值维持初始值原样的像素。

另外，空白区域检测部104并不一定需要检测相互邻接的空白像素的集合作为1个空白区域。例如，空白区域检测部104也可以检测离散地存在于规定的范围内的（相互不邻接的）空白像素的集合作为1个空白区域。

输出部105在表示空白区域的大小的空白值是阈值以下的情况下，将变换图像131输出。在本实施方式中，输出部105在多个空白区域的各自的空白值中的最大的空白值是阈值以下的情况下，将变换图像131输出。

这里，作为空白值，使用空白区域的像素数相对于变换图像131的像素数的比。另外，空白值并不一定需要是这样的值。例如，空白值也可以是空白区域的像素数或面积。此外，例如空白值也可以是空白区域的横向幅度及纵向幅度的至少其一。

接着，说明如以上那样构成的图像处理装置100的各种动作。

图2是表示有关实施方式1的图像处理装置100的处理动作的流程图。以下，对从用户输入视点位置的变更指示的情况进行说明。

首先，数据输入部101受理输入数据的输入（S101）。接着，参数输入部102从用户受理视点位置的变更指示（变换参数）的输入（S102）。具体而言，参数输入部102例如取得对显示在画面上的输入图像输入的视点位置的变更指示。在此情况下，用户例如通过经由鼠标等的输入机构指示画面上的位置，来输入视点位置的变更指示。

变换图像生成部103通过在根据输入图像、深度数据和拍摄参数得到的3维模型中、按照变更指示变更视点位置而进行射影变换，从而生成变换图像（S103）。关于生成该变换图像的处理在后面叙述。

接着，空白区域检测部104在变换图像中检测空白区域（S104）。这里，空白区域检测部104检测相互邻接的空白像素的集合作为1个空白区域。

空白区域检测部104判断空白值是否是阈值以下（S105）。具体而言，空白区域检测部104在检测到多个空白区域的情况下，判断空白值的最大值是否是阈值以下。该阈值只要根据变换图像的画质因空白区域而劣化的程度来实验性或经验性地设定就可以。

这里，在空白值是阈值以下的情况下（S105的是），输出部105输出变换图像（S106），结束处理。结果，例如将根据视点位置的变更指示变换后的变换图像显示在画面上。

另一方面，在空白值比阈值大的情况下（S105的否），图像处理装置100不输出变换图像而原样结束处理。结果，例如将输入图像原样显示在画面上。即，限制由用户进行的视点位置的变更。

如以上这样，图像处理装置100通过根据空白区域的大小切换是否输出变换图像，能够限制由用户进行的图像编辑。

接着，参照图3～图5对由变换图像生成部103进行的生成变换图像的处理详细地说明。这里，对作为变换参数而输入了视点位置的变更指示的情况进行说明。

图3～图5是用来说明由有关实施方式1的变换图像生成部103进行的处理的一例的图。另外，在图3～图5中，X轴方向及Y轴方向表示水平方向及垂直方向，Z轴方向表示深度方向（进深方向）。

首先，如图3所示，变换图像生成部103使用由屏幕坐标系表示的输入图像121（图3（a））和深度数据122，生成用射影坐标系表示的3维模型（图3（b））。即，变换图像生成部103使用输入图像121和深度数据122，按照每个像素计算表示射影坐标系中的像素的位置的矢量Vp（X，Y，Z）。

所谓屏幕坐标系，是与显示画面对应的2维的坐标系。所谓射影坐标系，也称作裁剪(clip)坐标系或设备(device)坐标系，是通过在照相机坐标系中进行射影变换而得到的3维的坐标系。所谓照相机坐标系，也称作视(view)坐标系，是由视点（照相机）位置及视线方向定义的3维的坐标系。在本实施方式中，在照相机坐标系中，视点位置与原点一致，视线方向与Z轴方向（深度方向）一致。

接着，变换图像生成部103使用拍摄参数，将3维模型从射影坐标系向照相机坐标系变换（图3（c））。具体而言，变换图像生成部103如式（1）～（3）所示，将表示射影坐标系中的各像素的位置的矢量Vp向表示照相机坐标系中的各像素的位置的矢量Vc变换。另外，在以下的式（1）～（3）中，矢量Vp及Vc用齐次坐标表示。

［数式1］

V_c＝[x′/w′y′/w′z′/w′1](1)

这里，x’、y’、z’、及w’通过以下的式（2）计算。

［数式2］

[x′y′z′w′]＝Vp×Mpc＝[xyz1]×Mpc(2)

这里，矩阵Mpc是射影矩阵Mcp的逆矩阵。射影矩阵Mcp使用深度的前端距离zn、深度的后端距离zf、视场角fovY、及宽高比Aspect，如以下的式（3）那样表示。

［数式3］

$\mathrm{Mcp}=\left[\begin{array}{cccc}\frac{\cot \left(\frac{\mathrm{fovY}}{2}\right)}{\mathrm{Aspect}}& 0& 0& 0\\ 0& \cot \left(\frac{\mathrm{fovY}}{2}\right)& 0& 0\\ 0& 0& \frac{\mathrm{zf}}{\mathrm{zf}-\mathrm{zn}}& 1\\ 0& 0& -\mathrm{zn}*\frac{\mathrm{zf}}{\mathrm{zf}-\mathrm{zn}}& 0\end{array}\right]---\left(3\right)$

接着，如图4所示，变换图像生成部103按照视点位置的变更指示，在照相机坐标系中变更3维模型的视点位置（图4（a）及图4（b））。具体而言，变换图像生成部103通过使表示照相机坐标系中的各像素的位置的矢量Vc向与视点位置的移动方向相反方向移动，计算表示视点位置变更后的各像素的位置的矢量Vc’。

接着，变换图像生成部103将变更了视点位置后的3维模型从照相机坐标系向射影坐标系变换（图4（c））。具体而言，变换图像生成部103将表示照相机坐标系中的视点位置变更后的各像素的位置的矢量Vc’向表示射影坐标系中的各像素的位置的矢量Vp’变换。即，变换图像生成部103通过如以下的式（4）所示那样进行射影变换，计算矢量Vp’。

［数式4］

Vp′＝Vc′×Mcp(4)

在本实施方式中，式（4）所示的射影矩阵Mcp与式（3）所示的射影矩阵Mcp相同。另外，这里使用的射影矩阵Mcp并不一定需要是这样的射影矩阵。射影矩阵例如既可以是正射影矩阵，也可以是伴随着旋转或反转的射影矩阵。即，在变换参数中包含表示射影矩阵的信息的情况下，只要使用变换参数表示的射影矩阵就可以。

最后，如图5所示，变换图像生成部103根据用射影坐标系表示的3维模型，生成用屏幕坐标系表示的变换图像131（图5（a）及图5（b））。如图5（b）所示，在变换图像131内存在空白区域132。该空白区域132是在输入图像内不存在对应的像素的空白像素的集合。使用表示这样的空白区域132的大小的空白值（例如像素数），决定是否输出变换图像131。

如以上这样，根据有关本实施方式的图像处理装置100，能够根据在变换图像中检测出的空白区域的大小切换是否将该变换图像输出。因而，能够抑制将因空白区域较大而画质较大地劣化的变换图像输出这一情况。进而，在这样空白区域较大的情况下，例如如果基于其他变换参数进行射影变换，则也能够减小空白区域，能够抑制变换图像的画质的劣化。

此外，一般而言，与许多较小的空白区域离散地存在的情况相比，存在少数较大的空白区域的情况给画质的劣化带来的影响较大。所以，根据有关本实施方式的图像处理装置100，在多个空白区域的各自的空白值中的最大的空白值是阈值以下的情况下能够输出变换图像。即，能够根据多个空白区域中的对画质的劣化的影响较大的空白区域切换是否输出变换图像，能够抑制将画质较大地劣化的变换图像输出这一情况。

（实施方式2）

接着，对实施方式2进行说明。有关本实施方式的图像处理装置主要是对构成变换图像内的空白区域的像素的像素值进行补充、将补充后的变换图像输出这一点与有关实施方式1的图像处理装置不同。

图6是表示有关实施方式2的图像处理装置110的功能结构的框图。另外，在图6中，对于与图1同样的构成部分赋予相同的标号，适当省略说明。

如图6所示，有关本实施方式的图像处理装置110还具备补充部111。

补充部111基于空白区域附近的像素值对空白区域的像素的像素值进行补充。具体而言，补充部111例如作为空白区域的像素的像素值而设定与空白区域邻接的像素的像素值。此外，例如补充部111也可以使用空白区域附近的像素的像素值，对空白区域的像素的像素值进行内插。

输出部105在空白值是阈值以下的情况下，将由补充部111对空白区域的像素的像素值进行补充后的变换图像输出。

接着，对如以上那样构成的图像处理装置110的各种动作进行说明。

图7是表示有关实施方式2的图像处理装置110的处理动作的流程图。另外，在图7中，对进行与图2同样的处理的步骤赋予相同的标号，适当省略说明。

与实施方式1同样，图像处理装置110执行步骤S101～S105的处理。这里，在空白值是阈值以下的情况下（S105的是），补充部111基于空白区域附近的像素的像素值，对空白区域的像素的像素值进行补充（S111）。接着，输出部105将补充了空白区域的像素的像素值的变换图像输出（S112）。

另一方面，在空白值比阈值大的情况下（S105的No），图像处理装置110原样结束处理。即，不输出变换图像。

如以上这样，根据有关本实施方式的图像处理装置110，能够基于空白区域附近的像素的像素值对空白区域的像素的像素值进行。因而，图像处理装置110能够抑制由空白区域带来的画质的劣化。

（实施方式3）

有关实施方式3的图像处理装置在空白值比阈值大的情况下自动地生成其他变换参数。并且，有关实施方式3的图像处理装置基于新生成的其他变换参数新生成变换图像。以下，参照附图对有关本实施方式的图像处理装置具体地说明。

图8是表示有关实施方式3的图像处理装置115的功能结构的框图。另外，在图8中，对于与图1同样的构成部分赋予相同的标号，适当省略说明。

如图8所示，图像处理装置115具备数据输入部101、参数输入部102、空白区域检测部104、参数计算部116、变换图像生成部117、和输出部118。

参数计算部116在空白值比阈值大的情况下，通过对与输入图像对应的变换参数与由参数输入部102受理的变换参数之间进行插补，计算插补变换参数。例如，参数计算部116通过线性插补计算插补变换参数。

这里，与输入图像对应的变换参数，是用来通过在根据输入图像、深度数据和拍摄参数得到的3维模型中进行射影变换而得到输入图像的变换参数。以下，将与该输入图像对应的变换参数称作初始变换参数。此外，将由参数输入部102受理的变换参数称作输入变换参数。

变换图像生成部117与实施方式1的变换图像生成部103同样，通过进行基于输入变换参数的射影变换，生成变换图像。进而，变换图像生成部117在通过参数计算部116计算出插补变换参数的情况下，通过进行基于计算出的插补变换参数的射影变换，新生成变换图像。

输出部118不论空白值是否是阈值以下，都输出由变换图像生成部117生成的变换图像。进而，输出部118将表示空白值与阈值的关系的信息输出。例如，输出部118将表示空白值相对于阈值的比或阈值与空白值的差的信息输出。

接着，说明如以上那样构成的图像处理装置115的各种动作。

图9是表示有关实施方式3的图像处理装置115的处理动作的流程图。另外，在图9中，对于进行与图2同样的处理的步骤赋予相同的标号，适当省略说明。

变换图像生成部117通过进行基于由步骤S102受理的变换参数（输入变换参数）的射影变换，生成变换图像（S116）。输出部118将所生成的变换图像输出（S117）。

接着，空白区域检测部104在变换图像中检测空白区域（S104）。并且，空白区域检测部104判断表示检测出的空白区域的大小的空白值是否是阈值以下（S105）。这里，在空白值是阈值以下的情况下（S105的是），结束处理。

另一方面，在空白值比阈值大的情况下（S105的否），参数计算部116计算插补变换参数（S118）。这里，参数计算部116以使得插补变换参数从输入变换参数向初始变换参数逐渐接近的方式计算插补变换参数。即，在已经计算出插补变换参数的情况下，参数计算部116计算比已经计算出的插补变换参数更接近于初始变换参数的插补变换参数。

接着，变换图像生成部117通过进行基于计算出的插补变换参数的射影变换，新生成变换图像（S103）。并且，再次进行步骤S117、S104及S105的处理。

如以上这样，参数计算部116依次计算插补变换参数，以使得插补变换参数从输入变换参数向初始变换参数逐渐接近，直到空白值成为阈值以下。此外，变换图像生成部117基于插补变换参数依次生成变换图像。此外，输出部118将变换图像依次输出。

接着，对在以上那样的图像处理中使用的GUI的具体例进行说明。以下，对数据输入部101受理了图10A及图10B所示那样的输入图像121及深度数据122的情况进行说明。

图11是表示初始状态下的GUI300的一例的图。在初始状态下，显示输入图像121。此外，用户能够经由该GUI300指示变换参数（这里，是视点位置及视场角）。如图11所示，GUI300具有对象(object)301～305。

对象301具有用来显示及输入表示X轴方向（水平方向）、Y轴方向（垂直方向）、及Z轴方向（深度方向）的各自上的视点位置的值的文本框301x、301y、301z。这里，作为表示视点位置的值，使用从与输入图像对应的视点位置相比的变化量。用户通过对该文本框301x～301z输入值，能够使当前显示的图像（这里是输入图像121）的视点位置变化。

对象302具有用来使视点位置变化的按钮302x～302z。按钮302x是用来使视点位置向X轴方向的正或负的方向变化的按钮。此外，按钮302y是用来使视点位置向Y轴方向的正或负的方向变化的按钮。此外，按钮302z是用来使视点位置向Z轴方向的正或负的方向变化的按钮。用户通过将这些按钮302x～302z按下，能够使当前显示的图像的视点位置变化。

对象303具有用来显示及输入表示视场角的值的文本框。用户通过对该文本框输入值，能够使当前显示的图像的视场角变化。

对象304具有用来使视场角变化的滑动条。用户通过将该滑动条左右移动，能够使当前显示的图像的视场角变化。

对象305具有用来显示表示空白值与阈值的关系的信息的文本和图像。这里，作为表示空白值与阈值的关系的信息，使用空白值相对于阈值的比。添加了阴影的区域根据空白值相对于阈值的比的大小而增减。

这里，使用图12～图14说明作为X轴方向的视点位置的变化量而输入了“30”时的GUI的变化。图12是表示显示基于输入变换参数而生成的变换图像131a的GUI的一例的图。图13是表示显示基于插补变换参数而生成的变换图像131b（空白值>阈值）的GUI的一例的图。图14是表示显示基于插补变换参数而生成的变换图像131c（空白值=阈值）的GUI的一例的图。这里，空白区域通过涂黑而表现。

在作为X轴方向的视点位置的变化量而输入了“30”的情况下，首先进行以下的处理。

首先，参数输入部102作为X轴方向的视点位置的变化量而受理表示“30”的变换参数的输入。并且，变换图像生成部117通过基于所受理的变换参数的射影变换，生成变换图像131a。输出部118将所生成的变换图像131a输出。进而，输出部118输出“130%”，作为表示空白值与阈值的关系的信息，该空白值表示由空白区域检测部104从变换图像131a检测出的空白区域的大小。

结果，如图12所示，显示变换图像131a，将对象305更新。这里，由于空白值比阈值大，所以再进行以下的处理。

首先，参数计算部116通过对初始变换参数与输入变换参数之间进行插补，计算插补变换参数。这里，参数计算部116通过对由输入变换参数表示的视点位置与由初始变换参数表示的视点位置之间进行线性插补，计算作为X轴方向的视点位置的变化量而表示“25”的插补变换参数。并且，变换图像生成部117通过进行基于计算出的插补变换参数的射影变换，生成变换图像131b。输出部118将所生成的变换图像131b输出。进而，输出部118输出“110%”，作为表示空白值与阈值的关系的信息，该空白值表示由空白区域检测部104从变换图像131b检测出的空白区域的大小。

结果，如图13所示，显示变换图像131b，将对象301和对象305更新。这里，由于空白值还是比阈值大，所以再进行以下的处理。

首先，参数计算部116通过对初始变换参数与输入变换参数之间进行插补，计算插补变换参数。具体而言，参数计算部116计算比之前计算出的插补变换参数更接近于输入变换参数的插补变换参数。这里，参数计算部116计算表示“20”的插补变换参数，作为X轴方向的视点位置的变化量。并且，变换图像生成部117通过进行基于计算出的插补变换参数的射影变换，生成变换图像131c。输出部118将所生成的变换图像131c输出。进而，输出部118输出“100%”作为空白值与阈值的关系的信息，该空白值表示由空白区域检测部104从变换图像131c中检测出的空白区域的大小。

结果，如图14所示，显示变换图像131c，将对象301和对象305更新。这里，由于空白值与阈值一致，所以处理结束。

如以上这样，根据有关本实施方式的图像处理装置115，在变换图像的画质的劣化较大的情况下，能够自动地计算比输入变换参数更接近于初始变换参数的插补变换参数。因而，图像处理装置115能够抑制变换图像的画质的劣化。

此外，根据有关本实施方式的图像处理装置115，能够计算插补变换参数以使插补变换参数逐渐向初始变换参数接近。因而，图像处理装置115能够自动地计算变换图像满足预先设定的画质那样的变换参数。即，图像处理装置115能够抑制变换图像的画质的劣化。

进而，图像处理装置115能够将基于这样计算出的插补变换参数生成的变换图像依次输出。因而，图像处理装置115能够如动画那样向用户提示变换图像的画质提高的状况。

此外，根据有关本实施方式的图像处理装置115，能够向用户提示画质的劣化程度。因而，图像处理装置115在用来进行图像处理的用户接口中能够提高用户的操作性。

另外，在本实施方式中，空白区域的像素值是初始值（黑）的原状，但与实施方式2同样，也可以基于空白区域附近的像素值进行补充。在此情况下，例如如图15所示，图像处理装置115通过对变换图像131c内的空白区域的像素的像素值进行补充，生成变换图像131d。进而，图像处理装置115将所生成的变换图像131d输出。由此，图像处理装置115能够抑制因空白区域造成的画质的劣化。

另外，参数计算部116并不一定需要如上述那样通过插补计算变换参数。例如，参数输入部102也可以使用一般的搜索算法搜索空白区域变小的其他变换参数。结果，能够自动地搜索空白值为阈值以下的变换图像。

以上，基于实施方式对有关本发明的一形态的图像处理装置进行了说明，但本发明并不限定于这些实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或者将不同的实施方式的构成要素组合而构建的形态也包含在本发明的1个或多个形态的范围内。

例如，在上述各实施方式中，空白值是构成空白区域的像素的数量，但空白值并不一定需要是像素数。例如，空白值也可以是根据空白区域的位置进行了加权的值。具体而言，空白值也可以是进行了加权、以使空白区域的位置越是接近于变换图像的中心位置则该空白区域的空白值越大的值。

一般而言，与存在于图像的边缘部的空白区域相比，存在于图像的中心的空白区域给画质的劣化带来的影响更大。所以，如上述那样，通过使用进行了加权、以使得空白区域的位置越接近于变换图像的中心位置则该空白区域的空白值越大的空白值，由此，能够根据多个空白区域中的对于画质的劣化的影响较大的空白区域来切换是否输出变换图像，能够抑制输出画质较大地劣化的变换图像。

此外，空白值也可以是根据空白区域的形状而加权的值。具体而言，空白值也可以是进行加权以使空白区域的宽高比（aspect）越小则该空白区域的空白值越大的值。即，空白值也可以是进行加权以使从空白区域的中心到边界线的距离的变动越小则该空白区域的空白值越大的值。即，空白值也可以是进行加权以使空白区域的形状越接近于圆则该空白区域的空白值越大的值。

一般而言，如果是相同的面积，则宽高比越小（即纵向幅度与横向幅度越接近）的空白区域，给画质的劣化带来的影响越大。所以，通过使用如上述那样进行加权以使空白区域的宽高比越小则该空白区域的空白值越大的空白值，能够根据多个空白区域中的对于画质的劣化的影响较大的空白区域来切换是否输出变换图像，能够抑制将画质较大地劣化的变换图像输出的情况。

另外，在上述实施方式1及2中，在空白值比阈值大的情况下原样结束处理，但输出部105也可以如以下这样处理。

例如，输出部105也可以在空白值比阈值大的情况下输出用来请求其他变换参数的输入的信息。由此，图像处理装置在变换图像的画质的劣化较大的情况下能够请求其他变换参数的输入。结果，图像处理装置也能够基于其他变换参数生成变换图像，能够生成抑制了因空白区域造成的画质的劣化的变换图像。

此外，例如输出部105也可以在空白值比阈值大的情况下输出表示不能输出变换图像的信息。由此，例如用户能够识别出不能输出基于所输入的变换参数的变换图像。

此外，例如输出部105也可以在空白值比阈值大的情况下，将用于强调显示用来从用户受理将变换参数初始化的指示的对象的信息，作为用来请求其他变换参数的输入的信息，进行输出。

这里，所谓变换参数的初始化，意味着将变换参数复位为与输入图像对应的变换参数。此外，所谓用来从用户受理指示的对象，例如是复位按钮等的GUI对象。此外，所谓用于强调显示的信息，例如是指示对象的闪烁的信息、指示将对象的颜色变更为醒目性较高的颜色的信息、或指示使对象的尺寸变大的信息等。

在这样输出了用于强调显示对象的信息的情况下，例如在图12所示的GUI中，用来从用户受理将变换参数初始化的指示的对象（未图示）被强调显示。

由此，图像处理装置能够促使用户进行变换参数的初始化，能够抑制变换图像的画质的劣化。此外，图像处理装置还能够使用户的操作性提高。

此外，例如输出部105也可以在空白值比阈值大的情况下，将之前输出的变换图像输出。具体而言，输出部105例如在图12那样的情形中，也可以代替变换图像131a而输出当空白值是阈值以下时已输出的变换图像。由此，图像处理装置能够防止输出画质劣化的变换图像。

另外，有关上述各实施方式的图像处理装置也可以装备在显示装置中。图16是表示有关实施方式1、2或3的变形例的显示装置200的功能结构的框图。

显示装置200例如是电视机、数字静止照相机、数字摄像机、个人计算机或便携电话等。如图16所示，显示装置200具备图像处理装置100、110或115、和显示部201。这里，图像处理装置100、110或115向显示部201输出变换图像。显示部201在从图像处理装置100、110或115取得了变换图像的情况下将该变换图像显示在画面上。具体而言，显示部201显示例如图11～图14所示那样的GUI。

另外，在上述各实施方式中，变换图像是2维图像，但也可以是3维图像。即，变换图像生成部也可以生成3维图像。例如，变换图像生成部也可以生成上述变换图像作为左眼用图像及右眼用图像的一方。在此情况下，变换图像生成部也可以生成视点位置与上述变换图像不同的图像作为左眼用图像及右眼用图像的另一方。并且，显示部也可以将这样生成的左眼用图像及右眼用图像3维显示。

另外，在生成了左眼用图像及右眼用图像的情况下，空白区域检测部也可以在左眼用图像及右眼用图像的两者中检测空白区域。在此情况下，空白值也可以是表示左眼用图像内的空白区域的大小的值、和表示右眼用图像内的空白区域的大小的值的统计学的代表值（例如，最大值或平均值等）。

此外，上述各实施方式的图像处理装置具备的构成要素的一部分或全部也可以由1个系统LSI（LargeScaleIntegration：大规模集成电路）构成。例如，图像处理装置100也可以由具有数据输入部101、参数输入部102、变换图像生成部103、空白区域检测部104和输出部105的系统LSI构成。

系统LSI是将多个构成部集成到1个芯片上而制造的超多功能LSI，具体而言，是包括微处理器、ROM（ReadOnlyMemory）、RAM（RandomAccessMemory）等而构成的计算机系统。在上述ROM中存储有计算机程序。通过上述微处理器按照上述计算机程序动作，系统LSI实现其功能。

另外，这里设为系统LSI，但根据集成度的差异，也有称作IC、LSI、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。此外，集成电路化的方法并不限于LSI，也可以通过专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（FieldProgrammableGateArray：现场可编程门阵列）、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术出现替代LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。

另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。这里，实现上述各实施方式的图像处理装置等的软件是以下这样的程序。

即，该程序使计算机执行：数据输入步骤，受理输入图像、表示上述输入图像的深度的深度数据、和上述输入图像的拍摄参数的输入；参数输入步骤，受理与3维模型的射影变换相关的参数即变换参数的输入；变换图像生成步骤，通过在根据上述输入图像、上述深度数据和上述拍摄参数得到的3维模型中进行基于上述变换参数的射影变换，从而生成变换图像；空白区域检测步骤，在上述变换图像中检测作为空白像素的集合的空白区域，该空白像素是在上述输入图像内不存在对应像素的像素；以及输出步骤，在表示上述空白区域的大小的空白值是阈值以下的情况下，将上述变换图像输出。

另外，作为图10A～图15所示的图像的原图像，利用了以下的论文内的图像。

（1）D.ScharsteinandC.Pal.Learningconditionalrandomfieldsforstereo.InIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition（CVPR2007），Minneapolis，MN，June2007.

（2）H.HirschmullerandD.Scharstein.Evaluationofcostfunctionsforstereomatching.InIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition（CVPR2007），Minneapolis，MN，June2007.

工业实用性

本发明能作为能够使用深度数据变换输入图像的图像处理装置、或具备该图像处理装置的电视机、数字静止照相机、数字摄像机、个人计算机或便携电话等使用。

标号说明

100、110、115图像处理装置

101数据输入部

102参数输入部

103、117变换图像生成部

104空白区域检测部

105、118输出部

111补充部

116参数计算部

121输入图像

122深度数据

123拍摄参数

124变换参数

131、131a、131b、131c、131d变换图像

132空白区域

200显示装置

201显示部

300GUI

301、302、303、304、305对象

301x、301y、301z文本框

302x、302y、302z按钮

Claims (13)

1.一种图像处理装置，其特征在于，具备：

数据输入部，受理输入图像、表示上述输入图像的深度的深度数据、和上述输入图像的拍摄参数的输入；

参数输入部，受理与3维模型的射影变换相关的参数即变换参数的输入；

变换图像生成部，通过在根据上述输入图像、上述深度数据和上述拍摄参数得到的3维模型中进行基于上述变换参数的射影变换，从而生成变换图像；

空白区域检测部，在上述变换图像中检测作为空白像素的集合的空白区域，该空白像素是在上述输入图像内不存在对应像素的像素；以及

输出部，在表示上述空白区域的大小的空白值是阈值以下的情况下，将上述变换图像输出，在空白值比阈值大的情况下，不将上述变换图像输出；

上述空白值是进行了加权、以使空白区域的位置越接近于变换图像的中心位置则该空白区域的空白值越大的值。

2.如权利要求1所述的图像处理装置，其特征在于，

上述空白区域检测部以相互邻接的空白像素的集合为1个空白区域的方式，检测多个上述空白区域；

上述输出部在多个上述空白区域的各自的空白值中的最大的空白值是上述阈值以下的情况下，将上述变换图像输出。

3.如权利要求1所述的图像处理装置，其特征在于，

上述空白值是进行了加权、以使空白区域的宽高比越小则该空白区域的空白值越大的值。

4.如权利要求1所述的图像处理装置，其特征在于，

还具备基于上述空白区域附近的像素的像素值对上述空白区域的像素的像素值进行补充的补充部；

在上述空白值是上述阈值以下的情况下，上述输出部输出上述空白区域的像素的像素值被补充后的上述变换图像。

5.如权利要求1所述的图像处理装置，其特征在于，

上述参数输入部从用户受理对于上述输入图像的视点位置的变更指示，作为上述变换参数的输入；

上述变换图像生成部通过根据由上述变换参数确定的视点位置进行射影变换，生成上述变换图像。

6.如权利要求1所述的图像处理装置，其特征在于，

上述输出部还在上述空白值比上述阈值大的情况下，输出用来请求其他变换参数的输入的信息。

7.如权利要求6所述的图像处理装置，其特征在于，

上述输出部在上述空白值比上述阈值大的情况下，输出用于强调显示用来从用户受理将上述变换参数初始化的指示的对象的信息，作为上述用来请求其他变换参数的输入的信息。

8.如权利要求1所述的图像处理装置，其特征在于，

上述输出部还在上述空白值比上述阈值大的情况下，将之前输出的变换图像输出。

9.如权利要求1所述的图像处理装置，其特征在于，

上述图像处理装置还具备：

参数计算部，在上述空白值比上述阈值大的情况下，通过对与上述输入图像对应的变换参数和由上述参数输入部受理的变换参数之间进行插补，计算插补变换参数；

上述变换图像生成部还通过进行基于计算出的上述插补变换参数的射影变换，新生成变换图像。

10.如权利要求9所述的图像处理装置，其特征在于，

上述参数计算部依次计算上述插补变换参数，以使上述插补变换参数从由上述参数输入部受理的变换参数向与上述输入图像对应的变换参数逐渐接近，直到上述空白值成为上述阈值以下；

上述变换图像生成部基于上述插补变换参数依次生成上述变换图像；

上述输出部将上述变换图像依次输出。

11.如权利要求1所述的图像处理装置，其特征在于，

上述输出部还输出表示上述空白值与上述阈值的关系的信息。

12.如权利要求1～11中任一项所述的图像处理装置，其特征在于，

上述图像处理装置作为集成电路来构成。

13.一种图像处理方法，其特征在于，包括：

数据输入步骤，受理输入图像、表示上述输入图像的深度的深度数据、和上述输入图像的拍摄参数的输入；

参数输入步骤，受理与3维模型的射影变换相关的参数即变换参数的输入；

变换图像生成步骤，通过在根据上述输入图像、上述深度数据和上述拍摄参数得到的3维模型中进行基于上述变换参数的射影变换，从而生成变换图像；

空白区域检测步骤，在上述变换图像中检测作为空白像素的集合的空白区域，该空白像素是在上述输入图像内不存在对应像素的像素；以及

输出步骤，在表示上述空白区域的大小的空白值是阈值以下的情况下，将上述变换图像输出，在空白值比阈值大的情况下，不将上述变换图像输出；

上述空白值是进行了加权、以使空白区域的位置越接近于变换图像的中心位置则该空白区域的空白值越大的值。