CN104012088A - 图像处理装置以及图像处理方法 - Google Patents

Abstract

图像处理装置(100)具备：数据获得部(101)，获得从第一视点拍摄的输入图像(121)和表示输入图像(121)中的被摄体的深度的深度信息(122)；视点变换部(102)，利用深度信息(122)，生成成为从与第一视点不同的多个第二视点看到输入图像(121)时的图像的多个变换图像(123)；以及空白区域解析部(103)，对多个变换图像(123)的每一个中包含的空白区域进行解析，来生成按照多个第二视点的每一个示出与该第二视点对应的变换图像(123)中包含的空白区域的大小的空白信息(124)，所述空白区域是指，所包含的像素是在输入图像(121)内不存在对应的像素的像素。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及图像处理装置以及图像处理方法，尤其涉及利用表示以第一视点拍摄的输入图像中的被摄体的深度的深度信息，来生成以与第一视点不同的多个第二视点看到该输入图像时的图像的图像处理装置。

背景技术

近些年，用户对以摄像装置拍摄的图像进行编辑的情况越来越多。例如，用户通过GUI(Graphical User Interface：图形用户界面)来对图像内的一部分区域进行指定，从而能够使映现在该一部分区域的被摄体的像放大等(例如，参照专利文献1)。

但是，在通常的变焦功能中，被摄体的像只是按照放大倍率放大或者缩小，而不能得到实际上使相机接近被摄体而拍摄的像。作为得到实际上接近被摄体的效果的方法，例如专利文献2所记载的方法。根据专利文献2，通过对从多个方向拍摄被摄体而得到的多个输入图像进行合成，从而生成三维模型。在被生成的三维模型中，通过对来自任意的视点位置的投影进行变换，来生成被摄体像。通过这种方法，能够得到就像使相机接近被摄体而拍摄的被摄体像，或者就像从与实际的相机不同的方向来拍摄的被摄体像。

(现有技术文献)

(专利文献)

专利文献1  日本  特开平9-102945号公报

专利文献2  日本  特开2002-290964号公报

发明概要

发明要解决的问题

在这种装置中，希望能够提高视点变更后被显示的图像的画质。

发明内容

因此，本发明的目的在于提供一种能够提高视点变更后被显示的图像的画质的图像处理装置。

用于解决问题的手段

本发明的一个实施方式所涉及的图像处理装置具备：数据获得部，获得从第一视点拍摄的输入图像以及表示所述输入图像中的被摄体的深度的深度信息；视点变换部，利用所述深度信息，来生成多个第一变换图像，该多个第一变换图像是从与所述第一视点不同的多个第二视点看到所述输入图像时的图像；以及空白区域解析部，对所述多个第一变换图像的每一个中包含的空白区域进行解析，来生成空白信息，该空白信息按照所述多个第二视点的每一个，示出与该第二视点对应的所述第一变换图像中包含的所述空白区域的大小，所述空白区域是指，所包含的像素是在所述输入图像内不存在对应的像素的像素。

并且，这些概括性的或具体的实施方式能够以系统、方法、集成电路、计算机程序或计算机能够读取的CD-ROM等の记录介质来实现，也可以通过对系统、方法、集成电路、计算机程序以及记录介质进行任意的组合来实现。

发明效果

本发明能够提供一种能够提高视点变更后被显示的图像的画质的图像处理装置。

附图说明

图1是实施方式1所涉及的图像处理装置的方框图。

图2是实施方式1所涉及的图像处理方法的流程图。

图3是实施方式1所涉及的图像处理装置的方框图。

图4是实施方式1所涉及的图像处理方法的流程图。

图5是用于说明实施方式1所涉及的视点变换处理的图。

图6是用于说明实施方式1所涉及的视点变换处理的图。

图7是用于说明实施方式1所涉及的视点变换处理的图。

图8示出了实施方式1所涉及的视点变换后的空白区域的一个例子。

图9是实施方式1所涉及的空白区域解析处理的流程图。

图10示出了实施方式1所涉及的空白分配图的一个例子。

图11示出了实施方式1所涉及的空白分配图的其他的例子。

图12是实施方式2所涉及的图像处理装置的方框图。

图13是实施方式2所涉及的图像处理方法的流程图。

图14是实施方式3所涉及的图像处理装置的方框图。

图15A是用于说明实施方式3所涉及的路径选择处理的图。

图15B是用于说明实施方式3所涉及的路径选择处理的图。

图15C是用于说明实施方式3所涉及的路径选择处理的图。

图15D是用于说明实施方式3所涉及的路径选择处理的图。

图16A是示出实施方式所涉及的摄像装置的一个例子的外观图。

图16B是示出实施方式所涉及的摄像装置的一个例子的外观图。

具体实施方式

(成为本发明的基础的见解)

本发明人员从以往的技术中发现了以下的问题。

在专利文献2所记载的方法中，会出现变换图像的画质大幅度降低的情况。例如，在通过投影变换而生成的变换图像内会出现与输入图像对应的像不存在的空白区域的情况。一般地，比起分散地存在多个小的空白区域的情况而言，大的空白区域即使存在得较少也会对画质产生大的影响。因此，本发明人员发现在发生了大的空白区域的情况下，变换图像的画质发生大的劣化。并且，关于具有这种大的空白区域的区域是否存在于图像中，直到实际上对图像进行变换为止，事前不能得知。

利用该视点变换方法，考虑到了由用户通过GUI来控制视点变换图像的情况。在这种情况下，本发明人员发现，由于用户不能事前得到在指定了哪个区域的情况下存在哪种程度的空白区域的信息，因此通过用户对区域的指定，而被显示的图像是画质劣化的变换图像。

本发明的一个实施方式所涉及的图像处理装置具备：数据获得部，获得从第一视点拍摄的输入图像以及表示所述输入图像中的被摄体的深度的深度信息；视点变换部，利用所述深度信息，来生成多个第一变换图像，该多个第一变换图像是从与所述第一视点不同的多个第二视点看到所述输入图像时的图像；以及空白区域解析部，对所述多个第一变换图像的每一个中包含的空白区域进行解析，来生成空白信息，该空白信息按照所述多个第二视点的每一个，示出与该第二视点对应的所述第一变换图像中包含的所述空白区域的大小，所述空白区域是指，所包含的像素是在所述输入图像内不存在对应的像素的像素。

根据此构成，该图像处理装置生成能够按照多个第二视点的每一个来示出与该第二视点对应的第一变换图像中所包含的空白区域的大小的空白信息。据此，该图像处理装置例如通过将该空白信息提示给用户，因此能够防止含有大的空白区域的画质低的变换图像由用户选择。或者，该图像处理装置能够利用该空白信息，来抑制画质低的变换图像被显示。这样，该图像处理装置能够提高视点变更后的被显示的图像的画质。

例如，也可以是，所述图像处理装置，还具备：分配图生成部，使所述多个第二视点与多个二维位置相对应，并利用所述空白信息，来生成空白分配图，该空白分配图按照所述多个二维位置的每一个位置，示出与该二维位置所对应的所述第二视点上的所述空白区域有关的信息；以及显示部，显示所述空白分配图。

根据此构成，该图像处理装置能够防止含有大的空白区域的画质低的变换图像由用户选择。

例如，也可以是，所述显示部，还显示所述输入图像，所述输入图像上的多个位置的每一个与所述多个第二视点的每一个相对应，所述图像处理装置还具备视点选择部，该视点选择部选择作为第二视点的选择视点，该第二视点与由用户指定的所述输入图像上的位置相对应，所述显示部，在由所述视点选择部选择了所述选择视点的情况下，将显示的图像从所述输入图像切换为与所述选择视点对应的所述第一变换图像，所述多个二维位置与所述输入图像上的多个位置相对应，所述显示部在显示所述输入图像时，显示所述空白分配图。

根据此构成，该图像处理装置能够依照用户对视点进行的变更操作，来显示与视点的变更操作后的图像中的空白区域相关的信息。据此，用户能够直观地确认到与视点的变更操作后的空白区域有关的信息信息。

例如，也可以是，所述分配图生成部生成所述空白分配图，该被生成的所述空白分配图按照所述输入图像上的多个位置的每一个位置，示出与该位置相对应的所述第二视点所对应的所述第一变换图像中包含的各个所述空白区域的大小。

根据此构成，该图像处理装置能够依照用户对视点进行的变更操作，来显示视点的变更操作后的图像中的空白区域的大小。据此，用户能够直观地确认到与视点的变更操作后的空白区域有关的信息信息。

例如，也可以是，所述视点变换部，进一步，利用所述深度信息，生成多个第二变换图像，该多个第二变换图像是从多个第三视点看到所述输入图像时的图像，所述多个第三视点是，使所述多个第二视点的每一个在与所述输入图像的平面垂直的方向上移动后的视点，所述空白区域解析部，进一步，判断所述多个第二变换图像的每一个中所包含的所述空白区域的大小是否在预先规定的阈值以下，所述空白分配图按照所述输入图像上的多个位置的每一个位置，示出与该位置所对应的第二视点对应的所述空白区域的大小在所述阈值以下的第三视点。

根据此构成，该图像处理装置能够依照用户对视点进行的变更操作，来显示变更后的视点中的能够进行的变焦工作(相对于输入图像平面的垂直方向上的视点移动)的程度。据此，用户能够直观地确认到与视点的变更操作后的空白区域有关的信息信息。

例如，也可以是，所述图像处理装置进一步具备：显示部，显示所述输入图像；以及视点选择部，利用所述空白信息，来判断所述多个第一变换图像之中的所述空白区域的大小在预先规定的阈值以下的第一变换图像，将所述空白区域的大小为所述阈值以下的第一变换图像之中的任一个作为选择图像来选择，所述显示部将显示的图像从所述输入图像切换为所述选择图像。

根据此构成，该图像处理装置能够抑制画质低的变换图像被显示。

例如，也可以是，所述图像处理装置进一步具备：显示部，显示所述输入图像；视点选择部，将所述多个第二视点之中的任一个作为选择视点来选择；以及路径选择部，利用所述空白信息，从与位于所述第一视点与所述选择视点之间的多个第二视点对应的多个第一变换图像中，判断所述空白区域的大小为所述阈值以下的第一变换图像，从与位于所述第一视点与所述选择视点之间的多个第二视点对应的多个第一变换图像中，选择所述空白区域的大小为所述阈值以下的第一变换图像，以作为中间视点图像，所述显示部，在由所述视点选择部选择了所述选择视点的情况下，以所述输入图像、所述中间视点图像、以及所述选择视点所对应的第一变换图像的顺序来切换显示，以使显示的图像的视点从所述第一视点连续地变化为所述选择视点。

根据此构成，该图像处理装置能够抑制在进行视点变更的工作时画质低的图像被显示。

例如，也可以是，所述分配图生成部，将所述多个第二视点划分为均包含多个第二视点的多个组，使所述多个组的每一个与一个所述二维位置相对应，利用所述空白信息，按所述多个二维位置的每一个，使用对应于该二维位置的所述组中包含的多个第二视点上的所述空白区域的大小，算出该组中的所述空白区域的大小的程度，生成所述空白分配图，该被生成的所述空白分配图按照所述多个二维位置的每一个位置，示出对应于该二维位置的所述组中的所述空白区域的大小的程度。

根据此构成，该图像处理装置能够抑制操作时的误操作，例如能够抑制与用户想要操作的位置不同的位置被选择的情况等。

例如，也可以是，所述视点变换部，利用所述输入图像、所述深度信息、以及所述输入图像被拍摄时的相机参数，来生成相机坐标系中的所述被摄体的三维模型，通过利用分别与所述多个第二视点的每一个对应的多个变换参数来对所述三维模型进行投影变换，从而生成所述多个第一变换图像。

并且，本发明的一个实施方式所涉及的图像处理方法包括：数据获得步骤，获得从第一视点拍摄的输入图像以及表示所述输入图像中的被摄体的深度的深度信息；视点变换步骤，利用所述深度信息，生成多个第一变换图像，该多个第一变换图像是从与所述第一视点不同的多个第二视点看到所述输入图像时的图像；以及空白区域解析步骤，对所述多个第一变换图像的每一个中包含的空白区域进行解析，来生成空白信息，该空白信息按照所述多个第二视点的每一个，示出与该第二视点对应的所述第一变换图像中包含的所述空白区域的大小，所述空白区域是指，所包含的像素是在所述输入图像内不存在对应的像素的像素。

据此，该图像处理方法能够生成按照多个第二视点的每一个示出与该第二视点对应的第一变换图像所包含的空白区域的大小的空白信息。据此，在该图像处理方法例如通过将该空白信息提示给用户，从而能够防止含有大的空白区域的画质低的变换图像由用户选择。或者该图像处理方法能够利用该空白信息，来抑制画质低的变换图像被显示。这样，该图像处理方法能够提高视点变更后的被显示的图像的画质。

并且，这些概括性的或具体的实施方式不仅可以由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，而且可以通过对系统、方法、集成电路、计算机程序以及记录介质进行任意地组合来实现。

以下参照附图对实施方式进行具体说明。

并且在以下将要说明的实施方式中示出的均为概括性或具体的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等均为一个例子，并非是限定被发明的主旨。并且，在以下的实施方式的构成要素中，对于示出最上位概念的独立权利要求中所没有记载的构成要素作为任意地构成要素来说明。

(实施方式1)

本实施方式所涉及的图像处理装置生成按照多个视点的每一个来示出视点变更后的变换图像中的空白区域的大小的空白分配图，并将该空白分配图提示给用户。据此，该图像处理装置能够防止含有大的空白区域的画质低的变换图像被用户选择。

首先，对本实施方式所涉及的图像处理装置的概略构成以及工作进行说明。

图1是示出本实施方式所涉及的图像处理装置100的概略构成的方框图。

图1所示的图像处理装置100利用输入图像121以及深度信息122来生成空白信息124。输入图像121是从第一视点拍摄了被摄体的图像。深度信息122示出输入图像121中的被摄体的深度。

该图像处理装置100具备：数据获得部101、视点变换部102、以及空白区域解析部103。

数据获得部101获得输入图像121以及深度信息122。

视点变换部102利用深度信息122，来生成多个变换图像123，被生成的多个变换图像123是从与第一视点不同的多个第二视点看到输入图像121时的图像。

空白区域解析部103对多个变换图像123的每一个中包含的空白区域进行解析。在此，空白区域是指，在输入图像121内不存在对应的像素的区域。并且，空白区域解析部103生成空白信息124。空白信息124按多个第二视点的每一个，来示出与该第二视点对应的变换图像123中包含的空白区域的大小。

图2是图像处理装置100进行的图像处理方法的流程图。

首先，数据获得部101获得输入图像121以及深度信息122(S101)。接着，视点变换部102利用输入图像121以及深度信息122，来生成多个变换图像123(S103)。接着，空白区域解析部103对多个变换图像123的每一个所包含的空白区域进行解析，并生成空白信息124(S104)。

以下对图像处理装置100的详细构成进行说明。

图3是示出本实施方式所涉及的图像处理装置100的构成的方框图。

图3所示的图像处理装置100例如被内置于数字静态相机或数字视频摄像机。并且，图像处理装置100能够用于具有显示静态图像的功能的各种设备。例如，图像处理装置100也能够用于个人计算机或智能手机等。

该图像处理装置100在显示作为静态图像的输入图像121的同时，按照用户输入的视点变更指示，来显示对输入图像121的视点进行了变更后的变换图像128。并且，该图像处理装置100生成示出各个视点位置上的空白区域的大小的空白分配图129，并将该空白分配图129显示到输入图像121上。

该图像处理装置100具备：数据获得部101、视点变换部102、空白区域解析部103、分配图生成部104、图像缩小部105、视点变换部106、以及显示部107。

数据获得部101获得输入图像121、深度信息122、相机参数125、以及多个变换参数126。

深度信息122是输入图像121中的示出拍摄了该输入图像121的相机与被摄体之间的距离的数据。例如，深度信息122是示出输入图像121中所包含的多个像素的每一个的深度的深度分配图。并且，该深度信息122可以从图像处理装置100的外部输入，也可以由图像处理装置100来生成。例如，图像处理装置100可以利用拍摄了同一个被摄体的焦点位置不同的多个图像，来生成深度信息122。

相机参数125是示出输入图像121的拍摄条件的参数。具体而言，相机参数125包括拍摄时的视角、深度的前端距离、以及深度的后端距离的信息。

多个变换参数126分别是与三维模型的投影变换相关的参数。并且，变换参数126并非必需是视点位置的变更指示，例如，变换参数126可以是示出投影变换的种类(例如透视投影或正投影等)的信息，也可以是示出视角的信息。并且，数据获得部101也可以从图像处理装置100的外部获得这些相机参数125以及多个变换参数126，该相机参数125以及多个变换参数126也可以被保存在该图像处理装置100内。

图像缩小部105通过缩小输入图像121以及深度信息122的图像大小，从而生成输入图像121A以及深度信息122A。输入图像121A以及深度信息122A的大小虽然没有特殊的限定，不过，最好是在显示部107被显示的图像的大小以下。并且，图像处理装置100并非必需具备图像缩小部105，也可以直接将输入图像121以及深度信息122输入到视点变换部102。在这种情况下，只要在后述的处理中将输入图像121A以及深度信息122A分别替换为输入图像121以及深度信息122即可。并且，在不进行图像的缩小处理的情况下，能够将后述的视点变换部102以及视点变换部106作为单一的处理部来实现。并且，也可以是，直到空白区域解析部103为止，以原来的图像大小来进行解析，作为解析结果的空白信息124被缩小。

视点变换部102利用输入图像121A、深度信息122A以及相机参数125，来生成相机坐标系中的被摄体的三维模型。接着，视点变换部102针对该三维模型，通过进行采用了变换参数126的投影变换，从而生成变换图像123。并且，投影变换采用多个变换参数的每一个来进行，其结果是生成了多个变换图像123。即，多个变换图像123是从多个不同的视点看到输入图像121时的图像。

空白区域解析部103通过对多个变换图像123的每一个所包含的空白区域进行解析，来生成空白信息124。

分配图生成部104利用在空白区域解析部103生成的空白信息124，来生成显示用的空白分配图129。该空白分配图129以二维的方式来表示与空白区域有关的信息。具体而言，多个第二视点与多个二维位置对应。并且，空白分配图129是按照多个二维位置的每一个，与该二维位置所对应的第二视点中的空白区域有关的信息。并且，该多个二维位置与输入图像121上的多个位置相对应。并且，空白分配图129的显示形式并非受此所限。例如，空白分配图129也可以利用三维的方式来表示与空白区域有关的信息。

视点选择部108将由用户操作而指定的视点位置作为选择视点127来选择。具体而言，输入图像121上的多个位置的每一个，与多个第二视点的每一个相对应。并且，视点选择部108将由用户指定的与输入图像121上的位置相对应的第二视点，作为选择视点来选择。并且，也可以是，视点选择部108从用户接受针对输入图像121的视点位置的变更指示，以作为变换参数126的输入。在这种情况下，该变换参数126被发送到视点变换部106。并且，视点变换部106利用该变换参数126来进行视点变换处理。

视点变换部106利用输入图像121、深度信息122以及相机参数125，来生成被摄体的三维模型。接着，视点变换部106针对该三维模型，通过进行采用了与选择视点127对应的变换参数126的投影变换，来生成变换图像128。即，变换图像128是从选择视点127看到输入图像121时的图像。

显示部107显示输入图像121。并且，显示部107在选择视点127由视点选择部108选择了的情况下，将显示的图像从输入图像121切换为变换图像128。并且，显示部107在显示输入图像121时，将空白分配图129重叠到输入图像121上并显示。

并且，显示部107也可以将空白分配图129显示到输入图像121的周边。并且，空白分配图129也可以不是全部都被重叠到输入图像121来显示，而可以是其中的一部分与输入图像121重叠来显示。并且，显示部107也可以将输入图像121的缩小图像显示到输入图像121的周边，也可以将空白分配图129重叠到该缩小图像上来显示。

例如，显示部107将这些图像显示到图像处理装置100所具备的显示器或外部的显示器(例如，内置了图像处理装置100的相机所具备的显示器)。

接着，利用图4对本实施方式所涉及的图像处理装置100进行的图像处理方法的流程进行说明。图4是本实施方式所涉及的图像处理方法的流程图。

首先，数据获得部101获得作为输入数据的输入图像121、深度信息122、相机参数125以及变换参数126(S101)。接着，通过按照需要，图像缩小部105对输入图像121以及深度信息122进行缩小，来生成输入图像121A以及深度信息122A(S102)。接着，视点变换部102利用输入图像121A以及深度信息122A来生成多个变换图像123(S103)。接着，空白区域解析部103通过对各个变换图像123中包含的空白区域的大小进行解析，来生成空白信息124(S104)。接着，分配图生成部104利用空白信息124来生成空白分配图129(S105)。

接着，显示部107将输入图像121以及空白分配图129显示到GUI上(S106)。在这种状态下，通过由用户例如选择输入图像121的任意的位置，从而想要变更成的视点位置被指示。视点选择部108将由用户指定的视点位置作为选择视点127来获得(S107)。接着，视点选择部108生成从选择视点127看到输入图像121时的变换图像128(S108)。最后，显示部107显示被生成的变换图像128(109)。

并且，如以上所述，也可以不进行输入图像121以及深度信息122的缩小处理(S102)。在这种情况下，也可以是，在步骤S108不生成变换图像128，而是在步骤S109，由显示部107来显示在步骤S103生成的变换图像123。或者，也可以是，在步骤S108，视点变换部106通过对在步骤S103生成的变换图像123进行规定的处理(例如，对空白区域进行插补的处理)，来生成变换图像128。

以下，参照图5至图7对生成变换图像123的处理(图4的S103)进行详细说明。在此，对将视点位置变更为变焦方向(与输入图像平面垂直的方向)的情况进行说明。在图5至图7中，X轴方向以及Y轴方向表示水平方向以及垂直方向(与输入图像平面平行的方向)，Z轴方向表示深度方向(纵深方向)。

首先，如图5所示，视点变换部102利用以屏幕坐标系表示的输入图像121和深度信息122(图5的(a))，来生成以投影坐标系表示的三维模型(图5的(b))。即，视点变换部102利用输入图像121和深度信息122，按照每个像素来算出表示投影坐标系中的像素的位置的矢量Vp(x，y，z)。在此，屏幕坐标系是与显示画面相对应的二维的坐标系。投影坐标系也称为裁剪坐标系或设备坐标系，是在相机坐标系进行投影变换而得到的三维的坐标系。相机坐标系也称为视图坐标系，是由视点(相机)位置以及视线方向定义的三维的坐标系。在本实施方式中，在相机坐标系中，视点位置与原点一致，视线方向与Z轴方向(深度方向)一致。

接着，视点变换部102利用相机参数125，将三维模型从投影坐标系变换为相机坐标系(图5的(c))。具体而言，视点变换部102利用以下的式(1)至(3)，将表示投影坐标系中的各个像素的位置的矢量Vp，变换为表示相机坐标系中的各个像素的位置的矢量Vc。并且，在以下的式(1)至(3)中，矢量Vp以及Vc以同次坐标来表示。

[式1]

Vc＝[x′/w′ y′/w′ z′/w′ l]   (1)

在此，x’、y’、z’、以及w’由以下的式(2)来计算。

[式2]

[x′ y′ z′w′]＝Vp×Mpc＝[x y z l]×Mpc    (2)

在此，矩阵Mpc是投影矩阵Mcp的逆矩阵。投影矩阵Mcp利用深度的前端距离zn、深度的后端距离zf、视角fovY、以及纵横比Aspect，由以下的式(3)来表示。

[式3]

$\mathrm{Mcp}=\left[\begin{array}{cccc}\frac{\cot \left(\frac{\mathrm{fovY}}{2}\right)}{\mathrm{Aspect}}& 0& 0& 0\\ 0& \cot \left(\frac{\mathrm{fovY}}{2}\right)& 0& 0\\ 0& 0& \frac{\mathrm{zf}}{\mathrm{zf}-\mathrm{zn}}& 1\\ 0& 0& -\mathrm{zn}*\frac{\mathrm{zf}}{\mathrm{zf}-\mathrm{zn}}& 0\end{array}\right]---\left(3\right)$

接着，视点变换部102如图6所示，按照视点位置的变更指示，在相机坐标系中对三维模型的视点位置进行变更(图6的(a)以及(b))。具体而言，视点变换部102通过将表示相机坐标系中的各个像素的位置的矢量Vc移动向与视点位置的移动方向相反的方向，来算出表示视点位置变更后的各个像素的位置的矢量Vc’。接着，视点变换部102将视点位置被变更了的三维模型，从相机坐标系变换为投影坐标系(图6的(c))。具体而言，视点变换部102将表示相机坐标系中的视点位置变更后的各个像素的位置的矢量Vc’，变换为表示投影坐标系中的各个像素的位置的矢量Vp’。即，视点变换部102通过进行以下的式(4)所示的投影变换，来算出矢量Vp’。

[式4]

Vp′＝Vc′×Mcp    (4)

在本实施方式中，式(4)所示的投影矩阵Mcp与式(3)所示的投影矩阵Mcp相同。并且，在此所使用的投影矩阵Mcp并非必需是这种投影矩阵。投影矩阵例如可以是正投影矩阵，也可以是伴随有旋转或反转的投影矩阵。即，在变换参数126中包含有表示投影矩阵的信息的情况下，也可以使用变换参数126所示的投影矩阵。最后，视点变换部102如图7所示，从以投影坐标系来表示的三维模型中，生成以屏幕坐标系来表示的变换图像123(图7的(a)以及(b))。

如以上所述，视点变换部102生成多个变换图像123。

并且，在视点变换部106也通过与以上相同的处理来生成变换图像128。并且，视点变换部106除了上述的处理之外，也可以对生成的变换图像进行插补空白区域的像素的处理。

但是，如图7的(b)所示，在变换图像123内存在空白区域201。该空白区域201是在输入图像121内不存在对应的像素的空白像素的集合。该空白像素例如能够采用与空白区域201相邻的像素的像素值等方法来进行插补。然而，在该空白像素大的情况下，即使进行了插补，该被插补的部分也会比较显眼，因此会导致变换图像123的画质劣化。一般而言，比起众多的小的空白区域201分散存在的情况来说，数量少的大的空白区域201存在的情况下对画质的劣化的影响大。因此，在发生了大的空白区域201的情况下，变换图像123的画质也会大幅度地劣化。因此，在空白区域解析部103，利用表示空白区域201的大小的空白值(例如像素数)，来解析在变换图像123是否存在大的空白区域201。

在此，视点位置的变更包括：Z轴方向(与图像平面垂直的方向)的视点位置的变更、X轴方向以及Y轴方向(与图像平面平行的方向)的视点位置的变更。以下，将对Z轴方向的视点位置的变更特别称为变焦倍率的变更。并且，变焦倍率增大是指，视点位置接近被摄体一侧。并且，X轴方向以及Y轴方向的视点位置(视点位置的X以及Y坐标)也称为平面视点位置。

空白区域201的大小并不是单纯地随着变焦倍率的增大而变大，而是随着变焦倍率与当时的平面视点位置而改变。图8示出了一个例子。图8的(a)示出变焦前的元图像。元图像中包含三个被摄体251至253。并且，在被摄体251至253之中，被摄体252位于最前方，被摄体251位于最后方，被摄体253位于他们之间。

图8的(c)示出了从图8的(a)的状态，在平面视点位置与图8的(a)相同的情况下增高了变焦倍率时的变换图像。由于变焦倍率增高，因此，被摄体252的位置则更接近于视点位置。这样，虽然被摄体252能够被映现得比较大，但是在其他的被摄体251以及253则会看到空白区域。

图8的(b)示出了从图8的(a)的状态，将平面视点位置移动向右侧，且增高变焦倍率时的变换图像。并且，图8的(b)中的变焦倍率比图8的(c)中的变焦倍率小。由于视点位置从图8的(a)的状态移向了右侧，本来应该看到图8的(a)的被摄体的右侧，但是由于元图像中原本不存在被摄体的右侧，因此产生大的空白区域。图8的(b)虽然比图8的(c)的变焦倍率小，但是由于平面视点位置移动，因此产生大的空白区域。这样，空白区域的大小受变焦倍率以及平面视点位置这双方的影响。因此，空白区域解析部103针对变焦倍率以及平面视点位置这双方被改变的情况来调查空白区域的大小。

图9是示出空白信息124的生成处理(图4的S103以及S104)的流程图。按照该流程图对处理工作进行说明。

首先，空白区域解析部103对空白信息进行初始化(S201)。接着，视点变换部102获得预先决定的最大变焦倍率的值(S202)，利用获得的最大变焦倍率，并决定想要变更成的多个变焦倍率(S203)。例如，视点变换部102决定变焦倍率的幅度。例如，视点变换部102在最大变焦倍率为1.4倍的情况下，将幅度决定为0.1。并且，对于想要变更成的多个变焦倍率、最大变焦倍率以及幅度的决定方法，并非受此所限，可以是任意的方法。并且，也可以事先决定想要变更成的多个变焦倍率、最大变焦倍率以及幅度之中的一个。

接着，视点变换部102决定想要变更成的多个平面视点位置(S204)。例如，视点变换部102针对想要变更成的平面视点位置的上限值以及幅度，能够在上下方向以及左右方向上分别决定。并且，想要变更成的多个平面视点位置、上限值以及幅度的决定方法并非受这些所限，可以是任意的方法。并且，也可以事先决定想要变更成的多个平面视点位置、上限值以及幅度之中的至少一个。

接着，视点变换部102从在步骤S203决定的多个变焦倍率之中选择一个(S205)。并且，视点变换部102从在步骤S204决定的多个平面视点位置之中选择一个(S206)。

接着，视点变换部102生成以在步骤S205选择的变焦倍率、且从在S206选择的平面视点位置看到输入图像121时的变换图像123(S207)。

接着，空白区域解析部103检测在步骤S207生成的变换图像123的全体所包含的空白区域，并调查检测出的空白区域之中最大的空白区域的大小(空白大小)(S208)。该空白区域的大小可以是连续的空白区域的像素数，也可以是单位区域中所包含的空白区域的像素数。

接着，空白区域解析部103将检测出的空白大小与被选择的视点位置相对应，记录到空白信息124(S209)。

在针对在步骤S204设定的所有的平面视点位置的处理没有结束的情况下(S210的“否”)，视点变换部102选择下一个将要搜索的平面视点位置(S206)，并重复步骤S207以后的处理。即，针对在步骤S204设定的多个平面视点位置，解析空白区域的大小。

在针对所有的平面视点位置的处理结束(S210的“是”)、并且针对在步骤S203设定的所有的变焦倍率的处理没有结束的情况下(S211的“否”)，视点变换部102选择下一个将要搜索的变焦倍率(S205)，并反复步骤S206以后的处理。即，针对在步骤S203设定的多个变焦倍率与在步骤S204设定的多个平面视点位置构成的多个组，分别进行空白区域的大小的解析。

在针对所有的变焦倍率的处理结束的情况下(S211的“是”)，处理结束。

通过以上的处理，以平面视点位置以及变焦倍率构成的多个组的每一个中的空白大小被记录到空白信息124。假设在对平面视点位置在纵方向以及横方向上均进行10阶段的变更，对变焦倍率进行5阶段的变更的情况下，也能够生成表示10×10×5的视点位置中的空白大小的空白信息124。

这样，视点变换部102利用深度信息122，来生成作为从与第一视点不同的多个第二视点看到输入图像121时的图像的多个变换图像123(第一变换图像)，并生成作为从多个第三视点看到输入图像121时的图像的多个变换图像123(第二变换图像)，所述多个第三视点是对多个第二视点的每一个，在与输入图像平面垂直的方向上进行了移动后的视点。并且，空白区域解析部103针对该多个变换图像123(多个第一变换图像以及多个第二变换图像)的每一个进行空白大小的解析。

并且，在此虽然以对变焦倍率以及平面视点位置进行一定间隔的变更为例进行了说明，不过间隔也可以是变动的。并且，在上述的说明中，虽然对变焦倍率以及平面视点位置一起进行了变更，不过也可以仅变更其中的一方。并且，在上述的说明中，想要变更成的多个视点位置由变焦倍率以及平面视点位置而被定义，不过，作为想要变更成的多个视点位置也可以采用三维空间中的任意的视点位置。

并且，上述的处理的顺序仅为一个例子，也可以采用上述以外的方法来生成空白信息124。例如，在上述的说明中是按照每一个视点位置来生成变换图像123，并对该变换图像123中的空白大小进行解析的，不过也可以是，在生成与多个视点位置对应的多个变换图像123之后，对该多个变换图像123的空白大小进行解析。

分配图生成部104利用在空白区域解析部103生成的空白信息124，来生成由显示部107显示的空白分配图129。具体而言，分配图生成部104生成表示空白区域的大小程度的空白分配图129。

图10示出了空白分配图129的一个例子。如图10所示，各平面视点位置与GUI画面上(输入图像121上)的位置相对应。例如，GUI画面的中心位置与不变更平面视点位置的原来的视点位置相对应。并且，GUI画面的端部与平面视点位置的上限值或下限值相对应。即，GUI画面的右侧的位置与从右侧看到输入图像121时的视点位置相对应。同样，GUI画面的左侧、上侧以及下侧分别与从左侧、上侧以及下侧看到输入图像121时的视点位置相对应。并且，越接近GUI画面的中央部，视点位置的变化量就越小，越接近GUI画面的端部，视点位置的变化量越大。

并且，多个视点位置也可以与用户对GUI画面进行的输入操作相对应。例如，通过用户选择输入图像121上的任意的位置，从而将视点位置变更为与该位置对应的视点位置。例如，在输入图像121的右侧的位置被选择了的情况下，则从右侧看到输入图像121时的变换图像128被显示。在这种情况下，可以使针对该用户操作的位置、与上述的空白分配图129中的视点位置相对应。换而言之，在空白分配图129中，在示出空白大小小的位置被选择的情况下，则空白大小小的变换图像128被显示。

在此，例如与GUI画面的位置相对应的视点位置为平面视点位置。并且，各平面视点位置中的示出空白大小的信息是，在该平面视点位置中使变焦倍率变化的情况下的最大的空白大小。并且，示出该最大的空白大小的信息也可以是由空白信息124示出的空白大小的实际的值，也可以如图10所示，将空白信息124所示的空白大小的值分类为多个阶段的信息。在图10所示的例子中，最大的空白大小被分类为三个阶段，作为空白分配图129生成三个值的屏蔽。

并且，各个平面视点位置中的示出空白大小的信息也可以是，从在该平面视点位置上使变焦倍率发生变化的情况下的多个空白大小得到的信息。例如，该信息可以是该多个空白大小的平均值，也可以是被指定的变焦倍率中的空白大小。

即，分配图生成部104与输入图像121上的多个位置相对应，生成示出与该位置所对应的第二视点对应的变换图像123中所包含的空白区域的大小的空白分配图129。

并且，在按照每个像素而不同的空白大小分布得较零碎的情况下，也可以是，分配图生成部104以比空白信息124中的空白大小的单位大的区域(例如16×16像素区域等)来对空白大小进行平均，并利用通过平均化而得到的空白大小，以该区域为单位来生成屏蔽。即，分配图生成部104将多个第二视点划分为均包含有多个第二视点的多个组，并使多个组的每一个与一个二维位置相对应。并且，分配图生成部104利用空白信息124，按多个二维位置的每一个，利用该二维位置所对应的组中包含的多个第二视点中的空白区域的大小，来算出该组中的空白区域的大小的程度。接着，分配图生成部104与多个二维位置的每一个相对应，生成以二维来表示该二维位置所对应的组中的空白区域的大小的程度的空白分配图129。据此能够防止用户碰触到自己不想操作的位置等误操作。

显示部107将分配图生成部104所生成的空白分配图129显示到GUI等用户界面上。

这样，图像处理装置100显示与用户指定视点位置之前的空白区域的大小有关的信息。据此，用户能够事先掌握变换图像的画质的程度。并且，在按照平面视点位置来显示表示空白区域的程度的空白分配图129的情况下，图像处理装置100例如显示以事先指定的变焦倍率、且从用户所指定的平面视点位置看到时的变换图像。

并且，空白分配图129也可以按照每个平面视点位置来表示能够选择的变焦倍率的程度。图11示出了空白分配图129的另外的一个例子。图11所示的空白分配图129与图10所示的空白分配图129同样，GUI画面的位置与平面视点位置相对应。并且，按照各个平面视点位置，在该平面视点位置变更了视点的情况下，示出能够选择的变焦倍率的程度。在此，能够选择的变焦倍率是指，多个变焦倍率之中的空白大小为小于预先规定的阈值的变焦倍率。

在这种情况下，分配图生成部104利用在各个视点位置上的使变焦倍率发生了变化的情况下的多个空白大小，检测该视点位置上的最大变焦倍率。在此，最大变焦倍率是指，示出若变焦倍率在该最大变焦倍率以下时，大小超过了阈值的空白区域不包含在变换图像中的变焦倍率。分配图生成部104通过在各个视点位置求出该最大变焦倍率，来生成空白分配图129。即，空白区域解析部103判断多个变换图像123的每一个所包含的空白区域的大小是否在预先规定的阈值以下。空白分配图129与输入图像121上的多个位置相对应地示出，在与该位置对应的第二视点上，空白区域的大小为阈值以下的第三视点。

并且，与图10所示的情况相同，在图11中分三个阶段来示出该最大变焦倍率。在这种情况下，被示出的三个阶段的最大变焦倍率、并且由用户指定的从平面视点位置看到的变换图像被显示。例如，在最大变焦倍率为“大”的情况下，作为变焦倍率则选择1.4倍，在最大变焦倍率为“中”的情况下，作为变焦倍率则选择1.2倍，在最大变焦倍率为“小”的情况下，作为变焦倍率则选择1.0倍。

综上所述，本实施方式所涉及的图像处理装置100生成按照多个第二视点的每一个，来示出与该第二视点对应的变换图像123中所包含的空白区域的大小的空白信息124。并且，图像处理装置100利用该空白信息124来生成空白分配图129，并将该空白分配图129显示到输入图像121上。

据此，图像处理装置100能够防止用户选择含有大的空白区域的、画质低的变换图像128。这样，图像处理装置100能够提高视点变更后的被显示的图像的画质。

并且，在上述的说明中，图像处理装置100虽然是在想要变更成的视点被指定了的情况下，显示了想要变更成的视点上的变换图像128，不过，也可以是对多个变换图像128进行连续地切换，以使视点位置以从原来的视点位置朝向想要变更成的视点位置的顺序而被连续地变更。

(实施方式2)

在上述的实施方式1中，对按照用户指示来变更视点位置的情况进行了说明。本实施方式所涉及的图像处理装置100A利用生成的空白信息124，来自动地决定想要变更成的视点位置。

以下参照图12对本实施方式所涉及的图像处理装置100A进行说明。对于与图3相同的构成要素赋予相同的符号并省略说明，以下对不同之处进行说明。

本实施方式所涉及的图像处理装置100A相对于图3所示的图像处理装置100而言，取代了视点选择部108以及分配图生成部104，而是具备视点选择部108A。

该图像处理装置100A例如在显示了输入图像121之后，在经过了规定的时间的情况下，显示变更了视点位置的变换图像128。

视点选择部108A利用在空白区域解析部103生成的空白信息124，来选择作为想要变更成的视点位置的选择视点127。例如，视点选择部108A选择空白大小为小于预先规定的阈值的视点位置。并且，视点选择部108A也可以在特定的变焦倍率中，选择空白大小成为最小的视点位置。在此，特定的变焦倍率例如是，预先规定的变焦倍率或由用户的操作而被指定的变焦倍率。

即，视点选择部108利用空白信息124，判断多个变换图像123之中的、空白区域的大小为预先规定的阈值以下的变换图像123，并将空白区域的大小为阈值以下的变换图像123之中的某一个作为选择图像来选择。

并且，图像处理装置100A还可以具备图3所示的视点选择部108以及分配图生成部104。在这种情况下，图像处理装置100A也可以是在显示了空白分配图129之后，在规定的期间内没有用户的输入的情况下进行视点变更。

图13是图像处理装置100A中的图像处理方法的流程图。图13所示的处理包括步骤S106A以及S107A，以取代图4所示的步骤S105至S107。

在步骤S104中，空白信息124被生成后，显示部107显示输入图像121(S106A)。接着，视点选择部108利用空白信息124，来选择选择视点127(S107A)。以后的处理与图4相同。

并且，显示输入图像121的时机并非受上述所限，只要是在显示变换图像128(S109)之前即可。

综上所述，本实施方式所涉及的图像处理装置100A能够防止空白大小大且画质低的变换图像128被显示。

(实施方式3)

本实施方式所涉及的图像处理装置100B在进行视点变更时，以从原来的视点位置朝向想要变更成的视点位置的顺序，连续地对视点位置进行变更。而且，图像处理装置100B利用空白信息124，以在视点变更的路径中，空白大小为大的图像不被显示的方式来选择该路径。

关于本实施方式所涉及的图像处理装置100B，将参照图14来进行说明。对于与图3或图12相同的构成要素赋予相同的符号并省略说明，以下对不同的构成要素进行说明。

图14所示的图像处理装置100B相对于图12所示的图像处理装置100A而言，进一步具备路径选择部109。另外，在此虽然对图12所示的图像处理装置100A进一步具备路径选择部109的构成进行说明，不过也可以是图3所示的图像处理装置100进一步具备路径选择部109。

路径选择部109利用选择视点127以及空白信息124，来决定视点变更的路径130。该路径130是从视点变更的开始到视点变更的结束为止所经由的视点位置的路径。具体而言，路径选择部109利用空白信息124，从位于第一视点与选择视点127之间的多个第二视点所对应的多个变换图像123中，判断空白区域的大小为阈值以下的变换图像123。并且，路径选择部109从位于第一视点与选择视点127之间的多个第二视点所对应的多个变换图像123中，将空白区域的大小为阈值以下的一个或多个变换图像123作为中间视点图像来选择。并且，显示部107在由视点选择部108A选择了选择视点127的情况下，以使显示的图像的视点从第一视点连续地变化到选择视点127的方式，来顺序地切换输入图像121、中间视点图像、以及选择视点所对应的变换图像128并进行显示。

以下利用图15A至图15D来对决定该路径的工作进行说明。

图15A示出了空白信息124的一个例子。图15B示出了原来的视点位置与想要变更成的视点位置的一个例子。

在这种情况下，例如作为选择路径的方法，如图15C所示，考虑到的方法是选择连接原来的视点位置与想要变更成的视点位置的最短距离的路径。然而，在图15C所示的例子中，路径中包括空白区域大的视点位置。据此，被显示的变换图像的画质就会显得比较差。

对此，在本实施方式中，路径选择部109不仅限于这种最短路径，而是利用空白信息124，以画质低的变换图像128不被选择的方式来选择路径。具体而言，路径选择部109选择仅经由空白大小为预先规定的阈值以下的视点位置、且成为最短的路径。例如，在图15D所示的例子中，选择仅经由空白大小为“小”或“中”的视点位置、且成为最短的路径。并且，路径选择部109也可以选择基于路径的长度的参数与基于空白区域的大小的参数的和或乘积为最小的路径。

视点变换部106利用这样被决定的视点变更的路径130，来生成路径130中所包含的多个视点位置所对应的变换图像128。并且，显示部107以从原来的视点位置到移动目的地的视点位置连续地对视点位置进行变更的方式，来依次显示多个变换图像128。

综上所述，本实施方式所涉及的图像处理装置100B在变更视点位置时，能够抑制画质低的图像被显示。

以上对本发明的实施方式所涉及的图像处理装置进行了说明，不过，本发明并非受这些实施方式所限。

并且，上述的实施方式所涉及的图像处理装置例如被用于图16A所示的数字静态相机，以及图16B所示的数字视频摄像机等。

并且，上述的实施方式所涉及的图像处理装置所包含的各个处理部典型的可以作为集成电路的LSI来实现。这些可以被分别制成一个芯片，也可以将其中的一部分或全部包含在一个芯片之中。

并且，集成电路化不仅限于LSI，也可以以专用电路或通用处理器来实现。在LSI制造后，也可以利用可编程的FPGA(Field Programmable GateArray：现场可编程门阵列)或利用能够将LSI内部的电路单元的连接以及设定重新构建的可重装处理器。

并且，在上述的各个实施方式中，各个构成要素可以由专用的硬件来构成，也可以通过执行符合各个构成要素的软件程序来实现。各个构成要素也可以通过CPU或处理器等程序执行部，读出并执行被记录在硬盘或半导体存储器等记录介质中的软件程序来实现。在此，实现上述的各个实施方式的图像处理装置等的软件可以是如下的程序。

并且，本发明可以是上述的程序，也可以是记录有上述的程序的非一时性的计算机可读取的记录介质。并且，上述的程序能够经由互联网等传输介质来流通。

并且，方框图中的功能块的划分仅是一个例子，也可以将多个功能块作为一个功能块来实现，也可以将一个功能块划分为多个，也可以将一部分的功能移动到其他的功能块中。并且，具有类似的功能的多个功能块的功能也可以由单一的硬件或软件并行处理或进行时分处理。

并且，关于上述的图像处理方法中所包含的步骤被执行的顺序，为了便于进行具体的说明，在本发明中仅为一个例子，也可以是上述以外的顺序。并且，上述的步骤的一部分也可以与其他的步骤被同时执行。

综上所述，基于实施方式对本发明的一个或多个实施方案所涉及的图像处理装置进行了说明，本发明并非受上述的实施方式所限。在不脱离本发明的主旨的情况下，本领域技术人员将所想到的各种变形执行于本实施方式，以及对不同的实施方式中的构成要素进行组合来构成的实施方案均可以包含在本发明的一个或多个实施方案的范围内。

工业实用性

本发明能够适用于图像处理装置。并且，本发明能够适用于具备图像处理装置的民用或业务用的摄像装置(数字静态相机或视频摄像机)、或者移动端末等。

符号说明

100、100A、100B  图像处理装置

101  数据获得部

102、106  视点变换部

103  空白区域解析部

104  分配图生成部

105  图像缩小部

107  显示部

108、108A  视点选择部

109  路径选择部

121、121A  输入图像

122、122A  深度信息

123、128  变换图像

124  空白信息

125  相机参数

126  变换参数

127  选择视点

129  空白分配图

Claims (11)

1.一种图像处理装置，具备：

数据获得部，获得从第一视点拍摄的输入图像以及表示所述输入图像中的被摄体的深度的深度信息；

视点变换部，利用所述深度信息，来生成多个第一变换图像，该多个第一变换图像是从与所述第一视点不同的多个第二视点看到所述输入图像时的图像；以及

空白区域解析部，对所述多个第一变换图像的每一个中包含的空白区域进行解析，来生成空白信息，该空白信息按照所述多个第二视点的每一个，示出与该第二视点对应的所述第一变换图像中包含的所述空白区域的大小，所述空白区域是指，所包含的像素是在所述输入图像内不存在对应的像素的像素。

2.如权利要求1所述的图像处理装置，

所述图像处理装置，还具备：

分配图生成部，使所述多个第二视点与多个二维位置相对应，并利用所述空白信息，来生成空白分配图，该空白分配图按照所述多个二维位置的每一个位置，示出与该二维位置所对应的所述第二视点上的所述空白区域有关的信息；以及

显示部，显示所述空白分配图。

3.如权利要求2所述的图像处理装置，

所述显示部，还显示所述输入图像，

所述输入图像上的多个位置的每一个与所述多个第二视点的每一个相对应，

所述图像处理装置还具备视点选择部，该视点选择部选择作为第二视点的选择视点，该第二视点与由用户指定的所述输入图像上的位置相对应，

所述显示部，在由所述视点选择部选择了所述选择视点的情况下，将显示的图像从所述输入图像切换为与所述选择视点对应的所述第一变换图像，

所述多个二维位置与所述输入图像上的多个位置相对应，

所述显示部在显示所述输入图像时，显示所述空白分配图。

4.如权利要求3所述的图像处理装置，

所述分配图生成部生成所述空白分配图，该被生成的所述空白分配图按照所述输入图像上的多个位置的每一个位置，示出与该位置相对应的所述第二视点所对应的所述第一变换图像中包含的各个所述空白区域的大小。

5.如权利要求3所述的图像处理装置，

所述视点变换部，进一步，利用所述深度信息，生成多个第二变换图像，该多个第二变换图像是从多个第三视点看到所述输入图像时的图像，所述多个第三视点是，使所述多个第二视点的每一个在与所述输入图像的平面垂直的方向上移动后的视点，

所述空白区域解析部，进一步，判断所述多个第二变换图像的每一个中所包含的所述空白区域的大小是否在预先规定的阈值以下，

所述空白分配图按照所述输入图像上的多个位置的每一个位置，示出与该位置所对应的第二视点对应的所述空白区域的大小在所述阈值以下的第三视点。

6.如权利要求1所述的图像处理装置，

所述图像处理装置进一步具备：

显示部，显示所述输入图像；以及

视点选择部，利用所述空白信息，来判断所述多个第一变换图像之中的所述空白区域的大小在预先规定的阈值以下的第一变换图像，将所述空白区域的大小为所述阈值以下的第一变换图像之中的任一个作为选择图像来选择，

所述显示部将显示的图像从所述输入图像切换为所述选择图像。

7.如权利要求1所述的图像处理装置，

所述图像处理装置进一步具备：

显示部，显示所述输入图像；

视点选择部，将所述多个第二视点之中的任一个作为选择视点来选择；以及

路径选择部，利用所述空白信息，从与位于所述第一视点与所述选择视点之间的多个第二视点对应的多个第一变换图像中，判断所述空白区域的大小为所述阈值以下的第一变换图像，从与位于所述第一视点与所述选择视点之间的多个第二视点对应的多个第一变换图像中，选择所述空白区域的大小为所述阈值以下的第一变换图像，以作为中间视点图像，

所述显示部，在由所述视点选择部选择了所述选择视点的情况下，以所述输入图像、所述中间视点图像、以及所述选择视点所对应的第一变换图像的顺序来切换显示，以使显示的图像的视点从所述第一视点连续地变化为所述选择视点。

8.如权利要求2所述的图像处理装置，

所述分配图生成部，

将所述多个第二视点划分为均包含多个第二视点的多个组，

使所述多个组的每一个与一个所述二维位置相对应，

利用所述空白信息，按所述多个二维位置的每一个，使用对应于该二维位置的所述组中包含的多个第二视点上的所述空白区域的大小，算出该组中的所述空白区域的大小的程度，

生成所述空白分配图，该被生成的所述空白分配图按照所述多个二维位置的每一个位置，示出对应于该二维位置的所述组中的所述空白区域的大小的程度。

9.如权利要求1至8的任一项所述的图像处理装置，

所述视点变换部，

利用所述输入图像、所述深度信息、以及所述输入图像被拍摄时的相机参数，来生成相机坐标系中的所述被摄体的三维模型，

通过利用分别与所述多个第二视点的每一个对应的多个变换参数来对所述三维模型进行投影变换，从而生成所述多个第一变换图像。

10.一种图像处理方法，包括：

数据获得步骤，获得从第一视点拍摄的输入图像以及表示所述输入图像中的被摄体的深度的深度信息；

视点变换步骤，利用所述深度信息，生成多个第一变换图像，该多个第一变换图像是从与所述第一视点不同的多个第二视点看到所述输入图像时的图像；以及

空白区域解析步骤，对所述多个第一变换图像的每一个中包含的空白区域进行解析，来生成空白信息，该空白信息按照所述多个第二视点的每一个，示出与该第二视点对应的所述第一变换图像中包含的所述空白区域的大小，所述空白区域是指，所包含的像素是在所述输入图像内不存在对应的像素的像素。

11.一种集成电路，具备：

数据获得部，获得从第一视点拍摄的输入图像以及表示所述输入图像中的被摄体的深度的深度信息；

视点变换部，利用所述深度信息，生成多个第一变换图像，该多个第一变换图像是从与所述第一视点不同的多个第二视点看到所述输入图像时的图像；以及

空白区域解析部，对所述多个第一变换图像的每一个中包含的空白区域进行解析，来生成空白信息，该空白信息按照所述多个第二视点的每一个，示出与该第二视点对应的所述第一变换图像中包含的所述空白区域的大小，所述空白区域是指，所包含的像素是在所述输入图像内不存在对应的像素的像素。