CN115315720A - 信息处理装置和方法以及程序 - Google Patents

Abstract

本公开涉及使得能够进行深度图编辑的信息处理设备和方法以及程序。生成包括要添加到基本深度图的深度数据的辅助深度图。例如，生成包括要局部地添加到基本深度图的深度数据的辅助深度图。本公开可以应用于例如信息处理设备、图像处理设备、计算机、信息处理方法、图像处理方法或程序。

Description

信息处理装置和方法以及程序

技术领域

本公开涉及信息处理装置和方法以及程序，并且更具体地，涉及允许编辑深度图的信息处理装置和方法以及程序。

背景技术

近年来，关于用于从左右两个视点或多个视点的视差图像生成深度图的图像处理技术，已经进行了各种研究工作(例如，参考PTL1)。例如，对于被动感测算法的框架(frame)，设想了如下方法，通过首先计算匹配成本，然后各自设计出留下高度可靠的信息的方式并且进行校正，最终输出深度图。此外，还提出了通过使用高度可靠的深度图来确定具有未知深度的像素的视差值的技术。

引用列表

专利文献

PTL 1：PCT专利公开号WO2014/064875

发明内容

技术问题

然而，应当注意，所生成的深度图并不总是完全且正确地对应于图像。本公开旨在允许编辑深度图。

问题的解决方案

根据本技术的一个方面的信息处理装置是一种信息处理装置，包括：辅助深度图生成部，所述辅助深度图生成部适于生成包括要添加到基本深度图的深度数据的辅助深度图。

根据本技术的一个方面的信息处理方法是一种信息处理方法，包括：生成包括要添加到基本深度图的深度数据的辅助深度图。

根据本技术的一个方面的程序是一种程序，使计算机用作：辅助深度生成部，所述辅助深度生成部适于生成包括要添加到基本深度图的深度数据的辅助深度图。

在根据本技术的一个方面的信息处理装置和方法以及程序中，生成包括要添加到基本深度图的深度数据的辅助深度图。

附图说明

图1是示出捕获图像的示例和深度图的示例的图。

图2是示出计算机的主要组件的示例的框图。

图3是示出由计算机实现的功能的功能框图。

图4是示出深度编辑画面的示例的图。

图5是示出生成边缘深度的示例的图。

图6是示出生成辅助深度的示例的图。

图7是示出设定深度值的示例的图。

图8是示出设定深度值的示例的图。

图9是示出合并层的示例的图。

图10是示出所输出的深度图的示例的图。

图11是示出形状区域插值的示例的图。

图12是示出在编辑深度图期间执行的处理流程的示例的流程图。

图13是示出在生成形状区域期间执行的处理流程的示例的流程图。

具体实施方式

下面将说明用于执行本公开的模式(以下被称为实施例)。应当注意，将按照以下顺序进行说明。

1、编辑深度图

2、第一实施例(计算机)

3、附录

<1、编辑深度图>

<深度图>

近年来，关于用于从左右两个视点或多个视点的视差图像生成深度图的图像处理技术，已经进行了各种研究工作(例如，参考PTL1)。例如，对于被动感测算法的框架，设想了如下方法，通过首先计算匹配成本，然后各自设计出留下高度可靠的信息的方式并且进行校正，最终输出深度图。此外，还提出了通过使用高度可靠的深度图来确定具有未知深度的像素的视差值的技术。

然而，应当注意，所生成的深度图并不总是完全且正确地对应于图像。例如，难以正确地推导出难以通过被动感测进行检测的被摄体的深度值或没有纹理的被摄体的深度值。此外，可能存在由于噪声影响而推导出不正确的深度值的情况。

例如，图1的A中所示的捕获图像10是人物11、对象12等的捕获图像。人物11位于前侧(相机侧)。白色代表背景，并且距离相机最远(例如，无穷大)。由对角线、平行线、阴影图案等表示的部分位于从相机观看的人物11和背景之间。

图1的B中所示的深度图20是从捕获图像10等生成的深度图，并且基本上包括与捕获图像10相对应的深度值。在深度图20中，每个像素的深度值越小(即，像素越位于前侧(越位于相机侧)，像素被表示为越接近于白色，并且深度值越大(即，像素越位于后侧)，像素被表示为越接近于黑色。即，深度图20的人物11的部分被表示为白色，对象12等的部分被表示为灰色，而背景部分被表示为黑色。

然而，应当注意，尽管在图1的B中由框21包围的区域中的对象12和人物11之间的部分是背景部分，因此原本应被表示为黑色，但是由于图1的B中不存在纹理，因此无法获取准确的深度值，因此该部分与对象12一样被表示为灰色。

<编辑深度图>

因此，旨在使得能够编辑深度图。例如，生成包括要添加到基本深度图(与基本深度图合并)的深度数据的辅助深度图。例如，信息处理装置包括辅助深度图生成部，并且辅助深度图生成部生成包括要添加到基本深度图(与基本深度图合并)的深度数据的辅助深度图。

这里，基本深度图是包括某个图像的被摄体的深度值的深度图。然而，应当注意，基本深度图可以包括由于测量误差或其他原因而在实际情况下与实际被摄体的位置不对应的部分。例如，使用图像或测量与图像的被摄体的距离来生成基本深度图。

辅助深度图是包括要添加到基本深度图(与基本深度图合并)的深度数据的深度图。通过将辅助深度图的深度数据添加到基本深度图(与基本深度图合并)，生成合并后的深度图。即，使用辅助深度图来编辑基本深度图，并且合并后的深度图是编辑的结果。也就是说，这使得可以编辑深度图。

此外，创建要添加到基本深度图的辅助信息作为深度图允许通过以这种方式彼此合并深度图来编辑深度图，这使得可以更容易地编辑深度图。此外，可以将要被编辑的目标数据(基本深度图)与用于编辑的编辑数据(辅助深度图)分开管理，这使得可以容易地执行诸如更新编辑内容和恢复编辑前深度图之类的处理。

应当注意，辅助深度图可以包括要添加到基本深度图的局部区域(与基本深度图的局部区域合并)的深度数据。例如，可以对于稍后将描述的形状区域形成辅助深度图。这使得可以更容易地编辑基本深度图的任何局部区域。

如上所述的辅助深度图可以基于指令来生成，该指令是基于UI(User Interface，用户接口)来输入的。例如，在信息处理装置中，辅助深度图生成部可以基于从接受部提供的用户指令信息来生成辅助深度图，该接受部接受使用UI(用户接口)输入的与辅助深度图的生成相关联的用户指令。以这种方式使用UI允许容易地输入与辅助深度图的生成相关联的指令。

应当注意，可以基于UI上显示的基本深度图来输入以上指令。例如，接受部可以接受被输入到作为UI在显示部上显示的基本深度图中的用户指令。基于以这种方式显示的基本深度图来输入指令允许容易地输入与辅助深度图的生成相关联的指令。

此外，可以以叠加(superimpose)方式显示基本深度图和与基本深度图相对应的图像(稍后将描述的RGB图像)。例如，在信息处理装置中，叠加处理部可以将基本深度图和与基本深度图相对应的图像彼此叠加，并且将结果图像作为叠加图像输出到显示部。在深度图的情况下，具有相同深度值的区域被表示为相同颜色(相同亮度)。因此，可能存在这样的情况，仅利用深度图难以正确地找出深度图中的每个位置(帧内位置)对应于与深度图相对应的图像的哪个位置(包括一个或多个像素的区域)。例如，在深度方向上的相同位置(具有相同深度值)处存在多个对象的情况下，有可能将这些对象表示为单个对象。

因此，以叠加方式显示基本深度图和与基本深度图相对应的图像允许更容易地正确识别作为图中的各个位置的帧内位置，并且允许更容易地编辑深度图。

此外，可以对于每个部分区域(局部地)编辑深度图。例如，可以首先设定部分区域(形状区域)，然后设定形状区域中的深度值。即，可以指定要编辑深度值的范围，然后设定所指定的范围内的区域的深度值。例如，以上接受部可以接受对将要添加到被输入到UI显示部上显示的基本深度图中的深度数据的添加范围的指定以及对所指定的添加范围内的区域的深度值的指定。以这种方式发布对于每个局部区域的编辑指令允许更轻松地局部地编辑深度图。

应当注意，部分区域(形状区域)中的各个像素可以共享公共深度值(具有相同深度值)。当然，在部分区域(形状区域)中可以存在多个深度值。例如，部分区域(形状区域)中的各个像素的深度值可以是遵循给定规则性的值。例如，深度值可以在部分区域(形状区域)中在给定方向上均匀地变化，就像颜色渐变一样。

此外，可以通过选择另一个区域来指定部分区域(形状区域)中的深度值。例如，如果用户等指定了另一个区域，则可以将所指定的帧内位置的深度值设定为要处理的部分区域(形状区域)的深度值。例如，接受部可以接受对在显示部上显示的基本深度图的部分区域(形状区域)的范围之外(添加范围之外)的帧内位置的指定，作为将帧内位置的深度值指定为该范围内的区域的深度值的用户指令。这使得用户等可以更容易地指定部分区域(形状区域)中的深度值。

此外，基本深度图可以对应于静止图像或视频。在基本深度图对应于视频的情况下，基本深度图可以包括沿时间顺序的多个帧(即，与各个帧图像相对应的基本深度图组)。在这种情况下，可以仅针对所有基本深度图组中的与视频的一些帧(稍后将描述的关键帧)相对应的基本深度图生成辅助深度图。也就是说，在这种情况下，不是针对所有帧生成辅助深度图，这使得可以更轻松地编辑深度图。

然后，在这种情况下，可以利用针对关键帧设定的辅助深度图来针对另一帧的基本深度图生成(插值)辅助深度图。例如，信息处理装置可以包括插值处理部，该插值处理部通过使用关键帧的辅助深度图对关键帧之间的帧的辅助深度图进行插值。这使得可以更容易地生成与关键帧之间的帧相对应的辅助深度图。

此外，辅助深度图可以被生成为与基本深度图的层不同的层。以这种方式分离各层允许更容易地将基本深度图和辅助深度图作为彼此独立的数据进行管理。例如，可以在不编辑基本深度图的情况下生成(编辑)辅助深度图以用作编辑数据。此外，例如，在视频的情况下，可以容易地实现辅助深度图的在帧之间的复制或其他处理。此外，分层允许更容易地合并各图。

此外，可以通过将层不同的基本深度图和辅助深度图进行合并来生成合并深度图。例如，信息处理装置还可以包括合并深度图生成部，该合并深度图生成部通过将层不同的基本深度图和辅助深度图进行合并来生成合并深度图。这使得可以执行优化处理。

应当注意，在基本深度图和辅助深度图具有相同帧内位置的各自的深度值的情况下，可以使用基本深度图的深度值来生成合并深度图。即，例如，在相同像素中基本深度图具有一个深度值并且辅助深度图具有另一个深度值的情况下，可以使基本深度图的深度值优先于辅助深度图的深度值。这使得可以将辅助深度图的深度值仅添加到基本深度图中未设定深度值(具有无效深度值)的部分，在基本深度图中设定了深度值的部分中保持深度值不变。

例如，这使得可以设定形状区域，而无需担忧深度值与基本深度图的可能重叠(overlap)。特别地，在视频的情况下，公共辅助深度图可以用于具有移动对象的多个帧(具有基本深度图中的深度值的变化分布的多个帧)。也就是说，因为在每个帧中不需要使形状区域变形或移动以防止形状区域被叠加在移动对象上，所以可以容易地生成(编辑)辅助深度图。

应当注意，基本深度图可以是包括相对高度可靠的帧内位置深度值(例如，可靠性等于或高于给定预设阈值)的深度图。在这样的深度图的情况下，在具有低可靠性的深度值的部分(例如，帧内的具有很少纹理的部分)中可能存在无效值。使用辅助深度图对这样的部分设定深度值允许生成更可靠的深度图。

深度值相对高度可靠的帧内位置是与基本深度图相对应的图像中的被摄体的边缘部分，并且基本深度图可以是包括边缘部分的深度值的边缘深度图。例如，帧内位置是否是图像中的被摄体的边缘部分可以用作可靠性阈值。在这种情况下，可以通过使用辅助深度图来编辑边缘深度图的非边缘部分(可靠性低于阈值的部分)。应当注意，信息处理装置还可以包括基本深度图生成部，该基本深度图生成部生成边缘深度图作为基本深度图。

此外，可以生成用于更新基本深度图的深度值的重写(overwrite)深度图。例如，信息处理装置还可以包括重写深度图生成部，该重写深度图生成部生成重写深度图，该重写深度图包括用于更新基本深度图的深度值的深度数据。这使得可以改变基本深度图的深度值。

可以在与基本深度图的层不同的层中生成重写深度图。这使得可以更容易地将重写深度图作为独立于其他深度图的数据进行管理，就像在辅助深度图的情况下一样。例如，可以在不编辑基本深度图的情况下生成(编辑)重写深度图以用作编辑数据。此外，分层允许更容易地合并各图。

例如，在合并基本深度图和重写深度图时，在基本深度图和重写深度图具有相同帧内位置的各自的深度值的情况下，可以使用重写深度图的深度值。例如，在基本深度图和重写深度图具有相同帧内位置的各自的深度值的情况下，信息处理装置的合并深度图生成部可以通过使用重写深度图的深度来将层彼此不同的基本深度图和重写深度图进行合并。以这样的方式执行的优化处理允许校正例如由于光学反射而在基本深度图中发生的错误深度值。

<2、第一实施例>

<计算机>

接下来将给出执行如上所述的这样的应用程序的设备的说明。图2是示出作为应用本技术的图像处理装置的实施例的计算机的主要组件的示例的图。图2中所示的计算机100是安装和执行用于编辑深度数据的应用程序(软件)的装置。这里，计算机不仅包括内置在专用硬件中的计算机，而且包括例如由于安装各种程序等而能够执行各种功能的通用个人计算机。计算机100通过执行应用程序、经由(例如<1、编辑深度图>中的)上述各种方法来编辑深度图(基本深度图)。这使得可以通过编辑基本深度图来生成合并深度图(输出深度图)。

应当注意，图2示出了处理部、数据流等的主要部分，并且不一定示出了所有处理部、数据流等。也就是说，在计算机100中，可能存在图2中未图示为块的处理部，并且可能存在图2中未图示为箭头等的处理和数据流。

在图2中所示的计算机100中，CPU(中央处理单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103经由总线104彼此连接。

输入/输出接口110也连接到总线104。输入部111、输出部112、存储部113、通信部114和驱动器115连接到输入/输出接口110。

输入部111包括例如键盘、鼠标、麦克风、触摸面板、输入端子等。输出部112包括例如监视器、扬声器、输出端子等。存储部113包括例如硬盘、RAM盘、非易失性存储器等。通信部114包括例如网络接口。驱动器115驱动可移动记录介质121，例如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机100中，例如，CPU 101经由输入/输出接口110和总线104将存储在存储部113中的应用程序加载到RAM 103中以供执行，因此执行上述一系列处理。由CPU 101执行各种处理所需的数据等也适当地存储在RAM 103中。

例如，可以将由计算机100执行的应用程序记录到作为封装介质等的可移动记录介质121以供应用。在这种情况下，通过将可移动记录介质121插入到驱动器115中，可以经由输入/输出接口110将应用程序安装到存储部113。

此外，应用程序可以经由有线或无线传输介质(例如局域网、因特网或数字卫星广播)来提供。在这种情况下，应用程序可以由通信部114接收并且安装到存储部113。

除上述之外，还可以将应用程序预先安装到ROM 102或存储部113。

图3是示出由计算机100通过执行应用程序而实现的功能作为功能块的功能框图。计算机100通过执行应用程序来实现从图像生成深度图并且编辑深度图的功能。

应当注意，此时，如例如在PTL 1中描述的那样，计算机100从图像生成包括相对高度可靠部分的深度值的深度图，并且基于深度图等估计具有相对较低可靠性的部分的深度值，因此生成与该图像相对应的深度图。这使得可以生成更可靠的深度图。

如图3中所示，计算机100可以通过执行应用程序来具有诸如GUI处理部151、文件获取部152、边缘深度生成部153、优化处理部154、文件输出部155、辅助深度生成部156、重写深度生成部157和显示图像生成部158之类的功能块。下面将描述每个功能块。

GUI处理部151执行与输出部112(例如，输出部112的监视器)上显示的GUI相关联的处理。例如，如果基于用于编辑在输出部112(例如，输出部112的监视器)上显示的深度图的GUI来操作输入部111(例如，如果输入了指令)，则GUI处理部151可以执行与所接受的操作(指令)相应的处理。应当注意，GUI处理部151、输入部111和输出部112的监视器也将被统称为UI(用户接口)。此外，GUI处理部151和输入部111也将被统称为接受部。

文件获取部152执行与文件的获取相关联的处理。例如，文件获取部152获取与要编辑的深度图相关联的图像(例如，捕获图像)文件。例如，文件获取部152可以经由输入部111获取从计算机100外部的设备输入的图像文件。此外，文件获取部152可以获取存储在存储部113中的图像文件。此外，文件获取部152可以经由通信部114获取从另一装置发送的图像文件。此外，文件获取部152可以经由驱动器115读取出和获取记录在可移动记录介质121中的图像文件。文件获取部152将通过任何方法获取的图像文件提供给其他功能块。

边缘深度生成部153执行与边缘深度的生成相关联的处理。边缘深度图是包括图像边缘附近的部分的深度值的深度图。通常，图像边缘部分是可以获取相对高度可靠的深度值的部分。即，边缘深度生成部153针对可以获取相对高度可靠的深度值的区域导出深度值，并且生成包括该深度值的深度图(边缘深度图)。边缘深度生成部153通过使用由文件获取部152获取的图像文件来生成与该图像相对应的边缘深度图。

对边缘深度图进行编辑。也就是说，将边缘深度图用作基本深度图。应当注意，在边缘深度图的与图像的非边缘部分相对应的区域中，将无效值设定为深度值。通过估计设定了该无效值的部分(即具有未知深度的像素)的深度值来生成与图像相对应的深度图(输出深度图)。应当注意，用于估计深度值的处理也将被称为优化处理(或半全局化处理)。

优化处理部154执行与优化处理相关联的处理。即，优化处理部154估计边缘深度图中的具有未知深度的像素的深度值。可以通过任何方法来进行估计。例如，可以使用PTL1中描述的方法。优化处理部154通过执行优化处理来生成单层深度图。可以将该深度图用作最终输出深度图。应当注意，优化处理部154可以通过执行优化处理来合并多个层的深度图，以用作输出深度图。

文件输出部155执行与文件的输出相关联的处理。例如，文件输出部155输出由优化处理部154生成的输出深度图(合并深度图)。例如，文件输出部155可以经由输出部112将输出深度图输出到计算机100外部的设备。此外，文件输出部155可以使存储部113存储输出深度图。此外，文件输出部155可以经由通信部114将被寻址的输出深度图发送到另一装置。此外，文件输出部155可以经由驱动器115使可移动记录介质121在其中记录输出深度图。

辅助深度生成部156执行与辅助深度图的生成相关联的处理。辅助深度图是包括要添加到基本深度图(与基本深度图合并)的深度数据的深度图，并且是用于编辑基本深度图的深度图。辅助深度生成部156基于例如经由GUI处理部151等接受的用户指令等来生成辅助深度图。

重写深度生成部157执行与重写深度图的生成相关联的处理。重写深度图是包括用于更新基本深度图的深度值的深度数据的深度图，并且是用于编辑基本深度图的深度图。重写深度生成部157基于例如经由GUI处理部151等接受的用户指令等来生成重写深度图。

显示图像生成部158生成要在输出部112(例如，输出部112的监视器)上显示的显示图像。例如，显示图像生成部158生成用于编辑深度图的GUI(稍后将描述的深度编辑画面)作为显示图像。然后，显示图像生成部158使输出部112(例如，输出部112的监视器)显示所生成的显示图像。

例如，显示图像生成部158可以通过使用由边缘深度生成部153生成的边缘深度图(基本深度图)来生成显示图像。例如，显示图像生成部158可以生成包括边缘深度图(基本深度图)的深度编辑画面(显示边缘深度图的深度编辑画面)。此外，显示图像生成部158可以通过使用由辅助深度生成部156生成的辅助深度图来生成显示图像。例如，显示图像生成部158可以生成包括辅助深度图的深度编辑画面(显示辅助深度图的深度编辑画面)。此外，显示图像生成部158可以通过使用由重写深度生成部157生成的重写深度图来生成显示图像。例如，显示图像生成部158可以生成包括重写深度图的深度编辑画面(显示重写深度图的深度编辑画面)。

应当注意，显示图像生成部158可以通过使用经由将边缘深度图(基本深度图)和与边缘深度图相对应的RGB图像彼此叠加而获得的叠加图像来生成显示图像(包括叠加图像的深度编辑画面)。应当注意，显示图像生成部158可以在叠加图像上进一步叠加辅助深度图或重写深度图。即，显示图像生成部158可以用作叠加处理部。

<辅助深度生成部>

辅助深度生成部156包括关键帧设定部161、形状设定部162和线性插值部163。

关键帧设定部161执行与关键帧的设定相关联的处理。关键帧是视频中的要针对其生成辅助深度图的帧(即，要针对其编辑边缘深度图的帧)。

形状设定部162执行与形状区域的生成相关联的处理，该形状区域是其中设定了要添加到边缘深度图(基本深度图)的深度值的部分区域(局部部分)。

线性插值部163对关键帧之间的帧中的辅助深度图(形状区域)进行插值。例如，线性插值部163执行线性插值。

形状设定部162包括外形(form)设定部171和深度值设定部172。例如，外形设定部171执行与形状区域的外形(外框)的设定(添加范围的设定)相关联的处理。例如，外形设定部171基于经由GUI处理部151等接受的用户指令等(即，输入到在输出部112的监视器(显示部)上显示的基本深度图中的与形状区域的外形相关联的用户指令)来生成形状区域的外形(外框)。深度值设定部172执行与在由外形设定部171设定的添加范围内设定深度值相关联的处理。例如，深度值设定部172基于经由GUI处理部151等接受的用户指令等(即，输入到在输出部112的监视器(显示部)上显示的基本深度图中的与形状区域的深度值相关联的用户指令)来设定形状区域中的深度值。

<深度编辑画面>

图4示出了用于编辑由图3中的显示图像生成部158生成并且显示在输出部112上的深度图的GUI的示例。图4中所示的深度编辑画面200是用于编辑深度图的GUI的示例。如图4中所示，深度编辑画面200包括深度图显示部201、层编辑部202和优化控制部203。

在深度图显示部201中显示要编辑的深度图(所编辑的深度图的预览)。在深度图是在多个层中创建的情况下，深度图显示部201还可以以叠加方式(以半透明(translucent)方式)显示各个层的深度图(或一些层的深度图)。此外，深度图显示部201可以以叠加方式(以半透明方式)显示RGB图像和深度图。这里，RGB图像例如是包括亮度分量、颜色分量等的图像，其不是深度图而是对应于深度图。例如，RGB图像是捕获图像。应当注意，RGB图像可以是原始(RAW)图像或YUV图像。此外，RGB图像可以是彩色图像或单色图像。在RGB图像是原始图像或YUV图像的情况下，原始图像或YUV图像首先被转换为RGB图像，然后被显示在深度图显示部201中。

层编辑部202是逐层执行编辑任务操作的区域。层编辑部202包括层选择字段211和时间线212。层选择字段211是用于选择(指定)要对其执行编辑任务的层的GUI。时间线212是水平地表示视频序列的GUI。即，RGB图像、边缘深度图、辅助深度图和重写深度图可以是单帧静止图像或包括多个帧的视频。例如，在时间线212中，通过指定指针213的位置(水平位置)来选择要处理的帧。

优化控制部203是用于优化处理的GUI。在优化控制部203中设置执行按钮231和文件名输入字段232至234。将用于优化处理的重写深度图的文件名输入到文件名输入字段232中。将用于优化处理的辅助深度图的文件名输入到文件名输入字段233中。将用于优化处理的边缘深度图的文件名输入到文件名输入字段234中。当操作执行按钮231时，使用在这些输入字段中指定的深度图来执行优化处理。

<生成边缘深度图>

边缘深度生成部153例如从如图5的A中所示的捕获图像10生成如图5的B中所示的边缘深度图301。在边缘深度图301中，仅设定靠近捕获图像的边缘的部分的深度值。在其他部分中，即在图5的B中所示的边缘深度图301中的黑色部分的每个像素中，设定无效值。

例如，如图6的A中所示，以添加深度值的方式编辑边缘深度图301。此时，如图6的A中所示，设定被称为形状区域的部分区域，并且针对每个形状区域设定深度值。即，局部地(针对每个局部区域)编辑(添加)深度值。在图6的A的情况下，设定了形状区域311。

例如，如图6的A中所示，用户在图4中的深度编辑画面200的深度图显示部201中指定形状区域311的外形和深度值。外形设定部171基于该指令来设定形状区域311的外形。可以设定任何外形。形状区域311可以是由用户在深度编辑画面200中指定的精确外形，或者是直线、矩形、多边形等外形。当设定了形状区域311的外形时，深度值设定部172基于该指令来设定深度值。

如图6的B中所示，以这种方式设定的形状区域311被创建为与作为基本深度图的边缘深度图301(的层)不同的(层中的)辅助深度图321。

应当注意，可以通过任何方法来设定形状区域311的深度值。可以由用户等输入数值，或者可以复制在深度编辑画面200中指定的位置(帧内位置)的深度值。

例如，如图7的A中所示，假设在边缘深度图330中，区域331的深度值为10，区域332的深度值为20，并且其他区域的深度值无效。同时，如图7的B中所示，在辅助深度图340中，用户通过操作光标341来设定形状区域342的外形。接下来，如图7的C中所示，在边缘深度图330中，当用户通过操作光标341来指定区域332中的像素时，如图7的D中所示，该像素的深度值(即，20)被设定在(被复制到)辅助深度图340的形状区域342中。即，深度值设定部172基于经由GUI处理部151等接受的用户指令等(即，基于对区域332中像素的指定)，将形状区域342中的深度值设定为区域332中的所指定的像素的深度值。通过使用这样的GUI功能(也被称为滴管(eyedropper)功能)设定形状区域的深度值，用户可以更容易地设定辅助深度图的深度值。

应当注意，深度图可以具有单个层。在这种情况下，编辑作为基本深度图的边缘深度图330。即，如图8中所示，当用户在边缘深度图330中的具有无效值的区域中设定形状区域342的外形并且指定区域332的像素时，该像素的深度值被复制到形状区域342。在这种情况下，深度值设定部172也基于经由GUI处理部151等接受的用户指令等(即，基于对区域332中的像素的指定)，将形状区域342中的深度值设定为区域332中的所指定的像素的深度值。即，在同一深度图中执行复制。

在要编辑边缘深度图330的深度值的情况下，可以使用重写深度图。例如，在由于图像捕获时的噪声的影响或由于具有复杂图案的被摄体的影响而在边缘深度图中发生意外(unintentional)错误的情况下，可以使用重写深度图的深度值来校正该错误。

通过优化处理将边缘深度图、辅助深度图和重写深度图合并在一起。这些图可以被创建为不同的层。在这种情况下，如图9的A中所示，作为优化处理的结果，通过叠加来合并各层。在图9的A中，重写深度层351是重写深度图的层。边缘深度层352是边缘深度图的层。辅助深度层353是辅助深度图的层。

重写深度层351在优化处理期间具有最高优先级。该层的每个像素的初始值是无效值或与边缘深度层352的值相同的值。在优化处理期间，边缘深度层352具有比辅助深度层更高的优先级。辅助深度层353具有最低优先级。仅在重写深度层351和边缘深度层352的值无效的情况下，才采用被写入到该层的值。辅助深度层的初始值是无效值或与边缘深度层的值相同的值。

也就是说，通过优化处理将各层合并在一起，其结果是，如图9的A中的箭头所示，如从上方所看到的那样，各个层的深度值彼此叠加。即，如图9的B中所示，生成其中叠加深度值的输出深度图354。即，辅助深度层353的深度值仅在重写深度层351和边缘深度层352两者的深度值都无效的区域中有效。应当注意，深度图可以具有单层结构。

图10示出了通过这样的优化处理生成的合并深度图(输出深度图)的示例。在图10中所示的输出深度图360中，由框21包围的区域中的对象12和人物11之间的部分被表示为黑色。也就是说，现在将图1的B中所示的深度图20中不正确的深度值校正为正确值。可以以这种方式编辑深度图。

应当注意，在视频的情况下，在不需要改变所写入的形状区域的帧内位置的情况下，帧内位置可以保持不变，并且在需要改变帧内位置的情况下，将形状区域例如作为关键帧输入。例如，如图11中所示，在通过将第一帧和第30帧设定为关键帧而输入形状区域的情况下，在优化处理期间，可以通过根据所设定的关键帧计算每个层的每个帧的形状区域的移动量来执行优化处理。这使得可以相对容易地发出校正指令。此外，可以通过线性处理或通过跟踪作为整体的画面的移动量的非线性处理来计算帧之间的形状区域的移动量。

在图11中的示例的情况下，将帧X设定为关键帧，并且设定形状区域371。此外，将帧X+30设定为关键帧，并且设定形状区域372。基于这些关键帧，在帧X+15中，在形状区域371和形状区域372之间的中间位置(帧内位置)处对形状区域373进行插值。

此外，关于优化处理的算法，如PTL 1中所述，可以仅参考深度值，并且例如，如Jonathan T Barron和Ben Poole，“快速双边求解器”，ECCV，2016(被称为非专利文献2)中所述，可以使用所输入的RGB值和深度值作为指导来执行优化处理。

如上所述的配置允许如<1、编辑深度图>中所述的那样编辑深度图。

<处理流程>

下面将参考图12中的流程图给出在编辑深度图期间执行的处理流程的示例的说明。

当处理开始时，在步骤S101中，文件获取部152读入文件并且获取RGB图像。在步骤S102中，边缘深度生成部153生成每个帧的边缘深度。

在步骤S103中，辅助深度生成部156确定是否已选择了帧。在确定已选择了帧的情况下，处理进行到步骤S104。此外，在步骤S104中，关键帧设定部161确定是否将帧设定为关键帧。在确定将帧设定为关键帧的情况下，处理进行到步骤S105。

在步骤S105中，关键帧设定部161将该帧设置为关键帧。在步骤S106中，形状设定部162在帧中生成形状区域。

当步骤S106中的处理结束时，处理进行到步骤S107。此外，在步骤S104中确定不将该帧设定为关键帧的情况下，处理进行到步骤S107。

在步骤S107中，重写深度生成部157确定是否编辑重写深度图。在确定要编辑重写深度图的情况下，处理进行到步骤S108。在步骤S108中，重写深度生成部157编辑重写深度图。

当步骤S108中的处理结束时，处理进行到步骤S109。此外，在步骤S107中确定不编辑重写深度图的情况下，处理进行到步骤S109。此外，在步骤S103中确定没有选择帧的情况下，处理进行到步骤S109。

在步骤S109中，辅助深度生成部156确定是否终止深度图的编辑。在确定要继续编辑深度图的情况下，处理返回到步骤S103，并且重复后续步骤。此外，在步骤S109中确定要终止深度图的编辑的情况下，处理进行到步骤S110。

在步骤S110中，线性插值部163确定是否存在多个关键帧。在确定存在多个关键帧的情况下，处理进行到步骤S111。在步骤S111中，线性插值部163进行辅助深度图(形状区域)的插值(例如，线性插值)，并且在关键帧之间的另一帧中生成辅助深度图(形状区域)。

当步骤S111中的处理结束时，处理进行到步骤S112。此外，在步骤S112中确定不存在多个关键帧的情况下，处理进行到步骤S112。

在步骤S112中，优化处理部154执行优化处理，并且生成具有单层结构的输出深度图。在步骤S113中，文件输出部155输出所生成的输出深度图。

接下来将参考图13中的流程图来说明在步骤S106中执行的在生成形状区域期间的处理流程的示例。

当处理开始时，在步骤S131中，形状设定部162的外形设定部171设定形状区域的范围(外形)。在步骤S132中，深度值设定部172在步骤S131中设定的范围内的区域中设定深度值。

在步骤S133中，形状设定部162确定是否终止处理。在确定不终止处理的情况下，即，在确定要设定另一个形状区域的情况下，处理返回到步骤S131，并且重复后续步骤。此外，在步骤S133中确定要终止处理的情况下，处理返回到图12。

如上所述的每个处理的执行使得可以如<1、编辑深度图>中所述的那样编辑深度图。

<3、附录>

<硬件>

上述一系列处理可以通过软件(应用程序)或硬件来执行。

<本技术的应用目标>

本技术适用于任何配置。例如，本技术可以被实现为装置配置的一部分，例如作为系统LSI(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、或包括单元和其他附加功能的集合。

此外，例如，本技术适用于包括多个装置的网络系统。例如，本技术可以被实现为云计算，该云计算经由网络在多个装置之间以共享和协作的方式处理过程。例如，本技术可以在向任何终端(例如计算机、便携式信息处理终端或物联网设备)提供服务的云服务中实现。

应当注意，在本说明书中，系统表示多个组件(例如，装置、模块(部件))的集合，并且所有组件是否设置在同一壳体中并不重要。因此，容纳在单独壳体中并且经由网络彼此连接的多个装置和具有容纳在单个壳体中的多个模块的单个装置都是系统。

<本技术适用的领域和用途>

应用本技术的系统、装置、处理部等可以用于任何领域，其示例包括交通、医药、犯罪预防、农业、畜牧业、矿业、美容业、工厂、家用电器、气象和自然监测。此外，本技术可以用于任何目的。

<其他>

本技术的实施例不限于上述实施例，并且可以在不偏离本技术的主旨的情况下以各种方式进行修改。

例如，被描述为单个装置(或处理部)的组件可以被划分为多个装置(或处理部)。相反，上面被描述为多个装置(或处理部)的组件可以被组合成单个装置(或处理部)。此外，除了上述组件之外的组件可以当然地被添加到每个装置(或处理部)的组件。此外，只要作为整体的系统的配置和操作保持基本相同，一个装置(或处理部)的一些组件可以被包括在另一个装置(或另一个处理部)的组件中。

此外，例如，可以在自由选择的装置中执行以上程序。在这种情况下，装置仅需要具有能够获取需要信息的需要功能(例如，功能块)。

此外，例如，一个流程图的每个步骤可以由一个装置或由多个装置以共享的方式执行。此外，在一个步骤中包括多个处理的情况下，可以由一个装置或由多个装置以共享方式执行多个处理。换句话说，包括在一个步骤中的多个处理可以作为多个步骤的处理来执行。相反，被描述为多个步骤的处理可以作为一个步骤一起执行。

此外，例如，在由计算机执行的程序中，可以根据本说明书中描述的顺序按时间顺序执行用于描述该程序的步骤的处理。替选地，可以在需要的定时(例如调用时)并行或单独地执行这些处理。也就是说，只要没有出现不一致，各个步骤的处理可以按照与上述顺序不同的顺序执行。此外，用于描述程序的步骤的处理可以与另一程序的处理并行地执行，或者可以与另一程序的处理组合并且执行。

此外，例如，与本技术相关联的多个技术可以彼此独立且单独地实现，只要没有出现不一致即可。当然，可以一起实现多个本技术。例如，任何一个实施例中描述的本技术的部分或全部可以与另一个实施例中描述的本技术的部分或全部组合来实现。此外，以上本技术的任何部分或全部可以与以上未描述的另一技术一起实现。

应当注意，本技术还可以采用以下配置。

(1)一种信息处理装置，包括：

辅助深度图生成部，所述辅助深度图生成部适于生成包括要添加到基本深度图的深度数据的辅助深度图。

(2)根据(1)所述的信息处理装置，其中，

辅助深度图包括要添加到基本深度图的局部区域的深度数据。

(3)根据(2)所述的信息处理装置，其中，

所述辅助深度图生成部基于从接受用户指令的接受部提供的用户指令信息来生成辅助深度图，所述用户指令与辅助深度图的生成相关联，并且是使用用户接口UI来输入的。

(4)根据(3)所述的信息处理装置，其中，

所述接受部接受被输入到作为UI在显示部上显示的基本深度图中的用户指令。

(5)根据(4)所述的信息处理装置，还包括：

叠加处理部，所述叠加处理部适于将基本深度图和与基本深度图相对应的图像彼此叠加，并且将结果图像作为叠加图像输出到所述显示部。

(6)根据(4)或(5)所述的信息处理装置，其中，

所述接受部接受对要添加深度数据的添加范围的指定和对所指定的添加范围内的区域的深度值的指定，该指定被输入到在所述显示部上显示的基本深度图中。

(7)根据(6)所述的信息处理装置，其中，

所述接受部接受对在所述显示部上显示的基本深度图的添加范围之外的帧内位置的指定，作为将帧内位置的深度值指定为添加范围内的区域的深度值的用户指令。

(8)根据(2)至(7)中任一项所述的信息处理装置，其中，

所述辅助深度图生成部对于视频的关键帧生成辅助深度图。

(9)根据(8)所述的信息处理设备，还包括：

插值处理部，所述插值处理部适于通过使用关键帧的辅助深度图对关键帧之间的帧的辅助深度图进行插值。

(10)根据(1)至(9)中任一项所述的信息处理装置，其中，

所述辅助深度图生成部将辅助深度图生成为与基本深度图的层不同的层。

(11)根据(10)所述的信息处理装置，还包括：

合并深度图生成部，所述合并深度图生成部适于通过将层彼此不同的基本深度图和辅助深度图进行合并来生成合并深度图。

(12)根据(11)所述的信息处理装置，其中，

在基本深度图和辅助深度图具有在相同帧内位置的各自的深度值的情况下，所述合并深度图生成部通过使用基本深度图的深度值来生成合并深度图。

(13)根据(12)所述的信息处理装置，其中，

基本深度图包括可靠性等于或高于阈值的帧内位置深度值。

(14)根据(13)所述的信息处理装置，其中，

可靠性阈值是用于确定帧内位置是图像中的被摄体的边缘部分的阈值，以及

基本深度图是包括边缘部分的深度值的边缘深度图。

(15)根据(14)所述的信息处理装置，还包括：

基本深度图生成部，所述基本深度图生成部适于生成边缘深度图作为基本深度图。

(16)根据(1)至(15)中任一项所述的信息处理装置，还包括：

重写深度图生成部，所述重写深度图生成部适于生成重写深度图，所述重写深度图包括用于更新基本深度图的深度值的深度数据。

(17)根据(16)所述的信息处理装置，其中，

所述重写深度图生成部在与基本深度图的层不同的层中生成重写深度图。

(18)根据(17)所述的信息处理装置，还包括：

合并深度图生成部，所述合并深度图生成部适于在基本深度图和重写深度图具有在相同的帧内位置的各自的深度值的情况下，通过使用重写深度图的深度值来将层彼此不同的基本深度图和辅助深度图进行合并。

(19)一种信息处理方法，包括：

生成包括要添加到基本深度图的深度数据的辅助深度图。

(20)一种程序，使计算机用作：

辅助深度生成部，所述辅助深度生成部适于生成包括要添加到基本深度图的深度数据的辅助深度图。

参考标记列表

100：计算机

151：GUI处理部

152：文件获取部

153：边缘深度生成部

154：优化处理部

155：文件输出部

156：辅助深度生成部

157：重写深度生成部

158：显示图像生成部

161：关键帧设定部

162：形状设定部

163：线性插值部

171：外形设定部

172：深度值设定部

200：深度编辑画面

201：深度图显示部

202：层编辑部

203：优化控制部

211：层选择字段

212：时间线

231：执行按钮

232至234：文件名输入字段

301：边缘深度

311：形状区域

321：辅助深度

351：重写深度层

362：边缘深度层

353：辅助深度层

354：输出层

360：输出深度图。

Claims (20)

1.一种信息处理装置，包括：

辅助深度图生成部，所述辅助深度图生成部适于生成包括要添加到基本深度图的深度数据的辅助深度图。

2.根据权利要求1所述的信息处理装置，其中，

辅助深度图包括要添加到基本深度图的局部区域的深度数据。

3.根据权利要求2所述的信息处理装置，其中，

所述辅助深度图生成部基于从接受用户指令的接受部提供的用户指令信息来生成辅助深度图，所述用户指令与辅助深度图的生成相关联，并且是使用用户接口UI来输入的。

4.根据权利要求3所述的信息处理装置，其中，

所述接受部接受被输入到作为UI在显示部上显示的基本深度图中的用户指令。

5.根据权利要求4所述的信息处理装置，还包括：

叠加处理部，所述叠加处理部适于将基本深度图和与基本深度图相对应的图像彼此叠加，并且将结果图像作为叠加图像输出到所述显示部。

6.根据权利要求4所述的信息处理装置，其中，

所述接受部接受对要添加深度数据的添加范围的指定和对所指定的添加范围内的区域的深度值的指定，该指定被输入到在所述显示部上显示的基本深度图中。

7.根据权利要求6所述的信息处理装置，其中，

所述接受部接受对在所述显示部上显示的基本深度图的添加范围之外的帧内位置的指定，作为将帧内位置的深度值指定为添加范围内的区域的深度值的用户指令。

8.根据权利要求2所述的信息处理装置，其中，

所述辅助深度图生成部对于视频的关键帧生成辅助深度图。

9.根据权利要求8所述的信息处理设备，还包括：

插值处理部，所述插值处理部适于通过使用关键帧的辅助深度图对关键帧之间的帧的辅助深度图进行插值。

10.根据权利要求1所述的信息处理装置，其中，

所述辅助深度图生成部将辅助深度图生成为与基本深度图的层不同的层。

11.根据权利要求10所述的信息处理装置，还包括：

合并深度图生成部，所述合并深度图生成部适于通过将层彼此不同的基本深度图和辅助深度图进行合并来生成合并深度图。

12.根据权利要求11所述的信息处理装置，其中，

在基本深度图和辅助深度图具有在相同帧内位置的各自的深度值的情况下，所述合并深度图生成部通过使用基本深度图的深度值来生成合并深度图。

13.根据权利要求12所述的信息处理装置，其中，

基本深度图包括可靠性等于或高于阈值的帧内位置深度值。

14.根据权利要求13所述的信息处理装置，其中，

可靠性阈值是用于确定帧内位置是图像中的被摄体的边缘部分的阈值，以及

基本深度图是包括边缘部分的深度值的边缘深度图。

15.根据权利要求14所述的信息处理装置，还包括：

基本深度图生成部，所述基本深度图生成部适于生成边缘深度图作为基本深度图。

16.根据权利要求1所述的信息处理装置，还包括：

重写深度图生成部，所述重写深度图生成部适于生成重写深度图，所述重写深度图包括用于更新基本深度图的深度值的深度数据。

17.根据权利要求16所述的信息处理装置，其中，

所述重写深度图生成部在与基本深度图的层不同的层中生成重写深度图。

18.根据权利要求17所述的信息处理装置，还包括：

合并深度图生成部，所述合并深度图生成部适于在基本深度图和重写深度图具有在相同的帧内位置的各自的深度值的情况下，通过使用重写深度图的深度值来将层彼此不同的基本深度图和辅助深度图进行合并。

19.一种信息处理方法，包括：

生成包括要添加到基本深度图的深度数据的辅助深度图。

20.一种程序，使计算机用作：

辅助深度生成部，所述辅助深度生成部适于生成包括要添加到基本深度图的深度数据的辅助深度图。

Images