CN103686125A - 深度推测装置、方法及程序、图像处理装置、方法及程序 - Google Patents

Abstract

本发明提供一种深度推测装置、深度推测方法、深度推测程序、图像处理装置、图像处理方法及图像处理程序。轮廓确定部确定对象图像内的对象的轮廓。距离确定部求取对象的区域内的对象像素与轮廓的最短距离。深度值决定部根据该距离来决定上述对象像素的深度值。距离确定部能以对象像素的位置为中心，从该中心螺旋状地探索与轮廓的切点，来求取与轮廓的最短距离。

Description

深度推测装置、方法及程序、图像处理装置、方法及程序

技术领域

本发明涉及推测图像内的对象（object）的深度的深度推测装置、深度推测方法、深度推测程序、图像处理装置、图像处理方法及图像处理程序。 

背景技术

近年，3D电影、3D电视节目等3D影像内容（contents）正在逐渐普及。为使观看者进行立体观看，需要具有视差的右眼图像和左眼图像。在显示3D影像时，时分地显示右眼图像和左眼图像，并通过快门眼镜或偏光眼镜等影像分离用眼镜来分离右眼图像和左眼图像。由此，观看者能仅用右眼观看右眼图像，并仅用左眼观看左眼图像，进行立体观看。此外，若不是时分、而是空分右眼图像和左眼图像，则不需要眼镜，但分辨率会下降。无论是眼镜方式，还是无眼镜方式，在需要右眼图像和左眼图像这一点上是共同的。 

制作3D影像大体上有2个方法，有使用2台照相机同时拍摄右眼图像和左眼图像的方法，还有将用1台照相机拍摄的2D图像后期编辑来生成视差图像的方法。本发明涉及后一方法，涉及2D3D变换技术。 

图1是用于说明2D3D变换的基本处理流程的图。首先基于2D输入图像生成深度图（depth map、也称作深度信息）（步骤S10）。然后使用2D输入图像和深度图来生成3D图像（步骤S30）。图1中，将2D输入图像作为3D输出图像的右眼图像，并将使用深度图对2D输入图像进行了像素移位（Pixel Shift）的图像作为3D输出图像的左眼图像。以下，将具有预定视差的右眼图像与左眼图像的组称作3D图 像或视差图像。 

以往，就已提出有推测出2D图像所表现的场景结构来生成深度图的各种方法。本申请人提出了算出画面内的预定区域内的像素值的统计量来推测场景结构，并据此决定多个基本深度模型的合成比例，按照该合成比例来生成深度图的方法。使用该方法，能基于2D图像简单且高速地生成不自然感较小的3D图像。 

〔在先技术文献〕 

〔专利文献〕 

〔专利文献1〕日本特开2009－44722号公报 

为生成高质量的3D图像，需要生成高质量的深度图。为生成高质量的深度图，希望针对图像内的各对象分别使深度的形状最优化。此外，为在2D图像中也附加高质量的渐变（gradation），希望考虑图像内的对象的深度的形状，附加符合该形状的渐变。 

但是用户针对各对象分别推测或调整深度的形状是烦琐的作业。 

发明内容

本发明是鉴于这样的状况而研发的，其目的在于提供一种能简单且高精度地推测图像内的对象的深度的形状的技术。 

为解决上述课题，本发明一个方案的深度推测装置包括：轮廓确定部，抽取对象图像内的对象的轮廓；距离确定部，求取上述对象的区域内的对象像素与上述轮廓的距离；深度值决定部，根据上述距离来决定上述对象像素的深度值。 

本发明的另一方案是深度推测方法。该方法包括：确定对象图像内的对象的轮廓的步骤，求取上述对象的区域内的对象像素与上述轮 廓的距离的步骤，以及根据上述距离来决定上述对象像素的深度值的步骤。 

本发明的另一方案是图像处理装置。该装置包括：深度图生成部，基于输入图像和深度模型来生成上述输入图像的深度图；体积浮雕生成部，生成上述输入图像内的对象的浮雕图案；深度图加工部，加工由上述深度图生成部生成的深度图内的、与上述对象对应的区域；以及图像生成部，基于上述输入图像及由上述深度图加工部加工后的深度图来生成另一视点的图像。上述体积浮雕生成部包括：轮廓确定部，确定上述对象的轮廓；距离确定部，求取上述对象内的对象像素与上述轮廓的距离；以及深度值决定部，根据上述距离来决定上述对象像素的深度值。上述体积浮雕生成部基于由上述深度值决定部决定的深度值来生成上述浮雕图案；上述深度图加工部使用上述浮雕图案来对上述深度图内的与上述对象对应的区域附加浮雕。 

本发明的另一方案是图像处理方法。该方法包括：基于输入图像和深度模型来生成上述输入图像的深度图的步骤；生成上述输入图像内的对象的浮雕图案的步骤；加工所生成的深度图内的、与上述对象对应的区域的步骤；以及基于上述输入图像及加工后的深度图来生成另一视点的图像的步骤。上述生成浮雕图案的步骤包括：确定上述对象的轮廓的步骤；求取上述对象内的对象像素与上述轮廓的距离的步骤；以及根据上述距离来决定上述对象像素的深度值的步骤。上述生成浮雕图案的步骤基于由上述决定深度值的步骤所决定的深度值来生成上述浮雕图案，上述加工深度图的步骤使用上述浮雕图案来对上述深度图内的与上述对象对应的区域附加浮雕。 

此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等间变换后的实施方式，作为本发明的方案也是有效的。 

附图说明

图1是用于说明2D3D变换的基本处理流程的图。 

图2是表示本发明的实施方式的图像编辑系统的构成的图。 

图3是表示本发明的实施方式1的深度图生成部的构成例的图。 

图4是用于说明本发明的实施方式1的图像编辑系统的整体处理流程的图。 

图5是用于说明输入深度图（input depth map）的增益调整流程的图。 

图6是用于说明层深度图（layer depth map）的合成处理流程的图。 

图7是用于说明不使用掩模的输入深度图的增益调整流程的图。 

图8是用于说明3D图像生成部的3D图像生成流程的图。 

图9是用于说明输入深度图的偏置（offset）调整流程的图。 

图10是用于说明不使用掩模的输入深度图的偏置调整流程的图。 

图11的（a）～（c）是用于说明深度图整体的动态范围调整的图。 

图12是用于说明输入深度图的渐变附加流程的图。 

图13是用于说明不使用掩模的输入深度图的渐变附加流程的图。 

图14是表示本发明的实施方式2的图像编辑系统的构成的图。 

图15是表示本发明的实施方式2的体积浮雕（volume emboss）生成部的构成的图。 

图16的（a）～（c）是用于说明实施方式2的生成对象的深度图的方法的图。 

图17的（a）～（b）是用于说明探索从对象区域内的对象像素至掩模边缘的最短距离的处理的图。 

图18是表示体积浮雕的亮度变化的图。 

图19的（a）～（c）是用于说明体积浮雕的量级变换的图。 

图20的（a）～（b）是表示复杂的对象形状的体积浮雕的一个例子的图。 

图21的（a）～（b）是表示朝向正面的人物的浮雕图案的图。 

图22（a）～（b）是表示朝向斜方向的人物的浮雕图案的图。 

图23的（a）～（c）是表示瓶子的浮雕图案的图。 

图24是表示实施方式3的体积浮雕生成部的构成的图。 

图25是表示使用未偏心的探索圆（正圆）来探索对象的边缘像素的情况的图。 

图26是表示图25的浮雕图案的图。 

图27的（a）～（b）是表示使用偏心的探索圆（正圆）来探索对象的边缘像素的情况的图。 

图28是表示使用偏心的探索圆（正圆）来探索对象的边缘像素的情况的图。 

图29是表示图28的浮雕图案的图。 

图30是表示使用将图28的探索圆的偏心率进一步加大后的探索圆（正圆）来探索对象的边缘像素的情况的图。 

图31是表示图30的浮雕图案的图。 

图32是表示使用向左下方向偏心的探索圆（正圆）来探索对象的边缘像素的情况的图。 

图33是表示图32的浮雕图案的图。 

图34是用于说明探索圆的制作方法的图。 

图35是用于说明偏心的探索圆的制作方法的图。 

图36是表示使用正圆探索圆来探索对象的边缘像素的情况的图。 

图37是表示图36的浮雕图案的图。 

图38是表示使用椭圆探索圆来探索对象的边缘像素的情况的图。 

图39是表示图38的浮雕图案的图。 

图40是表示使用将图38的探索圆的椭圆化率（ovalization factor）进一步加大后的探索圆来探索对象的边缘像素的情况的图。 

图41是表示图40的浮雕图案的图。 

图42是用于说明椭圆探索圆的制作方法的图。 

图43是表示探索倾斜的瓶子形状的对象的边缘像素的情况的图。 

图44是表示图43的浮雕图案的图。 

图45是用于说明具有倾斜的轴的椭圆探索圆的制作方法的图。 

图46的（a）～（b）是表示使用正圆探索圆来探索对象的边缘像素的情况的图。 

图47的（a）～（b）是表示图46的（a）～（b）的浮雕图案的图。 

图48的（a）～（d）是表示探索倾斜的瓶子形状的对象的边缘像素的情况的图。 

具体实施方式

本发明将通过以下优选实施例的描述而得到明确。实施例并非限制本发明的范围，而是本发明的例示。 

图2是表示本发明的实施方式1的图像编辑系统500的结构的图。实施方式1的图像编辑系统500包括图像处理装置100及控制台（console）终端装置200。 

控制台终端装置200是图像制作者（以下称作“用户”）为制作、编辑图像而使用的终端装置。控制台终端装置200包括操作部60及显示部70。操作部60是键盘、鼠标等输入设备，显示部70是显示器等输出设备。还可以使用输入与输出为一体的设备――触摸屏显示器。控制台终端装置200还可以具备打印机、扫描器等将印刷品作为介质来使用的用户接口。操作部60接收用户操作，生成该用户操作所产生的信号，并输出给图像处理装置100。显示部70显示由图像处理装置100生成的图像。 

图像处理装置100包括深度图生成部10、深度图加工部20、3D图像生成部30、操作接收部40、及显示控制部50。从硬件上来讲，这些结构能由任意处理器、存储器、其它LSI来实现，从软件上来讲，由被载入到存储器的程序等实现，但在此描述了通过它们的合作而实现的功能块。因此，本领域技术人员当理解这些功能块能够仅由硬件、仅由软件、或由它们的组合以各种形式实现。例如可以全部用软件来实现深度图生成部10、深度图加工部20、3D图像生成部30的功能，也可以用专用的逻辑电路来构成深度图生成部10及3D图像生成部30 的功能、用软件来实现深度图加工部20。 

深度图生成部10基于所输入的2D图像和深度模型来生成该2D图像的深度图。深度图是用亮度值来表示depth值（也称作深度值）的灰阶（Gray Scale）图像。深度图生成部10推测出场景结构、使用符合该场景结构的深度模型来生成深度图。在本实施方式中，深度图生成部10合成多个基本深度模型，将之用于深度图生成。此时，根据该2D图像的场景结构而改变多个基本深度模型的合成比例。 

图3是表示本发明的实施方式1的深度图生成部10的构成例的图。深度图生成部10包括画面上部高频分量评价部11、画面下部高频分量评价部12、合成比例决定部13、第1基本深度模型用帧存储器14、第2基本深度模型用帧存储器15、第3基本深度模型用帧存储器16、合成部17、及加法运算部18。 

画面上部高频分量评价部11计算在应处理的2D图像的画面上部具有高频分量的像素的比例。将该比例作为画面上部的高频分量评价值。此外，优选将画面上部相对于画面整体的比例设定为大致20％。画面下部高频分量评价部12计算在该2D图像的画面下部具有高频分量的像素的比例。将该比例作为画面下部的高频分量评价值。此外，优选将画面下部相对于画面整体的比例设定为大致20％。 

第1基本深度模型用帧存储器14存储第1基本深度模型，第2基本深度模型用帧存储器15存储第2基本深度模型，第3基本深度模型用帧存储器16存储第3深度模型。第1基本深度模型是使画面上部及画面下部分别成为凹状的球面的模型。第2基本深度模型是使画面上部成为具有纵向的轴线的圆筒面、画面下部成为凹状的球面的模型。第3基本深度模型是使画面上部成为平面、画面下部成为具有横向的轴线的圆筒面的模型。 

合成比例决定部13基于由画面上部高频分量评价部11及画面下部高频分量评价部12分别算出的画面上部及画面下部的高频分量评价值，来决定第1基本深度模型、第2基本深度模型、第3基本深度模型的合成比例k1、k2、k3（k1＋k2＋k3＝1）。合成部17将这些合成比例k1、k2、k3分别乘以第1基本深度模型、第2基本深度模型、第3基本深度模型，并将各自的乘法运算结果相加。其运算结果成为合成基本深度模型。 

例如若画面上部的高频分量评价值较小，则合成比例决定部13识别为在画面上部存在天空或平坦的墙壁的场景，使加深了画面上部的深度的第2基本深度模型的比例增加。此外，若画面下部的高频分量评价值较小，则识别为在画面下部、平坦的地面或水面连续延展到身前的场景，使第3基本深度模型的比例增加。在第3基本深度模型中，将画面上部作为远景来进行平面近似，而关于画面下部，越向下，越减小深度。 

加法运算部18在由合成部17生成的合成基本深度模型上重叠上述2D图像的红色分量（R）信号，来生成深度图。使用R信号的理由是如下经验法则，即，R信号的大小在接近顺光的环境下、且纹理的明度不会较大程度地不同的条件下，与被摄物体的凹凸一致的概率较高。还因为红色及暖色是色彩学中的前进色，与冷色系相比，能将深度认识得更靠身前、强调立体感。 

返回图2。深度图加工部20加工由深度图生成部10生成的深度图。在本实施方式中，深度图加工部20针对由外部设定的多个掩模图形（以下简单称作“掩模”）指定的画面内的多个区域分别个别或独立地加工由深度图生成部10生成的深度图。例如进行增益调整、偏置调整、渐变处理等加工。在后文叙述深度图加工部20的处理的详细内容。 

3D图像生成部30基于上述的2D图像及由深度图加工部20加工后的深度图来生成另一视点的2D图像。3D图像生成部30将原始视点的2D图像和另一视点的2D图像作为右眼图像和左眼图像来输出。 

以下说明使用原始视点的2D图像和深度图来生成与该2D图像具有视差的另一视点的2D图像的具体例。在该具体例中，以将原始视点的2D图像进行画面显示时的视点为基准，生成向左移动视点后的另一视点的2D图像。该情况下，在使纹理作为近景而显示给观看者时，朝向画面使原始视点的2D图像的纹理向左侧移动预定量，在使纹理作为远景而显示给观看者时，朝向画面向右侧使纹理移动预定量。 

将深度图的各像素的亮度值记为Yd、表示凸出感的拥挤（輻輳、congestion）值记为m、表示立体感的深度值记为n。3D图像生成部30从亮度值Yd中的较小的值起依次针对各像素分别将与该亮度值Yd对应的原始视点的2D图像的纹理向左移位（Yd－m）/n像素的量。若（Yd－m）/n的值为负，则使之向右移位（m－Yd）/n像素的量。此外，从观看者的角度来看，深度图的亮度值Yd较小的纹理看起来处于画面远身侧，亮度值Yd较大的纹理看起来处于画面近身侧。亮度值Yd、拥塞值m、深度值n是0～255内的值，例如被设定为拥塞值m＝200、深度值n＝20。 

此外，深度图生成部10的深度图生成及3D图像生成部30的3D图像生成的更详细的说明被公开在本申请人在先申请的日本特开2005－151534号公报、日本特开2009－44722号公报中。 

操作接收部40接收从控制台终端装置200的操作部60输入来的信号。操作接收部40根据所接收到的信号向深度图生成部10、深度图加工部20、3D图像生成部30或显示控制部50提供控制信号。显示控制部50控制控制台终端装置200的显示部70。显示控制部50能使显示部70显示2D输入图像、由深度图生成部10生成的深度图、由深度 图加工部20加工后的深度图、由3D图像生成部30生成的3D输出图像中的任一者。 

图4是用于说明本发明的实施方式1的图像编辑系统500的整体处理流程的图。一般地，2D图像中包含有多个对象。图4的2D输入图像中包含有3个对象。具体来讲，包含有人物、树、背景对象。首先，深度图生成部10基于2D输入图像生成深度图（步骤S10）。深度图越接近白色，亮度越高，表示与观看者的距离越近，越接近黑色，亮度越低，表示与观看者的距离越远。在生成3D图像时，深度图的越是接近白色的区域，凸出量越大，越是接近黑色的区域，凹入量越大。 

在本实施方式中，为针对图像内的多个对象个别地调整深度感，针对深度图内的各对象区域单独进行效果（effect）调整。具体来讲，使用表示图像内的各对象区域的多个掩模，在深度图内确定出各对象区域。然后，针对所确定出的各对象区域分别个别地进行效果调整，来获得效果调整后的多个深度图。然后，合成该多个深度图，来生成一个深度图。该深度图在基于原始视点的2D图像生成另一视点的2D图像时被使用。 

深度图生成部10自动生成2D输入图像的深度图（S10）。所生成的深度图被输入给深度图加工部20。深度图加工部20还被输入分别表示2D输入图像内的多个对象区域的多个掩模。这些掩模基于由用户描绘（trace）的对象区域的轮廓而生成。例如，显示控制部50使显示部70显示2D输入图像，用户使用操作部60在该2D输入图像内描画应作为对象区域的区域的轮廓。操作接收部40根据来自操作部60的信号生成各对象区域的轮廓信息，将之作为掩模而输出给深度图加工部20。此外，也可以通过扫描器读取用户在印刷品上描绘的轮廓，使图像处理装置100读入掩模。 

在图4中，用白色描绘了各掩模的有效区域，并用黑色描绘了无 效区域。人物的掩模是仅使人物区域有效，使其它区域无效的图案。树的掩模是仅使树区域有效，使其它区域无效的图案。背景的掩模是仅使背景有效，使其它区域无效的图案。 

每1画面的掩模的数量没有约束，能由用户任意设定。此外，能将对象区域设定为由用户决定应作为1个对象区域的区域。例如，可以如图4所示那样针对1个人物设定1个对象区域，也可以针对人物的各部位、甚至针对各部位的各部分分别设定对象区域。尤其在生成高质量的3D图像时，有时针对1个人物设定很多对象区域，针对各部位、进而针对各部位的各部分分别调整厚度和深度方向的位置。 

深度图加工部20使用介由用户接口输入来的多个掩模，对从深度图生成部10输入来的深度图（以下称作输入深度图）进行加工（S20）。深度图加工部20针对用各掩模确定的区域分别个别地加工深度图。以下将针对各该区域的深度图加工称作深度图的层（layer）处理。此外，将层处理后的深度图称作层深度图。在本说明书中，将层作为表示针对掩模的有效区域的处理的单位的概念来使用。 

在图4中，作为一个例子，深度图加工部20使用人物的掩模（层1的掩模）从输入深度图确定出人物区域、进行层处理（S21a）。同样地，使用树的掩模（层2的掩模）从输入深度图内确定出树区域、进行层处理（S21b）。同样地，使用背景的掩模（层3的掩模）从输入深度图中确定出背景区域、进行层处理（S21c）。 

深度图加工部20合成层1～3的层深度图的各对象区域的深度图（S22）。将该合成后的深度图称作合成深度图。3D图像生成部30使用该合成深度图来使2D输入图像的像素移位，生成相对于2D输入图像具有视差的图像（S30）。3D图像生成部30将2D输入图像作为3D输出图像的右眼图像（R）、将所生成的图像作为左眼图像（L）来输出。 

（增益调整） 

首先，作为深度图加工部20所进行的层处理，说明进行增益调整的例子。增益调整是调整对象的深度方向的厚度的处理。若提高增益，则对象变厚，若降低增益，则对象变薄。 

图5是用于说明输入深度图的增益调整流程的图。深度图加工部20针对作为加工前的深度图的输入深度图，仅使人物的掩模的有效区域乘以增益，仅对输入深度图内的人物部分加大深度值的振幅（S21a）。在图5中，作为加工后的深度图的层深度图中，人物部分的振幅变大了（参照标号a）。 

图6是用于说明层深度图的合成处理流程的图。深度图加工部20从层1的层深度图（人物的深度图）内仅切出层1的掩模（人物的掩模）的有效区域。同样地，从层2的层深度图（树的深度图）内仅切出层2的掩模（树的掩模）的有效区域。同样地，从层3的层深度图（背景的深度图）内仅切出层3的掩模（背景的掩模）的有效区域。深度图加工部20组合所切出的3个深度图，来生成合成深度图。 

图7是用于说明不使用掩模的输入深度图的增益调整流程的图。在合成层深度图时，若仅使用各层深度图内的掩模的有效区域来合成，则各层深度图内的掩模的无效区域不会被反映到合成深度图中。因此，深度图加工部20使输入深度图整体乘以增益，加大输入深度图整体的深度值的振幅（S21a）。在图7中，层深度图整体的振幅变大了（参照标号b）。 

图8是用于说明3D图像生成部30的3D图像生成流程的图。3D图像生成部30基于合成深度图，使2D输入图像的像素移位（shift），来生成相对于2D输入图像具有视差的图像（S30）。图8中表示了将2D输入图像内的人物部分的像素向左移位的例子。3D图像生成部30 使合成深度图的人物部分的深度值加上偏置值，来加大深度值。偏置调整的详细内容会在后文叙述。若人物部分的深度值变大，则3D图像的人物部分的凸出量会变大。 

若不将人物部分周围的背景部分进行像素移位、而仅将人物部分进行像素移位，则会产生不存在像素的欠缺像素部分（参照修正前的像素移位图像的标号c）。3D图像生成部30对于该欠缺像素部分，用基于其周边像素而生成的像素进行插值，来对其进行修正。关于像素插值，有各种方法，例如用人物部分的边缘的像素进行插值（参照修正后的像素移位图像的标号d）。 

（偏置调整） 

接下来，作为深度图加工部20的层处理，说明进行偏置调整的例子。偏置调整是调整对象在深度方向上的位置的处理。若加上正的偏置值，则对象会向凸出方向移动，若加上负的偏置值，则会向凹入方向移动。 

图9是用于说明输入深度图的偏置调整流程的图。深度图加工部20针对作为加工前的深度图的输入深度图，仅对树的掩模的有效区域加上偏置，仅提高输入深度图内的树部分的深度值的量级（level）（S21b）。在图9中，作为加工后的深度图的层深度图中，树部分的量级变高了（参照标号g）。 

图10是用于说明不使用掩模的输入深度图的偏置调整流程的图。在合成层深度图时，若仅使用各层深度图的掩模的有效区域来合成，则各层深度图的掩模的无效区域不会被反映到合成深度图中。因此，深度图加工部20将输入深度图整体加上偏置，提高输入深度图整体的深度值的量级（S21b）。在图10中，层深度图整体的量级变高了（参照标号h）。 

偏置调整时所使用的偏置值被从外部设定。用户使用操作部60来输入想要的偏置值，操作接收部40接收从操作部60输入来的偏置值，设定在深度图加工部20中。在以上的说明中表示了使深度图的对象区域加上偏置值的例子，但也可以使合成深度图加上偏置值。 

若不是将深度图的偏置区域、而是将合成深度图进行增益调整，则有时不能进行所意图的增益调整。以下设想扩大或缩小深度图的深度值的动态范围，加强或减弱画面整体的深度感的情况。在以下说明中，针对加强深度感的情况进行说明，但相反、减弱深度感的情况也是一样。 

作为用于加强画面整体的深度感的方法，可以考虑对合成深度图均匀地施以增益的方法。但是，在该方法中，深度值的动态范围被扩大，同时各对象的凹凸感的振幅也会增大。若后者的增大也符合调整的意图则很好，但也存在与此不同的情况。 

以下针对扩大深度值的动态范围、但不改变各对象的凹凸感的振幅的调整方法进行说明。深度图加工部20使深度图整体的深度值的平均值与深度图内的各对象区域内的深度值的平均值的各差分乘以用于调整深度图整体的动态范围的共同的系数。各运算结果成为各对象区域内的深度值的偏置值。深度图加工部20将各对象区域内的深度值加上对应的各偏置值。 

以下列举具体例来进行说明。假定合成深度图的深度值分布在－X～＋X内，将该深度值的分布－X～＋X作为深度值的动态范围。以下考虑扩大深度值的动态范围的例子。例如将深度值的动态范围扩大到1.5倍，将深度值的分布从－X～＋X变成－1.5X～＋1.5X。为不改变各对象的凹凸感的振幅地使深度值的动态范围扩大，执行以下处理。 

首先，深度图加工部20分别算出深度图整体的深度值中的最小 值、最大值、平均值。该最小值与该最大值的差是深度值的动态范围。然后，深度图加工部20算出深度图的各对象区域内的深度值的平均值。然后，深度图加工部20将各对象区域内的深度值的平均值减去深度图整体的深度值的平均值。将该减法运算结果称作层深度的平均差分。 

以下考虑想将深度值的动态范围扩大到a倍的情况。深度图加工部20使各层深度的平均差分成为a倍。然后，将成为a倍后的各层深度的平均差分减去各层深度的平均差分。将该减法运算结果称作各层深度的平均差分的偏置值。最后，深度图加工部20将深度图的各对象区域内的深度值加上各层深度的平均差分的偏置值。 

由此，在各层深度图中，仅深度值的偏置值会变化，深度值的振幅值不会变化。因此，能不改变各对象的凹凸感的振幅地扩大深度值的动态范围。 

图11的（a）～（c）是用于说明深度图整体的动态范围调整的图。至此，说明了2D输入图像内的层数为3的例子，但图11的（a）～（c）中表示了层数为5（层0～层4）的例子。从观看者的角度来看，层0的对象看起来最凹入，层4的对象看起来最凸出。 

图11的（a）表示动态范围调整前的各层的深度的一个例子。在各层中，箭头（参照标号l）由各层的对象区域内的深度值的最小值（参照标号j）和最大值（参照标号k）来规定。即箭头（参照标号l）表示各层的动态范围。连接各箭头的线是连接各层的对象区域内的深度值的平均值（参照标号i）的线。 

图11的（b）表示对图11的（a）的各层的深度均匀地适用2倍的增益调整后的各层的深度。深度图整体的动态范围被扩大为2倍，同时各层的对象区域的动态范围、即各层的凹凸感的振幅也被扩大为2倍。 

图11的（c）表示针对图11的（a）的各层的深度适用上文所述的偏置调整后的各层的深度。深度图整体的动态范围被扩大为2倍，但各层的对象区域的动态范围、即各层的凹凸感的振幅未变。例如在多个人物作为对象而存在于画面内的情况下，不改变各人物的厚度地调整各人物间的距离，由此能加强深度感。 

（附加渐变） 

接下来，作为深度图加工部20的层处理，说明附加渐变的例子。渐变的附加是对各对象的深度施加倾斜的处理。 

图12是用于说明输入深度图的渐变附加流程的图。深度图加工部20针对作为加工前的深度图的输入深度图，仅对背景的掩模的有效区域（在图12中仅对地面）附加渐变，仅使背景部分的深度值倾斜（S21c）。在图12中，作为加工后的深度图的层深度图内，地面的深度倾斜了（参照标号m）。 

以下更具体地进行说明。未图示的渐变图案保持部中保持有预先生成的至少一个渐变图案。渐变图案保持部可以不仅保持如图12所示那样的平面的渐变图案，还保持球面、圆筒等各种形状的渐变图案。此外，即使是相同形状的渐变图案，也可以保持其倾斜角度和/或斜方向不同的多个渐变图案。 

用户能使用操作部60使该渐变图案保持部所保持的多个渐变图案显示在显示部70中，并从中选择1个。操作接收部40接收来自操作部60的输入，并取得与该输入对应的渐变图案，将之输出给深度图加工部20。 

深度图加工部20中分别被从深度图生成部10输入深度图、从外部输入掩模、从渐变图案保持部输入渐变参数。深度图加工部20将渐 变图案加到输入深度图内的掩模的有效区域上。 

图13是用于说明不使用掩模的输入深度图的渐变附加流程的图。在合成层深度图时，若仅使用各层深度图的掩模的有效区域来进行合成，则各层深度图的掩模的无效区域不会被反映到合成深度图中。因此，深度图加工部20对输入深度图整体附加渐变，使输入深度图整体的深度值倾斜（S21c）。在图13中，层深度图在整体上倾斜了（参照标号n）。 

在上述的说明中，说明了从预先生成的典型的渐变图案中选择应针对深度图附加的渐变图案的例子。以下说明由控制参数指定应针对深度图进行附加的渐变图案的例子。深度图加工部20基于外部所设定的、可分别独立进行调整的渐变的倾斜参数及方向参数来对深度图的对象区域附加渐变。此外，也能基于外部设定的偏置参数，针对深度图的指定区域既进行偏置调整，又附加渐变。 

用户能使用操作部60来输入该渐变的倾斜参数、方向参数、及偏置参数。操作接收部40接收来自操作部60的输入，并输出给深度图加工部20。 

对深度图附加渐变的处理能通过对深度图的各像素加上与渐变的角度和倾斜相应的渐变深度值来实现。作为用于进行该处理的控制参数，使用Slope、Angle。Slope由每1像素的深度值的变化值来规定。以下，为简化说明，考虑深度值比例函数性地变化的倾斜模型。此外，还有深度值指数函数性地变化等除此之外的多种倾斜模型。 

Slope：渐变的倾斜[深度值/像素] 

Angle：渐变相对于图像的角度[degree] 

假定以画面的中心为基准附加渐变，将画面的中心的坐标记为（x,y）=（0,0）。将以此为基准的图像上的任意像素的坐标记为（x,y） =（x_base,y_base）。在将X轴方向、Y轴方向各自的渐变的倾斜值记为slope_x、slope_y时，由下述式（1）、式（2）来表示slope_x、slope_y。 

slope_x=slope*cosθ=slope*cos（2π*（Angle/360））…式（1） 

slope_y=slope*sinθ=slope*sin（2π*（Angle/360））…式（2） 

将某坐标处的、X轴方向、Y轴方向各自的渐变深度值记为grad_depth_x、grad_depth_y时，用下述式（3）、式（4）来表示grad_depth_x、grad_depth_y。 

grad_depth_x=Slope_x*x_base…式（3） 

grad_depth_y=Slope_y*y_base…式（4） 

为对深度图附加渐变，在将加于各像素的深度值的渐变深度值记为grad_depth时，用下述式（5）来表示grad_depth。 

grad_depth=grad_depth_x+grad_depth_y…式（5） 

通过对深度图的各像素加上由上述式（5）求出的渐变深度值，能对深度图附加渐变。渐变的倾斜能通过改变上述Slope的值而自由设定，渐变相对于图像的角度能通过改变上述Angle的值来自由设定。 

以上使用式（1）～式（5）说明了对深度图附加渐变的方法。在该方法中，以画面的中心为基准附加了渐变深度值，故在画面中心、深度图的深度值不会变化。下面说明对深度图附加渐变的同时还加上偏置，在任意位置附加任意量级的渐变的方法。 

作为控制要加算的偏置值的参数，使用Offset。 

Offset：渐变的偏置 

将在对深度图附加渐变时加于各像素的、还包含偏置值的渐变深度值记为grad_offset_depth时，用下述式（6）来表示grad_offset_depth。 

grad_offset_depth=grad_depth_x+grad_depth_y+Offset…式（6） 

由此，能在画面的任意位置附加任意量级的渐变。在以上说明中，表示了对深度图内的对象区域附加渐变的例子，但也可以针对合成深度图附加渐变。 

如以上所说明的那样，通过实施方式1，在基于2D图像生成3D图像时，能减少用户的工夫，并生成高质量的3D图像。即，由深度图生成部10推测场景结构，使多个基本深度模型的合成比例变化，由此能通过自动处理来生成反映了场景结构的深度图。此外，由反映了用户指示的深度图加工部20针对该深度图内的各对象分别个别地加工深度图。由此，能生成高质量的3D图像，并且与用户基于2D图像从头开始生成同样品质的3D图像的情况相比、能大幅度地减少作业量。 

图1所示的2D3D变换所使用的深度图保持针对画面整体的深度值。通过对该深度图进行增益调整或偏置调整，能自由地调整画面整体的深度感。此外，通过对该深度图附加渐变，还能自由地调整画面整体的深度程度的倾斜。 

但是，图像中一般存在多个对象。在本说明书的例子中，存在人物、树、背景。假定为调整人物部分的深度感，对深度图进行增益调整来强调人物部分的深度感，则人物以外的树和背景的深度感也会随此同时变化。因此，仅单独调整人物部分的深度感是困难的。此外，假定为调整树部分的深度感，针对深度图进行偏置调整，来强调树部分的深度感，则树以外的人物和背景的深度感也会随此同时变化。因此，仅单独调整树部分的深度感是困难的。此外，假定为使背景部分的深度倾斜，对深度图附加渐变，则背景以外的人物和树部分的深度也会随此同时倾斜。因此，仅使背景部分的深度倾斜是困难的。 

与此不同，根据实施方式的图像编辑系统500，能自由、独立地改变图像中的各对象的凹凸程度及其倾斜。因此，用户能针对图像中 的各对象分别自由、独立地控制基于在实施方式的2D3D变换中所使用的深度图而生成的3D图像的远近感。因此，能生成高质量的3D图像。 

接下来，针对实施方式2进行说明。在实施方式1中，表示了使用掩模、按对象单位来加工深度图，来使对象具有立体感的方法。该方法对于强调对象单位的立体感是有效的。但是，难以强调对象内部的体积感，故对象本身会成为缺乏体积感的平面图像。 

在实施方式2中，表示不是生成平面的、或局部仅具有凹凸的3D图像，而是生成对象整体具有体积、更具有立体感的3D图像的方法。该方法通过对作为生成3D图像的基础的深度图施以以下处理来实现。首先，确定对象的形状。然后，推测符合对象的形状的立体感。然后，生成符合推测出的立体感的渐变状的浮雕图案。最后，将深度图加上所生成的浮雕。 

通过这些处理，能生成附加有符合对象的形状的浮雕的深度图。通过使用该深度图进行3D变换，能生成对象整体具有体积、更具有立体感的3D图像。 

实施方式2的深度图加工部20针对由外部设定的多个掩模所指定的多个对象区域分别个别地调整由深度图生成部10生成的深度图的形状。此时，通过使用后述的体积浮雕图案来进行加工，使得对象区域内的中央部具有与周边部不同的深度值。具体来讲，进行加工使得对象区域内的中央部与周边部相比更具有较大凸出量的深度值。更优选的是进行加工使得在对象区域内、随着从周边部到中央部、与周边部相比中央部的凸出量平缓地变化。还优选的是进行加工使得在对象区域内，成为带有弯度的深度形状。以下具体地进行说明。 

图14是表示实施方式2的图像编辑系统500的构成的图。实施方式2的图像编辑系统500中的图像处理装置100是在图2的实施方式1 的图像处理装置100中追加了体积浮雕生成部80的结构。体积浮雕生成部80基于所被输入的掩模内的对象的轮廓形状来生成该对象的浮雕。该浮雕是推测对象的深度的形状而得出的，故也可以将体积浮雕生成部80称作深度推测装置。 

图15是表示实施方式2的体积浮雕生成部80的构成的图。体积浮雕生成部80包括轮廓确定部81、距离确定部82、深度值决定部83及量级变换部84。 

轮廓确定部81基于所被输入的掩模来确定对象的轮廓部分的位置。该掩模与被输入到深度图加工部20中的掩模是一样的。 

距离确定部82求取对象区域内的对象像素与由轮廓确定部81确定的该对象的轮廓的最短距离。例如通过使用以对象像素的位置为中心的同心圆状地扩展的探索圆来探索与轮廓的切点，来求取该最短距离。会在后文叙述该探索方法的详细内容。在此，所谓同心圆状地扩展，不限定于每一圈扩展一像素的例子，也可以螺旋状地扩展。此外，作为简单模式，也可以按数像素（例如4像素）单位扩展探索圆。该情况下，精度会下降，但到达轮廓为止的时间会缩短。距离确定部82针对对象区域内的所有像素求取与其轮廓的最短距离。 

深度值决定部83根据由距离确定部82求得的最短距离来决定对象像素的深度值。该最短距离越长，深度值决定部83越加大凸出量。在本说明书中，进行加工使之具有凸出量较大的深度值。这是基于在对象区域内越从该轮廓靠向内侧、就越加大膨鼓的模型。由距离确定部82针对对象区域内的所有像素求取与轮廓的最短距离，故针对对象区域内的所有像素决定深度值。因此，能生成基于对象的深度图的浮雕图案。 

量级变换部84使用映射函数或数值变换表来对由深度值决定部 83生成的浮雕图案进行量级（level）变换。通过该量级变换，能将由深度值决定部83决定的深度的形状加工成任意形状。会在后文叙述量级变换的具体例。 

深度图加工部20生成上述的层深度图，并基于由体积浮雕生成部80生成的对象的浮雕图案来加工该层深度图。具体来讲，深度图加工部20将由深度图生成部10生成的深度图进行层处理，生成多个层深度图。层处理如在实施方式1中所述那样包括增益调整、偏置调整及渐变附加。深度图加工部20针对各对象区域的深度图施以所被指定的层处理。深度图加工部20使所生成的层深度图加上由体积浮雕生成部80生成的对应的对象的浮雕图案。 

此外，深度图加工部20也可以不对由深度图生成部10生成的深度图进行层处理，而使该深度图内的各对象区域加上由体积浮雕生成部80生成的分别对应的对象的浮雕图案。 

深度图加工部20合成加工后的多个层深度图。由此，生成由2D3D变换所使用的深度图。 

以下列举具体例，更详细地说明实施方式2的深度图加工部20的加工处理。如在上文所叙述那样，在实施方式2中，为对对象整体赋予具有立体感的体积，执行以下处理。首先，确定对象的形状。然后，推测符合对象的形状的立体感。然后，生成符合所推测的立体感的渐变状的浮雕图案。最后，将所生成的浮雕加于深度图。 

图16的（a）～（c）是用于说明实施方式2的生成对象的深度图的生成方法的图。输入到轮廓确定部81中的掩模是沿对象的轮廓描绘、将对象的外侧与内侧分别用白色和黑色的图案涂色区分而构成的。基于掩模的形状，能推测出对象的大致的外形。 

图16的（a）表示原图的一个例子，图16的（b）表示该原图的掩模的一个例子。图16的（b）所示的掩模是原图内的人物的掩模。该人物的掩模是包括头部和躯体两者的掩模。 

为推测符合对象的形状的立体感，定义从以下3个经验规则推测出的模型。第1个，对象在整体上具有弯度。第2个，对象具有中央处比其端部更翘起的构造。第3个，对象具备宽度宽的部分比宽度狭的部分更翘起的构造。 

例如，当设想人物作为对象时，头部接近球形、躯体具有接近圆柱的大致长椭球的构造。此外，与手腕或脖子等较细的部分相比，躯体等较粗的部分具有更具厚度的构造。能基于这样的经验规则来定义上述模型。 

为生成符合推测出的立体感的渐变状的浮雕图案，执行以下处理。首先，确定对象内部的区域、即掩模有效的区域。在本说明书中，掩模内的该区域是白色。 

接下来，距离确定部82针对该区域内的特定的掩模像素，测定至距该像素最近的掩模边缘的距离。所求取的距离成为表示该像素在对象区域内多大程度地靠近中央处的指标。距离越大，该像素在对象区域内越靠近中央处。距离确定部82针对对象的外部区域、即掩模无效的区域内的像素，将距离设定为零。在本说明书中，掩模内的该区域为黑色。 

深度值决定部83将这样求得的距离信息变换为亮度信息，来制作图像表。由此，能生成对象的外侧区域为零、内侧区域随着靠近中央而亮度变高的、渐变状的浮雕图案。以下将其称作体积浮雕。 

图16的（c）表示使用图16的（b）的掩模而生成的人物的体积 浮雕的一个例子。颜色较明亮的部分表示凸出部分。此外，相当于掩模无效区域的区域的灰色表示深度值为零。 

最后，深度图加工部20将所生成的体积浮雕加于层深度图。由此，能生成符合对象的形状的体积浮雕被附加于对象、且对象内部的各部分被附加有细小凹凸的深度图。通过使用该深度图进行3D变换，能生成对象整体被附加了体积感和细小凹凸感的、更具有立体感的3D图像。 

以下说明针对对象区域内的特定的像素，测定从该像素至掩模边缘的最短距离的具体方法。距离确定部82以处于对象区域内的、测定对象的掩模像素位置为中心，探索邻近的掩模像素。探索按从距测定对象像素较近的像素至较远的像素的顺序来进行。例如，以测定对象像素为中心，规定由预定的角度和半径来决定的探索位置，角度每变化360°，就使半径从小向大慢慢变化，来使探索位置移动。在该探索的过程中，最初发现黑色的掩模像素时就相当于从测定对象像素起发现了最近的掩模边缘。距离确定部82求取测定对象像素与所发现的黑色的掩模像素的距离。由此，能求取从测定对象像素至掩模边缘的最短距离。该距离成为表示测定对象像素在对象区域内多大程度地靠近中央处的指标。 

图17的（a）～（b）是用于说明探索从对象区域内的对象像素至掩模边缘的最短距离的处理的图。图17的（a）表示了在图16的（b）所示的掩模内涡旋状地探索从对象区域内的像素至掩模边缘的最短距离的情况。图17的（a）中表示了探索构成人物的头部的像素距掩模边缘的最短距离的情况。图17的（b）是切出并放大图17的（a）所示的掩模内的人物的头部及其周边的图。 

以下具体说明求取在图17的（b）所示的掩模内、从对象区域的任意像素至掩模边缘的最短距离的方法。在图17的（b）中，对象区 域是白色的区域，掩模边缘是白色区域与黑色区域的边界。将对象区域内的任意像素的坐标定义为（x0,y0）。 

距离确定部82以（x0,y0）为基点漩涡状地探索掩模像素。即，依次探索以（x0,y0）为中心的圆的圆周上的坐标的像素，在一周量的探索结束后，使圆的半径增加一单位。反复进行该探索，直到找到黑色的掩模像素。由于使圆的半径每次增加一单位地进行探索，故最初找到的黑色的掩模像素的坐标就成为距基点（x0,y0）距离最短的掩模边缘的坐标。 

将探索圆的半径记为r、角度记为θ时，用下述式（7）、式（8）来表示探索像素的坐标（x,y）。 

x=r*cosθ+x0…式（7） 

y=r*sinθ+y0…式（8） 

在将最初找到黑色的掩模像素时的探索像素的坐标记为（x1,y1）时，用下述式（9）来表示基点（x0,y0）与探索点（x1,y1）的距离L。该距离L相当于从基点（x0,y0）至掩模边缘的最短距离。 

L=√（（x1-x0）²+（y1-y0）²）…式（9） 

以上所说明的求取从对象像素至掩模边缘的最短距离的方法是一个例子，只要能求得最短距离，也可以采用其它方法。 

图18是表示体积浮雕的亮度变化的图。图19的（a）～（c）是用于说明体积浮雕的量级变换的图。由深度值决定部28生成的体积浮雕是将由距离确定部82求出的距离信息直接变换成亮度信息后的结果。图18所示的体积浮雕内的从A点连接到B点的直线上的距离信息、即该直线上的亮度信息如图19的（a）所示那样成为折线形状。 

对象的形状多数具有弯度。在如图19的（a）所示那样的折线形 状的浮雕图案的情况下，与实际的立体感不一致的情况会变多。作为其对策，使用基于曲线函数的映射，将直线形状的亮度变化进行量级（level）变换，变换成曲线形状的亮度变化。由此，能变换成更接近实际的对象形状的体积浮雕图案。图19的（b）表示将图19的（a）的折线形状的亮度变化变换成曲线形状的亮度变化的情况。在图19的（b）所示的例子中，作为用于进行量级变换的曲线函数的一个例子，使用了反正切函数（Arc Tangent函数）。 

图19的（c）是表示反正切函数的特性的图。图19的（c）内所记载的算式的a、b表示系数。像这样，使用基于反正切函数的映射，将直线形状的亮度变化量级变换成曲线形状的亮度变化。由此，能生成更接近实际的对象形状、具有弯度的体积浮雕图案。 

此外，图19的（c）的反正切函数是一个例子。也可以使用通过改变其系数而变形为任意形状的曲线。此外，不仅可以使用反正切函数，还可以使用其它种类的曲线函数。还可以根据对象的形状来区分使用多种曲线函数。反正切函数是用于生成具有弯度的浮雕图案的曲线函数的一个例子，可以根据对象的形状而使用生成不圆的形状的浮雕图案的函数。此外，可以不使用函数，而是使用变换系数表来进行量级变换处理。此外，也可以不特意进行映射，而是使用保持了原来的折线形状的浮雕图案。 

如以上所说明那样，通过实施方式2，能对深度图附加符合对象的形状的体积浮雕。通过使用该深度图来进行3D变换，能生成对象整体上具有体积感的、更真实的、有立体感的3D图像。此外，由于能自动生成该体积浮雕，故不会增加用户的负担。 

实施方式2的体积浮雕生成部80（深度推测装置）不仅可适用于掩模，还可适用于包括照片、CG的所有图像。此外，轮廓确定部81能使用以往的方法自动检测到图像内的对象区域。例如，能通过对图 像施以高通滤波而检测到图像内的边缘。 

一般的图像加工应用程序中多数具有对对象附加渐变的功能。实施方式2的深度推测装置还可适用于不以3D图像的生成为目的、而以对2D图像内的对象附加渐变为目的的处理。 

通用的图像加工应用程序中的渐变附加功能多数不考虑对象的深度的形状。该情况下，为使成为自然的渐变，需要用户进行调整作业。在CG制作用等高性能的图像处理应用程序中，有考虑对象的深度的形状来附加渐变的。例如，有求取对象图形的重心地附加渐变，使得重心最鼓起的图像处理应用程序。 

与这样的求取重心的方法相比，使用实施方式2的深度推测装置能更高精度地推定深度的形状。在圆等单纯形状的情况下，两者间几乎不会产生精度上的不同，但在复杂形状的情况下，两者之间会产生较大的精度上的差异。 

图20的（a）～（b）是表示复杂的对象形状的体积浮雕的一个例子的图。图20的（a）与图16的（b）一样是人物的掩模，但除头部和躯体外、双臂和相邻的人的左臂也包含在对象中。图20的（b）表示使用图20的（a）的掩模而生成的对象的体积浮雕的一个例子。所生成的体积浮雕在其各部位上，中央部分的体积变大了。可以说这是自然并且真实的体积浮雕。 

与此不同，若是求取重心的方法，则在如图20的（a）那样的复杂形状的情况下，求取重心本身就非常难。此外，即使求得了重心，若使用最大程度地增加该重心的位置的体积，再逐渐减小的方法，则会成为不自然的体积浮雕。在如图20的（a）那样的人物对象的情况下，本来需要针对各部位分别求取重心。因此，若使用求取重心的方法，则需要针对各简单形状的零件分别附加渐变，然后组合多个零件。该 情况下，零件间的渐变上容易产生不匹配。此外还需要组合零件的用户作业。此外，在求取重心的方法中，对面包圈等难以确定重心的形状的适用是困难的。 

与此不同，若使用实施方式2的深度推测装置，则不论任何形状的对象，都能将之作为一个对象来处理，所生成的体积浮雕的精度也较高。由于是算出从对象像素至边缘的距离这一简单的算法，故通用性较高，即使是面包圈等特殊的形状，也能生成高精度的体积浮雕。 

接下来，针对实施方式3进行说明。作为为赋予对象立体感而生成要加于深度图的浮雕的方法之一，有使用图像内的像素的信息来生成浮雕的方法。该方法虽然能对对象的个别部分赋予凹凸，但对对象整体赋予体积感是困难的。 

此外，还有使用掩模按对象单位加工深度图，使对象具有立体感的方法。该方法虽然能按对象单位强度立体感，但不能强调对象内部的体积感，对象本身会成为缺乏体积感的平面图像。 

因此，在实施方式2中，表示了为使对象具有立体感而生成基于其形状推测出的合适的浮雕图案的方法。由此，并非生成平面图像或仅局部附有凹凸的3D图像，而是生成对象整体具有体积的、更具立体感的3D图像。 

用实施方式2的方法生成的浮雕图案是根据从对象内的任意点至对象的边缘的距离而唯一确定的。因此，所生成的浮雕图案的顶点和根部的位置、形状等被唯一决定。该浮雕图案的顶点及根部的位置在使用它而变换出的3D图像中相当于最凸出的位置。 

通过实施方式2的方法，能简单且高精度地推定图像内的对象的深度的形状，但在实际的图像中，有时用实施方式2的方法决定的浮 雕图案的顶点和根部的位置、形状等未必与对象的最凸出位置一致。下面，通过所说明的实施方式3，能更高精度地推定图像内的对象的深度的形状。以下针对若使用实施方式3则更有效的情况，列举具体例子来进行说明。 

图21的（a）～（b）是表示朝向正面的人物的浮雕图案的图。图21的（a）表示原图，图21的（b）表示浮雕图案。图21的（b）内的虚线是表示原图的对象部位的位置的辅助线。白色表示凸出方向。在如图21的（a）所示那样人物朝向正面的图像的情况下，最凸出的位置被推定为脸的中心（鼻子）。在图21的（b）所示的浮雕图案中，浮雕的顶点的位置与对象的凸出位置是一致的。通过该浮雕图案赋予3D图像的深度感成为与实际的图像一致的合适的形式。 

图22的（a）～（b）是表示朝向斜方向的人物的浮雕图案的图。图22的（a）表示原图，图22的（b）表示浮雕图案。如图22的（a）所示那样，在是人物朝向右斜方向的图像的情况下，最凸出的鼻子的位置从对象的中心偏向右方。但是在用实施方式2的方法生成的浮雕图案中，对象形状的中心被推定为最凸出的位置。在图22的（b）所示的浮雕图案中，浮雕的顶点的位置与对象的凸出位置并不一致。用该浮雕图案赋予3D图像的深度感与实际的图像不一致。 

此外，作为使对象的立体感与用于制作它的深度浮雕图案的顶点相一致的方法，例如已提出有令用户自身指定对象的顶点的位置，从该位置起向对象的边缘描绘放射线的方法。使用该方法，能生成具有正确的顶点的立体感的浮雕图案。但是，在该方法中，需要追加用于令用户指定顶点的特别的图形用户接口、和用于令用户自身进行顶点指定作业的烦琐的程序。 

此外，若根据从对象内的任意点至对象的边缘的距离而唯一决定浮雕图案，则因对象的形状的不同，有时会无法正确再现该对象本来 的立体感。以下列举具体例来进行说明。 

图23的（a）～（c）是表示瓶子的浮雕图案的图。如图23的（a）所示那样，在对象是瓶子等旋转体形状的情况下，本来应生成如图23的（b）所示那样的浮雕图案。但是，用实施方式2的方法生成的浮雕图案成为了如图23的（c）所示那样的浮雕形状，生成了与对象原本的立体感不同的形状的浮雕。在主体是圆柱状的瓶子的情况下，在上下方向上不应带有弯度，但在图23的（b）中，在上下方向也具有了弯度。 

实施方式3的方法不需要追加用于使用户自身进行顶点指定作业的烦琐的程序，就能生成以想要的部分为顶点的理想的浮雕。通过用户的简单操作，能生成以错开了用户所指定的比例的位置为中心的浮雕图案，能容易地生成具有与实际的图像一致的深度感的3D图像。此外，即使在如图23的（a）～（c）所示那样的对象为旋转体形状的情况下，也能生成与对象本来的立体感一致的浮雕。 

实施方式3会给出自动生成不是以对象的中心、而是以错开了用户所指定的比例的位置为中心的浮雕图案的算法。在实施方式2中，在求取任意点的浮雕图案的高度时，使用了测定从对象内的任意基点至对象的边缘的距离的方法。即，从对象内的某个点漩涡状地不断探索边缘像素，并算出了从发现最近的边缘时的基点至探索点的距离。在实施方式3中，以该方法为基础，不是使用正圆、而是使用特殊形状的圆来进行边缘像素的探索。 

图24是表示实施方式3的体积浮雕生成部80的构成的图。实施方式3的体积浮雕生成部80与图15所示的实施方式3的体积浮雕生成部80一样包括轮廓确定部81、距离确定部82、深度值决定部83及量级变换部84。 

实施方式2的距离确定部82使用正圆探索圆来探索与对象的轮廓的切点。实施方式3的距离确定部82使用特殊形状的探索圆来探索切点。例如中心偏心的圆、椭圆等属于特殊形状的探索圆。距离确定部82按照外部所设定的圆变形用的参数来使探索圆的形状进行变形。水平/垂直方向的偏心率、水平/垂直方向的椭圆化率、椭圆化后的椭圆的倾斜角等属于该参数。 

用户操作操作部60来输入上述多个参数中的至少一个参数值。操作接收部40将所输入的参数值交给体积浮雕生成部80的距离确定部82（参照上述图14）。 

首先说明使用偏心的探索圆的例子。图25是表示使用未偏心的探索圆（正圆）来探索对象的边缘像素的情况的图。图26是表示图25的浮雕图案的图。在图25中，对象是白色圆。在使用未偏心的探索圆时，如图26所示那样生成以对象的中心为顶点的浮雕图案。 

图27的（a）～（b）是表示使用偏心的探索圆（正圆）来探索对象的边缘像素的情况的图。图27的（a）所示的探索圆是以未偏心的探索圆为基础、将同连接圆周上的点和中心的线（图27的箭头线）与预定的轴（例如水平轴）的角度相应的系数乘以此时的半径而生成的。关于未偏心的探索圆和偏心的探索圆，若固定其中心位置来考虑，则半径的大小会仅根据前述角度而不同，彼此处于对应的关系。在图27所示的例子中，对箭头指向右方时的半径乘以最小的系数，随着箭头朝向上方（或下方）且朝向左方，逐渐乘以较大的系数。并且，在箭头朝向左方时，乘以最大的系数。 

此外，也可以说这样的偏心的探索圆是半径越变大、中心位置越沿预定方向偏离的圆。例如，在图27所示的例子中，成为了半径越大、中心位置越偏向左方向的多个探索圆。 

使用这样的偏心的探索圆来探索边缘像素。此外，在算出了从基点至探索出的像素的距离时，将与偏心的探索圆对应的未偏心的探索圆的半径作为该距离。图27的（b）表示了用于求取距离的未偏心的探索圆。 

探索圆的左侧比右侧半径大，故即使基点处于对象的中央处，靠近基点的左侧的边缘也会比靠近基点的右侧的边缘更早地被探索到。此外，用未偏心的探索圆的半径来计算探索出的至像素的距离。因此，至所发现的边缘的距离被判断为处于比实际近的距离处。 

图28是表示使用偏心的探索圆（正圆）来探索对象的边缘像素的情况的图。图29是表示图28的浮雕图案的图。图28表示了使用偏心的探索圆来探索与图26相同的对象的边缘像素的情况。在该情况下，倾向判断为对象的靠近左边缘的像素比靠近右边缘的像素距边缘的距离近。 

其结果，在对象的靠近左边缘的部分，排布有被判断为距边缘的距离较近的像素，在对象的靠近的右边缘的部分，排布有被判断为距边缘的距离较远的像素。如图29所示那样，所生成的浮雕图案的高度是根据各像素距边缘的距离而生成的，故能生成顶点向比中央更向右移动后的浮雕图案。 

图30是表示使用更加大图28的探索圆的偏心率后的探索圆（正圆）来探索对象的边缘像素的情况的图。图31是表示图30的浮雕图案的图。图30的探索圆是使图28的探索圆的偏心置于极端情况时的探索圆。图30的探索圆在左侧方向具有半径，但在右侧方向上不具有半径，总是为零。该情况下，当基点比对象的边缘更处于内侧时，基点的左侧的边缘会被探索到，而基点的右侧的边缘不会被探索到。仅在基点处于对象的右侧的边缘的情况下，基点的右侧的边缘才会被探索到。 

其结果，对象内部的几乎所有部分都成为具有基于距远处的左边缘附近的距离的距离信息的像素。如图31所示那样，所生成的浮雕图案的顶点处于对象的右边缘部分。 

图32是表示使用向左下方向偏心的探索圆（正圆）来探索对象的边缘像素的情况的图。图33是表示图32的浮雕图案的图。该情况下，同样也生成顶点向比中央靠左下方移动后的浮雕图案。 

像这样，通过使用偏心的探索圆来进行探索，能容易地生成在任意部分具有顶点的浮雕图案。该情况下，不需要追加上文所述那样的用于令用户指定顶点的特别的图形用户接口和用于令用户自身进行顶点指定作业的烦琐的程序。使用仅指定在对象形状内向哪个方向、多大程度地使顶点移动的简单的用户接口，用简单的操作就足够了。因此，能减轻用户的负担。 

接下来，使用图34及图35来说明偏心的探索圆的制作方法的一个例子。在将进行边缘探索的像素的坐标记为（x0,y0）时，能如下述式（10）那样表示以该坐标为中心而描绘的、图34所示的使之偏心前的探索圆的位置（x,y）。 

x=r*cos（θ*π/180）+x0 

y=r*sin（θ*π/180）+y0…式（10） 

r：半径、θ：角度（degree） 

与此不同，能如下述式（11）那样表示图35所示的、实施方式3的偏心的探索圆的位置（x,y）。 

x=r*cos（θ*π/180）+x0+Sx 

y=r*sin（θ*π/180）+y0+Sy 

Sx=r*Px 

Sy=r*Py 

Px=Dx*cos（DyθDx） 

Py=Dy*sin（DyθDy） 

DxθDy=tan-1（Dx/Dy）…式（11） 

r：半径、θ：角度（degree） 

Dx：水平方向的偏心比例（-1<Dx<+1） 

Dy：垂直方向的偏心比例（-1<Dy<+1） 

用户通过从操作部60输入水平方向和/或垂直方向的偏心率，能使探索圆如用户意图那样偏心。 

接下来，说明使探索圆成为椭圆的例子。图36表示使用正圆探索圆来探索对象的边缘像素的情况的图。图37是表示图36的浮雕图案的图。在图36中，对象为瓶子。如图37所示那样，生成在瓶子的所有方向上均匀地具有斜度的浮雕图案。 

图38是表示使用椭圆探索圆来探索对象的边缘像素的情况的图。图39是表示图38的浮雕图案的图。图38的探索圆是以未偏心的正圆为基础、使其半径乘以与从中心起的角度相应的系数而生成的。关于正圆与椭圆，仅是半径因角度而不同，彼此处于对应。使用这样的椭圆探索圆来探索边缘像素。此外，在计算从基点至探索到的像素的距离时，与上述偏心的情况一样，将与椭圆对应的正圆的半径作为该距离。 

在图38中，探索圆的左右方向比上下方向半径大，故基点的左右方向的边缘会比基点的上下方向的边缘更早地被探索到。此外，由于是用正圆的半径来计算至探索到的像素的距离，故距所发现的边缘的距离被判断为处于比实际更近的距离。其结果，倾向于判断为对象内部的各像素至边缘的距离在左右方向上比实际的近，在上下方向比实际的远。 

如图39所示那样，所生成的浮雕图案的高度是按照各像素距边缘的距离而生成的。其结果，会生成左右方向的坡度平缓，并且上下方向的坡度陡峭的浮雕图案。 

关于此情况，能容易地想像到一个事实，即，不使探索圆成为在水平方向上压缩后的椭圆，而是先使原来的对象变成在垂直方向上拉伸后的形状，在通过使用正圆的探索方法生成浮雕图案后，再将浮雕对象在垂直方向上压缩而恢复原来的状态，由此也能获得相同的图案，因此，能证明上述方法是正确的。 

图40是表示使用将图38的探索圆的椭圆化率进一步加大后的探索圆来探索对象的边缘像素的情况的图。图41是表示图40的浮雕图案的图。图40的探索圆是使图38的探索圆极端地椭圆化后的形式。该情况下，会生成如下浮雕图案，即，所生成的浮雕的左右方向上具有坡度，上下方向上几乎不具有坡度。瓶子是旋转体，故这样做能生成更理想的浮雕图案。 

接下来，使用图34及图42来说明将探索圆椭圆化的方法的一个例子。在将要进行边缘探索的像素的坐标记为（x0,y0）时，能如下述式（12）那样表示以该坐标为中心而描绘的、图34所示的、使之成为椭圆状前的正圆探索圆的位置（x,y）。 

x=r*cos（θ*π/180）+x0 

y=r*sin（θ*π/180）+y0…式（12） 

r：半径、θ：角度（degree） 

与此不同，能如下述式（13）那样表示图42所示的、实施方式3的椭圆探索圆的位置（x,y）。 

x=Rx*r*cos（θ*π/180）+x0 

y=Ry*r*sin（θ*π/180）+y0…式（13） 

r：半径、θ：角度（degree） 

Rx：水平方向的椭圆化比例（0<Rx<+1） 

Ry：垂直方向的椭圆化比例（0<Ry<+1） 

用户从操作部60输入水平方向和/或垂直方向的椭圆化比例，由此能将探索圆变形为符合用户意图的椭圆。此外，在使椭圆化比例极限地趋近0时，椭圆状的探索圆会变成大致直线。 

接下来，说明使作为探索圆的椭圆倾斜的例子。图43是表示探索倾斜的瓶子形状的对象的边缘像素的情况的图。图44是表示图43的浮雕图案的图。在图43中，作为旋转体的瓶子的旋转轴不是垂直的，而是倾斜的。若针对该瓶子对象使用在垂直方向上进行压缩后的椭圆来进行探索，则不能生成准确的浮雕图案。因此，与对象的旋转轴一样，椭圆的旋转轴也要倾斜。若如图44所示那样使用旋转轴与对象一样地倾斜了的椭圆来生成浮雕，则能生成准确的浮雕图案。 

接下来，使用图45来说明生成具有倾斜轴的椭圆探索圆的方法的一个例子。在将以进行边缘探索的像素的坐标（x0,y0）为中心而描绘的、通常的具有未倾斜轴的椭圆探索圆的位置记为（x,y）时，能如下述式（14）那样表示图45所示的、具有倾斜轴的椭圆探索圆的位置（x_rot,y_rot）。 

x1=x-x0 

y1=y-y0 

x2=cos（rotθ）*x1-sin（rotθ）*y1 

y2=sin（rotθ）*x1+cos（rotθ）*y1 

x_rot=x2+x0 

y_rot=y2+y0…式（14） 

rotθ：探索圆的倾斜角 

（x1,y1）：以使坐标轴倾斜前的探索圆的（x0,y0）为基准的偏置坐标 

（x2,y2）：以使坐标轴倾斜后的探索圆的（x0,y0）为基准的偏置 坐标 

用户通过从操作部60输入探索圆的倾斜角及偏置坐标，能使探索圆按用户意图那样倾斜。 

如以上所说明的那样，通过实施方式3，在针对深度图生成符合对象的形状的体积浮雕时，通过用户的简单的操作，能自动生成以移位了用户所指定的比例后的位置为中心的浮雕图案。因此，能容易地生成具有与实际的图像一致的深度感的3D图像。此外，不需要追加特别的图形用户接口和用于令用户自身进行顶点指定作业的烦琐的步骤。此外，即使对象是旋转体形状，也能生成与对象原本的立体感一致的浮雕。通过使用被附加有这样的浮雕的深度图进行3D变换，能生成对象整体具有体积感的、更具有立体感的3D图像。 

以上基于实施方式对本发明进行了说明。本领域技术人员当理解实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，且该变形例同样包括在本发明的范围内。 

在实施方式3中，通过将探索圆变形，来生成与实际的图像的深度感一致的浮雕。在实施方式3的变形例中，说明通过使对象变形，来取得同样的效果的方法。在实施方式3的变形例中，图24的距离确定部82使对象根据外部所设定的参数而变形。例如对象的水平/垂直方向的伸长率、对象的旋转角度等属于该参数。以下列举具体例进行说明。 

图46的（a）～（b）是表示使用正圆探索圆来探索对象的边缘像素的情况的图。图47的（a）～（b）是表示图46的（a）～（b）的浮雕图案的图。图46的（a）的对象与图36、图38、图40一样是瓶子。图46的（a）表示原图。在此作为掩模。图38、图40中使用了在垂直方向上被压缩后的椭圆探索圆，但在本变形例中，不压缩探索圆，而 是拉长对象。图46的（b）表示将图46的（a）的原始掩模在垂直方向上拉长后的掩模。不使用椭圆，而使用正圆来作为探索圆。 

图47的（a）表示图46的（b）的浮雕图案。最后，压缩所生成的浮雕图案，以使其变成原来的对象尺寸。图47的（b）表示被恢复到图46的（a）的掩模大小后的浮雕图案。该浮雕图案与使用椭圆探索圆而生成的图39的浮雕图案是一样的。 

用户从操作部60输入对象的水平方向和/或垂直方向的伸长率，由此能拉长符合用户意图的对象。 

图48的（a）－（d）是表示探索倾斜后的瓶子形状的对象的边缘像素的情况的图。图48的（a）的对象是与图43倾斜得一样的瓶子。图48的（a）表示原图。在此，作为掩模。在图43中，使用了随着瓶子的倾斜而旋转的椭圆探索圆，但在本变形例中，不使椭圆旋转，而是使对象旋转。在图48的（b）中，使图48的（a）的原始掩模向左旋转了预定角度，瓶子变形成了垂直的掩模。使用未倾斜的椭圆来作为探索圆。 

图48的（c）表示图48的（b）的浮雕图案。最后，将所生成的浮雕图案进行反转，以使得变成原来的对象的倾斜度。图48的（d）表示恢复到图48的（a）的掩模的倾斜度后的浮雕图案。该浮雕图案与使用倾斜了的椭圆探索圆而生成的图44的浮雕图案是一样的。 

用户通过从操作部60输入水平方向和/或垂直方向的椭圆化率、及对象的旋转角度，能使之变形为与用户意图一致的椭圆，且能使对象旋转。 

即使像这样不使探索圆变形，而是使对象变形、或探索圆和对象两者都变形，也能得到与上文叙述的仅使探索圆变形的情况一样的效 果。 

此外，本发明不限定于以上所说明的实施方式，在不脱离本发明思想的范围内，可以进行各种变更。例如，也可以组合各实施方式。此外，也可以使深度推测装置和图像处理装置的一部分构成成为其它个体，使介由网络等与该使成为其它个体的构成通信，来实现深度推测装置和图像处理装置的功能。 

此外，本发明包括用于使计算机实现各部的功能的程序。这些程序可以被从记录介质中读取、并被编入计算机中，还可以介由通信网络被传送，并被编入计算机中。 

Claims (12)

1.一种深度推测装置，其特征在于，包括：

轮廓确定部，确定对象图像内的对象的轮廓，

距离确定部，求取上述对象的区域内的对象像素与上述轮廓的距离，以及

深度值决定部，根据上述距离来决定上述对象像素的深度值。

2.如权利要求1所述的深度推测装置，其特征在于，

上述距离确定部求取上述对象的区域内的对象像素与上述轮廓的最短距离；

上述深度值决定部根据上述最短距离来决定上述对象像素的深度值。

3.如权利要求1所述的深度推测装置，其特征在于，

上述距离确定部使用以上述对象像素的位置为中心、从该中心起同心圆状地扩展的探索圆来探索与上述轮廓的切点。

4.如权利要求3所述的深度推测装置，其特征在于，

上述距离确定部能根据外部所设定的参数而使上述探索圆变形。

5.如权利要求4所述的深度推测装置，其特征在于，

上述参数包括偏心率、椭圆化率、椭圆化后的椭圆的倾斜角中的至少一个。

6.如权利要求3所述的深度推测装置，其特征在于，

上述距离确定部能根据外部所设定的参数而使上述对象变形。

7.如权利要求1至6的任意一项所述的深度推测装置，其特征在于，

还包括量级变换部，使用映射函数或数值变换表来对基于上述深度值决定部所决定的上述对象的深度图的浮雕图案进行量级变换。

8.一种图像处理装置，其特征在于，包括：

深度图生成部，基于输入图像和深度模型来生成上述输入图像的深度图，

体积浮雕生成部，生成上述输入图像内的对象的浮雕图案，

深度图加工部，加工由上述深度图生成部生成的深度图内的、与上述对象对应的区域，以及

图像生成部，基于上述输入图像及由上述深度图加工部加工后的深度图来生成另一视点的图像；

其中，上述体积浮雕生成部包括：

轮廓确定部，确定上述对象的轮廓，

距离确定部，求取上述对象内的对象像素与上述轮廓的距离，以及

深度值决定部，根据上述距离来决定上述对象像素的深度值；

上述体积浮雕生成部基于由上述深度值决定部决定的深度值来生成上述浮雕图案；

上述深度图加工部使用上述浮雕图案来对上述深度图的与上述对象对应的区域附加浮雕。

9.一种深度推测方法，其特征在于，包括

确定对象图像内的对象的轮廓的步骤，

求取上述对象的区域内的对象像素与上述轮廓的距离的步骤，以及

根据上述距离来决定上述对象像素的深度值的步骤。

10.一种图像处理方法，其特征在于，包括：

基于输入图像和深度模型来生成上述输入图像的深度图的步骤，

生成上述输入图像内的对象的浮雕图案的步骤，

加工所生成的深度图内的、与上述对象对应的区域的步骤，以及

基于上述输入图像及加工后的深度图来生成另一视点的图像的步骤；

其中，上述生成浮雕图案的步骤包括：

确定上述对象的轮廓的步骤，

求取上述对象内的对象像素与上述轮廓的距离的步骤，以及

根据上述距离来决定上述对象像素的深度值的步骤；

上述生成浮雕图案的步骤基于通过上述决定深度值的步骤而决定的深度值，来生成上述浮雕图案；

上述加工深度图的步骤使用上述浮雕图案来对上述深度图的与上述对象对应的区域附加浮雕。

11.一种存储有深度推测程序的计算机可读取的介质，其特征在于，所述深度推测程序使计算机实现如下处理：

确定对象图像内的对象的轮廓的处理，

求取上述对象的区域内的对象像素与上述轮廓的距离的处理，以及

根据上述距离来决定上述对象像素的深度值的处理。

12.一种存储有图像处理程序的计算机可读取的介质，其特征在于，所述图像处理程序使计算机实现如下处理：

基于输入图像和深度模型来生成上述输入图像的深度图的处理，

生成上述输入图像内的对象的浮雕图案的处理，

加工所生成的深度图内的、与上述对象对应的区域的处理，以及

基于上述输入图像及加工后的深度图来生成另一视点的图像的处理；

其中，上述生成浮雕图案的处理包括：

确定上述对象的轮廓的处理，

求取上述对象内的对象像素与上述轮廓的距离的处理，以及

根据上述距离来决定上述对象像素的深度值的处理；

上述生成浮雕图案的处理基于通过上述决定深度值的处理所决定的深度值，来生成上述浮雕图案；

上述加工深度图的处理使用上述浮雕图案来对上述深度图的与上述对象对应的区域附加浮雕。

Images