CN102005059B - 图像处理设备、图像处理方法 - Google Patents

Abstract

一种产生改进图像的深度感的伪三维图像的图像处理设备、图像处理方法、以及程序。该图像处理设备包括：输入图像获取单元，其获取输入图像以及指定该输入图像上的对象区域的二值掩码图像；组合单元，其提取该输入图像的四边形框图片内的区域中的像素以及该输入图像上的由该二值掩码图像指定的对象区域中的像素，以产生组合图像；以及框图片组合位置确定单元，其确定在该组合图像上放置该四边形框图片的位置，使得该四边形框图片的一对相对的边缘中的一个边缘包括与该对象区域的边界的交点，而该对边缘中的另一个边缘不包括与该对象区域的边界的交点。

Description

图像处理设备、图像处理方法

技术领域

本发明涉及图像处理设备、图像处理方法及程序，并且更具体地涉及能够通过将对象图像与模拟图片框或框缘的平面图像进行组合而容易地产生伪三维图像的图像处理设备、图像处理方法及程序，其中根据输入图像和指定输入图像上的对象区域的二值掩码图像来获得该对象图像。 

背景技术

在为容易地生成三维图像而提出的方法中，伪图像是通过将深度图像添加到二维图像，而不是通过提供三维图像而产生的。 

例如，日本未审查专利申请公开NO.2008-084338提出了一种通过将类似浮雕的深度数据添加到划分成对象的纹理数据中来产生伪三维图像的方法。 

还提出了一种通过将从图像切割的对象与平面对象组合到一起而产生伪三维图像的技术(访问http://www.flickr.com/groups/oob/pool/)。 

还提出了一种辅助伪三维图像产生的软件算法，根据该软件算法，用户使用鼠标或另外的指示物使要组合的对象变形或移动，以便编辑照片对象或计算机图形(CG)对象的阴影(参见3D-aware Image Editing for Out of Bounds Photography，Amit Shesh et al.，Graphics Interface，2009)。 

发明内容

然而，在日本未审查专利申请公开NO.2008-084338中提出的方法中，用户给出各个分开的对象的中心并且设置深度，从而使得操作复杂。 

在http://www.flickr.com/groups/oob/pool/中布置的技术中，个人计算机中的图像处理工具被用于处理图像，因此实际使用图像处理工具的用户不能容易地产生伪三维图像。 

当如“3D-aware Image Editing for Out of Bounds Photography，Amit  Shesh et al.，Graphics Interface，2009”中所述地产生三维图像时，用户使用鼠标来指定框的位置和形状；由于此操作是复杂的，所以对于用户来说，具有制造准确图像的技术是重要的。 

希望通过将对象图像与模拟图片框或框缘的平面图像组合而容易地产生伪三维图像，其中该对象图像是根据输入图像以及指定输入图像上的对象区域的二值掩码图像获得的。 

根据本发明的一个实施例的图像处理设备产生改进图像的深度感的伪三维图像；该图像处理设备包括：输入图像获取装置，用于获取输入图像以及指定输入图像上的对象区域的二值掩码图像；组合装置，用于提取输入图像的四边形框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象区域中的像素，以产生组合图像；以及框图片组合位置确定装置，用于确定在组合图像上放置四边形框图片的位置，使得四边形框图片的一对相对的边缘中的一个边缘包括与对象区域的边界的交点，而该对边缘中的另一个边缘不包括与对象区域的边界的交点。 

四边形框图片可以被形成为使得不包括与对象区域的边界的交点的边缘长于包括交点的边缘。 

可以通过围绕预定位置旋转图片来确定四边形框图片的位置。 

可以通过对预定四边形框图片进行三维仿射变换来形成四边形框图片。 

组合装置能够通过连续地使四边形框图片的形状变形并提取输入图像的四边形框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象区域中的像素来产生组合图像。 

组合装置能够通过提取四边形框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象区域中的像素来产生多个组合图像，其中四边形框图片具有多种类型的形状或者被形成在预定位置处。 

组合装置能够通过以下方式产生组合图像：对应于框形状参数来存储均用于产生组合图像的各输入图像或各二值掩码图像，框形状参数包括四边形框图片的旋转角、三维仿射变换参数、以及位置；根据对应于在所存储的各输入图像和各二值掩码图像中通过比较发现的与输入图像获取装置获得的输入图像或二值掩码图像最相似的所存储的输入图像或二值掩码图像而存储的框形状参数来形成具有预定四边形形状的所述四边形框图片；以及提取输入图像的四边形框图片内的区域中的像素以及输入图像 上的由二值掩码图像指定的对象区域中的像素。 

根据本发明的一个实施例的图像处理方法是用于在可产生改进图像的深度感的伪三维图像的图像处理设备中使用的方法，该图像处理方法包括：输入图像获取步骤，用于获取输入图像和指定输入图像上的对象区域的二值掩码图像；组合步骤，用于提取输入图像的四边形框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象区域中的像素；以及框图片组合位置确定步骤，用于确定在组合图像上放置四边形框图片的位置，使得四边形框图片的一对相对的边缘中的一个边缘包括与对象区域的边界的交点，而该对边缘中的另一个边缘不包括与对象区域的边界的交点。 

根据本发明的一个实施例的程序是能够由控制可产生改进图像的深度感的伪三维图像的图像处理设备的计算机执行的，从而执行处理，该处理包括：输入图像获取步骤，用于获取输入图像和指定输入图像上的对象区域的二值掩码图像；组合步骤，用于提取输入图像的四边形框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象区域中的像素，以产生组合图像；以及框图片组合位置确定步骤，用于确定在组合图像上放置四边形框图片的位置，使得四边形框图片的一对相对的边缘中的一个边缘包括与对象区域的边界的交点，而该对边缘中的另一个边缘不包括与对象区域的边界的交点。 

根据本发明的一个实施例，获取输入图像和指定输入图像上的对象区域的二值掩码图像，提取输入图像的四边形框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象区域中的像素以产生组合图像，并且确定在组合图像上放置四边形框图片的位置，使得四边形框图片的一对相对的边缘中的一个边缘包括与对象区域的边界的交点，而该对边缘中的另一个边缘不包括与对象区域的边界的交点。 

根据本发明的实施例，能够通过将对象图像与模拟图片框或框缘的平面图像组合而容易地产生伪三维图像，其中对象图像是根据输入图像以及指定输入图像上的对象区域的二值掩码图像获得的。 

附图说明

图1是示出本发明的一个实施例中的伪三维图像产生设备的结构示例的框图； 

图2是示出图1中的框图片组合参数计算器的结构示例的框图； 

图3是图解伪三维图像产生处理的流程图； 

图4示出了输入图像及其二值掩码图像； 

图5图解了框图片纹理图像； 

图6图解了三维仿射变换参数； 

图7图解了三维仿射变换； 

图8是图解框图片组合参数计算处理的流程图； 

图9图解了框图片组合参数计算处理； 

图10也图解了框图片组合参数计算处理； 

图11示出了对象层图像以及框层图像； 

图12示出了示例性组合图像； 

图13图解了框图片与对象图像之间的关系； 

图14示出了另一示例性组合图像； 

图15示出了其他示例性组合图像； 

图16示出了其他示例性组合图像；以及 

图17是示出通用型个人计算机的示例的结构的框图。 

具体实施方式

伪三维图像产生设备的结构的示例 

图1是示出本发明的一个实施例中的伪三维图像产生设备的结构示例的框图。图1中的伪三维图像产生设备1将输入图像、二值掩码图像(已经从该二值掩码图像中切割出输入图像上的对象区域)与框图片纹理图像组合以产生虚假地表现为立体三维图像的图像。 

更具体地，为了虚假地产生伪立体图像，伪三维图像产生设备1将通过根据与输入图像对应的二值掩码图像从该输入图像中切割的对象区域而获得的图像与通过对框图片纹理图像进行投影变形而获得的图像进行组合。 

伪三维图像产生设备1具有输入图像获取单元11、框图片纹理获取 单元12、三维仿射变换参数获取单元13、矩形三维仿射变换器14、框图片组合参数计算器15、框图片组合单元16、以及输出单元17。 

输入图像获取单元11获取输入图像以及指定该输入图像上的对象区域的二值掩码图像，并且将所获取的图像提供给框图片组合参数计算器15。输入图像例如是红、绿、蓝的RBG彩色图像。二值掩码图像具有与输入图像相同的分辨率并且保持两个值(诸如1和0)之一以指示例如相关的像素是否包括在该对象区域中。输入图像以及二值掩码图像被用户任意选择或提供。当然，使得输入图像和二值掩码图像彼此对应。 

框图片纹理获取单元12获取要附加到(例如正方形形状的)四边形框图片上的纹理图像，并且将该纹理图像提供给框图片组合单元16。纹理图像视觉上表现为平面；其一个示例是模拟打印照片的白色边框的图像。 

三维仿射变换参数获取单元13获取对框图片纹理图像执行的三维仿射变换中使用的三维仿射变换参数，并且将这些参数提供给矩形三维仿射变换器14。三维仿射变换参数可以直接用数字指定，或者可以根据通过图形用户界面(GUI)的用户输入操作(诸如鼠标拖动和滚动条)来任意设置。 

矩形三维仿射变换器14根据从三维仿射变换参数获取单元13获取的三维仿射变换参数来计算矩形参数，并且将所计算的矩形参数提供给框图片组合参数计算器15。矩形参数指示三维仿射变换之后的框图片纹理图像的四个顶点的二维坐标以及矩形的中心位置。可以由用户通过操作操作单元(未示出)而指定用于变换的原始矩形的长宽比。可替选地，也可以使用通过操作操作单元而输入的框图片纹理图像的长宽比。 

框图片组合参数计算器15计算所要组合的从输入图像获取单元11提供的输入图像和二值掩码图像以及框图片的位置和尺寸，并且将框图片参数与输入图像和二值掩码图像一起提供给框图片组合单元16。提供给框图片组合单元16的框图片参数指示四边形框图片的四个二维顶点在图像坐标系中的坐标。稍后将参照图2对框图片组合参数计算器15的结构进行详细说明。 

框图片组合单元16根据框图片组合参数将输入图像、二值掩码图像、以及框形状结构图像组合到一起以产生伪三维图像(在该伪三维图像上，其对象在视觉上表现为立体的)，然后将所产生的图像输出到输出单元 17。具体地，框图片组合单元16包括对象层图像产生单元16a和框层图像产生单元16b。对象层图像产生单元16a根据框图片组合参数从输入图像、二值掩码图像、以及框形状结构图像产生对象区域中的图像，也就是对象层图像。框层图像产生单元16b根据框图片组合参数从输入图像、二值掩码图像、以及框形状结构图像产生框图片纹理区域中的图像，也就是框层图像。框图片组合单元16将因此已产生的对象层图像与框层图像组合到一起，以产生伪三维的组合图像。 

输出单元17接收由框图片组合单元16产生的作为伪三维图像的组合图像，并且输出所接收的图像。 

框图片组合参数计算器 

接下来，将参照图2对框图片组合参数计算器15进行详细说明。 

框图片组合参数计算器15具有掩码重心计算器51、框图片尺寸计算器52、以及框图片顶点计算器53。框图片组合参数计算器15根据二值掩码图像确定用于获得框图片形状的约束条件，以便确定框图片的位置和尺寸。 

为了根据二值图像获得对象形状的重心位置，掩码重心计算器51获得对象区域中的像素(也就是，二值掩码图像中的所有像素)的位置的平均值作为重心位置。然后，掩码重心计算器将该平均值发送到框图片尺寸计算器52。 

框图片尺寸计算器52具有中心位置计算器52a、尺寸计算器52b、以及尺寸决定单元52c。框图片尺寸计算器52根据重心位置和作为输入参数的框设置角θg计算框图片中心位置P_FRAME和尺寸S_FRAME，并且将计算出的值发送到框图片顶点计算器53。后面将详细说明框图片中心位置P_FRAME和尺寸S_FRAME。 

框图片顶点计算器53接收来自框图片尺寸计算器52的框图片中心位置P_FRAME和尺寸S_FRAME，并且输出作为框图片组合参数的四个顶点。 

伪三维图像产生处理 

接下来，将参照图3中的流程图来说明伪三维图像产生处理。 

在步骤S11，输入图像获取单元11获取输入图像以及对应于该输入图像的二值掩码图像，然后将它们发送到框图片组合参数计算器15。图4 的左侧和右侧分别示出示例性输入图像及其对应的二值掩码图像。在图4中，输入图像上的蝴蝶是对象图像，因此在二值掩码图像上，显示蝴蝶的区域中的像素以白色显示，而其余区域中的像素以黑色显示。 

在步骤S12，框图片纹理获取单元12获取框图片纹理图像(该框图片纹理图像是在操作包括鼠标和键盘的操作单元(未示出)时选择的)，并且将所获取的图像发送到框图片组合单元16。图5中示出了一种示例性框图片纹理图像；该图像是由值为α的像素形成的。形成框的最外边缘被设置成黑色，像素值α为0；邻近该框的内边缘被设置成白色，像素值α为1；中心部分被设置成黑色，像素值α为0。也就是，图5中的框图片纹理图像由黑色和白色边缘形成。 

在步骤S13，在操作操作单元(未示出)时，三维仿射变换参数获取单元13获取用于对框图片纹理图像进行三维仿射变换的三维仿射变换参数，并且将所获取的参数发送到矩形三维仿射变换器14。 

三维仿射变换参数被用于对四边形框图片进行仿射变换，使得图片在视觉上看起来像立体形状。具体地，如图6所示，这些参数是：围绕水平方向上的x轴的旋转θx、围绕作为视线的z轴的旋转θz、从成像位置P到用作框图片纹理(其为主体)的框的距离f、在对于图像水平的x方向上行进的距离tx、以及在对于图像竖直的y方向上行进的距离ty。 

在步骤S14，矩形三维仿射变换器14接收从三维仿射变换参数获取单元13发送的三维仿射变换参数、计算矩形参数、并且将所计算的参数发送到框图片组合参数计算器15。 

具体地，矩形三维仿射变换器14使用坐标系获得变换坐标，在该坐标系中，矩形框图片的中点被固定到原点(0，0)，该坐标系被标准化成匹配x或y方向上的宽度中较长的一个。也就是，当矩形框图片是正方形时，矩形三维仿射变换器14设置在变换之前采用的矩形中心RC和四个顶点坐标p0(-1，-1)、p1(1，-1)、p2(1，1)、p3(-1，1)。然后，矩形三维仿射变换器14将顶点坐标p0至p3、矩形中心RC、以及三维仿射变换参数代入等式(1)，以计算通过三维仿射变换而变换的顶点坐标p0′至p3′以及矩形中心RC′。 

p′＝T_fT_SR_θxR_θzp...(1) 

其中R_θz是对应于围绕z轴的旋转θz的旋转变换矩阵，用等式(2)表示，而R_θx是对应于围绕x轴的旋转θx的旋转变换矩阵，用等式(3) 表示；T_s是对应于距离tx和ty的变换矩阵，用等式(4)表示，而T_f是对应于距离f的变换矩阵，用等式(5)表示。 

$R_{{\mathrm{\θ}}_z}=\left[\begin{array}{cccc}\cos {\mathrm{\θ}}_z& -\sin {\mathrm{\θ}}_z& 0& 0\\ \sin {\mathrm{\θ}}_z& \cos {\mathrm{\θ}}_z& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\·\·\·\left(2\right)$

$R_{{\mathrm{\θ}}_x}=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos {\mathrm{\θ}}_x& \sin {\mathrm{\θ}}_x& 0\\ 0& -\sin {\mathrm{\θ}}_x& \cos {\mathrm{\θ}}_x& 0\\ 0& 0& 0& 1\end{array}\right]\·\·\·\left(3\right)$

$T_s=\left[\begin{array}{cccc}1& 0& 0& \mathrm{tx}\\ 0& 1& 0& \mathrm{ty}\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\·\·\·\left(4\right)$

$T_f=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& \mathrm{far}\\ 0& 0& 0& 1\end{array}\right]\·\·\·\left(5\right)$

作为变换的结果，由矩形的顶点坐标p0至p3及其中心RC表示的框图片纹理图像(诸如图7中的上方的图像)被变换为由另一矩形的顶点p0′至p3′及其中心RC′表示的框图片纹理图像(诸如图7中的下方的图像)。在此过程中，仅获得了四个顶点坐标，而并未处理框图图片纹理图像本身。 

在步骤S15，框图片组合参数计算器15执行框图片组合参数计算处理以计算框图片组合参数，并且将计算出的参数发送到框图片组合单元16。 

框图片组合参数计算处理 

然后，将参照图8中的流程图来说明框图片组合参数计算处理。 

在步骤S31，掩码重心计算器51根据二值掩码图像计算对象的形状的掩码重心位置BC，并且将计算出的重心位置发送到框图片尺寸计算器52。具体地，如图9所示，掩码重心计算器51从二值掩码图像中的所有像素提取形成蝴蝶的对象的像素值α为1的像素(附图中为白色的像素)，并且确定这些像素位置的平均坐标作为掩码重心位置BC。 

在步骤S32，框图片尺寸计算器52控制中心位置计算器52a以根据从掩码重心计算器51接收的掩码重心位置BC以及根据作为输入参数的框设置角θg计算框图片中心位置P_FRAME。 

具体地，中心位置计算器52a首先计算轮廓点CP以确定框图片的位置。也就是，中心位置计算器52a获得矢量RV，矢量RV从图像的下方向顺时针旋转了框设置角θg，如图9所示，该下方向被作为参考矢量处理。中心位置计算器52a还获得二维位置作为轮廓位置CP，在该二维位置处，在从掩码重心位置BC沿矢量RV的方向上运动的过程中像素值α首先从1变为0，也就是，在该二维位置处，首先遇到对象区域的轮廓(对象区域的边界)，如图9所示。轮廓位置CP是框图片纹理的中心位置P_FRAME。 

在步骤S33，尺寸计算器52b设置框图片纹理图像以计算尺寸S_FRAME，其为框图片的尺寸。具体地，尺寸计算器52b将由三维仿射变换之后获得的矩形的顶点坐标p0′至p3′和其中心RC′所形成的框图片纹理图像旋转框设置角θg，以将顶点坐标更新为p0″至p3″。也就是，框图片纹理图像被顺时针地、以矩形中心RC′为中心旋转，并且顶点坐标p0′至p3′被更新为顶点坐标p0″至p3″。 

因此，例如如果框设置角θg为0度，则框图片纹理被布置在对象的底部处；如果θg为90度，则框图片纹理被布置为使得其位于对象的左侧。 

在步骤S34，尺寸计算器52b根据顶点坐标p0″至p3″确定较长的边缘LE和较短的边缘SE，以获得每个边缘的直线。例如，较长的边缘LE是框图片纹理的最长的边缘，而较短的边缘SE是与较长的边缘LE相对的边缘，如图10所示。当顺时针描绘框图片纹理时，接着较长的边缘LE放置的边缘是左边缘L0，而接着较短的边缘SE放置的边缘是右边缘L1。 

尺寸计算器52b计算在较长的边缘LE在二值掩码图像的矢量RV的方向上穿过最远点的情况下的尺寸作为较长边缘尺寸S_LE。具体地，在图10所示的情况下，尺寸计算器52b计算在较长边缘LE穿过交点F1(在 直线T4上)的情况下的尺寸作为较长尺寸S_LE，交差点F1是在矢量RV的方向上距直线T3最远的与对象图像相交的点，直线T3穿过掩码重心位置BC并且与矢量RV正交。也就是，当框图片关于中心位置P_FRAME(轮廓点CP)扩大或缩小时，较长的尺寸S_LE是作为在较长边缘LE布置在直线T4上时的放大比或缩小比而获得的。 

在步骤S35，尺寸计算器52b计算在较短的边缘SE在与二值掩码图像的矢量RV的方向相反的方向上穿过最远点的情况下的尺寸作为较短边缘尺寸S_SE。具体地，在图10所示的情况下，尺寸计算器52b计算在较短边缘SE穿过交点F3(在直线T5上)的情况下的尺寸作为较短边缘尺寸S_SE，交点F3是在与矢量RV的方向相反的方向上距直线T3最远的与对象图像相交的点，直线T3穿过掩码重心位置BC并且与矢量RV正交。也就是，当框图片关于中心位置P_FRAME(轮廓点CP)扩大或缩小时，较短的尺寸S_SE是作为在较短边缘SE布置在直线T5上时的放大比或缩小比而获得的。 

在步骤S36，如图10所示，尺寸计算器52b计算在左边缘L0位于相对于直线T3(直线T3穿过掩码重心位置BC并且垂直于矢量RV)的矢量RV的方向上并且包括与相对于直线R0R(直线R0R穿过掩码重心位置BC并且平行于左边缘L0)的左边缘L0侧的区域R0中的对象图像的交点F1(在直线T1上)的情况下以及在左边缘L0穿过与对象图像的交点F1(交点F1在距离直线R0R的最远点处，直线R0R穿过掩码重心位置BC并且平行于左边缘L0)的情况下的尺寸作为左边缘尺寸S_L0。也就是，当框图片关于中心位置P_FRAME(轮廓点CP)扩大或缩小时，左边缘尺寸S_L0是作为在左边缘L0位于直线T1上时所应用的放大比或缩小比而获得的。 

在步骤S37，尺寸计算器52b计算在右边缘L1位于相对于直线T3(直线T3穿过掩码重心位置BC并且垂直于矢量RV)的矢量RV的方向上并且包括与相对于直线R1L(直线R1L穿过掩码重心位置BC并且平行于右边缘L1)的右边缘L1侧的区域R1中的对象图像的交点F2(在直线T2上)的情况下以及在右边缘L1穿过与对象图像的交点F2(交点F2在距离直线R1L的最远点处，直线R1L穿过掩码重心位置BC并且平行于右边缘L1)的情况下的尺寸作为右边缘尺寸S_L1。也就是，当框图片关于中心位置P_FRAME(轮廓点CP)扩大或缩小时，右边缘尺寸S_L1是作为在右边缘L1位于直线T2上时应用的放大比或缩小比而获得的。 

在步骤S38，尺寸决定单元52c根据以下的等式(6)通过使用较长边缘尺寸S_LE、较短边缘尺寸S_SE、左边缘尺寸S_L0、以及右边缘尺寸S_L1来计算框图片纹理的尺寸S_FRAME。 

S_FRAME＝MIN(β×MAX(S_LE，S_L0，S_L1)，S_SE)...(6) 

其中β(取值为1或更大)是用于调整框图片的大小的任意系数，MAX(A，B，C)是用于选择值A到C中的最大值的函数，MIN(D，E)是用于选择值D和E中的最小值的函数。因此，尺寸决定单元52c获得较长边缘S_LE、左边缘尺寸S_L0、以及右边缘尺寸S_L1中的最大值并且还获得所得到的最大值与较短边缘尺寸S_SE中的最小值作为框图片纹理的尺寸S_FRAME。框图片尺寸计算器52b于是将所计算的尺寸S_FRAME和中心位置P_FRAME发送到框图片顶点计算器53。 

仅利用等式(6)中的MIN(D，E)来进行与较短边缘尺寸S_SE的比较。这是因为较短边缘尺寸S_SE(从中心位置P_FRAME(轮廓点CP)到对象的最远点的距离)在与其他最远点比较时是更长的，如图10所示，也就是，较短边缘尺寸S_SE比其他尺寸大得多。 

在步骤S39，框图片顶点计算器53使用已经从框图片尺寸计算器52接收的框图片纹理的中心位置P_FRAME和尺寸S_FRAME来执行平行移动，使得框图片纹理的中心位置RC″匹配中心位置P_FRAME，中心位置P_FRAME是重心位置BC。 

在步骤S40，框图片顶点计算器53以等于尺寸S_FRAME的量值来关于框图片纹理的中心位置放大各边缘。 

在步骤S41，框图片顶点计算器53得到放大的框图片纹理的四个顶点的二维位置FP0至FP3，然后将所获得的四个顶点的二维位置FP0至FP3在后续阶段作为框图片组合参数发送到框图片组合单元16。 

根据上述的处理，可以设置框图片组合参数，从而使框图片纹理的四个顶点的二维坐标基于框图片纹理的较长边缘、较短边缘、左边缘和右边缘以及对象区域中的最远距离对于对象区域而言成为最佳的。 

现在，将再次说明图3的流程图中的处理。 

在步骤S15，执行框图片组合参数计算处理以计算框图片组合参数，其后前进到步骤S16。 

在步骤S16，框图片组合单元16控制对象层图像产生单元16a以根 据输入图像和二值掩码图像产生对象层。具体地，例如，对象层图像产生单元16a在对象区域中根据如图11的左下部分示出的二值掩码图像产生如图11的左上部分示出的对象层图像，该掩码图像由像素值α被设置为1的像素以及像素值α被设置为0(表示黑色)的像素组成。 

在步骤S17，框图片组合单元16控制框层图像产生单元16b以产生框层图像，该框层图像是通过将框图片纹理图像映射到框图片纹理而提供的，该框图片纹理已经通过框图片组合参数进行了投影变形。具体地，例如，框层图像产生单元16b根据作为框图片参数而给出的二维顶点坐标来产生四边形框图片的二值掩码图像，如图11的右下部分所示。在框图片的二值掩码图像上绘制框图片的区域中，α为1，其中输入图像的像素值被输出；在其他的区域，α为0，其中所有像素值是0。然后，框层图像产生单元16b根据输入图像和所产生的框图片的二值掩码图像产生框层图像，如图11的右上部分所示。 

在步骤S18，框图片组合单元16将对象层图像与框层图像组合到一起以产生组合的伪三维图像(如图12所示)，并且将组合的图像发送到输出单元17。 

在步骤S19，输出单元17输出已经产生的组合的伪三维组合图像。 

上述处理因此能够产生伪三维图像，其使用框图片纹理图像和已进行投影变形的矩形对象的透视图的重叠作为人的深度感。 

也就是，关于人的视力，通常能够通过获得诸如透视投影以及已进行投影变形的矩形的消失点的迹象来实现深度感。作为视觉，还能够根据对象图像与框图像重叠的顺序获得前后的关系。为了使人以这种方式通过视觉认识由透视和重叠表示的前后关系，其可以足够满足图13所示的条件。 

具体地，第一条件是框图片的远侧的边缘，也就是，较短的边缘与对象重叠并且位于对象之后。更具体地，第一条件是，例如如图13所示，框图片V2的较短的边缘具有与对象区域V1的边界的交点并且仅该对象在对象区域V1中显示。 

第二条件是框图片的近侧的边缘，也就是，较长的边缘不具有与对象区域的边界的交点。具体地，第二条件是，例如如图13所示，框图片V2的较长的边缘不具有与对象区域V1的边界的交点。 

第三条件是，框图片具有能够三维呈现的形状。具体地，第三条件是框图片V2具有能够三维呈现的形状。 

第一和第二条件是通过从近侧开始按照框图片V2的较长的边缘B、穿过对象区域的底点的直线C、以及框图片V2的较短的边缘A的顺序进行布置而满足的，如图13所示。也就是，满足：框图片V2的较短侧具有与对象区域的边界的交点、对象被显示在交点之间、并且框图片V2的较长边缘不具有与对象区域的边界的交点。 

在图8的框图片组合参数计算处理中，已经关于中心位置P_FRAME放大或缩小而使得较长边缘、较短边缘、右边缘、或左边缘穿过对象区域的最远点的任何一个尺寸被设置为尺寸S_FRAME。因此，框图片的尺寸被确定为使得较长边缘不具有与对象区域的交点并且较短的边缘具有与对象区域的交点。 

因此，由于对象图像与如上所述的放大或缩小的框图片组合，所以能够产生视觉上显现为立体的伪三维图像。 

根据本发明的实施例，能够通过将根据输入图像以及指定该输入图像上的对象区域的二值掩码图像获得的对象图像与模拟图片框或框缘的平面图像组合而容易地产生伪三维图像。 

当框图片仅通过三维仿射变换而变形时，框图片能够保持三维形状。当纹理例如通过投影变换被映射到框图片本身时，能够给出可用作透视的迹象的信息，从而改进深度感。 

如图14所示，例如，当四边形框图片的两个相对的边缘与飞机形状的玩具的对象区域相交时，也能产生用户能够享受的伪三维图像。在这种情况下，为了确定框图片的形状，获得对象区域的重心，例如其后以该重心为中心，宽度能够被计算为对象区域的X方向上的最大值和最小值的两倍，并且高度能够被计算为Y方向上的最大值和最小值的一半。只通过将框图片置于对象之后便可获得深度强调效果。 

框图片组合参数计算器15还能够通过调整框设置角θg，使框图片的上侧朝下或相反放置，而不是在基面上。具体地，如图15所示，框图片能够被放置在作为对象的飞机形状的玩具之后或与该玩具反向平行。 

框图片组合参数计算器15还可以计算二值掩码图像的N阶矩以及边界框的中心或外接圆的中心作为计算框图片形状的参数。也就是，可以针对中心位置考虑掩码图像分布，而代替使用简单的重心位置。 

框图片组合参数计算器15不仅可以根据二值掩码图像，还可以根据输入图像本身获得计算框图片形状的参数。具体地，可以检测图像的消失 点或基面以确定框图片的形状和位置，从而使框图片的边缘沿着输入图像的消失线而放置或放置在基面区域中。关于从图像中自动检测消失线的方法，参见“A new Approach for Vanishing Point Detection in Architectural Environments，Carsten Rother，BMVC2000”。 

在这种方法中，检测建筑结构的边缘，并且统计地处理平行边缘的方向以计算消失点。通过这种方法获得的两个消失点能够用于计算框图片组合参数。具体地，在确定框图片的位置和形状时加入了框图片的相对边缘在两个不同的消失点处汇聚的约束。 

还可以基于机器学习通过从对象类别中获得的大致的对象尺寸来确定框图片的投影变形参数f。 

具体地，可以通过在对象像茶杯那样小时使用用于微距摄影的照相机参数，或者通过在对象像建筑物那样大时使用用于远视摄影的照相机参数来产生更加自然立体的伪三维图像。关于分类对象的方法，参加“Object Detection by Joint Feature Based on Relations of Local Features，Fujiyoshi Hironobu”。在这种方法中，针对基于对象的局部特征和图像的关系(若从图像中发现的话)的特征预先进行机器学习。 

框图片组合参数计算器15还可以在框层图像产生的过程中提供对象图片，纹理图像未映射到该框层图像。在这种情况下，可以仅通过为框图片指定颜色来绘制矩形，或者可以绘制输入图像的像素颜色。 

可以提供用户接口，使得用户能够在观看由框图片组合单元16计算的伪三维图像的同时校正框图片的形状。具体地，用户可以操作用户接口以移动框图片的四个顶点或者移动整个框图片。可替选地，可以提供接口来改变抛光点，而使框图片变形。 

用户输入可以被提供给三维仿射变换参数获取单元13以直接更新框形状参数。 

框图片组合单元16可以使二值掩码图像本身变形。具体地，当框图片对象在由二值掩码图像指定的对象区域的底部(该对象区域的底部连续延伸至图像的底部)处组合时，可以切割二值掩码图像以使得二值掩码图像不会朝近侧延伸超过框图片，由此产生自然立体的伪三维图像。 

具体地，当如图16的右上部分所示的二值掩码图像被输入用于如图16的左上部分所示的输入图像时，其上安装有作为对象的玩偶的喷泉基座的部分被切割以匹配如图16的左下部分的框图片。当通过使用图16 的左下部分所示的所产生的二值掩码图像来处理该输入图像时，能够产生如图16的右下部分所示的伪三维图像，其中喷泉基座被切割以匹配框图片形状。 

输入图像并不局限于静止图像；它还可以是运动图像。当输入图像是运动图像时，可以根据代表性的运动图像帧和掩码图像来确定框图片参数，以确定框图片的形状。为了确定框图片的形状，还可以针对每个运动图像帧来确定框图片参数。 

框图片可以不是静止图像；通过改变三维仿射变换参数或框设置角参数而产生的图像可以是动画的。 

不但通过一种类型的参数的组合呈现一个处理结果，而且可以通过多个参数的组合输出多个处理结果。也就是，伪三维图像产生设备可以呈现由预定参数范围内的多个参数的组合产生的伪三维图像，并且用户可以从所呈现的图像中选择优选的图像。 

框图片组合单元16可以使用经处理的输入图像(诸如模糊的输入图像、灰阶图像、或低亮度的图像)来代替填充除框图片和对象之外的区域，也就是，带有背景颜色的背景。 

阿尔法图(alpha map)或尝试图(try-map)可以作为二值掩码图像而被输入。 

可以在数据库中预存储多个三维变换参数，并且可以从该数据库中选择适当的参数并且该适当的参数可以作为由三维仿射变换参数获取单元13所获取的三维变换参数而输入。 

具体地，三维仿射变换参数获取单元13预先产生参考二值掩码图像以及它们的三维仿射变换参数(通过该三维仿射变换参数，框图片形状对于参考二值掩码图像而言成为最佳的)，并且存储相互对应的参考二值掩码图像以及三维仿射变换参数。然后三维仿射变换参数获取单元13从数据库中选择与输入的二值掩码图像具有高度的相似性的参考二值掩码图像，并且获取和输出对应于所选择的参考二值掩码图像而存储的三维仿射变换参数。 

因此，能够从数据库中获取适当的三维仿射变换参数，并且能够将其用于变形或组合框图片对象。 

关于图像相似性的计算方法，参见“Zhong Wu，Qifa Ke，Michael Isard，and Jian Sun.Bundling Features for Large Scale Partia1-Duplicate  Web Image Search.CVPR2009(口头)”。在这种方法中，在关键点处的称为SIFT的特征以及称为MSER的区域特征被用于表示图像的特征，并且图像的相似性是通过计算特征空间中的这些特征距离来获得的。也就是，可以获得并比较二值掩码图像特征与预先计算并存储在数据库中的参考二值掩码图像特征以找到具有最大相似性的图像，并且可以使用对应于该图像存储的三维仿射变换参数。 

相似性计算不仅可以在二值掩码图像之间进行，还可以在图像之间进行。也就是，输入图像的特征与二值掩码图像的特征二者可以作为新特征一起用在相似性计算中。 

框图片可以是三维对象，而不是二维纹理。在这种情况下，三维对象被映射到XY平面，并且映射的三维对象的边界矩形作为输入矩形被计算。边界矩形被用作普通的二维矩形以事先确定其位置和尺寸。在三维对象进行如在边界矩形中的三维仿射变换之后，位置和尺寸被应用于三维对象，然后将该三维对象与输入图像中的对象组合。以这种方式，对象图像能够与弯曲的框或加厚的框组合以产生深度感被加强的三维图像。 

虽然上述的一系列处理能够由硬件执行，但其也能够由软件执行。当由软件执行该系列处理时，将组成软件的程序从存储介质安装到例如嵌入专用硬件中的计算机或在其中安装有不同程序之后能够执行不同功能的通用个人计算机中。 

图17示出了通用个人计算机的结构的示例，其中包括有中央处理单元(CPU)1001。输入/输出接口1005经由总线1004连接至CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003被连接至总线1004。 

连接至输入/输出接口1005的单元是：输入单元1006，其包括键盘、鼠标、以及其他输入设备，用户通过输入单元1006输入操作命令；输出单元1007，其输出由于对显示设备的处理而获得的处理操作屏幕和图像；存储单元1008，其包括存储程序和不同类型数据的硬盘驱动器；以及通信单元1009，其包括局域网(LAN)适配器，该局域网适配器通过因特网所代表的网络来执行通信处理。连接至输入/输出接口1005的另一单元是驱动器1010，其将数据写入可移动介质1011(诸如磁盘(包括软盘)、光盘(包括光盘只读存储器(CD-ROM)、以及数字多功能光盘(DVD))、磁光盘(包括微型盘(MD))、或半导体存储器)中并从其读取数据。 

CPU 1001根据安装在已经存储在ROM 1002中的或从可移动介质1011(诸如磁盘、光盘、磁光盘、或半导体存储器)中读取的、安装在存储单元1008中的、并且从存储单元1008载入到RAM 1003中的程序来执行不同处理。由CPU 1001所用的执行不同处理的数据还以适当的次数存储在RAM 1003中。 

根据本发明的一个实施例，提供一种图像处理设备，其产生改进图像的深度感的伪三维图像，该设备包括：输入图像获取装置，用于获取输入图像以及指定输入图像上的对象区域的二值掩码图像；组合装置，用于提取输入图像的四边形框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象区域中的像素，以产生组合图像；以及框图片组合位置确定装置，用于确定在组合图像上放置四边形框图片的位置，使得四边形框图片的一对相对的边缘中的一个边缘包括与对象区域的边界的交点，而该对边缘中的另一个边缘不包括与对象区域的边界的交点。 

根据本发明的另一个实施例，提供一种在能够进行操作以产生改进图像的深度感的伪三维图像的图像处理设备中使用的图像处理方法，该方法包括步骤：获取输入图像以及指定输入图像上的对象区域的二值掩码图像；提取输入图像的四边形框图片内的区域中的像素以及输入图像上的由二值掩码图像指定的对象区域中的像素，以产生组合图像；以及确定在组合图像上放置四边形框图片的位置，使得四边形框图片的一对相对的边缘中的一个边缘包括与对象区域的边界的交点，而该对边缘中的另一个边缘不包括与对象区域的边界的交点。 

对于说明本说明书中的处理的步骤，被描述为按照所说明的顺序以时间序列执行的处理可以包括不是以时间序列执行而是并行地或单独地执行的处理。 

本申请包含与2009年8月26日在日本专利局提交的日本优先权专利申请JP 2009-195900所公开的主题相关的主题，将其全部内容通过引用合并于此。 

本领域的技术人员应该理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变化，只要它们在所附权利要求或其等同的范围之内。 

Claims (8)

1.一种图像处理设备，其产生改进图像的深度感的伪三维图像，所述设备包括：

输入图像获取装置，用于获取输入图像以及指定所述输入图像上的对象区域的二值掩码图像；

组合装置，用于提取所述输入图像的四边形框图片内的区域中的像素以及所述输入图像上的由所述二值掩码图像指定的对象区域中的像素，以产生组合图像；以及

框图片组合位置确定装置，用于确定在所述组合图像上放置所述四边形框图片的位置，使得所述四边形框图片的一对相对的边缘中的一个边缘包括与所述对象区域的边界的交点，而该对边缘中的另一个边缘不包括与所述对象区域的边界的交点。

2.根据权利要求1所述的图像处理设备，其中，所述四边形框图片被形成为使得不包括与所述对象区域的边界的交点的所述边缘长于包括所述交点的所述边缘。

3.根据权利要求1所述的图像处理设备，其中，能够通过绕预定位置旋转所述四边形框图片来确定所述四边形框图片的位置。

4.根据权利要求1所述的图像处理设备，其中，通过对预定四边形框图片进行三维仿射变换来形成所述四边形框图片。

5.根据权利要求1所述的图像处理设备，其中，所述组合装置通过连续地使所述四边形框图片的形状变形并提取所述输入图像的四边形框图片内的区域中的像素以及所述输入图像的所述二值掩码图像上的对象区域中的像素来产生所述组合图像。

6.根据权利要求1所述的图像处理设备，其中，所述组合装置通过提取所述四边形框图片内的区域中的像素以及所述输入图像上的由所述二值掩码图像指定的对象区域中的像素来产生多个组合图像，所述四边形框图片具有多种形状或者被形成在预定位置处。

7.根据权利要求1所述的图像处理设备，其中，所述组合装置通过这样的方式产生所述组合图像：

与框形状参数相对应地存储均用于产生所述组合图像的各输入图像或各二值掩码图像，所述框形状参数包括所述四边形框图片的旋转角、三维仿射变换参数、以及位置；

根据对应于在所存储的各输入图像和各二值掩码图像中通过比较发现的与所述输入图像获取装置获得的输入图像或二值掩码图像最相似的所存储的输入图像或二值掩码图像而存储的所述框形状参数来形成具有预定四边形形状的所述四边形框图片；

提取所述输入图像的所述四边形框图片内的区域中的像素以及所述输入图像上的由所述二值掩码图像指定的对象区域中的像素。

8.一种在能够进行操作以产生改进图像的深度感的伪三维图像的图像处理设备中使用的图像处理方法，所述方法包括步骤：

获取输入图像以及指定所述输入图像上的对象区域的二值掩码图像；

提取所述输入图像的四边形框图片内的区域中的像素以及所述输入图像上的由所述二值掩码图像指定的对象区域中的像素，以产生组合图像；以及

确定在所述组合图像上放置所述四边形框图片的位置，使得所述四边形框图片的一对相对的边缘中的一个边缘包括与所述对象区域的边界的交点，而该对边缘中的另一个边缘不包括与所述对象区域的边界的交点。

Images