CN102572459A - 图像合成装置、图像检索方法以及存储有程序的存储介质 - Google Patents

Abstract

本发明涉及图像合成装置、图像检索方法以及存储有程序的存储介质。该图像合成装置具备：视差导出部(SA6)，其导出包含与一个对象对应的一个区域(A、B)的第一立体图像、即背景图像(13a)中的上述一个区域(A、B)的视差；图像选择部(SA10)，从分别作为特定的对象而被立体视觉化的多个第二立体图像中，选择具有与上述背景图像中的上述一个区域的视差不同的视差的图像(13b)作为素材图像；和图像合成部(SA17)，对上述背景图像合成由上述图像选择部选择出的上述素材图像。

Description

图像合成装置、图像检索方法以及存储有程序的存储介质

本申请以2010年9月30日在日本申请的No.2010-220113主张优先权，将其所有内容援引到本申请的说明书中。

技术领域

本发明涉及图像合成装置、图像检索方法以及存储有程序的存储介质。

背景技术

例如，如日本特开2004-134950号公报所记载那样，以往公知有一种对由数字照相机等拍摄得到的图像合成素材图像的技术。

而且，如特开平11-341522号公报所记载那样，公知有如下技术：准备在双方之间存在视差的左右一对图像、即准备图像内的同一物体的位置向左右错开的左眼用图像与右眼用图像，通过使观察者用左眼观察左眼用图像，并且用右眼观察右眼用图像，来立体地识别(立体视觉化)图像。

即便是通过专利文献2中记载的技术进行立体视觉化的图像(以下称为立体图像)，构成其的左眼用图像和右眼用图像也是与通过数字照相机等拍摄得到的图像同样的静止图像。因此，针对某一立体图像，例如能够从其他的立体图像切分出如人物等那样的、与被识别为独立物体的部分(以下称为对象(object))相当的部分图像(以下称为对象图像)，并将切分出的部分图像对该立体图像进行合成。即，只要对构成作为背景的立体图像的左眼用图像覆盖并合成对象图像的左眼用图像，并且对构成作为背景的立体图像的右眼用图像覆盖合成对象图像的右眼用图像，就可以得到新的立体图像。

但是，当立体图像中存在对该立体图像进行立体视觉化时的距离感相互不同的多个对象时，如果感觉为相对存在于近前的对象的一部分因感觉为相对存在于深处的其他对象而被隐藏，则导致立体图像非常不协调。因此，在将预先准备的多个对象图像的任意一个合成到成为背景的立体图像的任意位置时，需要考虑合成后的立体图像中的与其他对象的距离感的差异等，选择适于合成的对象图像。

综上所述，在选择对象图像时，例如需要作业者通过对成为背景的立体图像和各个对象图像进行立体视觉化，来按每个对象图像确认合成后的立体图像中有无不协调。因此，存在对象图像的选择花费大量的劳力，使得作业者的负担增大的问题。

发明内容

鉴于此，本发明的目的在于，提供一种在对立体图像合成作为其他立体图像的素材图像时，作业者能够容易地选择适合于合成的素材图像的图像合成装置、图像检索方法以及存储有程序的存储介质。

本发明的图像合成装置具备：

视差导出部，导出包含与一个对象对应的一个区域的第一立体图像、即背景图像中的上述一个区域的视差；

图像选择部，从分别作为特定的对象而被立体视觉化的多个第二立体图像中，选择具有与上述背景图像中的上述一个区域的视差不同的视差的图像作为素材图像；和

图像合成部，对上述背景图像合成由上述图像选择部选择出的上述素材图像。

本发明的图像检索方法包括：

导出包含与一个对象对应的一个区域的第一立体图像、即背景图像中的上述一个区域的视差的步骤；和

从分别作为特定的对象而被立体视觉化的多个第二立体图像中，选择具有与上述背景图像中的上述一个区域的视差不同的视差的图像来作为素材图像的步骤。

本发明的程序使计算机执行下述处理：

导出包含与一个对象对应的一个区域的第一立体图像、即背景图像中的上述一个区域的视差的处理；和

从分别作为特定的对象而被立体视觉化的多个第二立体图像中，选择具有与上述背景图像中的上述一个区域的视差不同的视差的图像来作为素材图像的处理。

本发明的其他优点会在以下叙述，并且通过该叙述会部分地变得清楚，或者可以通过实施本发明来理解。本发明的优点可以通过特别在这里指出的手段和组合来认识和达到。

构成说明书的一部分的附图说明本发明的实施方式，并且与上述发明内容和下述具体实施方式一起用来解释本发明的概念。

附图说明

图1是数码相框的外观图，图1(a)是主视图，图1(b)是侧视图。

图2是数码相框的系统构成图。

图3是显示部上显示的画面的说明图，图3(a)是电源处于接通状态时的说明图，图3(b)是选择了图像编辑时的说明图。

图4是用于对图像合成处理进行说明的流程图。

图5是显示部上显示的画面的说明图，图5(a)是例示了背景图像选择画面的图，图5(b)是例示了图像合成区域选择画面的图，图5(c)是例示了前景图像选择画面的图，图5(d)是例示了图像配置调整画面的图。

图6是用于对视差的导出处理进行说明的流程图。

图7是拉普拉斯滤波器(Laplacian filter)的说明图，图7(a)是3×3矩阵的滤波器构成图，图7(b)是5×5矩阵的滤波器构成图。

图8是通过二值化处理而得到的边缘图像数据的说明图。

图9用于说明对象图像生成处理的流程图。

图10是显示部上显示的画面的说明图，图10(a)是例示了被提取图像选择画面的图，图10(b)是例示了对象图像选择画面的图。

具体实施方式

参照附图，对本发明的实施方式进行说明

<第一实施方式>

以下，对用于执行本发明的方式进行说明。

本实施方式涉及一种具备作为本发明的图像合成装置的功能的数码相框。这里，数码相框例如是主要用于对由数字照相机拍摄并作为图像数据被记录的图像进行鉴赏用显示的装置。另外，本实施方式的数码相框还具备显示为立体图像的功能、以及合成立体图像的功能。以下，参照附图对本实施方式的数码相框1进行说明。

如图1所示，本实施方式的数码相框1具备：设置在主体部20的前面的显示部2、电源开关3a、被配置成与显示部2重叠的触摸面板3b、和安装着存储有各种图像数据的卡式存储介质4的介质安装部5。另外，在数码相框1的主体部20的背面，具备相对主体部20能够自如地开闭的支架21，以便能够使主体部20向后方稍微倾斜地安放。

图2是表示数码相框1的电气构成的系统构成图。如图2所示，数码相框1除了前述的显示部2、电源开关3a、触摸面板3b、介质安装部5之外，还具备内置存储器6和控制部7。

介质安装部5具体是对存储介质4与控制部7之间的数据的输入输出进行控制的输入输出接口，由此用途的电路构成。存储介质4中存储有多个图像数据。

存储介质4中存储的图像数据例如包括由数字照相机通过拍摄而取得的图像数据、和立体图像数据。

由数字照相机取得的图像数据例如是对通过JPEG(Joint PhotographicExpert Group)方式压缩后的图像数据主体，附加了该图像数据主体的尺寸(纵向及横向的像素数)等基本信息、以及拍摄时间、缩略图像(缩小图像)数据等附加信息，作为图像文件而存储的数据。

另外，立体图像数据是表示立体图像的图像数据，例如是将由立体相机拍摄到的左右一对照片(左眼用图像与右眼用图像)分别数字数据化后的左眼用图像数据和右眼用图像数据、或是从单一的图像数据利用图像处理技术而生成的左眼用图像数据和右眼用图像数据。

左眼用图像数据及右眼用图像数据例如都是对通过JPEG方式压缩后的图像数据主体附加了附加信息，作为图像文件而存储的数据。其中，作为附加信息，对双方的图像数据附加了图像数据主体的尺寸等基本信息、以及表示其是立体图像数据的识别信息、或表示是左眼用图像和右眼用图像的哪一个的数据的识别信息等。

显示部2例如液晶显示模块或有机EL显示模块。显示部2显示基于经由介质安装部5而从存储介质4读入的图像数据的通常的二维图像或立体图像、以及包含1个或者多个操作用图像(以下称为软件按键)的各种显示菜单等。并且，显示部2还显示基于由控制部7生成的立体图像数据的立体图像。

这里，数码相框1中使用的立体图像的显示方式例如是所谓的视差屏障方式或分时显示方式。

视差屏障方式是一方面将基于左眼用图像数据而被灰度控制的第1像素、和基于右眼用图像数据而被灰度控制的第2像素向左右方向交替配置显示，另一方面使位于规定的观察位置的用户仅利用左眼通过视差屏障辨认第1像素、且仅利用右眼通过视差屏障辨认第2像素的方式。因此，在采用了视差屏障方式的结构中，显示部2成为在显示画面的近前具备显示(形成)视差屏障的液晶面板等屏障显示元件的构成。

另外，分时显示方式是一方面将基于左眼用图像数据的左眼用图像和基于右眼用图像数据的右眼用图像交替地分时显示，另一方面与左眼用图像和右眼用图像的显示定时同步地将用户的左眼的视野和右眼的视野交替遮挡的方式。因此，在采用了分时显示方式的构成中，当进行立体图像的观察时，需要用户另外佩戴与左眼用图像和右眼用图像的显示定时同步地对左右的视野交替遮挡的眼镜等视野控制机构。

触摸面板3b是在显示部2上显示有1个或者多个软件按键的状态下，检测显示部2的显示画面内的用户的触摸位置来作为输入信息的输入装置。触摸面板3b例如可以应用公知的电阻膜方式的触摸面板或静电电容方式的触摸面板。

电阻膜方式是通过对由透明度比较高的ITO(Indium Tin Oxide，氧化铟锡)构成的透明电极的电阻所引起的分压比进行测定，来检测触摸位置的方式。静电电容方式是将由ITO膜形成的相互交叉延伸的多根透明的电极图案作为传感器，通过捕捉表面电荷的变化来检测触摸位置的方式。

内置存储器6是即使电源被切断也能保持存储内容、且能够改写存储数据的闪存存储器，更具体而言，是EEPROM(Electric ErasableProgrammable Read Only Memory，电可擦除只读存储器)。内置存储器6中存储有如后述那样在数码相框1中生成的立体图像数据、对象图像数据等。

另外，虽然详细内容将在后面叙述，但对象图像数据是对如人物等那样的、作为特定物体而被立体视觉化的立体图像(素材图像)进行表示的立体图像数据，是由左眼用图像数据和右眼用图像数据构成的一组图像数据。另外，左眼用图像数据和右眼用图像数据分别是按每一个显示坐标具有红色成分、绿色成分以及蓝色成分的灰度等级值作为色成分的彩色图像数据。

控制部7由CPU(Central Processing Unit)8、存储有由CPU8执行的控制程序的ROM9(Read Only Memory)、以及成为作业区域的RAM10(Random Access memory)等构成。

ROM9是存储有用于使CPU8控制系统整体的多种程序、数据的存储器。ROM9中存储的程序包括在本实施方式中使CPU8作为视差导出机构、检索机构、合成机构发挥功能的立体图像合成程序。

RAM10是在CPU8对数码相框1控制时，暂时存储各种数据的作业用存储器，具体是SDRAM(Synchronous dynamic random-access memory，同步动态随机存储器)等。

接下来，对由以上的结构构成的数码相框1中的动作进行说明。在数码相框1中，如果由用户操作了电源开关3a而使电源成为接通状态，则CPU8开始基于ROM9中存储的程序而进行的控制，立即将功能选择菜单显示于显示部2。

图3(a)表示了显示部2上显示的功能选择菜单G1的一个例子。功能选择菜单G1由被分配了图像检索功能的软件按键11a、被分配了幻灯片放映(slide show)功能的软件按键11b、和被分配了图像编辑功能的软件按键11c构成。

这里，图像检索功能是让用户从作为图像数据而存储在存储介质4中的图像中选择喜好的图像，并将所选择的图像显示于显示部2的功能，幻灯片放映功能是对作为图像数据而存储在存储介质4中的多个图像按规定的顺序进行幻灯片放映显示的功能。另外，图像编辑功能是对作为图像数据而被存储的图像进行编辑的功能。

如果在显示功能选择菜单G1的期间由用户触摸了任意的软件按键11a、11b、11c，也就是说触摸面板3b中与任意的软件按键11a、11b、11c对应的区域内的位置被检测为触摸位置，则CPU8转移到与所触摸的软件按键被分配的功能对应的处理。

此时，如果用户触摸被分配了图像编辑功能的软件按键11c，则CPU8使显示部2显示如图3(b)所示那样的编辑内容选择菜单G2。编辑内容选择菜单G2由被分配了绘画风格(調)变换功能的软件按键11d、被分配了图像合成功能的软件按键11e、以及记载有“返回”的软件按键11f构成。

绘画风格变换功能是让用户从作为图像数据而存储在存储介质4中的图像中选择喜好的图像，对所选择的图像(图像数据)实施图像处理，从而将原来的图像变换成绘画风格图像的功能。其中，绘画风格图像是具备日本画风格、西洋画风格、水彩画风格、水墨画风格、自来水笔(pen)画风格等特定画风格(绘画的特征)的图像。图像合成功能是将作为立体图像数据而存储在存储介质4中的不同的2个立体图像合成的功能。其中，图像合成功能的详细内容将在后面叙述。

接着，在数码相框1中，如果用户在编辑内容选择菜单G2中触摸被分配了绘画风格变换功能的软件按键11d，则CPU8转移到与绘画风格变换功能对应的处理。另外，如果触摸了记载为“返回”的软件按键11f，则CPU8使显示部2再次显示功能选择菜单G1。然后，如果用户在编辑内容选择菜单G2中触摸被分配了图像合成功能的软件按键11e，则CPU8执行与图像合成功能对应的以下说明的图像合成处理。

本实施方式中的图像合成处理是对由用户选择为背景用的立体图像，覆盖合成从其他立体图像提取出的对象图像来作为前景图像的处理。以下，基于图4所示的流程图，对CPU8所执行的图像合成处理的具体处理顺序进行说明。

在图像合成处理中，CPU8首先使显示部2显示图5(a)所示的背景图像选择画面G3(步骤SA1)。背景图像选择画面G3例如由“请选择背景图像”等消息12a、表示背景图像的选择候选的图像列表14a、记载为“返回”的软件按键11g、记载为“决定”的软件按键11h、和记载为“生成对象”的软件按键11i构成。

这里，在显示背景图像选择画面G3时，CPU8仅将存储介质4中存储的立体图像数据作为选择对象，在图像列表14a中列表显示。其中，为了方便起见，图5(a)中表示了对构成立体图像数据的左眼用图像数据、或者右眼用图像数据中预先决定的一方的图像文件名进行列表显示，来作为图像列表14a。但是，实际上优选对构成立体图像数据的左眼用图像数据、或者右眼用图像数据的被预先决定的一方的图像数据所表示的图像的缩小图像、即缩略图像进行列表显示。

其中，如果在显示背景图像选择画面G3的期间，用户通过对触摸面板3b的触摸操作而选择了图像列表14a中显示的任意一个图像文件名，则CPU8将所选择的图像文件名空心字显示(白抜き)。

然后，在用户触摸(操作)了记载为“返回”的软件按键11g时(步骤SA3：是)，CPU8立即结束图像合成处理，使显示部2再次显示编辑内容选择菜单G2。

另外，在用户触摸了记载为“生成对象”的软件按键11i时(步骤SA4：是)，CPU8执行对象图像生成处理(步骤SA7)。

详细内容将在后面叙述，对象图像生成处理是用于从存储介质4中存储的立体图像数据中切分出对象图像数据、并将切分出的对象图像数据预先存储于内置存储器6的处理。

然后，如果在图像列表14a所显示的任意一个图像文件名(立体图像数据)被选择的状态下，记载为“决定”的软件按键11h被触摸(步骤SA2：是)，则CPU8使显示部2显示图5(b)所示的图像合成区域选择画面G4(步骤SA5)。图像合成区域选择画面G4由“请选择合成区域”等消息12b、基于所选择的立体图像数据的立体图像13a、和记载为“返回”的软件按键11j构成。

接着，CPU8执行视差导出处理，该视差导出处理用于从用户所选择的立体图像数据中，按由立体图像数据表示的立体图像内存在的每个对象，取得构成立体图像数据的左眼用图像数据与右眼用图像数据之间存在的视差(步骤SA6)。这里，CPU8按每个对象取得的视差是对于观察立体图像时的立体图像内的各个对象将感觉到的距离感进行定量化后的信息。

以下，基于图6所示的流程图，对CPU8执行的视差导出处理的具体处理顺序进行详细说明。这里，主要对立体图像数据是彩色图像数据的情况进行说明。

在视差导出处理中，CPU8例如使用下述的〔数学式1〕来分别独立地对左眼用图像数据和右眼用图像数据进行灰度色标(gray scale)变换(步骤SB1)。

〔数学式1〕

Y(i)＝0.298912×R(i)+0.586611×G(i)+0.114478×B(i)

其中，在〔数学式1〕中，Y(i)被化整处理为整数，而i表示了被灰度控制的像素的坐标位置。

接着，CPU8针对灰度色标变换后的左眼用图像数据与右眼用图像数据，分别独立地实施拉普拉斯滤波处理，生成强调图像的边缘的左眼用图像数据与右眼用图像数据(步骤SB2)。作为拉普拉斯滤波器例如可以使用图7(a)所示那样的3×3矩阵的数字滤波器、或图7(b)所示那样的5×5矩阵的数字滤波器。

接着，CPU8通过对边缘被强调后的左眼用图像数据与右眼用图像数据以规定的灰度阈值为界分别独立地进行二值化处理，来生成图像的边缘被提取后的作为边缘图像数据的左眼用图像数据与右眼用图像数据(步骤SB3)。在以下的说明中，将基于左眼用图像数据而生成的边缘图像数据称为左眼侧边缘图像数据，将基于右眼用图像数据而生成的边缘图像数据称为右眼侧边缘图像数据，由此，对两者加以区别。

图8是表示通过二值化处理而得到的左眼侧边缘图像数据13L、与右眼侧边缘图像数据13R的例子的图。这里，在左眼侧边缘图像数据13L与右眼侧边缘图像数据13R中，可以分别得到框状的边缘，作为表示相互对应的对象(人物等被识别为独立的物体的部分区域)的轮廓。即，如图8所示，当立体图像内存在2个对象时，在左眼侧边缘图像数据13L中得到2个框状的边缘Lfa、Lfb，并且在右眼侧边缘图像数据13R中得到2个框状的边缘Rfa、Rfb。

这里，在左眼侧边缘图像数据13L与右眼侧边缘图像数据13R之间，由边缘Lfa表示的区域Lda、和由边缘Rfa表示的区域Rda与立体图像中存在的同一对象A对应，另外，由边缘Lfb表示的区域Ldb、和由边缘Rfb表示的区域Rdb与立体图像中存在的同一对象B对应。

而且，相互对应的边缘Lfa与边缘Rfa之间存在的图像内的左右方向的位置偏移量是一方的对象A的视差，同样，相互对应的边缘Lfb与边缘Rfb之间存在的图像内的左右方向的位置偏移量是另一方的对象B的视差。

综上所述，在进行了二值化处理之后，CPU8例如分别独立地取得左眼侧边缘图像数据13L中存在的边缘Lfa、Lfb的坐标位置，并且通过使用了块匹配(block matching)等方法的图案匹配(pattern matching)处理，分别独立地取得右眼侧边缘图像数据13R中存在的、与边缘Lfa、Lfb对应的边缘Rfa、Rfb的坐标位置(步骤SB4)。

在此之后，CPU8根据边缘Lfa与边缘Rfa的坐标位置，对边缘Lfa与边缘Rfa之间的左右方向的位置偏移量进行运算，导出运算结果作为一方的对象A的视差，并且根据边缘Lfb与边缘Rfb的坐标位置，对边缘Lfb与边缘Rfb之间的左右方向的位置偏移量进行运算，导出运算结果作为另一方的对象B的视差(步骤SB5)。

另外，在通过二值化处理得到的边缘图像数据是如图8所示那样的左眼侧边缘图像数据13L和右眼侧边缘图像数据13R时，针对未被框状的边缘包围的区域Ln、Rn，将偏移(shift)量设为零，作为没有视差的图像区域。

返回到图4，如果视差导出处理结束，则接下来CPU8依次确认在图5(b)所示的图像合成区域选择画面G4中，用户是否触摸(指定)了立体图像13a的任意的坐标位置、以及记载为“返回”的软件按键11j是否被触摸(步骤SA8、SA9)。

然后，如果用户触摸了立体图像13a的任意的坐标位置(步骤SA8：是)，则CPU8根据被用户触摸的坐标位置，从内置存储器6中预先存储的多个对象图像数据中，检索适合对立体图像13a合成的对象图像数据(步骤SA10)。

这里，成为检索对象的对象图像数据是在后述的步骤SA7的对象图像生成处理中由CPU8生成并存储于内置存储器6的数据，是表示对用户选择出的背景用的立体图像、为了作为前景图像来覆盖合成而使用的素材图像的数据。更具体而言，例如是从存储介质4中存储的立体图像数据(左眼用图像数据以及右眼用图像数据)切分出的数据，是对与由立体图像数据表示的立体图像中存在的任意的对象对应的区域的图像、即对象图像进行表示的图像数据。

另外，对象图像数据被附加了分别表示对象图像数据的尺寸、形状、视差的数据来作为附加信息。表示尺寸的数据是对象图像数据的像素数(面积)。另外，表示形状的数据是在被切分出对象图像数据后的立体图像数据(左眼用图像数据与右眼用图像数据的任意一方)中，表现了对象的边缘的像素组的每个像素的坐标位置数据。另外，表示视差的数据是先前说明的被切分出对象图像数据后的由左眼用图像数据表示的左眼用图像、与由右眼用图像数据表示的右眼用图像之间的对象的左右方向的位置偏移量。

然后，在进行步骤SA10的处理时，CPU8从内置存储器6中存储的对象图像数据中，对在各对象图像数据中作为附加信息而附加的数据所表示的尺寸、形状、视差进行确认，从而检索同时满足接下来叙述的第1条件与第2条件的特定的对象图像数据。

第1条件是指，在CPU8于前述的步骤SA6的视差导出处理中取得的各个对象中，具有比区域内包含在上述的步骤SA8中用户触摸到的坐标位置的对象的视差大的视差、且具有比区域内不含有在上述的步骤SA8中用户触摸到的坐标位置的各对象的任意视差大的视差。另外，第2条件表示，被选择为背景用的立体图像中存在的、能够与具有更大的视差的其他对象不重合地配置的对象图像。

这里，对在步骤SA10的处理中由CPU8检索的特定的对象图像数据进行具体说明。特定的对象图像数据例如在图5(b)所示的图像合成区域选择画面G4的立体图像13a中，是一方的对象A的视差为P(其中P＞0)，另一方的对象B的视差为Q(其中Q＞P)，除了2个对象A、B之外的背景部分C的视差为“0”，且在用户指定了一方的对象A上的坐标位置时为如下所述的数据。

即，特定的对象图像数据具有收敛于由一方的对象A与背景部分C构成的区域的尺寸，并且具有比一方的对象A的视差P大且比另一方的对象B的视差Q小的视差。另外，特定的对象图像数据具有收敛于由一方的对象A与背景部分C构成的区域的尺寸以及形状，并且具有比一方的对象A的视差P大且比另一方的对象B的视差Q小的视差。

另外，特定的对象图像数据具有收敛于由2个对象A、B以及背景部分C构成的区域的尺寸，并且具有比另一方的对象B的视差Q大的视差。另外，特定的对象图像数据具有收敛于由2个对象A、B以及背景部分C构成的区域的尺寸以及形状，并且具有比另一方的对象B的视差Q大的视差。

另外，特定的对象图像数据中包含：具有收敛于背景部分C的尺寸的所有对象图像数据、和具有收敛于背景部分C的尺寸以及形状的所有对象图像数据。

即，特定的对象图像数据是，表示在将其覆盖合成到立体图像13a内的包含用户指定的位置的区域中时在合成后的立体图像中用户(观察者)在与其他对象A、B的关系中能够感觉到自然的距离感的对象图像、并适合于合成的对象图像数据。

换言之，特定的对象图像数据是除了具有视差为P以下的值的对象图像数据、视差为P到Q之间且具有不收敛于由一方的对象A与背景部分C构成的区域的尺寸的对象图像数据、和视差为P到Q之间且具有不收敛于由一方的对象A与背景部分C构成的区域的尺寸以及形状的对象图像数据以外的数据。

即，特定的对象图像数据是除了表示如下对象图案的对象图像数据以外的数据，该对象图案在将其覆盖合成到立体图像13a中包含由用户指定的位置的区域时在合成后的立体图像中用户(观察者)在与其他对象A、B的关系中感觉到不自然的距离感。

然后，若步骤SA10的处理中的检索结束，则CPU8在该阶段使显示部2显示图5(c)所示的前景图像选择画面G5。前景图像选择画面G5由“请选择对象图像”等消息12c、将在步骤SA10的处理中检索到的特定的对象图像表示为选择候选的图像列表14b、记载为“决定”的软件按键11k、和记载为“返回”的软件按键11m构成。

另外，为了方便起见，在图5(c)中也表示了对构成对象图像数据的左眼用图像数据、或者右眼用图像数据中被预先决定的一方的图像文件名进行列表显示，作为图像列表14b的情况。但是，实际上优选对构成立体图像数据的左眼用图像数据、或者右眼用图像数据被预先决定的一方的图像数据所表示的图像的缩小图像、即缩略图像进行列表显示。

这里，图像列表14b中以图像文件名列表显示的对象图像数据，只是由同时满足先前说明的第1条件和第2条件的特定的对象图像数据表示的数据。即，是作为背景图像选择中的、适合向立体图像中的被用户指定的位置合成的特定的对象图像数据。

因此，用户例如通过对成为背景的立体图像和内置存储器6中存储的各个对象图像进行立体视觉化，不需要按每个对象图像进行确认合成后的立体图像中有无不协调等繁琐的作业。因此，可大幅削减进行该合成处理时所必要的时间与麻烦。

另外，在显示前景图像选择画面G5的期间，如果用户通过对触摸面板3b的触摸操作选择了图像列表14b中显示的任意图像文件名，则CPU8将所选择的图像文件名空心字显示。

然后，如果用户通过触摸面板3b，在选择了任意的立体图像数据作为前景图像的状态下，触摸了记载为“决定”的软件按键11k(步骤SA12：是)，则CPU8使显示部2显示图5(d)所示的图像配置调整画面G6(步骤SA14)。

图像配置调整画面G6中例如包括：“请调整图像配置”等消息12d；和将对象图像13b重合到成为背景的立体图像13a上的图像，对象图像13b基于在前景图像选择画面G5中由用户选择的对象图像数据而得到，立体图像13a基于在背景图像选择画面G3中由用户选择的立体图像数据而得到。另外，图像配置调整画面G6中包含记载为“决定”的软件按键11n、以及记载为“返回”的软件按键11p。

另外，当在前景图像选择画面G5中记载为“返回”的软件按键11m被操作时(步骤SA13：是)，使显示部2显示图像合成区域选择画面G4。

在显示图像配置调整画面G6的期间，基于将手指放到对象图像13b被显示的位置，使该手指以在触摸面板3上滑动的方式进行移动，CPU8对应于该动作，调整对象图像13b相对立体图像13a的配置位置。即，此时对应于手指的动作，依次变更对象图像13b的描绘位置。

然后，在记载为“决定”的软件按键11n被触摸时(步骤SA15：是)，CPU8通过将最终重叠了对象图像13b的区域的立体图像13a中的各像素的灰度等级值，从原来的灰度等级值置换处理为对象图像的像素的灰度等级值，从而生成表示在立体图像13a上合成了对象图像13b后的新的立体图像的立体图像数据，并对生成后的立体图像数据赋予规定的文件名而存储到内置存储器6中(步骤SA17)。

由此，CPU8完成图像合成处理，在数码相框1中，返回到显示图3(a)所示的画面显示的状态。另外，当在图像配置调整画面G6中记载为“返回”的软件按键11p被操作时(步骤SA16：是)，CPU8使显示部2显示前景图像选择画面G5。

接着，基于图9所示的流程图，对在背景图像选择画面G3中记载为“生成对象”的软件按键11i被操作时CPU8执行的对象图像生成处理的处理顺序进行详细说明。

在对象图像生成处理中，CPU8使显示部2直接显示图10(a)所示的被提取图像选择画面G7(步骤SC1)。被提取图像选择画面G7例如由“请选择提取对象的图像”等消息15a、将存储介质4中存储的立体图像数据作为被提取图像的选择候选表示的图像列表16a、记载为“决定”的软件按键17a、和记载为“返回”的软件按键17b构成。

另外，为了方便起见，在图10(a)中也表示了对构成立体图像数据的左眼用图像数据、或者右眼用图像数据中被预先决定的一方的图像文件名进行列表显示，作为图像列表16a的情况。但是，实际上优选对构成立体图像数据的左眼用图像数据、或者右眼用图像数据被预先决定的一方的图像数据所表示的图像的缩小图像、即缩略图像进行列表显示。

另外，被提取图像选择画面G7中显示的图像列表16a的内容，从上述的图像合成处理时起，在存储介质4中存储的立体图像数据没有变化时，与图5(a)所示的背景图像选择画面G3中显示的图像列表14a的内容一致。

另外，如果在显示被提取图像选择画面G7的期间，通过用户对触摸面板3b的触摸操作，图像列表16a中显示的任意图像文件名被选择为被提取图像，则CPU8将所选择的图像文件名空心字显示。另外，当在被提取图像选择画面G7中记载为“返回”的软件按键17b被触摸时(步骤SC3：是)，CPU8立即结束对象图像生成处理，使显示部2显示背景图像选择画面G3(步骤SA1)。

然后，如果在图像列表14a所显示的任意图像文件名(立体图像数据)作为被提取图像而被选择了的状态下，触摸了记载为“决定”的软件按键17a(步骤SC2：是)，则CPU8执行对象检测处理(步骤SC4)。对象检测处理是对由立体图像数据表示的被提取图像(立体图像)中存在的、在构成立体图像数据的左眼用图像数据与右眼用图像数据之间具有视差的对象进行检测的处理。

在对象检测处理中，CPU8首先以作为被提取图像而选择的立体图像数据为对象，进行与步骤SA6的处理同样的视差导出处理(参照图6)，由此暂时检测出被提取图像中存在的1个或者多个对象，并按检测出的每个对象导出视差。在此之后，CPU8仅提取出视差不为“0”的对象作为最终的对象。

接下来，CPU8使显示部2显示图10(b)所示的对象图像选择画面G8(步骤SC5)。对象图像选择画面G8由“请选择对象”等消息15b、在对象检测处理中提取出的对象18a、18b被强调显示的状态的被提取图像18、和记载为“返回”的软件按键17c构成。

另外，CPU8通过针对被提取图像18中的对象的强调显示，例如仅对对象维持彩色显示，对对象以外的图像区域进行灰度色标显示，来使对象与其他图像区域更加容易区别。

接下来，如果在对象图像选择画面G8中用户通过触摸面板3b指定了任意的对象(步骤SC：是)，则CPU8维持与被指定的对象对应的区域的图像数据，并且生成将其他图像区域的图像数据删除后的对象图像数据，进而对该对象图像数据赋予规定的文件名、存储到内置存储器6中(步骤SC8)。

由此，CPU8结束对象图像生成处理，使显示部2显示背景图像选择画面G3(步骤SA1)。

另外，当在步骤SC8的处理中将对象图像数据存储到内置存储器6时，CPU8对对象图像数据附加分别表示该对象图像数据的尺寸、形状、视差的数据来作为附加信息。

另外，当在对象图像选择画面G8中记载为“返回”的软件按键17c被操作时(步骤SC7：是)，CPU8使显示部2显示被提取图像选择画面G7。

这里，在以上说明的第一实施方式中，当在图像合成处理中，检索适合向正作为背景图像被选择的立体图像中的被用户指定的位置进行合成的对象图像数据作为选择候选时，虽然检索了同时满足上述的第1条件与第2条件的对象图像数据，但也可以检索只满足第1条件的对象图像数据作为选择候选。即，作为选择候选，可以检索具有如下视差的对象图像数据来作为选择候选，即该视差大于正作为背景图像被选择的立体图像中的被用户指定的位置的视差。并且，也可以将第1条件设为具有比CPU8通过前述的步骤SA6的视差导出处理而取得的各个对象之中，区域内含有用户在上述的步骤SA8中触摸的坐标位置的对象的视差大的视差。

即便在检索出上述那样的只满足第1条件的对象图像数据作为选择候的情况下，通过例如对多个对象图像进行立体视觉化，与按每个对象图像来确认合成后的立体图像中有无不协调那样的情况相比，也能大幅削减合成处理时所必要的时间、麻烦。

并且，在上述的第一实施方式中，也可以按照在显示图像配置调整画面G6的期间被依次变更的对象图像13b的任意的坐标位置不与对象B的任意的坐标位置重合的方式，限制对象图像13b的描绘位置。即，可以在对象图像13b的任意的坐标位置根据手指的动作从不与对象B的任意的坐标位置重合的区域移动到与该对象B的任意的坐标位置重合的区域时，将对象图像13b固定显示在移动到与该对象B的任意的坐标位置重合的区域之前的坐标，进而在根据手指的动作从与该对象B的任意的坐标位置重合的区域移动到不与该对象B的任意的坐标位置重合的区域时，将对象图像13b再显示到与该手指的接触位置对应的位置。

<第二实施方式>

由于本实施方式大致与上述的第一实施方式相同，所以以下仅对与第一实施方式的不同点进行说明。在本实施方式中，检索适合向立体图像13a合成的对象图像数据时所使用的条件，与上述的第一实施方式不同。在本实施方式中，第1条件是具有比CPU8通过前述的步骤SA6的视差导出处理而取得的各个对象之中任意对象的视差大的视差。另外，第2条件表示收敛于被选择为背景用的立体图像中的所有区域、即由对象A、对象B与背景部分C构成的区域的对象图像。并且，在本实施方式中，也可以按照在显示图像配置调整画面G6的期间被依次变更的对象图像13b的任意的坐标位置不从选择为背景用的立体图像中的所有区域溢出的方式，限制对象图像13b的描绘位置。

<第三实施方式>

由于本实施方式大致与上述的第一实施方式相同，所以以下仅对与第一实施方式的不同点进行说明。在本实施方式中，检索适合向立体图像13a合成的对象图像数据时所使用的条件，与上述的第一实施方式不同。在本实施方式中，第1条件是具有比CPU8通过前述的步骤SA6的视差导出处理而取得的各个对象中任意对象的视差小的视差。另外，第2条件表示被选择为背景用的立体图像中存在的、能够配置成与任意对象都不重合、即与由对象A和对象B构成的区域不重合且收敛于由背景部分C构成的区域的对象图像。并且，在本实施方式中，也可以按照在显示图像配置调整画面G6的期间被依次变更的对象图像13b的任意的坐标位置与对象A的任意的坐标位置和对象B的任意的坐标位置不重合的方式，来限制对象图像13b的描绘位置。

此外，在上述的各实施方式中，图像合成处理、对象图像生成处理时显示部2上显示的图像，可以使用左眼用图像数据和右眼用图像数据来显示成能够立体辨认的图像，也可以只使用左眼用图像数据与右眼用图像数据中的一方来显示成能够二维平面辨认的图像。进而，还可以构成为能够由用户选择是否立体显示。

另外，在上述的各实施方式中，对在导出对象图像的视差时，针对左眼用图像数据和右眼用图像数据分别检测对象的轮廓，基于该轮廓的坐标位置的差异来导出对象图像的视差的情况进行了说明，但也可以使用其他方法来导出。例如，可以从左眼用图像数据与右眼用图像数据的任意一方直接提取出考虑了颜色信息等的特征部分，从另一方的图像数据检测与该提取出的特征部分对应的图像，然后，导出相互的坐标位置的位置偏移量作为视差。无论怎样做，对象图像的视差是将观察者感觉到的距离感定量化的信息，只要可以导出能够在对象图像数据之间进行比较的视差，则视差也可以通过其他方法取得。

另外，在上述的各实施方式中，说明了当对成为背景的立体图像合成作为前景的对象图像时，在将对象图像等倍地维持的状态下对立体图像进行合成的情况，但也可以在维持视差的同时，将图像尺寸放大或者缩小后的对象图像向立体图像合成。

另外，在上述的各实施方式中，说明了由数码相框1生成了对成为背景的立体图像合成的成为前景的对象图像(素材图像)的情况，但也可以由数码相框1以外的任意装置来生成，进而例如还可以从单一的图像利用图像处理技术来生成。

另外，在上述的各实施方式中，说明了将本发明的图像合成装置在数码相框加以实施的情况，但本发明也可以用于数字照相机、移动电话等其他的电子设备。而且，本发明还可以在通用的个人计算机中实施，该情况下，只要基于规定的应用软件(程序)使个人计算机动作即可。

本发明的其他优点和变更对于本领域的技术人员而言是显而易见的。因此，本发明并不仅限于这里给出和描述的具体的细节和优选的实施方式，在不脱离由权利要求书和其等价物定义的本发明的主旨和范围的情况下能够进行各种变更。

Claims (17)

1.一种图像合成装置，其特征在于，具备：

视差导出部，导出包含与一个对象对应的一个区域的第一立体图像、即背景图像中的上述一个区域的视差；

图像选择部，从分别作为特定的对象而被立体视觉化的多个第二立体图像中，选择具有与上述背景图像中的上述一个区域的视差不同的视差的图像作为素材图像；和

图像合成部，向上述背景图像合成由上述图像选择部选择出的上述素材图像。

2.根据权利要求1所述的图像合成装置，其特征在于，

上述图像选择部从上述多个第二立体图像中，选择具有比上述背景图像中的上述一个区域的视差大的视差的图像，作为上述素材图像。

3.根据权利要求2所述的图像合成装置，其特征在于，

上述背景图像包含与其他对象对应的其他区域，

上述视差导出部导出上述背景图像中的上述一个区域的视差和上述其他区域的视差。

4.根据权利要求3所述的图像合成装置，其特征在于，

在上述背景图像中的上述一个区域的视差比上述其他区域的视差小的情况下，

上述图像选择部从上述多个第二立体图像中，选择具有能够配置成不与上述背景图像中的上述其他区域重合的尺寸的图像，作为上述素材图像。

5.根据权利要求3所述的图像合成装置，其特征在于，

在上述背景图像中的上述一个区域的视差比上述其他区域的视差小的情况下，

上述图像选择部从上述多个第二立体图像中，选择具有能够配置成不与上述背景图像中的上述其他区域重合的尺寸以及形状的图像，作为上述素材图像。

6.根据权利要求3所述的图像合成装置，其特征在于，

在上述背景图像中的上述一个区域的视差比上述其他区域的视差小、且上述素材图像的视差比上述背景图像中的上述其他区域的视差小的情况下，

上述图像合成部在将上述素材图像向上述背景图像合成时进行限制，以使上述素材图像不与上述背景图像中的上述其他区域重合。

7.根据权利要求3所述的图像合成装置，其特征在于，

在上述背景图像中的上述一个区域的视差比上述其他区域的视差小的情况下，

上述图像选择部从上述多个第二立体图像中，选择具有比上述背景图像中的上述其他区域的视差大的视差且具有收敛于上述背景图像中的所有区域的尺寸的图像，作为上述素材图像。

8.根据权利要求3所述的图像合成装置，其特征在于，

在上述背景图像中的上述一个区域的视差比上述其他区域的视差小的情况下，

上述图像选择部从上述多个第二立体图像中，选择具有比上述背景图像中的上述其他区域的视差大的视差且具有收敛于上述背景图像中的所有区域的尺寸以及形状的图像，作为上述素材图像。

9.根据权利要求3所述的图像合成装置，其特征在于，

在上述背景图像中的上述一个区域的视差比上述其他区域的视差小、且上述素材图像的视差比上述背景图像中的上述其他区域的视差大的情况下，

上述图像合成部在将上述素材图像向上述背景图像合成时进行限制，以使上述素材图像不从上述背景图像中的所有区域溢出。

10.根据权利要求1所述的图像合成装置，其特征在于，

上述图像选择部从上述多个第二立体图像中，选择具有比上述背景图像中的上述一个区域的视差小的视差的图像，作为上述素材图像。

11.根据权利要求1所述的图像合成装置，其特征在于，

在上述素材图像的视差比上述背景图像中的上述一个区域的视差小的情况下，

上述图像合成部在将上述素材图像向上述背景图像合成时进行限制，以使上述素材图像不与上述背景图像中的上述一个区域重合。

12.根据权利要求10所述的图像合成装置，其特征在于，

上述背景图像含有与其他对象对应的其他区域，

上述视差导出部导出上述背景图像中的上述一个区域的视差和上述其他区域的视差。

13.根据权利要求12所述的图像合成装置，其特征在于，

在上述背景图像中的上述一个区域的视差比上述其他区域的视差小的情况下，

上述图像选择部从上述多个第二立体图像中，选择具有能够配置成不与上述背景图像中的上述一个区域以及上述其他区域重合的尺寸的图像，作为上述素材图像。

14.根据权利要求12所述的图像合成装置，其特征在于，

在上述背景图像中的上述一个区域的视差比上述其他区域的视差小的情况下，

上述图像选择部从上述多个第二立体图像中，选择具有能够配置成不与上述背景图像中的上述一个区域以及上述其他区域重合的尺寸以及形状的图像，作为上述素材图像。

15.根据权利要求12所述的图像合成装置，其特征在于，

在上述背景图像中的上述一个区域的视差比上述其他区域的视差小、且上述素材图像的视差比上述背景图像中的上述一个区域的视差小的情况下，

上述图像合成部在将上述素材图像向上述背景图像合成时进行限制，以使上述素材图像不与上述背景图像中的上述一个区域以及上述其他区域重合。

16.一种图像检索方法，其特征在于，包括：

导出包含与一个对象对应的一个区域的第一立体图像、即背景图像中的上述一个区域的视差的步骤；和

从分别作为特定的对象而被立体视觉化的多个第二立体图像中，选择具有与上述背景图像中的上述一个区域的视差不同的视差的图像来作为素材图像的步骤。

17.一种程序，其特征在于，使计算机执行下述处理：

导出包含与一个对象对应的一个区域的第一立体图像、即背景图像中的上述一个区域的视差的处理；和

从分别作为特定的对象而被立体视觉化的多个第二立体图像中，选择具有与上述背景图像中的上述一个区域的视差不同的视差的图像来作为素材图像的处理。

Images