CN105027552B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本技术涉及实现增加的用户友好性和更有效的图像显示的图像处理设备、图像处理方法和程序。内图像捕捉单元捕捉在图像处理设备的前侧的方向上的被摄体作为内图像，以及外图像捕捉单元捕捉在图像处理设备的后侧的方向上的被摄体作为外图像。例如，信号处理单元把通过将内图像二进制化而获得的二进制图像的附加信息添加到外图像的图像数据。另外，当再现外图像时，信号处理单元合成充当附加信息的二进制图像与外图像，并且显示作为结果获得的图像。所以，通过将从内图像中获得的信息作为附加信息添加到外图像，可以更有效地显示图像，并且可以增加用户友好性。本技术可应用于图像处理设备。

Description

图像处理设备和图像处理方法

技术领域

本技术涉及图像处理设备、图像处理方法和程序，具体而言，涉及能够更有效地显示图像并且还提高方便性的图像处理设备、图像处理方法和程序。

背景技术

迄今为止，已知存在各自配备有两个照相机的成像设备。这样的成像设备中的一些可以利用两个照相机同时捕捉图像。

这样的成像设备的示例包括如下成像设备，该成像设备利用主照相机和副照相机捕捉图像，并且当通过副麦克风获取摄影者的声音时，合成通过副照相机获得的图像与通过主照相机获得的图像以用于记录(例如参见专利文献1)。

专利文献1：日本专利申请公开第2011-250340号

发明内容

本发明要解决的问题

然而，在上文所描述的技术中，在将通过副照相机获得的图像与通过主照相机获得的图像合成之后，这使得不可能只显示通过主照相机获得的并且没有经过图像合成的图像。结果，捕捉到的图像不能完全有效地显示。

另外，当想要执行关于是否执行图像合成的切换时，应该在每次捕捉图像时都通过发声(utterance)等等来给出指令，这是相当麻烦的。结果，在一些情况下，摄影者不能专心于捕捉图像。

本技术是鉴于这样的情况而作出的，并且使得更有效地显示图像并且还提高方便性成为可能。

解决问题的手段

根据本技术的一个方面，提供了一种图像处理设备，包括：对第一方向进行成像的第一成像单元；对第二方向进行成像的第二成像单元，第二方向不同于第一方向；附加信息生成单元，所述附加信息生成单元基于第一图像生成附加信息，第一图像是在由第一成像单元进行成像时获得的；以及向第二图像的图像数据添加所述附加信息的附加处理单元，第二图像是在由第二成像单元进行成像时获得的。

所述附加信息生成单元可以压缩第一图像的信息量，以生成所述附加信息。

所述附加信息生成单元可以压缩第一图像的大小，以生成所述附加信息。

第一成像单元可以对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向，以及所述图像处理设备还可以包括合成单元，所述合成单元将从所述附加信息中获得的图像与第二图像合成。

第一成像单元可以对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向，以及所述附加信息生成单元可以对第一图像执行面部识别处理，以生成第二图像的摄影者信息，作为所述附加信息。

图像处理设备还可以包括：提取单元，基于所述附加信息从多个第二图像中检测第二图像，该第二图像是由特定摄影者捕捉到的；以及再现单元，只显示由所述提取单元检测到的第二图像。

图像处理设备还可以包括分类单元，所述分类单元将第二图像记录在由所述摄影者信息确定的记录区域中，所述摄影者信息充当所述附加信息。

图像处理设备还可以包括显示单元，所述显示单元被设置于面向操作所述图像处理设备的用户的表面，第一成像单元被设置于所述表面，所述显示单元显示当第二图像被捕捉时由第二成像单元拍摄的图像，其中，所述附加信息生成单元基于第一图像检测所述用户的视线方向，以生成指示所述用户在第二图像上注视的注视区域的信息，该信息充当所述附加信息。

图像处理设备还可以包括再现单元，所述再现单元基于所述附加信息控制第二图像的显示。

所述再现单元可以基于所述附加信息，叠加并且显示多个第二图像。

图像处理设备还可以包括视角转换单元，所述视角转换单元对第二图像执行视角转换处理，其中，所述附加信息生成单元可以获得通过切割包括第一图像上的主要被摄体的区域而获得的被裁剪的图像，作为所述附加信息，以及所述附加处理单元可以向对其执行了所述视角转换处理的第二图像的图像数据添加所述附加信息。

图像处理设备还可以包括合成单元，所述合成单元排列并且合成充当所述附加信息的所述被裁剪的图像与对其执行了所述视角转换处理的第二图像，以生成纵横比与由第二成像单元捕捉到的第二图像的纵横比相同的合成图像。

第一成像单元可以对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向，所述附加信息生成单元可以基于第一图像检测所述用户的笑容，并且生成所述用户的笑容度作为所述附加信息，以及当检测到所述用户的笑容时，第二成像单元可以对第二方向进行成像。

所述图像处理设备还可以包括分类单元，所述分类单元将第二图像记录在由所述笑容度确定的记录区域中，所述笑容度充当所述附加信息。

第一成像单元可以对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向，所述附加信息生成单元可以基于第一图像检测所述用户的笑容，并且生成所述用户的笑容度作为所述附加信息，以及所述图像处理设备还可以包括分类单元，所述分类单元将第二图像记录在由所述笑容度确定的记录区域中，所述笑容度充当所述附加信息。

根据本技术的一个方面，提供了一种图像处理方法或程序，包括：由第一成像单元对第一方向进行成像；由第二成像单元对不同于第一方向的第二方向进行成像；基于在由第一成像单元进行成像时获得的第一图像，生成附加信息；以及将所述附加信息添加到在由第二成像单元进行成像时获得的第二图像的图像数据。

在本技术的一个方面，由第一成像单元对第一方向进行成像，由第二成像单元对不同于第一方向的第二方向进行成像，基于在由第一成像单元进行成像时获得的第一图像生成附加信息，以及将附加信息添加到在由第二成像单元进行成像时获得的第二图像的图像数据。

本发明的效果

根据本技术的一个方面，可以更有效地显示图像，并且还提高方便性。

附图说明

图1是示出了图像处理设备的外形的配置示例的图示。

图2是用于描述外图像的显示的图示。

图3是示出了图像处理设备的配置示例的图示。

图4是示出了信号处理单元的配置示例的图示。

图5是用于描述成像处理的流程图。

图6是用于描述游程长度码(run length code)的图示。

图7是用于描述再现处理的流程图。

图8是示出了信号处理单元的配置示例的图示。

图9是用于描述成像处理的流程图。

图10是用于描述再现处理的流程图。

图11是示出了外图像的列表的显示示例的图示。

图12是示出了外图像的列表的显示示例的图示。

图13是示出了信号处理单元的配置示例的图示。

图14是用于描述成像处理的流程图。

图15是用于描述再现处理的流程图。

图16是示出了按幻灯片方式放映的外图像的显示示例的图示。

图17是用于描述合成图像的图示。

图18是示出了信号处理单元的配置示例的图示。

图19是用于描述成像处理的流程图。

图20是用于描述再现处理的流程图。

图21是用于描述根据摄影者来记录外图像的图示。

图22是示出了信号处理单元的配置示例的图示。

图23是用于描述成像处理的流程图。

图24是用于描述再现处理的流程图。

图25是示出了信号处理单元的配置示例的图示。

图26是用于描述成像处理的流程图。

图27是用于描述再现处理的流程图。

图28是用于描述根据笑容度来记录外图像的图示。

图29是示出了信号处理单元的配置示例的图示。

图30是用于描述成像处理的流程图。

图31是用于描述再现处理的流程图。

图32是用于描述成像处理的流程图。

图33是示出了计算机的配置示例的图示。

具体实施方式

下面，将参考各个附图来描述应用本技术的各实施例。

<第一实施例>

<关于本技术的概要>

本技术涉及包括能够对互相不同的方向进行成像的多个成像单元的设备，诸如多功能移动电话和数码照相机。当由主成像单元捕捉其他图像时，这样的设备从与其他图像同时捕捉到的图像中获取信息，以生成该信息作为附加信息。在本技术中，生成这样的附加信息，因此可以更有效地显示图像。另外，附加信息被嵌入在图像数据中，因此在再现图像时，可以执行具有较高自由度的显示控制，而不需要在捕捉图像时的麻烦的操作，并且可以提高方便性。

图1是示出了应用本技术的诸如多功能移动电话之类的图像处理设备的外形的配置示例的图示。

在图1中，由箭头A11指示的图像处理设备11的外形是前表面一侧的外形，即，当用户握住并操作图像处理设备11时从用户看到的一侧。另外，由箭头A12指示的图像处理设备11的外形是侧表面一侧的外形，即，当从附图的左侧或右侧查看由箭头A11表示的图像处理设备11时的外形。另外，由箭头A13指示的图像处理设备11 的外形是后表面一侧的外形，即，与前表面一侧相反的一侧。

如由箭头A11所指示的，显示图像等等的显示单元21被设置在图像处理设备11的前表面一侧。供用户执行输入操作的触摸面板被设置为叠加在显示单元21上。另外，在附图中，内图像捕捉单元22 被设置在位于图像处理设备11的前表面的显示单元21的上端。内图像捕捉单元22捕捉存在于图像处理设备11的前表面一侧的方向上的被摄体的图像。因此，在大多数情况下，由内图像捕捉单元22捕捉到的图像是对图像处理设备11进行操作的用户的图像。在下文中，由内图像捕捉单元22捕捉到的图像被称为内图像。将在假设用户的图像被捕捉为内图像的情况下继续进行描述。

另外，如由箭头A13所指示的，外图像捕捉单元23被设置在图像处理设备11的后表面上。外图像捕捉单元23捕捉存在于图像处理设备11的后表面一侧的方向上的被摄体的图像。在此示例中，外图像捕捉单元23被设置为捕捉在与内图像捕捉单元22的成像方向相反的方向上的图像。然而，内图像捕捉单元22和外图像捕捉单元23只须被布置为使得其成像方向彼此不同。

由外图像捕捉单元23捕捉到的图像通常是用户正在观看的风景、人等等的图像，即，用户认为希望成像的被摄体的图像。在下文中，由外图像捕捉单元23捕捉到的图像被称为外图像。

例如，如图2的左侧所示，在用户利用这样的图像处理设备11 捕捉所希望的被摄体的图像的情况下，用户U11将图像处理设备11 的外图像捕捉单元23朝向目标被摄体H11，并且发出捕捉图像的指令。然后，图像处理设备根据用户U11的捕捉图像的指令，同时或几乎同时地捕捉内图像和外图像。

因此，在图像处理设备11中，获取被摄体H11的图像作为外图像，并且获取用户U11的图像作为内图像。

图像处理设备11根据需要对如此获得的内图像执行诸如编码之类的处理，并且获得作为结果的图像作为附加信息。然后，图像处理设备11将获得的附加信息添加到外图像的图像数据。

这里，附加信息不是合成在外图像上，而是作为附加信息嵌入在外图像的图像数据中。具体地，将附加信息嵌入在符合例如Exif (可互换的图像文件格式)的外图像的图像数据中，作为所谓的Exif 数据，即作为外图像上的元数据。

另外，在再现外图像时，用户可以选择是否只显示外图像或者是否将从附加信息中获得的图像与外图像合成以便显示。例如，在将从附加信息中获得的图像与外图像合成以便显示的情况下，在图中的右侧所示出的外图像显示在显示单元21上。

在此示例中，从附加信息中获得的图像IP11被叠加并显示在被摄体H11所出现的外图像上。

由于图像IP11是用户U11的脸的图像，因此观看外图像的用户可以知道捕捉了该外图像的人、当捕捉该外图像时的用户U11的面部表情(即，用户是否微笑、生气、兴奋等等)。

如此，将从内图像中获得的图像嵌入在外图像的图像数据中作为附加信息，并且在再现外图像时，根据需要使用附加信息。这使得检查当捕捉外图像时摄影者的情况成为可能。因此，例如，当以后观看在旅游期间捕捉的外图像时，可以作为回忆，更多地享受外图像。

另外，根据图像处理设备11，由于可以在图像中检查捕捉外图像时的情况，例如，如果在调查事故时捕捉外图像作为参考信息，则可以容易地保存有关摄影者、成像环境，成像位置等等的信息。

(图像处理设备的配置示例)

接下来，将描述图像处理设备11的更详细的配置。

图3是示出了图像处理设备11的更详细的配置示例的框图。在图3中，相同的参考编号被给予与图1中的部分相对应的部分，并且将适当地省略其描述。

图3中所示出的图像处理设备11包括显示单元21、内图像捕捉单元22、外图像捕捉单元23、操作输入单元51、控制单元52、信号处理单元53以及记录单元54。

操作输入单元51例如由被设置为叠加在显示单元21上的触摸面板构成，并将对应于用户的操作的信号提供到控制单元52。

控制单元52根据从操作输入单元51提供的信号，控制图像处理设备11的整个操作。例如，控制单元52指示内图像捕捉单元22 或外图像捕捉单元23捕捉图像，或者指示信号处理单元53再现或记录外图像。

信号处理单元53基于从内图像捕捉单元22提供的内图像生成附加信息。信号处理单元53将附加信息添加到从外图像捕捉单元23 提供的外图像，并将添加了附加信息的外图像提供到记录单元54，以将外图像记录在记录单元54中。另外，信号处理单元53从记录单元54读取外图像，并且将外图像提供到显示单元21以便显示。

记录单元54记录从信号处理单元53提供的外图像，并且还根据需要将记录的外图像提供到信号处理单元53。

<信号处理单元的配置示例>

图3的信号处理单元53如图4更详细地示出的那样配置。

图4中所示出的信号处理单元53包括压缩单元81、附加处理单元82、提取单元83、解码单元84以及再现单元85。

压缩单元81压缩有关从内图像捕捉单元22提供的内图像的信息的量或大小，以生成附加信息，并且将附加信息提供到附加处理单元82。压缩单元81包括信息量压缩单元91、大小压缩单元92以及编码单元93。

信息量压缩单元91将内图像二进制化，以提取内图像上的被摄体的轮廓。换言之，通过二进制化处理，将内图像转换为二进制图像，并且这会导致内图像的信息量的压缩。

大小压缩单元92减小在信息量压缩单元91中获得的二进制图像的大小，以压缩二进制图像的大小。编码单元93编码由压缩单元 92压缩了大小的二进制图像，以获得作为附加信息的二进制图像。应该指出的是，由编码单元93执行的编码处理也可以是压缩内图像(二进制图像)的信息量的处理。

附加处理单元82将从压缩单元81提供的附加信息添加到从外图像捕捉单元23提供的外图像的图像数据，并且将作为结果的外图像提供到记录单元54。

提取单元83从记录单元54读取外图像，并且从外图像中提取附加信息。另外，提取单元83将外图像提供到再现单元85，并且还将从外图像中提取的附加信息提供到解码单元84。

解码单元84解码从提取单元83提供的附加信息，并且将作为结果的二进制图像提供到再现单元85。另外，解码单元84包括解压缩单元94。解压缩单元94根据需要解压缩二进制图像的大小。

再现单元85将从提取单元83提供的外图像提供到显示单元21 以便显示。另外，再现单元85包括合成单元95。合成单元95将从解码单元84提供的二进制图像与外图像合成。因此，再现单元85可以在显示单元21上显示根据需要将二进制图像与其合成的外图像。

<对成像处理的描述>

顺便说一句，当用户对于操作输入单元51执行操作，以选择将附加信息添加到外图像的模式并且给出捕捉所希望的被摄体的图像的指令时，图像处理设备11开始成像处理，并且记录其中嵌入了附加信息的外图像。在下文中，将参考图5的流程图描述由图像处理设备 11执行的成像处理。

在步骤S11中，外图像捕捉单元23根据控制单元52的指令捕捉外图像，并且将外图像提供到附加处理单元82。例如，捕捉风景图像作为外图像。

在步骤S12中，内图像捕捉单元22根据控制单元52的指令捕捉内图像，并且将内图像提供到压缩单元81。例如，捕捉对图像处理设备11进行操作的用户的脸的图像，作为内图像。

在步骤S13中，信息量压缩单元91将从内图像捕捉单元22提供的内图像转换为二进制图像。例如，信息量压缩单元91将作为彩色图像的内图像转换为256个层次水平(gradation level)的单色图像，并且还将单色图像二进制化以生成二进制图像。

因此，例如，获得捕捉外图像的用户的脸的图像作为二进制图像。由于该二进制图像是当捕捉外图像时用户的脸的图像，因此可以从该图像知道当捕捉外图像时用户的面部表情、情绪等等。

在步骤S14中，大小压缩单元92压缩在信息量压缩单元91中获得的二进制图像的大小。例如，具有与外图像同样大小的二进制图像被缩小为160×120个像素的大小，即图像的缩略图大小。

在步骤S15中，编码单元93编码具有被压缩单元92压缩了的大小的二进制图像，并且获得二进制图像作为附加信息。

例如，如图6所示，编码单元93通过游程长度编码对二进制图像RP11执行编码，并且获得作为结果的游程长度码作为附加信息。

应该指出的是，二进制图像RP11的每个方格都表示一个像素。具体而言，白色方格表示具有像素值“1”的像素，而黑色方格表示具有像素值“0”的像素。

另外，在图6中，示出了指示图中的二进制图像RP11的水平方向上的位置的坐标。例如，位于图中的二进制图像RP11的左侧的像素的坐标被表示为“1”，而位于图中的右侧的像素的坐标被表示为“11”。换言之，各个像素的坐标表示这些像素位于从二进制图像 RP11的左侧起的哪一个编号处。

在通过游程长度编码来编码二进制图像RP11的情况下，逐个像素行地编码二进制图像RP11，像素行各自具有在图中的水平方向上排列的像素。在对像素行进行编码时，通过像素行的起始点的位置和游程长度码来表达要被编码的像素行。像素行由各自具有像素值“1”的像素构成。游程长度码由像素行的长度构成。

具体地，例如，假设图中的二进制图像RP11的最上面的像素行是感兴趣的像素行，在该感兴趣的像素行中，坐标“1”处的像素具有像素值“1”，而与其相邻的坐标“2”处的像素具有像素值“0”。因此，假设在坐标“1”处具有起始点并且包括具有像素值“1”的像素的像素行通过像素行的“起始点，长度”来表达，则获得了“1,1”。

以同样的方式，在感兴趣的像素行中，假设在坐标“4”处具有起始点并且包括各自具有像素值“1”的像素的像素行通过“起始点，长度”来表达，则获得了“4,3”。另外，在感兴趣的像素行中，假设在坐标“10”处具有起始点并且包括各自具有像素值“1”的像素的像素行通过“起始点，长度”来表达，则获得了“10,2”。

在这方面，如图的右侧所示，编码单元93将通过排列指示那三组“起始点，长度”的代码而获得的代码“1,1,4,3,10,2”，设置为感兴趣的像素行的游程长度码。编码单元93将如此针对二进制图像RP11 的每个像素行而获得的游程长度码，设置为二进制图像RP11的附加信息。

压缩单元81将由编码单元93进行编码而获得的附加信息提供到附加处理单元82。

返回参考对图5的流程图的描述，在步骤S16中，附加处理单元82将从压缩单元81提供的附加信息添加到从外图像捕捉单元23 提供的外图像的图像数据，并且将作为结果的数据提供到记录单元 54。换言之，附加信息被嵌入在外图像的图像数据中，充当外图像的元数据。

在步骤S17中，记录单元54记录从附加处理单元82提供的外图像，然后，成像处理结束。

如上文所描述的，图像处理设备11压缩与外图像同时捕捉到的内图像的信息，以将该信息转换为附加信息，并且将附加信息添加到外图像。以此方式，将附加信息添加到外图像，因此在再现外图像时，使用附加信息，可以更有效地显示图像，并且还提高方便性。

例如，在图像处理设备11中，将附加信息添加到外图像，因此可以在再现时指定是否只显示外图像，或者是否使用附加信息来显示外图像。因此，可以更有效地显示外图像，并且提高方便性。

另外，当捕捉外图像时，用户不需要给出将从内图像中获得的图像与外图像合成的指令的操作，因此可以专心于成像操作。因此，还可以提高用户的方便性。

<对再现处理的描述>

当外图像被记录在记录单元54中时，用户可以对操作输入单元 51进行操作，以再现记录的外图像。此时，例如，用户对操作输入单元51进行操作，因此可以选择是否只显示外图像，或者是否将从附加信息中获得的图像与外图像合成以便显示。

在下文中，参考图7的流程图，将描述当用户给出再现外图像的指令时由图像处理设备11执行的再现处理。

在步骤S41中，提取单元83从记录单元54读取外图像，该外图像是由用户根据控制单元52的指令指定的。

在步骤S42中，提取单元83将读取的外图像提供到再现单元85，并且还从外图像的图像数据中读取附加信息，以将附加信息提供到解码单元84。

在步骤S43中，解码单元84解码从提取单元83提供的附加信息。例如，在附加信息是游程长度码的情况下，解码单元84从游程长度码恢复二进制图像。

在步骤S44中，解压缩单元94解压缩通过解码获得的二进制图像的大小。例如，具有160×120个像素的缩略图大小的二进制图像被放大为具有合适的大小的二进制图像。

解码单元84将由解压缩单元94解压缩的二进制图像提供到再现单元85，作为从附加信息中获得的图像。

在步骤S45中，再现单元85判断是否要再现二进制图像。

例如，在用户对操作输入单元51进行操作并且给出将从附加信息中获得的二进制图像与外图像合成以便显示的情况下，将表示指令的信号从控制单元52提供到信号处理单元53。在从控制单元52提供到信号处理单元53的信号表示将二进制图像与外图像合成以便显示的情况下，再现单元85判断再现二进制图像。

当在步骤S45中判断再现二进制图像时，在步骤S46中，再现单元95将从解码单元84提供的二进制图像与从提取单元83提供的外图像合成。例如，外图像上的与二进制图像合成的位置可以是预先确定的位置，由用户所指定的位置，或者通过图像识别等来标识的背景区域中的没有被摄体(前景)的位置。

再现单元85将与二进制图像合成的外图像提供到显示单元21，并且控制外图像的显示。

在步骤S47中，显示单元21显示从再现单元85提供的并且与二进制图像合成的外图像，以及再现处理结束。

另外，当在步骤S45中确定不再现二进制图像时，再现单元85 将从提取单元83提供的外图像按原样提供到显示单元21，以及处理前进到步骤S48。在此情况下，将不与二进制图像合成的外图像提供给显示单元21。

在步骤S48中，显示单元21显示从再现单元85提供的外图像，以及再现处理结束。

以此方式，图像处理设备11根据用户的指令按照原样显示外图像，或者将从被添加到外图像的附加信息中获得的二进制图像与外图像合成以便显示。

如果以这样的方式使用被添加到外图像的附加信息，则可以根据例如用户此时的感觉只显示外图像，或者显示与二进制图像合成的外图像。因此，可以更有效地显示外图像，并且提高方便性。

具体而言，如果将二进制图像与外图像合成，则观看外图像的用户可以知道当捕捉外图像时用户的面部的面部表情等，因此可以更多地享受观看外图像。

在上文中，作为压缩内图像的信息的示例，描述了执行内图像的单色转换、二进制化、大小的缩小以及编码的情况，但是可以适当地组合地执行任何类型的那些压缩处理。例如，可以只执行内图像的单色转换以获得附加信息，或者可以执行内图像的单色转换和编码以获得附加信息。另外，可以压缩内图像的区域的一部分，并且可以获得作为结果的图像或代码作为附加信息。

<第二实施例>

<信号处理单元的配置示例>

虽然在上文中描述了生成从内图像中获得的二进制图像作为附加信息的示例，但是还可以生成除二进制图像之外的其他信息作为附加信息。例如，可以生成从内图像中获得的二进制图像和摄影者信息作为附加信息。

在此情况下，信号处理单元53具有例如图8中所示出的配置。在图8中，相同参考编号被给予与图4中的部分相对应的部分，并且将适当地省略其描述。

图8中所示出的信号处理单元53包括压缩单元81、附加处理单元82、提取单元83、解码单元84、再现单元85以及面部识别单元 121。换言之，图8的信号处理单元53具有这样的配置：图4的信号处理单元53还包括面部识别单元121。

面部识别单元121通过使用预先记录在记录单元54中的注册的信息，对从内图像捕捉单元22提供的内图像执行面部识别，并且将识别的结果作为附加信息提供到附加处理单元82。

例如，在记录单元54中，将预先注册的用户的脸的图像的特征量、用户的脸的鉴别特征等与用户的用户名相关联，并且将相关联的信息记录为注册的信息。面部识别单元121通过使用注册的信息和内图像的面部识别来标识内图像上的用户，并且将标识的结果(面部识别的结果)设置为附加信息。

附加处理单元82将从面部识别单元121提供的面部识别的结果和从压缩单元81提供的二进制图像设置为附加信息，并且将附加信息添加到来自外图像捕捉单元23的外图像，以将作为结果的外图像提供到记录单元54。

<对成像处理的描述>

接下来，参考图9的流程图，将描述当信号处理单元53具有图 8中所示出的配置时执行的成像处理。

由于步骤S71到步骤S75的处理类似于图5的步骤S11到步骤 S15的处理，因此将省略其描述。然而，在步骤S72中，将通过成像获得的内图像从内图像捕捉单元22提供到压缩单元81和面部识别单元121。

在步骤S76中，面部识别单元121使用记录在记录单元54中的注册的信息，对从内图像捕捉单元22提供的内图像执行面部识别，并且将识别的结果作为附加信息提供到附加处理单元82。例如，将作为面部识别的结果标识的用户的用户名(即，摄影者信息)作为附加信息提供给附加处理单元82。

应该指出的是，作为面部识别的结果，在内图像上的用户是没有注册的新用户或其用户名没有被记录为注册的信息的用户的情况下，根据需要执行注册处理等。

在步骤S77中，附加处理单元82将从面部识别单元121提供的摄影者信息和从压缩单元81提供的编码的二进制图像，作为附加信息添加到从外图像捕捉单元23提供的外图像的图像数据，并且将作为结果的数据提供到记录单元54。

在步骤S78中，记录单元54记录从附加处理单元82提供的外图像，然后，成像处理结束。

如上文所描述的，图像处理设备11将从内图像中获得的二进制图像和摄影者信息作为附加信息添加到外图像。

因此，可以更有效地显示外图像，并且还提高方便性。例如，如果使用作为附加信息生成的摄影者信息，则例如可以有效地显示外图像，以显示由特定摄影者捕捉到的外图像的列表。

<对再现处理的描述>

另外，当外图像被记录在记录单元54中时，用户可以对操作输入单元51进行操作，以显示由特定用户捕捉到的外图像的列表。此时，例如，用户对操作输入单元51进行操作，因此可以选择是否只显示外图像，或者是否将从附加信息中获得的图像与外图像合成以便显示。

在下文中，参考图10的流程图，将描述当用户给出显示外图像的列表的指令时由图像处理设备11执行的再现处理。

在步骤S101中，提取单元83读取记录在记录单元54中的全部外图像。

在步骤S102中，提取单元83读取摄影者信息作为附加信息，该摄影者信息将被添加到每个读取的外图像，并且检测由特定摄影者捕捉到的外图像。

例如，假设特定摄影者是由对操作输入单元51进行操作的用户输入的摄影者。控制单元52根据需要，基于来自操作输入单元51的信号，经由信号处理单元53从记录单元54读取注册的信息，并且将指示由用户指定的摄影者的信息提供到信号处理单元53。结果，提取单元83基于从控制单元52提供的信息，检测由特定摄影者捕捉到的外图像。

在步骤S103中，提取单元83只将检测到的特定摄影者的外图像提供到再现单元85，并且还从特定摄影者的外图像的图像数据中读取编码的二进制图像作为附加信息，以将该信息提供到解码单元 84。例如，将游程长度码作为编码的二进制图像提供给解码单元84。

在从外图像中读取附加信息之后，执行步骤S104到步骤S107 的处理。由于那些处理类似于图7中的步骤S43到步骤S46的处理，因此将省略其描述。

然而，在步骤S104到步骤S107中，对于由特定摄影者捕捉到的所有外图像，解码从每个外图像中读取的作为附加信息的编码的二进制图像，并且将二进制图像与相应的外图像合成。

在步骤S108中，显示单元21显示从再现单元85提供的并且与二进制图像合成的外图像的列表，并且再现处理结束。

因此，例如，将图11中所示出的外图像SM11-1到SM11-6显示在显示单元21上。在此示例中，六个外图像SM11-1到SM11-6 被布置为显示在显示单元21上。分别将作为附加信息的二进制图像 IP21-1到IP21-6与那些外图像SM11-1到SM11-6合成以便显示。

以此方式，在列表中只显示特定摄影者的外图像，因此用户可以更容易地发现用户希望观看的外图像。换言之，可以更有效地显示外图像。

例如，当在列表中显示外图像SM11-1到SM11-6时，用户可以对操作输入单元51进行操作，以只在显示单元21上显示那些外图像中的一个，或者按幻灯片方式显示那些外图像。

这里应该指出的是，描述了将二进制图像与每个外图像合成以便显示的示例，但是可以预先记录用户的脸图像，作为要与外图像合成以便显示的注册的信息。

返回参考图10的流程图的描述，当在步骤S106中确定不再现二进制图像时，再现单元85按照原样将从提取单元83提供的外图像提供到显示单元21，并且处理前进到步骤S109。

在步骤S109中，显示单元21显示从再现单元85提供的外图像的列表，并且再现处理结束。

因此，例如，将图12中所示出的外图像SM11-1到SM11-6显示在显示单元21上。应该指出的是，在图12中，相同参考符号被给予与图11中的情况相对应的部分，并且将适当地省略其描述。

在图12的示例中，六个外图像SM11-1到SM11-6被布置为显示在显示单元21上。在那些外图像SM11-1到SM11-6上，不显示作为附加信息的二进制图像。

以此方式，在列表中只显示特定摄影者的外图像，因此用户可以更容易地发现用户希望观看的外图像，如在图11的示例中一样。

例如，当在列表中显示外图像SM11-1到SM11-6时，用户可以对操作输入单元51进行操作，以只在显示单元21上显示那些外图像中的一个，或者按幻灯片方式显示那些外图像。

如上文所描述的，图像处理设备11使用摄影者信息来检测特定摄影者的外图像。将摄影者信息作为附加信息添加到外图像。然后，图像处理设备11显示检测到的外图像的列表。另外，当显示外图像的列表时，图像处理设备11根据用户的指令将二进制图像与相应的外图像合成以便显示。

如果以这样的方式使用被添加到每个外图像并且充当附加信息的摄影者信息，则可以更有效地显示外图像，例如，只显示特定摄影者的外图像，并且还提高方便性。另外，如果使用作为附加信息的编码的二进制图像，则当显示外图像的列表时，可以只显示外图像，或者显示与二进制图像合成的外图像。

<第三实施例>

<信号处理单元的配置示例>

虽然在上文中描述了作为附加信息生成编码的二进制图像和摄影者信息的情况，但是可以生成指示外图像上的注视区域的信息作为附加信息。这里，注视区域是指作为摄影者的用户在捕捉外图像时注视的外图像上的区域。

在以这样的方式生成指示注视区域的信息作为附加信息的情况下，信号处理单元53例如具有图13中所示出的配置。应该指出的是，在图13中，相同参考编号被给予与图4中的部分相对应的部分，并且将适当地省略其描述。

图13中所示出的信号处理单元53包括注视区域检测单元151、附加处理单元82、提取单元83、成本计算单元152以及再现单元85。换言之，图13的信号处理单元53具有这样的配置：图4的信号处理单元53包括注视区域检测单元151和成本计算单元152，以代替压缩单元81和解码单元84。

注视区域检测单元151基于从内图像捕捉单元22提供的内图像，检测注视区域或用户正在注视的外图像上的区域，并且将检测的结果作为附加信息提供到附加处理单元82。

附加处理单元82将从注视区域检测单元151提供的指示注视区域的检测结果的信息添加到从外图像捕捉单元23提供的外图像的图像数据，该信息充当附加信息。附加处理单元82将作为结果的信息提供到记录单元54。

成本计算单元152基于从提取单元83提供的作为附加信息的指示注视区域的检测结果的信息，计算在同时或按顺序叠加并显示多个外图像的情况下的注视区域的重叠度作为成本。成本计算单元152将成本提供到再现单元85。

再现单元85基于从成本计算单元152提供的成本，控制显示单元21对外图像的显示，并且叠加多个外图像以便显示，使得各个外图像的注视区域尽可能地彼此不重叠。

<对成像处理的描述>

接下来，参考图14的流程图，将描述当信号处理单元53具有图13中所示出的配置时执行的成像处理。

由于步骤S131和步骤S132的处理类似于图5的步骤S11和步骤S12的处理，因此将省略其描述。

另外，在步骤S131中，在捕捉外图像时，经由信号处理单元53 的再现单元85，将由外图像捕捉单元23拍摄的图像作为外图像的预览图像提供到显示单元21，然后显示该图像。换言之，在外图像的预览图像显示在显示单元21上的情况下，用户对操作输入单元51进行操作，以给出捕捉外图像的指令。

在步骤S133中，注视区域检测单元151基于从内图像捕捉单元 22提供的内图像，检测在捕捉外图像时用户的视线方向，以检测外图像上的用户的注视区域。

例如，注视区域检测单元151从内图像检测人脸的区域，以确定检测到的面部区域上的眼睛区域。然后，注视区域检测单元151使用确定的眼睛区域和预先准备的学习数据组来执行模式匹配，以获得用户的视线方向。例如，在模式匹配中，与在与眼睛区域匹配时具有最高得分的学习数据相关联的视线是要获得的视线方向。

另外，注视区域检测单元151基于内图像上的用户的脸的位置和大小，计算用户的脸的实际位置与内图像捕捉单元22和显示单元21之间的相对位置关系，并且基于该位置关系和视线方向来检测注视区域。换言之，由于当捕捉内图像时外图像的预览图像显示在显示单元21上，因此在显示单元21的一个区域上显示的并且当捕捉内图像时用户正注视的外图像的区域应该是用户正注视的区域。

应该指出的是，例如，在美国专利第6246779号的说明书中描述了检测视线以及指定用户的注视区域的技术。

当基于内图像来检测外图像上的注视区域时，作为检测的结果，注视区域检测单元151将外图像上的矩形区域的坐标(矩形的坐标) 作为附加信息提供到附加处理单元82，矩形区域例如指示注视区域。

在步骤S134中，附加处理单元82将从注视区域检测单元151 提供的附加信息添加到从外图像捕捉单元23提供的外图像的图像数据，并且将作为结果的数据提供到记录单元54。

在步骤S135中，记录单元54记录从附加处理单元82提供的外图像，并且成像处理结束。

如上文所描述的，图像处理设备11获得指示外图像的注视区域的信息作为附加信息，该信息是基于与外图像同时捕捉到的内图像而检测到的。然后，图像处理设备11将获得的附加信息添加到外图像。

以此方式，将附加信息添加到外图像，因此在再现外图像时，使用附加信息，可以更有效地显示图像，并且还提高方便性。例如，当同时显示多个外图像时，可以显示多个外图像，使得各个外图像的注视区域尽可能地彼此不重叠。指示注视区域并作为附加信息生成的信息是仅当捕捉外图像时才获得的信息。如果当显示外图像时使用这样的信息，则可以有效地呈现外图像。

<对再现处理的描述>

另外，当外图像被记录在记录单元54中时，用户可以对操作输入单元51进行操作，以按幻灯片方式显示外图像。此时，例如，用户对操作输入单元51进行操作，因此可以选择是否一个接一个地显示外图像，或者是否叠加多个外图像以便同时显示。

在下文中，参考图15的流程图，将描述当用户给出按幻灯片方式来显示外图像的指令时由图像处理设备11执行的再现处理。

由于步骤S161和步骤S162的处理类似于图7的步骤S41和步骤S42的处理，因此将省略其描述。

然而，在步骤S161中，例如，读取由用户指定的文件夹中的诸如外图像之类的多个外图像。另外，在步骤S162中，将从每个外图像中读取的作为附加信息的指示注视区域的信息从提取单元83提供到成本计算单元152。

在步骤S163中，成本计算单元152基于从提取单元83提供的作为附加信息的指示注视区域的信息，计算被摄体的重叠度作为成本，并且将成本提供到再现单元85。

具体地，成本计算单元152计算外图像的每个区域的重要度，其中将注视区域作为凸极(saliency)(重要点)。例如，将注视区域的重要度提高，而将注视区域之外的其他区域的重要度降低。此时，在更靠近注视区域的中心的位置处，可以将重要度提高得更多。

基于如此计算出的外图像的每个区域的重要度，成本计算单元 152针对叠加同时显示的多个外图像的方式，计算被摄体的重叠度的成本，并且将成本提供到再现单元85。例如，当外图像被如此叠加以使得具有更高重要度的区域被其他重叠的外图像遮蔽时，成本被计算以便提高得更高。

在步骤S164中，再现单元85确定是否叠加多个外图像以便显示。

当在步骤S164中确定多个外图像被叠加以便显示时，在步骤 S165中，合成单元95基于从成本计算单元152提供的成本，叠加并合成从提取单元83提供的多个外图像。

例如，合成单元95按照由从成本计算单元152提供的最低成本确定的叠加方式，合成多个外图像。因此，多个外图像被叠加，以便各个外图像的主要被摄体尽可能地彼此不重叠，即，注视区域不被其他外图像遮蔽。

再现单元85将合成的多个外图像提供到显示单元21，并且给出按幻灯片方式显示多个外图像的指令。

在步骤S166中，显示单元21按幻灯片方式显示从再现单元85 提供的合成的多个外图像，其中多个外图像被同时显示。再现处理结束。

因此，例如，图16中所示出的外图像被显示在显示单元21上。

在图16的示例中，三个外图像P11-1到P11-3被显示在显示单元21上。那些外图像彼此部分地重叠。具体而言，在该示例中，三个外图像被叠加，使得各个外图像的主要被摄体不被其他外图像遮蔽。

应该指出的是，在叠加多个外图像以便显示的方法中，可以按顺序一个接一个地重叠外图像以便显示，或者可以被叠加以便同时显示、接着继之以同时显示的多个不同的外图像。

例如，在美国专利第7595809号的说明书中描述了基于图像的凸极来叠加并显示多个图像的技术。

返回参考对图15的流程图的描述，当在步骤S164中确定外图像不被叠加以便显示时，再现单元85按顺序将从提取单元83提供的外图像提供到显示单元21。处理前进到步骤S167。

在步骤S167中，显示单元21按顺序显示从再现单元85提供的外图像，以按幻灯片方式显示外图像。再现处理结束。

如上文所描述的，图像处理设备11基于指示注视区域的信息，叠加多个外图像以便显示，使得不同的外图像尽可能地在相应的注视区域处彼此不重叠，其中将信息作为附加信息添加到外图像。以此方式，使用仅当捕捉外图像时才可以获得的附加信息，因此可以更有效地显示外图像。

在上文中，描述了将作为附加信息的指示注视区域的信息用于叠加外图像以便显示的示例，但是可以将指示注视区域的信息用于显示外图像的其他方法。例如，在基于指示注视区域的信息而一个接一个地按顺序显示外图像的情况下，可以放大外图像的注视区域以便显示(变焦)。

<第四实施例>

<信号处理单元的配置示例>

可以获得内图像的一部分作为附加信息，而在再现外图像时，可以将充当附加信息的图像与外图像合成。

具体地，如图17所示，例如，假设捕捉具有风景的被摄体的外图像OT11和具有用户的被摄体的内图像IN11。

在此情况下，对外图像OT11执行视角转换处理，并且获得作为结果的图像T11作为最终的外图像。在该示例中，图像T11是通过转换外图像OT11的纵横比而获得的图像。在图像T11中，外图像 OT11上的全部被摄体都出现。换言之，图像T11是通过在图的水平方向上缩小外图像OT11而获得的图像。

另外，还对内图像IN11执行诸如面部识别之类的处理，从内图像IN11检测主要被摄体的区域，以及裁剪包括内图像IN11的主要被摄体的区域的一个区域，以获得图像C11作为附加信息。具体而言，在主要被摄体是人脸的情况下，当对主要被摄体的区域执行图像变换处理时，人脸失真。这里，裁剪主要被摄体的区域，因此获得没有失真的图像。

应该指出的是，假设图中的图像T11的垂直方向上的长度与水平方向上的长度的比率被预先指定为外侧纵横参数(aspect parameter)。类似地，假设图中的图像C11的垂直方向上的长度与水平方向上的长度的比率被预先指定为内侧纵横参数。

另外，那些外侧纵横参数和内侧纵横参数被确定为使得：当图像T11和图像C11被排列在图中的水平方向上以成为一个图像时获得的图像的纵横比，变得与原始外图像OT11的纵横比相同。

当以这样的方式获得图像C11时，将图像C11作为附加信息添加到图像T11的图像数据。

在再现图像T11时，用户可以选择是否按照原样再现图像 T11，或者是否将作为附加信息的图像C11与图像T11合成以便显示。

例如，在发出显示其中图像C11与图像T11合成的图像的指令的情况下，图像处理设备11在图中的水平方向上排列图像T11和图像C11，并且合成那些图像，以生成合成图像P21。然后，图像处理设备11显示所获得的合成图像P21。

例如，在内图像和外图像被部分地裁剪以彼此耦合的情况下，存在主要被摄体或风景被删除的可能性。与此相比，合成图像P21 是示出了当捕捉外图像OT11时摄影者的状态、同时保留了原始外图像OT11的全部内容的图像，因此可以更有效地显示图像。

另外，在内图像和外图像被简单地排列以彼此耦合的情况下，图像的纵横比被改变，并且，例如，由于与显示单元21的纵横比的不同，导致发生了如下麻烦：图像应该以小尺寸来显示。与此相比，合成图像P21具有与原始外图像OT11相同的纵横比，因此在显示时没有麻烦。

在以这样的方式裁剪内图像的一部分以获得附加信息的情况下，例如，信号处理单元53具有图18中所示出的配置。应该指出的是，在图18中，相同参考编号被给予与图4中的部分相对应的部分，并且将适当地省略其描述。

图18中所示出的信号处理单元53包括视角转换单元181、附加处理单元82、主要区域检测单元182、裁剪处理单元183、提取单元 83、以及再现单元85。

视角转换单元181基于指定的外侧纵横参数，对从外图像捕捉单元23提供的外图像执行视角转换处理，以便外图像获得目标纵横比，并且将作为结果的图像提供到附加处理单元82。

主要区域检测单元182从自内图像捕捉单元22提供的内图像检测主要被摄体的区域(在下文中，被称为主要区域)，并且将检测的结果和内图像提供到裁剪处理单元183。

基于从主要区域检测单元182提供的对主要区域的检测的结果、以及指定的内侧纵横参数，裁剪处理单元183裁剪包括内图像的主要区域的区域，以获得裁剪的图像，并且将裁剪的图像提供到附加处理单元82。换言之，将通过对内图像执行的裁剪处理获得的裁剪的图像，作为附加信息提供给附加处理单元82。

附加处理单元82将裁剪的图像添加到从视角转换单元181提供的外图像，其中裁剪的图像是作为附加信息从裁剪处理单元183提供的。附加处理单元82将作为结果的图像提供到记录单元54。

提取单元83从自记录单元54中读取的外图像提取附加信息，并且将外图像和附加信息提供到再现单元85。

<对成像处理的描述>

接下来，参考图19的流程图，将描述当信号处理单元53具有图18中所示出的配置时由图像处理设备11执行的成像处理。

由于步骤S191和步骤S192的处理类似于图5的步骤S11和步骤S12的处理，因此将省略其描述。

在步骤S193中，视角转换单元181基于指定的外侧纵横参数，对从外图像捕捉单元23提供的外图像执行视角转换处理，并且将作为结果的图像提供到附加处理单元82。

例如，视角转换单元181通过接缝雕刻(seam carving)处理来转换外图像的视角。在接缝雕刻处理中，计算其中成本变得最低的垂直方向上的路径，直到外图像的纵横比达到由外侧纵横参数指示的纵横比，并且重复使路径上的像素变得稀少的处理。换言之，执行使像素变得稀少的处理，以便相对于原始图像的模式的变化变为最小。

因此，例如，获得图17中所示出的图像T11作为最终的外图像，并且将其提供给附加处理单元82。

应该指出的是，作为转换外图像的视角的视角转换处理描述了接缝雕刻处理的示例，但是可以执行缩小图像的处理作为视角转换处理。

在步骤S194中，主要区域检测单元182从自内图像捕捉单元22 提供的内图像中检测主要区域，并且将检测的结果和内图像提供到裁剪处理单元183。例如，对内图像执行面部识别处理，并且获取内图像中的人脸的区域作为主要区域。

在步骤S195中，裁剪处理单元183基于对从主要区域检测单元 182提供的主要区域的检测结果以及指定的内侧纵横参数，对从主要区域检测单元182提供的内图像执行裁剪处理。

换言之，裁剪处理单元183裁剪包括内图像中的主要区域并具有由内侧纵横参数指示的纵横比的区域，以获得裁剪的图像，并且将裁剪的图像提供到附加处理单元82。因此，例如，获得图17中所示出的图像C11作为裁剪的图像。如此获得的裁剪的图像是外图像的附加信息。

在步骤S196中，附加处理单元82将从裁剪处理单元183提供的并且充当附加信息的裁剪的图像添加到从视角转换单元181提供的外图像的图像数据，并且将作为结果的图像提供到记录单元54。

在步骤S197中，记录单元54记录从附加处理单元82提供的外图像，并且成像处理结束。

如上文所描述的，图像处理设备11获得裁剪的图像作为附加信息，裁剪的图像是通过裁剪包括内图像的主要区域的区域而获得的，并且将裁剪的图像添加到外图像。以此方式，作为附加信息的裁剪的图像被嵌入在外图像中，因此可以只显示外图像，或者将裁剪的图像与外图像合成以便显示。因此，可以更有效地显示外图像，并且还提高方便性。

<对再现处理的描述>

另外，当外图像被记录在记录单元54中时，用户可以对操作输入单元51进行操作，以显示外图像。此时，例如，用户对操作输入单元51进行操作，因此可以选择是否只显示外图像，或者是否将作为附加信息的裁剪的图像与外图像合成以便显示。

在下文中，参考图20的流程图，将描述当用户给出再现外图像的指令时由图像处理设备11执行的再现处理。

在步骤S221中，提取单元83从记录单元54读取外图像，外图像是由用户根据控制单元52的指令指定的。

在步骤S222中，提取单元83从外图像的图像数据读取裁剪的图像，作为附加信息，并将裁剪的图像和外图像提供到再现单元85。

在步骤S223中，再现单元85判断是否合成裁剪的图像与外图像。

当在步骤S223中判断合成裁剪的图像时，在步骤S224中，合成单元95合成裁剪的图像与从提取单元83提供的外图像。具体地，合成单元95排列外图像和裁剪的图像，并在靠近外图像和裁剪的图像的边界的区域对那些图像执行加权加法处理，以生成一个合成图像。因此，例如，获取图17所示出的合成图像P21。

这里，加权加法处理中所使用的权重被确定为，以便更靠近外图像一侧的位置具有，例如，外图像的更大的权重。更具体而言，在执行加权加法处理的情况下，外图像的大小和裁剪的图像的大小被增大对应于加权加法处理所需的区域的比例，最终获得的合成图像与原始外图像具有相同长径比。

当如此获得合成图像时，再现单元85将合成图像提供到显示单元21。

在步骤S225中，显示单元21显示从再现单元85提供的合成图像，再现处理结束。

另外，当在步骤S223中判断不合成裁剪的图像时，再现单元85 照原样将外图像提供到显示单元21，外图像是从提取单元83提供的，处理转到步骤S226。

在步骤S226中，显示单元21显示从再现单元85提供的外图像，再现处理结束。

如上文所描述的，图像处理设备11照原样显示外图像，或根据用户的指令，合成裁剪的图像与外图像，供显示，裁剪的图像是作为附加信息添加的。

如果以这样的方式使用被添加到外图像的附加信息，则可以显示外图像和合成图像所希望的图像。换言之，可以更有效地显示外图像，当用户查看外图像时，给用户提供更好的享受。

<第五实施例>

<信号处理单元的配置示例>

在上文所描述的第二实施例中，描述了其中摄影者信息作为附加信息被添加到外图像，但是，可以根据作为附加信息的摄影者信息来确定外图像的记录区域的示例。

例如，如图21所示，假设捕捉了四个外图像P41到P44，作为那些外图像的附加信息，获取了摄影者信息。在此示例中，当再现外图像P41到P44时，根据需要，将二进制图像IP41到IP44与外图像P41到P44合成，供显示。

在以这样的方式获取了外图像P41到P44的情况下，那些外图像按摄影者分类，记录在文件夹中，摄影者由外图像的摄影者信息的片段指出。

例如，如图中的右侧所示，预先给记录单元54提供了摄影者A 的文件夹FD11和摄影者B的文件夹FD12。

假设作为附加信息被添加到外图像P41和P44的摄影者信息是指出摄影者A的信息，而作为附加信息被添加到外图像P42和P43 的摄影者信息是指出摄影者B的信息。在这样的情况下，外图像P41 和P44被记录在文件夹FD11中，而外图像P42和P43被记录在文件夹FD12中。

如此，在外图像被记录在作为由摄影者信息确定的记录区域的按摄影者分类的文件夹中的情况下，信号处理单元53具有，例如，图22所示出的配置。在图22中，相同参考编号被给予对应于图8中的部分的部分，将适当地省略其描述。

图22所示出的信号处理单元53包括压缩单元81、附加处理单元82、提取单元83、解码单元84、再现单元85、面部识别单元121，以及分类单元211。换言之，图22的信号处理单元53具有其中图8的信号处理单元53还包括分类单元211的配置。

分类单元211将外图像从附加处理单元82提供到记录单元54，进行记录，以便存储在记录单元54的文件夹之中的由作为附加信息被添加到外图像中的摄影者信息确定的文件夹中。

<对成像处理的描述>

接下来，参考图23的流程图，将对当信号处理单元53具有图22所示出的配置时执行的成像处理进行描述。由于步骤S251到S257的处理类似于图9的步骤S71到S77的处理，将省略其描述。然而，在步骤S257中，从附加处理单元82向分类单元211提供作为附加信息向其添加了摄影者信息和编码的二进制图像的外图像的图像数据。

在步骤S258中，分类单元211根据从附加处理单元82提供的外图像的附加信息，将外图像记录在记录单元54中，成像处理结束。

具体地，摄影者信息与，例如，记录单元54中所提供的文件夹中的每一个相关联。分类单元211标识与添加到外图像的摄影者信息相同的摄影者信息与其相关联的文件夹。分类单元211将外图像提供到记录单元54，以便存储在标识的文件夹中，然后，记录在其中。换言之，外图像被记录在记录单元54的记录区域中，记录区域被假设为所标识的文件夹的区域。

如上文所描述的，图像处理设备11将从内图像作为附加信息获取的二进制图像和摄影者信息添加到外图像中，并将外图像记录到由摄影者信息确定的文件夹中。

因此，可以更有效地显示外图像，还改善方便性。例如，如果使用作为附加信息生成的摄影者信息，则可以有效地显示，例如，外图像，以显示由特定摄影者捕捉到的外图像的列表。另外，由于外图像被根据在记录外图像时的摄影者信息，记录在按摄影者分类的文件夹中，因此，可以快速地标识特定摄影者的外图像。

<对再现处理的描述>

另外，当外图像被记录在记录单元54中时，用户可以对操作输入单元51进行操作，以显示由特定用户捕捉到的外图像的列表。此时，用户，例如，对操作输入单元51进行操作，如此，可以选择是否只显示外图像或是否合成从附加信息中获取的图像与外图像，供显示。

在下文中，参考图24的流程图，将描述当用户给出显示外图像列表的指令时由图像处理设备11执行的再现处理。

在步骤S281中，提取单元83读取记录单元54的特定文件夹中记录的所有外图像。例如，提取单元83读取存储在由对操作输入单元51进行操作的用户所指定的任何一个用户(摄影者)的文件夹中的外图像。

另外，例如，提取单元83还可以读取存储在登录到图像处理设备11的用户(摄影者)的文件夹中的外图像。进一步，还可以由内图像捕捉单元22捕捉内图像，由面部识别单元121执行面部识别，读取存储在作为面部识别的结果标识的用户(即，对图像处理设备 11进行操作的用户)的文件夹中的外图像。

在以这样的方式读取外图像之后，执行步骤S282到S288，并结束再现处理。由于那些处理类似于图10中的步骤S103到S109的处理，因此，将省略其描述。

如上文所描述的，图像处理设备11从按照摄影者提供的文件夹中读取外图像，以显示外图像的列表，摄影者是由被作为附加信息添加到外图像的摄影者信息指出的。另外，当外图像显示在列表中时，图像处理设备11根据用户的指令，合成二进制图像与外图像，供显示。

如果以这样的方式使用作为附加信息添加到外图像的摄影者信息，则可以更有效地显示外图像，例如，只显示特定摄影者的外图像。另外，如果外图像被存储在由作为附加信息的摄影者信息确定的文件夹中，可以更轻松地并且快速地标识特定摄影者的外图像，这会改善方便性。

<第六实施例>

<信号处理单元的配置示例>

在检测到笑容时可以检测操作图像处理设备11的用户的笑容，以捕捉外图像和内图像，可以将用户的笑容度作为附加信息添加到外图像。

在这样的情况下，信号处理单元53具有，例如，图25所示出的配置。在图25中，相同参考编号被给予对应于图8中的部分的部分，将适当地省略其描述。

图25所示出的信号处理单元53包括压缩单元81、附加处理单元82、提取单元83、解码单元84、再现单元85、面部识别单元121，以及笑容检测单元241。换言之，图25的信号处理单元53具有其中图8的信号处理单元53还包括笑容检测单元241的配置。

笑容检测单元241从来自于内图像捕捉单元22的内图像检测操作图像处理设备11的用户的笑容，即，作为外图像的摄影者的用户。笑容检测单元241根据检测的结果，将信息提供到控制单元52，信息指出成像时刻来临。控制单元52根据指出成像时刻来临的信息，控制外图像捕捉单元23和内图像捕捉单元22捕捉外图像和内图像，信息是从笑容检测单元241提供的。

另外，笑容检测单元241生成用户的笑容度，笑容度是从内图像检测的并充当附加信息，并将附加信息提供到附加处理单元82。

<对成像处理的描述>

接下来，参考图26的流程图，将对当信号处理单元53具有图 25所示出的配置时执行的成像处理进行描述。在此情况下，用户对操作输入单元51进行操作，当用户给出捕捉外图像的指令时，成像处理启动。

在步骤S311中，内图像捕捉单元22根据控制单元52的指令，捕捉内图像，并将内图像提供到压缩单元81、面部识别单元121，以及笑容检测单元241。

在步骤S312中，笑容检测单元241从来自于内图像捕捉单元22 的内图像检测用户的笑容。

例如，笑容检测单元241保存了预先确定的大量的笑容的学习数据。这里，学习数据是指，例如，具有诸如笑容和大声笑之类的面部表情的人类的面部的图像数据，不管特定笑容。

笑容检测单元241比较从每一学习数据片段中获取的特征量与从内图像中获取的特征量，以计算分数值，如此，计算内图像上的用户的笑容度。此时，与内图像的相似度被视为内图像上的用户的笑容度。另外，例如，在笑容度具有特定值或更大的情况下，可以认为，从内图像中检测到笑容。

应该指出的是，检测笑容的方法可以是任何方法，只要可以从内图像检测笑容。例如，笑容检测单元241可以对于预先确定的多个笑容度，按照笑容度来保存学习数据。这里，学习数据是指，例如，平均人类笑容的图像数据，这是特定笑容度，即，具有诸如微弱的笑容和大声笑声之类的特定面部表情的平均人类面部的图像数据。

笑容检测单元241比较从每一学习数据片段中获取的特征量与从内图像中获取的特征量，从学习数据片段中标识最类似于内图像的学习数据，来计算内图像上的用户的笑容度。此时，在有其中与内图像的相似度是特定值或更大的学习数据的情况下，可以认为，从内图像中检测到笑容，具有最高相似度的学习数据中的笑容度被视为是内图像上的用户的笑容度。

在步骤S313中，笑容检测单元241判断是否从内图像中检测到笑容。

当在步骤S313中判断没有检测到笑容时，过程返回步骤S311，重复上文所描述的处理。

与此不同的是，当在步骤S313中判断检测到笑容时，笑容检测单元241将信息提供到控制单元52，信息指出成像时刻已经来临，处理转到步骤S314。另外，笑容检测单元241还内图像上的用户的笑容度提供到附加处理单元82，笑容度是通过笑容检测获得的，并充当附加信息。

这里应该指出的是，作为外图像的附加信息的笑容度是指出捕捉外图像的摄影者的笑容(面部表情)的信息。另外，在计算笑容检测单元241中的笑容度时，可以使用从内图像检测到的用户的脸中的嘴的形状、牙齿区域的大小等等。

在从内图像检测到笑容之后，执行步骤S314到S319的处理。由于那些处理类似于图9中的步骤S71到S76的处理，因此，将省略其描述。然而，在步骤S314和S315中，控制单元52导致外图像捕捉单元23和内图像捕捉单元22基于指出成像时间来临的信息，来捕捉外图像和内图像，该信息是从笑容检测单元241提供的。换言之，在检测到摄影者的笑容时，捕捉外图像和内图像。

在步骤S320中，附加处理单元82，从面部识别单元121获取摄影者信息、从压缩单元81获取已编码的二进制图像，并从笑容检测单元241获取笑容度，作为附加信息，并将附加信息与来自外图像捕捉单元23的外图像的图像数据相加。然后，附加处理单元82将附加信息与其相加的外图像的图像数据提供到记录单元54。

在步骤S321中，记录单元54记录从附加处理单元82提供的外图像，成像处理结束。

如上文所描述的，图像处理设备11将作为附加信息从内图像获取的二进制图像、摄影者信息，以及笑容度与外图像相加。

因此，可以更有效地显示外图像，并改善方便性。例如，如果笑容度被用作附加信息，则可以有选择地显示其中在捕捉图像时摄影者具有特定面部表情，即，特定笑容的度的外图像。另外，如果作为附加信息获取了笑容度，则可以更轻松地并快速地检测特定笑容度中的外图像，这改善了方便性。

<对再现处理的描述>

另外，当在记录单元54中记录外图像时，用户可以对操作输入单元51进行操作，以按幻灯片方式或按列表方式显示带有特定笑容度的外图像。此时，用户，例如，对操作输入单元51进行操作，如此，可以选择是否只显示外图像或是否合成从附加信息中获取的图像与外图像，供显示。

在下文中，参考图27的流程图，将描述当用户给出按幻灯片方式显示外图像时由图像处理设备执行的再现处理。

在步骤S351中，提取单元83读取在记录单元54中记录的全部外图像。

在步骤S352中，提取单元83读取与读取的外图像中的每一个相加的笑容度，作为附加信息，并检测带有特定笑容度的外图像。例如，由用户预先指定特定笑容度。

在检测到带有特定笑容度的外图像之后，执行步骤S353到S357 的处理。由于那些处理类似于图10中的步骤S103到S107的处理，因此，将省略其描述。然而，在步骤S353中，从带有特定笑容度的每一个外图像中读取附加信息，并将那些外图像提供给再现单元85。另外，再现单元85还按顺序将二进制图像与其合成的外图像提供到显示单元21。

在步骤S358中，显示单元21按顺序显示二进制图像与其合成的并且从再现单元85提供的外图像，再现处理结束。

与此不同的是，当在步骤S356中判断不再现二进制图像时，再现单元85将从提取单元83提供的外图像按原样提供到显示单元21，处理转到步骤S359。

在步骤S359中，显示单元21按顺序显示从再现单元85提供的外图像，再现处理结束。

如上文所描述的，图像处理设备11使用作为附加信息添加到外图像的笑容度，检测并显示带有特定笑容度的外图像。另外，当显示外图像时，图像处理设备11根据用户的指令，合成二进制图像与每一外图像，供显示。

如果以这样的方式使用作为附加信息添加到外图像的笑容度，则可以更有效地显示外图像，例如，只显示当摄影者具有特定面部表情时捕捉到的外图像。

<第七实施例>

<信号处理单元的配置示例>

虽然在上文中描述了作为外图像的附加信息添加了笑容度的示例，但是，可以根据作为附加信息的笑容度，确定外图像的记录区域。

例如，如图28所示，假设捕捉三个外图像P51到P53，作为那些外图像的附加信息，获取笑容度。在此示例中，当再现外图像P51 到P53时，根据需要，将二进制图像IP51到IP53与外图像P51到 P53合成。

在以这样的方式获取外图像P51到P53的情况下，那些外图像被根据摄影者的笑容度记录在文件夹中。

例如，如图的右侧所示，预先给记录单元54提供了笑容度A的文件夹FD21和笑容度B的文件夹FD22。

假设作为附加信息添加到外图像P51和P53的笑容度是指出笑容度B的信息，而作为附加信息添加到外图像P52的笑容度是指出笑容度A的信息。在这样的情况下，外图像P52被记录在文件夹 FD21中，外图像P51和P53被记录在文件夹FD22中。

如此，在外图像被根据笑容度作为由摄影者的笑容度确定的记录区域记录在文件夹的情况下，信号处理单元53，例如，具有图29 所示出的配置。在图29中，相同参考编号被给予对应于图25中的部分的部分，将适当地省略其描述。

图29所示出的信号处理单元53包括压缩单元81、附加处理单元82、提取单元83、解码单元84、再现单元85、面部识别单元121、笑容检测单元241，以及分类单元271。换言之，图29的信号处理单元53具有这样的配置：图25的信号处理单元53还包括分类单元 271。

分类单元271将外图像从附加处理单元82提供到记录单元54，供记录，以便存储在记录单元54的文件夹中的由作为附加信息添加到外图像的笑容度确定的文件夹中。

<对成像处理的描述>

接下来，参考图30的流程图，将描述当信号处理单元53具有图29所示出的配置时执行的成像处理。

由于步骤S381到S390的处理类似于图26的步骤S311到S320 的处理，因此，将省略其描述。然而，在步骤S390中，从附加处理单元82向分类单元271提供向其作为附加信息添加摄影者信息、编码的二进制图像，以及笑容度的外图像的图像数据。

在步骤S391中，分类单元271根据从附加处理单元82提供的外图像的附加信息，将外图像记录在记录单元54中，成像处理结束。

具体地，笑容度与，例如，记录单元54中所提供的文件夹中的每一个相关联。分类单元271标识与被添加到外图像的笑容度的相同笑容度与其相关联的文件夹。然后，分类单元271将外图像提供到记录单元54，以便存储在标识的文件夹中，然后记录在其中。换言之，外图像被记录在记录单元54的记录区域中，假设记录区域为所标识的文件夹的区域。

如上文所描述的，图像处理设备11将作为附加信息从内图像获取的二进制图像、摄影者信息，以及笑容度，与外图像相加，并将外图像记录在由笑容度确定的文件夹中。

因此，可以更有效地显示外图像，并改善方便性。例如，如果使用作为附加信息生成的笑容度，则可以，例如，有效地显示外图像，以显示在特定面部表情中捕捉到的外图像。另外，由于根据当记录外图像时的笑容度，根据摄影者的面部表情，将外图像记录在文件夹中，因此，可以快速地标识特定笑容度的外图像。这改善了方便性。

应该指出的是，这里描述了根据笑容度提供文件夹(不管摄影者)的示例，但是，可以对于每一个摄影者，根据笑容度，提供文件夹。在这样的情况下，外图像存储在由摄影者信息以及外图像的笑容度确定的文件夹中。

<对再现处理的描述>

另外，当外图像被记录在记录单元54中时，用户可以对操作输入单元51进行操作，以显示由具有特定面部表情的用户捕捉到的外图像或按列表方式显示外图像。此时，用户，例如，对操作输入单元 51进行操作，如此，可以选择是否只显示外图像或是否合成从附加信息中获取的图像与外图像，供显示。

在下文中，参考图31的流程图，将描述当用户给出显示外图像的指令时由图像处理设备11执行的再现处理。

在步骤S431中，提取单元83读取记录在记录单元54的特定文件夹中的全部外图像。例如，提取单元83读取由对操作输入单元51 进行操作的用户所指定的任何笑容度的文件夹中的外图像。

在以这样的方式读取外图像之后，执行步骤S432和S438的处理，再现处理结束。由于那些处理类似于图27中的步骤S353到 S359的处理，因此，将省略其描述。

如上文所描述的，图像处理设备11从根据由笑容度指出的摄影者的面部表情上提供的文件夹中读取外图像，以显示外图像，笑容度是作为附加信息添加到外图像的。另外，当显示外图像时，图像处理设备11根据用户的指令，合成二进制图像与每一外图像，供显示。

如此，如果使用作为附加信息被添加到外图像的笑容度，则可以更有效地显示外图像，例如，只显示当摄影者具有特定面部表情时捕捉到的外图像。另外，如果外图像存储在由作为附加信息的笑容度确定的文件夹中，则可以更轻松地并且快速地标识特定笑容度的外图像，这改善了方便性。

<第八实施例>

<对成像处理的描述>

在上文所描述的第七实施例中，描述了其中当从内图像检测到笑容时捕捉外图像的示例但是，可以根据用户的指令，捕捉外图像和内图像，外图像可以记录在对应于笑容度的文件夹中。

在这样的情况下，信号处理单元53具有，例如，图29所示出的配置。然而，在此示例中，不将指出成像时刻已经来临的信息从笑容检测单元241提供到控制单元52。控制单元52指示外图像捕捉单元23和内图像捕捉单元23根据对操作输入单元51的操作，捕捉外图像和内图像。

接下来，参考图32的流程图，将描述当根据用户的指令来捕捉外图像和内图像并根据笑容度来记录外图像时由图像处理设备11执行的成像处理。

由于步骤S461到S466的处理类似于图23的步骤S251到S256 的处理，因此，将省略其描述。换言之，在那些处理中，根据用户的指令，捕捉外图像和内图像，生成编码的二进制图像和摄影者信息，作为外图像的附加信息。

在步骤S467中，笑容检测单元241从来自于内图像捕捉单元22 的内图像检测用户的笑容，并将如此获得的内图像上的用户的笑容度，作为附加信息，提供到附加处理单元82。例如，在步骤S467中，执行类似于图26的步骤S312的处理。

在步骤S468中，附加处理单元82，作为附加信息，从面部识别单元121获取摄影者信息，从压缩单元81获取编码的二进制图像，从笑容检测单元241获取笑容度，并将附加信息与来自外图像捕捉单元23的外图像的图像数据相加。然后，附加处理单元82将附加信息被与其相加的外图像的图像数据提供到分类单元271。

在步骤S469中，分类单元271根据从附加处理单元82提供的外图像的附加信息，将外图像记录在记录单元54中，成像处理结束。

具体地，分类单元271标识与被添加到外图像的笑容度的相同笑容度与其相关联的文件夹。然后，分类单元271将外图像提供到记录单元54，以便存储在文件夹中，并记录在其中。换言之，在步骤 S469中，执行类似于图30的步骤S391的处理。

如上文所描述的，图像处理设备11将作为附加信息从内图像获取的二进制图像、摄影者信息，以及笑容度，与外图像相加，并将外图像记录在由笑容度确定的文件夹中。

因此，可以更有效地显示外图像，并改善方便性。例如，如果使用作为附加信息生成的笑容度，则可以，例如，有效地显示外图像，以显示在特定面部表情中捕捉到的外图像。另外，由于根据当记录外图像时的笑容度，根据摄影者的面部表情，将外图像记录在文件夹中，因此，可以快速地标识特定笑容度的外图像。

另外，当外图像被记录在记录单元54中时，在图像处理设备11 中，根据由用户对操作输入单元51的操作，显示在特定面部表情中捕捉到的外图像。在这样的情况下，在图像处理设备11中，执行参考图31所描述的再现处理。换言之，显示存储在带有由用户所指定的笑容度的文件夹中的外图像。

可以通过硬件来执行上文所描述的一系列处理，或者也可以通过软件来执行。在通过软件来执行处理系列的情况下，软件的程序安装计算机上。这里，计算机的示例包括包含在专用硬件中的计算机或能够通过安装各种程序来执行各种功能的通用个人计算机。

图33是示出了由程序来执行上文所描述的系列处理的计算机的硬件的配置示例的框图。

在计算机中，中央处理单元(CPU)501、只读存储器(ROM) 502以及随机存取存储器(RAM)1003通过总线504彼此连接。

进一步，输入/输出接口505连接到总线504。输入单元506、输出单元507、记录单元508、通信单元509，以及驱动器510连接到输入/输出接口505。

输入单元506由键盘、鼠标、麦克风、成像元件等等构成。输出单元507由显示器、扬声器等等构成。记录单元508由硬盘、非易失性存储器等等构成。通信单元509由网络接口等等构成。驱动器 510驱动诸如磁盘、光盘、磁光盘，或半导体存储器之类的可移动介质511。

在具有上文所描述的配置的计算机中，CPU 501通过，例如，通过输入/输出接口505和总线504将记录在记录单元508上的程序加载到RAM 503中，并执行程序，来执行上文所描述的系列处理。

例如，由计算机(CPU 501)执行的程序可以记录在作为封装介质等等的可移动介质511上，并被共享。程序还可以通过诸如局域网、因特网，或数字卫星广播之类的有线或无线传输介质来提供。

在计算机中，程序可以通过在驱动器510上安装可移动介质511，通过输入/输出接口505，被安装在记录单元508上。程序还可以由通信单元509通过有线或无线传输介质接收，并可以安装在记录单元 508中。另外，程序还可以预先安装在ROM 502中或记录单元508。

由计算机执行的程序可以是按此说明书中所描述的顺序按序处理的程序，或可以是并行地处理的程序或在诸如调用时间之类的必需的时刻处理的程序。

本技术的各实施例不仅限于上文所描述的各实施例，而在不偏离本技术的主旨的情况下，可以在本技术的范围内以各种方式修改。

例如，本技术可以具有云计算配置，其中，一个功能是是分布的，并由多个设备通过网络共同地处理。

另外，在上文所描述的流程图中所描述的相应的步骤可以由一个设备执行，并也可以是分布式的，并由多个设备执行。

进一步，当多个处理被包括在一个步骤中时，包括在一个步骤中的多个处理可以由一个设备执行，或可以是分布式的，并由多个设备执行。

此外，本技术还可按如下方式配置：

[1]一种图像处理设备，包括：

对第一方向进行成像的第一成像单元；

对第二方向进行成像的第二成像单元，第二方向不同于第一方向；

附加信息生成单元，所述附加信息生成单元基于第一图像生成附加信息，第一图像是在由第一成像单元进行成像时获得的；以及

向第二图像的图像数据添加所述附加信息的附加处理单元，第二图像是在由第二成像单元进行成像时获得的。

[2]根据[1]所述的图像处理设备，其中

所述附加信息生成单元压缩第一图像的信息量，以生成所述附加信息。

[3]根据[1]或[2]所述的图像处理设备，其中

所述附加信息生成单元压缩第一图像的大小，以生成所述附加信息。

[4]根据[1]到[3]中的任一项所述的图像处理设备，其中

第一成像单元对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向，以及

所述图像处理设备还包括合成单元，所述合成单元将从所述附加信息中获得的图像与第二图像合成。

[5]根据[1]所述的图像处理设备，其中

第一成像单元对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向，以及

所述附加信息生成单元对第一图像执行面部识别处理，以生成第二图像的摄影者信息，作为所述附加信息。

[6]根据[5]所述的图像处理设备，还包括：

提取单元，基于所述附加信息从多个第二图像中检测第二图像，该第二图像是由特定摄影者捕捉到的；以及

再现单元，只显示由所述提取单元检测到的第二图像。

[7]根据[5]所述的图像处理设备，还包括分类单元，所述分类单元将第二图像记录在由所述摄影者信息确定的记录区域中，所述摄影者信息充当所述附加信息。

[8]根据[1]所述的图像处理设备，还包括显示单元，所述显示单元被设置于面向操作所述图像处理设备的用户的表面，第一成像单元被设置于所述表面，所述显示单元显示当第二图像被捕捉时由第二成像单元拍摄的图像，其中

所述附加信息生成单元基于第一图像检测所述用户的视线方向，以生成指示所述用户在第二图像上注视的注视区域的信息，该信息充当所述附加信息。

[9]根据[8]所述的图像处理设备，还包括再现单元，所述再现单元基于所述附加信息控制第二图像的显示。

[10]根据[9]所述的图像处理设备，其中

所述再现单元基于所述附加信息，叠加并且显示多个第二图像。

[11]根据[1]所述的图像处理设备，还包括视角转换单元，所述视角转换单元对第二图像执行视角转换处理，其中

所述附加信息生成单元获得通过切割包括第一图像上的主要被摄体的区域而获得的被裁剪的图像，作为所述附加信息，以及

所述附加处理单元向对其执行了所述视角转换处理的第二图像的图像数据添加所述附加信息。

[12]根据[11]所述的图像处理设备，还包括合成单元，所述合成单元排列并且合成充当所述附加信息的所述被裁剪的图像与对其执行了所述视角转换处理的第二图像，以生成纵横比与由第二成像单元捕捉到的第二图像的纵横比相同的合成图像。

[13]根据[1]所述的图像处理设备，其中

第一成像单元对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向，

所述附加信息生成单元基于第一图像检测所述用户的笑容，并且生成所述用户的笑容度作为所述附加信息，以及

当检测到所述用户的笑容时，第二成像单元对第二方向进行成像。

[14]根据[13]所述的图像处理设备，还包括分类单元，所述分类单元将第二图像记录在由所述笑容度确定的记录区域中，所述笑容度充当所述附加信息。

[15]根据[1]所述的图像处理设备，其中

第一成像单元对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向，

所述附加信息生成单元基于第一图像检测所述用户的笑容，并且生成所述用户的笑容度作为所述附加信息，以及

所述图像处理设备还包括分类单元，所述分类单元将第二图像记录在由所述笑容度确定的记录区域中，所述笑容度充当所述附加信息。

对参考编号的描述

11 图像处理设备

21 显示单元

22 内图像捕捉单元

23 外图像捕捉单元

53 信号处理单元

81 压缩单元

82 附加处理单元

84 解码单元

85 再现单元

121 面部识别单元

151 注视区域检测单元

181 视角转换单元

182 主要区域检测单元

183 裁剪处理单元

Claims (16)

1.一种图像处理设备，包括：

对第一方向进行成像以获得第一图像的第一成像单元；

对第二方向进行成像以获得第二图像的第二成像单元，第二方向不同于第一方向；

附加信息生成单元，所述附加信息生成单元基于第一图像生成附加信息以获得第三图像；

合成单元，所述合成单元将第三图像与第二图像合成以获得第四图像，第四图像具有与第二图像的纵横比相同的纵横比；以及

视角转换单元，所述视角转换单元对第二图像执行视角转换处理，其中

所述附加信息生成单元获得通过切割包括第一图像上的主要被摄体的区域而获得的被裁剪的图像，作为所述附加信息，以及

所述合成单元将第三图像与对其执行了所述视角转换处理的第二图像合成。

2.如权利要求1所述的图像处理设备，其中

所述附加信息生成单元压缩第一图像的信息量，以生成所述附加信息。

3.如权利要求2所述的图像处理设备，其中

所述附加信息生成单元压缩第一图像的大小，以生成所述附加信息。

4.如权利要求3所述的图像处理设备，其中

第一成像单元对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向。

5.如权利要求1所述的图像处理设备，其中

第一成像单元对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向，以及

所述附加信息生成单元对第一图像执行面部识别处理，以生成第二图像的摄影者信息，作为所述附加信息。

6.根据权利要求5所述的图像处理设备，还包括：

提取单元，基于所述附加信息从多个第二图像中检测特定图像，该特定图像是由特定摄影者捕捉到的；以及

再现单元，只显示由所述提取单元检测到的特定图像。

7.根据权利要求5所述的图像处理设备，还包括分类单元，所述分类单元将第二图像记录在由所述摄影者信息确定的记录区域中，所述摄影者信息充当所述附加信息。

8.根据权利要求1所述的图像处理设备，还包括显示单元，所述显示单元被设置于面向操作所述图像处理设备的用户的表面，第一成像单元被设置于所述表面，所述显示单元显示当第二图像被捕捉时由第二成像单元拍摄的图像，其中

所述附加信息生成单元基于第一图像检测所述用户的视线方向，以生成指示所述用户在第二图像上注视的注视区域的信息，该信息充当所述附加信息。

9.根据权利要求8所述的图像处理设备，还包括再现单元，所述再现单元基于所述附加信息控制第二图像的显示。

10.如权利要求9所述的图像处理设备，其中

所述再现单元基于所述附加信息，叠加并且显示多个第二图像。

11.根据权利要求1所述的图像处理设备，其中，所述合成单元排列并且合成第三图像与对其执行了所述视角转换处理的第二图像，以生成合成图像作为第四图像。

12.如权利要求1所述的图像处理设备，其中

第一成像单元对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向，

所述附加信息生成单元基于第一图像检测所述用户的笑容，并且生成所述用户的笑容度作为所述附加信息，以及

当检测到所述用户的笑容时，第二成像单元对第二方向进行成像。

13.根据权利要求12所述的图像处理设备，还包括分类单元，所述分类单元将第二图像记录在由所述笑容度确定的记录区域中，所述笑容度充当所述附加信息。

14.如权利要求1所述的图像处理设备，其中

第一成像单元对操作所述图像处理设备的用户的方向进行成像，该方向充当第一方向，

所述附加信息生成单元基于第一图像检测所述用户的笑容，并且生成所述用户的笑容度作为所述附加信息，以及

所述图像处理设备还包括分类单元，所述分类单元将第二图像记录在由所述笑容度确定的记录区域中，所述笑容度充当所述附加信息。

15.一种图像处理方法，包括：

由第一成像单元对第一方向进行成像以获得第一图像；

由第二成像单元对第二方向进行成像以获得第二图像，第二方向不同于第一方向；

基于第一图像生成附加信息以获得第三图像；

将第三图像与第二图像合成以获得第四图像，第四图像具有与第二图像的纵横比相同的纵横比；以及

由视角转换单元对第二图像执行视角转换处理，其中

所述生成包括获得通过切割包括第一图像上的主要被摄体的区域而获得的被裁剪的图像，作为所述附加信息，以及

所述合成包括将第三图像与对其执行了所述视角转换处理的第二图像合成。

16.一种记录计算机程序的非暂态计算机可读介质，所述计算机程序当被处理单元执行时使得所述处理单元执行图像处理方法，所述图像处理方法包括下列各个步骤：

由第一成像单元对第一方向进行成像以获得第一图像；

由第二成像单元对第二方向进行成像以获得第二图像，第二方向不同于第一方向；

基于第一图像生成附加信息以获得第三图像；

将第三图像与第二图像合成以获得第四图像，第四图像具有与第二图像的纵横比相同的纵横比；以及

由视角转换单元对第二图像执行视角转换处理，其中

所述生成包括获得通过切割包括第一图像上的主要被摄体的区域而获得的被裁剪的图像，作为所述附加信息，以及

所述合成包括将第三图像与对其执行了所述视角转换处理的第二图像合成。