CN108632496B - 用户终端装置及其控制方法 - Google Patents

Abstract

提供一种用户终端装置及其控制方法。提供一种用户终端设备。用户终端设备包括相机单元，被配置为拍摄目标；控制器，被配置为从通过相机单元拍摄的目标的图像检测目标图像，生成用于改变目标图像的特征部分的图像元数据，并且通过将目标图像与图像元数据匹配生成图像文件；存储器，被配置为存储图像文件；以及显示器，被配置为响应于选择图像文件，显示基于图像元数据改变特征部分的目标图像。

Description

用户终端装置及其控制方法

本申请是申请日为2014年06月27日，申请号为“201480042063.1”，发明名称为“用户终端装置及其控制方法”的发明专利申请的分案申请。

技术领域

与示例性实施例一致的设备和方法涉及一种用户终端设备，更具体地，涉及一种改变用户图像的特征部分的一部分的用户终端装置以及用于控制所述用户终端装置的方法。

背景技术

随着电子技术的发展，在使用各种便携式终端。目前可用的大部分的便携式终端配备有显示装置和拍摄装置，并且具有拍摄功能。具有拍摄功能的便携式终端可以通过使用通过透镜射出的光线通过显示装置显示实时取景。用户可以在观看显示的实时取景的同时执行拍摄。

通常在日常生活中执行拍摄时，在不同的地方执行拍摄，并且已经开发了以各种方式使用照片的网络系统或应用。例如，用户可以向博客，网络咖啡厅，社交网络服务(SNS)上传他们拍摄的照片，或者与他人分享。

然而，许多用户希望在著名景点作为背景的情况下拍摄用户自己的外表。在此情况下，如果拍摄并存储包括用户的外表的背景的图像作为静止图像，则照片不逼真或生动。

对此，用户拍摄并存储包括用户的外表的背景的图像作为运动图像，但是在此情况下，存储的运动图像文件尺寸大，因此需要大量用于存储的空间。

因此，有必要开发能够使照片尺寸较小且使照片看起来更逼真生动的拍摄技术。

发明内容

技术问题

一个或更多个示例性实施例提供一种显示用户图像的目标图像的用户终端设备和控制所述用户终端设备的方法，在所述用户终端设备中，目标或用户的特征部分的一部分自动改变。

技术方案

根据示例性实施例的一方面，提供一种终端设备，所述终端设备可以包括相机单元，被配置为拍摄目标；控制器，被配置为从由相机单元拍摄的目标的图像检测目标图像，生成用于改变目标图像的特征部分的图像元数据，并且通过将目标图像与图像元数据匹配来生成图像文件；存储器，被配置为存储图像文件；以及显示器，被配置为响应于选择图像文件，显示特征部分基于图像元数据被改变的目标图像。

控制器可通过将背景图像与目标图像和图像元数据匹配来生成图像文件，并且响应于选择该图像文件，显示与目标图像重叠的背景图像。

在上述中，背景图像可以是从拍摄的图像或预先存储的图像分割的图像。

相机单元可以通过在多个时间点拍摄目标分别获得目标的多个图像，并且控制器可以将目标的所述多个图像进行比较并检测特征部分的改变，并且根据所述改变来生成图像元数据。

相机可以通过拍摄用户获得用户运动图像作为运动图像，通过拍摄目标获得目标的运动图像作为运动图像，并且控制器可以将目标的运动图像的每一帧进行比较并检测特征部分的改变，并且根据改变生成图像元数据。

所述设备还可以包括麦克风单元，被配置为当拍摄目标时接收目标的声音，并且响应于用户语音被输入，控制器可以在麦克风接收到声音时基于声音生成图像元数据，将声音转换为声音元数据，并且在存储器的图像文件中存储声音元数据。

所述设备还可以包括扬声器单元，被配置为响应于选择图像文件，输出与声音元数据相应的声音。

特征部分可以包括目标的一部分，并且图像元数据可以包括坐标数据，其中，所述坐标数据包括特征部分的位置及其位置运动状态。

相机单元可以包括布置在第一方向上的第一相机，和布置在与第一方向相反的第二方向上的第二相机。控制器可以从自第一相机获得的第一图像检测目标图像，选择从自第二相机获得的第二图像作为背景图像，并且通过将背景图像与目标图像和图像元数据匹配来生成图像文件。

存储器可以存储关于至少一个表情符号的信息，响应于选择表情符号，控制器可以基于选择的表情符号来生成用于改变目标图像的特征部分的图像元数据。

响应于选择存储在存储器中的另一图像，控制器可以将所述另一图像与图像元数据匹配，并且在存储器中存储匹配的结果，并且响应于选择所述结果，在显示器上显示所述另一图像，并且基于图像元数据来改变另一图像的特征部分。

根据示例性实施例的一方面，提供一种用于控制用户终端设备的方法，所述方法包括：拍摄目标；从拍摄的目标的图像检测目标图像；生成用于改变目标图像的特征部分的图像元数据；通过将目标图像与图像元数据匹配来生成图像文件；存储图像文件；以及响应于选择图像文件，显示特征部分基于图像元数据被改变的目标图像。

生成图像文件的步骤可以包括通过将背景图像与目标图像和图像元数据匹配来生成图像文件，显示目标图像的步骤可以包括：响应于选择该图像文件，显示与目标图像重叠的背景图像。

在上述中，背景图像可以是从拍摄的图像或预先存储的图像分割的图像。

拍摄用户的步骤可以包括：通过在多个时间点拍摄目标分别获得多个目标图像。检测目标图像的步骤可以包括：通过将目标的所述多个图像进行比较来检测特征部分的改变。生成图像元数据的步骤可以包括：根据所述改变来生成图像元数据。

拍摄目标的步骤可以包括：通过拍摄目标获得目标的运动图像作为运动图像。检测目标的步骤可以包括：通过将运动图像的每一帧进行比较来检测特征部分的改变，生成图像元数据的步骤可以包括：根据所述改变来生成图像元数据。

所述方法还可以包括：在拍摄目标时接收声音或目标；当在用户终端接收到声音时基于声音生成图像元数据；将声音转换为声音元数据；以及在图像文件中存储声音元数据。

所述方法还可以包括：响应于选择图像文件，输出与声音元数据相应的声音。

特征部分可以包括目标的一部分，图像元数据可以包括坐标数据，其中，所述坐标数据包括特征部分的位置及其位置运动状态。

所述方法还可以包括：存储关于至少一个表情符号的信息，生成图像元数据的步骤可以包括：响应于选择表情符号，基于选择的表情符号来生成用于改变目标图像的特征部分的图像元数据。

所述方法还可以包括：响应于选择存储在用户终端中的另一图像，将另一图像与图像元数据匹配，并且在用户终端中存储匹配的结果；响应于选择所述结果，在显示器上显示另一图像；以及基于图像元数据来改变另一图像的特征部分。

根据上述各种示例性实施例，可以提供特征部分自动改变的目标图像，因此可以显示尺寸小且生动逼真的目标图像。

有利效果

附图说明

通过参照附图描述特定示例性示例性，上述和其它方面将会变得更加明显，其中：

图1是示出根据示例性实施例的用户终端设备的框图；

图2是为了解释根据示例性实施例的图像合成而提供的示图；

图3是为了解释根据另一示例性实施例的图像合成而提供的示图；

图4是为了解释根据示例性实施例的从用户图像分割目标的方法而提供的示图；

图5是示出根据示例性实施例的用户图像的特征部分和静止图像文件的构成的示图；

图6是为了解释根据又一示例性实施例的图像合成而提供的示图；

图7和图8是为了解释根据各种示例性实施例的静止图像而提供的示图；

图9是示出根据另一示例性实施例的用户终端设备的框图；

图10是为了解释根据示例性实施例的检测嘴部区域的处理而提供的示图；

图11是为了解释根据示例性实施例的转换的图像而提供的示图；

图12是根据示例性实施例的用于控制用户终端设备的方法的流程图；以及

图13是为了全面解释根据再一示例性实施例的用户终端设备的配置而提供的框图。

具体实施方式

下面参照附图来更详细地描述特定示例性实施例。

在下面描述中，即使是在不同的附图中，相似的附图标号用于相似的元件。在说明书中定义的事项(诸如详细的结构和元件)被提供以帮助对示例性实施例的全面理解。然而，示例性实施例可用在没有那些特别定义的事项的情况下实施。此外，公知的功能或结构不再详细描述，这是因为它们会用不必要细节模糊本申请。

图1是示出根据示例性实施例的用户终端设备100的框图。根据示例性实施例的用户终端设备100包括相机单元110，显示器120，存储器130和控制器140。

用户终端设备100可以被实现为各种类型的装置，诸如蜂窝电话，智能电话，平板PC，膝上型计算机，个人数字助理(PDA)，MP3播放器，数字相机，便携式摄像机等。

相机单元110是执行拍摄操作的元件。安装在用户终端设备100上的相机单元110拍摄外部图像。在此情况下，外部图像可以是静止图像或运动图像。另外，相机单元110可以被实现为多个相机，诸如安装在用户终端设备100的前面的前置相机和安装在用户终端设备100的背面的后置相机。

相机单元110包括镜头和图像传感器。可以使用各种类型的镜头，诸如通用镜头，广角镜头以及变焦镜头，镜头的类型可以根据用户终端设备100的类型、特征和使用环境来确定。对于图像传感器，可以使用互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)。

显示器120显示通过相机单元110获得的实时取景。实时取景意思是提供通过显示器120而不是取景器浏览的图像。具体地，向图像传感器发送通过相机单元110的镜头进入的光，并且图像传感器向显示器120发送与进入的光相应的电信号。因此，在实时取景区域上显示拍摄范围内的拍摄主体的图像。可以根据各种方法(诸如对比度自动聚焦(AF)实时取景方法、相差AF实时取景方法、使用单独的图像传感器处理实时取景的方法等)来提供实时取景。

控制器140控制用户终端设备100的全部操作。

具体地，控制器140从由相机单元110拍摄的图像检测背景图像。控制器140在存储器130中存储背景图像。在此情况下，背景图像可以是静止图像或运动图像。

控制器140从由相机单元110拍摄的图像检测用户图像，并且从用户图像检测用户的静止图像。从其中检测到背景图像和用户图像的图像可以是相同图像或不同图像。可以从检测的各种用户图像选择用户的静止图像。此外，控制器140可以生成用于改变用户图像的特征部分的至少一部分的图像元数据。在此，特征部分可以是用户形状的特定部分，例如，用户的面部、眼睛、嘴巴、耳朵、鼻子等。特征部分还可以是用户的语音。这种图像元数据可以用于生成图像文件。即，通过用户图像与图像元数据匹配，控制器140可以生成包括具有改变的特征部分的用户图像的图像文件。

图像元数据是从用户图像提取的数据，并且将被添加到背景图像文件。也就是说，通过由相机单元110拍摄的背景图像可以被控制器140转换为图像文件，并且控制器140可以从由相机单元110拍摄的用户图像生成图像元数据，并将该图像元数据插入转换的图像文件。换句话说，控制器140可以生成用户图像的图像元数据，并将图像元数据添加到背景图像文件，而不是生成单独的用户图像文件。

图像元数据可以指示用户图像的至少一个特征部分的运动或变化。因此，图像文件可以包括背景图像的背景图像数据、用户的静止图像的用户静止图像数据和图像元数据。

控制器140可以从由相机单元110拍摄的图像检测用户图像，并且从用户图像检测用户的运动图像。在此情况下，控制器140可以将包括在用户运动图像中的特征部分的一部分(诸如用户的面部或语音)转换到图像元数据，并且存储图像元数据。因此，图像元数据可以是表示特征部分在用户运动图像之中的运动或变化的数据，并且图像文件可以包括背景图像的背景图像数据、用户的运动图像的用户运动图像数据以及图像元数据。

控制器140可以通过将拍摄的图像内的背景图像与用户图像和图像元数据匹配来生成图像文件，并且显示与用户图像重叠的背景图像和已经改变或正在改变的特征部分。此外，控制器140可以通过将单独拍摄的背景图像与用户图像和图像元数据匹配来生成图像文件。在此情况下，当存储的背景图像是静止图像时，控制器140可以通过将静止图像与用户图像和图像元数据匹配来生成静止图像文件。当存储的背景图像是运动图像时，控制器140可以通过将运动图像与用户图像和图像元数据匹配来生成运动图像文件。

存储器130存储由控制器140生成的图像文件。因此，当背景图像是静止图像时，存储器130存储静止图像文件，并且当背景图像是运动图像时，存储器130存储运动图像文件。

响应于存储在存储器130中的图像文件被选择，显示器120显示相应的图像。也就是说，响应于存储的文件被选择，显示器120显示根据图像元数据自动改变特征部分的至少一部分的用户图像。

相机单元110可以通过多次拍摄用户获得多个用户图像。在此情况下，控制器140可将多个用户图像进行比较并检测特征部分的改变，并且根据检测的改变状态来生成图像元数据。此外，相机单元110可以通过拍摄获得用户运动图像作为运动图像。在此情况下，控制器140可以比较用户移动图像的每个帧，检测特征部分中的改变，并且根据检测的改变状态来生成图像元数据。

图2是为了解释根据示例性实施例的图像合成而提供的示图。

如图2所示，用户可以通过用户终端设备100拍摄图像，并且响应于拍摄命令被输入，获得包括目标的拍摄图像。在此情况下，控制器140激活相机单元110，并且显示实时取景图像。通过用户终端设备100拍摄的图像可以是包括第一目标50的第一图像10。在此情况下，第一目标50可以是用户，第一图像10可以是包括用户的背景图像11。

控制器140可以识别包括在第一图像10中的第一目标50。因此，当第一图像10被拍摄时，控制器140从拍摄的图像分割第一目标50。当从拍摄的图像分割第一目标50时，第一图像10可以被分割成背景图像11和用户图像12。

在将分割的背景图像11转换为背景图像数据之后，控制器140可以生成图像文件。在此情况下，当分割的背景图像11是静止图像时，生成的图像文件是与静止图像相关的文件，当分割的背景图像11是运动图像时，生成的图像文件是与运动图像相关的文件。因此，控制器140可以将生成的图像文件存储在存储器130。

此外，控制器140可以从分割的用户图像12检测第一目标50的静止图像。控制器140可以检测关于拍摄的第一目标50的多个图像帧中的一个图像帧作为静止图像。因此，控制器140可以将关于第一目标50的静止图像转换为静止图像数据，并且将静止图像数据存储在存储器130中。在此情况下，控制器140可以将静止图像数据添加到图像文件。因此，图像文件可以包括背景图像数据和静止图像数据。

此外，控制器140可以从分割的用户图像12检测第一目标50的至少一个特征部分的运动。控制器140可以将检测的第一目标50的特征部分转换为图像元数据。因此，控制器140可以检测的第一目标50的特征部分的运动转换为图像元数据，并且将图像元数据存储在存储器130中。在此情况下，控制器140可以将图像元数据添加到图像文件。因此，图像文件可以包括背景图像11数据、静止图像数据和图像元数据。

当选择存储的图像文件时，控制器140可以对包括在图像文件中的背景图像数据、静止图像数据和图像元数据进行解码。因此，当选择图像文件时，显示背景图像和用户图像。特别是，由于图像元数据被解码，因此尽管用户图像是静止图像，但是用户图像可以指示相应于第一目标50的特征部分的运动而部分改变的第二目标50A作为用户图像，如图像10A所示。

图3是为了解释根据另一示例性实施例的图像合成而提供的示图。以下，将省略与图2重复的描述。

如图3所示，用户可以通过用户终端设备100拍摄图像，并且响应于拍摄命令被输入，获得包括目标的拍摄图像。控制器140可以识别包括在第一图像10中的第一目标50，并且从拍摄的图像分割第一目标50。因此，第一图像10可以被分割成第一背景图像11和用户图像12。控制器140可以从分割的用户图像12检测第一目标50的静止图像，将第一目标50的静止图像转换为静止图像数据，并且将静止图像数据存储在存储器130中。此外，控制器140可以从分割的用户图像12检测第一目标50的特征部分的运动，并且将第一目标50的特征部分的运动转换为图像元数据，并且将图像数据存储在存储器130中。

如图3所示，控制器140可以用第二背景图像13代替第一背景图像11。在此，第一背景图像11是通过相机单元110拍摄的背景图像，而第二背景图像13可以是预先存储在存储器130的第二背景图像文件中的背景图像。此外，第一背景图像11是通过用户终端设备100的前置相机拍摄的背景图像，而第二背景图像13可以是通过用户终端设备100的后置相机拍摄的背景图像。

在此情况下，控制器140可以将第一目标50的静止图像数据和第一目标50的图像元数据添加到第二背景图像文件。因此，第二背景图像文件可以包括第二背景图像数据、第一目标50的静止图像数据和第一目标50的图像元数据。添加了静止图像数据和图像元数据的第二背景图像文件可以存储在存储器130中。

当选择存储的第二背景图像文件时，控制器140可以对包括在第二背景图像文件中的第二背景图像数据、静止图像数据和图像元数据进行解码。因此，当选择第二背景图像文件时，显示第二背景图像和用户图像。具体地，对图像元数据进行解码，并且因此，尽管用户图像是静止图像，但是用户图像可以指示相应于第一目标50的特征部分的运动而部分改变的第二目标50B作为用户图像。此外，控制器140可以相对于用户图像自由地改变背景图像，并且因此用户终端设备100可以将目标与各种背景一起显示。

根据又一示例性实施例的用户终端设备100可以基于实时取景对目标进行跟踪和分割。图4是为了解释根据示例性实施例的用于分割目标而提供的方法的示图。

用户可以通过用户终端设备100拍摄图像，并且响应于拍摄命令被输入，获得包括目标的拍摄图像。在此情况下，控制器140激活相机单元110，以显示实时取景。在实时取景中，可以显示与拍摄主体相应的目标。

控制器140通过监视实时取景的每一帧来观察目标。具体地，控制器140以帧为单位提取实时取景，分析帧，并且检测帧的边缘。可以从通过边缘分割的像素区域之中将具有相似像素值和被依次布置的像素区域确定为一个目标。

然而，当像素区域的大小小于阈值时，目标的确定可能有困难。例如，如图4(a)所示，在示出用户头部的背面的情况下，或者如图4(b)所示，在示出用户的轮廓的情况下，可能很难确定面部区域。在此情况下，控制器140可以保持监控实时取景，直到可以确定面部区域为止。

如图4(c)所示，当用户将面部转到正面方向时，面部区域的大小大于阈值，因此，面部区域和连接到面部区域的身体区域可以被确定为目标。当观察到目标时，即使观察的目标的大小变化或运动，控制器140也可以保持跟踪目标。因此，如图4(d)所示，即使用户的面部在各个方向上运动，并且因此用户的面部类型改变，控制器140也可以正确地确定目标。当在此状态下进行拍摄时，获得如图4(e)所示的拍摄图像。然后，控制器140可以从拍摄的图像分割目标。

同时，图4描述了自动分割目标的处理，但是实施例不限于此。换句话说，为了提高精确程度，可以实现用户另外调整目标分割的区域的示例性实施例。

图5是示出根据示例性实施例的用户图像的特征部分和静止图像文件的构成的示图。图5示出包括在用户图像中的用户的面部形状50。

控制器140从拍摄的图像检测用户图像，并从用户图像检测静止图像。图5所示的面部形状50可以是用户的静止图像，静止图像可以被转换为用户静止图像数据并且被插入图像文件。在此情况下，背景图像数据可以预先被插入图像文件中。

控制器140可以通过关于用户图像的实时取景来生成指示面部形状50的改变的图像元数据。为此，控制器140可以提取关于用户的面部形状50的至少一个特征部分。

图像元数据可包括坐标数据，该坐标数据指示至少一个特征部分的每一个特征部分的位置和位置运动状态。另外，可以在特征部分上设置多个参考点，并且多个参考点的每一个参考点的坐标数据可以包括在图像元数据中。

如图5所示，特征部分#1-1(51-1)与用户的右眉有关，并且指示包括在特征部分#1-1(51-1)中的多个参考点的每一个参考点的位置和位置运动状态的坐标数据包括在图像元数据#1-1中。特征部分#1-2(51-2)、特征部分#2-1(52-1)、特征部分#2-2(52-2)、特征部分#3(53)、特征部分#4(54)和特征部分#5(55)分别与用户的左眉，右眼，左眼，鼻子，嘴巴和下颌线有关。此外，指示包括在每个特征部分中的多个参考点的位置和位置运动状态的坐标包括在数据图像元数据中。控制器140将图像元数据插入图像文件。

在图像文件中，插入背景图像数据和静止图像数据，因此，当选择图像文件时，在背景图像上显示用户图像。此外，在图像文件中，还插入图像元数据，因此，响应于图像文件的选择，根据每一元数据自动改变和显示作为静止图像的用户图像的多个特征部分的一部分特征部分。

图5在面部形状50上示出7个特征部分，坐标数据包括在图像元数据中，但是实施例不限于此。根据示例性实施例，可以另外提取特征部分的其它数据，并且将其插入图像元数据中。例如，控制器140可以提取用户面部形状50的颜色及其变化，作为特征部分的颜色数据。特征部分的颜色数据可以包括用户的嘴巴，眼睛，鼻子，嘴唇，耳朵，面颊，前额，皱纹等的颜色和颜色变化。因此，特征部分的颜色数据可以包括在图像元数据中。因此，响应于图像文件的选择，可以显示颜色改变的特征部分。

图6是为了解释根据示例性实施例的通过使用两个相机合成的图像612而提供的示图。

根据图6，显示器120被布置在用户终端设备100的一侧。第一相机被布置在显示器120的同一侧，并且第二相机被布置在显示器120的对侧。换句话说，第一相机可以是布置在第一方向上的前置相机，第二相机可以是布置在与第一方向相反的第二方向上的后置相机。

在拍摄包括背景图像和用户图像的合成图像621的情况下，如果用户终端设备100仅具有一个相机，则可以通过一个相机依次拍摄背景图像和用户图像。然而，图6示出第一和第二相机同时拍摄背景图像以及用户图像的示例性实施例。

首先，当用户打开第一相机和第二相机时，控制器140可以在显示器120上同时显示第一相机的实时取景和第二相机的实时取景。根据示例性实施例，第一相机的实时取景可以显示在显示器120的上部屏幕上，并且第二照相机的实时取景可以显示在显示器120的下部屏幕上。根据另一示例性实施例，第一相机的实时取景可以显示在显示器120的左屏幕上，并且第二相机的实时取景可以显示在显示器120的右屏幕上。根据又一示例实施例，第一相机的实时取景和第二相机的实时取景可以彼此重叠显示在一个显示屏幕上。因此，用户可以在同时观看两个实时取景的时执行用户和背景的拍摄。

然后，当用户开始拍摄时，控制器140控制第一相机和第二相机拍摄每个图像。也就是说，第一相机拍摄位于第一方向上的第一图像，并且第二相机拍摄位于第二方向上的第二图像。在此情况下，第一图像可以包括用户。

在从通过第一相机获得的第一图像检测到用户图像650之后，控制器140分割用户图像。此外，控制器140可以选择通过第二相机获得的第二图像作为背景图像。因此，控制器140可以生成用户图像650和合成图像621，在合成图像621中包括背景图像和用户图像。在此情况下，如前所述，通过将用户图像与用户的图像元数据匹配生成合成图像621。

图7和图8是为了解释根据各种示例性实施例的静止图像而提供的示图。

参照图7，通过用户终端设备100拍摄与用户形状相应的第一目标750-1，并且获得第一图像710。在此，存储器130可以具有存储在其中的包括至少一个表情符号750-3的表情符号文件。表情符号文件可以包括预定图像元数据。在此情况下，期望包括在表情符号文件中的图像元数据被设置为与表情符号750-3相关。根据图7，表情符号750-3可以是玩具锤的图像，并且玩具锤的图像数据可以包括指示人(诸如用户或第一目标750-1)的嘴巴的位置和位置运动状态的坐标数据。例如，人的嘴巴的坐标数据可以包括用户张嘴的坐标数据。

存储器130还可以包括第一图像文件(与第一图像710相应)，该第一图像文件包括第一目标750-1的静止图像数据和第一目标750-1的图像元数据。当选择第一图像文件时，控制器140可以通过对静止图像数据进行解码显示用户图像。在此状态下，当选择表情符号文件的表情符号750-3时，控制器140可在没有对包括在第一图像文件中的图像元数据进行解码时生成包括在表情符号文件中的图像元数据。也就是说，控制器140可以根据表情符号750-3的选择来生成图像元数据来改变用户图像的特征部分。

因此，如图7的右侧所示，控制器140对包括在第一图像文件中的静止图像数据进行解码，并且显示第一目标750-1的静止图像。此外，控制器140生成包括在表情符号文件中的图像元数据，并且对该图像元数据进行解码，因此可以部分改变用户图像的特征部分，即，如图像721所示，生成静止图像750-2以与表情符号750-3相应。也就是说，当玩具锤图像与第一目标750-1的静止图像重叠时，控制器140可以显示其嘴巴张开的第一目标750-2的静止图像。

根据示例性实施例，控制器140可以生成包括第一目标750-1的静止图像、表情符号750-3和图像数据的表情符号文件(与图像721相应)，当选择表情符号文件时，控制器140可以在显示器120中显示图像720-1。

图8示出通过用户终端设备100在图像810中拍摄与用户形状相应的第一目标850-1并且生成包括第一目标850-1的静止图像数据和图像元数据的第一图像文件(与图像810相应)的状态。在此，存储器130可以存储包括第二目标850-2的静止图像数据的至少一个第二图像文件(与图像812相应)，如图像821所示。第二图像文件还包括图像元数据。在此情况下，期望包括在第二图像文件中的图像元数据的类型被设置为与包括在第一图像文件中的图像元数据的类型相同。

如上所述，第一图像文件包括第一目标850-1的静止图像数据和图像元数据。当选择第一图像文件时，通过对静止图像数据进行解码，控制器140可以显示用户图像，即，第一目标850-1。在此状态下，当选择第二图像文件时，控制器140可在不对包括在第一图像文件810中的静止图像数据进行解码的同时，对包括在第二图像文件中的静止图像数据进行解码。此外，在对第二图像文件的静止图像数据进行解码的同时，控制器140可以对包括在第一图像文件中的图像元数据进行解码。

因此，如图8的图像821所示，控制器140对包括在第二图像文件中的静止图像数据进行解码，并且因此显示第二目标850-2的静止图像。此外，控制器140对包括在第一图像文件中的图像元数据进行解码，并且因此，可根据包括第一图像文件中的图像元数据至少部分地改变第二目标850-2的特征部分。

例如，当第一图像文件包括第一目标850-1的静止图像数据和图像元数据时，用户可以选择第二图像文件。在此情况下，第二图像文件可以是存储在存储器中的图像文件或通过相机单元110拍摄的并相应生成的新图像文件。当用户选择第二图像文件时，控制器140可以对包括在第一图像文件中的图像元数据和包括在第二图像文件中的静止图像数据进行解码。因此，关于第一目标850-1的面部表情的改变等可以应用于第二目标850-2，然后显示图像821。

图9是示出根据另一示例性实施例的用户终端100A的框图的示例。以下，将省略与图1重复的描述。

根据另一示例性实施例的用户终端设备100A还可以包括麦克风150和扬声器单元160。

麦克风150是用于接收用户语音或其它声音并将其转换为音频数据的元件。用户语音可以在拍摄时被输入到麦克风150。麦克风150可以嵌入用户终端设备100A。另外，麦克风150可以通过设置来调整输入的用户语音的音量。

当用户语音被输入到麦克风150时，控制器140可以将输入的用户语音转换为语音元数据或声音元数据。在此情况下，控制器140可以基于用户语音生成语音元数据。此外，可以通过控制器140基于用户语音来生成用户的图像元数据，并且图像元数据与语音元数据一起存储在存储器130中。将在图10至图11中详细描述关于生成语音元数据。

当输入的用户语音被转换为语音元数据时，控制器140可以将语音元数据与静止图像文件一起存储在存储器130中。在此情况下，静止图像文件可以包括通过相机单元110拍摄的且在输入用户语音时生成的静止图像。此外，包括静止图像的静止图像文件可以被预先存储在存储器130中。因此，控制器140可以将语音元数据包括在静止图像文件中。

扬声器单元160是将音频数据转换为用户语音或其它声音并且输出的元件。当选择静止图像文件时，扬声器单元160可以对语音元数据进行解码，并且控制器140可以生成与语音元数据相应的图像元数据，然后对图像元数据进行解码。因此，当选择静止图像文件时，扬声器单元160输出与语音元数据相应的用户语音，并且控制器140输出与语音元数据相应的用户图像。在此，与语音元数据相应的用户图像可以包括具有根据语音元数据改变的嘴形的图像。

图10是为了解释根据示例性实施例的检测嘴部区域而提供的处理的示图。

在图10中，示出与音位和与音位相应的可视音位(视位)。音位表示划分词的含义并且使划分的词能够理解的声音单位，可视音位(视位)表示描述特定声音的图像。例如，可视音位可以是与每个音位相应的嘴形的图像。

存储器130可以存储音位和与音位相应的嘴形的图像。参照图10，音标字母[a]音位9-1与发出[a]的嘴形19-1相应，并且[a]音位9-1和[a]的嘴形的图像19-1存储在存储器130中。同样，音标字母[e]音位9-2，[i]音位9-3，[o]音位9-4和[u]音位9-5以及每个音标字母相应的嘴形的图像19-2，19-3，19-4，19-5存储在存储器130中。

存储器130可以预先存储普通用户的与每个音位相应的嘴形。在此情况下，当用户的嘴形的图像被输入到相机单元110时，控制器140可以通过将输入图像与音位的嘴形匹配生成关于嘴形的新图像，并且存储器130可以存储嘴形的新图像。例如，尽管普通用户的与[a]音位9-1匹配的嘴形的图像预先存储在存储器130中，但是当用户发出[a]音位9-1时，存储器130可以在其中存储与用户发出的[a]音位相应的用户嘴形19-1的图像，代替预先存储的普通用户的嘴形的图像。

此外，当用户发出的音位被输入到麦克风150时，控制器140可以检测与输入的音位匹配或相应的嘴形的图像。例如，当用户发出[a]音位9-1时，控制器140可以检测与[a]音位9-1相应的嘴形19-1的图像。在下文中，将详细描述根据用户发出的音位以及与音位相应的嘴形的图像来部分改变用户图像的方法。

图11是为了解释根据示例性实施例的转换的图像而提供的示图。图11示出根据用户发出的声音“hello”依次改变包括在用户图像中的嘴形的图像的处理。

麦克风150接收用户发出的声音“hello”。如图11所示，控制器140将声音“hello”划分为[he-]音位9-6，[lo-]音位9-7和[u-]音位9-8。控制器140生成与划分的3个音位9-6，9-7，9-8的每一个音位相应的语音元数据，并且将语音元数据存储在存储器130中。

控制器140可以生成与每个语音元数据相应的图像元数据。图像元数据可以是关于与用户发出的音位相应的嘴形的图像的元数据。因此，与[he-]音位9-6相应的[he-]嘴形19-6的图像，与[lo-]音位9-7相应的[lo-]嘴形19-7的图像，与[u-]音位9-8相应的[u-]嘴形19-8的图像可以分别被生成作为图像元数据。生成的图像元数据可以包括在图像文件中，并且可以存储在存储器130中。

每个语音元数据可以包括声音的特征，声音的特征可以包括音调，音质，声音的高和低等。声音的特征可以包括在语音元数据中，并且可以生成图像元数据以与声音的特征相应。

如上所述，语音元数据可以连同背景图像数据、用户静止图像数据和图像元数据一起包括在图像文件中。因此，当选择图像文件时，背景图像与用户图像组合并显示，具体地，根据生成以与语音元数据相应的图像元数据显示用户的嘴形的图像。也就是说，依次显示包括嘴形[he-]19-6的图像的第一图像921-6、包括嘴形[lo-]19-7的图像的第二图像921-7和包括嘴形[u-]19-8的图像的第三图像921-8。因此，尽管用户图像是静止图像，但是用户终端设备100可以生动逼真地表达用户图像。

图12是根据示例性实施例的用于控制用户终端设备100或100A的方法的流程图的示例。在下文中，将省略重复描述。参照图12，下面描述用于控制用户终端设备100或100A的方法。

用户终端设备拍摄用户(S1210)。在此情况下，用户终端设备通过使用一个相机可以同时拍摄背景和用户两者，并且通过使用两个相机可以同时拍摄背景和用户两者。此外，用户终端设备可以在拍摄用户的同时接收用户声音或其它声音。

用户终端设备从拍摄的图像检测用户图像(S1220)。可以从拍摄的图像分割用户图像。背景图像可以被分割并转换为背景图像数据，并且可以被插入图像文件中。此外，用户图像的静止图像可以被转换为用户静止图像数据，并被插入图像文件中。在此情况下，图像文件可以是静止图像文件。当使用运动背景图像时，可以生成运动图像文件。

用户图像可以被转换为图像元数据。因此，用户终端设备100可以生成用于改变用户图像的特征部分的至少一部分的图像元数据(S1230)。另外，输入的用户语音可以被转换为语音元数据。

因此，图像元数据和语音元数据可以与背景图像数据和用户静止图像数据一起插入图像文件中。在此情况下，可以通过将用户图像与图像元数据匹配来生成图像文件(S1240)。用户终端设备可以存储图像文件(S1250)，并且图像文件可以包括背景图像数据、用户静止图像数据、图像元数据和语音元数据。

然后，当选择图像文件时，可以显示特征部分的至少一部分根据图像元数据自动改变的用户图像(S1260)。也就是说，显示的用户图像是静止图像，但是用户图像的特征部分的至少一部分根据图像元数据改变和显示，因此可以更加生动和逼真表达用户图像。在此，如果特征部分是用户的嘴巴，则可以根据语音元数据以相应的语音或声音显示用户图像。

图13为了全面解释根据再一示例性实施例的用户终端设备100B的配置而提供的框图。

图13示出根据示例性实施例的用户终端设备100B包括相机单元110，显示器120，存储器130，控制器140，麦克风150和扬声器单元160。

相机单元110是执行拍摄操作的元件。设置在用户终端设备100B上的相机单元110拍摄外部图像。在此情况下，外部图像可以是静止图像或运动图像。相机单元110可以被实现为多个相机，诸如安装在用户终端设备100B的正面的前置相机和安装在用户终端设备100B的背面的后置相机。

显示器120显示如上所述的各种图像。显示器120可以被实现为各种类型的显示器，诸如液晶显示器(LCD)，有机发光二极管(OLED)显示器，等离子体显示面板(PDP)等。在显示器120中，可以包括驱动电路、背光单元等，背光单元可以被实现为非晶硅、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等。

显示器120可以被实现为普通液晶显示器或触摸屏类型。当实现为触摸屏时，用户可以触摸屏幕，并且控制用户终端设备100B的操作。

视频处理器(未示出)是用于处理存储在存储器130中的图像文件的各种图像数据的元件。也就是说，视频处理器(未示出)可以执行各种图像处理，诸如图像数据的解码、缩放、噪声过滤、帧速率变换、分辨率变换等。在此情况下，显示器120可以显示在视频处理器(未示出)生成的图像帧。

麦克风150是接收用户语音或其它声音并将其转换为音频数据的元件。麦克风150可以在拍摄时接收用户语音。麦克风150可以被嵌入在用户终端设备100B。另外，麦克风150可以通过设置调整输入用户语音的音量。

当用户语音被输入到麦克风150时，控制器140可以将输入的用户语音转换为语音元数据或声音元数据。在此情况下，控制器140可以基于用户语音生成图像元数据。此外，可以在存储器130中存储基于用户语音生成的图像元数据。

扬声器单元160是将音频数据转换为用户语音或其它声音并输出的元件。当选择静止图像文件时，扬声器单元160可以对语音元数据进行解码，并且控制器140可以生成与语音元数据相应的图像元数据并且对其进行解码。因此，当选择静止图像文件时，扬声器单元160输出与语音元数据相应的用户语音，并且控制器140输出与语音元数据相应的用户图像。

音频处理器(未示出)是用于处理存储在存储器130中的音频数据的元件。在此情况下，存储在存储器130中的音频数据可以是用户语音数据和/或背景音频数据或图像文件的语音元数据。在音频处理器(未示出)中，可以执行各种处理，诸如音频数据的解码、放大、噪声过滤等。因此，扬声器单元160输出音频处理器中生成的音频数据(未示出)。

存储器130是存储用户终端设备100B的操作所需的各种程序和数据的元件。控制器140通过使用存储在存储器130中的各种程序和数据来控制用户终端设备100B的整体操作。

此外，存储器130存储图像文件。具体而言，图像文件可以包括与包括在拍摄的图像中的背景图像相应的背景图像数据、与用户图像相应的用户静止图像数据、与用户图像的特征部分相应的图像元数据以及与用户语音相应的语音元数据。存储器130可以存储包括各种数据的图像文件。

控制器140控制用户终端设备100B的整体操作。控制器140包括随机访问存储器(RAM)141、只读存储器(ROM)142、中央处理器(CPU)143、图形处理器(GPU)144和总线145。RAM 141、ROM 142、CPU 143、GPU144等可以通过总线145彼此互连。

CPU 143通过访问存储器130通过使用存储在存储器130中的操作系统(O/S)执行启动。CPU通过使用存储在存储器130中的各种程序、内容和数据执行各种操作。此外，CPU143可以执行存储在存储器130中的图像文件或声音文件。已经在上面描述了图像文件和声音文件，并且将不进一步详细说明。

在ROM 142中，存储用于系统启动的命令集等。当输入打开命令并且供电时，CPU143根据存储在ROM 142的命令将存储在存储器130中的O/S复制到RAM 141，并且执行O/S以启动系统。当完成启动时，CPU 143将存储在存储器130中的各种程序复制到RAM 141，执行在RAM 141中复制的程序，并且执行各种操作。

当完成用户终端设备100B的启动时，GPU144显示背景图像、用户图像等。具体地，GPU 144可以通过使用计算器(未示出)和渲染单元(未示出)生成包括各种(诸如图标、图像和文本)的屏幕。计算器(未示出)根据屏幕的布局、形状、大小、颜色等计算属性值，诸如显示每个目标的坐标值。渲染单元(未示出)基于计算器(未示出)计算的属性值生成包括的各种布局的屏幕。在渲染单元(未示出)中生成的屏幕被提供给显示器120，并且显示在显示区域中。

根据上述各种示例性实施例的用于控制用户终端设备的方法可以存储在非暂时性可读介质中。非暂时性可读介质可以被安装在各种设备上并且使用。例如，可以在非暂时性可读介质中存储和提供程序代码，该程序代码用于控制用户终端设备执行拍摄用户从拍摄的图像检测用户图像，生成用于改变用户图像的特征部分的至少一部分的图像元数据，通过将用户图像与图像元数据匹配生成静止图像文件，存储静止图像文件，并且响应于静止图像文件的选择，显示特征部分的至少一部分根据图像元数据被自动改变的用户图像。

非暂时性可记录介质是指可以半永久性存储数据而不是短时间存储数据的介质，诸如寄存器，高速缓存和存储器，并且可通过设备读取。具体地，上述的各种应用或程序可以存储并提供在非暂时性可记录介质中，诸如光盘(CD)、数字视频盘(DVD)、硬盘、蓝光盘、USB、存储卡和只读存储器(ROM)。

前述实施例和优点仅仅是示例性的，且不应被解释为限制本发明构思。当前教导可以容易地应用于其它类型的设备。另外，本发明构思的示例性实施例的描述旨在说明性的，而不是限制权利要求的范围，并且许多替换、修改和变化对本领域的技术人员将是显而易见的。

Claims (11)

1.一种用户终端设备，包括：

相机单元，包括布置在第一方向上的第一相机和布置在与第一方向相反的第二方向上的第二相机；

显示器；以及

控制器，被配置为：

从由第一相机拍摄的目标的多个图像识别目标并通过对目标的多个图像进行比较来识别目标的特征部分的改变，

通过将由第二相机拍摄的背景图像与目标和从由第一相机拍摄的图像获得的图像元数据匹配来生成合成图像，其中，图像元数据指示目标的特征部分的改变，以及

控制显示器显示特征部分基于图像元数据被改变的合成图像。

2.如权利要求1所述的设备，还包括：

存储器，

其中，控制器被配置为基于选择存储在存储器中的另一图像，将所述另一图像与图像元数据匹配，并基于选择匹配的结果，基于图像元数据来改变所述另一图像的特征部分。

3.如权利要求2所述的设备，其中，控制器被配置为基于选择合成图像，控制显示器显示将与目标重叠的背景图像，

其中，背景图像是从拍摄的图像或预先存储的图像分割的图像。

4.如权利要求1所述的设备，其中，相机单元被配置为通过将目标拍摄为运动图像来获得目标的运动图像，

其中，控制器被配置为对目标的运动图像的每一帧进行比较并识别特征部分的改变，并且根据所述改变来获得图像元数据。

5.如权利要求1所述的设备，还包括：

麦克风单元，被配置为当目标被拍摄时接收目标的声音，

其中，控制器被配置为在麦克风单元接收到声音时基于声音获得图像元数据，将声音转换为声音元数据，并且将声音元数据存储在存储器中的合成图像中。

6.如权利要求5所述的设备，还包括：

扬声器单元，被配置为基于选择合成图像，输出与声音元数据相应的声音。

7.如权利要求1所述的设备，其中，特征部分包括目标的一部分，

其中，图像元数据包括坐标数据，其中，所述坐标数据包括特征部分的位置和特征部分的位置运动状态。

8.如权利要求2所述的设备，其中，存储器被配置为存储关于至少一个表情符号的信息，

其中，控制器被配置为：当选择表情符号时，基于选择的表情符号来获得用于改变目标的特征部分的图像元数据。

9.一种用于控制用户终端设备的方法，所述方法包括：

通过布置在第一方向上的第一相机拍摄目标的多个图像，并通过布置在与第一方向相反的第二方向上的第二相机拍摄背景图像；

从由第一相机拍摄的目标的多个图像识别目标并通过对目标的多个图像进行比较来识别目标的特征部分的改变；

通过将背景图像与目标和从由第一相机拍摄的图像获得的图像元数据匹配来生成合成图像，其中，图像元数据指示目标的特征部分的改变；以及

显示特征部分基于图像元数据被改变的合成图像。

10.如权利要求9所述的方法，所述方法还包括：

基于选择存储的另一图像，将所述另一图像与图像元数据匹配，并基于选择匹配的结果，基于图像元数据来改变所述另一图像的特征部分。

11.如权利要求10所述的方法，其中，

显示步骤包括：基于选择合成图像，显示将与目标重叠的背景图像，

其中，背景图像是从拍摄的图像或预先存储的图像分割的图像。

Images