CN104683565A - 移动终端及其控制方法 - Google Patents

Abstract

本发明涉及移动终端及其控制方法。一种控制移动终端的方法，并且其包括：在移动终端的触摸屏上显示图像；接收用于将音频与图像合成的音频合成命令；基于接收到的音频合成命令，与图像相关联地保存至少一个音频候选；以及在触摸屏上显示指示与图像一起保存至少一个音频候选的指示符。

Description

移动终端及其控制方法

技术领域

本发明涉及一种移动终端，并且更加具体地，涉及一种移动终端及其控制方法。虽然本发明适合于广范围的应用，但是其特别地适合于与音频一起输出图像。

背景技术

通常，终端能够被分类成移动/便携式终端和固定终端。根据用户的直接携带的可能性，移动终端能够进一步被分类成手持式终端和车载终端。随着终端的功能变成多样化，例如，终端趋向于被实现为被提供有诸如照片或者视频的拍摄、音乐或者视频文件的回放、玩游戏、广播接收等等的多媒体播放器。

最近，随着移动终端的性能被日益增强，在市场上发布了能够同时输出不同类型的至少两个多媒体内容或者为它们创建源内容的移动终端。因此，对于能够以诸如与其它类型的内容相关联地保存一种类型的内容的各种方式创建和输出源内容的移动终端的需求正在增长。

发明内容

因此，本发明针对一种移动终端及其控制方法，其实质上避免了由于相关技术的限制和缺陷所造成的一个或多个问题

本发明的目的是为了提供一种移动终端及其控制方法，通过该移动终端及其控制方法能够与音频一起输出图像。

特别地，本发明的一个目的是为了提供一种移动终端及其控制方法，通过该移动终端及其控制方法能够从各种源提取适合于图像的音频并且然后被合成在一起。

本发明的另一目的是为了提供一种移动终端及其控制方法，通过该移动终端及其控制方法，通过与图像相对应的音频能够提供各种附加的功能。

从本发明可获得的技术任务不受上述技术任务的限制。另外，在本发明属于的技术领域的普通技术人员从下面的描述能够清楚地理解其它未提及的技术任务。

本发明附加的优点、目的和特征将在随后的描述中被部分地阐述，并且对于本领域普通技术人员在考察了下文之后将变得部分的显而易见，或者可以从本发明的实践中习得。本发明的目的和其他优点可以通过在撰写的说明书及其权利要求以及附图中具体指出的结构来实现和获得。

为了实现这些和其它的优点并且根据本发明的用途，如在此具体化和广泛描述的，根据本发明的一个实施例的控制移动终端的方法可以包括下述步骤：选择图像；如果音频合成命令被输入，则搜寻与所选择的图像有关的至少一个音频候选；以及与所选择的图像相关联地保存找到的至少一个音频候选中的一个。

在本发明的另一方面中，如在此具体化和广泛地描述的，根据本发明的实施例的移动终端可以包括：触摸屏；存储器；以及控制器，如果音频合成命令被输入，则搜寻与所选择的图像有关的至少一个音频候选，该控制器与所选择的图像相关联地保存找到的至少一个音频候选中的一个。

在本发明的另一方面中，如在此具体化和广泛地描述的，根据本发明的另一实施例的移动终端可以包括：相机；音频输入单元；触摸屏；存储器；以及控制器，如果通过相机拍摄图像，从音频输入单元接收对应于被拍摄的图像的至少一个音频的输入，则该控制器控制通过对应于被拍摄的图像在存储器中保存输入的音频。在本示例中，控制器从被拍摄的图像中识别至少一个主题，并且能够控制通过对应于被识别的至少一个主题保存至少一个音频。

在本发明的又一方面中，如在此具体化和广泛地描述的，一种根据本发明的另一实施例的控制移动终端的方法可以包括下述步骤：通过相机拍摄图像；从音频输入单元接收对应于被拍摄的图像的至少一个音频的输入；以及对应于被拍摄的图像将输入音频保存在存储器中。在本示例中，保存步骤可以包括从被拍摄的图像中识别至少一个主题并且对应于被识别的至少一个主题保存输入的至少一个音频的步骤。

从本发明可获得的效果可以不受到在上面提及的效果的限制。另外，对本发明属于的技术领域的普通技术人员来说根据下面的描述能够清楚地理解其它未提及的效果。

应理解，本发明的上述一般说明和以下的详细说明都是解释性的，其旨在提供所要求保护的本发明的进一步解释。

附图说明

被包括以提供本发明的进一步理解并且被包含且构成本申请的一部分的附图图示本发明的一个或多个实施例，并且和说明书一起用于解释本发明的原理。在附图中：

图1是根据本发明的一个实施例的移动终端的框图；

图2是根据本发明的一个实施例的移动终端的前透视图；

图3是图示用于在根据本发明的一个实施例的移动终端中根据由控制器作出的确定或者用户的选择与相对应的图像相关联地保存适合于图像的音频的过程的一个示例的流程图；

图4是图示在根据本发明的一个实施例的移动终端中自动地确定音频以与图像合成的一个示例的图；

图5是图示在根据本发明的一个实施例的移动终端中响应于所选择的对象自动地确定音频以与图像合成的一个示例的图；

图6是图示在根据本发明的一个实施例的移动终端中响应于从对象候选中选择的多个对象自动地确定音频以与图像合成的一个示例的图；

图7是图示在根据本发明的一个实施例的移动终端中根据面部识别自动地确定音频以与图像合成的一个示例的图；

图8是图示用于在根据本发明的一个实施例的移动终端中用户确定音频以与图像合成的过程的一个示例的图；

图9是图示用于在根据本发明的一个实施例的移动终端中当找到多个音频源时用户确定音频以与图像合成的过程的一个示例的图；

图10是图示用于在根据本发明的一个实施例的移动终端中当找到要与图像的特定对象合成的多个音频源时选择音频的过程的一个示例的图；

图11是图示用于在根据本发明的一个实施例的移动终端中当找到要与图像的特定对象合成的多个音频候选时选择多个音频的过程的一个示例的图；

图12是图示在根据本发明的一个实施例的移动终端中在找到要与图像合成的多个音频候选之后发现被找到的音频的方法的一个示例的图；

图13是图示在根据本发明的一个实施例的移动终端中在找到要与图像合成的多个音频候选之后发现被找到的音频的方法的另一示例的图；

图14A和图14B是图示在根据本发明的一个实施例的移动终端中选择通过面部识别找到的音频候选中的规定的一个的一个示例的图；

图15是图示在根据本发明的一个实施例的移动终端中发现通过面部识别找到的音频候选源的一个示例的图；

图16是图示可适用于本发明的一个实施例的音频候选列表及其设置菜单的各种显示方法的一个示例的图；

图17是图示用于在根据本发明的一个实施例的移动终端中在拍摄图像的过程中选择要被合成的音频候选的过程的一个示例的图；

图18是图示用于在根据本发明的一个实施例的移动终端中在拍摄视频的过程中选择要与在视频中包括的音频合成的音频候选的过程的一个示例的图；

图19是图示在根据本发明的一个实施例的移动终端中播放和编辑先前合成的图像的音频的过程的一个示例的图；

图20是图示根据本发明的一个实施例的音频编辑过程的一个示例的图；

图21是图示用于在根据本发明的一个实施例的移动终端中在缩略图视图模式下显示音频合成的图像和将音频提供给图像的源视频的过程的一个示例的图；

图22是图示在根据本发明的一个实施例的移动终端中的通过与音频合成的图像相对应的缩略图执行的功能的一个示例的图；

图23是图示在根据本发明的一个实施例的移动终端中的通过与将音频提供给另一图像的视频相对应的缩略图执行的功能的一个示例的图；

图24是图示用于在根据本发明的一个实施例的移动终端中通过指示符执行在源视频和图像之间的切换的过程的一个示例的图；

图25是图示用于在根据本发明的一个实施例的移动终端中通过指示符执行在源视频和图像之间的切换的过程的一个示例的图；

图26和图27是图示在根据本发明的一个实施例的移动终端中通过社交网络服务获得音频以与图像合成的方法的一个示例的图；

图28是图示在根据本发明的另一实施例的移动终端中创建和播放包括音频的图像内容的方法的一个示例的图；

图29是图示在根据本发明的另一实施例的移动终端中保存音频以对应于图像并且播放被保存的音频的过程的一个示例的图；

图30是图示在根据本发明的另一实施例的在另一方面中的移动终端中保持音频以分别对应于多个图像的方法的一个示例的图；

图31是图示根据本发明的又一实施例的从源视频提取图像和音频并且保存它们以相互对应的方法的一个示例的流程图；

图32是图示在根据本发明的又一实施例的移动终端中使用视频源创建包括音频的图像内容的方法的一个示例的图；

图33是图示用于在根据本发明的至少一个实施例的移动终端中执行关于播放包括音频的图像内容的附加功能的过程的一个示例的流程图；以及

图34是图示用于在根据本发明的至少一个实施例的移动终端中执行与被匹配到图像的音频相关联的附加功能的过程的一个示例的图。

具体实施方式

在下文详细说明中，参考附图，附图形成本发明一部分并且通过图示本发明的具体实施例的形式示出。本领域普通技术人员应理解，在不偏离本发明的范围的情况下，可利用其他实施例，并且可做出结构性、电以及过程上的改变。只要可能，贯穿附图，将使用相同的附图标记指示相同或类似的部分。

如在本文所使用的，后缀“模块”、“单元”和“部分”被用于表示元件，仅仅是为了便于本发明。因此，不向后缀本身赋予重要意义或作用，应理解，后缀“模块”、“单元”和“部分”能够一起使用或互换使用。

本发明的实施例的特征可应用于各种类型的终端。这种终端的示例包括移动终端，诸如移动电话、用户设备、智能电话、移动计算机、数字广播终端、个人数字助理、便携式多媒体播放器(PMP)和导航仪。然而，仅通过非限制性示例，将关于移动终端100进一步进行说明，并且应注意，这样的教导可同样应用于其他类型的终端，诸如数字TV、台式计算机等等。

图1是根据本发明的实施例的移动终端100的框图。参考图1，移动终端100包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、以及电源单元190。图1示出具有各种组件的移动终端100，但是不要求实现全部所图示的组件。可根据各种实施例实现更多或更少的组件。

无线通信单元110通常包括一个或多个允许在移动终端100和移动终端100所位于的无线通信系统或网络之间进行无线通信的组件。例如，无线通信单元110能够包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114、以及位置定位模块115。

广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可包括卫星信道和陆地信道。能够在移动终端100中提供至少两个广播接收模块111，以有助于同时接收至少两个广播信道或广播信道切换。

广播管理服务器通常是产生和发送广播信号和/或广播相关信息的服务器，或者是提供有先前产生的广播信号和/或广播相关信息，然后将所提供的信号或信息发送至终端的服务器。广播信号可被实现为TV广播信号、无线电广播信号和/或数据广播信号，以及其他信号。如果需要，广播信号还可包括与TV或无线电广播信号组合的广播信号。

广播相关信息包括与广播频道、广播节目或广播服务提供商相关联的信息。此外，能够经由移动通信网络提供广播相关信息。在本示例中，能够由移动通信模块112接收广播相关信息。

广播相关信息能够以各种形式实现。例如，广播相关信息可包括数字多媒体广播(DMB)的电子节目指南(EPG)和手持数字视频广播(DVB-H)的电子服务指南(ESG)。

广播接收模块111可被配置为接收从各种类型的广播系统发送的广播信号。通过非限制性示例，这样的广播系统可以包括：陆地数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)；手持数字视频广播(DVB-H)、数字视频广播-广播和移动服务融合(DVB-CBMS)、开放移动联盟广播(OMA-BCAST)、被称为仅媒体前向链路(MediaFLO^TM)的数据广播系统、以及陆地综合服务数字广播(ISDB-T)。可选地，能够将广播接收模块111配置为适合于其他广播系统，以及上述数字广播系统。可将广播接收模块111接收的广播信号和/或广播相关信息存储在适当的设备中，诸如存储器160中。

移动通信模块112经由诸如GSM(全球移动通信系统)、CDMA(码分多址)、或WCDMA(宽带CDMA)等等的移动网络将无线信号发送到一个或多个网络实体(例如，基站、外部终端、和/或服务器等等)/从一个或多个网络实体接收无线信号。这样的无线信号可以承载音频、视频和根据文本/多媒体消息的数据。

无线互联网模块113支持移动终端100的互联网接入。该模块可内部或外部耦合至移动终端100。无线互联网技术能够包括WLAN(无线LAN)、Wi-Fi、Wibro^TM(无线宽带)、Wimax^TM(全球微波接入互操作技术)、HSDPA(高速下行链路分组接入)、GSM、CDMA、WCDMA、或者LTE(长期演进)。通过Wibro^TM、HSDPA、GSM、CDMA、WCDMA、或者LTE的无线互联网接入经由移动通信网络被实现。在这方面，无线互联网模块113可以被认为是经由移动通信网络执行无线互联网接入的一种移动通信模块112。

短程通信模块114有助于相对短程的通信。用于实现该模块的适当技术包括射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、以及通常称为蓝牙^TM和紫蜂^TM的网络技术，等等。

位置定位模块115识别或以其他方式获得移动终端100的定位。根据一个实施例，可利用全球定位系统(GPS)模块实现该模块。GPS模块115能够通过计算距至少三颗卫星的距离信息和精确的时间信息，然后对计算的信息应用三角测量，至少基于经度、纬度或高度以及方向(或取向)，来精确地计算当前的三维位置信息。使用三颗卫星计算位置信息和时间信息，然后使用另一颗卫星修正(或者校正)所计算的位置和时间信息的误差。此外，GPS模块115还能够通过连续计算实时当前定位来计算速度信息。

继续参考图1，音频/视频(A/V)输入单元120被配置为向移动终端100提供音频或视频信号输入。如图所示，A/V输入单元120包括相机121和麦克风122。相机121接收和处理在视频呼叫模式或拍摄模式下由图像传感器获得的静止图片或视频的图像帧。此外，能够在显示器151上显示经处理的图像帧。

由相机121处理的图像帧能够被存储在存储器160中，或者能够经由无线通信单元110被发送到外部接收者。可选地，根据使用环境，能够在移动终端100中提供至少两个相机121。

当便携式设备处于诸如电话呼叫模式、记录模式和语音识别的特殊模式时，麦克风122接收外部音频信号。该音频信号被处理和转换为电音频数据。在呼叫模式下，将经处理的音频数据转换为可经由移动通信模块112被发送至移动通信基站的格式。麦克风122通常包括配套的噪声去除算法，以去除在接收外部音频信号过程中生成的噪声。

用户输入单元130响应于相关联的一个或多个输入设备的用户操纵而生成输入数据。这样的设备的示例包括小键盘、薄膜开关、触摸板(例如，静压/电容)、滚动轮、以及滚动开关。图1也图示用户输入单元130能够包括按钮136(硬或者软按钮)和触摸传感器137。

感测单元140提供感测信号，用于使用移动终端的各个方面的状态测量来控制移动终端100的操作。例如，感测单元140可以检测移动终端100的开启/闭合状态、移动终端100的组件(例如，显示器和小键盘)的相对定位、移动终端100或移动终端100的组件的位置(或定位)变化、用户与移动终端100接触的存在或不存在，以及移动终端100的取向或加速度/减速度。

作为示例，考虑将移动终端100配置为滑盖式移动终端。在该配置中，感测单元140可感测移动终端的滑动部分是否开启或闭合。根据其它示例，感测单元140感测由电源单元190提供的电力的存在或不存在以及在接口单元170和外部设备之间的耦合或其他连接的存在或不存在。根据一个实施例，感测单元140能够包括接近传感器141。

输出单元150生成与视觉、听觉、以及触摸的感测有关的输出。此外，输出单元150包括显示器151、音频输出模块152、报警单元153触觉模块154。投影仪模块也可以被包括。

显示器151通常被实施为视觉显示(输出)与移动终端100相关联的信息。例如，如果移动终端在电话呼叫模式下操作，则显示器通常将提供用户界面(UI)或图形用户界面(GUI)，其包括与电话呼叫的拨打、进行和终止相关联的信息。作为另一示例，如果移动终端100处于视频呼叫模式或拍摄模式下，则显示器151可以另外或可替换地显示与这些模式相关联的图像、UI或GUI。

可使用已知的显示技术实现显示模块151。这些技术例如包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管显示器(OLED)、柔性显示器和三维显示器。移动终端100可以包括一个或多个这样的显示器。

显示器的一些能够被实现为透明或光透射式，即，透明显示器。透明显示器的代表性示例是TOLED(透明OLED)。显示器151的后部构造也能够被实现为光透射式。在该构造中，用户能够在终端主体的显示器151的一部分上来观察位于终端主体后部的物体。

根据移动终端100的一个实施例，能够在移动终端100中提供至少两个显示器151。例如，多个显示器能够被布置成相互隔开或者在移动终端100的单个面上形成单个主体。可替选地，能够将多个显示器布置在移动终端100的不同面上。

如果显示器151和用于检测触摸动作的传感器(下文中称为“触摸传感器”)被配置成相互分层结构(下文中称为“触摸屏”)，则显示器151可用作输入设备以及输出设备。在本示例中，触摸传感器能够被配置为触摸膜、触摸片、或者触摸板。

触摸传感器能够被配置为将向显示器151的特定部分施加的压力或从显示器151的特定部分生成的电容变化转换为电输入信号。此外，触摸传感器可以被配置成检测触摸的压力以及触摸位置或尺寸。

如果向触摸传感器进行触摸输入，则对应于该触摸输入的一个或多个信号就被传送到触摸控制器。触摸控制器处理该一个或多个信号，然后将经处理的一个或多个信号传送到控制器180。因此，控制器180意识到何时显示器151的规定部分被触摸。

参考图1，能够在由触摸屏包围的或触摸屏周围的移动终端100的内部区域处提供接近传感器141。接近传感器是在不进行机械接触的情况下使用电磁场强度或红外线来检测接近规定检测表面的物体或者存在于(位于)接近传感器周围的物体的存在或不存在的传感器。因此，接近传感器141比接触式传感器更加耐久，并且也具有比接触式传感器更广的实用性。

接近传感器141能够包括透射光电传感器、直接反射光电传感器、镜面反射光电传感器、射频振荡接近传感器、静电电容接近传感器、磁接近传感器、以及红外接近传感器中的一个。如果触摸屏包括静电电容接近传感器，则其被配置为使用根据指示器的接近的电场的变化来检测指示器的接近。在此配置中，能够将触摸屏(触摸传感器)视为接近传感器。

为了清晰和便于解释，可将使得能够将接近触摸屏的指示器识别为被放置在触摸屏上的动作称为“接近触摸”，并且将使得指示器能够实际接触触摸屏的动作可以称为“接触触摸”。另外，使用指示器进行接近触摸触摸屏的位置可意味着当指示器进行接近触摸时指示器垂直对应于触摸屏的位置。

接近传感器检测接近触摸和接近触摸样式(例如，接近触摸距离、接近触摸持续时间、接近触摸位置、接近触摸移位状态等等)。能够将对应于所检测的接近触摸动作和所检测的接近触摸样式的信息输出至触摸屏。

音频输出模块152在各种模式下起作用，包括呼叫接收模式、呼叫拨打模式、记录模式、语音识别模式、以及广播接收模式，以输出从无线通信单元110接收的或存储在存储器160中的音频数据。在操作期间，音频输出模块152输出关于具体功能(例如，接收的呼叫、接收的消息)的音频。可以使用一个或多个扬声器、蜂鸣器、其他音频发生设备以及这些设备的组合实现音频输出模块152。

报警单元153输出用于通知发生了与移动终端100相关联的特定事件的信号。典型事件包括接收到呼叫、接收到消息和接收到触摸输入。通过振动以及视频或音频信号，报警单元153能够输出用于通知事件发生的信号。能够经由显示器151或音频输出模块152输出视频或音频信号。因此，能够将显示器151或音频输出模块152视为报警单元153的一部分。

触觉模块154生成能够由用户感知的各种触觉效果。振动是由触觉模块154生成的一种代表性触觉效果。由触觉模块154生成的振动强度和样式是可控的。例如，不同振动能够通过合成在一起被输出，或者能够被依次输出。

触觉模块154能够生成各种触觉效果以及振动。例如，触觉模块154可以生成归因于相对接触皮肤表面垂直移动的针的布置的效果；归因于空气通过喷射/吸入孔的喷射/吸入力的效果；归因于在皮肤表面上掠过的效果；归因于接触电极的效果；归因于静电力的效果；归因于使用吸热或发热设备表现的热/冷感觉的效果。

能够实现触觉模块154以使得用户能够通过手指或手臂的肌肉感知来感测到触觉效果，以及通过直接接触传递触觉效果。可选地，根据移动终端100的实施例，能够在移动终端100中提供至少两个触觉模块154。

存储器单元160通常用于存储各种类型的数据，以支持移动终端100的处理、控制和存储需求。这样的数据的示例包括：用于在移动终端100上操作的应用的程序指令、联系人数据、电话本数据、消息、音频、静止图片(或照片)、以及运动图片。此外，能够在存储器单元160中存储每种数据的最近使用历史或累计使用频率(例如，每个电话本、每条消息或每个多媒体文件的使用频率)。

此外，能够在存储器160中存储用于响应于对触摸屏的触摸输入输出的各种样式的振动和/或声音的数据。可以使用任何类型的适当的易失和非易失存储器或存储设备或其组合实现存储器160，包括：硬盘、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、电可擦可编程只读存储器(EEPROM)、可擦可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘、多媒体卡微型存储器、卡式存储器(例如，SD存储器、或者XD存储器)，或者其他类似的存储器或数据存储设备。此外，移动终端100能够结合用于在互联网上执行存储器160的存储功能的网络存储来操作。

接口单元170可以被实现为将移动终端100和外部设备相耦合。接口单元170从外部设备接收数据，或者被供电，然后接口单元170将数据或电力传送至移动终端100的相应的元件，或者使得能够将移动终端100内的数据传送至外部设备。使用有线/无线头戴式端口、外部充电器端口、有线/无线数据端口、存储器卡端口、用于耦合至具有标识模块的设备的端口、音频输入/输出端口、视频输入/输出端口、以及/或者耳机端口来配置接口单元170。

标识模块是存储用于验证移动终端100的使用权限的各种信息的芯片，并且能够包括用户标识模块(UIM)、订户标识模块(SIM)和/或通用订户标识模块(USIM)。能够将具有标识模块的设备(下文中称为“标识模块”)制造为智能卡。因此，标识模块可经由对应的端口连接到移动终端100。

当将移动终端100连接至外部支架时，接口单元170变为用于从支架向移动终端100供电的通道，或者变为用于将用户从支架输入的各种命令信号传递至移动终端100的通道。从支架输入的各种命令信号或者电力中的每一个都能够起到使移动终端100识别到其已经正确装载在支架中的信号的作用。

控制器180通常控制移动终端100的整体操作。例如，控制器180执行与语音呼叫、数据通信、以及视频呼叫相关联的控制和处理。控制器180能够包括多媒体模块181，其提供多媒体回放。多媒体模块181可被配置成控制器180的一部分，或者可作为单独的组件实现。此外，控制器180能够执行模式(或图像)识别处理，用于将在触摸屏上执行的书写输入和绘图输入分别识别为字符或图像。

电源单元190向移动终端100提供各种组件所需的电力。该电力可以是内部电力、外部电力或内部和外部电力的组合。

例如，可在使用计算机软件、硬件或计算机软件和硬件的一些组合在计算机可读介质中实现在此所述的各种实施例。对于硬件实施，可在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编辑门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于执行在此所述功能的其他电子单元、或其选择性组合中实现在此所述的实施例。也可通过控制器180实现这样的实施例。

对于软件实施，可通过单独的软件模块实现在此所述的实施例，软件模块诸如是程序和函数，其中的每一个都执行在此所述的一个或多个功能或操作。能够以任何适当的编程语言编写的软件应用实现软件代码，并且可将软件代码存储在诸如存储器160的存储器中，并且由诸如控制器180的控制器或处理器来执行。

图2是根据本发明的一个实施例的移动终端的前透视图。在图2中图示的移动终端100具有直板式终端主体。然而，可以以各种不同的配置实现移动终端100。这样的配置的示例包括折叠式、滑盖式、旋转式、摇摆式、以及其组合。为了描述的简单，本公开将会主要涉及直板式移动终端100。然而，本发明同等地应用于其它类型的移动终端。

参考图2，移动终端100包括组成移动终端的外部的壳体(外壳、外罩、或者盖)。在本实施例中，壳体能够被划分成前壳体101和后壳体102。各种电子/电气组件被装载在前壳体101和后壳体102之间提供的空间(容积)中。可选择地，另外，至少一个中间壳体能够进一步被提供在前壳体101和后壳体102之间。例如，壳体101和102是通过合成树脂的注模成型形成，或者能够由诸如不锈钢(STS)或者钛(Ti)等的金属物质形成。

显示器151、音频输出单元152、相机121、操纵单元131和132、麦克风122、以及接口单元170能够被提供在移动主体处，并且更加具体地，在前外壳101处。操纵单元131和132是用户输入单元130的一部分。

显示器151占据前壳体101的主面的大部分。音频输出模块152和相机121被提供在与显示器151的一端部相邻的区域处，而操纵单元131和麦克风122被提供在与显示器151的另一端部相邻的区域处。操纵单元132和接口单元170能够被提供在前壳体101和后壳体102的横向侧面处。另一操纵单元133能够被提供在壳体102的顶部上。

操纵(操作)用户输入单元130以接收用于控制终端100的操作的命令。此外，用户输入单元130可以包括多个操纵单元131和132。操纵单元131和132能够被称为操纵部分并且可以采用能够使用户通过触摸执行操纵动作的任何的触觉机制。

通过操纵单元131和132输入的内容能够在两个之间划分。例如，诸如开始、结束、以及滚动的命令被输入到第一操纵单元131。此外，用于从音频输出模块152输出的声音的音量调节的命令、或者用于切换到显示器151的触摸识别模式的命令能够被输入到第二操纵单元132。

同时，诸如箭头、手指等等的用于指向显示单元上的特定目标或者从显示选择菜单的图形被称为指示器或者光标。然而，指示器经常被用于意指用于触摸操纵等等的手指、触笔等等。为了在本公开中清楚地相互区分指示器和光标，被显示在显示单元上的图形被命名为光标并且诸如手指、触笔等等的用于执行触摸、接近触摸、手势等等的物理机制被命名为指示器。

与相对应的图像相关联地搜索和保存适合于图像的音频

根据本发明的一个实施例，提供一种移动终端和控制移动终端的方法，该移动终端能够根据通过控制器做出的确定或者用户的选择与相对应的图像相关联地保存适合于图像的音频。在本示例中，如果与图像相关联地保存音频，则当显示相对应的图像时能够与图像一起播放被保存的音频。在本说明书中，为了清楚起见，与图像相关联的音频保存过程被命名为“将音频与图像合成”。

图3是图示用于在根据本发明的一个实施例的移动终端中根据通过控制器做出的确定或者用户的选择与相对应的图像相关联地保存适合于图像的音频的过程的一个示例的流程图。参考图3，选择图像，其将会被保持并与音频匹配(S310)。

在本示例中，图像可以包括通过相机121捕获的图像。另外，图像可以包括通过被事先被保存在存储器160中的图库应用中的图像。特别地，如果图像被选择，则通过根据本发明的实施例的提供与音频相关联地保存图像的功能的应用，相对应的图像被显示在触摸屏上。

当图像被选择时，通过触摸屏151或者用户输入单元130能够输入音频合成命令(S320)。可以输入与所选择的图像相对应或者指定所选择的图像中的至少一个对象的音频合成命令。此外，取决于音频合成命令的类型，要被关联保存的音频能够通过控制器180自动选择或者通过用户直接选择。例如，当通过第一模式触摸(例如，单触摸)用户选择与音频合成命令相对应的图标时，控制器180自动地选择适合于相对应的图像的音频。在另一示例中，当通过第二模式触摸(例如，长触摸)用户选择与音频合成命令相对应的图标时，用户可以直接地选择适合于相对应的图像的音频。

当输入音频合成命令时，控制器180能够搜寻与所选择的图像有关的音频候选(S330)。在本示例中，能够以音频源的至少一部分的形式找到音频候选。另外，音频源是包含可与所选择的图像相关联地保存的音频的多媒体内容，并且能够包括音乐文件、记录文件、视频文件等等中的一个。当然，音频源不必以文件的形式存在。另外，本发明的音频源也能够包括流内容。

在搜寻音频候选中，控制器180能够考虑诸如用户的模式、通过被匹配到与所选择的图像相似的不同图像保存的音频的使用频率、为所选择的图像设置的标签或者文件名称、被包括在图像中的对象的识别结果(例如，面部识别等等)、所选择的图像的创建时间和地点、拍摄所选择的图像的日期的天气、图像的色感(例如，REG比率)等等的搜索条件。在本示例中，图像创建时序点可以被包括在相对应的文件的报头信息中。

另外，通过被包括在图像或者图像的文件名称中的标签、被包括在报头中的GPS信息等等可以确定图像拍摄的地点。此外，搜索的范围能够基本上包括存储器160。如果从存储器160中没有找到合适的音频源，则搜索范围能够向外扩展到外部服务器、互联网、SNS等等。此外，根据设置，搜索范围能够向外扩展到外部服务器、互联网、SNS等等。

根据在前述的描述中所提及的音频合成命令的设置或者类型，可以自动地或者通过用户选择在被找到的音频候选当中的与图像匹配的音频。如果音频被自动地选择(在S340中是)，则控制器180从找到的音频候选中选择对所选择的图像具有最高适合性的音频(S350)并且然后能够与相对应的图像相关联地保存所选择的音频(S360)。在本示例中，根据前述的搜索条件的匹配率能够确定对图像的适合性。特别地，当各个条件被设置为具有不同的权重时，能够全面考虑多个条件。

同时，如果用户直接地选择音频(在S340中否)，则被找到的音频候选能够以规定的形状被单独地显示或者与规定的图像一起显示(S351)。用户能够通过输入音频选择命令从被显示的音频候选中确定要与图像相关联地保存的音频(S353)。因此，控制器180能够与图像相关联地保存所选择的音频(S360)。

参考图4至图7如下地描述用于自动确定音频以与图像合成的过程。为了清楚起见，在包括图4的下面的附图中，假定通过图库应用确定要与音频相关联地保存的图像的选择、音频源的显示和/或音频源的确定。但是，根据本发明的实施例的保存音频以对应于图像的功能不图库应用的限制。对于能够选择和播放图像的任何应用不进行限制。

图4是图示在根据本发明的一个实施例的移动终端中自动地确定音频以与图像合成的一个示例的图。参考图4(a)，通过图库应用图像410能够被显示在触摸屏151上。此外，如果与音频合成命令相对应的音频合成图标420被选择，则控制器180能够自动地与相对应的图像410相关联地保存被确定为最适合相对应的图像410的音频。

如果保存操作完成，参考图4(b)，则控制器180能够控制音频图标430被显示，该音频图标430指示音频被保存以对应于相对应的图像。此外，如果音频图标430被选择，则与图像相关联地保存的音频能够通过音频输出单元152被输出，同时显示相对应的图像。在本示例中，参考图4(c)，进度条440能够被显示在触摸屏151上以指示被播放的音频的播放状态。

图5是图示在根据本发明的一个实施例的移动终端中响应于所选择的对象自动地确定音频以与图像合成的一个示例的图。参考图5(a)，通过图库应用图像510能够被显示在触摸屏151上。此外，如果用户将音频合成图标520拖放到图像510中的特定对象511，则控制器180能够自动地与相对应的图像510相关联地保存被确定为最适合于相对应的图像510的音频。如果保存操作完成，参考图5(b)，则控制器180能够控制音频图标530被显示在所选择的对象周围，该音频图标530指示音频被保存以对应于相对应的图像。

在本示例中，为了帮助用户的对象选择，控制器180能够通过规定的视觉效果通知用户适合于音频合成的对象。例如，参考图5(c)，在用户将音频合成图标520已经拖动到图像之后，如果用户保持触摸的状态，则控制器180能够控制事先显示在适合于音频合成的对象541和543中的每一个上的视觉效果。在本示例中，适合音频合成的对象可以优先地包括能够指定用于根据相对应的对象的形状和颜色搜寻适合于合成的音频的条件的对象(例如，可用于面部识别的面部、能够通过形状识别指定名称的事务等等)。

如果指示器紧密地接近通过控制器180确定的对象中的一个，参考图5(d)，则控制器180能够仅显示与指示器最紧密接近的对象541相对应的视觉效果。其后，如果从相对应的对象释放利用指示器的触摸输入，如在前述的描述中所提及的，则通过控制器180确定最适合于相对应的图像的音频能够被保存以对应于相对应的图像。如果从不能对应于任何视觉效果的位置释放利用指示器的触摸状态，则控制器180能够控制通过与由控制器180确定的所有对象相匹配来保存音频。

图6是图示在根据本发明的一个实施例的移动终端中响应于从对象候选中选择的多个对象自动地确定音频以与图像合成的一个示例的图。参考图6(a)，当显示通过使音频与其对应而保存的图像610时，如果音频合成图标620在预定时间内被触摸多次或者被长触摸，则控制器180能够控制要被事先显示在适合于音频合成的对象631至633中的每一个上的视觉效果。此外，如果用户顺序地选择第二对象632和第三对象633，则最适合所选择的对象632和633的音频能够通过分别与其匹配而被保存。其后，参考图6(b)，音频图标642和643能够分别被显示在与所选择的对象相对应的位置处。

图7是图示在根据本发明的一个实施例的移动终端中根据面部识别自动地确定音频以与图像合成的一个示例的图。参考图7(a)，通过图库应用，包括人的面部的图像710能够被显示在触摸屏151上。此外，如果用户选择与面部相对应的区域711，则控制器180对相对应的面部执行面部识别，并且然后能够在存储器160中搜寻与被视为面部识别的结果的人相对应的音频。

因此，参考图7(b)，弹出菜单720能够被显示。在弹出菜单720中，能够被包括被识别的人物(人)的姓名和合成命令菜单721。此外，如果用户选择合成命令菜单721，则控制器180能够自动地与相对应的图像相关联地保存被确定为最适合相对应的面部711的音频。如果保存操作完成，参考图7(c)，则控制器180能够控制指示音频对应于相对应的图像被保存的音频图标730被显示在面部周围。

参考图8至图16如下地详细描述用于响应于用户的选择确定音频以合成图像的过程。为了清楚起见，在包括图8的下面的附图中，假定音频源包括至少一个视频。

图8是图示用于在根据本发明的一个实施例的移动终端中用户确定音频以合成图像的过程的一个示例的图。参考图8(a)，通过图库应用，图像810能够被显示在触摸屏151上。此外，如果与音频合成命令相对应的音频合成图标820被选择，则控制器180搜寻与相对应的图像810有关的音频候选，并且然后能够显示相对应的结果。

作为搜索的结果，如果被包括在单个视频中的三个部分被发现为音频候选，参考图8(b)，则源信息830能够被显示在底部区域上。在本示例中，源信息830可以包括相对应的源的名称、用于改变播放状态的菜单集合(例如，进度条、播放按钮、暂停按钮等等)、以及与有关部分相对应的缩略图。在本示例中，各个缩略图可以包括I帧，I帧对应于在包含音频候选的源视频中包括相对应的音频候选的时序点。

在本示例中，如果用户选择中间缩略图832，则控制器180能够控制从源视频选择的缩略图相对应的音频与对应的图像相关联地被保存。如果保存操作完成，参考图8(c)，则控制器180能够显示指示对于相对应的图像保存音频的音频图标840。此外，如果音频图标840被选择，如在前述的描述中所提及的，则被保存的音频能够通过音频输出单元152被输出，同时相对应的图像被显示。

图9是图示用于当在根据本发明的一个实施例的移动终端中找到多个音频源时用户确定音频以合成图像的过程的一个示例的图。参考图9(a)，通过图库应用，图像910能够被显示在触摸屏151上。此外，如果与音频合成命令相对应的音频合成图标920被选择，则控制器180搜寻与相对应的图像910有关的音频源，并且然后能够显示相对应的结果。作为搜索的结果，如果分别被包括在不同视频中的四个视频被发现为音频候选，则音频候选信息930能够被显示。

在音频候选信息930中，包含各个音频的视频的缩略图和播放按钮能够被显示。此外，如果用户选择第三缩略图933的播放按钮，参考图9(b)，则进度条937被显示在相对应的缩略图内，并且与相对应的视频中的图像有关的一部分能够被显示。当然，能够仅播放音频替代播放视频。为了从音频候选信息930选择规定的音频，用户从各个缩略图中选择除了播放按钮之外的区域，或者将相对应的缩略图拖放到其上显示有图像910的区域。

图10是图示用于当在根据本发明的一个实施例的移动终端中找到要与图像的特定对象合成的多个音频源时选择音频的过程的一个示例的图。参考图10(a)，通过图库应用，图像1010能够被显示在触摸屏151上。此外，如果用户选择图像中的特定对象1011，则用于所选择的对象1011的音频合成菜单1020能够被显示。此外，如果音频合成菜单1020被选择，则控制器180搜寻与相对应的对象1011有关的音频候选，并且然后能够显示相对应的结果。如果搜索操作完成，参考图10(b)，则音频候选信息1030能够被显示在图像的左侧末端上。

特别地，当从三个不同的视频中找到五个部分的音频时，与五个部分中的每一个相对应的缩略图和相对应的源视频中的各个相对应的部分的时序信息能够被显示在音频候选信息1030上。在本示例中，被包括在相同视频中的音频能够通过以相同的颜色表示相对应的缩略图的外围通知用户相对应的源的标识的存在或者不存在。此外，如果第三缩略图1033被选择，则控制器180能够与相对应的图像相关联地保存与所选择的缩略图相对应的音频。如果保存操作完成，参考图10(c)，则控制器180能够为对象1011显示指示音频被保存的音频图标1040。

图11是图示当在根据本发明的一个实施例的移动终端中找到要与图像的特定对象合成的多个音频候选时选择多个音频的过程的一个示例的图。参考图11(a)，通过图库应用，图像1110能够被显示在触摸屏151上。此外，如果用户选择图像1110中的特定对象1111，则用于所选择的对象1111的音频合成菜单1120能够被显示。

此外，如果音频合成菜单1120被选择，则控制器180搜寻与相对应的对象1111有关的音频候选并且然后能够显示相对应的结果。如果搜索操作完成，则参考图11(b)，音频候选信息1130能够被显示在图像的左侧末端上。此外，如果第三缩略图1133被拖动到所选择的对象1111，则控制器180能够与相对应的图像相关联地保存与所选择的缩略图相对应的音频。如果保存操作完成，参考图11(c)，则控制器180能够通过对应于对象1111显示指示音频被保存的音频图标1140。在本示例中，如果能够为单个对象保存多个音频，则音频添加图标1150能够被显示。

如果音频添加图标1150被选择，如在图11(b)中所示，则音频候选信息1130能够被显示。在本示例中，如果第五缩略图1135被选择，则控制器180能够附加地与相对应的图像相关联地保存与第五缩略图1135相对应的音频。因此，参考图11(d)，与关联保存的音频的数目相对应的视觉效果1160能够被附加地显示在音频图标1140上。此外，仅在第一音频选择的完成之后在预定的持续时间内可以显示音频添加图标1150，或者可以继续被显示。

图12是图示在根据本发明的一个实施例的移动终端中找到要合成图像的多个音频候选之后发现被找到的音频的方法的一个示例的图。参考图12(a)，当用于所选择的图像1210的音频合成命令被输入时，控制器180搜寻与相对应的图像有关的多个音频候选，并且然后能够控制三个缩略图被显示在图像1210的底部，这三个缩略图对应于包含从包含各个音频候选的视频中找到的音频的一部分。

根据在图12(a)中示出的示例，与通过控制器180被确定为具有最高适合性的三个音频相对应的缩略图1221至1223被显示在第一位置。此外，如果用户打算检查其它的音频候选，则用户能够在从右侧到在其上显示缩略图的区域的向左方向中输入轻弹触摸。因此，参考图12(b)，当缩略图被滚动时，与第四音频相对应的缩略图和与第五音频相对应的缩略图1225能够被显示。此外，如果轻弹触摸被再次输入，则缩略图能够在向左方向中被再次滚动。

但是，如果通过控制器180找到的音频的数目或者成功地通过预设的适合性级别的音频候选的数目仅是5，参考图12(c)，则候选添加图标1230能够被显示为紧挨着最后的缩略图。如果候选添加图标1230被选择，则控制器180附加地搜寻具有比前五个音频候选更低的适合性的音频候选或者扩展搜索范围。随后，参考图12(d)，控制器180能够显示分别对应于新的音频候选的缩略图1240。

图13是图示在根据本发明的一个实施例的移动终端中找到要与图像合成的多个音频候选之后发现被找到的音频的方法的另一示例的图。参考图13，进行与图12的相似的下述假定。首先，当用于所选择的图像的音频合成命令被输入时，控制器180搜寻与相对应的图像有关的多个音频候选，并且然后能够控制三个缩略图被显示在图像的底部，这三个缩略图对应于包含从包含各个音频候选的视频中找到的音频的一部分。

在本示例中，参考图13(a)，当被包括在第一缩略图显示区域1310中的播放按钮被选择时，包含源视频中的第一音频候选的一部分能够在相对应的区域1310内被播放。因此，进度条1311也能够被显示。此外，如果在向左方向中用户将轻弹触摸输入到图像，则能够改变视频的时序点。因此，参考图13(b)，也改变通过进度条1311’指示的播放时序点。如果用户再次在向上方向中将轻弹触摸输入到图像，参考图13(c)，则包含下一个音频候选的视频能够在显示与下一个音频候选相对应的缩略图的区域中播放。因此，也能够显示进度条1321。如果用户再次在向下方向中将轻弹触摸输入到图像，则包含第一音频候选的视频能够被播放。如果用户在向上方向中将轻弹触摸输入到图像，则与第三音频候选相对应的视频能够在显示与第三音频候选相对应的缩略图的区域1330上播放。

简言之，通过在宽度方向中进行对图像的轻弹触摸输入，能够改变包含当前播放的音频候选的视频的播放时序点。通过在长度方向中的轻弹触摸，当前播放的音频候选能够变成前一个音频候选或者下一个音频候选。

在下面的描述中，参考图14A至图15解释用于根据面部识别结果用户选择音频候选的方法。图14A和图14B是图示在根据本发明的一个实施例的移动终端中选择通过面部识别找到的音频候选中的规定的一个的一个示例的图。

参考图14A(a)，通过图库应用，包括人的面部的图像1410能够被显示在触摸屏151上。如果用户选择与面部相对应的区域1420，则控制器180对相对应的面部执行面部识别，并且然后能够在存储器160中搜寻与被识别的人相对应的音频作为面部识别的结果。因此，弹出菜单1420能够被显示。在本示例中，被识别的人或人物的姓名和合成命令菜单能够被包括在弹出菜单1420中。

此外，如果用户选择合成命令菜单，参考图14A(b)，则控制器180能够显示适合于相对应的面部1411的音频候选的列表1430。特别地，通过STT从相对应的音频候选转换的文本能够与被包括在列表1430中的各个项目一起被显示。此方法可以是有用的，因为根据面部识别很有可能人的声音被包括在搜索结果中。如果从列表1430中选择规定的音频，则控制器180能够与相对应的图像相关联地保存所选择的音频。如果保存操作完成，参考图14(c)，则控制器180能够控制指示与相对应的图像相对应地保存音频的音频图标1440被显示在面部周围。

此外，参考图14B(a)，如果作为面部识别的结果多个人物被包括在单个图像中，则控制器180能够控制指示音频合成是可用的指示符1450，和包括关于对应的被识别的人物所找到的音频候选的列表1460，被显示在各个被识别的人物的周围。如果用户没有将音频合成图标1470拖动到人而是拖动到对象1480，如在图14B(b)中所示，则控制器180使用具有形状/颜色/面部识别的相邻人物的对应对象的相对大小来识别相对应的对象，并且能够控制匹配识别结果的候选种类列表1490在第一位置被输出。如果从候选种类列表1490中选择规定的一个候选种类，则控制器180能够使用所选择的种类作为搜索条件搜寻音频候选。

图15是图示在根据本发明的一个实施例的移动终端中发现通过面部识别找到的音频候选的来源的一个示例的图。参考图15(a)，当图像1510被显示在触摸屏151上时，如果特定人物的面部1511被选择，则通过面部识别的音频候选搜索能够被执行。当搜索的结果被显示为缩略图列表时，如在图15(b)中所示，如果用户对与第一音频候选相对应的缩略图1521施加长触摸，则包括第一音频候选的视频能够显示为全屏，如在图15(c)中所示。此外，在相对应的视频中出现的所选择的特定人物1511’的一部分能够在进度条1530的顶端上被显示在条1531/1532。如果用户选择条1531和1532中的规定的一个，参考图15(d)，则合成菜单1540被显示。如果合成菜单1540被选择，则与所选择的条相对应的音频能够与图像1510合成。

根据在下面的描述中所提及的实施例，音频候选的列表以显示包括音候选部分的缩略图的方式被显示。可替选地，音频候选的列表能够如在图16中所示显示。图16是图示根据本发明的一个实施例的音频候选列表及其设置菜单的各种显示方法的一个示例的图。

参考图16(a)，作为音频候选列表，包含音频候选的源视频的进度条1620/1630和与进度条1620/1630相对应的缩略图1621/1631能够被显示在图像1610的底端上。相对应的源视频中的包含音频候选的一部分能够在进度条1620和1630中的每一个上被显示为条。参考图16(b)，种类列表1640被附加地显示。如果从种类列表1640中选择规定的种类，则种类列表下方的缩略图列表能够被改变以对应于与所选择的种类相对应的音频候选的列表。

同时，通过在图16(c)中示出的菜单能够选择是否打开种类列表1640的显示和对于搜寻音频候选所考虑的条件。

在下面的描述中，参考图17和图18详细地解释在拍摄图像的过程中选择音频候选的方法。图17是图示用于在根据本发明的一个实施例的移动终端中选择要在拍摄图像的过程中合成的音频候选的过程的一个示例的图。

参考图17(a)，如果在相机拍摄模式下拍摄图像，则控制器180能够考虑到图像拍摄时间、图像拍摄地点、图像的主题等等在存储器160中搜寻与被拍摄的图像有关的视频的存在或者不存在。如果作为搜索的结果相对应的视频存在，则控制器180显示音频合成图标1710并且也能够显示找到的视频的缩略图1720。如果音频合成图标1710被选择，则在被找到的视频中最适合拍摄的图像的视频能够与拍摄的图像相关联地保存。因此，指示音频与拍的图像合成的图标1730能够被显示。

此外，参考图17(c)，当多个视频被找到时，多个缩略图图像1720’能够被显示。如果音频合成图标1710被选择，参考图17(d)，则在找到的视频中包括的音频候选的列表1740能够被显示为缩略图列表。如果从列表1740中选择规定的缩略图，则控制器180能够与被拍摄的图像相关联地保存对应于所选择的缩略图的音频。

根据在上面的描述中所提及的实施例，在图像已经被选择之后，音频被选择。可替选地，音频被选择并且然后适合于音频的图像能够被选择。参考图18如下地详细地对其进行描述。

图18是图示用于在根据本发明的一个实施例的移动终端中在拍摄视频的过程中选择要与在视频中包括的音频合成的音频候选的过程的一个示例的图。参考图18(a)，如果在相机拍摄模式下拍摄视频，则控制器180能够考虑到视频拍摄的时间、视频拍摄的地点、视频的主题等等在存储器160中搜寻与被拍摄的视频有关的视频的存在或者不存在。如果作为搜索的结果相对应的视频存在，则控制器180能够显示音频合成图标1810。如果音频合成图标1810被选择，参考图18(b)，则找到的图像的列表1820能够被显示为缩略图列表。如果从列表1820中选择规定的缩略图，则控制器180能够与对应于所选择的缩略图的图像相关联地保存被拍摄的视频的音频的至少一部分。

参考图19和图20如下详细地描述编辑与图像相关联地保存的音频的方法。图19是图示用于在根据本发明的一个实施例的移动终端中编辑先前合成的图像的音频的过程的一个示例的图。

参考图19(a)，当音频合成的图像被显示在触摸屏上时，音频图标1910能够被触摸。因此，参考图19(b)，当与被合成的音频相对应的进度条1920被显示时音频也能够被播放。如果在触摸音频图标1910时移动终端是处于静音或者振动模式中，参考图19(c)，则通过利用STT转换来转换被插入的音频能够显示文本1930。此外，如果音频图标1910被长触摸，参考图19(d)，则能够进入编辑模式。当进入编辑模式时，源视频信息1940能够被显示在图像的底端上。随后，用户能够通过选择在源视频信息1940中包括的进度条上显示的缩略图来选择另一音频。

同时，为了详细编辑，在源视频信息中包括的进度条间隔能够被改变。参考图20对此如下详细地描述。图20是图示根据本发明的一个实施例的音频编辑过程的一个示例的图。

参考图20(a)，在通过在参考图19的前述描述中所提及的方法已经进入编辑模式之后，用户将触摸输入同时施加到图像上的两个不同的点，并且然后能够在相互远离的方向中拖动触摸输入(例如，捏放)。因此，参考图20(b)，在图20(a)中示出的进度条2030被延伸到进度条2030’使得在缩略图图像2010和2020之间的先前的距离能够增加到在缩略图图像210’和2020’之间的距离。通过这样，用户更加精细地搜索源视频，并且然后能够通过改变进度条上的缩略图图像的位置并且然后选择改变位置的缩略图图像来改变与图像合成的音频。

在下面的描述中，参考图21至图24详细地解释根据本发明的一个实施例的图库应用的缩略图视图模式。在本示例中，缩略图视图模式意指其中在特定保存位置中包括的内容或者满足特定条件的内容被显示为缩略图列表的模式。

图21是图示用于在根据本发明的一个实施例的移动终端中在缩略图视图模式下显示与音频合成的图像和将音频提供给图像的源视频的过程的一个示例的图。

参考图21(a)，通过比其它的缩略图更加突出能够显示分别对应于与音频合成的图像的缩略图2110、2120、2130以及2140。被用于合成的音频的数目能够被显示在各个音频合成的图像上。另外，指示音频合成的指示符能够被显示在相对应的缩略图上。在本示例中，被显示在与具有与其本身合成的音频的图像相对应的缩略图2110/2120上的指示符可以不同于被显示在与具有与在对应图像中包括的特定对象合成的音频的图像相对应的缩略图2130/2140上的指示符。

可替选地，参考图21(b)，具有与其本身合成的音频的图像和具有与在相对应的图像中包括的对象合成的音频的图像能够通过倾斜的存在或者不存在以及指示符来显示。对于视频，参考图21(c)，不同于对应于正常视频的缩略图2150，缩略图2160能够被显示为倾斜的形状。另外，指示符可以进一步被给出以指示提供音频。

参考图22至图24如下详细地描述指示符的功能。图22是图示在根据本发明的一个实施例的移动终端中通过与音频合成的图像相对应的缩略图执行的功能的一个示例的图。

图22(a)示出根据本发明的一个实施例的具有与图像本身合成的音频的缩略图2210。指示符2211被显示在缩略图2210上以指示音频与图像本身合成。如果在缩略图视图模式下选择除了指示符2211之外的缩略图2210的一部分，参考图22(b)，则与缩略图相对应的图像被显示为全屏。如果指示符2211被选择，参考图22(c)，则只要显示相对应的图像，就能够播放与图像合成的音频。

图23是图示在根据本发明的一个实施例的移动终端中通过与将音频提供给另一图像的视频相对应的缩略图执行的功能的一个示例的图。图23(a)示出根据本发明的一个实施例的将音频提供给图像的源视频的缩略图2310。指示符2311被显示在缩略图2310上以指示音频被提供给图像。如果在缩略图视图模式下选择除了指示符2311之外的缩略图2310的一部分，参考图23(b)，则与缩略图相对应的视频从开始播放。如果指示符2311被选择，参考图23(c)，则包括被提供给图像的音频的一部分能够被播放。

同时，能够执行从图像到源视频的快捷方式，通过对应的视频将音频提供给上述图像。参考图24和图25对此如下详细地描述。图24是图示用于在根据本发明的一个实施例的移动终端中通过指示符执行在源视频和图像之间的切换的过程的一个示例的图。

参考图24，如果在图库应用的缩略图视图模式下选择与源视频相对应的缩略图的指示符(图24(a))或者从视频播放应用的视频列表中选择指示符2420(图24(b))，能够直接地播放包括被提供供给图像的音频的部分(图24(c))。此外，被提供有音频的图像的缩略图2430能够被显示在进度条上。如果缩略图2430被选择，则执行到相对应的图像的快捷方式，使得与缩略图2430相对应的图像2440能够被显示(图24(d))。

图25是图示用于在根据本发明的一个实施例的移动终端中通过指示符在源视频和图像之间执行切换的过程的一个示例的图。参考图25(a)，当音频合成的图像2510被显示时，通过其类型与用于音频播放或者编辑的触摸输入不同的触摸输入(例如，在规定的时间内连续施加两次的触摸、长触摸等等)能够选择音频图标2520。因此，参考图25(b)，播放能够以包括由已经将音频提供给相对应的图像2510的源视频提供的音频的部分开始。此外，提供音频的图像的缩略图2510’能够被显示在进度条上。如果缩略图2510’被选择，则在图25(a)中示出的状态能够被恢复。

在下面的描述中，参考图26和图27详细地描述替代搜索存储器160而是从外部源搜寻将与图像合成的音频的方法。参考图26和图26描述使用社交网络服务(SNS)作为外部源的情况。

图26和图27是图示在根据本发明的一个实施例的移动终端中通过社交网络服务获得音频以与图像合成的方法的一个示例的图。参考图26(a)，当图像2620被显示时，音频合成图标2620能够被选择。因此，控制器180分析图像2610并且然后根据确定的搜索条件在存储器160中搜寻音频候选。但是，可能找不到满足条件的任何音频候选。

在本示例中，参考图26(b)，控制器180能够显示与作为替代的两种类型的不同SNS相对应的图标2631和2632。此外，如果用户选择规定的图标2632，则控制器180在用户的SNS账户下根据搜索条件执行搜索。此外，不强制搜索目标包含音频。例如，参考图26(c)，与图像有关的2个文本2641和2642被显示为搜索结果。如果用户选择文本中的一个，则控制器180通过TTS转换将相对应的文本转换成音频并且然后能够保存音频以对应于相对应的图像。因此，控制器180能够控制音频图标2650被显示在相对应的图像上。如果音频图标2650被选择，参考图27(a)，则合成的音频能够被播放。此外，当音频被播放时，变成被合成的音频的源的SNS的图标2710能够被一起显示。如果SNS图标2710被选择，参考图27(b)，则能够执行到变成源2641’的SNS帖子的快捷方式。另外，图像2610’可以被附加地上传到相对应的帖子。

图像和音频的对应和播放

根据本发明的另一实施例，提供创建和播放包括音频的图像内容的各种方法。在本示例中，当图像被显示在触摸屏上时，包括音频的图像内容意指根据用户的选择或者设置能够与对应于被显示的图像的音频一起输出的内容。单个图像内容可以包括至少一个静止图像和至少一个音频。例如，单个图像内容可以利用单个图像和与单个图像相对应的单个音频来配置。在另一示例中，单个图像内容可以利用多个图像和与多个图像分别相对应的多个音频来配置。

根据本发明的实施例的包括音频的图像内容能够被保存为单个文件或者总计为配置相对应的图像内容的图像和音频的数目的多个文件。根据本方案，不同于一般视频，因为仅通过维护音频来包括用户所期待的图像，所以视频编码不是必需的并且与视频相比较相对大地降低了文件大小。音此，能够相对大地增加存储空间利用和共享便利。在下面的描述中，在本说明书中提及的“包括音频的图像内容”可以被用于具有“包括音频的图像”或者“通过使音频与其对应而保存的图像”相同的意义。

根据本发明的另一实施例，提出下述方法。首先，创建图像。其次，在已经输入音频之后，通过相互对应保存被创建的图像和输入的图像。第三，当图像被显示时，音频被一起播放。特别地，根据本实施例，不同的音频能够对应于图像中包括的每个对象。

图28是图示在根据本发明的另一实施例的移动终端中创建和播放包括音频的图像内容的方法的一个示例的图。参考图28，通过相机121能够拍摄图像(S2810)。控制器180能够从被拍摄的图像识别主题(S2810)。在本示例中，“识别主题”可以意指通过被标识为音频能够对应到的对象能够识别图像中的满足规定条件的主题。对于规定条件的示例，如果通过面部识别识别至少一个人的面部，则各个被识别的面部能够变成相对应的图像中的本实施例的主题。因此，通过控制器180能够识别主题。而是，理所当然的是，用户能够通过触摸输入等等直接地指定至少一个主题。

其后，通过麦克风122能够输入音频(S2830)。在本示例中，对于各个被识别的对象能够输入音频。一旦音频被输入，控制器180能够控制各个输入音频与各个对象相对应地保存在存储器160中(S2840)。

在保存步骤完成之后，通过图像播放应用等等，通过对应于音频而保存的图像能够被显示在触摸屏151上(S2850)。当相对应的图像被显示时，如果通过触摸输入等等选择图像中的特定主题，则控制器180能够通过音频输出单元152输出通过对应于所选择的主题被保存的音频。

在下面的描述中，参考图29详细地描述在上面提及的保存和播放过程。图29是图示用于在根据本发明的另一实施例的移动终端中保存音频以对应于图像并且播放被保存的音频的过程的一个示例的图。

参考图29(a)，通过相机121拍摄的图像能够与记录按钮2910一起被显示在触摸屏上。如果记录按钮被选择，参考图29(b)，根据面部识别的结果规定的视觉效果2911、2913、2915以及2917分别能够被给予主题。在本示例中，当主题识别和记录准备完成时，记录按钮2910’的形状可以改变。此外，如果用户打算记录左第二个人物的视频，则当与相对应的人物的视觉效果2913被触摸时，参考图29(c)，视觉效果2913’被显示以指示相对应的人物被选择并且与音频相对应的视觉效果也能够被显示在记录按钮2910”上。

当相对应的主题被选择时(即，当在与相对应的主题相对应的视觉效果上维持触摸输入时)可以执行记录。可替选地，在相对应的主题的选择之后在规定时间期间可以执行记录。可替选地，当控制器180检测音频波形时，在其中仅存在有效音频的时间期间可以执行记录。在本示例中，有效的音频可以意指其与主题选择之前通过麦克风先前输入的音频的波形差等于或者大于规定的范围的音频或者等于或者大于规定的级别(dB)的音频。

图29(c)中示出的过程可以被执行与最多识别的主题的数目一样多的次数(例如，在图29中最多4次)。当两个主题被同时选择时，能够与多个所选择的主题相对应地保存单个音频。此外，当触摸大小或者面积等于或者大于预定的大小时，能够与所有的主题相对应地保存单个音频。

如果对于分别对应于视觉效果2911、2913、2915以及2917的各个主题单独地记录和保存音频，则在触摸屏上相对应的图像将以如图29(d)中所示的配置显示。特别地，规定配置的图标2921、2923以及2925能够分别被显示在对应于音频而保存的主题周围。此外，当用户打算播放与从左侧起的第三个人物相对应的音频时，如果用户触摸在触摸屏上用于显示第三个人物的区域或者与第三个人物相对应的图标2925，则通过音频输出单元152能够与指示选择的视觉效果2915一起输出与对应的人物相对应地保存的音频。

如果触摸输入被同时施加到三个图标2921、2923以及2925或者具有等于或者大于预定大小的接触大小的触摸输入被识别，则与三个人物相对应的音频能够被同时播放。当然，尽管任何主题没有被选择，但是能够根据设置按照记录的顺序顺序地播放音频。此外，使用STT功能，与当前输出的音频相对应的文本能够被显示在与当前输出的音频相对应的主题周围。

同时，根据本发明的另一方面，尽管连续拍摄被执行或者多个先前保存的图像存在，但是不同的音频能够分别被设置为对应于图像。参考图30对其详细地描述。

图30是图示在根据本发明的另一实施例的另一方面中的移动终端中保存音频以分别对应于多个图像的方法的一个示例的图。参考图30(a)，当完成在连续拍摄模式下通过相机121的拍摄时，三个连续拍摄的图像3010、3020以及3030能够被一起显示在触摸屏上。此外，复选框3011、3021以及3031能够分别被提供给三个图像3010、3020以及3030。在本示例中，如果用户打算使用第一图像3010和第三图像3030，则用户能够选择相对应的复选框3011和3031。

因此，参考图30(b)，选中的图像仅被显示在触摸屏上。如果分别被提供给选中的图像3010和3030的记录图标3013和3033被选择，则音频能够被记录以分别对应于图像3010和3030。例如，在记录图标3013被选择时，对应于第一图像3010的音频能够被记录。在另一示例中，在相对应的选择之后满足规定条件的时间期间能够记录对应于第一图像3010的音频。如果用于各个图像的音频输入完成，则两个图像能够作为单个运动图像(例如，flash文件、GIF文件等等)被保存在存储器160中。

如果用于输出被保存的图像的命令被输入(例如，如果从图库应用选择被保存的图像)，则第一图像3010和第三图像3030能够被交替地显示。另外，显示各个图像的时间能够对应于用于记录相对应的音频的时间。特别地，当与第一图像相对应的音频被播放时，第一图像保持被显示。如果相对应的音频的播放完成，则第三图像被显示并且与第三图像相对应的音频也能够被输出。如果与第三图像相对应的音频的输出完成，则第一图像被重新显示并且与重新显示的第一图像相对应的音频也能够被重复播放。

图30图示作为连续拍摄的结果的三个图像的一个示例，本实施例不受其限制。例如，取决于在连续拍摄模式中支持的拍摄次数能够显示更多或者更少的图像。此外，如果从保存在存储器160中的图像以及连续拍摄的图像中选择多个图像，则能够实现本实施例。

根据本发明的又一实施例，以下述方式能够创建包括音频的图像。首先，从先前保存的源视频单独地提取至少一个图像和至少一个音频。其次，被提取的图像中的每一个和被提取的音频中的每一个被相互匹配。参考图31对此如下详细地描述。

图31是图示根据本发明的又一实施例的从源视频提取图像和音频并且保存它们以相互对应的方法的一个示例的流程图。参考图31，源视频能够被选择(S3110)。在本示例中，根据本实施例，可以从通过视频播放应用或者专用于包括音频的图像的创建的应用显示的视频列表中选择源视频。

如果源视频被选择，则源视频的播放能够开始，并且在播放源视频的过程中能够选择图像和音频(S3120，S3130)。当然，播放能够从开始按照时间顺序被顺序地执行，或者可以响应于用户的播放时间变化命令(例如，暂停、快进、快倒、慢速播放等等)被执行。通过捕获被显示在视频的特定时序点显示的图像能够提取图像，并且通过采样或者剪辑在特定时间间隔输出的音频能够提取音频。

如果从相对应的源视频选择图像和音频完成，则能够执行所选择的图像和音频的匹配(S3140)。随后，图像和音频匹配的结果，即，包括音频的图像内容能够作为规定格式的文件被保存在存储器160中(S3150)。

在下面的描述中，参考图32详细地解释用于创建在参考图31的前述描述中提及的包括音频的图像内容的过程。

图32是图示在根据本发明的又一实施例的移动终端中使用视频源创建包括音频的图像内容的方法的一个示例的图。参考图32(a)，图示根据本实施例的用于从视频提取图像和音频的用户界面。特别地，当在触摸屏151上播放作为源视频选择的视频时，用于通过捕获当前显示的图像提取图像的图像提取(捕获)按钮3210和用于采样当前输出的音频的音频提取按钮3220能够被显示在触摸屏151的一侧上。

另外，在源视频的总播放时间上方指示当前播放时序点的进度条3230能够被显示在触摸屏151的底端上。通过图像提取按钮3210的选择捕获的图像的缩略图3241和通过音频提取按钮3230的选择提取的音频的指示符3251、5252以及3253能够分别被显示在与进度条3230上的按钮选择的时序点相对应的位置。特别地，图32(a)示出从源视频提取单个图像和三个音频的情况。

在图32(a)中示出的情形下，如果在已经进一步捕获单个图像之后完成视频播放，或者如果预设类型的提取完成命令被输入，参考图32(b)，则分别与从相对应的源视频提取的图像相对应的缩略图3241’和3242’以及分别与提取的音频的相对应的音频图标3251’、3252’和3253’能够被显示。如果用户将缩略图中的一个拖动到音频图标中的一个，并且反之亦然，则相对应的图像和音频能够被相互匹配。根据本发明的实施例，与匹配完成的缩略图相对应的图像和与音频图标相对应的音频能够作为图像内容被保存在存储器160中。

在下面的描述中，参考图33和图34详细地解释用于播放通过前述的实施例创建和保存的包括音频的图像内容的过程和通过此过程可运行的附加功能。

图33是图示用于在根据本发明的至少一个实施例的移动终端中执行关于播放包括音频的图像内容的附加功能的过程的一个示例的流程图。参考图33，根据本发明的实施例，通过用于播放包括音频的图像内容的应用(例如，图库应用等等)能够显示被保存在存储器160中的图像内容(S3310)。如在前述的描述中所提及的，只要图像被显示，就能够自动地播放被包括在所显示的图像内容中的音频。另外，能够响应于用户的命令输入播放被包括在所显示的图像内容中的音频。

此外，根据设置，响应于用户的命令输入或者自动地，用于分页被链接的功能的图标能够被显示(S3320)。如果显示的图标被选择(S3330)，则能够显示通过被链接到在相对应的图像内容中包括的音频可运行的功能的列表(S3340)。在本示例中，通过被链接到音频可运行的功能可以意指，通过将音频与通过STT功能提取的信息(例如，被转换成文本)相关联而可运行的功能。例如，如果地点名称被包括在音频中，则基于有关地点名称的位置信息的功能可以对应于通过被链接到音频可运行的功能。如果包括与联系人有关的信息，则诸如地址簿等等的通信有关的功能可以对应于通过被链接到音频可运行的功能。如果用户从在列表中包括的功能中选择规定的功能(S3350)，则能够针对从音频中提取的信息运行所选择的功能(S3360)。

在下面的描述中，参考图34详细地解释用于根据图标的选择执行附加功能的过程。图34是图示用于在根据本发明的至少一个实施例的移动终端中执行与被匹配到图像的音频相关联的附加功能的过程的一个示例的图。

参考图34(a)，通过能够播放包括音频的图像内容的应用能够将被保存在存储器160中的图像内容显示在触摸屏151上。此外，如果检测到利用指示器3410对触摸屏1511的边缘的轻弹触摸输入，则控制器180能够控制被提供用于分页附加功能的图标3420被显示在相对应的位置。如果图标3420被选择，参考图34(c)，则与从对应的图像内容中包括的音频提取的信息相关联的可运行的功能的列表3430能够被显示。

例如，当音频的实质是“这里是埃菲尔铁塔”时，如果地图应用被选择，则能够通过地图应用显示包括“埃菲尔铁塔”的位置信息。如果浏览器应用被选择，则能够使用“埃菲尔铁塔”作为关键词执行网络搜索。在另一示例中，当音频的实质是“我的电话号码是010-111101111”时，如果联系人应用被选择，则相对应的电话号码能够被保存。如果消息应用被选择，则能够进入用于将消息发送到对应电话号码的模式。

同时，根据本发明的第五实施例，能够在没有被链接到另一应用的情况下运行附加的功能。例如，如果移动终端当前处于振动或者静音模式，参考图34(d)，则控制器180能够将在图像内容中包括的音频转换成文本并且将其输出到触摸屏151替代通过音频输出单元152播放音频。

同时，根据在前述的描述中所提及的实施例，当包括图像和音频的图像内容被保存在存储器中时，音频和图像作为单独的文件分别被保存，或者能够被保存为单个文件。例如，当单个音频对应于单个图像时，相对应的内容能够被保存为单个jpg文件和单个mp3文件。在另一示例中，当不同的音频分别对应于两个图像时，相对应的内容能够被保存为两个jpg文件和两个mp3文件，被保存为单个gif文件和两个mp3文件，或者单个flash文件。当播放这样的图像内容时，基于在图像文件的报头信息中或者在相同的存储路径上是否存在其文件名的至少一部分是相同的音频文件，通过播放应用能够确定是否音频被包括在相对应的内容中。

因此，本发明提供下述作用和/或特征。首先，当图像被显示时，与图像相对应的音频能够被一起输出。特别地，音频能够对应于图像的各个对象。另外，从各种源方便地提取音频并且然后将其与图像合成。

此外，通过与图像相对应的音频能够提供各种附加的功能。另外，取决于使用环境能够提供不同类型的附加功能。

对于本领域的技术人员来说显然的是，在没有脱离本发明的精神或者范围的情况下各种修改和变化能够被指定成其它形式。

根据本发明的一个实施例，上述方法能够作为处理器可读代码在程序记录介质中实现。处理器可读介质包括在其中存储处理器可读数据的所有种类的记录设备。处理器可读介质包括例如ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等，并且也包括载波类型的实现(例如，经由互联网的传输)。

通过本发明的结构元件和特征以预定类型的组合实现前述实施例。结构元件或者特征中的每一个应该被认为是选择性地，除非单独规定。可以在不与其他结构元件或者特征相组合的情况下实施结构元件或者特征中的每一个。此外，一些结构元件和/或特征可以彼此组合以构成本发明的实施例。

对于本领域内的技术人员来说显然的是，在不偏离本发明的精神或范围的情况下，能够在本发明中进行各种修改和变化。因此，旨在本发明涵盖本发明的修改和变化，只要它们落在所附权利要求和其等同物的范围内。

Claims (20)

1.一种控制移动终端的方法，所述方法包括：

在所述移动终端的触摸屏上显示图像；

接收用于将音频与所述图像合成的音频合成命令；

基于所接收到的音频合成命令，与所述图像相关联地保存至少一个音频候选；以及

在触摸屏上显示指示与所述图像一起保存所述至少一个音频候选的指示符。

2.根据权利要求1所述的方法，其中，所述至少一个音频候选被包括在至少一个视频中。

3.根据权利要求2所述的方法，进一步包括：

搜寻所述音频候选；

显示找到的音频候选的列表；

从显示的列表中接收规定的音频候选的选择；以及

与所述图像相关联地保存所选择的规定的音频候选。

4.根据权利要求3所述的方法，其中，所述找到的音频候选的列表包括缩略图，所述缩略图对应于在包括对应的音频候选的视频的时序点处的图像。

5.根据权利要求4所述的方法，其中，所述缩略图包括播放菜单按钮，以及

其中，如果所述缩略图的所述播放菜单按钮被选择，则所述方法进一步包括播放与所选择的缩略图相对应的所述音频候选。

6.根据权利要求5所述的方法，进一步包括：

当与所选择的缩略图相对应的所述音频候选被播放时，并且响应于第一触摸输入，改变所播放的音频候选的播放时序点；以及

响应于第二触摸输入，播放另一音频候选。

7.根据权利要求1所述的方法，其中，与所述图像相关联地保存的所述音频候选包括多个找到的音频候选当中具有与所述图像最高关联程度的音频候选。

8.根据权利要求1所述的方法，进一步包括：

从所述图像接收特定对象的选择；以及

与所选择的对象相关联地保存规定的音频候选。

9.根据权利要求1所述的方法，进一步包括：

响应于所述指示符的第一类型的输入，播放保存的音频；以及

响应于第二类型的输入，将快捷方式添加到与所述保存的音频相对应的源内容。

10.根据权利要求1所述的方法，进一步包括：

基于下述中的至少一个选择所述至少一个音频候选：与类似于所选择的图像的不同图像相关联地保存的音频的使用频率、为所选择的图像设置的标签、所选择的图像的文件名称、在所选择的图像中包括的对象的识别结果、所选择的图像的创建时间、或者所选择的图像的创建地点。

11.一种移动终端，包括：

触摸屏，所述触摸屏被配置成显示图像；和

控制器，所述控制器被配置成：

接收用于将音频与所述图像合成的音频合成命令，

基于所接收到的音频合成命令，与所述图像相关联地保存至少一个音频候选，以及

在所述触摸屏上显示指示与所述图像一起保存所述至少一个音频候选的指示符。

12.根据权利要求11所述的移动终端，其中，所述至少一个音频候选被包括在至少一个视频中。

13.根据权利要求12所述的移动终端，其中，所述控制器进一步被配置成：

搜寻所述音频候选，

在所述触摸屏上显示找到的音频候选的列表，

从显示的列表接收规定的音频候选的选择，以及

与所述图像相关联地保存所选择的规定的音频候选。

14.根据权利要求13所述的移动终端，其中，所述找到的音频候选的列表包括缩略图，所述缩略图对应于在包括对应音频候选的视频的时序点处的图像。

15.根据权利要求14所述的移动终端，其中，所述缩略图包括播放菜单按钮，以及

其中，如果所述缩略图的所述播放菜单按钮被选择，则所述控制器进一步被配置成播放与所选择的缩略图相对应的所述音频候选。

16.根据权利要求15所述的移动终端，其中，所述控制器进一步被配置成：

当与所选择的缩略图相对应的所述音频候选被播放时，并且响应于第一触摸输入，改变所播放的音频候选的播放时序点；以及

响应于第二触摸输入，播放另一音频候选。

17.根据权利要求11所述的移动终端，其中，与所述图像相关联地保存的所述音频候选包括多个找到的音频候选当中具有与所述图像最高关联程度的音频候选。

18.根据权利要求11所述的移动终端，其中，所述控制器进一步被配置成：

从所述图像接收特定对象的选择；以及

与所选择的对象相关联地保存规定的音频候选。

19.根据权利要求11所述的移动终端，其中，所述控制器进一步被配置成：

响应于所述指示符的第一类型的输入，播放保存的音频；以及

响应于第二类型的输入，将快捷方式添加到与所述保存的音频相对应的源内容。

20.根据权利要求11所述的移动终端，其中，所述控制器进一步被配置成：

基于下述中的至少一个选择所述至少一个音频候选：与类似于所选择的图像的不同图像相关联地保存的音频的使用频率、为所选择的图像设置的标签、所选择的图像的文件名称、在所选择的图像中包括的对象的识别结果、所选择的图像的创建时间、或者所选择的图像的创建地点。