CN103139375A - 移动终端及其控制方法 - Google Patents

移动终端及其控制方法 Download PDF

Info

Publication number
CN103139375A
CN103139375A CN2012105053839A CN201210505383A CN103139375A CN 103139375 A CN103139375 A CN 103139375A CN 2012105053839 A CN2012105053839 A CN 2012105053839A CN 201210505383 A CN201210505383 A CN 201210505383A CN 103139375 A CN103139375 A CN 103139375A
Authority
CN
China
Prior art keywords
captions
sound
controller
mobile terminal
voice data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105053839A
Other languages
English (en)
Other versions
CN103139375B (zh
Inventor
金志桓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103139375A publication Critical patent/CN103139375A/zh
Application granted granted Critical
Publication of CN103139375B publication Critical patent/CN103139375B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42653Internal components of the client ; Characteristics thereof for processing graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种移动终端及其控制方法。提供一种再现包括图像数据和音频数据的视频的移动终端及其控制方法。再现包括图像数据和音频数据的视频的移动终端,包括:显示单元,该显示单元被配置成基于相对于视频的再现命令显示与图像数据相对应的图像;字幕处理单元,该字幕处理单元被配置成将与视频有关的字幕连同图像一起输出到显示单元;以及控制器,该控制器被配置成控制字幕处理单元以根据与图像有关的音频数据的声音特性改变字幕的显示格式。

Description

移动终端及其控制方法
技术领域
本发明涉及一种能够再现视频的移动终端及其控制方法。
背景技术
移动终端可以被配置成执行各种功能。这样的功能的示例包括数据和语音通信功能、通过相机捕获图像和视频的功能、存储语音、通过扬声器系统播放音乐文件的功能、显示图像或者视频的功能。一些移动终端包括支持玩游戏的附加功能,同时其它的终端被配置成多媒体播放器。最近,移动终端已经被配置成接收广播和多播信号以允许观看视频和电视节目。
为了支持和增加移动终端的功能性正在进行努力。这样的努力包括软件和硬件改进,以及在形成移动终端的结构组件中的变化和改进。
而且,当移动终端与字幕一起显示视频时,仅在预设部分上以均一形式显示字幕,不能逼真地表达与视频有关的内容。
发明内容
本发明的方面是为了提供一种移动终端及其控制方法,其能够允许用户容易地识别与视频有关的内容。
本发明的另一方面是为了提供一种移动终端及其控制方法,其能够允许有听力障碍的人通过显示在视频上的字幕容易地识别视频的内容。
根据本发明的实施例,提供一种再现包括图像数据和音频数据的视频的移动终端,包括:显示单元,该显示单元被配置成基于相对于视频的再现命令显示与图像数据相对应的图像;字幕处理单元,该字幕处理单元被配置成将与视频有关的字幕连同图像一起输出到显示单元;以及控制器,该控制器被配置成控制字幕处理单元以根据与图像有关的音频数据的声音特性改变字幕的显示格式。
在本发明的实施例中,控制器可以基于与音频数据有关的声音的振幅、振动的次数、以及波形中的至少一个不同地控制字幕的显示格式。
在本发明的实施例中,控制器可以以二维(2D)格式或者三维(3D)格式显示字幕,并且基于与音频数据有关的声音的振幅、振动的次数、以及波形中的至少一个不同地设置用于显示字幕的格式。
在本发明的实施例中,当三维地显示字幕时,根据与音频数据相对应的声音的振幅可以变化被显示的字幕的3D深度值。
在本发明的实施例中,控制器可以不同地设置其中根据与音频数据相对应的声音的波形显示字幕的位置。
在本发明的实施例中,字幕可以被定位为与被包括在图像中的对象当中的与对应于音频数据的声音的波形有关的对象相邻。
在本发明的实施例中,控制器通过使用面部识别算法可以将与面部相对应的对象与图像区分开来,并且在与面部相对应的对象的附近显示字幕。
在本发明的实施例中,与图像上的对应于当前输出的音频数据的对象有关的字幕可以以3D格式显示。
在本发明的实施例中,当与音频数据相对应的声音的波形不同时,被显示在显示单元上的字幕的颜色不同。
在本发明的实施例中,控制器可以根据与音频数据相对应的声音的振幅控制字幕的尺寸不同。
在本发明的实施例中,控制器可以将声音的振幅与基准值相比较,并且根据比较结果当声音的振幅大于基准值时,控制器可以以大于与基准值相对应的基准尺寸的尺寸显示字幕,并且根据比较结果当声音的振幅小于基准值时,控制器可以以小于与基准值相对应的基准尺寸的尺寸显示字幕。
在本发明的实施例中,根据在声音的振幅与基准值之间的差可以变化被显示的字幕的尺寸。
在本发明的实施例中,当与音频数据相对应的声音的振幅被改变时,控制器可以改变被显示的字幕的厚度和尺寸中的至少一个。
在本发明的实施例中,当声音的振幅被增加时,控制器可以与被增加的振幅的程度成比例地增加被显示的字幕的尺寸,并且当声音的振幅被减少时,控制器可以与被减少的振幅的程度成比例地减少被显示的字幕的尺寸。
在本发明的实施例中,随着声音的振幅被增加,被显示的字幕可以从2D变成3D,并且随着声音的振幅被增加,可以改变三维地显示的字幕的深度值。
根据本发明的另一实施例,提供一种用于控制再现包括图像数据和音频数据的视频的移动终端的方法,包括:当再现视频时,在显示单元上显示与图像数据相对应的图像;并且根据与图像有关的音频数据的声音特性通过改变显示格式与图像一起显示与图像有关的字幕。
在本发明的实施例中,可以三维地显示字幕,并且可以根据与音频数据有关的声音的振幅变化3D字幕的深度值。
在本发明的实施例中,根据与音频数据有关的声音的波形可以在不同的位置显示字幕,可以将字幕定位于与被包括在图像中的对象当中的与声音的波形相对应的对象相邻。
从下文中所给出的具体实施方式,本发明的适用性的进一步的范围将变得显而易见。然而,应该理解,尽管详细描述和特定示例指示本发明的优选实施例,但仅通过举例说明来给出详细描述和特定示例,因为从详细描述本发明的精神和范围内的各种改变和修改对本领域的技术人员而言将变得显而易见。
附图说明
从下文中所给出的具体实施方式和仅以图示方式给出的附图,本发明将变得更加充分地理解,而因此不限制本发明,并且其中:
图1是根据本发明的实施例的移动终端的框图。
图2A和图2B是根据在本公开中公开的实施例的移动终端的前透视图。
图3是根据在本公开中公开的实施例的示意性地示出移动终端的框图。
图4和图5是图示根据在本公开中公开的实施例的移动终端的控制方法的流程图。
图6A、图6B、图6C以及图7是根据在本公开中公开的实施例的解释用于根据在移动终端中的声音的特性显示字幕的方法的概念视图。
图8、图9、以及图10是根据在本公开中公开的实施例的解释用于显示字幕以对应于移动终端中的对象的方法的概念视图。
图11是图示在根据在本公开中公开的实施例的用于根据移动终端中的振幅不同地显示字幕的方法的流程图。
图12、图13以及图14是根据在本公开中公开的实施例中的解释用于根据移动终端中的振幅显示字幕的方法的概念视图。
具体实施方式
现在将参考附图来描述本发明的实施例,其中相同的附图标记指的是相同的元件,尽管实施例是不同的,并且与第一实施例相同的元件的描述将会用于不同的实施例的元件描述。在下面的描述中,仅给出了用于指示元件的诸如“模块”、“部分”或“单元”的后缀的使用来便于解释本发明,而其本身不具有任何重要的意义。在描述本发明中,如果对于相关已知功能或者构造的详细解释被认为没有必要地转移本发明的要旨,则已经省略这样的解释,但是本领域的技术人员将会理解。本发明的附图旨在便于理解本发明并且不应被解释为受到附图的限制。
在本公开中描述的移动终端可以包括移动电话、智能电话、笔记本计算机、平板计算机、数字广播接收机、PDA(个人数字助理)、PMP(便携式多媒体播放器)、导航设备等。然而,本领域的技术人员将会理解,除了为移动目的而特别地配置的任何元件之外,根据本发明的实施例的构造也能够可应用于诸如数字TV、台式机等的固定类型的终端。
图1是根据本发明的实施例的移动终端的框图。
移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180以及电源单元190等。图1将移动终端示出为具有各种组件,但是应当理解,不需要实现被图示的所有组件。可以替代地实现更多或更少的组件。
如下将更详细地描述移动终端的元件。
无线通信单元110通常包括一个或多个模块,其允许在移动终端100与该移动终端所位于的无线通信系统或网络之间进行无线电通信。例如,无线通信单元可以包括广播接收模块111、移动通信模块112、无线因特网模块113、短程通信模块114以及位置信息模块115中的至少一个。
广播接收模块111经由广播信道从外部广播管理服务器(或其它网络实体)接收广播信号和/或广播相关信息。
广播信道可以包括卫星信道和/或陆地信道。广播管理服务器可以是生成和发送广播信号和/或广播相关信息的服务器,或者是接收先前生成的广播信号和/或广播相关信息并且将其发送到终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等。此外,广播信号还可以进一步包括与TV广播信号或无线电广播信号组合的广播信号。
广播相关信息可以指的是与广播信道、广播节目、广播服务提供商相关联的信息。还可以经由移动通信网络来提供广播相关信息,并且在该情况下,可以通过移动通信模块112来接收广播相关信息。
广播相关信息可以以各种形式存在。例如,可以以数字多媒体广播(DMB)的电子节目指南(EPG)、手持式数字视频广播(DVB-H)的电子服务指南(ESG)等的形式存在。
广播接收模块111可以被配置成通过使用各种类型的广播系统来接收广播信号。特别地,广播接收模块111可以通过使用数字广播系统来接收数字广播,数字广播系统诸如地面多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、手持式数字视频广播(DVB-H)、称为仅媒体前向链路
Figure BDA00002500376400071
的数据广播系统、地面综合业务数字广播(ISDB-T)等。广播接收模块111可以被配置成适用于提供广播信号的每一个广播系统以及上述数字广播系统。
经由广播接收模块111接收到的广播信号和/或广播相关信号可以被存储在存储器160中。
移动通信模块112将无线电信号发送到基站、外部终端以及服务器中的至少一个和/或从发送基站、外部终端以及服务器中的至少一个接收无线电信号。根据文本和/或多媒体消息传输和/或接收等,这样的无线电信号可以包括语音呼叫信号、视频呼叫信号或各种类型的数据。
无线因特网模块113支持对于移动终端的无线因特网接入。该模块可以内部地或外部地耦合到终端。所实现的无线因特网接入技术可以包括WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)等。
短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙TM、射频识别(RFID)、红外线数据协会(IrDA)、超宽带(UWB)、紫峰TM等。
位置信息模块115是用于检查或获取移动终端的位置(或定位)的模块。位置信息模块的典型示例是GPS(全球定位系统)。
参考图1,A/V输入单元120被配置为接收音频或视频信号。A/V输入单元120可以包括相机121和麦克风122。相机121处理由图像捕获设备在视频捕获模式或图像捕获模式下所获得的静止图片或视频的图像数据。所处理的图像帧可以被显示在显示单元151上。
由相机121处理的图像帧可以被存储在存储器160(或其它的存储介质)中或者经由无线通信单元110来发送。可以根据移动终端的配置来提供两个或两个以上的相机121。
麦克风122可以在电话呼叫模式、记录模式、语音识别模式等中经由麦克风来接收声音(可听数据),并且能够将这样的声音处理成音频数据。在电话呼叫模式的情况下,处理的音频(语音)数据可以被变换为可经由移动通信模块112发送到移动通信基站(或其它的网络实体)的格式以用于输出。麦克风122可以实现各种类型的噪声消除(或抑制)算法,以消除(或抑制)在接收和发送音频信号的过程中所生成的噪声或干扰。
用户输入单元130可以根据由用户键入的以控制移动终端的各种操作的命令来生成输入数据。用户输入单元130可以包括键盘、圆顶开关(dome switch)、触摸板、滚轮(jog wheel)、拨动开关(jog switch)等。
感测单元(或其它检测单元)140检测移动终端100的当前状况(状态),并且生成用于控制移动终端100的操作的命令或信号,移动终端100的当前状况(状态)诸如移动终端100的打开或关闭状态、移动终端100的位置、用户与移动终端100的接触(即,触摸输入)的存在或不存在、移动终端100的定向、移动终端100的加速或减速移动以及方向等。例如,当移动终端100被实现为滑盖型移动电话时,感测单元140可以感测滑盖电话打开还是关闭。另外,感测单元140能够检测电源190是否提供电力、或者接口单元170是否与外部设备耦合。
输出单元150被配置成以视觉、听觉和/或触觉方式(例如,音频信号、视频信号、报警信号、振动信号等)提供输出。输出单元150可以包括显示单元151、音频输出模块152、报警单元153、触觉模块154等。
显示单元151可以显示(输出)在移动终端100中处理的信息。例如,当移动终端100处于电话呼叫模式中时,显示单元151可以显示与呼叫或其它通信(诸如文本消息收发、多媒体文件下载等)相关联的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频呼叫模式或图像捕获模式中时,显示单元151可以显示捕获的图像和/或接收到的图像、示出与其相关的视频或图像以及功能的UI或GUI等。
显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LAC(TFT-LCD)、有机发光二极管显示器(OLED)、柔性显示器和三维(3D)显示器、以及电子墨显示器的至少一个。
上述显示器中的一些可以被配置成为透明的或者光透射的以允许看到外部,这可以被称为透明显示器。典型的透明显示器可以例如TOLED(透明有机发光二极管)显示器等。通过这样的配置,用户能够通过由终端主体的显示单元151所占据的区域来观看位于在终端主体背面的对象。
根据其特定的期望实施例移动终端100可以包括两个或更多个显示单元。例如,多个显示单元可以被单独地或整体地布置在移动终端的一个表面上,或可以被单独地布置在相互不同的表面上。
同时,当显示单元151和用于检测触摸操作的传感器(在下文中被称为“触摸传感器”)以分层方式进行重叠以形成触摸屏时,显示单元151即可以具有输入设备和输出设备的功能。触摸传感器可以具有触摸膜、触摸片、触摸板等的形式。
触摸传感器可以被配置为将施加到显示单元151的特定部分的压力或者在显示单元151的特定部分产生的电容等的变化转换为电输入信号。触摸传感器可以被配置为检测当施加触摸时的压力以及触摸的位置和区域。
当存在相对于触摸传感器的触摸输入时,对应的信号(多个信号)被发送到触摸控制器。触摸控制器处理该信号,并且将对应的数据发送到控制器180。因此,控制器180可以识别显示单元151的哪一部分已经被触摸。
参考图1,接近传感器141可以被布置在触摸屏内或在触摸屏附近。接近传感器141是在没有机械接触的情况下使用电磁力或红外线来检测相对于特定检测表面的对象或者在接近传感器周围存在的对象的存在或不存在的传感器。因此,与接触型传感器相比接近传感器141具有相当长的寿命,并且其能够用于各种用途。
接近传感器141的示例可以包括透射式光电传感器、直接反射式光电传感器、镜反射式光电传感器、RF振荡式接近传感器、电容式接近传感器、磁接近传感器、红外线接近传感器等。在触摸屏为电容式的情况下,指示器的接近通过根据指示器的接近的电场变化来检测。在这种情况下,触摸屏(触摸传感器)可以被分类为接近传感器。
在下面的描述中,为了简洁起见,位于触摸屏附近的指示器的识别将被称为‘接近触摸’,而在触摸屏上的指示器的实际接触的识别将被称为‘接触触摸’。在该情况下,当指示器处于接近触摸的状态时,这意味着指示器被定位成垂直对应于触摸屏。
通过采用接近传感器141,能够检测接近触摸和接近触摸模式(例如,接近触摸距离、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸移动状态等),并且能够向触摸屏输出与检测到的接近触摸操作和接近触摸模式相对应的信息。
音频输出模块152可以在呼叫信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等中转换和输出从无线通信单元110接收到的或者被存储在存储器160中的声音音频数据。而且,音频输出模块152可以提供与通过移动终端100执行的特定功能有关的音频输出(例如,呼叫信号接收声音、消息接收声音等)。音频输出模块152可以包括扬声器、蜂鸣器,或其他声音产生设备。
报警单元153可以提供输出以通知与移动终端100的事件的发生。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等。除了音频或视频输出之外,报警单元153还可以以不同的方式提供输出以通知事件的发生。例如,报警单元153可以以振动的形式提供输出。当接收到呼叫、消息、或一些其它呼入的通信时,报警单元153可以提供触觉输出(即,振动)来通知其用户。通过提供这样的触觉输出,即使用户的移动电话在用户的口袋中用户也能够识别各种事件的发生。还可以经由显示单元151或音频输出模块152来提供通知事件的发生的输出。显示单元151和音频输出模块152可以被分类为报警单元153的一部分。
触觉模块154产生用户会感觉到的各种触觉效果。通过触觉模块154产生的触觉效果的典型示例是振动。能够控制触觉模块154的强度和模式。例如,不同的振动可以被组合以输出或者被顺序地输出。
除了振动之外,触觉模块154可以产生诸如通过相对于接触皮肤垂直地移动的针排列的刺激、通过喷射孔或者吸入开口的空气喷射力或者空气吸入力、皮肤上的接触、电极的接触、静电力等的效果、通过使用能够吸收或者产生热的元件再现寒冷和温暖的感觉的效果的各种其它触觉效果。
触觉模块154可以被实现为允许用户通过诸如用户的手指或者手臂的肌肉感觉来感受触觉效果,以及通过直接接触来传送触觉效果。根据移动终端100的配置,可以提供两个或者多个触觉模块154。
存储器160可以存储用于处理和控制通过控制器180执行的操作的软件程序,或者可以暂时地存储输入或者输出的数据(例如,电话簿、消息、静止图像、视频等)。另外,存储器160可以存储关于当触摸被输入到触摸屏时输出的各种模式的振动和音频信号的数据。
存储器160可以包括包含闪存、硬盘、多媒体卡微型、卡型存储器(例如,SD或者DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、以及光盘中的至少一种类型的存储介质。而且,可以与在因特网上执行存储器160的存储功能的网络存储设备相关地操作移动终端100。
接口单元170用作每一个外部设备(与移动终端100连接)的接口。例如,外部设备可以将数据发送到外部设备,接收并且发送电力到移动终端100的每个元件,或者将移动终端100的内部数据发送到外部设备。例如,接口单元170可以包括有线或者无线头戴式耳机端口、外部电源端口、有线或者无线数据端口、存储卡端口、用于连接具有识别模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
识别模块可以是存储用于认证使用移动终端100权限的各种类型的信息的芯片并且可以包括用户识别模块(UIM)、订户识别模块(SIM)、通用订户识别模块(USIM)等。另外,具有识别模块的设备(在下文中,被称为“识别设备”)可以采用智能卡的形式。因此,识别设备可以经由端口与移动终端100相连接。
当移动终端100与外部托架相连接时,接口单元170可以用作通过其将来自外部托架的电力供应给移动终端100的通路,或者可以用作允许将用户输入的各种命令信号从托架传送到移动终端100的通路。从托架输入的各种命令信号或电力可以操作为用于识别移动终端被正确地安装在托架上的信号。
控制器180通常控制移动终端的一般操作。例如,控制器180执行与语音呼叫、数据通信、视频呼叫等相关联的控制和处理。控制器180可以包括用于再现多媒体数据的多媒体模块181。多媒体模块181可以被配置在控制器180内或者可以被配置为与控制器180分离。
控制器180可以执行模式识别处理以将在触摸屏上执行的手写输入或者绘图输入分别识别为字符或者图像。
而且,当移动终端的状态满足预设条件时,控制器180可以执行锁定状态以相对于应用限制用户的控制命令的输入。而且,在锁定状态中,控制器可以基于通过显示单元感测的触摸输入控制被显示在锁定状态中的锁定屏幕。
电源单元190接收外部电力或者内部电力并且供应用于在控制器180的控制下操作各个元件和组件所要求的适当的电力。
使用例如软件、硬件、或者其任何组合在计算机可读或者其类似的介质中可以实现在此描述的各种实施例。
对于硬件实现,通过使用被设计为执行在此描述的功能的专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子单元中的至少一个,可以实现在此描述的实施例。在一些情况下,可以通过控制器180自身实现这样的实施例。
对于软件实现,可以通过单独的软件模块来实现在此描述的诸如程序或者功能的实施例。每个软件模块可以执行在此描述的一个或者多个功能或者操作。
通过以任何适合的编程语言所写的软件应用能够实现软件代码。
软件代码可以被存储在存储器160中并且通过控制器180执行。
在上面已经参考图1描述了根据本发明的实施例的移动终端,将描述在移动终端中布置移动终端的组件布置,或者将描述移动终端的结构。
图2A是根据本发明的实施例的移动终端的前透视图,并且图2B是图2A中图示的移动终端的后透视图图。
所公开的移动终端200具有直板型终端主体。然而,本发明不限于此,并且可以应用于诸如滑盖型移动终端、折叠型移动终端、摆动型移动终端、旋转型移动终端等的各种结构,其中两个或者多个主体被组合以可相对地移动。
如所图示的,终端主体100(在下文中,被称为“主体”)包括前表面、侧表面、以及后表面。而且,主体包括在长度方向中形成的两个端部。
主体包括组成外观的壳体(或外壳、外罩、盖等)。在本实施例中,壳体可以包括前壳体101和后壳体102。各种电子组件被安装在前壳体101与后壳体102之间的空间内。一个或多个中间壳体可以被额外地布置在前壳体101与后壳体102之间。
壳体可以由注模成型合成树脂来形成或可以由诸如不锈钢(STS)或钛(Ti)等金属材料来制成。
显示单元151、音频输出模块152、相机121、用户输入单元130/131、132、麦克风122、接口单元170等可以被主要地布置在前壳体101上。
显示模块151占据前壳体101的主表面的大部分。音频输出单元152和相机121被布置在显示单元151的两个端部部分当中的一个端部部分附近的区域处,并且用户输入单元131和麦克风122被布置在与另一端部部分相邻的区域处。用户输入单元132和接口单元170可以被布置在前壳体101和后壳体102的侧面上。麦克风122可以被布置在主体100的另一端部上。
操纵用户输入单元130以接收用于控制移动终端100的操作的命令,并且可以包括多个操纵单元131和132。操纵单元131和132通常可以被称为操纵部分,并且对于操纵部分能够采用各种方法和技术,只要它们能够由用户以触觉方式来操纵。
能够不同地设置由第一操纵单元131和第二操纵单元132输入的内容。例如,第一操纵单元131可以接收诸如开始、结束、滚动等的命令,并且第二操纵单元132可以接收诸如控制从音频输出单元152输出的声音的大小或转换成显示模块151的触摸识别模式的命令。
参考图2B,音频输出单元152’可以附加地布置在终端主体的后表面上。音频输出单元152’可以与音频输出模块152(参见图2A)结合实现立体声音功能并且也可以用于实现用于呼叫通信的扬声器电话模式。
用于向移动终端200供电的电源单元190被安装在终端主体上。电源单元190可以被安装在终端主体内,或可以被直接地附接到终端主体的外部或者从终端主体的外部直接拆卸。
用于检测触摸的触摸板135可以被附加地安装在后壳体102上。触摸板135可以被配置成如显示单元151一样是透光的。在这样的情况下,当显示单元151被配置成从其两侧输出可视信息时,经由触摸板135也可以识别视觉信息。可替选地,显示器可以被附加地安装在触摸板上使得触摸屏可以被布置在后壳体102上。
触摸板135与前壳体101的显示单元151相关联地操作。触摸板135可以被布置成平行于显示单元151的后侧。触摸板135可以具有与显示单元151相同的尺寸,或者比其小的尺寸。
相机221’可以被附加地布置在终端主体的后壳体102上。相机221’可以具有基本上与相机221的图像捕获方向相反的图像捕获方向(参见图2a),并且可以与相机121具有不同数目的像素。
例如,相机221可以具有较少数目的像素以捕获用户的面部的图像,并且将这样的图像发送到另一方,并且相机121’可以具有较大数目的像素以捕获普通对象的图像并且在大多数情况下没有立即发送。相机121和121’可以被安装在终端主体上使得它们能够可旋转或者弹出。
闪光灯123和镜子124可以被附加地布置与相机221’相邻。当利用相机121’捕获目标的图像时,闪光灯123照亮该目标。当用户想通过使用相机221’来捕获他自己的图像(即,自拍)时,镜子124允许用户看见他自己。
而且,当可以包括如上所述的组件中的至少一个或者多个的移动终端再现(或者播放)视频时,其可以根据与视频有关的声音特性不同地输出字幕的显示格式。
将参考附图描述用于通过使用根据本发明的实施例的移动终端根据声音特性不同地显示字幕的方法。
图3是示意性地示出根据在本公开中公开的实施例的移动终端的框图。在此,将省略参考图1在上面已经描述的相同内容。参考图3,移动终端100可以包括控制器180、字幕处理单元182、无线通信单元110、用户输入单元130、显示单元151、以及存储器160。
控制器180基于通过用户输入单元130应用的视频再现命令或者显示单元151可用的触摸输入将视频输出到显示单元151。
在此,视频可以是与包括图像数据和音频数据的视频文件相对应的图像。即,像电影和声音一样的处于连续移动的状态中的图像被一起输出。
控制器180可以输出与事先被存储在存储器160中的视频文件相对应的视频或者可以输出与通过无线通信单元110实时地接收到的视频数据相对应的视频。
当视频被输出到显示单元151时,字幕处理单元182将与视频有关的字幕输出到显示单元151。
字幕处理单元182在与被输出到显示单元151的图像相对应的时刻输出字幕。
控制器180控制字幕处理单元182以根据与被输出到显示单元151的视频有关的音频数据的声音特性变化从字幕处理单元182输出的字幕的显示格式。
因此,在本发明的实施例中,被输出到显示单元151的字幕不以标准化的形式不变地显示,而是可以根据音频数据的声音特性可变地显示。
在此,通过音频数据的数据值识别的声音特性可以被分类为音高(振动或者频率的次数)、声音的强度(振幅或者波的高度值)、音色(波形或类型)。控制器180可以通过这样的声音特性不同地改变字幕显示。
例如,当在音频数据中包括的声音的振动的次数大时,可以表现高调(或者高音高音调),并且当在音频数据中包括的声音的振动的次数小时,其可以表现低调(或者低音高音调)。当与人类的语音相比较时,在女人的语音的情况下,振动的次数相对大,并且在男人的语音的情况下,振动的次数相对小。因此,控制器180可以通过使用在音频数据中包括的各种类型的信息当中的声音的振动次数信息来区分男人和女人的语音,并且根据区分结果不同地显示字幕。
在另一示例中,控制器180可以根据在音频数据中包括的声音的振幅来区分相对大的声音和相对小的声音。
例如,当声音的振幅大时,声音的强度是强烈的,并且当声音的振幅小时,声音的强度是微弱的。即,即使当声音被调节为具有类似级别的音量时,控制器180能够区分相对大的声音和相对小的声音。
例如,当心烦的人喊叫(或者发出高声)时,声音的振幅大,并且人在图书馆低声细语时等,声音的振幅小。
因此,控制器180可以通过使用在音频数据中包括的各种类型的信息当中的声音的振幅信息来区分大声和平静声音,并且根据区分结果来不同地显示字幕。
在另一示例中,控制器180可以根据声音的波形(类型或者音色)来区分不同的语音、不同的自然语音、动物声音、或者在特定情形下的声音。
声音的波形指的是从对象唯一地产生的波的形状,并且每一个对象具有它自己的波形。
因此,控制器180能够根据声音的波形区分在音频数据中包括的声音。即,控制器180可以区分声音是来自人还是来自于动物,还是在特定的情况下产生。
以这样的方式,当通过使用各种类型的音频数据的信息当中的关于频率、波的高度、以及波形的信息输出图像时,控制器180可以一起逼真地输出字幕。
同时,根据用户选择可以确定是否要输出字幕,并且另外,根据用户选择可以不同地改变显示格式。
而且,控制器180可以从外部系统通过无线通信单元110接收关于字幕的显示格式的信息并且不同地显示字幕。
即,在这样的情况下,外部系统可以提供与颜色、尺寸、位置等有关的显示信息,并且控制器180可以基于接收到的信息改变在显示单元上显示的字幕。
例如,控制器180可以使与接收到的字幕有关的信息与存储在存储器160中的字幕相匹配,并且以各种显示格式改变字幕文本以将字幕输出到显示单元151。
在另一示例中,控制器180可以从外部系统一起接收字幕文本和关于字幕文本的显示的显示信息,并且可以不同地改变字幕的显示格式以将相对应的字幕输出到显示单元151。
而且,通过使用被存储在存储器160中的字幕文本和字幕有关的显示信息,当再现视频时控制器180可以基于在存储器160中存储的信息以各种显示格式输出字幕。
同时,除了如上所述的从外部输入的字幕的显示信息之外,控制器180可以分析被包括在视频文件中的音频数据和图像数据并且不同地控制字幕的显示格式。
在下文中,将会参考图4和图5详细地描述控制视频以各种显示格式输出字幕的方法。
图4和图5是图示根据在本公开中公开的实施例的移动终端的控制方法的流程图。
首先,控制器180分析在视频文件中包括的音频数据的声音特性(步骤S100)。在此,就当通过控制器180分析视频文件时的时刻而言,在应用相对于视频文件的再现命令之后分析视频文件,或者,当视频文件被存储在存储器160中时,基于用户选择,甚至在应用再现命令之前,可以自动地分析音频数据。
如上所述,控制器180分析音频数据的声音特性。
即,控制器180通过分析音频数据检测频率信息、振幅信息、以及波形信息。同时,频率信息、振幅信息、以及波形信息可以被表达为声音特性信息。
控制器180将被分析的声音特性信息与字幕文本相匹配(步骤S200)。
在此,字幕文本可以与对应于声音特性信息的音频数据同步。字幕文本可以被事先存储在存储器160中或者可以通过分析音频数据由控制器180生成。
接下来,当用户应用视频再现命令时,根据被匹配的声音特性信息通过区分字幕的显示格式,控制器180将字幕与视频一起输出到显示单元151(步骤S300)。
“区别字幕的显示格式”指的是根据声音特性信息改变字幕的显示颜色、改变字幕的显示尺寸、两维或者三维地显示字幕等。
控制器180可以事先存储关于如何根据存储单元160中的声音特性信息不同地显示字幕并且参考先前存储的信息根据声音特性信息控制字幕的显示的信息。
例如,在男人的声音的情况下,即,在低频率的情况下,“以蓝色显示”的信息可以被存储在存储器160中,并且控制器180可以参考信息以“蓝色”显示字幕。
如上所述,控制器180可以通过分析音频数据提取声音特性信息,并且根据被提取的声音特性信息不同地改变字幕的显示。
同时,已经描述了分析音频数据的情况,但是控制器180也可以分析在视频文件中包括的图像数据并且处理字幕的显示,以使得其与图像数据相关联。
在下文中,将详细地描述分析图像数据以便于多样化地显示字幕的格式的方法。
首先,控制器180分析在视频文件中包括的音频数据的声音特性(步骤A100)。
就当通过控制器180分析视频文件时的时刻而言,当视频文件被存储在存储器160中时,基于用户选择,在相对于视频文件应用再现命令之后或者甚至在应用再现命令之前,可以自动地分析音频数据。
控制器180可以通过分析音频数据检测诸如频率信息、振幅信息、或者波形信息的声音特性信息。
控制器180将被分析的声音特性信息与字幕文本相匹配(步骤A200)。
在此,字幕文本可以与对应于声音特性信息的音频数据同步。字幕文本可以被预先存储在存储器160中或者通过分析音频数据通过控制器180生成。
接下来,控制器基于被分析的声音特性信息分析被包括在图像数据中的对象(步骤A300)。
被包括在图像数据中的对象是被包括在输出到显示单元151的图像中的对象,指的是人、没有生命的对象(或者事情)、动物等。
控制器180从与音频数据相对应的图像数据中检测与声音特性信息相关联的对象。
例如,当在与图像数据相对应的图像中存在“男人”和“女人”,并且与相对应的图像有关的声音特性信息是“低频率”时,控制器180可以分析音频数据和“低频率”声音特性信息与“男人”对象有关。
并且,控制器180可以分析与声音特性信息当中的特定波形相关联的对象,并且执行控制以不断地显示具有特定波形的音频数据的字幕。
在此,用于分析被包括在图像数据中的对象的方法可以包括各种技术,并且在本公开中,将省略用于分析图像的方法的详细描述。
同时,控制器180将声音特性信息和字幕文本与被分析的对象相匹配(步骤A400)。
控制器180可以将被显示在显示单元151上的对象的坐标信息、声音特性信息与字幕文本相匹配。
因此,当再现视频时,控制器180可以在与对象相邻的部分处基于被匹配的声音特性信息以各种显示格式显示字幕(步骤S500)。
同时,已经公开用于通过控制器180分析图像数据的方法,并且此外,从用户图像中可以选择特定对象并且相对应的字幕和声音特性信息可以被匹配到其中。
同时,用于分析如上所述的图像数据的方法对应于用于实现本发明的实施例,因此用于显示图像数据和字幕的方法不限于前述的方法,图像数据和字幕可以被关联以各种方式来进行处理。
如上所述,在本发明的实施例中,其中调整显示字幕的位置以与对应于声音特性信息的对象相邻,通过字幕,用户能够容易地识别当前发出声音的对象。
在上面,已经描述用于通过分析图像数据和音频数据不同地显示字幕的各种方法。
总之,作为用于获得关于字幕的显示信息的方法,已经描述i)从外部系统接收与字幕有关的字幕文本和显示信息(包括位置信息)并且基于接收到的信息显示字幕的方法;ii)分析音频数据和图像数据中的至少一个并且使其与字幕文本相匹配的方法;以及iii)通过分析音频数据和分析声音通信信息生成字幕文本的方法。
即,除了在终端内执行分析的方法之外,可以从外部接收关于字幕的显示信息。在本发明的实施例中,当通过各种方法中的至少一种获得字幕显示信息时,基于获得的字幕显示信息可以不同地改变字幕显示格式。
在下文中,将会更加详细地描述通过使用前述方法中的一种以各种格式显示字幕的方法。
首先,将会参考图6A、图6B、图6C、以及图7描述根据对应于音频数据的声音特性不同地显示字幕的实施例。
图6A、图6B、图6C、以及图7是根据在本公开中公开的实施例的解释根据在移动终端中的声音的特性显示字幕的方法的概念视图。
首先,图6A是示出根据如上所述的声音特性当中的声音的强度(振幅或者波的高度值)变化字幕的显示格式的实施例的概念视图。
如所图示的,当从用户应用视频再现命令时,与有关视频文件相对应的图像被输出到显示单元151。在这样的情况下,当通过用户或者控制器180已经设置以根据视频文件显示字幕时,控制器180参考与被输出到显示单元151的图像有关的音频数据的信息变化显示格式。
例如,当与音频数据相对应的声音的强度,即,振幅大时,控制器180可以显示相对应的字幕大于其它的字幕。
而且,除了仅改变字幕的尺寸之后,控制器180可以立体地显示字幕。
当与视频数据相对应的声音的强度,即,振幅小时,控制器180可以显示相对应的字幕小于其它的字幕。
以这样的方式,控制器180可以根据与音频数据相对应的声音的强度改变字幕的显示尺寸和3D效果(三维深度值)中的至少一个。
而且,控制器180可以调整根据声音的强度立体地显示的字幕的3D效果(3D深度值)以允许用户通过直觉识别关于声音多强大或者声音多微弱的信息。
如所图示的,当与对应于第一字幕210的音频数据有关的声音的强度大时,控制器180可以显示第一字幕210大于在第一字幕210下面的第二字幕220。并且,控制器180将3D效果(3D深度值)提供给第一字幕210以在图像上传达对象310的情感。
而且,如所图示的,当与对应于第二字幕220的音频数据有关的声音的强度小时,控制器180可以显示第二字幕220小于第一字幕210。
而且,控制器180可以表达第二字幕220的3D效果(3D深度值)使得其小于第一字幕210或者可以二维地显示第二字幕220而没有3D效果(3D深度值)。
如上所述,在根据本发明的实施例的移动终端中,因为字幕的尺寸或者字幕的3D效果(3D深度值)被显示为是不同的,所以用户能够仅通过字幕感觉到从图像中感觉到的感情线。
接下来,图6B是示出其中根据如上所述的声音特性当中的振动的次数变化字幕的显示格式的实施例的概念视图。
声音的振动的次数指的是声音的音高。当与音频数据有关的声音的振动的次数大时,表示高音高的音调(或者高调),并且当与音频数据有关的声音的振动的次数小时,表示低音调(或者低调)。
当与人类的声音相比较时,在女人的声音的情况下,振动的次数相对大,并且在男人的声音的情况下,振动的次数相对小。因此,通过使用在音频数据中包括的各种类型的信息当中的声音的振动次数信息控制器180可以区分男人和女人的声音,并且根据区分结果不同地显示字幕。
而且,如上所述,虽然没必要通过声音的振动的次数区分男人和女人,但是控制器180可以区分具有相对均一地多次数的振动和相对少次数的振动的声音并且区分不同人的语音。
因此,根据声音的振动的次数(或者频率)可以变化字幕的显示颜色并且将其输出到显示单元151。
如所图示的,当与第一字幕210相对应的音频数据具有均一地高于与第二字幕220相对应的音频数据的频率时,控制器180可以区分第一字幕210和第二字幕220的显示颜色并且利用图像显示第一字幕210和第二字幕220。
因此,用户可以识别第一和第二字幕与在图像中包括的对象当中的不同对象有关。
接下来,图6C是示出其中根据如上所述的声音特性当中的声音的波形(或者类型)变化字幕的显示格式的实施例的概念视图。
根据声音的波形(或者类型或者音色),控制器180区分对象的独特声音,诸如人、动物、大自然等的声音。
因此,控制器180能够根据声音的波形(类型或者音色)区分不同的声音、不同的自然声音、动物声音、或者特定情况下的声音。
因此,控制器180能够根据声音的波形区分在音频数据中包括的声音。即,控制器180可以区别声音是来自人还是来自动物,还是在特定的情况下产生。
如所图示的,控制器180可以不同地显示与具有不同的波形的音频数据相对应的字幕。
如所图示的,控制器180可以基于不同的波形变化其中显示第一字幕210和第二字幕220的位置。
而且,控制器180可以通过各种方法来区分字幕的显示,诸如根据波形变化显示字幕的尺寸或者改变字幕的颜色。
以这样的方式,在根据本发明的实施例的移动终端中,通过根据声音的波形改变字幕的位置、颜色以及尺寸,即使当声音不能够被听到时,关于图像的直觉信息能够被提供给用户。
而且,如在图7中所示,考虑声音的振动的次数、强度、波形等所有方面,控制器180可以变化字幕的显示格式。
如所图示的,控制器180可以显示对应于具有最高强度的声音的音频数据的第一字幕210和3D效果(3D深度值),使得第一字幕210大于第二字幕220和第三字幕230。
而且,控制器180可以基于声音的波形和振动的次数中的至少一个变化其中第一字幕210和第三字幕230被显示的位置和其中第二字幕220被显示的位置。
如上所述,在根据本发明的实施例的移动终端中,通过根据声音特性变化字幕的显示格式,期望通过在图像上的“声音”传递的感情和情境能够通过字幕被有效地传达给用户。
在下文中,将参考图8、图9以及图10描述以相关联的方式显示被包括在图像中的对象和字幕的方法。
图8、图9以及图10是根据在本公开中公开的实施例的解释用于在移动终端中显示字幕以对应于对象的方法的概念视图。
在上面参考图5已经描述用于通过关联他们处理图像数据和字幕的方法的实施例。
在下文中,将详细地描述实现其的实施例。
[00202]通过使用诸如面部识别算法、对象识别算法等的各种识别算法,控制器180可以检测被包括在显示单元151上显示的图像中的对象。
在此,如在图8中所示,对象可以是第一面部310和第二面部320,并且此外,对象可以是与被包括在图像中的人或者动物相对应的图像本身。
可以设置控制器180使得如上所述检测到的第一和第二对象310和320被定位为与字幕相邻。
在这样的情况下,控制器180可以匹配检测到的对象和相关联的音频数据,并且在与第一对象310相邻的位置处显示对应于第一对象的与音频数据有关的第一字幕210。
为此,控制器180匹配与第一和第二对象310和320相对应的声音波形。
当第一对象310的“鼠标”部分移动时,控制器180检测要被输出的音频数据的波形,并且将检测到的波形与第一对象310相匹配,从而将对象和波形相关联。
并且,通过使用前述匹配的波形信息控制器180继续将特定波形和特定对象相关联,使得与相同的波形音频数据有关的字幕仅能够被相邻地显示在相同的对象附近。
如所图示的,控制器180可以在第一对象310附近显示与第一对象310相对应的第一字幕210并且在第二对象320附近显示第二字幕210。
并且,控制器180立体地显示与当前输出的音频数据相对应的字幕以将关于与当前情形相对应的字幕的信息提供给用户。
因此,如所图示的,当输出与第一对象310相对应的音频数据时,控制器210三维地显示第一字幕210,并且当输出与第二对象320相对应的音频数据时,控制器180将已经被三维地显示的第一字幕210变成2D显示格式,并且三维地显示第二字幕220。
而且,如在图9中所示,控制器180可以在作为图像的声音来源的位置上显示字幕。
而且,即使当声音不是从人输出的声音时,控制器180可以显示与被包括在视频文件中的音频数据有关的字幕。因此,控制器180在作为声音的来源的第一和第二对象310和320附近显示表示足迹的第一和第二对象210和220,并且在作为声音的来源的第三和第四对象330和340附近显示表示鼓掌的第三和第四字幕230和240。
而且,如在图10中所示,通过使用字幕的尺寸、3D效果、以及颜色中的至少一个控制器180可以提供关于时间流逝的信息。
即,控制器180可以显示与当前生成的音频数据相对应的字幕使得该字幕是最大的,并且显示与很久以前生成的音频数据相对应的字幕使得该字幕较小。
如所图示的,通过显示与最近生成的音频数据相对应的第一字幕210控制器180可以将关于时间顺序的信息提供给用户,使得字幕210大于其它的字幕并且是三维的。
在这样的情况下,可以将与很久以前生成的音频数据相对应的第四字幕240显示为最小的。
在其中生成与第一字幕210有关的音频数据的状态下,当生成与第五字幕有关的音频数据时,控制器180可以将第一字幕210的显示变成二维显示,三维地显示第五字幕250,并且增加第五字幕250的尺寸使得第五字幕250是最大的。
并且,控制器180使与最早生成的音频数据有关的第四字幕240消失,使得在图像上能够始终显示适当数目的字幕。
如上所述,根据本发明的实施例的移动终端通过将对象和字幕相关联,显示对象和字幕,并且根据时间顺序改变字幕的显示格式,从而允许用户容易地理解图像。
接下来,将会参考图11、图12、图13以及图14描述通过协作地操作在音频数据中包括的声音的振幅信息的处理和字幕的显示的方法。
图11是图示根据在本公开中公开的实施例的用于在移动终端中根据振幅不同地显示字幕的方法的流程图,并且图12、图13以及图14是根据在本公开中公开的实施例的解释用于在移动终端中根据振幅显示字幕的方法的概念视图。
参考图11,在根据音频数据的声音特性当中的振幅的大小不同地显示字幕的尺寸的实施例中,控制器180分析被包括在音频数据的信息当中的与声音的振幅相对应的信息(步骤B100)。
控制器180将被分析的声音的振幅与基准值相比较(步骤B200)。
当根据比较结果被分析的声音的振幅大于基准值时,控制器180显示大于基准尺寸的字幕(步骤B300)。而且,当根据比较结果被分析的声音的振幅小于基准值时,控制器180显示小于基准尺寸的字幕(步骤B400)。
以这样的方式,控制器180确定与声音的振幅有关的基准值,分析与基准值的差,并且根据差改变字幕的尺寸。
因此,当振幅对应于基准值时,字幕被显示为具有预设的基准尺寸。
例如,在图12中,当第一字幕210的尺寸是基准尺寸时,控制器180可以显示与与音频数据相对应的第二字幕220,该音频数据具有大于与第一字幕210相对应的音频数据的振幅,使得第二字幕220大于第一字幕210。而且,根据振幅通过使用3D效果和字幕的尺寸,控制器180可以三维地显示字幕。
另外,控制器180可以根据具有被逐渐地增加的声音,即,振幅的音频数据改变字幕的尺寸。
例如,如在图13中所示,当与第一字幕210相对应的音频数据的振幅被逐渐地增加时,控制器180可以改变第一字幕的尺寸,使得其对应于被逐渐地增加的振幅。
因此,控制器180可以根据音频数据的振幅中的变化将第一字幕210的尺寸变成第二字幕的尺寸。在这样的情况下,当振幅被快速地增加时,控制器180将移动效果提供给第二字幕220以将关于相对应的情形的信息提供给用户。
而且,控制器180可以将尺寸从第二字幕220的尺寸增加到第三字幕230的尺寸并且使用3D效果以进一步有效地提供关于振幅的信息。
而且,如上所述,相对于其振幅被逐渐地减少的音频数据,控制器180可以减少字幕的尺寸或者其3D效果。
另外,如在图14中所示,控制器180可以在对应于与图像中的音频数据有关的声音的来源的位置处显示字幕,并且根据在与声音的来源相对应的位置处的振幅的变化改变字幕的显示尺寸。
如上所述,在根据本发明的实施例的移动终端中,通过根据振幅中的变化区别字幕的显示尺寸,用户能够通过字幕识别大的声音和小的声音,因此在没有直接地听到声音的情况下用户能够理解图像的内容。
而且,在根据本发明的实施例的移动终端中,通过根据与视频有关的声音特性区别字幕的显示格式,用户能够通过字幕容易地识别与视频有关的内容。
另外,在根据本发明的实施例的移动终端中,通过根据视频的内容改变字幕的尺寸、3D效果、颜色等,用户能够仅通过字幕快速地识别与视频的内容有关的感情线和情形。
根据本公开的实施例的移动终端不受在其配置和方法的应用中的限制,但是实施例的整体或者部分能够被选择性地组合以被配置成各种修改。
因为在不背离本发明的特性的情况下,可以以若干形式来实现示例性实施例,所以还应当理解,除非另外指明,否则上述实施例不受任何前面描述的细节限制,而是应该在如所附权利要求中所限定的范围内被广泛地解释。因此,因此意在落入权利要求的范围、或这样的范围的等价物内的各种改变和修改由所附权利要求来包括。

Claims (20)

1.一种移动终端,包括:
接收器,所述接收器被配置成接收包括视频数据和音频数据的内容信号;
显示器;和
控制器,所述控制器被配置为:
使得基于接收到的视频数据在所述显示器上显示视频;
使得在所述显示器上与被显示的视频同时地显示字幕,其中所述字幕的内容基于所述接收到的音频数据;以及
使得根据所述接收到的音频数据的相对应的声音特性以多种不同的格式中的任意一种显示所述字幕,其中所述接收到的音频数据的声音特性是多个可能的声音特性中的一个。
2.根据权利要求1所述的移动终端,其中所述接收到的音频数据的声音特性至少与振幅、振动的次数、或者波形有关。
3.根据权利要求1所述的移动终端,其中所述控制器被进一步配置成:
使得当所述接收到的音频数据的声音特性小于阈值时,以二维(2D)格式显示字幕;并且
使得当所述音频数据的声音特性大于阈值时,以三维(3D)格式显示字幕。
4.根据权利要求3所述的移动终端,其中以3D格式显示的字幕的深度值基于与超过所述阈值的音频数据相对应的声音振幅的级别变化。
5.根据权利要求1所述的移动终端,其中所述接收到的音频数据的声音特性与波形有关,并且其中所述控制器被进一步配置成:
使得在基于所述音频数据的波形的所述显示器的位置处出现所述字幕的显示。
6.根据权利要求1所述的移动终端,其中:
所述接收到的音频数据的声音特性与波形有关;
所述被显示的视频包括多个对象;
被显示的字幕的每个字幕与所述多个对象中的相对应的一个有关;以及
所述控制器被进一步配置成使得所述显示器在对应于所述多个对象中的相对应的一个的所述显示器的位置处显示被显示的字幕中的每个字幕。
7.根据权利要求6所述的移动终端,其中所述多个对象中的每个包括面部。
8.根据权利要求6所述的移动终端,其中所述控制器被进一步配置成以三维(3D)格式显示所述被显示的字幕中的至少一个。
9.根据权利要求1所述的移动终端,其中:
所述接收到的音频数据的声音特性与波形有关;
所述控制器被进一步配置成使得所述显示器以基于所述音频数据的波形的颜色显示被显示的字幕中的每个字幕;以及
基于所述音频数据的不同波形的所述被显示的字幕的字幕以彼此不同的颜色显示。
10.根据权利要求1所述的移动终端,其中:
所述接收到的音频数据的声音特性与振幅有关;以及
所述控制器被进一步配置成使得所述显示器基于与所述被显示的字幕的每个字幕相对应的声音振幅的级别来变化所述被显示的字幕中的每个字幕的尺寸。
11.根据权利要求10所述的移动终端,其中所述控制器被进一步配置成:
确定与所述被显示的字幕中的每个字幕相对应的声音振幅是大于基准值还是等于基准值;
使得以大于基准尺寸的尺寸显示被显示的字幕中的每个字幕,所述被显示的字幕中的每个字幕基于大于所述基准值的声音振幅;以及
使得以小于所述基准尺寸的尺寸显示被显示的字幕中的每个字幕,所述被显示的字幕中的每个字幕基于小于所述基准值的声音振幅。
12.根据权利要求11所述的移动终端,其中所述被显示的字幕中的每个的尺寸基于与被显示的字幕中的每个字幕相对应的声音振幅和所述基准值之间的差而变化。
13.根据权利要求12所述的移动终端,其中所述控制器被进一步配置成:
当所述相对应的声音振幅大于所述基准值时,所述被显示的字幕中的每个的尺寸与对应于被显示的字幕中的每个字幕的声音振幅和所述基准值之间的差的增加成比例地增加;以及
当所述相对应的声音振幅小于所述基准值时,所述被显示的字幕中的每个的尺寸与对应于被显示的字幕中的每个字幕的声音振幅和所述基准值之间的差的增加成比例地减少。
14.根据权利要求13所述的移动终端,其中所述控制器被进一步配置成:
使得当所述声音振幅在预设阈值以上时以三维(3D)格式显示所述字幕;以及
基于声音振幅和所述预设阈值之间的差来变化以所述3D格式显示的所述字幕的深度值。
15.根据权利要求10所述的移动终端,其中所述控制器被进一步配置成基于与所述被显示的字幕中的每个字幕相对应的声音振幅的改变来变化所述被显示的字幕中的每个字幕的字符厚度。
16.根据权利要求1所述的移动终端,其中:
所述接收到的音频数据的声音特性与振幅有关;以及
所述控制器被进一步配置成使所述显示器基于与所述被显示的字幕中的每个字幕相对应的声音振幅的差以不同于所述被显示的字幕中的另一个的尺寸显示所述被显示的字幕中的每个字幕。
17.一种控制移动终端的方法,所述方法包括:
经由所述移动终端的接收器接收内容信号,所述内容信号包括视频数据和音频数据;
经由所述移动终端的控制器控制所述移动终端的显示器,以基于所述接收到的视频数据显示视频;
经由所述控制器控制所述显示器以与所述被显示的视频同时地显示字幕,其中所述字幕的内容基于所述接收到的音频数据;以及
经由所述控制器控制所述显示器以根据所述接收到的音频数据的相对应的声音特性以多种不同的格式中的任意一种显示所述字幕,其中所述接收到的音频数据的声音特性是多个可能的声音特性中的一个。
18.根据权利要求17所述的方法,其中所述接收到的音频数据的声音特性至少与振幅、振动的次数、或者波形有关。
19.根据权利要求17所述的方法,其中所述接收到的音频数据的声音特性与振幅有关,所述方法进一步包括:
经由所述控制器控制所述显示器,以当声音振幅小于阈值时以二维(2D)格式显示所述字幕;
经由所述控制器控制所述显示器,以当所述声音振幅大于所述阈值时以三维(3D)格式显示所述字幕;以及
经由所述控制器控制所述显示器,以基于与超过所述阈值的所述音频数据相对应的声音振幅的级别来变化以所述3D格式显示的字幕的深度值。
20.根据权利要求17所述的方法,其中所述接收到的音频数据的声音特性进一步与波形有关,其中所述被显示的视频包括多个对象,并且其中所述被显示的字幕中的每个字幕与所述多个对象中的相对应的一个有关,所述方法进一步包括:
经由所述控制器控制所述显示器,以在与所述多个对象中的相对应的一个相对应的所述显示器的位置处显示所述被显示的字幕中的每个字幕。
CN201210505383.9A 2011-12-02 2012-11-30 移动终端及其控制方法 Expired - Fee Related CN103139375B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110128522A KR101830656B1 (ko) 2011-12-02 2011-12-02 이동 단말기 및 이의 제어방법
KR10-2011-0128522 2011-12-02

Publications (2)

Publication Number Publication Date
CN103139375A true CN103139375A (zh) 2013-06-05
CN103139375B CN103139375B (zh) 2016-05-11

Family

ID=47681503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210505383.9A Expired - Fee Related CN103139375B (zh) 2011-12-02 2012-11-30 移动终端及其控制方法

Country Status (4)

Country Link
US (1) US9699399B2 (zh)
EP (1) EP2600628B1 (zh)
KR (1) KR101830656B1 (zh)
CN (1) CN103139375B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104853257A (zh) * 2015-04-30 2015-08-19 北京奇艺世纪科技有限公司 字幕显示方法和装置
CN105812880A (zh) * 2016-03-22 2016-07-27 广东欧珀移动通信有限公司 一种音频数据的展示方法及终端设备
CN106060266A (zh) * 2016-06-28 2016-10-26 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106791926A (zh) * 2016-12-14 2017-05-31 传线网络科技(上海)有限公司 一种信息视频文件的播放方法、系统和终端
CN107369442A (zh) * 2017-06-22 2017-11-21 北京奇艺世纪科技有限公司 一种语音消息展示方法、装置及电子设备
CN108377418A (zh) * 2018-02-06 2018-08-07 北京奇虎科技有限公司 一种视频标注处理方法和装置
CN108470055A (zh) * 2018-03-15 2018-08-31 维沃移动通信有限公司 一种文本信息的显示方法及移动终端
CN108833992A (zh) * 2018-06-29 2018-11-16 北京优酷科技有限公司 字幕显示方法及装置
CN108924636A (zh) * 2018-06-29 2018-11-30 北京优酷科技有限公司 字幕显示方法及装置
CN108989876A (zh) * 2018-07-27 2018-12-11 青岛海信传媒网络技术有限公司 一种字幕显示的方法及装置
CN109240415A (zh) * 2018-08-14 2019-01-18 Oppo广东移动通信有限公司 电子设备控制方法、装置、存储介质及电子设备
CN109859298A (zh) * 2019-03-05 2019-06-07 腾讯科技(深圳)有限公司 一种图像处理方法及其装置、设备和存储介质
CN112752130A (zh) * 2019-10-29 2021-05-04 上海海思技术有限公司 一种数据显示方法及媒体处理装置
CN113660536A (zh) * 2021-09-28 2021-11-16 北京七维视觉科技有限公司 一种字幕显示方法和装置
CN114008566A (zh) * 2019-06-28 2022-02-01 索尼集团公司 信息处理装置、信息处理方法和程序
CN114095782A (zh) * 2021-11-12 2022-02-25 广州博冠信息科技有限公司 一种视频处理方法、装置、计算机设备及存储介质

Families Citing this family (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
CN103841252A (zh) * 2012-11-22 2014-06-04 腾讯科技(深圳)有限公司 声音信号处理方法、智能终端及系统
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2014200728A1 (en) 2013-06-09 2014-12-18 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
KR102166719B1 (ko) * 2013-06-27 2020-10-16 삼성전자주식회사 전자장치 및 전자장치를 이용한 정보교환 방법
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
KR102146098B1 (ko) * 2013-08-22 2020-08-19 한화테크윈 주식회사 영상 처리 방법, 영상 처리 장치, 및 감시 시스템
US20150109532A1 (en) * 2013-10-23 2015-04-23 Google Inc. Customizing mobile media captioning based on mobile media rendering
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
CN104038827B (zh) 2014-06-06 2018-02-02 小米科技有限责任公司 多媒体播放方法及装置
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9443488B2 (en) * 2014-10-14 2016-09-13 Digital Vision Enhancement Inc Image transforming vision enhancement device
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
CN106095381B (zh) * 2016-06-07 2020-05-01 北京京东尚科信息技术有限公司 终端设备及其显示屏幕的滑动操作控制方法和装置
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
KR20180017944A (ko) * 2016-08-11 2018-02-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10356481B2 (en) 2017-01-11 2019-07-16 International Business Machines Corporation Real-time modifiable text captioning
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
CN107890673A (zh) * 2017-09-30 2018-04-10 网易(杭州)网络有限公司 补偿声音信息的视觉显示方法及装置、存储介质、设备
CN108055592A (zh) * 2017-11-21 2018-05-18 广州视源电子科技股份有限公司 字幕显示方法、装置、移动终端及存储介质
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
KR101981091B1 (ko) * 2017-12-20 2019-05-22 충남대학교산학협력단 감정시각화자막 생성장치
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
CN108419141B (zh) * 2018-02-01 2020-12-22 广州视源电子科技股份有限公司 一种字幕位置调整的方法、装置、存储介质及电子设备
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
CN108401192B (zh) 2018-04-25 2022-02-22 腾讯科技(深圳)有限公司 视频流处理方法、装置、计算机设备及存储介质
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
CN108854069B (zh) * 2018-05-29 2020-02-07 腾讯科技(深圳)有限公司 音源确定方法和装置、存储介质及电子装置
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
KR102067446B1 (ko) 2018-06-04 2020-01-17 주식회사 엔씨소프트 자막 생성 방법 및 시스템
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN109862422A (zh) * 2019-02-28 2019-06-07 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11715485B2 (en) 2019-05-17 2023-08-01 Lg Electronics Inc. Artificial intelligence apparatus for converting text and speech in consideration of style and method for the same
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN112601120B (zh) * 2020-12-15 2023-04-21 三星电子(中国)研发中心 字幕显示方法及装置
US11765435B2 (en) * 2021-09-30 2023-09-19 Sony Interactive Entertainment LLC Text tagging and graphical enhancement
KR20240023917A (ko) * 2022-08-16 2024-02-23 엘지전자 주식회사 디스플레이 장치 및 그것의 제어방법
WO2024128637A1 (ko) * 2022-12-12 2024-06-20 삼성전자 주식회사 화자별 음량 조절을 위한 전자 장치, 그 동작 방법 및 저장 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050038661A1 (en) * 2003-08-15 2005-02-17 Kohei Momosaki Closed caption control apparatus and method therefor
US20070253680A1 (en) * 2006-04-26 2007-11-01 Michiko Mizote Caption display control apparatus
US20080254826A1 (en) * 2007-04-10 2008-10-16 Samsung Electronics Co., Ltd. Caption data transmission and reception method in digital broadcasting and mobile terminal using the same
US20100146445A1 (en) * 2008-12-08 2010-06-10 Apple Inc. Ambient Noise Based Augmentation of Media Playback

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154246A1 (en) * 2001-04-19 2002-10-24 Hawkins Bret David Method and apparatus for control of auxiliary video information display
US7054804B2 (en) 2002-05-20 2006-05-30 International Buisness Machines Corporation Method and apparatus for performing real-time subtitles translation
KR20060113708A (ko) * 2003-11-10 2006-11-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 주위의 비디오 콘텐트에 기초한 자막 텍스트의 적응
WO2006092993A1 (ja) * 2005-02-28 2006-09-08 Matsushita Electric Industrial Co., Ltd. 字幕表示装置
JP2006279592A (ja) 2005-03-29 2006-10-12 Toshiba Corp 放送受信機
US20080129864A1 (en) * 2006-12-01 2008-06-05 General Instrument Corporation Distribution of Closed Captioning From a Server to a Client Over a Home Network
CN105263012A (zh) 2007-03-16 2016-01-20 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
CA2651464C (en) * 2008-04-30 2017-10-24 Crim (Centre De Recherche Informatique De Montreal) Method and apparatus for caption production
KR20100044477A (ko) * 2008-10-22 2010-04-30 삼성전자주식회사 디스플레이장치 및 그 제어방법
US20100238323A1 (en) * 2009-03-23 2010-09-23 Sony Ericsson Mobile Communications Ab Voice-controlled image editing
JP4985807B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
JP2011139261A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US20110246172A1 (en) * 2010-03-30 2011-10-06 Polycom, Inc. Method and System for Adding Translation in a Videoconference

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050038661A1 (en) * 2003-08-15 2005-02-17 Kohei Momosaki Closed caption control apparatus and method therefor
US20070253680A1 (en) * 2006-04-26 2007-11-01 Michiko Mizote Caption display control apparatus
US20080254826A1 (en) * 2007-04-10 2008-10-16 Samsung Electronics Co., Ltd. Caption data transmission and reception method in digital broadcasting and mobile terminal using the same
US20100146445A1 (en) * 2008-12-08 2010-06-10 Apple Inc. Ambient Noise Based Augmentation of Media Playback

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104853257A (zh) * 2015-04-30 2015-08-19 北京奇艺世纪科技有限公司 字幕显示方法和装置
CN105812880B (zh) * 2016-03-22 2019-04-16 Oppo广东移动通信有限公司 一种音频数据的展示方法及终端设备
CN105812880A (zh) * 2016-03-22 2016-07-27 广东欧珀移动通信有限公司 一种音频数据的展示方法及终端设备
CN106060266A (zh) * 2016-06-28 2016-10-26 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106060266B (zh) * 2016-06-28 2019-06-21 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106791926A (zh) * 2016-12-14 2017-05-31 传线网络科技(上海)有限公司 一种信息视频文件的播放方法、系统和终端
CN107369442A (zh) * 2017-06-22 2017-11-21 北京奇艺世纪科技有限公司 一种语音消息展示方法、装置及电子设备
CN108377418A (zh) * 2018-02-06 2018-08-07 北京奇虎科技有限公司 一种视频标注处理方法和装置
CN108470055A (zh) * 2018-03-15 2018-08-31 维沃移动通信有限公司 一种文本信息的显示方法及移动终端
CN108924636A (zh) * 2018-06-29 2018-11-30 北京优酷科技有限公司 字幕显示方法及装置
CN108833992A (zh) * 2018-06-29 2018-11-16 北京优酷科技有限公司 字幕显示方法及装置
CN108989876A (zh) * 2018-07-27 2018-12-11 青岛海信传媒网络技术有限公司 一种字幕显示的方法及装置
CN109240415A (zh) * 2018-08-14 2019-01-18 Oppo广东移动通信有限公司 电子设备控制方法、装置、存储介质及电子设备
CN109240415B (zh) * 2018-08-14 2021-01-08 Oppo广东移动通信有限公司 电子设备控制方法、装置、存储介质及电子设备
CN109859298A (zh) * 2019-03-05 2019-06-07 腾讯科技(深圳)有限公司 一种图像处理方法及其装置、设备和存储介质
CN114008566A (zh) * 2019-06-28 2022-02-01 索尼集团公司 信息处理装置、信息处理方法和程序
CN112752130A (zh) * 2019-10-29 2021-05-04 上海海思技术有限公司 一种数据显示方法及媒体处理装置
CN113660536A (zh) * 2021-09-28 2021-11-16 北京七维视觉科技有限公司 一种字幕显示方法和装置
CN114095782A (zh) * 2021-11-12 2022-02-25 广州博冠信息科技有限公司 一种视频处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
KR101830656B1 (ko) 2018-02-21
KR20130062099A (ko) 2013-06-12
EP2600628A3 (en) 2014-01-15
US9699399B2 (en) 2017-07-04
EP2600628A2 (en) 2013-06-05
EP2600628B1 (en) 2017-01-04
US20130141551A1 (en) 2013-06-06
CN103139375B (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
CN103139375A (zh) 移动终端及其控制方法
CN104375573B (zh) 移动终端
CN104049885B (zh) 移动终端和控制移动终端的方法
CN104639736B (zh) 移动终端及其控制方法
CN103793170B (zh) 移动终端及其控制方法
CN102811501B (zh) 移动终端
CN102467343B (zh) 移动终端以及控制移动终端的方法
CN104111772B (zh) 移动终端及其控制方法
CN103327168B (zh) 移动终端及其控制方法
CN103200307B (zh) 移动终端及其控制方法
KR102108893B1 (ko) 이동 단말기
CN101668055B (zh) 具有触敏用户界面的便携式终端
CN104798311A (zh) 移动终端及其控制方法
CN101945150A (zh) 移动终端
KR20150007159A (ko) 전자 기기 및 그 제어 방법
CN103793097A (zh) 移动终端及其控制方法
CN103973840A (zh) 移动终端
CN102957792B (zh) 移动终端及其振动方法
CN103533154A (zh) 移动终端及其识别语音的方法
CN103379220B (zh) 移动终端及其控制方法
KR20130068552A (ko) 이동 단말기 및 그것의 제어 방법
CN103823618A (zh) 移动终端及其控制方法
CN103581425B (zh) 移动终端及其控制方法
CN103685720B (zh) 移动终端及其控制方法
KR101716894B1 (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160511

Termination date: 20181130

CF01 Termination of patent right due to non-payment of annual fee