CN104049885B - 移动终端和控制移动终端的方法 - Google Patents

移动终端和控制移动终端的方法 Download PDF

Info

Publication number
CN104049885B
CN104049885B CN201310392472.1A CN201310392472A CN104049885B CN 104049885 B CN104049885 B CN 104049885B CN 201310392472 A CN201310392472 A CN 201310392472A CN 104049885 B CN104049885 B CN 104049885B
Authority
CN
China
Prior art keywords
voice data
data
controller
progress bar
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310392472.1A
Other languages
English (en)
Other versions
CN104049885A (zh
Inventor
朴智荣
池柱珉
金秀真
尹圣惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104049885A publication Critical patent/CN104049885A/zh
Application granted granted Critical
Publication of CN104049885B publication Critical patent/CN104049885B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephone Function (AREA)

Abstract

本发明提供了一种移动终端和控制移动终端的方法。移动终端包括被构造为与至少一个其它终端进行无线通信的无线通信单元;被构造为存储记录的语音数据的存储器;被构造为显示表示所记录的语音数据的再现进度的图形对象的显示单元;以及控制器,其被构造为:接收指示图形对象的一部分已经被选择的选择信号,选择所记录的语音数据的包括图形对象被选择的时间点的部分,将所记录的语音数据的所选择的部分中包括的关键字语音数据转换为关键字文本数据,并且将关键字文本数据显示在显示单元上。

Description

移动终端和控制移动终端的方法
技术领域
本发明涉及一种移动终端并且更具体地涉及一种用于输出语音数据的移动终端和控制该移动终端的方法。
背景技术
一般来说,终端可以被分类为移动(便携式)终端和固定终端。移动终端也可以被分类为手持终端和车载终端。
随着终端的功能变得更加多样化,终端能够支持更复杂的功能,例如捕获图像或视频、再现音乐或视频文件、玩游戏、接收广播信号等等。通过全面且统一地实施这样的功能,移动终端可以实施为多媒体播放器或装置的形式。移动终端也能够在显示示出语音数据的再现进度状态的进度条的同时输出语音数据。然而,当前可用的进度条仅示出当前输出的语音数据的再现进度状态。
发明内容
因此,详细描述的一方面在于提供一种用于为用户提供显示示出语音数据的再现进度状态的进度条的改进的方便性的移动终端和控制移动终端的方法。
为了实现这些和其它优点并且根据本申请的目的,如这里具体实施和广泛描述的,提供了一种移动终端,其包括显示单元,该显示单元显示与语音数据匹配的图形对象;以及控制器,该控制器在图形对象上的至少一点被选择时选择语音数据的包括语音数据对应于所选择的点的时间点的部分,其中,控制器将语音数据的所选择的部分中包括的关键字语音数据转换为关键字文本数据,从而在显示单元上显示所获得的关键字文本数据。
在移动终端中,控制器可以提取语音数据的所选择的部分中包括的关键字语音数据中的至少一个,并且可以将所提取的关键字语音数据转换为关键字文本数据,从而在显示单元上显示所获得的关键字文本数据。
在移动终端中,图形对象可以包括示出语音数据的再现进度状态的进度条,并且控制器可以在进度条上显示示出所选择的点的第一对象。
在移动终端中,控制器可以检测触摸被施加到所选择的点的程度(extent),并且可以基于施加触摸的程度来确定语音数据的部分的长度与将要提取的关键字语音数据的量中的至少一个。
在移动终端中,控制器可以检测对于图形对象的触摸输入的开始到对于图形对象的触摸输入的解除的触摸操作的持续时间和变化中的至少一个,并且因此可以确定施加触摸的程度。
在移动终端中,控制器可以在显示单元上显示示出施加触摸的程度的图标。
在移动终端中,控制器可以基于对语音数据对应于所选择的点的时间点与输出所提取的关键字语音数据的点的比较的结果来确定显示对应于所提取的关键字语音数据的关键字文本数据的顺序以及显示对应于所提取的关键字语音数据的关键字文本数据的方法中的至少一个。
在移动终端中,控制器可以基于所选择的部分中包括的所提取的关键字语音数据被输出的次数来确定显示对应于所提取的关键字语音数据的关键字文本数据的顺序以及显示对应于所提取的关键字语音数据的关键字文本数据的方法中的至少一个。
在移动终端中,当关键字文本数据的条目中的至少一个被选择时,控制器可以检测输出对应于所选择的关键字文本数据的关键字语音数据的时间点,可以选择语音数据的包括检测到的输出关键字语音数据的时间点的第一部分,并且可以将所选择的第一部分中包括的第一语音数据转换为第一文本数据,从而显示所获得的第一文本数据。
在移动终端中,当第一文本数据的至少一部分被选择时,控制器可以在进度条上显示示出输出所选择的至少一部分的时间点的第二对象。
在移动终端中,控制器可以基于进度条上的第二对象的显示位置将进度条划分为多个区域,并且可以将语音数据的文件划分为多个文件,使得多个文件分别对应于通过划分获得的多个区域。
在移动终端中,当通过划分获得的多个区域中的至少一个被选择时,控制器可以放大所选择的区域,并且将结果显示在显示单元上,并且可以将对应于再现对应于所选择的区域的通过划分获得的语音数据的文件的功能的图标与所选择的区域一起显 示。
在移动终端中,当在通过划分获得的多个区域中的至少一个上检测到预定触摸输入时,控制器可以编辑对应于所触摸的区域的通过划分获得的语音数据的文件。
在移动终端中,当在显示单元上检测到触摸输入时,控制器可以基于关于检测到的触摸输入的性质的信息从语音数据的条目中选择第二部分,并且可以将第二部分中包括的第二语音数据转换为第二文本数据,从而在显示单元上显示所获得的第二文本数据。
在移动终端中,语音数据的第二部分可以是语音数据的下述部分,该部分包括对应于所选择的关键字文本数据的关键字语音数据并且不同于第一部分。
在移动终端中,控制器可以从语音数据的第二部分中再次提取关键字语音数据并且可以将再次提取的关键字语音数据转换为关键字文本数据,从而在显示单元上显示所获得的关键字文本数据。
移动终端可以进一步包括用户输入单元,该用户输入单元形成为接收包括关键字语音数据和关键字文本数据中的至少一个的关键字数据的输入,并且在移动终端中,当关键字数据被输入到控制器时,控制器可以从语音数据中提取输出关键字数据的时间点并且可以在进度条上对应于所提取的时间点的点上显示第三对象。
在移动终端中,控制器可以分析语音数据并且基于分析的结果显示至少一个菜单项目,并且,当菜单项目被选择时,控制器可以从语音数据的条目中提取与所选择的菜单项目关联的关键字语音数据,并且可以将所提取的关键字语音数据转换为关键字文本数据,从而显示所获得的关键字文本数据。
为了实现这些和其它优点并且根据本申请的目的,如这里具体实施和广泛描述的,提供了一种控制移动终端的方法,该方法包括在显示单元上显示与语音数据匹配的图形对象,当图形对象上的至少一点被选择时,选择语音数据的包括语音数据对应于所选择的点的时间点的部分;以及将语音数据的所选择的部分中包括的关键字语音数据转换为关键字文本数据,从而在显示单元上显示所获得的关键字文本数据。
在控制移动终端的方法中,将语音数据的所选择的部分中包括的关键字语音数据转换为关键字文本数据的步骤包括提取语音数据的所选择的部分中包括的至少一个语音数据,以及将所提取的关键字语音数据转换为关键字文本数据并且在显示单元上显示所获得的关键字文本数据。
根据下面给出的详细描述,本发明的进一步的范围和可用性将变得更加明显。然而,应理解的是,指示本发明的优选实施方式的详细描述和具体示例仅为了示出的目的,这是因为根据该详细描述,本发明的精神和范围内的各种改变和修改对于本领域技术人员来说都是显而易见的。
附图说明
附图被包括进来以提供本发明的进一步理解,并且被并入本申请且构成本申请的一部分,示出了本发明的实施方式,并且与说明书一起用于说明本发明的方面和特征。
在附图中:
图1是示出根据本发明的一个实施方式的移动终端的框图;
图2A和图2B是均示出根据本发明的实施方式的移动终端在其中运行的电信系统的概念框架的视图;
图3A是示出根据本发明的实施方式的移动终端的前立体图;
图3B是示出图3A中的移动终端的后立体图;
图4是示出根据本发明的实施方式的移动终端的流程图;
图5(a)和图5(b)以及图6(a)和图6(b)是均示出图4中的移动终端的操作示例的图;
图7(a)至图7(c)、图8(a)至图8(c)以及图9(a)至图9(c)是均示出其中根据触摸施加到进度条的程度而不同地显示关键字文本数据的操作示例的图;
图10(a)至图10(c)是均示出在进度条上选择多个点的操作示例的图;
图11(a)和图11(b)是均示出改变显示关键字文本数据的顺序的操作示例的图;
图12(a)和图12(b)以及图13(a)至图13(c)是均示出显示与所选择的关键字文本数据相关的第一文本数据的操作示例的图;
图14(a)和图14(b)、图15(a)和图15(b)、图16(a)和图16(b)以及图17(a)和图17(b)是均示出进度条被划分为多个区域的操作示例的图;
图18(a)和图18(b)以及图19(a)至图19(b)是均示出基于对于第一文本数据的触摸输入显示第二文本数据的操作示例的图;
图20(a)至图20(c)、图21(a)和图21(b)、图22(a)和图22(b)以及 图23(a)和图23(b)是均示出在从语音数据输出所输入的关键字数据的时间点显示第三对象的操作示例的图;以及
图24(a)至图24(c)、图25(a)和图25(b)、图26(a)至图26(c)以及图27(a)至图27(c)是均示出当菜单项目被选择时,提取与所选择的菜单项目相关的关键字语音数据的操作示例的图。
具体实施方式
现在将参考附图详细描述根据示例性实施方式。为了参考附图的简要描述的方便起见,相同或等价的组件将具有相同的附图标记,并且将不会重复其描述。附于无线扬声器的组件的后缀(例如“模块”和“单元”或“部分”)仅用于方便本发明的详细描述。因此,后缀彼此不具有不同的意义。
根据本发明的实施方式的移动终端可以包括便携式电话、智能电话、膝上计算机、平板计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航系统、平板PC、超级本等等。本发明公开了一种移动终端,但是,本领域技术人员容易理解的是,除了仅可应用于移动终端的情况之外,根据这里公开的实施方式的构造能够应用于诸如数字TV、台式计算机等等的固定终端。
图1是根据本发明的一个实施方式的移动终端100的框图。如图1中所示,移动终端100包括无线通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、电源单元190等等。图1示出具有各种组件的移动终端100,但是可以替选地实施更多或更少的组件。
无线通信单元110可以通常包括允许移动终端100与无线通信系统之间或移动终端100与移动终端100所在网络之间的无线通信的一个或更多个组件。例如,无线通信单元110可包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114、位置信息模块115等等。
广播接收模块111经由广播信道从外部广播管理服务器(或其它网络实体)接收广播信号和/或广播相关信息。
广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信 息并且将其发送给终端的服务器。广播相关信息可以表示与广播信道、广播节目或广播服务提供商有关的信息。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。并且,广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。
广播相关信息也可以经由无线通信网络来提供,并且在该情况下,广播相关信息可以由移动通信模块112接收。广播信号可以以各种形式存在。例如,可以以数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播-手持(DVB-H)的电子服务指南(ESG)等形式存在。
广播接收模块111可以使用各种类型的广播系统来接收广播信号。特别地,广播接收模块111可以使用诸如数字多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广播-手持(DVB-H)、已知为媒体前向链路()的数据广播系统、综合业务数字广播-地面(ISDB-T)等数字广播系统来接收数字广播。
广播接收模块111可以被配置为除了上述数字广播系统以外,还适合于提供广播信号的每种广播系统。可以将通过广播接收模块111接收的广播信号和/或广播相关信息存储在存储器160中。
移动通信模块112在移动通信网络上向网络实体(例如,基站、外部终端、服务器等等)中的至少一个发送无线信号/从其接收无线信号。这里,无线信号可以包括音频呼叫信号、视频呼叫信号或根据文本/多媒体消息的发送/接收的各种形式的数据。
无线因特网模块113支持移动终端的无线因特网接入。该模块可以内置或外部耦接于移动终端100。这样的无线互联网接入的示例可以包括无线LAN(WLAN)(Wi-Fi)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)、高速下行分组接入(HSDPA)等。
短程通信模块114表示用于短程通信的模块。用于实施该模块的适合的技术可以包括蓝牙、无线射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee等。
位置信息模块115表示用于感测或计算移动终端的位置的模块。位置信息模块115的示例可以包括全球定位系统(GPS)模块。
参考图1,A/V输入单元120被构造为接收音频或视频信号。A/V输入单元120可以包括摄像头121、麦克风122等等。摄像头121处理由图像捕获装置在视频电话 通话或图像捕捉模式中获得的静态图片或视频的图像数据。处理后的图像帧可以显示在显示单元151上。由摄像头121处理的图像帧可以存储在存储器160中或者经由无线通信单元110进行发送。根据移动终端的构造,可以设置两个或更多个摄像头121。
麦克风122可以在电话通话模式、录音模式、语音识别模式等等中经由麦克风接收声音(音频数据),并且能够将这样的声音处理成音频数据。可以将处理后的音频(语音)数据进行转换以输出为能够在电话呼叫模式中通过移动通信模块112向移动通信基站发送的格式。麦克风122可以实施各种类型的噪声消除(或抑制)算法,以消除在接收和发送音频信号的过程中生成的噪声或干扰。
用户输入单元130可以从由用户输入的命令生成键输入数据,以控制移动通信终端的各种操作。用户输入单元130可以包括小键盘、薄膜开关(dome switch)、触摸板(例如,检测由于接触导致的电阻、压力、电容等等的变化的触摸感测部件)、慢动轮(jog wheel),慢动开关(jog switch)等。
感测单元140检测移动终端100的当前状态,例如移动终端100的打开或关闭状态、移动终端100的位置、用户对于移动终端100的接触的有无、移动终端100的取向(orientation)、移动终端100的加速或减速移动和方向等等,并且生成用于控制移动终端100的操作的命令或信号。例如,当移动终端100被实施为滑动型移动电话时,感测单元140可以感测滑动型电话的打开或关闭状态。此外,感测单元140能够检测是否从电源单元190供应电力、或者外部设备是否耦接到接口单元170。感测单元140可以包括接近传感器141。
输出单元150被配置为提供视觉、听觉和/或触觉方式的输出、输出单元150可以包括显示单元151、音频输出模块152、报警单元153、触觉模块154等等。
显示单元151可以显示在移动终端100中处理的信息。例如,当移动终端100处于电话呼叫模式时,显示单元151可以显示与呼叫或其它通信(例如,文本消息收发、多媒体文件下载等等)相关联的用户界面(UI)或者图形用户界面(GUI)。当移动终端100处于视频呼叫模式或图像捕获模式时,显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
显示单元151可以包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器中的至少一个。
这些显示器中的一些可以被配置为是透明的,从而可以通过显示器看到外部,这样的显示器可以被称为透明显示器。透明显示器的代表性示例可以包括透明有机发光二极管(TOLED)等等。显示单元151的后表面部也可以实施为是光学透明的。在该构造下,用户能够通过终端主体的显示单元151所占据的区域看到位于终端主体的后侧的对象。
根据移动终端100的配置方面,显示单元151可以在数量上被实施为两个或更多个。例如,多个显示器可以一体地或单独地布置在一个表面上,或者可以布置在不同表面上。
此外,显示单元151可以构造有用于显示立体图像的立体显示单元152。这里,立体图像表示3维立体图像,并且3维立体图像是允许用户感觉位于监视器或屏幕上的对象的渐近深度和真实性好像真实空间一样的图像。3维立体图像可以通过使用双眼视差来实施。这里,双眼视差表示由彼此分离的两眼的位置造成的视差,这允许用户在两个眼睛看到不同的二维图像并且然后通过视网膜传输这些图像并且这些图像在大脑中会聚为单个图像时感觉到立体图像的深度和真实性。
立体方法(眼镜方法)、自动立体方法(无眼镜方法)、投影方法(全息方法)等等可以应用于立体显示单元152。在家庭电视接收器等等中主要使用的立体方法可以包括惠斯通立体方法等等。
自动立体方法的示例可以包括平行光阑方法、柱面透镜方法、集成成像方法等等。投影方法可以包括反射全息方法、透射全息方法等等。
一般来说,3维立体图像可以包括左图像(用于左眼的图像)和右图像(用于右眼的图像)。根据将左图像和右图像组合为3维立体图像的方法,实施3维立体图像的方法能够分为其中左图像和右图像被布置在帧内的上和下的上下方法、其中左图像和右图像被布置在帧内的左侧和右侧的左右(L-R)或并排方法、其中左图像和右图像的小块被布置为拼图的形式的棋盘方法、其中对于每列和行单元交替地布置左图像和右图像的交错方法以及其中对于每个时间帧交替地显示左图像和右图像的时间顺序或逐帧方法。
对于3维缩略图像,可以从原始图像帧的左图像和右图像生成左图像缩略图和右图像缩略图,并且然后将其彼此组合以生成3维立体图像。通常,缩略图表示缩小的图像或缩小的静态视频。以该方式生成的左和右缩略图像被以左和右距离差在屏幕上显示在对应于左图像和右图像的视差的深度,从而实施立体空间感觉。
实施3维立体空间图像的左图像和右图像右立体处理单元显示在立体显示单元152上。立体处理单元接收3D图像以从3D图像提取左图像和右图像,或者接收2D图像以将其转换为左图像和右图像。
另一方面,当显示单元151和触摸感测传感器(下面,称为“触摸传感器”)具有层间结构(下面,称为“触摸屏”)时,显示单元151可以用作输入装置和输出装置。触摸传感器可以实施为触摸膜、触摸片、触摸板等等。
触摸传感器可被构造为将施加于显示单元151的特定部分的压力或在显示单元151的特定部分处产生的电容的变化转换为电输入信号。触摸传感器可被构造为感测触摸位置和触摸面积以及触摸对象主体触摸触摸传感器的触摸压力。这里,触摸对象主体可以是作为将触摸施加到触摸传感器的对象的手指、触摸笔或手写笔、指示器等等。
当存在对于触摸传感器的触摸输入时,对应的信号被发送到触摸控制器。触摸控制器对信号进行处理,并且然后将对应的数据发送给控制器180。因此,控制器180可以感测显示单元151的哪个区域已经被触摸。
参考图1,接近传感器141可以布置在移动终端100的由触摸屏围绕的内部区域处或与触摸屏相邻的内部区域处。接近传感器141可以作为感测单元140的示例。接近传感器141是指用于通过利用电磁力或红外线在没有物理接触的情况下感测接近感测表面的对象的有无或者感测表面附近的对象的有无。与接触型传感器相比,接近传感器141具有更长的寿命和进一步增强的应用性。
接近传感器141可以包括光学透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等等。在触摸屏被实施为电容型的情况下,利用电磁场的变化来感测具有导电性的对象(下面,称为“指点器”)对于触摸屏的接近。在该情况下,触摸屏(触摸传感器)可以被分类为接近传感器。
在下面的描述中,为了描述的简明起见,指点器接近触摸屏而没有接触的行为被称为“接近触摸”,而指点器与触摸屏发生实质性接触的行为被称为“接触触摸”。对于对应于指点器在触摸屏上的接近触摸的位置,这样的位置对应于在指点器接近触摸时指点器垂直地面对触摸屏的位置。
接近传感器141感测接近触摸和接近触摸方式(例如,接近触摸距离、接近触摸 方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸移动状态等等)。关于感测到的接近触摸和感测到的接近触摸方式的信息可以被输出到触摸屏。
当立体显示单元152和触摸传感器被构造为层间结构(下面,称为“立体触摸屏”)或者立体显示单元152和用于检测触摸操作的3D传感器彼此组合时,立体显示单元152可以用作3维输入装置。
作为3D传感器的示例,感测单元140可以包括接近传感器141、立体触摸感测单元142、超生感测单元143和摄像头感测单元144。
接近传感器141利用电磁场或红外线在没有机械接触的情况下测量感测对象(例如,用户的手指或手写笔)与被施加有触摸的检测表面之间的距离。终端可以通过使用所测量的距离识别立体图像的哪个部分已经被触摸。特别地,当触摸屏被实施为电容类型时,其可以被构造为利用电磁场根据感测对象的接近的变化感测感测对象的接近程度以利用接近程度识别3维触摸。
立体触摸感测单元142可以被构造为感测施加到触摸屏的触摸的强度或持续时间。例如,立体触摸感测单元142感测用户施加的触摸压力,并且如果所施加的压力较强,则立体触摸感测单元142将其识别为对于距离触摸屏较远的对象的触摸。
超声感测单元143可以被构造为利用超声感测感测对象的位置。例如,超声感测单元143可以被构造有光学传感器和多个超声传感器。光学传感器可以形成为感测光,并且超声传感器可以形成为感测超声波。由于光比超声波快得多,因此,光到达光学传感器所需的时间比超声波到达超声传感器所需的时间快得多。因此,可以利用光与超声波到达光学传感器的时间差来计算波生成源的位置。
摄像头感测单元144可以包括摄像头121、光电传感器和激光传感器。例如,摄像头121和激光传感器可以彼此组合以感测感测对象对于3维立体图像的触摸。由激光传感器感测到的距离信息被添加到由摄像头捕获的二维图像以获取3维信息。
在另一示例中,光电传感器可以被布置在显示元件上。光电传感器可以被构造为扫描接近触摸屏的感测对象的运动。更具体地,光电传感器在其行和列中集成有光电二极管和晶体管,并且可以利用根据施加到光电二极管的光的量而改变的电气信号来扫描布置在光电传感器上的内容。换言之,光电传感器根据光的改变量执行感测对象的坐标计算,并且可以通过此来检测感测对象的位置坐标。
音频输出模块153可以在呼叫接收模式、呼叫发起模式、录音模式、语音识别模式、广播接收模式等中输出从无线通信单元110接收的或存储在存储器160中的音频数据。音频输出模块153可以输出与在移动终端100中执行的功能有关的音频信号(例如对接收到的呼叫或接收到的消息等等进行报警的声音)。音频输出模块153可以包括接收器、扬声器、蜂鸣器等等。
报警器154从便携式终端100输出通知事件的发生的信号。从移动终端100发生的事件可以包括接收到呼叫、接收到消息、键信号输入、触摸输入等等。报警器153不仅可以输出视频或音频信号,而且还可以输出其它类型的信号,例如以振动方式通知事件的发生的信号。由于能够通过显示单元151或音频输出单元153输出视频或音频信号,因此,显示单元151和音频输出模块153可以分类为报警器154的一部分。
触觉模块155生成用户能够感觉的各种触觉效果。由触觉模块154生成的触觉效果的代表性示例包括振动。由触觉模块154生成的振动可以具有可控制的强度、可控制的方式等等。例如,可以以合成的方式或以顺序的方式输出不同振动。
触觉模块155可以生成各种触觉效果,其不仅包括振动而且包括相对于接触的皮肤垂直移动的针的布置、通过喷气孔或吸气孔制造的吸力或喷气力、皮肤表面的触摸、与电极的接触的有无、诸如静电力的刺激的效果、利用吸热装置或放热装置的冷或热的感觉的再现等等。
触觉模块155可以被构造为通过用户的直接接触或者用户使用手指或手的肌肉感觉发送触觉效果。触觉模块155可以根据移动终端100的构造实施为两个或更多个。
存储器160可以存储用于对控制器180进行处理和控制的程序。或者,存储器160可以临时存储输入/输出数据(例如,电话簿、消息、静止图像、视频等)。此外,存储器160可以存储与各种振动模式和在触摸屏上触摸输入时输出的声音有关的数据。
可以使用包括有闪存型、硬盘型、微型多媒体卡型、存储卡型(例如,SD或DX存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等任何类型的适合的存储介质来实现存储器160。此外,移动终端100可以与在因特网上执行存储器160的存储功能的网络存储器关联地进行操作。
接口单元170可以通常实施为用作移动终端与连接到移动终端100的外部装置的接口。接口单元170可以允许外部装置的数据接收、到移动终端100中的各组件的电力传递或者从移动终端100到外部装置的数据传输。接口单元170可以例如包括:有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于耦接具有识别模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
另一方面,识别模块可以被配置为芯片,该芯片用于存储认证使用移动终端100的授权所需的各种信息,其可以包括用户身份模块(UIM)、订户身份模块(SIM)等等。此外,可以以智能卡类型实现设置有识别模块的设备(下文中,称为“识别设备”)。因此,能够经由端口将识别设备耦接到移动终端100。
此外,接口单元170可以用作在移动终端100连接到外部支座(cradle)时,将电力从外部支座供应到移动终端100的路径,或者用作将用户从支座输入的各种命令信号传递给移动终端100的路径。从支座输入的这样的各种命令信号或电力可以用作用于识别移动终端100已被准确地安装在该支座上的信号。
控制器180通常控制移动终端100的整体操作。例如,控制器180执行与电话呼叫、数据通信、视频呼叫等等相关联的控制和处理。控制器180可以包括提供多媒体回放的多媒体模块181。多媒体模块181可以被构造为控制器180的一部分或者构造为单独的组件。
此外,控制器180能够执行模式识别处理,从而将在触摸屏上执行的手写或绘图输入识别为文本或图像。另外,控制器180可以实施用于在移动终端的状态满足预置条件时限制用于对于应用程序的控制命令输入的锁定状态。而且,控制器180可以在锁定状态下基于通过显示单元151感测的触摸输入控制在锁定状态下显示的锁定画面。
电源单元190在控制器180的控制下接收外部和内部电力以提供各种部件所需的电力。
可以例如使用软件、硬件或其任何组合来在计算机或类似的装置可读介质中实现这里描述的各种实施方式。
针对硬件实现,可以通过使用下述中的至少一个来实施:专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器以及被设计为执行 本文描述的功能的电子单元。在一些情况下,由控制器180自己来实现这样的实施方式。
针对软件实现,本发明中描述的诸如程序或功能的实施方式可以利用单独软件模块来实施。软件模块中的每一个可以执行在本发明中描述的至少一个功能或操作。能够利用以任何适合的编程语言编写的软件应用来实施软件代码。软件代码可以存储在存储器160中并且由控制器180执行。
接下来,将描述能够通过根据本发明的实施方式的移动终端100实施的通信系统。图2A和图2B是示出能够操作根据本发明的实施方式的移动终端100的通信系统的概念图。
图2A和图2B是能够操作根据本发明的移动终端100的通信系统的概念图。首先,参考图2A,通信系统可以使用不同的无线接口和/或物理层。例如,通信系统能够使用的无线可包括:频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)、通用移动电信系统(UMTS)(特别是长期演进(LTE))、全球移动通信系统(GSM)等。
下文中,这里公开的描述将限于CDMA。然而,明显的是,本公开可以应用于包括CDMA无线通信系统的所有通信系统。
如图2A中所示,CDMA无线通信系统可以包括多个终端100、多个基站(BS)270、多个基站控制器(BSC)275和移动交换中心(MSC)280。MSC280可以与公共交换电话网络(PSTN)290连接,并且MSC280还可以与BSC275连接。BSC275可以经由回程线路与BS270连接。例如,回程线路可以根据E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL和xDSL中的至少一个来构造。此外,图2A中所示的系统可以包括多个BSC275。
多个BS270中的每一个可以包括至少一个扇区(sector),每个扇区具有全向天线或从基站270定指向特定径向方向的天线。另选地,每个扇区可以包括以各种形式的两个或更多个天线。每个BS270可以被配置为支持多个频率的分配,每个频率分配具有特定频谱(例如,1.25MHz、5MHz等)。
扇区与频率分配之间的交叉可以被称为CDMA信道。BS270也可以被称为基站收发子系统(BTS)。在这种情况下,术语“基站”可以集合地表示BSC275和至少一个BS270。基站也可以指定“小区站点”。另选地,针对特定BS270的各扇区也 可以被称为多个小区站点。
如图2A中所示,广播发射器(BT)295可以向在系统中运行的移动终端100发送广播信号。图1中所示的广播接收模块111可以设置在移动终端100中,从而接收由BT295发送的广播信号。
另外,图2A示出了多个全球定位系统(GPS)卫星300。这样的卫星300用于定位多个移动终端100中的至少一个的位置。虽然在图2中示出了两个卫星,然而,可以利用更多或更少的卫星获得位置信息。图1中示出的位置信息模块115可以与如图2A中所示的卫星300合作,从而获得期望的位置信息。然而,除了GPS定位技术之外,还可以使用能够追踪位置的所有技术。此外,GPS卫星300中的至少一个可以另选地或额外地提供卫星DMB发送。
在无线通信系统的操作期间,BS270可以从各种移动终端100接收反向链路信号。此时,移动终端100可以执行呼叫、发送和接收消息以及其它通信操作。可以在特定BS270内处理由特定基站270接收的各反向链路信号。可以向关联的BSC275发送处理所生成的数据。BSC275可以提供呼叫资源分配和移动性管理功能,其包括基站270之间的软切换的系统化。此外,BSC275还可以向MSC280发送接收到的数据,然后MSC280提供额外的传输服务从而连接到PSTN290。此外,类似地,PSTN290可以连接到MSC280并且MSC280可以连接到BSC275。BSC275也可以控制BS270,从而向移动终端100发送前向链路信号。
接下来,将参考图2B描述利用WiFi(无线保真)定位系统(WPS)获取移动终端的位置信息的方法。WiFi定位系统(WPS)300是指基于利用WiFi的无线局域网(WLAN)的位置确定技术,作为用于利用设置在移动终端100中的WiFi模块和用于向WiFi模块发送和从WiFi模块接收的无线接入点320跟踪移动终端100的位置的技术。
WiFi定位系统300可以包括WiFi位置确定服务器310、移动终端100、连接到移动终端100的无线接入点(AP)320和存储有任何无线AP信息的数据库330。
WiFi位置确定服务器310基于移动终端100的位置信息请求消息(或信号)提取连接到移动终端100的无线AP320的信息。无线AP320的信息可以通过移动终端100发送到WiFi位置确定服务器310或者从无线AP320发送到WiFi位置确定服务器310。
基于移动终端100的位置信息请求消息提取的无线AP的信息可以是MAC地址、SSID、RSSI、信道信息、私人、网络类型、信号强度和噪声强度中的至少一个。
WiFi位置确定服务器310如上所述地接收连接到移动终端100的无线AP320的信息,并且将所接收的无线AP320的信息与预先建立的数据库330中包含的信息进行比较以提取(或分析)移动终端100的位置信息。
另一方面,参考图2B,作为示例,连接到移动终端100的无线AP被示出为第一、第二和第三无线AP320。然而,连接到移动终端100的无线AP的数目可以根据移动终端100所位于的无线通信环境而以各种方式改变。当移动终端100连接到无线AP中的至少一个时,WiFi定位系统300能够跟踪移动终端100的位置。
接下来,更详细地考虑存储有任何无线AP信息的数据库330,布置在不同位置处的任何无线AP的各种信息可以存储在数据库330中。
存储在数据库330中的任何无线AP的信息可以是诸如MAC地址、SSID、RSSI、信道信息、私人、网络类型、经度和纬度坐标、无线AP所位于的建筑物、楼层、详细室内位置信息(GPS坐标可用)、AP拥有者的地址、电话号码等等。
以该方式,任何无线AP信息和对应于该任何无线AP的位置信息可以一起存储在数据库330中,并且因此,WiFi位置确定服务器310可以从数据库330获取对应于连接到移动终端100的无线AP320的信息的无线AP信息,以提取与所搜索到的无线AP匹配的位置信息,从而提取移动终端100的位置信息。
此外,所提取的移动终端100的位置信息可以通过WiFi位置确定服务器310发送到移动终端100,从而获取移动终端100的位置信息。
下面,将描述图1中所示的根据本发明的实施方式的移动终端或者布置有该移动终端的构成元件或者该移动终端的结构的移动终端。
图3A是示出与本发明的实施方式关联的移动终端100的示例的前立体图。这里公开的移动终端100设置有直板型终端主体。然而,本申请不限于该类型的装置,而是可应用于其中两个或更多个主体以可相对移动的方式彼此组合的诸如滑盖型、折叠型、旋转型、摆动型等的各种结构的装置。
主体包括形成终端的外观的壳体(或称为壳、外壳、外罩等)。在该实施方式中,壳体可以分为前壳体101和后壳体102。各种电子组件可以并入在前壳体101和后壳体102之间形成的空间中。在前壳体101与后壳体102之间可额外地布置至少一个中 间壳体,并且用于覆盖电池191的电池盖103可以可拆卸地设置在后壳体102处。
壳体可通过合成树脂的注入成型来形成,或者可由诸如不锈钢(STS)、钛(Ti)等等的金属形成。
在终端主体的前表面上可以布置有显示单元151、第一音频输出模块153a、第一摄像头121、第一操作单元131等,并且可以在其侧表面上设置有麦克风122、接口单元170、第二操作单元132等等。
显示单元151可以被构造为显示(输出)在移动终端100中处理的信息。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、3维(3D)显示器和电子墨水显示器中的至少一种。
显示单元151可以包括触摸感测机构以利用触摸方法接收控制命令。当对于显示单元151的任一处进行了触摸时,触摸感测机构可以被构造为感测该触摸并且输入对应于被触摸的地方的内容。在各种模式中,由触摸方法输入的内容可以是文本或数值或者能够指示或指定的菜单项目。
触摸感测机构可以形成有透明度以允许看到显示在显示单元151上的视觉信息,并且可以包括用于在较亮的地方增强触摸屏的可视性的结构。参考图3A,显示单元151占据前壳体101的前表面的大部分。
第一音频输出单元153a和第一摄像头121a被布置在与显示单元151的两端中的一端相邻的区域中,并且第一操作输入单元131和麦克风122布置在与其另一端相邻的区域中。第二操作单元132(参见图3B)、接口170等等可以布置在终端主体的侧表面上。
第一音频输出模块153a可以实施为用于将语音声音传输到用户的耳朵的接收器或者用于输出各种警报声音或多媒体再现声音的扬声器的形式。
可以构造为从第一音频输出模块153a生成的声音被沿着结构体之间的组装间隙释放。在该情况下,独立地形成为输出音频声音的孔可以在外观方面是看不到或隐藏的,从而进一步简化移动终端100的外观。然而,本发明可以不限于此,并且用于放出声音的孔可以形成在窗口上。
第一摄像头121a对由图像传感器在视频通话模式或捕获模式中获得的诸如静态或动态图像的视频帧进行处理。处理后的视频帧可以显示在显示单元151上。
操作用户输入单元130以接收用于控制移动终端100的操作的命令。用户输入单元130可以包括第一和第二操作单元131、132。第一和第二操作单元131、132可以统称为操作部,并且可以采用任何方法,只要其是允许用户利用诸如触摸、推动、滚动等等的触觉感觉执行操作的触觉方式。
在附图中,第一操作单元131是触摸键,但是本发明不限于此。例如,第一操作单元131可以构造有机械键,或者触摸键与机械键的组合。
由第一和/或第二操作单元131、132接收的内容可以以不同的方式来设置。例如,第一操作单元131可以用于接收诸如菜单、主页键、取消、搜索等等的命令,并且第二操作单元132可以接收诸如控制从第一音频输出模块153a输出的音量大小或者切换到显示单元151的触摸识别模式的命令。
麦克风122可以形成为接收用户的语音、其它声音等等。麦克风122可以设置在多个地方,并且被构造为接收立体声。
接口单元170用作允许移动终端100与外部装置交换数据的路径。例如,接口单元170可以是用于以有线或无线方式连接到耳机的连接端子、用于近场通信的端口(例如,红外数据协会(IrDA)端口、蓝牙端口、无线LAN端口等等)以及用于将电力提供到移动终端100的电源端子中的至少一个。接口单元170可以实施为用于容纳诸如订户识别模块(SIM)或用户识别模块(UIM)和用于信息存储的存储卡的外部卡的插槽的形式。
图3B是示出图3A中所示的移动终端100的后立体图。参考图3B,第二摄像头121b可以额外地安装在终端主体的后表面(即,后壳体102)处。第二摄像头121b具有与第一摄像头单元121a(参见图3A)的方向基本上相反的图像捕获方向,并且可以具有不同于第一摄像头单元121a的像素数目。
例如,优选的是,第一摄像头121a具有相对较少的但是足以在用户在视频通话等等期间捕获他或她自己的脸并且将其发送给另一方时不会引起问题的数目的像素,并且第二摄像头121b具有相对较多的像素,这是因为用户常常捕获不需要立即发送的一般对象。第一和第二摄像头121a、121b可以以可旋转且可弹出的方式设置在终端主体内。
此外,闪光灯123和镜124可以额外地布置为与第二摄像头121b相邻。闪光灯123在利用第二摄像头121b捕获对象时朝向对象照射光。镜124允许用户在利用第 二摄像头121b捕获他或她自己(自拍模式)时以反射的方式看到他或她自己的脸等等。
第二音频输出单元153b可以额外地布置在终端主体的后表面处。第二音频输出单元153b与第一音频输出单元153a(参见图3A)一起能够实施立体声功能,并且也可以用于在电话通话期间实施免提电话模式。
除了用于进行电话通话等等的天线之外,用于接收广播信号的天线可以额外地布置在终端主体的侧表面处。构成广播接收模块111的一部分的天线可以以可伸缩的方式设置在终端主体中。
用于将电力提供给移动终端100的电源单元190可以安装在终端主体上。电源单元190可以并入到终端主体中,或者可以包括以可拆卸的方式构造在终端主体的外侧上的电池191。根据附图,示出了电池盖103与后壳体102组合以覆盖电池191,从而限制了电池191的脱离并且针对外部冲击和异物保护电池191。
另外,移动终端100输出语音数据。利用该功能,移动终端100显示示出了语音数据的再现进度状态的进度条。然而,目前所使用的进度条仅示出了当前正在输出的语音数据的再现进度状态,并且没有考虑对应于进度条上的给定点的语音数据信息的实际使用。
作为解决该问题的技术方案,下面参考附图描述能够为用户提供显示示出语音数据的再现进度状态的进度条的改进的方便性的移动终端100和控制移动终端100的方法。
图4是示出根据本发明的实施方式的移动终端100的流程图。移动终端100包括显示单元151和控制器180。
参考图4,首先,控制器180在显示单元151上显示与语音数据匹配的图形对象(S110)。下面描述与语音数据匹配的图形对象,但是根据本发明的实施方式,不仅能够使用语音数据,而且能够使用与文本数据(例如,电子文档或电子书)和动态图像数据中的至少一种匹配的图形对象。另外,本发明不仅应用于输出语音数据时的情况而且应用于中断(例如,暂停)和停止语音数据的输出时的情况。
图形对象在这里包括示出语音数据的再现进度状态的进度条。而且,图形对象可以包括示出语音数据的波形和幅度中的至少一个的条。图形对象与语音数据的所有部分匹配。
接下来,当图形对象上的至少一个点被选择时,控制器180选择语音数据的包括语音数据对应于所选择的点的时间点的部分(S120)。此外,控制器180接收使得图形对象上的至少一个点被选择的用户输入。例如,控制器180基于施加到显示在显示单元151上的图形对象的触摸输入选择图形对象上的至少一个点。
而且,控制器180通过麦克风122接收来自用户的语音数据,并且基于所接收的语音数据选择图形对象上的至少一个点。控制器180显示示出图形对象上的所选择的点的第一对象。另外,当在图形对象上的至少一个点处检测到触摸输入时,控制器180检测触摸施加到所选择的点的程度。
此外,控制器180通过检测从对于图形对象的触摸输入的开始到对于图像对象的触摸输入的解除的触摸操作的持续时间和变化中的至少一个来确定施加触摸的程度。这里,施加触摸的程度被定义为保持触摸的时间段、施加触摸的次数或者触摸被拖拽的距离,并且当检测到多次触摸时,将其定义为第一与第二触摸点之间的距离的值。
另外,控制器180可以在显示单元151上显示示出施加触摸的程度的图标。示出施加触摸的程度的图标可以显示为与接收触摸输入的图形对象分离。而且,可以直接显示对于图形对象施加触摸的程度。
图标可以分离地采取进度条的形状以显示施加触摸的程度。然而,图标能够采取的形状不限于此。图标能够采取利用箭头指示施加触摸的程度的仪表盘的形状。而且,图标可以不仅通过数值而且通过利用颜色的改变或者大小的改变来示出施加触摸的程度。
控制器180基于施加触摸的程度来确定语音数据的部分的长度与将提取的关键字语音数据的量中的至少一个。根据一个实施方式,控制器180基于施加触摸的程度确定语音数据的部分的长度。例如,当具有第一长度的拖拽输入被施加到图形对象上所选择的点时,控制器180选择语音数据的包括语音数据对应于所选择的点的时间点的第一部分。
另外,当具有大于第一长度的第二长度的拖拽输入被施加到图形对象上所选择的点时,控制器180选择长于第一部分的第二部分。根据另一实施方式,控制器180基于施加触摸的程度确定将提取的关键字语音数据的量。例如,当具有第一长度的拖拽输入被施加到图形对象上所选择的点时,控制器180选择语音数据的包括语音数据对应于所选择的点的时间点的第一部分,并且从第一部分中提取关键字语音数据。
另外,当具有大于第一长度的第二长度的拖拽输入被施加到图形对象上所选择的点时,控制器180从第一部分中提取更大的量的关键字语音数据。之后,控制器180将语音数据的所选择的部分中包括的关键字语音数据转换为关键字文本数据并且将结果显示在显示单元151上(S130)。
根据一个实施方式,控制器180从语音数据的所选择的部分中包括的语音数据部分提取关键字语音数据。由于语音数据处于自然语言的形式,因此,控制器180能够通过利用自然语言处理(NLP)算法来从所选择的部分中包括的语音数据部分提取关键字语音数据。
更详细地,自然语言处理算法是使得移动终端100或计算机能够理解、生成和分析人类语言的人工智能技术。理解自然语言的任务是通过语素分析、语义分析和对话分析来转换日常语言以便于使得移动终端100或计算机能够对其进行处理的任务。
控制器180将所提取的关键字语音数据转换为关键字文本数据。可以使用语音转文本(STT)算法来进行这样的处理。控制器180将所获得的关键字文本数据显示在与图形对象相邻的一个区域上。
根据另一实施方式,控制器180将语音数据的所选择的部分中包括的整个语音数据部分转换为文本数据。之后,控制器180从所获得的文本数据中选择关键字文本数据,并且仅将所选择的关键字文本数据显示在与图形对象相邻的一个区域上。即,首先使用STT算法,并且然后使用自然语言处理算法。
如上所述,根据本发明的实施方式,提取了在进度条中选择的部分中包括的关键字数据的至少一个部分并且所提取的关键字数据被以文本数据的形式显示在显示单元151上。因此,用户能够容易地了解在语音数据的各时间点处哪个数据是主要关键字数据。
而且,根据本发明的实施方式,基于对于进度条的触摸输入的性质来确定将要提取的关键字数据的量。因此,用户能够直观地识别出他/她想要了解的关键字数据的量。结果,能够改进用户方便性。
接下来,图5(a)和图5(b)以及图6(a)和图6(b)是均示出图4中的移动终端100的操作示例的图。参考图5(a),显示单元151显示与语音数据的控制相关的按钮251。例如,按钮251包括对应于再现语音数据的功能的按钮、对应于暂时地中断语音数据的再现的功能的按钮以及对应于停止语音数据的再现的功能的按钮。
而且,显示单元151将进度条252显示为与语音数据匹配的图形对象。进度条252被匹配到语音数据的所有部分,并且显示语音数据的再现进度状态。
这时,基于触摸输入,进度条252上的一个点(下面,称为“第一点”)被选择。当第一点被触摸并且在第一方向(例如,向下方向)上拖拽时,控制器180选择包括语音数据的语音数据对应于第一点的时间点(下面称为“第一时间点”)的部分(下面称为“第一部分”)。
参考图5(b),控制器180在进度条252上显示示出了第一部分的图像(下面,称为“第一图像”)254。与此同时,控制器180在第一点上或与第一点相邻的区域上显示示出了进度条252上的第一点的第一对象255。
控制器180通过利用自然语言处理算法提取语音数据的第一部分中包括的关键字语音数据。之后,如图5(b)中所示,控制器180将所提取的关键字语音数据转换为关键字文本数据253,并且将所获得的关键字文本数据253显示在显示单元151上。
另外,如所示的,利用各种显示方法来显示关键字文本数据253。例如,控制器180基于从第一部分提取的关键字语音数据被输出的次数来确定各所提取的关键字文本数据的字体颜色、字体大小和字体厚度中的至少一个。因此,如图5(b)中所示,被输出最多次数的关键字文本数据(例如,“酒”)能够显示为最大。
另外,控制器180基于比较语音数据对应于第一点的第一时间点与输出所提取的关键字语音数据的时间点的结果来确定各提取的关键字文本数据的字体颜色、字体大小和字体厚度中的至少一个。即,控制器180将输出到离第一点最近的点的关键字文本数据显示为最大。
另外,参考图6(a),显示单元151显示与语音数据的控制相关的按钮251。例如,按钮251对应于再现语音数据的功能。当正在进行语音数据的再现时,按钮251对应于停止语音数据的再现的功能。
而且,显示单元151可以包括示出语音数据的波形和幅度中的至少一个的条252作为与语音数据匹配的图形对象。这时,当条252上的第一点被触摸并且在第一方向上拖拽时,控制器180选择包括语音数据的语音数据对应于第一点的第一时间点的第一部分。
之后,如图6(b)中所示,控制器180在显示单元151上显示所选择的第一部 分中包括的关键字文本数据253。
这与图5(b)类似。
接下来,图7(a)至图7(c)、图8(a)至图8(c)以及图9(a)至图9(c)是均示出其中根据触摸施加到进度条252的程度而不同地显示关键字文本数据253的操作示例的图。参考图7(a)至图7(c)和图8(a)至图8(c),控制器180根据触摸被施加到进度条252的程度来确定部分的长度。
具体地,参考图7(a),当显示单元151上显示的进度条252上的第一点被拖拽第一距离时,控制器180选择语音数据的包括语音数据对应于第一点的第一时间点的第一部分。
因此,如图7(b)中所示,控制器180在进度条252上显示示出第一部分的第一图像254。而且,控制器180在显示单元151上显示第一部分中包括的关键字文本数据253。另外,这时,当进度条252上的第一点被拖拽大于第一距离的第二距离时,控制器180选择长于第一部分的第二部分。
因此,如图7(c)中所示,控制器180在进度条252上显示示出第二部分的第二图像254’。另外,第二图像254’可以是不同于第一图像254的单独图像或者通过放大第一图像的尺寸而获得的图像。
而且,控制器180在显示单元151上显示第二部分中包括的关键字文本数据253’。第二部分包括第一部分,并且因此,第二部分中包括的关键字文本数据253’的量大于第一部分中包括的关键字文本数据253的量。
另外,根据实施方式,进度条252上的第一点在附图中朝向第一方向(例如,上至下方向),但是当进度条252上的第一点朝向与第一方向相反的第二方向(例如,下至上方向)时,控制器180选择短于第一部分的第二部分。
另外,控制器180基于对于显示在进度条252上的第一图像254的触摸输入对图像254的大小进行放大或缩小。因此,改变了所选择的第一部分的长度。而且,控制器180基于对于第一图像254的触摸输入或者对于进度条252的触摸输入移动第一图像254的位置。因此,所选择的第一部分被改变到不同部分。
参考图8(a),当显示在显示单元151上的进度条252上的第一点被触摸了一个时间段时,控制器180选择语音数据的包括语音数据对应于第一点的第一时间点的第一部分。因此,如图8(b)中所示,控制器180在进度条252上显示示出第一部分 的第一图像254。而且,控制器180在显示单元151上显示第一部分中包括的关键字文本数据253。
另外,这时,当进度条252上的第一点被沿着条拖拽时,控制器180选择长于第一部分的第二部分。因此,如图8(c)中所示,控制器180在进度条252上显示示出第二部分的第二图像254’。而且,控制器180在显示单元151上显示第二部分中包括的关键字文本数据253’。
第二部分包括第一部分,并且因此,第二部分中包括的关键字文本数据253’的量大于第一部分中包括的关键字文本数据253的量。在另一实施方式中,在图8(b)中,用户能够以长于第一时间段的第二时间段触摸第一点以显示图8(c)中的关键字文本数据253’。
另外,参考图9(a)至图9(c),控制器180根据对于进度条252施加触摸的程度确定所显示的关键字文本数据的量。参考图9(a)和图9(b),当显示单元151上显示的进度条252上的第一点被拖拽了第一长度时,控制器180在显示单元151上显示第一部分中包括的关键字文本数据253。
之后,当进度条252上的第一点被拖拽了长于第一长度的第二长度时,控制器180从第一部分中提取更大量的关键字语音数据。因此,如图9(c)中所示,通过利用STT算法转换了更大量的关键字语音数据,并且关键字文本数据253’显示在显示单元151上。
例如,图9(b)中所示的关键字文本数据253包括由控制器180确定为重要的关键字的关键字文本数据的条目(例如,“晚餐、意大利面、酒、好的和醇厚的”)。然而,图9(c)中所示的关键字文本数据253’包括由控制器180确定为重要的关键字和不太重要的关键字的关键字文本数据的条目(例如,“你、我、晚餐、意大利面、我、酒、好的和醇厚的”)。
接下来,图10(a)至图10(c)是均示出在进度条上选择多个点的操作示例的图。参考图10(a)和图10(b),当显示单元151上显示的进度条253上的第一点被拖拽时,控制器180在显示单元252上显示示出第一部分的第一图像254a。与此同时,控制器180在与第一点相邻的区域上显示示出进度条252上的第一点被选择的第一对象255a。而且,控制器180在显示单元151上显示第一部分中包括的关键字文本数据253a。
这时,当条252上的不同点(下面称为“第二点”)被触摸和拖拽时,控制器180选择语音数据的包括语音数据对应于第二点的第二时间点的第二部分。控制器180在进度条252上显示示出第二部分的第二图像254b。与此同时,控制器180在与第二点相邻的区域上显示示出进度条252上的第二点被选择的第二对象255b。而且,控制器180在显示单元151上显示第二部分中包括的关键字文本数据253b。
如上所述,当在进度条252上选择了多个点时,控制器180选择语音数据的多个部分,并且在显示单元151上显示多个部分中的每一个中包括的关键字文本数据中的多个条目。
此外,控制器180以同一颜色显示第一对象255a、示出第一部分的第一图像254a和第一部分中包括的关键字文本数据253a,以便于改进多个部分中的每一个中包括的关键字文本数据的多个条目的可视性。而且,控制器180以不同于显示第一部分的颜色的颜色显示第二对象255b、示出第二部分的第二图像254b和第二部分中包括的关键字文本数据253b。
接下来,图11(a)和图11(b)是均示出改变显示关键字文本数据的顺序的操作示例的图。控制器180基于比较语音数据的第一时间点和输出所提取的关键字语音数据的时间点的结果来确定显示对应于所提取的关键字语音数据的关键字文本数据253的顺序和显示对应于所提取的关键字语音数据的关键字文本数据253的方法中的至少一个。
而且,控制器180基于第一部分中包括的所提取的关键字语音数据被输出的次数来确定显示对应于所提取的关键字语音数据的关键字文本数据253的顺序和显示对应于所提取的关键字语音数据的关键字文本数据253的方法中的至少一个。
例如,如图11(a)中所示,控制器180基于从第一部分提取的关键字语音数据被输出的时间点的顺序确定显示关键字语音数据253的顺序。因此,关键字文本数据253的条目被按照“晚餐、意大利面、酒、好的和醇厚的”的顺序布置在显示单元151上。
另外,控制器180在显示单元151上显示对应于改变显示关键字文本数据253的顺序的功能的图标(下面,称为“顺序改变图标”)256。参考图11(b),当顺序改变图标256被选择时,控制器180改变显示关键字文本数据253的顺序。
例如,如图11(b)中所示,控制器180基于从第一部分提取的关键字语音数据 被输出的次数来确定显示关键字文本数据253的顺序。因此,关键字文本数据253的条目被按照“酒、晚餐、意大利面、好的和醇厚的”的顺序布置在显示单元151上。
另外,根据预定的设置信息来确定显示关键字文本数据253的顺序。控制器180分析关于用户的使用方式的信息并且按照他/她偏好的显示顺序来显示关键字文本数据253。
另外,如图11(a)和图11(b)中所示,控制器180基于从第一部分提取的关键字语音数据被输出的次数来确定各关键字文本数据253的字体颜色、字体大小和字体厚度中的至少一个。因此,第一部分中被输出最多次数的关键字文本数据(例如,“酒”)被显示为最大,并且被输出第二多次数的关键字文本数据(例如,“晚餐”)被显示为第二大。
接下来,图12(a)和图12(b)以及图13(a)和图13(c)是均示出显示与所选择的关键字文本数据253相关的第一文本数据257的操作示例的图。参考图12(a),显示单元151显示从第一部分提取的关键字文本数据253。这时,当关键字文本数据253的条目中的至少一个(例如,“意大利面”)被选择时,控制器180检测对应于所选择的关键字文本数据的关键字语音数据被输出的时间点。
之后,参考图12(b),控制器180选择语音数据的包括检测到的输出时间点的部分(下面,称为“第一部分”),并且将所选择的第一部分中包括的语音数据(下面,称为“第一语音数据”)转换为文本数据。控制器180然后将所获得的文本数据(下面,称为“第一文本数据”)257显示在显示单元151上。
另外,第一文本数据257的条目中之前被选择的关键字文本数据(例如,“意大利面”)被以高亮的方式进行显示。
因此,第一文本数据257的条目中之前被选择的关键字文本数据被显示为大于文本数据的其它条目。如所示的,包括第一文本数据257的条目中之前被选择的关键字文本数据(例如,“意大利面”)的完整句子以及与其相关的讲话者信息(例如,“Ann:意大利面。”)被以高亮的方式进行显示。
而且,如所示的,显示单元151将滚动条与第一文本数据257一起显示。因此,用户能够通过利用对于滚动条的触摸输入来阅读不同的文本数据。
另外,参考图13(a)和图13(b),当第一文本数据257的条目中的至少一部分 (例如,第一文本数据257中包括的任一句子(例如,“意大利面”))被选择时,如图13(c)中所示,控制器180在进度条252上显示示出对应于所选择的句子的语音数据被输出的时间点的对象(下面,称为“第二对象”)258。
第二对象258包括图标、小部件、应用程序执行菜单、缩略图像等等。另外,当示出动态图像数据的再现进度状态的进度条252被显示在显示单元151上时,控制器180在进度条252上显示输出动态图像数据时显示的帧的缩略图像作为对应于所选择的句子的第二对象。
接下来,图14(a)和图14(b)、图15(a)和图15(b)、图16(a)和图16(b)以及图17(a)和图17(b)是均示出进度条252被划分为多个区域的操作示例的图。当第一文本数据257的条目中包括的句子中的两个或更多句子(例如,两个句子)被选择时,如图14(a)中所示,控制器180在进度条252上显示分别对应于所选择的两个句子的示出输出语音数据的条目的时间点的两个第二对象258a和258b。
之后,参考图14(b),控制器180基于进度条252上的第二对象258a和258b的显示位置将进度条252分为多个区域(例如,三个区域)(下面称为“第一至第三区域”)259a至259c。
另外,控制器180将进度条252分为第一至第三区域259a至259c,并且因此,基于第一至第三区域259a至259c将语音数据的文件分为三个文件(下面称为第一至第三文件)。参考图15(a),当第一至第三区域259a至259c中的至少一个(例如,第二区域259b)被选择时,如图15(b)中所示,控制器180对第二区域259b进行放大,并且在显示单元151上显示放大后的第二区域259b。
因此,进度条的对应于所选择的第二区域259b的一个部分252’被显示在显示单元151上。如所示的,进度条的该一个部分252’显示在显示单元151上,并且因此,显示语音数据的第二文件的开始时间点(例如,“03:01”)和结束时间点(例如,“04:10”)。
如所示的,对应于再现第二文件的功能的图标251显示在显示单元151上。当图标251被选择时,控制器180再现语音数据的第二文件。而且,基于对于用户输入单元130的输入(例如,通过使用回退键的输入),控制器180在显示单元151上再次显示其上显示包括第一至第三区域259a至259c的进度条252的画面。
参考图16(a)和图16(b)以及图17(a)和图17(b),当在第一至第三区域 259a至259c中的至少一个上检测到预定的触摸输入时,控制器180根据被触摸的区域编辑语音数据的划分后的文件。
具体地,参考图16(a),当第一至第三区域259a至259c中的至少一个(例如,第三区域259c)被在预定方向上拖拽时,控制器180使得进度条252的第三区域259c从显示单元151消失,如图16(b)中所示。与此同时,控制器180删除语音数据的第三文件。
另外,参考图17(a),当第一至第三区域259a至259c中的至少一个(例如,第二区域259b)被在第一区域259a的方向上拖拽时,如图17(b)中所示,控制器180交换进度条252的第一和第二区域259a和259b的位置。因此,当用户再现语音数据时,控制器180首先输出语音数据的第二文件,并且接下来输出第一文件。
接下来,图18(a)和图18(b)以及图19(a)至图19(b)是均示出基于对于第一文本数据257的触摸输入显示第二文本数据257’的操作示例的图。参考图18(a)和图19(a),如参考图12(b)所描述的,显示单元151显示包括之前选择的关键字文本数据(例如,“意大利面”)的第一文本数据257和关键字文本数据253。
这时,当在第一文本数据257上检测到触摸输入时,控制器180基于关于检测到的触摸输入的性质的信息从语音数据选择新的部分(下面,称为“第二部分”),并且将第二部分中包括的语音数据(下面,称为“第二语音数据”)转换为文本数据(下面,称为“第二文本数据”),从而将结果显示到显示单元151。
具体地,当如图18(a)中所示,在显示单元151上显示的第一文本数据257上检测到第一方向上(例如,在下至上方向上)的拖拽输入时,如图18(b)中所示,控制器180基于拖拽距离选择第二部分,并且显示通过利用STT算法转换第二部分中包括的第二语音数据而获得的第二文本数据257’。
这时,第二文本数据257’可以是不包括任何第一文本数据257的文本数据,并且可以是包括第一文本数据257的至少一部分的文本数据。另外,如所示的,控制器180在显示单元151上显示示出输出对应于第二文本数据257’的语音数据的时间点的对象(下面,称为“第一对象”)255。因此,显示在现有的进度条252上的第一点上的第一对象255的位置移动。
而且,如所示的,控制器180提取第二部分中包括的关键字语音数据的条目中的至少一个,将所提取的关键字语音数据转换为关键字文本数据253’,并且将所获得的 关键字文本数据253’显示在显示单元151上。即,当如图18(a)中所示,第一文本数据257中包括的关键字文本数据253显示在显示单元151上并且之后,改变该部分,如图18(b)中所示,新的部分中包括的第二文本数据257’显示在显示单元151上,并且第二文本数据257’中包括的关键字文本数据253’显示在显示单元151上。
另外,当如图19(a)中所示,在显示单元151上显示的第一文本数据257上检测到第二方向上(例如,右至左方向上)的拖拽输入时,如图19(b)中所示,控制器180选择第二部分。这时,第二部分是不同于第一部分的部分,即,包括之前从语音数据中选择的对应于关键字文本数据(例如,“意大利面”)的关键字语音数据的部分。
因此,控制器180显示通过利用STT算法转换第二部分中包括的第二语音数据而获得的第二文本数据257’。而且,从第一部分改变到第二部分,并且因此,显示在现有进度条252上的第一点上的第一对象255的位置移动。
而且,如所示的,控制器180提取第二部分中包括的关键字语音数据的条目中的至少一个,将所提取的关键字语音数据转换为关键字文本数据253’,并且将所获得的关键字文本数据253’显示在显示单元151上。
接下来,图20(a)至图20(c)、图21(a)和图21(b)、图22(a)和图22(b)以及图23(a)和图23(b)是均示出在从语音数据输出被输入的关键字数据的时间点显示第三对象260的操作示例的图。参考图20(a)和图21(a),用户输入单元130形成为接收关键字数据的输入。
具体地,用户输入单元130包括能够接收关键字语音数据的输入的麦克风122和能够接收关键字文本数据的输入的显示单元151。此外,用户输入单元130可以包括能够获得包括关键字文本数据的图像数据的摄像头121。在该情况下,控制器180从图像数据提取关键字文本数据。
参考图20(a)和图20(b),当显示单元151上显示的对应于搜索语音的功能的图标(下面,称为“语音搜索图标”)260被选择时,控制器180通过麦克风122接收关键字语音数据(例如,“酒”)的输入。
之后,如图20(c)中所示,控制器180将输入的关键字语音数据转换为文本数据,并且将结果显示在显示单元151上。如所示的,文本数据可以显示在其上已经显示语音搜索图标260的位置上。
而且,控制器180提取从语音数据输出关键字语音数据的时间点,并且在进度条252上对应于输出关键字语音数据的时间点的点上显示对象261(下面,称为“第三对象”)。如所示的,如所示的,当从语音数据输出关键字语音数据多次时,控制器180在进度条252上分别显示对应于多次的数目的多个第三对象261。
参考图21(a),控制器180基于对于显示单元151上显示的虚拟键盘的输入接收关键字文本数据(例如,“酒”)的输入。控制器180在搜索窗口260上显示输入的关键字文本数据。
之后,如图21(b)中所示,控制器180从语音数据中提取输出关键字语音数据的时间点,并且在进度条252上对应于输出关键字语音数据的时间点的点上显示第三对象261。
参考图22(a),当进度条252上显示的第三对象261中的至少一个260a被选择时,如图22(b)中所示,控制器180基于在进度条262上选择的第三对象261a的显示位置将进度条252划分为多个区域(例如,两个区域)(下面,称为“第一和第二区域”)262a和262b。
另外,控制器180将进度条252划分为第一和第二区域262a至262b,并且因此基于第一和第二区域262a至262b将语音数据的文件划分为两个文件(下面,称为第一和第二文件)。
此外,参考图23(a),当在进度条252上的一个点(例如,包括第三对象260中的任一个260a的一个点)上检测到预定触摸输入(例如,捏触摸输入)时,如图23(b)中所示,控制器180放大检测到触摸输入的点。
控制器180分析对应于检测到触摸输入的点的部分中包括的语音数据。控制器180显示语音数据匹配到输入的关键字文本数据的程度。
因此,控制器180在进度条252上与语音数据以预定的第一匹配率(例如,90%或以上)匹配的点上显示第三对象260a,并且,在与语音数据以预定的第二匹配率(例如,60%至90%)匹配的点上显示其它对象(下面,称为“第四对象”)263a至263c。
图24(a)至图24(c)、图25(a)和图25(b)、图26(a)至图26(c)以及图27(a)至图27(c)是均示出当菜单项目被选择时,提取与所选择的项目相关的关键字语音数据253的操作示例的图。参考图24(a),显示单元151显示至少一个 菜单项目。如所示的,菜单项目包括地点提取图标264、时间提取图标和空白提取图标中的至少一个。
这时,当地点提取图标264被选择时,参考图24(b),控制器180从语音数据中提取与“地点”相关的关键字语音数据。而且,控制器180将所提取的关键字语音数据转换为关键字文本数据253,并且在显示单元151上显示所获得的关键字文本数据253。
如所示的,地点提取图标264被以高亮的方式显示,以便于示出地点提取图标264被选择。另外,示出与“地点”相关的关键字语音数据被从语音数据输出的时间点的对象可以显示在进度条252上。
往回参考图24(b),当显示单元151上显示的关键字文本数据253的条目中的任一个(例如,“Non Hyoun Dong”)253a被选择时,参考图24(c),控制器180在进度条252上显示均示出从语音数据输出关键字文本数据253a“Non Hyoun Dong”的时间点的对象(在上面称为“第三对象”)260a和260b。
而且,如所示的,关键字文本数据253a“Non Hyoun Dong”被以高亮方式显示,以便于示出关键字文本数据253的条目中的关键字文本数据253a“Non Hyoun Dong”被选择。另外,如图25(b)中所示,当关键字文本数据253的条目中的另一个(例如,“首尔”)263b被选择时,参见图25(b),控制器180在进度条252上显示示出从语音数据输出关键字文本数据253b“首尔”的第三对象260c。
这时,如所示的,均示出输出关键字文本数据253a“Non Hyoun Dong”的时间点的第三对象260a和260b以及示出输出关键字文本数据253b“首尔”的时间点的第三对象260c被以能够相互区分的方式进行显示。例如,均示出输出关键字文本数据253a“Non HyounDong”的时间点的第三对象260a和260b以及示出输出关键字文本数据253b“首尔”的时间点的第三对象260c被显示为它们在颜色、亮度、形状、大小和透明度中的至少一方面彼此不同。
而且,如所示的,控制器180能够将示出输出关键字文本数据253a“Non HyounDong”的时间点的第三对象的形状与关键字文本数据253a“Non Hyoun Dong”一起显示,并且可以将示出输出关键字文本数据253b“首尔”的时间点的第三对象的形状与关键字文本数据253b“首尔”一起显示。
而且,控制器180可以以相同的颜色(例如,第一颜色)显示关键字文本数据 253a“Non Hyoun Dong”和均示出输出关键字文本数据253a“Non Hyoun Dong”的第三对象260a和260b,并且可以以不同于第一颜色的第二颜色显示关键字文本数据253b“首尔”和示出输出关键字文本数据253b“首尔”的时间点的第三对象260c。
另外,当进度条252上显示的第三对象260a至260c中的任一个被选择时,控制器180检测语音数据对应于所选择的第三对象的时间点,并且输出预定时间(例如,三秒)的对应于检测到的时间点的语音数据。当输出对应于检测到的时间点的语音数据时,所选择的第三对象的大小改变。
而且,当输出对应于检测到的时间点的语音数据时,当在显示单元151上检测到预定触摸输入(例如,右至左方向上的拖拽输入)时,控制器180自动地选择第三对象260a至260c中在所选择的第三对象之后显示的第三对象。因此,输出对应于与自动选择的第三对象对应的时间点的语音数据。
而且,当进度条252上显示的第三对象260a至260c中的任一个被选择时,控制器180基于所选择的第三对象上的点将进度条252划分为多个区域(下面,称为“第一和第二区域”)。控制器180基于第一和第二区域将语音数据划分为两个文件(下面,称为第一和第二文件),并且存储通过划分获得的第一和第二文件。
参考图26(a),当从菜单项目中选择空白提取图标265时,如图26(b)中所示,控制器180从语音数据的条目中提取空白时间点,并且在进度条252上显示均示出空白时间点的第三对象260a至260c。
之后,当第三对象260a至260c中的任一个260c被选择时,检测对应于所选择的第三对象260c的空白时间点。参考图26(c),控制器180以检测到的空白时间点作为基准输出在预定时间点之前到预定时间点之后的语音数据。例如,控制器180输出在检测到的空白时间点之前的语音数据(例如,“好”)。
并且,在从空白时间点开始流逝了时间之后,控制器180输出在空白时间点之后的语音数据(例如,“好的”)。另外,控制器180可以将以检测到的空白时间点作为基准从预定时间点之前到预定时间点之后的语音数据转换为文本数据,并且可以将结果显示在显示单元151上。
参考图27(a),控制器180分析语音数据。控制器180使得显示单元151上显示的菜单项目反映分析语音数据的结果。如所示的,菜单项目包括均对应于与语音数据(例如,“Sam、Ann”)相关的讲话者信息的图标(下面,称为“第一和第二讲话 者图标”)。
这时,当第一讲话者图标266被选择时,控制器180基于关于第一讲话者的语音的信息从语音数据中提取对应于第一讲话者的语音的语音数据的部分。这时,控制器180可以在进度条252上显示示出输出对应于第一讲话者的语音的语音数据的时间点的对象。
控制器180从语音数据的所提取的部分中提取关键字语音数据,并且将通过利用STT算法转换关键字语音数据而获得的关键字文本数据253显示在显示单元151上。
另外,当关键字文本数据253的条目中的任一个(例如,“酒”)被选择时,如图27(c)中所示,控制器180在显示单元151上显示均示出输出所选择的关键字文本数据的时间点的第三对象260a至260c。
这时,如所示的,控制器180从对应于关键字文本数据的关键字语音数据检测关于语音的信息,并且识别第一讲话者的情绪状态。当第一讲话者高兴地说出关键字语音数据时,控制器180在进度条252上显示均具有第一形状的第三对象260a和260c。
并且,当第一讲话者生气地说出关键字语音数据时,控制器180在进度条252上显示具有第二形状的第三对象260b。控制器180可以提供与第一讲话者的情绪状态相关的统计信息。另外,当第三对象260a至260c中的任一个被在预定方向上拖拽时,控制器180在显示单元151的单独区域上显示对应于所选择的第三对象的语音数据的部分。用户能够通过选择所显示的部分来使得输出对应于所显示的部分的语音数据。
另外,控制器180能够在记录语音数据的同时利用摄像头121拍摄照片。之后,控制器180在显示单元151上显示对应于所记录的语音数据的进度条252的同时将示出拍摄照片的时间点的对象(对应于照片的缩略图像)显示在进度条252上。同样地,控制器180在记录语音数据的同时接收文本数据的输入,并且然后,将示出输入文本数据的时间点的对象显示在进度条252上。
而且,控制器180基于进度条252上显示对象的点将进度条252划分为多个区域。此外,控制器180基于通过划分获得的多个区域将记录的语音数据划分为多个文件,并且存储通过划分获得的多个文件中的至少一个。
另外,根据本申请中公开的一个实施方式,上述方法可以通过在程序存储介质中存储为处理器可读代码来实现。ROM、RAM、CD-ROM、磁带、软盘、光学数据存 储元件等等是处理器可读介质,并且,处理器可读介质可以实现为载波形式(例如通过互联网的传输)。
关于上述移动终端,上述实施方式的构造和方法的应用方面不受到限制,而是能够以产生各种修改的方式将实施方式的整体或一部分选择性地彼此组合。
前述实施方式和优点仅是示例性并且不认为是对本发明的限制。本教导能够容易地应用于其它类型的设备。本说明书意在是示例性的,并且不限制权利要求的范围。对于本领域技术人员来说,很多替选、修改和变化都将是显而易见的。这里描述的示例性实施方式的特征、结构、方法和其它特征可以以各种方式组合来获得额外和/或替选的示例性实施方式。
由于在不脱离其特性的情况下这些特征可以按照多个形式具体实施,所以还应该理解,除非另外指明,否则上述实施方式不受上面描述的任何细节限制,而是应该如所附权利要求中定义的在其范围内广义地解释,因此,落入权利要求的边界和范围或这些边界和范围的等同物内的所有变化和修改旨在被所附权利要求涵盖。

Claims (18)

1.一种移动终端,所述移动终端包括:
无线通信单元,所述无线通信单元被构造为与至少一个其它终端进行无线通信;
存储器,所述存储器被构造为存储记录的语音数据;
显示单元,所述显示单元被构造为显示表示所记录的语音数据的再现进度的图形对象;以及
控制器,所述控制器被构造为:
接收指示所述图形对象的一部分已经被选择的选择信号,
选择所记录的语音数据的包括所述图形对象被选择的时间点的部分,
将所记录的语音数据的所选择的部分中包括的关键字语音数据转换为关键字文本数据,并且
将所述关键字文本数据显示在所述显示单元上,
其中,所述控制器被进一步构造为基于所述关键字文本数据被包括在所记录的语音数据的所述部分中的次数或者基于所述关键字文本数据距离所述图形对象被选择的时间点多近来区分地显示所述关键字文本数据,
其中,基于所述关键字文本数据被包括在所记录的语音数据的所述部分中的次数或者基于所述关键字文本数据距离所述图形对象被选择的时间点多近来确定所显示的关键字文本数据的字体颜色、字体大小和字体厚度中的至少一个,并且
其中,所述控制器进一步被构造为:
响应于被施加到第一文本数据的触摸来选择所述关键字文本数据中的第一关键字数据;以及
显示包括所述第一关键字数据的完整句子和与说出所述完整句子的讲话者有关的讲话者信息。
2.根据权利要求1所述的移动终端,其中,所述图形对象包括示出所记录的语音数据的所述再现进度的进度条,并且
其中,所述控制器被进一步构造为在所述进度条上显示示出所述图形对象被选择的所选择的时间点的显示对象。
3.根据权利要求2所述的移动终端,其中,所述选择信号包括所述进度条的触摸,并且
其中,所述控制器被进一步构造为检测所述触摸被施加到所述显示对象的程度,并且基于所述触摸被施加的程度来确定所记录的语音数据的所述部分的长度以及所述关键字语音数据的量中的至少一个。
4.根据权利要求3所述的移动终端,其中,所述进度条的触摸包括下述中的一个:a)触摸所述进度条并且在离开所述进度条的方向上拖拽所述触摸;b)保持所述进度条的所述触摸预定量的时间;c)触摸所述进度条并且在沿着所述进度条的方向上拖拽所述触摸;以及d)在第一点和第二点触摸所述进度条,并且
其中,所记录的语音数据的所述部分的长度以及所述关键字语音数据的量中被确定的至少一个对应于a)拖拽离开所述进度条的长度;b)触摸的预定时间量;c)沿着所述进度条进行拖拽的长度;以及d)所述进度条上所述第一点与所述第二点之间的距离。
5.根据权利要求4所述的移动终端,其中,所述控制器被进一步构造为改变所述显示对象的形状以指示所记录的语音数据的所述部分的长度以及所述关键字语音数据的量中被确定的至少一个。
6.根据权利要求1所述的移动终端,其中,当所述关键字文本数据的至少一个条目被选择时,所述控制器被进一步构造为显示在所选择的条目附近的预定关键字数据。
7.根据权利要求6所述的移动终端,其中,当从所显示的预定关键字数据中选择了多个特定条目时,所述控制器被进一步构造为将所述进度条在视觉上划分为对应于在所记录的语音数据中出现所述多个特定条目的地方的多个区域。
8.根据权利要求7所述的移动终端,其中,当在所述进度条上选择了所述多个区域中的一个时,所述控制器被进一步构造为将所述进度条扩展为仅包括用于所述多个区域中所选择的一个的语音数据。
9.根据权利要求6所述的移动终端,其中,当所述预定关键字数据被选择时,所述控制器被进一步构造为显示在所选择的关键字数据附近出现的额外的预定关键字数据。
10.根据权利要求1所述的移动终端,其中,所述控制器被进一步构造为接收输入搜索单词,针对所述输入搜索单词搜索所记录的语音数据,并且在所述进度条上显示指示所述输入搜索单词位于所记录的语音数据中的位置的指示符。
11.根据权利要求1所述的移动终端,其中,所述控制器被进一步构造为显示可选择的菜单项目,针对对应于所选择的菜单项目的关键字数据搜索所记录的语音数据,并且显示搜索的关键字数据。
12.根据权利要求11所述的移动终端,其中,所述可选择的菜单项目包括下述菜单项目中的至少一个:用于显示与所记录的语音数据中包括的地点相关的关键字数据的地点菜单项目;用于显示与所记录的语音数据中包括的时间相关的关键字数据的时间菜单项目;以及用于显示与所记录的语音数据中包括的名称相关的关键字数据的名称菜单项目。
13.一种控制移动终端的方法,所述方法包括:
经由存储器存储所记录的语音数据;
经由显示单元显示表示所记录的语音数据的再现进度的图形对象;
经由控制器接收指示所述图形对象的一部分已经被选择的选择信号;
经由所述控制器选择所记录的语音数据的包括所述图形对象被选择的时间点的部分;
经由所述控制器将所记录的语音数据的所选择的部分中包括的关键字语音数据转换为关键字文本数据;以及
经由所述显示单元显示所述关键字文本数据,
其中,所述方法进一步包括:基于所述关键字文本数据被包括在所记录的语音数据的所述部分中的次数或者基于所述关键字文本数据距离所述图形对象被选择的时间点多近来区分地显示所述关键字文本数据,
其中,基于所述关键字文本数据被包括在所记录的语音数据的所述部分中的次数或者基于所述关键字文本数据距离所述图形对象被选择的时间点多近来确定所显示的关键字文本数据的字体颜色、字体大小和字体厚度中的至少一个,并且
其中,所述方法进一步包括:
响应于被施加到第一文本数据的触摸来选择所述关键字文本数据中的第一关键字数据;以及
显示包括所述第一关键字数据的完整句子和与说出所述完整句子的讲话者有关的讲话者信息。
14.根据权利要求13所述的方法,其中,所述图形对象包括示出所记录的语音数据的所述再现进度的进度条,并且
其中,所述方法进一步包括在所述进度条上显示示出所述图形对象被选择的所选择的时间点的显示对象。
15.根据权利要求14所述的方法,其中,所述选择信号包括所述进度条的触摸,并且
其中,所述方法进一步包括检测所述触摸被施加到所述显示对象的程度,并且基于所述触摸被施加的程度来确定所记录的语音数据的所述部分的长度以及所述关键字语音数据的量中的至少一个。
16.根据权利要求15所述的方法,其中,所述进度条的触摸包括下述中的一个:a)触摸所述进度条并且在离开所述进度条的方向上拖拽所述触摸;b)保持所述进度条的所述触摸预定量的时间;c)触摸所述进度条并且在沿着所述进度条的方向上拖拽所述触摸;以及d)在第一点和第二点触摸所述进度条,并且
其中,所记录的语音数据的所述部分的长度以及所述关键字语音数据的量中被确定的至少一个对应于a)拖拽离开所述进度条的长度;b)触摸的预定时间量;c)沿着所述进度条进行拖拽的长度;以及d)所述进度条上所述第一点与所述第二点之间的距离。
17.根据权利要求16所述的方法,所述方法进一步包括:
改变所述显示对象的形状以指示所记录的语音数据的所述部分的长度以及所述关键字语音数据的量中被确定的至少一个。
18.根据权利要求13所述的方法,其中,当所述关键字文本数据的至少一个条目被选择时,所述方法进一步包括显示在所选择的条目附近的预定关键字数据。
CN201310392472.1A 2013-03-15 2013-09-02 移动终端和控制移动终端的方法 Expired - Fee Related CN104049885B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0028200 2013-03-15
KR1020130028200A KR102065045B1 (ko) 2013-03-15 2013-03-15 이동 단말기 및 그것의 제어 방법

Publications (2)

Publication Number Publication Date
CN104049885A CN104049885A (zh) 2014-09-17
CN104049885B true CN104049885B (zh) 2019-06-21

Family

ID=48874094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310392472.1A Expired - Fee Related CN104049885B (zh) 2013-03-15 2013-09-02 移动终端和控制移动终端的方法

Country Status (4)

Country Link
US (1) US9613627B2 (zh)
EP (1) EP2778875B1 (zh)
KR (1) KR102065045B1 (zh)
CN (1) CN104049885B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102065045B1 (ko) * 2013-03-15 2020-01-10 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
JP2015114865A (ja) * 2013-12-12 2015-06-22 ソニー株式会社 情報処理装置、中継コンピュータ、情報処理システム、および情報処理プログラム
KR102249086B1 (ko) * 2014-04-04 2021-05-10 삼성전자주식회사 레코딩 지원 전자장치 및 방법
USD771112S1 (en) 2014-06-01 2016-11-08 Apple Inc. Display screen or portion thereof with graphical user interface
WO2015187176A1 (en) * 2014-06-06 2015-12-10 Hewlett-Packard Development Company, L.P. Topic recommendation
USD760746S1 (en) 2015-06-04 2016-07-05 Apple Inc. Display screen or portion thereof with animated graphical user interface
CN105049637A (zh) * 2015-08-25 2015-11-11 努比亚技术有限公司 一种控制即时通讯的装置和方法
GB201518761D0 (en) * 2015-10-22 2015-12-09 Elliptic Laboratories As Proximity sensor
CN105243617A (zh) * 2015-10-30 2016-01-13 桂林市腾瑞电子科技有限公司 一种智能点菜的方法和系统
CA3035100A1 (en) 2016-09-02 2018-03-08 FutureVault Inc. Systems and methods for sharing documents
EP3507722A4 (en) 2016-09-02 2020-03-18 FutureVault Inc. METHOD AND SYSTEM FOR AUTOMATED DOCUMENT FILING AND PROCESSING
US10708313B2 (en) * 2016-12-30 2020-07-07 Google Llc Multimodal transmission of packetized data
USD843442S1 (en) 2017-09-10 2019-03-19 Apple Inc. Type font
JP6956337B2 (ja) * 2017-11-18 2021-11-02 コギ インコーポレーティッド 関連性の検出及びレビューのためのコンテンツの対話型表現
JP6943158B2 (ja) * 2017-11-28 2021-09-29 トヨタ自動車株式会社 応答文生成装置、方法及びプログラム並びに音声対話システム
KR102546510B1 (ko) * 2018-03-21 2023-06-23 삼성전자주식회사 복수의 입력 간에 매핑된 정보 제공 방법 및 이를 지원하는 전자 장치
KR101999311B1 (ko) 2018-09-12 2019-07-15 영훈전기(주) 시공성이 향상된 변압장치
US20200104783A1 (en) 2018-09-28 2020-04-02 Evernote Corporation Task-based action generation
KR102184835B1 (ko) 2018-12-10 2020-12-01 영훈이티에스(주) 하우징 일체형 변압장치
USD902221S1 (en) 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
USD900871S1 (en) 2019-02-04 2020-11-03 Apple Inc. Electronic device with animated graphical user interface
KR102657519B1 (ko) * 2019-02-08 2024-04-15 삼성전자주식회사 음성을 기반으로 그래픽 데이터를 제공하는 전자 장치 및 그의 동작 방법
CN109933260A (zh) * 2019-03-15 2019-06-25 Oppo广东移动通信有限公司 识屏方法、装置、终端及存储介质
JP7169921B2 (ja) * 2019-03-27 2022-11-11 本田技研工業株式会社 エージェント装置、エージェントシステム、エージェント装置の制御方法、およびプログラム
CN111968630B (zh) * 2019-05-20 2024-03-19 北京字节跳动网络技术有限公司 信息处理方法、装置和电子设备
CN110347823A (zh) * 2019-06-06 2019-10-18 平安科技(深圳)有限公司 基于语音的用户分类方法、装置、计算机设备及存储介质
CN110379428A (zh) * 2019-07-16 2019-10-25 维沃移动通信有限公司 一种信息处理方法及终端设备
USD938977S1 (en) * 2019-10-02 2021-12-21 Google Llc Display screen with transitional graphical user interface
EP3951775A4 (en) * 2020-06-16 2022-08-10 Minds Lab Inc. PROCEDURE FOR GENERATION OF SPEAKER MARKED TEXT
US11928263B2 (en) 2020-12-07 2024-03-12 Samsung Electronics Co., Ltd. Electronic device for processing user input and method thereof
KR20220127457A (ko) * 2021-03-11 2022-09-20 삼성전자주식회사 전자 장치 및 미디어 콘텐츠의 재생구간 이동 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572750A (zh) * 2008-04-30 2009-11-04 Lg电子株式会社 移动终端及其呼叫内容管理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6802041B1 (en) * 1999-01-20 2004-10-05 Perfectnotes Corporation Multimedia word processor
US7996792B2 (en) * 2006-09-06 2011-08-09 Apple Inc. Voicemail manager for portable multifunction device
KR101437653B1 (ko) 2007-01-26 2014-09-12 삼성전자주식회사 재생시점 변경용 gui 제공방법 및 이를 적용한 영상기기
US20100107117A1 (en) * 2007-04-13 2010-04-29 Thomson Licensing A Corporation Method, apparatus and system for presenting metadata in media content
US20120245936A1 (en) * 2011-03-25 2012-09-27 Bryan Treglia Device to Capture and Temporally Synchronize Aspects of a Conversation and Method and System Thereof
EP2595353A1 (en) * 2011-11-15 2013-05-22 Alcatel Lucent Method for rendering a multimedia asset, a related system, media client and related media server
US10198444B2 (en) * 2012-04-27 2019-02-05 Arris Enterprises Llc Display of presentation elements
KR101977072B1 (ko) * 2012-05-07 2019-05-10 엘지전자 주식회사 음성 파일과 관련된 텍스트의 표시 방법 및 이를 구현한 전자기기
US20140051399A1 (en) * 2012-08-20 2014-02-20 Research In Motion Limited Methods and devices for storing recognized phrases
US9087508B1 (en) * 2012-10-18 2015-07-21 Audible, Inc. Presenting representative content portions during content navigation
KR102065045B1 (ko) * 2013-03-15 2020-01-10 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572750A (zh) * 2008-04-30 2009-11-04 Lg电子株式会社 移动终端及其呼叫内容管理方法

Also Published As

Publication number Publication date
CN104049885A (zh) 2014-09-17
KR20140113156A (ko) 2014-09-24
US9613627B2 (en) 2017-04-04
KR102065045B1 (ko) 2020-01-10
EP2778875B1 (en) 2019-09-04
EP2778875A1 (en) 2014-09-17
US20140278408A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
CN104049885B (zh) 移动终端和控制移动终端的方法
US10048772B2 (en) Mobile terminal and method for controlling the same
US10616155B2 (en) Mobile terminal and method for controlling the same
CN104111772B (zh) 移动终端及其控制方法
KR102127925B1 (ko) 이동 단말기 및 그것의 제어 방법
CN105474612B (zh) 移动终端及其控制方法
CN105452990B (zh) 移动终端及其控制方法
EP2138927B1 (en) Haptic effect provisioning for a mobile communication terminal
US9639251B2 (en) Mobile terminal and method of controlling the mobile terminal for moving image playback
CN103811005B (zh) 移动终端及其控制方法
EP2244169B1 (en) Mobile terminal capable of providing multi-haptic effect and method of controlling the mobile terminal
EP2824538B1 (en) Electronic device and control method thereof
CN104284014B (zh) 移动终端及其控制方法
US20140267100A1 (en) Electronic device and control method thereof
CN104823434A (zh) 移动终端及其控制方法
CN104049740A (zh) 移动终端及其控制方法
KR20150008996A (ko) 이동 단말기 및 그것의 제어 방법
KR20100020818A (ko) 휴대 단말기 및 그 동작 제어방법
CN104281402A (zh) 移动终端及其控制方法
CN104182168A (zh) 移动终端及其控制方法
CN108093125A (zh) 终端及其控制方法
CN103823618A (zh) 移动终端及其控制方法
CN105122361A (zh) 终端及其控制方法
CN106796485A (zh) 移动终端及其控制方法
KR101559772B1 (ko) 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190621

Termination date: 20200902