CN106453817B - 移动终端及其控制方法 - Google Patents

移动终端及其控制方法 Download PDF

Info

Publication number
CN106453817B
CN106453817B CN201610649576.XA CN201610649576A CN106453817B CN 106453817 B CN106453817 B CN 106453817B CN 201610649576 A CN201610649576 A CN 201610649576A CN 106453817 B CN106453817 B CN 106453817B
Authority
CN
China
Prior art keywords
mobile terminal
controller
image
error
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610649576.XA
Other languages
English (en)
Other versions
CN106453817A (zh
Inventor
李傤华
具慧琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN106453817A publication Critical patent/CN106453817A/zh
Application granted granted Critical
Publication of CN106453817B publication Critical patent/CN106453817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766Error or fault reporting or storing
    • G06F11/0769Readable error formats, e.g. cross-platform generic formats, human understandable formats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0736Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function
    • G06F11/0742Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function in a data processing system embedded in a mobile device, e.g. mobile phones, handheld devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793Remedial or corrective actions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/56Details of telephonic subscriber devices including a user help function

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

移动终端及其控制方法。本发明提供了一种移动终端,该移动终端包括:显示单元,其被配置为输出与特定功能对应的画面信息,并且接收用于控制所述特定功能的触摸;以及控制器,其被配置为在所述特定功能的控制期间,基于所述画面信息的改变以及包括在所述画面信息中的错误信息来确定是否从所述特定功能生成了错误,其中,当确定生成了错误时,所述控制器控制所述显示单元输出用于搜索与所述错误关联的错误数据的指导图像。

Description

移动终端及其控制方法
技术领域
本说明书涉及一种能够通过确定错误的生成来提供指导信息的移动终端。
背景技术
移动终端表示包括电池和显示单元,利用从电池供应的电力在显示单元上输出信息并且可由用户携带的每一种装置。移动终端包括记录和再现视频的装置以及显示图形用户界面(GUI)的装置,移动终端的示例包括笔记本、便携式电话、能够显示画面信息的眼镜和手表、游戏机等。
移动终端已经变得越来越多功能化。这些功能的示例包括数据和语音通信、经由相机拍摄图像和视频、记录音频、经由扬声器系统播放音乐文件以及在显示器上显示图像和视频。一些移动终端包括支持玩游戏的附加功能,而其它终端被配置成多媒体播放器。最近,移动终端已经被配置为接收允许观看诸如视频和电视节目的内容的广播和多播信号。
许多努力不仅包括实现移动终端的结构组件的改变和改进,而且包括用于支持和改进终端的功能的软件改进。
因此,由于错误的使用方法或错误的系统,用户难以正确地知道如何使用那些各种功能以及正确地使用期望的功能。另外,移动终端制造商没有针对各个功能提供详细的指南,这导致用户未能以正确的方式使用这种功能。
发明内容
因此,详细描述的一方面在于快速提供指导信息以用于解决在使用期间生成的错误。
为了实现这些和其它优点并且根据本说明书的目的,如本文具体实现并广义描述的,提供了一种移动终端,该移动终端包括:显示单元,其被配置为输出与特定功能对应的画面信息,并且接收用于控制所述特定功能的触摸;以及控制器,其被配置为在所述特定功能的控制期间,基于所述画面信息的改变以及包括在所述画面信息中的错误信息来确定是否从所述特定功能生成了错误,其中,当确定生成了错误时,所述控制器控制所述显示单元输出用于搜索与所述错误关联的错误数据的指导图像。
在一个示例性实施方式中,当画面信息被重复地输出时,或者当通知错误信息的通知窗口被输出在显示单元上时,所述控制器可确定生成了错误。这可允许用户立即解决错误,甚至无需执行特定应用。
在一个示例性实施方式中,响应于对通知窗口和指导图像施加的连续触摸,从通知窗口提取的文本图像可被设定为用于搜索错误数据的搜索词项,或者从画面图像的捕获图像提取的文本可被设定为搜索词项。这可使得输入用于搜索错误数据的适当搜索词的步骤被省略。
在一个示例性实施方式中,当确定生成了错误时,所述控制器可执行与外部装置的视频呼叫功能并且将画面信息发送给外部装置。这可允许用户在生成错误时实时地请求另一用户的帮助。
在一个示例性实施方式中,当用户重复地输出相同的画面信息时,可确定为错误,并且可提供更快速地执行用于解决该错误的应用的方法。另外,当重复输出的画面信息未被确定为源自用户的意图时,图标的输出可被限制以改进用户控制画面信息的便利性。
另外,生成了错误的图像或视频可被存储,可从该图像或视频提取和搜索与错误信息关联的文本,从而提供更正确的错误数据。
本申请的进一步的适用范围将从下文给出的详细描述而变得更显而易见。然而,应该理解,仅示意性地在指示本发明的优选实施方式的同时给出详细描述和具体示例,因为对于本领域技术人员而言,通过该详细描述,在本发明的精神和范围内的各种改变和修改将变得显而易见。
附图说明
根据下文给出的详细描述和附图,本发明将被更加全面地理解,这些附图仅是例示进而不是对本发明的限制,并且,在附图中:
图1A是根据本公开的移动终端的框图;
图1B和图1C是从不同方向看时移动终端的一个示例的概念图;
图2A是示出根据本发明的一个示例性实施方式的移动终端的控制方法的流程图;
图2B至图2E是示出图2A的控制方法的概念图;
图3A至图3D是示出根据本发明的各种示例性实施方式的在生成错误时提供指导信息的控制方法的概念图;
图4A至图4C是示出使用捕获图像提供错误数据的方法的概念图;
图5是示出根据本发明的另一示例性实施方式的执行特定应用的控制方法的概念图;
图6A至图6D是示出根据本发明的不同示例性实施方式的提供错误数据的控制方法的概念图;
图7A和图7B是示出提供指导信息的控制方法的概念图;以及
图8A至图8C是示出实时地存储错误信息的控制方法的概念图。
具体实施方式
现在将参照附图,根据本文公开的示例性实施方式详细给出描述。为了参照附图简要描述,可为相同或等同的组件提供相同的标号,其描述将不再重复。通常,诸如“模块”和“单元”的后缀可用于指代元件或组件。本文使用这种后缀仅是为了方便说明书的描述,后缀本身并非旨在给予任何特殊含义或功能。在本公开中,为了简明起见,相关领域的普通技术人员熟知的内容已被省略。使用附图来帮助容易地理解各种技术特征,应该理解,本文呈现的实施方式不受附图的限制。因此,本公开应该被解释为扩展至附图中具体示出的更改形式、等同形式和替代形式以外的任何更改形式、等同形式和替代形式。
尽管可在本文中使用术语第一、第二等描述各种元件,但是这些元件不应当受这些术语的限制。这些术语一般仅用于将一个元件与另一个元件相区分。
当一个元件被称为“与”另一个元件“连接”时,该元件可以与另一个元件连接或中间元件也可以存在。相反,当一个元件被称为“与”另一个元件“直接连接”时,不存在中间元件。
单数表示可以包括复数表示,除非该单数表示根据上下文表示明确不同的含义。在本文中使用的诸如“包括”或“具有”的术语应当理解为它们旨在指示本说明书中公开的多个部件、功能或步骤的存在,并且还应当理解的是,同样可以使用更多或更少的部件、功能或步骤。
本文呈现的移动终端可利用各种不同类型的终端来实现。这些终端的示例包括蜂窝电话、智能电话、用户设备、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、石板PC、平板PC、超级本、可穿戴装置(例如,智能手表、智能眼镜、头戴式显示器(HMD))等。
仅通过非限制性示例,参照特定类型的移动终端进行进一步的描述。然而,这些教导同样适用于其它类型的终端,例如上述那些类型。另外,这些教导也可适用于诸如数字TV、台式计算机等的固定终端。
现在参照图1A至图1C,其中图1A是根据本公开的移动终端的框图,图1B和图1C是从不同方向看时移动终端的一个示例的概念图。
移动终端100被示出为具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190的组件。将理解,不要求实现所示的所有组件,可另选地实现更多或更少的组件。
现在参照图1A,移动终端100被示出为具有利用多个通常实现的组件配置的无线通信单元110。例如,无线通信单元110通常包括允许移动终端100与无线通信系统或者移动终端所在的网络之间的无线通信的一个或更多个组件。
无线通信单元110通常包括允许通信(例如,移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端之间的通信、移动终端100与外部服务器之间的通信)的一个或更多个模块。另外,无线通信单元110通常包括将移动终端100连接到一个或更多个网络的一个或更多个模块。为了方便这些通信,无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置信息模块115中的一个或更多个。
输入单元120包括用于获得图像或视频的相机121、麦克风122(是用于输入音频信号的一种音频输入装置)以及用于使得用户能够输入信息的用户输入单元123(例如,触摸键、按键、机械键、软键等)。数据(例如,音频、视频、图像等)通过输入单元120来获得,并且可由控制器180根据装置参数、用户命令及其组合来分析和处理。
通常利用被配置为感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或更多个传感器来实现感测单元140。例如,在图1A中,感测单元140被示出为具有接近传感器141和照度传感器142。
如果需要,感测单元140可另选地或另外地包括其它类型的传感器或装置,例如触摸传感器、加速度传感器、磁传感器、重力传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如,相机121)、麦克风122、电池电量计、环境传感器(例如,气压计、湿度计、温度计、辐射检测传感器、热传感器和气体传感器等)和化学传感器(例如,电子鼻、保健传感器、生物传感器等)等。移动终端100可被配置为利用从感测单元140获得的信息,具体地讲,从感测单元140的一个或更多个传感器获得的信息及其组合。
输出单元150通常被配置为输出各种类型的信息,例如音频、视频、触觉输出等。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154。
为了方便触摸屏,显示单元151可具有与触摸传感器的中间层结构或集成结构。触摸屏可在移动终端100与用户之间提供输出接口,并且用作在移动终端100与用户之间提供输入接口的用户输入单元123。
接口单元160用作与可连接到移动终端100的各种类型的外部装置的接口。例如,接口单元160可包括任何有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下,移动终端100可响应于外部装置连接到接口单元160而执行与连接的外部装置关联的各种控制功能。
存储器170通常被实现为存储用于支持移动终端100的各种功能或特征的数据。例如,存储器170可被配置为存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或指令等。这些应用程序中的一些应用程序可经由无线通信从外部服务器下载。其它应用程序可在制造或出厂时安装在移动终端100内,针对移动终端100的基本功能(例如,接电话、打电话、接收消息、发送消息等),通常是这种情况。常见的是,应用程序被存储在存储器170中,被安装在移动终端100中,并由控制器180执行以执行移动终端100的操作(或功能)。
除了与应用程序关联的操作以外,控制器180通常还用于控制移动终端100的总体操作。控制器180可通过处理经由图1A所描绘的各种组件输入或输出的信号、数据、信息等或者激活存储在存储器170中的应用程序来提供或处理适合于用户的信息或功能。作为一个示例,控制器180根据存储在存储器170中的应用程序的执行来控制图1A至图1C所示的一些或所有组件。
电源单元190可被配置为接收外部电力或提供内部电力,以便供应对包括在移动终端100中的元件和组件进行操作所需的适当电力。电源单元190可包括电池,所述电池可被配置为嵌入终端主体中,或者被配置为可从终端主体拆卸。
仍参照图1A,现在将更详细地描述该图中描绘的各种组件。关于无线通信单元110,广播接收模块111通常被配置为经由广播频道从外部广播管理实体接收广播信号和/或广播相关信息。广播频道可包括卫星频道、地面频道或这二者。在一些实施方式中,可使用两个或更多个广播接收模块111以方便同时接收两个或更多个广播频道或者支持在广播频道之间切换。
移动通信模块112可向一个或更多个网络实体发送无线信号和/或从其接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等。这些网络实体形成移动通信网络的一部分,根据移动通信的技术标准或通信方法(例如,全球移动通信系统(GSM)、码分多址(CDMA)、CDMA2000(码分多址2000)、EV-DO(增强型优化语音数据或增强型仅语音数据)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等)来构建所述移动通信网络。经由移动通信模块112发送和/或接收的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号或者支持文本和多媒体消息的通信的各种格式的数据。
无线互联网模块113被配置为方便无线互联网接入。此模块可从内部或外部连接到移动终端100。无线互联网模块113可根据无线互联网技术经由通信网络发送和/或接收无线信号。
这种无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(WiBro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等。无线互联网模块113可根据这些无线互联网技术以及其它互联网技术中的一个或更多个来发送/接收数据。
在一些实施方式中,当根据例如WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等实现作为移动通信网络的一部分的无线互联网接入时,无线互联网模块113执行这种无线互联网接入。因此,互联网模块113可与移动通信模块112协作或用作移动通信模块112。
短距离通信模块114被配置为方便短距离通信。用于实现这些短距离通信的合适的技术包括BLUETOOTHTM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等。短距离通信模块114通常经由无线局域网支持移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端100之间的通信或者移动终端与另一移动终端100(或外部服务器)所在的网络之间的通信。无线局域网的一个示例是无线个域网。
在一些实施方式中,另一移动终端(可类似于移动终端100来配置)可以是能够与移动终端100交换数据(或者与移动终端100协作)的可穿戴装置(例如,智能手表、智能眼镜或头戴式显示器(HMD))。短距离通信模块114可感测或识别可穿戴装置,并允许可穿戴装置与移动终端100之间的通信。另外,当所感测到的可穿戴装置是被验证为与移动终端100进行通信的装置时,例如,控制器180可将在移动终端100中处理的数据的至少一部分经由短距离通信模块114发送给可穿戴装置。因此,可穿戴装置的用户可在可穿戴装置上使用在移动终端100中处理的数据。例如,当在移动终端100中接收到呼叫时,用户可利用可穿戴装置来对该呼叫进行应答。另外,当在移动终端100中接收到消息时,用户可利用可穿戴装置来查看所接收到的消息。
位置信息模块115通常被配置为检测、计算、推导或者标识移动终端的位置。例如,位置信息模块115包括全球定位系统(GPS)模块、Wi-Fi模块或这二者。如果需要,位置信息模块115可另选地或另外地与无线通信单元110的任何其它模块一起工作,以获得与移动终端的位置有关的数据。
作为一个示例,当移动终端使用GPS模块时,可利用从GPS卫星发送的信号来获取移动终端的位置。作为另一示例,当移动终端使用Wi-Fi模块时,可基于与无线接入点(AP)有关的信息来获取移动终端的位置,所述无线接入点(AP)向Wi-Fi模块发送无线信号或者从Wi-Fi模块接收无线信号。
输入单元120可以被配置为允许对移动终端100的各种类型的输入。这些输入的示例包括音频、图像、视频、数据和用户输入。图像和视频输入常常利用一个或更多个相机121来获得。这些相机121可对在视频或图像拍摄模式下通过图像传感器获得的静止画面或视频的图像帧进行处理。经处理的图像帧可被显示在显示单元151上或者被存储在存储器170中。在一些情况下,相机121可按照矩阵配置布置,以使得具有各种角度或焦点的多个图像能够被输入至移动终端100。作为另一示例,相机121可按照立体布置方式来设置,以获取用于实现立体图像的左图像和右图像。
麦克风122通常被实现为允许向移动终端100输入音频。可根据移动终端100中执行的功能来按照各种方式处理音频输入。如果需要,麦克风122可包括各种噪声去除算法以去除在接收外部音频的过程中生成的不期望的噪声。
用户输入单元123是允许用户输入的组件。这种用户输入可使得控制器180能够控制移动终端100的操作。用户输入单元123可包括机械输入元件(例如,位于移动终端100的正面和/或背面或侧面的键、按钮、薄膜开关、滚轮、触合式开关等)或者触敏输入装置等中的一个或更多个。作为一个示例,触敏输入装置可以是通过软件处理显示在触摸屏上的虚拟键或软键、或者设置在移动终端上的触摸屏以外的位置处的触摸键。另一方面,虚拟键或视觉键可按照各种形状(例如,图形、文本、图标、视频或其组合)显示在触摸屏上。
感测单元140通常被配置为感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的一个或更多个。控制器180通常与感测单元140协作以基于感测单元140所提供的感测来控制移动终端100的操作或者执行与安装在移动终端中的应用程序关联的数据处理、功能或操作。可利用各种传感器中的任何传感器来实现感测单元140,现在将更详细地描述其中一些传感器。
接近传感器141可包括在没有机械接触的情况下,利用电磁场、红外线等来感测是否存在靠近表面的物体或者位于表面附近的物体的传感器。接近传感器141可布置在移动终端被触摸屏覆盖的内侧区域处或触摸屏附近。
例如,接近传感器141可包括透射型光电传感器、直接反射型光电传感器、反射镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等中的任何传感器。当触摸屏被实现为电容型时,接近传感器141可通过电磁场响应于导电物体的靠近而发生的变化来感测指点器相对于触摸屏的接近。在这种情况下,触摸屏(触摸传感器)也可被归类为接近传感器。
本文中常常将提及术语“接近触摸”以表示指点器被设置为在没有接触触摸屏的情况下接近触摸屏的情景。本文中常常将提及术语“接触触摸”以表示指点器与触摸屏进行物理接触的情景。对于与指点器相对于触摸屏的接近触摸对应的位置,这种位置将对应于指点器垂直于触摸屏的位置。接近传感器141可感测接近触摸以及接近触摸模式(例如,距离、方向、速度、时间、位置、移动状态等)。
通常,控制器180对与接近传感器141所感测的接近触摸和接近触摸模式对应的数据进行处理,并使得在触摸屏上输出视觉信息。另外,控制器180可根据对触摸屏上的点的触摸是接近触摸还是接触触摸来控制移动终端100执行不同的操作或者处理不同的数据。
触摸传感器可利用各种触摸方法中的任何触摸方法来感测施加到触摸屏(例如,显示单元151)的触摸。这些触摸方法的示例包括电阻型、电容型、红外型和磁场型等。
作为一个示例,触摸传感器可被配置为将施加到显示单元151的特定部分的压力的变化或者在显示单元151的特定部分处发生的电容的变化转换为电输入信号。触摸传感器还可被配置为不仅感测触摸位置和触摸面积,而且感测触摸压力和/或触摸电容。通常使用触摸物体来对触摸传感器施加触摸输入。典型的触摸物体的示例包括手指、触摸笔、手写笔、指点器等。
当通过触摸传感器感测到触摸输入时,可将对应信号发送给触摸控制器。触摸控制器可对所接收到的信号进行处理,然后将对应数据发送给控制器180。因此,控制器180可感测显示单元151的哪一区域被触摸。这里,触摸控制器可以是独立于控制器180的组件、控制器180及其组合。
在一些实施方式中,控制器180可以根据对触摸屏或者除触摸屏以外设置的触摸键进行触摸的一种触摸物体来执行相同或不同的控制。例如,根据提供触摸输入的物体是执行相同的控制还是不同的控制可基于移动终端100的当前操作状态或者当前执行的应用程序来决定。
触摸传感器和接近传感器可单独实现或者组合实现,以感测各种类型的触摸。这些触摸包括短(或轻敲)触摸、长触摸、多触摸、拖曳触摸、轻拂触摸、缩小触摸、放大触摸、轻扫触摸、悬停触摸等。
如果需要,可实现超声传感器以利用超声波来识别与触摸物体有关的位置信息。例如,控制器180可基于由照度传感器和多个超声传感器感测的信息来计算波生成源的位置。由于光远比超声波快,所以光到达光学传感器的时间远比超声波到达超声传感器的时间短。可利用这一事实来计算波生成源的位置。例如,可以基于作为参考信号的光、利用相对于超声波到达传感器的时间的时间差来计算波生成源的位置。
相机121通常包括相机传感器(CCD、CMOS等)、光电传感器(或图像传感器)和激光传感器中的至少一个。
利用激光传感器实现相机121可允许检测物理对象相对于3D立体图像的触摸。光电传感器可被层压在显示装置上或者与显示装置交叠。光电传感器可被配置为对接近触摸屏的物理对象的移动进行扫描。更详细地讲,光电传感器可包括成行和列的光电二极管和晶体管,以利用根据施加的光的量而变化的电信号来对光电传感器处接收的内容进行扫描。即,光电传感器可根据光的变化来计算物理对象的坐标,从而获得物理对象的位置信息。
显示单元151通常被配置为输出在移动终端100中处理的信息。例如,显示单元151可显示在移动终端100处执行的应用程序的执行画面信息或者响应于执行画面信息的用户界面(UI)和图形用户界面(GUI)信息。
在一些实施方式中,显示单元151可被实现为用于显示立体图像的立体显示单元。典型的立体显示单元可采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等的立体显示方案。
音频输出模块152通常被配置为输出音频数据。这些音频数据可从多种不同的源中的任何源获得,使得所述音频数据可从无线通信单元110接收或者可存储在存储器170中。所述音频数据可在诸如信号接收模式、呼叫模式、录制模式、语音识别模式、广播接收模式等的模式期间输出。音频输出模块152可提供与移动终端100所执行的特定功能有关的可听输出(例如,呼叫信号接收音、消息接收音等)。音频输出模块152还可被实现为受话器、扬声器、蜂鸣器等。
触觉模块153可被配置为产生用户感觉、感知或者体验的各种触觉效果。由触觉模块153产生的触觉效果的典型示例是振动。由触觉模块153产生的振动的强度、模式等可通过用户选择或控制器的设定来控制。例如,触觉模块153可按照组合方式或顺序方式输出不同的振动。
除了振动以外,触觉模块153可产生各种其它触觉效果,包括诸如插针排列向接触皮肤垂直移动、通过喷射孔或抽吸开口的空气的喷射力或抽吸力、对皮肤的触摸、电极的接触、静电力等的刺激效果、利用能够吸热或发热的元件再现冷和热的感觉的效果等。
除了通过直接接触传递触觉效果以外,触觉模块153还可被实现为使得用户能够通过诸如用户的手指或手臂的肌肉觉来感觉到触觉效果。可根据移动终端100的特定配置设置两个或更多个触觉模块153。
光学输出模块154可输出用于利用光源的光指示事件的发生的信号。移动终端100中发生的事件的示例可包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。
由光学输出模块154输出的信号可被实现为使得移动终端发射单色光或多种颜色的光。例如,随着移动终端感测到用户已查看所发生的事件,信号输出可被终止。
接口单元160用作要与移动终端100连接的外部装置的接口。例如,接口单元160可接收从外部装置发送来的数据,接收电力以传送给移动终端100内的元件和组件,或者将移动终端100的内部数据发送给这种外部装置。接口单元160可包括有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
所述标识模块可以是存储用于验证移动终端100的使用权限的各种信息的芯片,并且可包括用户标识模块(UIM)、订户标识模块(SIM)、全球订户标识模块(USIM)等。另外,具有标识模块的装置(本文中也称作“标识装置”)可采取智能卡的形式。因此,标识装置可经由接口单元160与移动终端100连接。
当移动终端100与外部托架连接时,接口单元160可用作使得能够将来自托架的电力供应给移动终端100的通道,或者可用作使得能够用来将由用户从托架输入的各种命令信号传送给移动终端的通道。从托架输入的各种命令信号或电力可用作用于识别出移动终端被正确安装在托架上的信号。
存储器170可存储用于支持控制器180的操作的程序,并存储输入/输出数据(例如,电话簿、消息、静止图像、视频等)。存储器170可存储与响应于触摸屏上的触摸输入而输出的各种模式的振动和音频有关的数据。
存储器170可包括一种或更多种类型的存储介质,包括闪存、硬盘、固态盘、硅磁盘、微型多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。移动终端100还可与在诸如互联网的网络上执行存储器170的存储功能的网络存储装置有关地操作。
控制器180通常可控制移动终端100的总体操作。例如,当移动终端的状态满足预设条件时,控制器180可设定或解除用于限制用户相对于应用输入控制命令的锁定状态。
控制器180还可执行与语音呼叫、数据通信、视频呼叫等关联的控制和处理,或者执行模式识别处理以将触摸屏上进行的手写输入或绘画输入分别识别为字符或图像。另外,控制器180可控制那些组件中的一个或其组合,以便实现本文公开的各种示例性实施方式。
电源单元190接收外部电力或提供内部电力,并且供应对包括在移动终端100中的各个元件和组件进行操作所需的适当电力。电源单元190可包括电池,该电池通常是可再充电的或者以可拆卸的方式连接到终端主体以便于充电。
电源单元190可包括连接端口。该连接端口可被配置为接口单元160的一个示例,用于供应电力以对电池进行再充电的外部充电器可电连接到该连接端口。
作为另一示例,电源单元190可被配置为以无线方式对电池进行再充电,而不使用连接端口。在此示例中,电源单元190可利用基于磁感应的电感耦合方法或基于电磁共振的磁共振耦合方法中的至少一种来接收从外部无线电力发送器传送的电力。
本文所述的各种实施方式可利用例如软件、硬件或其任何组合来在计算机可读介质、机器可读介质或类似介质中实现。
现在参照图1B和图1C,参照直板型终端主体描述移动终端100。然而,另选地,移动终端100可按照各种不同配置中的任何配置来实现。这些配置的示例包括手表型、夹子型、眼镜型或者折叠型、翻盖型、滑盖型、旋转型和摆动型(其中两个和更多个主体按照能够相对移动的方式彼此组合)或其组合。本文的讨论将常常涉及特定类型的移动终端(例如,直板型、手表型、眼镜型等)。然而,关于特定类型的移动终端的这些教导将通常也适用于其它类型的移动终端。
移动终端100将通常包括形成终端的外观的壳体(例如,框架、外壳、盖等)。在此实施方式中,壳体利用前壳体101和后壳体102形成。各种电子组件被包含在前壳体101与后壳体102之间所形成的空间中。另外,可在前壳体101与后壳体102之间设置至少一个中间壳体。
显示单元151被示出为设置在终端主体的前侧以输出信息。如图所示,显示单元151的窗口151a可被安装到前壳体101以与前壳体101一起形成终端主体的前表面。
在一些实施方式中,电子组件也可被安装到后壳体102。这些电子组件的示例包括可拆卸电池191、标识模块、存储卡等。后盖103被示出为盖住电子组件,该盖可以可拆卸地连接到后壳体102。因此,当将后盖103从后壳体102拆卸时,安装到后壳体102的电子组件暴露于外。
如图所示,当后盖103连接到后壳体102时,后壳体102的侧表面部分地暴露。在一些情况下,在连接时,后壳体102也可被后盖103完全遮蔽。在一些实施方式中,后盖103可包括开口以用于将相机121b或音频输出模块152b暴露于外。
壳体101、102、103可通过合成树脂的注塑成型来形成,或者可由例如不锈钢(STS)、铝(Al)、钛(Ti)等的金属形成。
不同于多个壳体形成用于容纳组件的内部空间的示例,移动终端100可被配置为使得一个壳体形成内部空间。在此示例中,具有单一体的移动终端100被形成为使得合成树脂或金属从侧表面延伸至后表面。
如果需要,移动终端100可包括用于防止水进入终端主体中的防水单元(未示出)。例如,防水单元可包括位于窗口151a与前壳体101之间、前壳体101与后壳体102之间、或者后壳体102与后盖103之间的防水构件,以在那些壳体连接时将内部空间气密地密封。
移动终端包括显示单元151、第一音频输出模块151a/第二音频输出模块151b、接近传感器141、照度传感器142、光学输出模块154、第一相机121a/第二相机121b、第一操纵单元123a/第二操纵单元123b、麦克风122、接口单元160等。
将如图1B和图1C所示描述移动终端。显示单元151、第一音频输出模块151a、接近传感器141、照度传感器142、光学输出模块154、第一相机121a和第一操纵单元123a被布置在终端主体的前表面中,第二操纵单元123b、麦克风122和接口单元160被布置在终端主体的侧表面中,第二音频输出模块151b和第二相机121b被布置在终端主体的后表面中。
然而,将理解,另选的布置方式也是可能的并且在本公开的教导内。一些组件可被省略或重新布置。例如,第一操纵单元123a可设置在终端主体的另一表面上,第二音频输出模块152b可设置在终端主体的侧表面上。
显示单元151输出在移动终端100中处理的信息。显示单元151可利用一个或更多个合适的显示装置来实现。这些合适的显示装置的示例包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、3维(3D)显示器、电子墨水显示器及其组合。
根据移动终端100的配置状态,可以存在两个或更多个显示单元151。例如,多个显示单元151可被布置在一侧,彼此间隔开或者这些装置可被集成,或者这些装置可被布置在不同的表面上。
显示单元151还可包括触摸传感器,该触摸传感器感测在显示单元处接收的触摸输入。当触摸被输入到显示单元151时,触摸传感器可被配置为感测该触摸,并且控制器180例如可生成与该触摸对应的控制命令或其它信号。以触摸方式输入的内容可以是文本或数值或者是可按照各种模式指示或指定的菜单项。
触摸传感器可按照设置在窗口151a与窗口151a的后表面上的显示器之间的具有触摸图案的膜或者在窗口151a的后表面上直接构图的金属丝的形式来配置。另选地,触摸传感器可与显示器一体地形成。例如,触摸传感器可设置在显示器的基板上或者显示器内。
显示单元151还可与触摸传感器一起形成触摸屏。这里,触摸屏可用作用户输入单元123(参见图1A)。因此,触摸屏可代替第一操纵单元123a的至少一些功能。
第一音频输出模块152a可按照扬声器的形式来实现以输出语音音频、报警音、多媒体音频再现等。
显示单元151的窗口151a通常将包括孔径以允许由第一音频输出模块152a生成的音频通过。一个另选方式是允许音频沿着结构体之间的装配间隙(例如,窗口151a与前壳体101之间的间隙)来释放。在这种情况下,从外观上看,独立地形成以输出音频音的孔不可见或者被隐藏,从而进一步简化移动终端100的外观和制造。
光学输出模块154可被配置为输出用于指示事件发生的光。这些事件的示例包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。当用户已查看发生的事件时,控制器可控制光学输出模块154停止光输出。
第一相机121a可处理由图像传感器在拍摄模式或视频呼叫模式下获得的图像帧(例如,静止图像或运动图像)。然后,经处理的图像帧可被显示在显示单元151上或者被存储在存储器170中。
第一操纵单元123a和第二操纵单元123b是用户输入单元123的示例,其可由用户操纵以提供对移动终端100的输入。第一操纵单元123a和第二操纵单元123b还可被共同称作操纵部分,并且可采用允许用户执行诸如触摸、推按、滚动等的操纵的任何触觉方法。第一操纵单元123a和第二操纵单元123b还可采用允许用户执行诸如接近触摸、悬停等的操纵的任何非触觉方法。
图1B将第一操纵单元123a示出为触摸键,但可能的另选方式包括机械键、按键、触摸键及其组合。
在第一操纵单元123a和第二操纵单元123b处接收的输入可按照各种方式来使用。例如,用户可使用第一操纵单元123a来将输入提供给菜单、主屏键、取消、搜索等,用户可使用第二操纵单元123b来提供输入以控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换为显示单元151的触摸识别模式等。
作为用户输入单元123的另一示例,后输入单元(未示出)可被设置在终端主体的后表面上。用户可操纵后输入单元以提供对移动终端100的输入。所述输入可按照各种不同的方式来使用。例如,用户可使用后输入单元来提供输入以进行电源开/关、开始、结束、滚动、控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换为显示单元151的触摸识别模式等。后输入单元可被配置为允许触摸输入、推按输入或其组合。
后输入单元可被设置为在终端主体的厚度方向上与前侧的显示单元151交叠。作为一个示例,后输入单元可被设置在终端主体的后侧的上端部,使得当用户用一只手抓握终端主体时用户可利用食指容易地操纵后输入单元。另选地,后输入单元可至多被设置在终端主体的后侧的任何位置。
包括后输入单元的实施方式可将第一操纵单元123a的一些或全部功能实现在后输入单元中。因此,在从前侧省略第一操纵单元123a的情况下,显示单元151可具有更大的屏幕。
作为另一另选方式,移动终端100可包括扫描用户的指纹的手指扫描传感器。然后控制器180可使用由手指扫描传感器感测到的指纹信息作为验证程序的一部分。手指扫描传感器也可被安装在显示单元151中或者被实现在用户输入单元123中。
麦克风122被示出为设置在移动终端100的端部,但其它位置也是可能的。如果需要,可实现多个麦克风,这种布置方式允许接收立体声。
接接口单元160可用作允许移动终端100与外部装置进行接口的路径。例如,接口单元160可包括用于连接到另一装置(例如,耳机、外部扬声器等)的连接端子、用于近场通信的端口(例如,红外数据协会(IrDA)端口、蓝牙端口、无线LAN端口等)、或者用于向移动终端100供电的电源端子中的一个或更多个。接口单元160可按照用于容纳外部卡(例如,订户标识模块(SIM)、用户标识模块(UIM)、或者用于信息存储的存储卡)的插槽的形式来实现。
第二相机121b被示出为设置在终端主体的后表面处,并且其图像拍摄方向基本上与第一相机单元121a的图像拍摄方向相对。如果需要,可另选地将第二相机121b设置在其它位置或者使其能够移动,以便具有不同于所示的图像拍摄方向的图像拍摄方向。
第二相机121b可包括沿着至少一条线布置的多个透镜。所述多个透镜还可按照矩阵配置来布置。这些相机可被称作“阵列相机”。当第二相机121b被实现为阵列相机时,可利用多个透镜以各种方式拍摄图像,并且图像具有更好的质量。
如图1C所示,闪光灯124被示出为与第二相机121b相邻。当利用相机121b拍摄目标的图像时,闪光灯124可对目标进行照明。
如图1B所示,可在终端主体上设置第二音频输出模块152b。第二音频输出模块152b可结合第一音频输出模块152a实现立体声功能,并且还可用于实现呼叫通信的免提模式。
用于无线通信的至少一个天线可设置在终端主体上。所述天线可安装在终端主体中或者可由壳体形成。例如,构成广播接收模块111的一部分的天线可收缩到终端主体中。另选地,天线可利用附着到后盖103的内表面的膜或者包含导电材料的壳体来形成。
用于向移动终端100供电的电源单元190可包括电池191,该电池191被安装在终端主体中或者可拆卸地连接到终端主体的外部。电池191可经由连接到接口单元160的电源线来接收电力。另外,电池191可利用无线充电器以无线方式再充电。无线充电可通过磁感应或电磁共振来实现。
后盖103被示出为连接到后壳体102以用于遮蔽电池191,以防止电池191分离并保护电池191免受外部冲击或异物的影响。当电池191能够从终端主体拆卸时,后盖103可以可拆卸地连接到后壳体102。
在移动终端100上可另外设置用于保护外观或者辅助或扩展移动终端100的功能的附件。作为附件的一个示例,可设置用于覆盖或容纳移动终端100的至少一个表面的盖或袋。所述盖或袋可与显示单元151协作以扩展移动终端100的功能。附件的另一示例是用于辅助或扩展对触摸屏的触摸输入的触摸笔。
图2A是示出根据本发明的一个示例性实施方式的移动终端的控制方法的流程图,图2B至图2E是示出图2A的控制方法的概念图。
显示单元151输出与特定功能对应的画面信息510(S210)。对画面信息510的类型没有限制。例如,画面信息可以是特定应用的执行画面、功能的设置画面、包括与应用对应的图标的主画面页面、网页等,没有限制。图2B示出用于改变移动终端的组件的设置的设置画面。
控制器180在控制特定功能的同时检测画面信息的改变或者包括在画面信息中的错误信息(S220)。这里,所述错误信息可以甚至包括用户感觉到难以使用特定功能的情况(即,在未能以期望的方式控制特定功能的情况下)以及不可控状态和对输入控制命令的异常(或错误的)响应。
如图2B所示,当在控制特定功能的同时基于用户的控制命令生成错误时,控制器180控制显示单元151输出通知窗口501以通知错误的生成。通知窗口501可包括与特定功能有关的信息、与错误有关的信息、错误的代码编号、错误的标识号等。通知窗口501可被输出在画面信息510的一个区域上。
参照图2C,当在预设时间内与特定功能对应的画面信息510被重复地输出时,控制器180可确定从该特定功能生成错误。例如,当未能执行特定功能时,用户经历终止该特定功能并且重启该特定功能的过程。在这种情况下,显示单元151重复地输出基本上相同的画面信息。当在预设时间内相同的画面信息被重复地输出预设次数时,控制器180确定生成错误。
当通过通知窗口501确定生成错误时,控制器180控制显示单元151输出第一图标601。第一图标601可被输出在显示单元151的一个区域上,位于与通知窗口501相邻的区域处。
返回参照图2B,控制器180响应于对第一图标601施加的触摸,生成通过捕获包括通知窗口501的画面信息510而获得的捕获图像510'。显示单元151可输出指示捕获图像510'的生成的图像。
控制器180从捕获图像510'提取文本(字母、句子等)。例如,控制器180可提取包括在捕获图像510'中的“错误:1499”、“确定”、“询问”等。当确定生成错误时,控制器180执行特定应用以用于在提取词项(term)之后解决该错误。特定应用可基于用户所施加的控制命令来执行。特定应用搜索在移动终端中生成的错误并且提供错误的搜索结果。控制器180通过从特定服务器接收错误的搜索结果或者提取存储在存储器170中的错误的搜索结果来提供错误的搜索结果。
附图示例性地示出在第一图标601被输出之后响应于对第一图标601施加的触摸而执行应用,但是本发明可不限于此。例如,当通知窗口501被重复地输出时,即使没有对第一图标601施加触摸,特定应用也可自动地执行。
当确定生成与特定功能关联的错误时,控制器180输出用于错误数据搜索的指导图像(S230)。
当词项被提取时,控制器180可输入所提取的词项的至少部分作为搜索词项。控制器180可选择性地将所提取的文本的错误相关词设定为搜索词项,或者选择性地仅将包括在通知窗口501中的文本设定为搜索词项。
控制器180可控制存储器170在执行应用的同时存储(或保存)捕获图像510'。
控制器180利用搜索词项搜索错误数据610并且在显示单元151上输出所搜索到的错误数据610。显示单元151可通过针对各个类别分类来输出错误数据610。例如,错误数据610可包括:第一搜索结果611,其指示基于搜索词项搜索到的错误的说明;以及第二搜索结果612,其包括用于解决错误和执行特定功能的描述(或指南)。
根据本发明,当生成重复性错误时,即使用户没有执行用于解决该错误的程序等,也执行用于解决该错误的应用。这可导致省略用户终止特定功能并且运行用于解决错误的应用的控制步骤。
另外,由于通过包括所生成的错误的捕获图像来提取用于搜索错误的文本,所以用户不必直接输入这种文本以便于搜索错误,这可允许以更方便的方式向用户提供针对错误的数据。
返回参照图2C,当输出重复的画面信息时,控制器180控制显示单元151输出第二图标602。尽管未详细示出,当在特定时间内未施加触摸或者画面信息的重复输出状态结束时,第二图标602可从显示单元151消失。即,控制器180可将它确定为用户有意为之的控制,而不是生成错误。
第二图标602的形状可不限于所示的形状。第二图标602优选地以不与画面信息510交叠的形状输出。
控制器180响应于对第二图标602施加的触摸而执行特定应用。控制器180可将包括在重复输出的画面信息510中的文本设定为搜索词项,或者将在画面信息510的捕获图像510'上提取的文本设定为搜索词项。另外,控制器180可利用与画面信息510所关联的应用有关的附加信息来生成错误数据610。
根据此实施方式,当用户重复地输出相同的画面信息时,确定生成错误,并且提供快速执行用于解决该错误的应用的方法。另外,当确定重复的画面信息是用户有意输出的时,可限制图标的输出以改进用户控制画面信息的便利性。
参照图2D,控制器180可基于通过麦克风122施加的语音信号来执行特定应用。控制器180可按照预设的时间间隔激活麦克风122,并且控制激活的麦克风122接收用户的语音。或者,当特定画面信息被连续地或重复地输出时,控制器180可激活麦克风122。
控制器180分析通过麦克风122接收的语音。当所接收到的语音与预设语音信号匹配时,控制器180确定在执行特定功能期间发生了错误,然后执行所述应用。例如,语音信号可对应于说出与错误有关的词(或句子)的语音、叹气等。另外,当生成错误时用户频繁做出(或说出)的语音信号可被记录在存储器170中。当与所记录的语音信号相似的语音信号被输入时,控制器180可确定生成了错误。
当基于所接收到的语音感测到生成错误时,控制器180可控制显示单元151输出第二图标602。第二图标602已在图2C中描述,因此其描述将不再重复。显示单元151响应于对第二图标602施加的触摸而输出错误数据610。
根据此实施方式,当生成错误时,可基于认识到错误的用户施加(或说出)的语音来确定错误的生成。这可允许即使当用户无意解决错误时也提供解决错误的方法。
参照图2E,在捕获图像510'被存储在存储器170中之后,可由用户执行特定应用。执行画面620可包括用于选择所存储的图像作为搜索目标的图像图标622。图像图标622可与便于用户以文本形式输入搜索词项的输入窗口621相邻地输出。
控制器180响应于对图像图标622施加的触摸来控制显示单元151输出存储在存储器170中的多个图像。控制器180可选择性地从存储器170提取输出在显示单元151上的画面的捕获图像、当确定生成错误时存储的图像以及与错误信息一起存储的图像中的至少一些,并且将那些图像中的所提取的至少一些图像输出在显示单元151上。
或者,控制器180可执行存储图像的另一应用(例如,图库应用)。
控制器180可从选自多个图像的图像提取文本,并且将所提取的文本输入在输入窗口621上。
根据此实施方式,当生成错误时用户可捕获并存储输出在显示单元上的图像,然后在特定应用被执行之后选择所存储的图像。用户可存储错误相关信息,然后在时间过去之后通过该特定应用解决错误。
以上描述了当确定生成错误时提供用于解决错误的应用的执行图标的控制方法。以下,将描述在提供画面信息的同时提供用于解决错误的指导信息的控制方法。
图3A至图3D是示出根据本发明的各种示例性实施方式的在生成错误时提供指导信息的控制方法的概念图。
如图3A所示,在与特定功能有关的画面信息520输出在显示单元151上的同时,控制器180可确定生成了错误。例如,当画面信息520被重复地输出时,当画面信息520被连续地输出达预设时间时,或者当包括错误消息的通知窗口被输出时,控制器180可确定生成了错误。
当生成错误时控制器180可立即执行特定应用。控制器180可响应于特定应用的执行来激活麦克风122以接收用户语音。当应用被执行时,显示单元151在画面信息520的一个区域上输出指导图像603。指导图像603可包括便于用户检查是否从特定功能生成了错误的文本。另外,控制器180可控制音频输出模块152输出用于检查是否生成错误的语音信号。语音信号可对应于文本所转换成的语音。
在指导图像603响应于特定应用的执行而被输出在显示单元151上的同时,用户的触摸被施加到显示单元151。这可允许用户在指导图像603被输出的同时继续通过对显示单元151施加触摸来控制特定功能。指导图像603可显示在画面信息520的上端,但是可不限于此。即,指导图像603可被输出在画面信息520的一个区域上,但是优选地以半透明状态输出以使得可透过指导图像603看见画面信息520。指导图像603可基于由此提供的指导信息来改变大小。
麦克风122在特定应用的执行期间接收用户的语音。例如,控制器180可响应于对指导图像603施加的触摸来激活麦克风122,并且通过自然语言识别功能来识别用户的语音。显示单元151可将通过经由自然语言识别对通过麦克风122接收的语音进行处理而获得的文本输出在指导图像603上。
控制器180利用根据用户的语音的文本来搜索用于解决所生成的错误的错误数据,并且输出错误数据的至少部分。音频输出模块152可按照语音信号的形式来输出错误数据的所述至少部分,显示单元151可按照文本信息的形式输出错误数据的所述至少部分。
尽管未详细示出,控制器180可响应于对指导图像603施加的预设触摸来终止用于解决错误的应用。
参照图3B,控制器180可根据特定功能的步骤控制来提供顺序的指导信息。在指导图像603被输出在显示单元151的一个区域上的同时,控制器180可响应于对显示单元151施加的触摸来控制当前执行的特定功能。因此,用户可基于输出在显示单元151上的指导图像603或者通过音频输出模块152输出的指导语音来施加控制命令。
控制器180基于控制命令来控制特定功能并且基于用户的语音输入和控制命令的控制状态来在指导图像603上输出附加指导信息。另外,音频输出模块152可输出用于附加指导信息的语音信号。
尽管未详细示出,当根据用户初始输入的语音信号激活的功能被确定为已执行时,控制器180可终止特定应用。因此,输出在显示单元151上的指导图像603可消失。
另外,在指导图像603消失之后,显示单元151可进一步输出接收用于终止所激活的应用的触摸的图标。在这种情况下,用户可在通过语音而输入的特定功能完成之前终止指导信息的输出。
根据此实施方式,可在观看当前控制的画面信息的同时向用户提供帮助控制操作的指导信息。另外,用户可在继续观看指导信息的同时逐步执行所使用的功能。因此,用户可立即执行期望的功能,而不必写入或记住指导信息。
另外,错误相关信息可通过语音来输入,这可使得即使无需在画面信息上输入文本或词项,也解决所生成的错误。
参照图3C,当用于通过输入语音来执行期望功能的语音识别应用被执行时,控制器180可控制显示单元151输出先前输出的指导信息604。
当由于生成错误而执行语音识别应用时,控制器180可控制存储器170存储所输出的指导信息。
控制器180可基于在运行语音识别应用的同时执行的特定功能来搜索存储在存储器170中的指导信息。该指导信息可包括与用于解决特定功能所关联的错误的控制方法有关的信息。
控制器180控制显示单元151输出与所搜索到的指导信息604有关的通知信息604'。通知信息604'可包括指导信息的存储(保存)日期、与指导信息关联的功能的描述(关键词)以及接收用于输出指导信息的触摸的图形图像。控制器180可提供与用于执行特定功能的顺序控制步骤有关的信息或者用户的语音信号输入的完整(整个)数据,所生成的指导信息基于用户选择来依次布置。完整数据可按照文本信息的形式输出在显示单元151上。
控制器180可控制显示单元151和音频输出模块152依次提供用于控制与指导信息关联的特定功能的控制步骤。
根据此实施方式,当在执行特定功能期间用户执行语音识别应用时,提供给用户的错误数据可被提供以快速解决特定功能的错误。
参照图3D,控制器180控制显示单元151输出通知窗口502以通知在执行特定功能期间生成了错误。当通知窗口502被输出时控制器180确定生成了错误,因此执行特定应用。
响应于特定应用的执行,控制器180控制显示单元151在显示单元151的一个区域上输出执行画面620。例如,显示单元151可被划分以使得画面信息510和执行画面620可被一起输出或者执行画面620可在半透明状态下输出。
控制器180可响应于对执行画面620的边缘施加的触摸来调节执行画面620的尺寸或者终止应用。执行画面620可包括接收用于提供错误数据的触摸的至少一个图形图像以及便于用户输入与错误有关的信息的输入窗口621。
响应于初始在通知窗口502上施加然后在执行画面620上释放的连续触摸,控制器180提取与包括在通知窗口502中的错误关联的词项。
当连续触摸(拖放)被释放时,控制器180控制显示单元151将所提取的词项输出在输入窗口621上。当所提取的词项被输入在输入窗口621上时,控制器180控制显示单元151完整地输出执行画面620。
或者,当对画面信息510施加触摸时,控制器180可提取包括在画面信息510中的词项并且将所提取的词项输入在输入窗口621上。在这种情况下,控制器180可通过用户的触摸输入来设定画面信息520上的选择范围。
在词项被输出在输入窗口621上的同时,控制器180可执行特定功能的期望的功能(例如,错误相关搜索、提供指南、搜索针对错误的问题和回答等)。
此外,当没有从通知窗口502提取词项或者当在输入窗口621上无法进行文本输入时,控制器180可控制显示单元151维持画面信息520和执行画面620的同时输出状态。
根据此实施方式,当生成错误时,可立即向用户提供用于解决该错误的应用的执行画面。另外,可允许用户基于简单的触摸输入来输入期望搜索的错误信息。
图4A至图4C是示出利用捕获图像提供错误数据的方法的概念图。
如图4A所示,在通知所生成的错误的通知窗口被输出的同时,控制器180基于用于捕获输出在显示单元151上的图像的控制命令来捕获包括通知窗口的画面信息510。控制器180控制存储器170存储画面信息510的捕获图像510'。
控制器180基于控制命令来控制显示单元151不再显示通知窗口。显示单元151仅输出特定功能的画面信息510并且接收用于控制该特定功能的用户触摸。然而,在这种情况下,显示单元151输出第一图标601,该第一图标601接收用于提供与先前生成的错误关联的错误数据的触摸。
当对第一图标601施加触摸时,控制器180从捕获图像510'提取文本。然后,控制器180执行用于解决错误的特定应用并且控制显示单元151输出执行画面620。执行画面620包括用于接收搜索词项的输入的输入窗口621。控制器180输入所提取的文本作为搜索词项并且执行搜索。
此外,控制器180可基于对连同第一图标601一起输出的画面信息510施加的触摸来控制画面信息。当画面信息510响应于触摸而改变时,控制器180可控制显示单元151不显示第一图标601。
根据此实施方式,当生成错误时,用户可首先将所生成的错误存储为图像并且在搜索错误数据之前按照不同的方式解决该错误。然而,如果该不同的方式是未知的或者没有解决错误,则用户可对图标施加触摸以利用所存储的图像来接收错误数据。
参照图4B,在画面信息510被输出的同时控制器180将画面信息存储为捕获图像510'并且还在移动终端100上存储操作日志信息。这里,操作日志信息可对应于用户所访问的服务器、与用户利用无线信号发送和接收的数据有关的信息、与存储的数据有关的信息等。
当生成捕获图像510'时,控制器180控制显示单元151输出与捕获图像510'有关的详细信息(例如,存储时间、大小、媒体类型等)530。然而,在这种情况下,不输出操作日志信息。
当输入特定信号或者感测到进入移动终端的特定空间时,控制器180可激活输入窗口531以便于用户输入用于输出日志信息的密码信息。例如,所述特定空间可对应于提供移动终端修理服务的制造商的服务中心等,但是本发明可不限于此。另外,密码信息可对应于与服务中心的员工有关的标识信息。或者,用户可在输入窗口531上输入用户设定的密码信息。
控制器180可基于密码信息来控制显示单元151连同详细信息一起输出日志信息。
根据本发明,通过仅向制造商的服务中心提供日志信息,可解决在用户的移动终端使用期间生成的日志信息的隐私侵犯的问题并且可增加解决错误的概率。
参照图4C,控制器180基于捕获输出在显示单元151上的画面信息的控制命令来生成捕获图像510'。显示单元151输出用于编辑和存储捕获图像510'的多个图标。所述多个图标可包括用于将捕获图像510'随错误信息一起存储的错误图标。
控制器180可响应于对错误图标施加的触摸来将捕获图像510'随当前执行的特定功能相关的信息一起存储。捕获图像510'连同其它图像一起被存储。例如,显示单元151可输出与捕获图像510'和存储在存储器170中的图像对应的缩略图。
控制器180可响应于对图像的缩略图施加的触摸来将存储在存储器170中的图像完整地输出在显示单元151上。然而,控制器180响应于对捕获图像510'施加的预设触摸输入来执行用于解决错误的特定应用,并且输出执行画面620。即,当所选择的图像连同特定功能或特定错误信息一起存储时,控制器180可执行特定应用。
控制器180可允许用户在执行画面620的输入窗口621上输入从捕获图像510'提取的文本或者输入与连同图像或错误信息一起存储的特定功能相关的信息。
根据此实施方式,当生成错误时,用户可将所生成的错误存储为捕获图像,并且利用所存储的捕获图像来更方便地执行用于解决错误的应用。
图5是示出根据本发明的另一示例性实施方式的执行特定应用的控制方法的概念图。
当生成错误时,显示单元151输出通知窗口604以通知所生成的错误。通知窗口604可包括与提供错误数据的应用对应的图标604'。控制器180响应于对图标604'施加的触摸来执行应用,并且控制显示单元151在执行画面620上输出包括在通知窗口604中的文本。控制器180提取包括在通知窗口604中的文本并且通过输入所提取的文本作为搜索词项来执行搜索。
尽管未示出,当多个通知窗口输出在显示单元151上时,各个通知窗口可包括图标。在这种情况下,可通过对一个图标施加触摸来向用户提供各个错误信息的错误数据。这可允许用户针对各个通知窗口分别检查错误数据。
图6A至图6D是示出根据本发明的不同示例性实施方式的提供错误数据的控制方法的概念图。
如图6A所示,应用的执行画面630包括输入窗口631,在该输入窗口631上输入错误信息作为搜索词项。可在输入窗口631上输入文本。文本可对应于从通知与特定功能或错误信息对应的画面信息的通知窗口提取的文本,或者可由用户输入。即使当由控制器180提取的文本被输出在输入窗口631上时,也可由用户修改该文本。
执行画面630包括第一区域632和第二区域633。第一区域设置有按照搜索词项搜索的第一搜索结果(包括预存储的问题及其答案)以及按照搜索词项搜索的第二搜索结果(包括特定功能的使用指南)。另外,第二区域633包括视频信息。
视频信息可对应于特定服务器(例如,制造移动终端的制造商的服务器)。或者,控制器180可利用搜索词项执行web搜索。因此,可提供由其他用户上传的与相似的错误关联的视频。
参照图6B,控制器180可提供相关的搜索词项634。相关的搜索词项可提供与错误有关的文本以及与在输入窗口631上输入的文本相似的文本。
因此,在从图像提取文本期间导致的错误可减少。当用户未能搜索到期望的错误数据时,可更快速地重新搜索更多数据。
参照图6C,控制器180可通过提取从图像提取的文本的一部分来生成搜索词项。例如,当通过控制器180基于句子从图像提取文本时,与所提取的句子高度匹配的回答653可输出在执行画面的顶部。例如,回答635可对应于包括所提取的句子的错误数据。在这种情况下,对具有最高匹配值的回答的类别没有限制。
参照图6D,当生成捕获图像510'时,控制器180搜索与捕获图像510'的至少一部分相同因此被接受为与捕获图像510'相似的至少一个图像640,并且输出所搜索到的至少一个图像640。所述至少一个图像640对应于与错误数据有关的图像。例如,当对所述至少一个图像640施加触摸时,可输出使用指南643和视频信息642。
所述至少一个图像可对应于包括在使用指南上的图像、视频文件的缩略图等。
根据此实施方式,用户可基于图像相似度来更快速地搜索期望的错误数据,而无需从图像提取文本的步骤。
图7A和图7B是示出提供指导信息的控制方法的概念图。
如图7A所示,控制器180通过先前包括在执行画面620上的错误信息来基于搜索词项输出包括错误数据的执行画面630。
控制器180响应于用于选择一个错误数据的触摸来控制显示单元151输出第一指导画面651。例如,当通过触摸输入选择使用指南时,指导画面可包括以顺序方式输出的使用指南。
此外,当选择形成为视频的错误数据时,第一指导画面651可以是再现的视频画面。然而,根据此实施方式的视频优选地对应于从移动终端的服务服务器提供的视频画面。
第一指导画面651可包括应用图标651a,应用图标651a接收用于基于错误数据控制移动终端的触摸。控制器180响应于对应用图标651a施加的触摸来控制移动终端执行包括在错误数据中的控制步骤。
或者,控制器180可利用输入的错误信息和错误数据这二者来执行用户期望的控制步骤。例如,当控制步骤中包括选择多个内容中的一个的步骤时,控制器180可选择与错误信息匹配的内容。
或者,当包括需要用户输入的步骤时,控制器180可停止控制步骤的执行,并且控制显示单元151向用户输出通知信息。当控制步骤被完全执行时,显示单元151可输出结果画面。
根据此实施方式,用户可快速地执行期望的控制步骤,而不必读取所有错误数据。尽管未详细示出,控制器180可控制显示单元151依次输出指示控制步骤的画面信息。或者,控制器180可在用户运行另一应用的同时执行控制步骤,并且当控制步骤完全执行时控制显示单元151输出完成消息。
参照图7B,控制器180响应于在包括错误数据的执行画面630上施加的触摸,控制显示单元151输出第二指导画面652。第二指导画面652包括用于以顺序方式输出错误数据的指导图标652a。
控制器180基于对指导图标652a施加的触摸来依次输出错误数据。控制器180划分各个控制步骤的错误数据并且依次输出一些划分的错误数据。在第一划分的错误数据652b被输出的同时,显示单元151接收触摸输入。控制器180基于触摸输入来改变画面信息510。
第一错误数据652b可按照半透明状态输出,使得可透过其查看画面信息510。另外,控制器180可基于对第一错误数据652b施加的触摸来停止错误数据的输出。
当画面信息510改变时,控制器180控制显示单元151输出与第一错误数据652b的下一控制步骤对应的第二错误数据652c。
尽管未详细示出,控制器180可控制音频输出模块152以语音信号的形式输出错误数据。
图8A至图8C是示出实时地存储错误信息的控制方法的概念图。
如图8A所示,当确定在执行特定功能期间生成了错误时,控制器180控制显示单元151输出记录图标605。例如,当基本上相同的画面信息被重复地输出时,当通知错误生成的通知窗口被输出时,以及当预期的控制命令没有被施加达预设时间时,控制器180可确定生成了错误。
记录图标605可被设置在显示单元151的一个区域上,并且其输出位置可根据包括在画面信息中的配置而改变。除了记录图标605以外,显示单元151可输出指示窗口605',指示窗口605'包括根据时间推移存储(记录)输出在显示单元151上的画面信息的改变的描述。指示窗口605'可根据用户设置来仅被输出预设时间(几秒)。
控制器180响应于对记录图标605施加的触摸来控制存储器170存储(记录)输出在显示单元151上的画面信息的改变。在记录画面信息的改变期间,显示单元151接收触摸输入,并且基于所接收到的触摸输入来控制与画面信息对应的特定功能。
显示单元151可还连同记录图标605一起输出从记录开始时间点开始经过的时间。当再次对记录图标605施加触摸时,画面信息的改变的记录被终止。
控制器180控制存储器170存储所记录的文件。存储器170可暂时地存储所记录的文件,并且还存储与所执行的特定功能有关的信息和用户的日志信息。
当记录文件被完全生成时,显示单元151输出确认窗口660以便于用户确认是否将所完成的记录文件发送给外部装置。因此,用户可将所记录的文件立即发送给外部装置或者在服务器中共享它。
根据本发明,由于生成错误的处理可根据时间的推移来存储,所以由用户执行的控制可被依次存储。这可使得方便识别错误的原因。
如图8B所示,当确定生成了错误时,控制器180控制显示单元151输出第三图标606。控制器180响应于对第三图标606施加的触摸来向预设外部装置发送对视频呼叫的请求信号。
或者,响应于对第三图标606施加的触摸,可执行视频呼叫功能并且可输出用于选择向其发送请求信号的外部装置的列表。
当视频呼叫连接时,控制器180输出包括与视频呼叫有关的信息的呼叫画面710。显示单元151被划分成第一区域和第二区域,并且分别在所划分的第一区域和第二区域上输出作为用户的捕获图像(或预存储图像)的第一图像711以及作为另一方(被呼叫者)的捕获图像(或预存储图像)的第二图像712。
呼叫画面710包括切换图标713,切换图标713用于从第一相机121a和第二相机121b选择一个相机来拍摄用户的脸部。当对切换图标713施加多个触摸时,控制器180确定生成了错误并且控制显示单元151在第一区域上输出先前输出的画面信息714。
控制器180基于对第一区域施加的触摸来控制画面信息714,并且控制无线通信单元110连续地向外部装置发送画面信息714的改变。
因此,可实时地向另一方提供当前输出在移动终端的显示单元151的第一区域上的画面信息,而非拍摄用户的脸部(或者通过相机拍摄的对象)。
或者,控制器180可将画面信息714'完整地输出在显示单元151上。第二图像的变化的图像712'可被输出在显示单元151的一个区域上。即使在这种情况下,画面信息也可响应于用户的触摸输入而变化,画面信息的变化被实时地发送给外部装置。
此外,呼叫画面710包括与切换图标713分离的控制图标,可基于控制图标将画面信息发送给外部装置。
根据此实施方式,由于在视频呼叫期间画面信息改变的图像可被实时地发送给外部装置,所以可从另一方实时地向用户提供用于解决错误的信息。另外,用于在生成错误时立即发起呼叫的图标,因此,即使当用户根本不知道控制方法时,用户也可容易地请求帮助。
参照图8C,当需要输入密码信息以便执行特定功能时,控制器180在第一区域上输出安全输入画面721。在安全输入画面721被输出在显示单元151上并且用户在安全输入画面721上输入密码信息的同时,控制器180限制安全输入画面721的传输并且控制无线通信单元110发送预设的安全图像721'。因此,安全图像721'被输出在外部装置100'的一个区域上。
用于限制安全输入画面721的传输的限制图标721a可被输出在第二区域上。在对限制图标721a施加触摸之后,控制器180可控制仅当输入安全信息时才限制安全输入画面721的传输。
当响应于安全信息的正确输入解除安全时,控制器180控制无线通信单元110将画面信息722传送给外部装置100'。
根据此实施方式,用户可选择性地限制不期望的信息(例如,安全相关信息以及可能导致隐私侵犯的信息)的传输。
根据此实施方式,用户可立即变化并存储通过相机实时获得的预览图像。
以上描述中提到的本发明可利用存储有指令的机器可读介质来实现,所述指令由处理器执行以执行本文所呈现的各种方法。可能的机器可读介质的示例包括HDD(硬盘驱动器)、SSD(固态盘)、SDD(硅磁盘驱动器)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置、本文所呈现的其它类型的存储介质及其组合。如果期望,机器可读介质可按照载波的形式实现(例如,经由互联网的传输)。处理器可包括移动终端的控制器180。
以上实施方式仅是示例性的,并且不被认为限制本公开。本说明书旨在是说明性的,而不是限制权利要求的范围。对于本领域技术人员而言,许多替代、修改和变型将是显而易见的。在此描述的示例性实施方式的特征、结构、方法和其它特性可以按照各种方式组合以获得另外的和/或另选的示例性实施方式。
由于在不脱离本发明的特性的情况下,本发明的特征可以按照多种形式来具体实现,所以还应该理解,除非另外指明,否则上述实施方式不受以上描述的任何细节限制,而是应该在所附权利要求书中所限定的范围内广义地理解,因此,落入权利要求的范围及其等同范围内的所有改变和修改因此旨在被所附的权利要求书涵盖。

Claims (18)

1.一种移动终端,该移动终端包括:
显示器;以及
控制器,该控制器被配置为:
使得所述显示器显示与正在执行的特定功能对应的画面信息;
基于包括在所显示的画面信息中的特定图像、关键词或词项,或者基于作为在所述特定功能的执行期间发生的错误或故障的指示而预设的使用模式,来由用户识别所述错误或故障;
当由所述用户识别出所述错误或故障时,捕获所述画面信息,其中,所捕获的画面信息与关于所述特定功能的日志信息相关联并且被存储在存储器中;
响应于用于搜索所述错误或故障的控制命令,从所捕获的画面信息提取与所述错误或故障相关的文本;
使用所提取的文本来搜索与针对所述错误或故障的解决方案或帮助有关的信息;
使得所述显示器显示用于提供针对所述错误或故障的所述解决方案或帮助的指导信息;并且
响应于施加于所述指导信息的用户输入,来使得所述显示器显示所搜索到的与针对所述错误或故障的所述解决方案或帮助有关的信息。
2.根据权利要求1所述的移动终端,其中,所述控制器还被配置为:当通知所述错误的通知窗口被显示时或者当所述画面信息按照预设模式重复地显示时,确定发生所述错误或故障。
3.根据权利要求2所述的移动终端,其中,
所述控制器还被配置为执行用于搜索与所述错误或故障有关的数据的特定应用;并且
所述指导信息被包括在所述特定应用的执行画面中。
4.根据权利要求3所述的移动终端,其中,所述控制器还被配置为通过响应于经由所述通知窗口或所述指导信息中的至少一个接收的一系列触摸输入而执行所述特定应用来搜索与所述错误或故障有关的数据,所述数据是基于从所述通知窗口提取的被设定为搜索词项的文本的图像来搜索的。
5.根据权利要求1所述的移动终端,其中,当用户操作所述特定功能感到困难时,当用户未能以期望的方式控制所述特定功能时,当所述移动终端处于不可控状态时,或者当响应于在执行所述特定功能的同时接收的控制命令而发生异常响应时,识别出所述错误或故障。
6.根据权利要求1所述的移动终端,其中,所述控制器还被配置为从存储器或服务器中的至少一个搜索与针对所述错误或故障的所述解决方案或帮助有关的所述信息。
7.根据权利要求1所述的移动终端,其中,所述控制器还被配置为:
响应于对所述指导信息施加的触摸来执行用于提供与针对所述错误或故障的所述解决方案或帮助有关的所述信息的预设应用;并且
使得所述显示器显示所述预设应用的执行画面,所述执行画面包括填充有所提取的文本的输入窗口。
8.根据权利要求1所述的移动终端,该移动终端还包括存储器,其中,所述控制器还被配置为使得所述存储器将所捕获的画面信息连同在所述特定功能的执行期间生成的日志信息一起存储。
9.根据权利要求8所述的移动终端,其中,所述控制器还被配置为:
搜索与所述指导信息的至少一部分相同或相似的存储的图像;
使得所述显示器显示所搜索到的图像;并且
响应于对所显示的图像施加的触摸,来使得所述显示器显示与所存储的图像有关的数据,所显示的数据提供与所述解决方案或帮助有关的信息。
10.根据权利要求1所述的移动终端,该移动终端还包括麦克风,其中,所述控制器还被配置为:
激活麦克风以接收用户的语音;并且
使得所述显示器显示基于所述语音搜索到的数据,所述数据提供与所述解决方案或帮助有关的信息。
11.根据权利要求10所述的移动终端,其中,所述控制器还被配置为响应于在所述指导信息被显示的同时接收的触摸,来使得所述显示器将所述画面信息改变为不同的画面信息。
12.根据权利要求10所述的移动终端,该移动终端还包括存储器,其中,所述控制器还被配置为:
使得所述存储器存储基于所述语音搜索到的错误数据;并且
当发生附加错误时,使得所述显示器显示所述错误数据中的至少一部分。
13.根据权利要求1所述的移动终端,其中,所述控制器还被配置为使得所述显示器针对用于解决所述错误或故障的各个控制步骤依次显示与所述解决方案或帮助有关的信息。
14.根据权利要求1所述的移动终端,其中,所述控制器还被配置为当对连同与所述解决方案或帮助有关的信息一起显示的应用图标施加触摸时,基于所述信息来执行解决所述错误或故障的操作。
15.根据权利要求1所述的移动终端,该移动终端还包括存储器,其中,所述控制器还被配置为在经由所述指导信息接收触摸之后,响应于经由所述显示器施加的控制命令,来使得所述存储器根据时间的推移存储所述画面信息的改变。
16.根据权利要求1所述的移动终端,该移动终端还包括被配置为与外部装置执行无线通信的无线通信单元,
其中,所述控制器还被配置为:
执行与所述外部装置的视频呼叫功能;并且
当发生所述错误或故障时,使得所述无线通信单元将所述画面信息发送给所述外部装置。
17.根据权利要求16所述的移动终端,其中,所述控制器还被配置为当所述画面信息包括用于接收密码信息的密码输入窗口时,使得所述无线通信单元限制发送所述画面信息。
18.一种用于控制移动终端的方法,该方法包括以下步骤:
在显示器上显示与正在执行的特定功能对应的画面信息;
基于包括在所显示的画面信息中的特定图像、关键词或词项,或者基于作为在所述特定功能的执行期间发生的错误或故障的指示而预设的使用模式,来由用户识别所述错误或故障;
当由所述用户识别出所述错误或故障时,捕获所述画面信息,其中,所捕获的画面信息与关于所述特定功能的日志信息相关联并且被存储在存储器中;
响应于用于搜索所述错误或故障的控制命令,从所捕获的画面信息提取与所述错误或故障相关的文本;
使用所提取的文本来搜索与针对所述错误或故障的解决方案或帮助有关的信息;
显示用于提供针对所述错误或故障的所述解决方案或帮助的指导信息;以及
响应于施加于所述指导信息的用户输入,来显示所搜索到的与针对所述错误或故障的所述解决方案或帮助有关的信息。
CN201610649576.XA 2015-08-13 2016-08-10 移动终端及其控制方法 Active CN106453817B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150114814A KR20170020090A (ko) 2015-08-13 2015-08-13 이동 단말기 및 이의 제어방법
KR10-2015-0114814 2015-08-13

Publications (2)

Publication Number Publication Date
CN106453817A CN106453817A (zh) 2017-02-22
CN106453817B true CN106453817B (zh) 2019-10-18

Family

ID=56131371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610649576.XA Active CN106453817B (zh) 2015-08-13 2016-08-10 移动终端及其控制方法

Country Status (5)

Country Link
US (1) US10042689B2 (zh)
EP (1) EP3131274B1 (zh)
KR (1) KR20170020090A (zh)
CN (1) CN106453817B (zh)
FR (1) FR3040096A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3435300A4 (en) * 2016-05-10 2019-05-01 NTT DoCoMo, Inc. EVALUATION DEVICE AND EVALUATION SYSTEM
CN109426428B (zh) * 2017-08-31 2022-05-31 华为终端有限公司 一种终端的操作指导信息提供方法及终端设备
KR102429433B1 (ko) * 2018-01-18 2022-08-04 삼성전자주식회사 영상 표시 장치 및 그 구동 방법
CN109974214A (zh) * 2019-02-27 2019-07-05 珠海格力电器股份有限公司 设备调控的方法、装置、系统和终端
US20210133262A1 (en) * 2019-10-31 2021-05-06 The Goodyear Tire & Rubber Company Tire purchase method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101140418B1 (ko) * 2011-09-10 2012-05-03 알서포트 주식회사 스테이터스바 알림메시지 등록을 이용한 원격제어중 이동통신단말기의 화면전송 차단방법
WO2012138983A1 (en) * 2011-04-07 2012-10-11 Siemens Healthcare Diagnostics Inc. Methods for hierarchically identifying root cause errors

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456303B1 (en) * 1998-02-09 2002-09-24 Microsoft Corporation Method and system for access of online information
JP4921374B2 (ja) * 2006-03-27 2012-04-25 パナソニック株式会社 ユーザ支援装置および困惑状態判定装置
US7738860B2 (en) * 2006-05-31 2010-06-15 Sony Ericsson Mobile Communications Ab Controlling access to wireless communications device features based on user proficiency
US8453017B2 (en) * 2008-08-27 2013-05-28 Kyocera Document Solutions Inc. Electronic device saving selected error information and an error management system including such a device
JP5010634B2 (ja) * 2009-03-17 2012-08-29 株式会社東芝 移動体画像追尾装置
US20100241893A1 (en) * 2009-03-18 2010-09-23 Eric Friedman Interpretation and execution of a customizable database request using an extensible computer process and an available computing environment
US20110066924A1 (en) * 2009-09-06 2011-03-17 Dorso Gregory Communicating in a computer environment
TWI438675B (zh) * 2010-04-30 2014-05-21 Ibm 提供情境感知援助說明之方法、裝置及電腦程式產品
US8826451B2 (en) * 2010-08-16 2014-09-02 Salesforce.Com, Inc. Mechanism for facilitating communication authentication between cloud applications and on-premise applications
US9015536B1 (en) * 2011-08-31 2015-04-21 Amazon Technologies, Inc. Integration based anomaly detection service
US9262601B2 (en) * 2011-09-10 2016-02-16 Rsupport Co., Ltd. Method of blocking transmission of screen information of mobile communication terminal while performing remote control using registration of alert message in status bar
GB2507554A (en) * 2012-11-05 2014-05-07 Ibm Encoding diagnostic data in an error message for a computer program
US9053025B2 (en) * 2012-12-28 2015-06-09 Intel Corporation Apparatus and method for fast failure handling of instructions
US9053216B1 (en) * 2013-08-09 2015-06-09 Datto, Inc. CPU register assisted virtual machine screenshot capture timing apparatuses, methods and systems
US9396089B2 (en) * 2014-05-30 2016-07-19 Apple Inc. Activity tracing diagnostic systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012138983A1 (en) * 2011-04-07 2012-10-11 Siemens Healthcare Diagnostics Inc. Methods for hierarchically identifying root cause errors
KR101140418B1 (ko) * 2011-09-10 2012-05-03 알서포트 주식회사 스테이터스바 알림메시지 등록을 이용한 원격제어중 이동통신단말기의 화면전송 차단방법

Also Published As

Publication number Publication date
KR20170020090A (ko) 2017-02-22
FR3040096A1 (fr) 2017-02-17
CN106453817A (zh) 2017-02-22
EP3131274A1 (en) 2017-02-15
EP3131274B1 (en) 2019-01-23
US20170046214A1 (en) 2017-02-16
US10042689B2 (en) 2018-08-07

Similar Documents

Publication Publication Date Title
KR102082417B1 (ko) 이동 단말기 및 그 제어 방법
US10402070B2 (en) Mobile terminal and method for executing a control operation associated with a first application in a second application
US10372322B2 (en) Mobile terminal and method for controlling the same
US10019705B2 (en) Display device and controlling method thereof
US9826143B2 (en) Mobile terminal and control method thereof
US9692868B2 (en) Mobile terminal and control method for the mobile terminal
US9860411B2 (en) Mobile terminal and method of controlling the same
KR102605470B1 (ko) 이동 단말기 및 그 제어방법
US20170269800A1 (en) Mobile terminal and control method thereof
US20150205520A1 (en) Mobile terminal and method for controlling the same
CN106850938A (zh) 移动终端及其控制方法
CN106453817B (zh) 移动终端及其控制方法
EP3032751B1 (en) Mobile terminal and control method therefor
US11500533B2 (en) Mobile terminal for displaying a preview image to be captured by a camera and control method therefor
US20160014264A1 (en) Mobile terminal and control method for the mobile terminal
CN107637058A (zh) 移动终端及其控制方法
EP3122033A1 (en) Terminal device and controlling method thereof
EP2985687A2 (en) Mobile terminal and control method for the mobile terminal
US20180253717A1 (en) Terminal apparatus and control method for terminal apparatus
US9906773B2 (en) Mobile terminal and method for controlling the same
EP3113005A1 (en) Mobile terminal and method for controlling the same
EP3109747A1 (en) Mobile terminal and method for controlling the same
EP3282349B1 (en) Mobile terminal and method for controlling the same
EP3171579A2 (en) Mobile device and method of controlling therefor
KR20180022184A (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant