CN110168490B - 显示装置及其控制方法 - Google Patents

显示装置及其控制方法 Download PDF

Info

Publication number
CN110168490B
CN110168490B CN201780081813.XA CN201780081813A CN110168490B CN 110168490 B CN110168490 B CN 110168490B CN 201780081813 A CN201780081813 A CN 201780081813A CN 110168490 B CN110168490 B CN 110168490B
Authority
CN
China
Prior art keywords
user
touch screen
handwriting input
display
control command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780081813.XA
Other languages
English (en)
Other versions
CN110168490A (zh
Inventor
赵效莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110168490A publication Critical patent/CN110168490A/zh
Application granted granted Critical
Publication of CN110168490B publication Critical patent/CN110168490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Abstract

提供一种显示装置。显示装置包括：通信器，配置成与外部设备通信；触摸屏；以及处理器，配置成：响应于在待机模式下发生预设事件，控制触摸屏接收用户的手写输入，以及响应于通过触摸屏接收到用于控制外部设备的用户的手写输入，控制通信器将与手写输入对应的控制命令发送到外部设备。

Description

显示装置及其控制方法
技术领域
本公开涉及显示装置及其控制方法。更具体地，本公开涉及控制外部设备的操作的显示装置及其控制方法。
背景技术
由于电子通信技术的发展，正在开发和分布各种类型的电子设备。另外，用户可以以各种方式控制这些电子设备的操作。
例如，用户可以直接操作设置在电视(TV)本身上的按钮或使用遥控器控制电视的操作。另外，用户可以将TV遥控应用下载到智能手机上并通过智能手机控制TV的操作。这样，为了使现有用户控制特定设备，必须操作设备本身的按钮或遥控器，或执行应用。
在这种情况下，当用户直接操作设置在电子设备上的按钮时，如果电子设备是诸如TV的设置型设备，则对用户来说是不方便的，因为每当用户操作设备时，就要移动到相应设备安装的位置。当使用诸如遥控器的遥控设备时，分别操作每个设备的遥控器对用户来说可能是不方便的。
另外，即使是在诸如智能电话的一个设备中下载并使用用于控制各种设备的应用时，为了使用户控制特定设备，每当控制目标设备改变时，用户需要执行另一个应用，并且通过另一个执行的应用来控制设备，因此用户可能会感到不便。
即，即使在用于操作设备的电源的简单控制命令的情况下，例如，当通过智能电话打开电视的电源之后打开空调的电源时，用户在分别执行电视遥控应用和空调控制应用后，还需要通过相应的应用输入开机命令，用户可能会感到不便。
以上信息仅作为背景信息呈现以帮助理解本公开。至于上述任何是否可以适用于关于本公开的现有技术没有做出任何确定和断言。
发明内容
技术问题
本公开的各方面旨在解决至少上述问题和/或缺点，并提供至少下述优点。因此，本公开的一个方面是提供一种用于根据在待机模式下发生的事件通过手写输入控制外部设备的显示装置以及显示装置的控制方法。
问题的解决方案
根据本公开的一个方面，提供了一种显示装置。显示装置包括：通信器，配置成与外部设备通信；触摸屏；以及处理器，配置成：响应于在待机模式下发生预设事件，控制触摸屏接收用户的手写输入，以及响应于通过触摸屏接收到控制外部设备的用户的手写输入，控制通信器将与手写输入对应的控制命令发送至外部设备。
显示装置还可以包括存储器，存储器配置成存储设备专用控制命令信息，其中处理器配置成：响应于接收到手写输入，基于存储的设备专用控制命令信息，确定与手写输入匹配的控制目标设备和控制命令信息，以及控制通信器将确定的控制命令信息发送至确定的控制目标设备。
处理器可以通过在待机模式下向触摸屏的一部分供电来控制触摸屏显示对象，以及响应于选择所述对象，控制触摸屏接收用户的手写输入。
处理器可以控制触摸屏显示用于各控制目标设备的对象，响应于选择显示的对象中的一个对象，控制触摸屏接收用户的手写输入，以及响应于接收到手写输入，控制通信器将对应手写输入的控制命令发送至与选择的对象匹配的控制目标设备。
显示装置还可以包括传感器，传感器配置成感测笔的分离和附接，其中处理器可以响应于在待机模式下通过传感器感测到笔的分离，控制触摸屏接收手写输入，以及响应于在通过触摸屏接收到手写输入之后通过传感器感测到笔的附接，控制通信器将控制命令发送至外部设备。
显示装置可以包括按压型按钮，以及处理器配置成：响应于在待机模式下输入关于按压型按钮的预定操作，控制触摸屏接收手写输入。
触摸屏可以包括用于接收触摸输入的触摸面板和显示器，其中待机模式是响应于输入进入待机模式的用户命令或在预设时间未输入用户命令的模式，在待机模式下显示装置在触摸面板和显示器的至少一部分的电源被阻挡的状态下操作。
处理器配置成响应于接收到手写输入，在触摸屏上显示手写输入。
根据本公开的另一方面，提供了一种具有触摸屏的显示装置的控制方法。控制方法包括：使显示装置进入待机模式；响应于在待机模式下发生预设事件，控制触摸屏以接收用户的手写输入；以及响应于接收到用户的手写输入通过触摸屏控制外部设备，将与手写输入对应的控制命令发送至外部设备。
发送与手写输入对应的控制命令可以包括：响应于接收到的手写输入，基于存储在显示装置中的设备专用控制命令信息，确定与手写输入匹配的控制目标设备和控制命令信息；以及将确定的控制命令信息发送到确定的控制目标设备。
方法还可以包括：通过在待机模式下向触摸屏的一部分供电来显示对象，其中控制触摸屏包括：响应于选择显示的对象，控制触摸屏接收用户的手写输入。
显示对象可以包括显示用于各控制目标设备的对象，控制触摸屏包括响应于选择显示的对象中的一个对象，控制触摸屏接收用户的手写输入，以及发送与手写输入对应的控制命令包括：响应于接收到手写输入，将对应手写输入的控制命令发送到与选择的对象匹配的控制目标设备。
显示装置还可以包括传感器，传感器配置成感测笔的分离和附接，其中控制触摸屏可以包括：响应于在待机模式下通过传感器感测到笔的分离，控制触摸屏接收手写输入，其中发送可以包括：响应于在通过触摸屏接收到手写输入之后通过传感器感测到笔的附接，控制通信器将控制命令发送至外部设备。
显示装置可以包括按压型按钮，其中控制触摸屏可以包括：响应于在待机模式下输入关于按压型按钮的预定操作，控制触摸屏接收手写输入。
触摸屏可以包括用于接收触摸输入的触摸面板和显示器，其中待机模式是响应于输入进入待机模式的用户命令或在预设时间未输入用户命令的模式，其中在待机模式下显示装置在显示器和触摸面板的至少一部分的电源被阻挡的状态下操作。
发送还可以包括响应于接收到手写输入，在触摸屏上显示手写输入。
根据本公开的另一方面，提供了一种非暂时性计算机可读可记录介质。非暂时性计算机可读可记录介质包括用于执行包括触摸屏的显示装置的控制方法的程序，该方法包括使显示装置进入待机模式，响应于在待机模式下发生预设事件，控制触摸屏接收用户的手写输入，以及响应于接收到用户的手写输入通过触摸屏控制外部设备，将与手写输入对应的控制命令发送至外部设备。
有益效果
根据各种实施方式，用户可以通过显示装置直观地控制外部设备。因此，将改善用户便利性。
通过以下结合附图公开了本公开的各种实施方式的详细描述，本公开的其他方面、优点和显着特征对于本领域技术人员将变得显而易见。
附图说明
通过以下结合附图的描述，本公开的某些实施方式的以上和其他方面、特征和优点将更加显而易见，其中：
图1是根据本公开的实施方式的外部设备控制系统的视图；
图2是根据本公开的实施方式的显示装置的框图；
图3是根据本公开的实施方式的显示装置的框图；
图4A、4B和4C是描述根据本公开的实施方式的待机模式状态的各种视图；
图5A、5B、5C和5D是示出根据本公开的实施方式的、根据显示装置的笔的附接和分离的操作的各种视图；
图6A和6B是示出根据本公开的实施方式的、当在待机模式下显示的对象被选择时显示装置的操作的各种视图；
图7A和7B是示出根据本公开的实施方式的在待机模式状态下显示的对象的各种视图；
图8是示出根据本公开的实施方式的用于手写输入的显示装置的操作的视图；
图9A和9B是示出根据本公开的实施方式的显示装置与外部设备之间的通信方法的各种视图；
图10是根据本公开的实施方式的显示装置的详细框图；以及
图11是示出根据本公开的实施方式的显示装置的外部设备的控制方法的流程图。
在整个附图中，应该注意，相同的附图标记用于描绘相同或相似的元件、特征和结构。
具体实施方式
提供参考附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施方式。其包括各种具体细节以帮助理解，但这些细节仅被视为示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施方式进行各种改变和修改。另外，为了清楚和简明起见，可以省略对公知功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚且一致地理解本公开。因此，对于本领域技术人员来说显而易见的是，提供本公开的各种实施方式的以下描述仅用于说明目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
应理解，除非上下文另有明确指示，否则单数形式“一”、“一个”和“该”包括复数指示物。因此，例如，对“部件表面”的引用包括对一个或多个这样的表面的引用。
诸如“第一”、“第二”等术语可用于描述各种元件，但这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一个元件。
除非另有说明，否则单数表述包括复数表述。应理解，诸如“包括”或“由...组成”的措辞在本文中用于表示特征、数量、操作、元件、部件或其组合的存在，并且不排除添加一个或多个其他特征、数量、操作、元件、部件或其组合的存在或可能性。
在本公开的各种实施方式中，“模块”或“单元”可以执行至少一个功能或操作，并且可以实现为硬件(例如，电路)或软件，或者实现为硬件和软件的组合。此外，除了必须实现为硬件(例如，专用处理器)的“模块”或“单元”之外，可以将多个“模块”或多个“单元”集成到至少一个模块中并实现为至少一个处理器。
图1是根据本公开的实施方式的外部设备控制系统的视图。
参考图1，外部设备控制系统10可以包括显示装置100和外部设备200。
显示装置100包括触摸屏，并且可以通过在触摸屏上以手写输入控制命令来控制外部设备200的操作。
例如，当显示装置100在待机模式下操作时，当用户取出附接至显示装置100的笔50时，显示装置100可以控制触摸屏以接收用户的手写输入。
在本文中，待机模式指示当输入进入待机模式的用户命令或者在预定时间内没有用户命令输入时显示装置100进入的操作模式，并且显示装置100可以切断电源，或者向构成显示装置100的配置的至少一部分提供低功率，以降低功耗。
以这种方式，待机模式有时在功率方面被称作低功率模式，因为在待机模式下待机电源被切断或者低功率电源被供应到显示装置100的一部分。在本公开中，为了根据显示装置100的触摸屏的状态来区分操作模式，使用措辞待机模式。
具体地，根据实施方式，显示装置100可以在待机模式下切断触摸屏的至少一部分区域的电源。
例如，当用户没有对显示装置100进行操作经过了预定时间时，显示装置100可以通过切断触摸屏的整体电源来进入待机模式。以这种方式，即使用户向触摸屏输入手写输入，除非正常接听电话或者根据在待机模式下的单独的用户操作释放待机模式，其中在待机模式下触摸屏的所有电源都被阻挡，否则将不会接收到手写输入。
然而，根据本公开的一个实施方式，当在待机模式下感测到笔50的分离时，显示装置100控制触摸屏以接收用户的手写输入，并且显示装置100可以识别在屏幕上输入的用户的手写输入，并将识别的控制命令发送至外部设备200。
同时，通过触摸屏接收的用户的手写输入与简单的触摸输入不同，诸如选择在触摸屏上显示的对象。通过在触摸屏上输入字符、符号和图形来执行手写输入。可以通过用户的手指或各种触摸笔输入用户的手写输入。
图1示出了当显示装置100处于待机模式时，用户使用笔50在触摸屏上写入控制命令“TV ON”的状态。
在本文中，可以看出用户的手写输入包括控制目标设备的名称和控制命令。因此，显示装置100可以识别用户的手写输入，确定控制目标设备和控制命令，并将确定的控制命令发送给确定的控制目标设备。
参考图1，显示装置100可以识别用户的手写输入“TV ON”，确定控制目标设备为外部设备200，并确定控制命令为“通电”。因此，显示装置100可以将诸如通电的控制命令发送至外部设备200。
因此，从显示装置100接收通电命令的外部设备200可以接通电源。
在图1的示例中，显示装置100是智能电话，但是本公开不限于此。例如，显示装置100可以被实现为可以与外部设备通信并具有触摸屏的所有设备，例如平板电脑、笔记本电脑、智能时钟、动态图像专家组格式1或格式2(MPEG-1或MPEG-2)音频层-3(MP3)播放器、电子书、相机、便携式摄像机、游戏机、个人数字助理(PDA)、项目管理专家(PMP)等。
外部设备200不限于电视(TV)，而可以是能够从显示装置100接收控制命令并执行控制命令的所有设备，例如个人计算机(PC)、笔记本、条形音箱、自助服务终端、大型显示器(LFD)、桌面显示器、电子相框、空调、洗衣机、真空吸尘器、冰箱、烹饪设备、照明设备和智能车。
另外，图1示出了从显示装置100发送到外部设备200的控制命令是通电命令的情况，控制命令不限于外部设备200的通电或断电。例如，根据外部设备200的类型、可以在外部设备200中执行的在电视中诸如音量增大/减小的所有功能、风量增大/减小、点亮/关闭、以及设置洗衣机的洗涤时间等可以是控制命令。
在下文中，描述了外部设备200是TV，并且控制命令是通过各种实施方式通电。
图2是根据本公开的实施方式的显示装置的框图。
参考图2，显示装置100可以包括通信器110、处理器120和触摸屏130。
通信器110执行与外部设备200的通信。为此，通信器110可以通过各种有线和无线通信方法执行与外部设备200的通信。
具体地，通信器110可以接收处理器120的控制，并将与手写输入对应的控制命令发送至外部设备200。
例如，通信器110可以通过外部服务器(未示出)连接到外部设备200以将控制命令发送至外部设备200，或者可以经由外部服务器将控制命令发送到外部设备200。通信器110可以将控制命令直接发送至外部设备200，以及通过外部服务器(未示出)将控制命令发送到外部设备200。这将在后面参考图9A和9B更详细地描述。
触摸屏130可以接收用户的触摸输入，并且可以显示图形或图像。具体地，触摸屏130可以接收处理器120的控制以在待机模式下在区域的一部分上显示对象并且接收用户触摸输入以选择对象。为此，触摸屏130可以由处理器120控制以按区域操作。
当在待机模式下发生预定事件时，触摸屏130可以在处理器120的控制下接收用户的手写输入。用户的手写输入是通过用户在触摸屏130上书写字符、符号或图形而输入的触摸输入，并且与用户的用于对象选择的触摸输入相区分。
同时，当接收到用户的触摸输入时，触摸屏130可以将与接收到的触摸输入对应的触摸屏130上的坐标信息提供给处理器120。
处理器120控制显示装置100的整体操作。具体地，当在待机模式下预定事件发生时处理器120可以控制触摸屏130接收用户的手写输入。
例如，如果输入进入待机模式的用户命令或在预设时间没有输入用户命令，则处理器120控制显示装置100以在待机模式下操作显示装置100。具体地，根据本公开的一个实施方式，处理器120可以切断供应至触摸屏130的所有电源，以使显示装置100在待机模式下运行。在这种情况下，触摸屏130的屏幕在待机模式下关闭，并且即使用户触摸触摸屏，也不接收触摸输入。
当预定事件发生时，处理器120可以控制触摸屏130以接收用户的手写输入。具体地，处理器120可以通过接通供应至触摸屏的电源来控制触摸屏130接收在触摸屏130上输入的用户的手写输入。
根据本公开的另一实施方式，处理器120可以通过在待机模式下向触摸屏130的一部分施加电力来显示对象。即，如果输入了用于进入待机模式的用户命令或者在预定时间内没有输入用户命令，则处理器120控制触摸屏130仅在触摸屏130的整个区域中的显示对象的区域操作。因此，对象可以在待机模式下显示在触摸屏130的部分区域中，并且当用户选择对象时，处理器120可以控制触摸屏130接收用户的手写输入。
在这种情况下，当输入用于进入待机模式的用户命令或者在预设时间内没有输入用户命令时，在待机模式下显示在触摸屏130上的对象是触摸屏130的一部分，并且可以是与待控制的外部设备200对应的图标，但不限于此。
因此，当接收到用户的手写输入以通过触摸屏130控制外部设备200时，处理器120可以控制通信器110将与手写输入对应的控制命令发送至外部设备200。
具体地，处理器120可以识别用户的手写输入。例如，如果根据用户输入的手写顺序从触摸屏130提供x、y坐标信息，则处理器120可以基于提供的x、y坐标信息和存储的模型模式信息确定与用户的手写输入对应的字符、符号或图形。然而，处理器120识别用户的手写输入的方式不限于此，并且可以通过使用各种其他手写识别技术来识别用户的手写输入。同时，由于处理器120识别用户的手写输入的具体方法与本公开的主旨无关，因此将省略详细描述。
用户的手写输入包括关于用户要控制的外部设备的控制命令信息，即控制目标设备的信息，诸如控制目标设备的类型和名称，并且可以体现为字符、符号或图形。此外，显示装置100可以存储每个设备的控制命令信息(或设备专用控制命令信息)。因此，当识别出用户的手写输入时，处理器120基于识别出的手写输入信息和存储的每个设备的控制命令信息(或设备专用控制命令信息)确定作为控制目标设备的外部设备200和与手写输入信息匹配的控制命令，并将控制命令发送到确定为控制目标设备的外部设备200。
同时，如上所述，当在待机模式下显示对象时，处理器120可以根据实施方式控制触摸屏130显示每个控制目标设备的对象。在这种情况下，用户的手写输入可以是仅包括与可以在被确定为控制目标设备的外部设备200中执行的功能有关的控制命令信息的字符。在该实施方式中，用户选择在触摸屏130上显示的对象之一而不必手动输入控制目标设备，并选择要向其发送控制命令的被确定为控制目标设备的外部设备200。因此，当选择在触摸屏130上显示的对象之一时，处理器120控制触摸屏130以接收用户的手写输入，当接收到手写输入时，对应于所接收的手写输入的控制命令是确定的，并且可以发送与所选择的对象匹配的确定为用于控制目标设备的控制命令。
此外，当在待机模式下显示对象时，处理器120可以根据实施方式根据控制目标设备的类型而不是控制目标设备显示对象。另一方面，在这种情况下，可以存在多个相同种类的设备。用户可以使用用户的手写输入来区分包括在相同种类中的多个设备。稍后将参考图7A和7B描述其进一步的详细示例。
根据本公开的实施方式，当存在用于将控制命令发送到被确定为控制目标设备的外部设备200的单独用户命令时，处理器120可以将控制命令发送到被确定为控制目标设备的外部设备200。稍后将描述用于将控制命令发送到被确定为控制目标设备的外部设备200的用户命令的具体示例。
图3是根据本公开的实施方式的显示装置的框图。
参考图3，显示装置100-1可以包括通信器110、处理器120、触摸屏130、存储器140、传感器151和按钮161。在图3的描述中，将省略与参考图2描述的配置的相同配置的重复描述。显示装置100-1可以是显示装置100。
触摸屏130可以包括触摸面板131和显示器132。触摸面板131包括用各种方法图案化的多个触摸传感器，并通过感测用户的触摸向处理器120提供坐标信息。
具体地，在待机模式下，触摸面板131可以由处理器120操作以接收用户触摸输入，用于仅在整个区域的一些区域中(例如，仅在特定对象被显示的区域中)选择对象。另外，触摸面板131可以由处理器120控制，以当在待机模式下发生预设事件时在整个区域中接收用户的手写输入。
预定事件可以是传感器151在触摸屏130的整个电源被切断的待机模式下(在下文中，称作第一待机模式)感测笔的分离的事件，或者是预定用户操作被输入到按钮161的事件。在将低功率电源提供给触摸屏130的一部分并显示特定对象的待机模式下(在下文中，称作第二待机模式)，特定对象可以由用户选择。
显示器132显示屏幕。在本文中，屏幕可以包括回放诸如图像、视频、文本和音乐的各种内容的屏幕、包括各种内容的应用执行屏幕、以及各种图形用户界面(GUI)屏幕等。
具体地，显示器132可以通过在第二待机模式下向区域的一部分供应低功率来显示对象。在这种情况下，对象可以是与要控制的设备对应的图标，但是本公开不限于此。例如，各种小部件屏幕(例如，天气、生活信息、日程管理、闹钟、备忘录等)。当显示装置100-1在除待机模式之外的环境下由用户进入待机模式时，在第二待机模式下显示的对象可以显示在显示器132上。
为此目的，显示器132可以实现为各种显示器，诸如液晶显示器、薄膜晶体管-液晶显示器、有机发光二极管、柔性显示器、三维显示器(3D显示器)等。
另外，显示器132可以具有与触摸面板131相同的层结构，但是不限于此。
传感器151感测笔50的附接和分离。具体地，传感器151可以检测笔50在显示装置100-1中的附接和分离。此时，笔50可以包括各种触摸笔，诸如有源型、无源型、静电型和压敏型。
例如，显示装置100-1可以包括用于容纳触摸笔50的空间。用户可以拉出插入存储空间中的笔50并使用笔50，可以再次将笔存储在存储空间中。此时，当用户从存储空间中拉出笔50时，传感器151感测笔50与显示装置100-1的分离。当笔50再次插入存储空间时，传感器151可以检测到笔50与显示装置100-1的附接。
这样，传感器151可以感测笔50的分离和附接，并向处理器120提供感测信号。
按钮161是设置在显示装置100-1中的用户界面，以接收用户的操作。例如，当按钮161是按压型时，用户可以通过按下按钮161的操作向显示装置100输入用户命令。
根据本公开的一个实施方式，当预定操作在待机模式下被输入到按钮161时，处理器120可以控制触摸屏130接收用户的手写输入。因此，对按钮161的类型没有限制。即使过去指定了特定功能的按钮，如果按钮的操作被不同地限定，按钮也可以在根据本公开的各种实施方式中使用。
例如，按钮161可以是电源按钮、主页按钮或音量按钮。根据显示装置100-1的类型提供的其他按钮可以是根据本公开的实施方式的按钮161。按钮的类型不限于按压型，并且不存在限制。此外，可以在显示装置100-1中提供根据本公开的用于操作的单独按钮。
存储器140可以存储用于显示装置100-1的操作的各种程序和数据。具体地，存储器140可以存储设备专用控制命令信息。设备专用控制命令信息可以是通过匹配用于每个设备的可以由外部设备200执行的功能的一组命令而获得的信息。可以通过与设备通信直接从外部设备接收和存储设备专用控制命令信息，或者可以从管理设备专用控制命令信息的服务器接收并存储设备专用控制命令信息。
同时，根据本公开的一个实施方式，存储器140可以存储设备专用远程控制应用。例如，存储器140可以为每个设备存储远程控制应用。还可以从相应的设备直接接收设备专用远程控制应用，以及从管理设备专用远程控制应用的单独服务器存储或接收设备专用远程控制应用。由于远程控制应用包括设备的控制命令信息，因此设备专用远程控制应用也可以包括在根据本公开的实施方式的设备专用控制命令信息的概念中。处理器120可以提取包括在远程控制应用中的控制命令信息，并且为每个设备单独地生成和存储控制命令信息。
存储器140可以实现为随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)或固态驱动器(SSD)。
如上面参考图2所述，通信器110可以通过各种类型的无线通信方法与外部设备200通信。具体地，通信器110可以从外部设备200接收控制命令信息，例如，远程控制应用。此外，通信器110可以与管理设备专用远程控制应用的单独服务器通信，以接收用于特定设备的远程控制应用。
处理器120控制显示装置100-1的整体操作。根据本公开的一个实施方式，当在第一待机模式下经由传感器151检测到笔50的分离时，处理器120可以控制触摸屏130以接收用户的手写输入。当通过触摸屏130接收到手写输入并且之后通过传感器151检测到笔50的附接时，处理器120可以控制通信器110将控制命令发送到外部设备200。
具体地，在第一待机模式中，切断触摸面板131和显示器132的电源，并且不接收用户的触摸输入。当用户在第一待机模式下拉出笔50时，传感器151感测笔50的分离并向处理器120提供感测信号。因此，处理器120控制触摸屏130以使得用户的手写输入可以被接收。具体地，处理器120可以向触摸面板131供电以接收用户手写输入。
根据本公开的一种实施方式，当处理器120接收用户的手写输入时，处理器120可以在触摸屏130上显示所接收的手写输入。具体地，处理器120还可以向显示器132供电以在触摸屏130上显示用户的手写输入。然而，根据实施方式，处理器120可以通过触摸面板131接收用户的手写输入，但是仍然可以切断供应至显示器132的电源，使得用户的手写输入不显示在触摸屏130上。
如上所述，当接收到用户的手写输入时，处理器120可以识别手写输入，将识别的手写输入与存储在存储器140中的设备专用控制命令信息进行比较，以确定控制目标设备和控制命令信息。然后，当用户再次将笔50插入显示装置100-1的存储空间时，传感器151感测笔50的附接并向处理器120提供检测信号。因此，处理器120可以控制通信器110将确定的控制命令发送到被确定为控制目标设备的外部设备200。
应当理解，即使未检测到笔50的附接，处理器120也可以将控制命令发送到被确定为控制目标设备的外部设备200。例如，处理器120可以在笔50断开连接之后的特定时间段内没有接收到用户的手写输入时发送控制命令。在不同的用户操作的情况下，例如，在手写输入后轻击触摸屏两次或按下特定图案或按钮，处理器120可以控制通信器110发送控制命令。
根据另一实施方式，当预定的用户操作在待机模式下被输入到按钮161时，处理器120可以控制触摸屏130接收用户的手写输入。
例如，在第一待机模式或第二待机模式中，当用户通过使用按钮161按下主页按钮或音量按钮超过预定时间或者以预定频率反复按下电源按钮时，处理器120可以控制触摸屏130接收用户的手写输入。
因此，当接收到用户的手写输入时，处理器120可以如上所述确定控制目标设备和控制命令信息，并且将确定的控制命令发送到被确定为控制目标设备的外部设备200。例如，处理器120可以根据实施方式在触摸屏130上显示或不显示用户的手写输入，并且当存在用户的特定操作命令(诸如在用户手写输入之后以预定的次数轻击触摸屏130)时，发送控制命令信息。
根据另一实施方式，当在第二待机模式中选择在触摸屏130上显示的对象时，处理器120可以控制触摸屏130接收用户的手写输入。
具体地，处理器120可以在第二待机模式下仅向将显示对象的显示器132的区域提供低功率电源，并且可以向触摸面板131发送电力以仅接收显示对象的区域的触摸输入。因此，可以通过触摸屏130选择在第二待机模式下显示的对象，并且当选择对象时，处理器120可以控制触摸面板131以接收用户的手写输入。
在下文中，参考图4A至图4C、图5A至图5D、图6A和图6B、图7A和图7B、图8、图9A和图9B中所示的示例，将进一步描述根据各种实施方式的显示装置100的操作。
图4A、4B和4C是用于描述根据本公开的实施方式的待机模式的各种图示。
图4A示出了显示装置100在正常模式下操作的示例。正常模式指的是显示装置100在除如上所述的待机模式之外的状态下操作的情况。在正常模式下，正常驱动功率被供应至整个触摸屏130。如图4A所示，在正常模式下，可以在触摸屏130上显示与各种应用对应的对象，并且用户可以选择对象并执行与对象匹配的应用。例如，当用户触摸图4中的相机图标40时，显示装置100执行相机应用，并且执行相机应用的状态也使显示装置100以正常模式操作。
这样，当显示装置100在正常模式下操作时，当输入进入待机模式的用户命令或者在预定时间内没有用户命令输入时，显示装置100可以进入待机模式。
参考图4A，当显示装置100在正常模式下操作时，当用户按下电源开/关按钮161-1一次，或者在预定时间内显示装置100中没有用户操作时，显示装置100可以关闭触摸屏130的电源以进入第一待机模式，如图4B所示。如上所述，由于第一待机模式是触摸屏130的整个电源被切断的状态，因此在触摸屏130的显示器132上不显示任何内容。即，在第一待机模式中，显示器132的所有背光或所有发光二极管(LED)都被关闭，用户看到黑屏。另外，在第一待机模式中，由于供应至触摸面板131的所有电源也被切断，因此不接收用户的触摸输入。
同时，根据本公开的一个实施方式，当显示装置100在如图4A中所示的正常模式下操作，当用户按下电源开/关按钮161-1一次，或者在预定时间内没有操作时，显示装置100可以进入第二待机模式，如图4C所示。
如上所述，在第二待机模式中，显示装置100可以通过向触摸屏130的一部分供应低功率电源来显示对象。根据本公开的实施方式，对象包括与控制目标设备的类型对应的GUI或图标，或控制目标设备。然而，根据实施方式，可以在第二待机模式下显示的对象不限于此，并且可以在触摸屏130的一个区域中将各种小部件UI显示为对象。如果显示装置100进入第二待机模式，则可以在正常模式下设置对象1和2，使得对象显示在触摸屏130的一个区域中。
参考图4C，可以看出在第二待机模式下在触摸屏130上显示两个对象1和对象2。对象1示出了时间小部件UI的示例，而对象2示出了与作为外部设备的TV对应的GUI的示例。此时，可以通过向触摸屏130的一个区域提供低功率来显示对象1和对象2，并且可以以单色显示，以便降低功耗。如稍后将描述的，用户可以选择对象2并在触摸屏130上输入手写输入以控制外部设备200。
根据实施方式，显示装置100可以根据时间改变在第二待机模式下显示的对象1和对象2的位置。因此，可以克服老化问题。
在图4A至图4C的示例中，作为显示装置100进入待机模式的用户命令，例示了用户按下电源按钮161-1一次的操作命令，但是本公开不限于此，并且显示装置100可以通过用户的其他操作进入待机状态。例如，显示装置100可以配置成检测用户的移动、显示装置100的移动、用户的语音、周围的亮度等。
图5A至图5D是示出当移除笔50时根据本公开的实施方式的显示装置100的操作的视图。
根据本公开的一个实施方式，当检测到笔50的分离时，如图5B所示，显示装置100通过触摸屏130显示用户的手写输入。因此，用户可以在触摸屏130上手动输入命令“TV ON”以打开电视，如图5C所示。显示装置100可以识别用户的手写输入，并通过与先前存储的控制命令信息进行匹配来确定作为控制目标设备的外部设备200和控制命令。在图5A至图5D的示例中，控制目标设备是“TV 200”并且控制命令被确定为“通电”。
根据本公开的一个实施方式，当用户将笔50重新插入显示装置100中时，即，当检测到笔50附接到显示装置100时，显示装置100可以将控制命令发送到被确定为控制目标设备的外部设备200。即，如图5D所示，当用户在手写输入之后将笔50插入到显示装置100中并检测到笔50的附接时，显示装置100可以向外部设备200发送通电命令。
然而，本公开不限于在用户手写输入之后触发显示装置100将控制命令发送到控制目标设备的实施方式。根据实施方式，当确定被确定为控制目标设备的外部设备200和控制命令时，显示装置100可以自动地向外部设备200发送通电命令。此外，当用户的手写输入完成并且预定时间已经经过时，显示装置100可以向外部设备200发送通电命令。
此外，当输入除了笔50的附接之外的预定用户命令时，显示装置100可以向外部设备200发送通电命令。例如，当在用户的手写输入之后在触摸屏130上连续两次接收到轻击输入时，显示装置100可以向外部设备200发送通电命令。此外，当在用户的手写输入之后将预定操作输入到电源按钮161-1或主页按钮161-2时，显示装置100可以向外部设备200发送通电命令。另外，当用户输入语音命令以在外部设备200上标记(tag)显示装置100或发送控制命令时，或者当显示装置100朝向外部设备200进行移动时，显示装置100可以向外部设备200发送通电命令。
根据本公开的另一实施方式，当在第一待机模式下将预定用户操作输入到按钮161时，显示装置100可以控制触摸屏130以接收用户手写输入。即，例如，如图5A所示，当用户在第一待机模式下长按主页按钮161-2或者长按音量按钮(未示出)时，显示装置100可以处于用户可以通过触摸屏130接收用户手写输入的状态。因此，如图5C所示，在触摸屏130上输入使外部设备200通电的控制命令，显示装置100可以将通电命令发送到TV 200。
图6A和6B是示出根据本公开的实施方式的当在待机模式下显示的对象被选择时显示装置100的操作的各种视图。
图6A示出了在第二待机模式下显示对应于外部设备200的对象2的状态。此时，如果用户触摸并选择对象2，则显示装置100可以控制触摸屏130以接收用户的手写输入。可以从触摸屏130删除所选对象2。
因此，如图6B所示，当手写用于接通触摸屏130上的外部设备200的电源的控制命令“ON”时，显示装置100可以向TV 200发送通电命令。
在本文中，可以看出图6B中的手写输入与图5C中的手写输入不同。这是因为，当在第二待机模式下选择对象并且手写控制命令时，可以根据对象的选择来指定要向其发送控制命令的控制目标设备。然而，即使在第二待机模式下选择了对象时，用户也可以在包括控制目标设备的触摸屏130上书写如图5C所示的“TV ON”。不用说，可以将通电命令发送到外部设备200。
相反，当触摸屏130响应于在第一待机模式下发生的预定事件而接收用户的手写输入时，用户必须输入包括关于控制目标设备的信息的字符等以及作为手写输入的控制命令。
图7A和图7B是示出根据本公开的实施方式的在第二待机模式下由显示装置100在触摸屏130上显示多个对象的情况的各种视图。
根据实施方式，显示装置100可以在第二待机模式下通过控制目标设备或控制目标设备的类型来显示对象。
例如，如果显示装置100存储用于TV 1、TV 2、空调和照明的控制命令信息，则TV1、TV 2、空调和照明的对象被设置为在第二待机模式下显示的正常模式，显示装置100可以显示对应于如图7A所示的各个设备的对象2-1、对象2-2、对象3和对象4。
可以由用户选择在第二待机模式下显示的这些对象2-1、对象2-2、对象3和对象4，并且当用户选择其中之一时，显示装置100可以控制触摸屏130以接收用户的手写输入。例如，用户可以选择对象2-2以打开TV 2并将诸如“ON”的控制命令手写到触摸屏130。
图7B示出了显示装置100根据要控制的设备的类型显示对象的示例。即，如图7B所示，显示装置100可以将与相同类型的设备的TV 1和TV 2对应的对象显示为一个对象2。在这种情况下，为了打开TV 2的电源，用户必须选择对象2并在触摸屏130上手写控制目标设备的名称以及控制命令，例如“TV2ON”。
更不用说，在第二待机模式下显示的对象的类型不限于图7A和7B中所示的那些。例如，对象2、对象3和对象4可以分别以表示TV、空调、灯的缩略图或图标的形式显示。
图8是示出根据本公开的实施方式的手写输入期间的显示装置的操作的图示。图8示出了通过触摸屏130接收用户的手写输入“TV ON”但未显示的状态。
即，如图5C、图5D和图6B所示，当由于在待机模式下发生预设事件而通过触摸屏130接收到用户的手写输入时，用户的手写输入可以显示在触摸屏130上，但是可以如图8所示不在触摸屏130上显示。
例如，显示装置100向触摸屏配置的触摸面板131供电以接收来自用户的手写输入，并切断提供给显示器132的电力，从而不显示用户的手写输入。
图9A和9B示出了根据本公开的实施方式的显示装置100和外部设备200彼此通信的示例。具体而言，图9A示出了显示装置100和外部设备(即，要控制的设备200)通过服务器300彼此通信的情况。
服务器300可以存储/更新/管理每个设备的控制命令信息，并且将每个设备的控制命令信息提供给显示装置100。例如，服务器300可以从外部设备200接收外部设备200的控制命令集，并且可以通过与外部设备200匹配，将控制命令集存储为外部设备200的控制命令信息。以此方式，服务器300可以从各种外部设备接收控制命令集，将它们存储为与各个设备匹配，并管理每个设备的控制命令信息。因此，服务器300可以向显示装置100提供每个设备的控制命令信息。此时，服务器300可以仅将通过用户的账户注册的每个设备的控制命令信息提供给通过账户注册的显示装置100。
根据实施方式，服务器300可以从管理每个设备的控制命令信息的单独服务器(未示出)获取用于各种外部设备的控制命令信息，并将控制命令信息提供给显示装置100，以及显示装置100可以直接从单独的服务器(未示出)获取每个设备的控制命令信息。另一方面，如上所述，设备专用控制命令信息可以是设备专用遥控应用。
如果从显示装置100接收到关于控制目标设备的信息和控制命令信息，则服务器300可以将控制命令发送到被确定为控制目标设备的外部设备200。例如，当通过账户从显示装置100接收到控制目标设备的识别信息和控制命令信息时，服务器300可以将控制命令发送到在账户中注册的外部设备中的匹配外部设备。因此，显示装置100可以通过服务器300获取外部设备200的控制命令信息，并且可以将控制命令发送到连接至服务器300的控制目标设备。
在这种情况下，用户可能首先需要通过账户在服务器300中注册显示装置100和外部设备200。同时，在上述实施方式中，不用说，单独的账户管理服务器(未示出)可以用于用户的账户管理。
图9B示出了根据本公开的实施方式的显示装置100将直接控制命令发送至外部设备200的示例。根据图9B，显示装置100可以将直接控制命令发送至被确定为控制目标设备的外部设备200。
具体地，显示装置100可以使用诸如Wi-Fi对等网络(P2P)、蓝牙(BT)和近场通信(NFC)等的各种近场通信方法与外部设备200通信以将控制命令发送至外部设备200。
例如，当显示装置100和外部设备200经由Wi-Fi P2P或BT方法彼此通信时，显示装置100可以执行设备之间的配对并将控制命令发送至外部设备200。
如果显示装置100和外部设备200通过NFC方法彼此通信，则当显示装置100和外部设备200彼此接触或接近预定距离或更多时，显示装置100可以将控制命令发送至外部设备200。在这种情况下，由于通过将显示装置100标记到作为控制目标设备的外部设备200的操作来指定要向其发送控制命令的设备，因此不必在用户的手写输入中描述关于控制目标设备的信息。
图10是根据本公开的实施方式的显示装置的详细框图。
参考图10，显示装置100-2可以包括通信器110、处理器120、显示器132、存储器140、感测单元150、用户输入单元160、音频输出器180和相机190。在图10的描述中，省略了与上述相同部件的重复描述。显示装置100-2可以是显示装置100或显示装置100-1。
图10是示出可以包括在显示装置100-2中的各种部件的示意图。因此，根据实施方式，图10中所示的一些部件可以省略或改变，并且可以进一步添加其他部件。例如，用户输入单元160的显示器132和触摸面板131可以具有相互的层结构以形成一个触摸屏130，部件的组合可以实现为一个芯片或模块，或者每个部件可以被分成几个部件。
通信器110与外部设备200通信。具体地，通信器110可以通过外部服务器300与外部设备200通信，或者可以直接与外部设备200通信。
为此，通信器110可以包括短程通信模块111和无线通信模块112。短程通信模块111是用于与显示装置100-2和位于非常靠近无线设备的至少一个外部设备200执行短程通信的配置。具体地，短程通信模块111包括BT模块、红外数据协议(IrDA)模块、NFC模块、Wi-Fi模块或Zigbee模块中的至少一个。
无线通信模块112是根据诸如Wi-Fi、电气和电子工程师协会(IEEE)等无线通信协议连接到外部网络的模块，并且与外部服务器300通信。另外，无线通信模块112还可以包括移动通信模块，用于根据诸如第三代(3G)、第三代合作伙伴计划(3GPP)和长期演进(LTE)等各种移动通信标准通过接入移动通信网络来执行通信。
通信器110还可以包括连接器(未示出)，连接器包括诸如高清晰度多媒体接口(HDMI)、通用串行总线(USB)、IEEE 1394等的有线通信模块(未示出)中的至少一个。
感测单元150可以感测笔50的附接和分离、显示装置100-2的移动和环境亮度，并且向处理器120提供感测信号。感测单元150可以包括笔附接和分离传感器151、运动传感器152和照度传感器153。
笔附接和分离传感器151可以检测触摸笔50从显示装置100-2的分离和附接，并将感测信号发送到处理器120。
运动传感器152可以检测显示装置的位置或移动，并将感测到的移动信号提供给处理器120。
为此，运动传感器152可以包括加速度传感器(未示出)、陀螺仪传感器(未示出)或地磁传感器(未示出)中的至少一个。加速度传感器(未示出)是测量显示装置100-2的空间运动的传感器。即，加速度传感器(未示出)可以感测当用户移动显示装置100-2时发生的加速度变化或加速度变化中的至少一个。在本文中，加速度传感器(未示出)可以实现为三轴加速度传感器，其测量相对于三个相互正交的轴的线速度的增加和减少。陀螺仪传感器(未示出)是惯性传感器，其测量显示装置100-2的旋转角速度。即，其意味着传感器能够通过使用旋转物体的惯性力来识别旋转的方向和速度。陀螺仪传感器可以实现为三轴角速度传感器，其测量相对于三个相互正交的轴的旋转角度的增大和减小。地磁传感器(未示出)是用于测量方位角的传感器。即，地磁传感器(未示出)是指通过感测在地球的南北方向上形成的磁场来测量方位角的传感器。在本文中，地磁传感器(未示出)可以实现为三轴地磁传感器，其测量相对于三个相互正交的轴的磁强度和方向。
照度传感器153可以感测显示装置100-2的环境亮度并将感测到的信号提供给处理器120。
处理器120可以使用由感测单元150检测到的各种信号根据本公开的各种实施方式执行各种操作。即，处理器120可以控制触摸面板131，使得显示装置100-2进入待机模式，或者在待机模式下接收用户的手写输入，或者使用控制命令作为用于将控制命令发送至控制目标设备的触发信号。
用户输入单元160是用户输入接口，用于接收用户的各种操作命令并将命令发送到处理器120。用户输入单元160可以包括按钮161、触摸面板131和麦克风162。
按钮161可以包括用于打开或关闭显示装置100-2的电源按钮161-1、用于返回到主屏幕的主页按钮161-2，以及音量按钮(未示出)，音量按钮用于控制通过音频输出器180再现的各种音频声音的音量，诸如呼叫音、闹铃声、电话铃声、音乐内容等。根据实施方式，按钮161可以是构成包括数字键和字符键的键盘的按钮。按钮161包括用于打开/关闭显示装置100-2电源的电源按钮161-1、用于返回到主屏幕的主页按钮161-2、以及用于控制通过音频输出器180再现的各种音频音量的音量按钮(未示出)。另外，根据实施方式，按钮161可以是构成具有数字键、字符键等的键盘的一个按钮。
同时，如上所述，当除了用于执行分配给按钮161的上述基本功能的用户操作之外的另一预定义操作在待机模式下被输入至按钮161时，处理器120可以控制触摸屏130接收用户手写输入。
触摸面板131接收用户触摸输入。触摸面板131例如可以使用用户身体的一部分或电子笔50来接收触摸、手势、接近或悬停输入。
更具体地，触摸面板131可以包括多个图案化的触摸传感器(未示出)。此时，触摸传感器(未示出)可以实现为静电型或压敏型。静电触摸传感器使用涂覆在显示装置100-2的表面上的电介质，使得当用户的身体部位或触摸笔50触摸显示装置100-2的表面时，通过感测由激发光激发的微电流来计算触摸坐标。压敏型触摸传感器包括内置在显示装置100-2中的两个电极板。当用户触摸触摸点的上下板时，压敏型触摸传感器感测电流流动并计算触摸坐标。另外，红外感测方法、表面超声波传导方法、积分张力测量方法、压电效应方法等可以用于检测触摸操作，并且将省略其详细描述。
麦克风162可以接收从外部声源生成的各种音频信号，并将信号转换为电信号。具体地，麦克风162可以接收用户的语音命令。
根据实施方式，用户输入单元160还可以包括接近传感器(未示出)和用于接收用户手写输入的触摸面板131。
例如，显示器132可以显示各种内容(例如：文本、图像、视频、图标或符号等)。显示器132可以与触摸面板131一起构成触摸屏130。
相机190可以根据用户命令拍摄诸如静止图像和运动图像的各种图像。相机190包括镜头和图像传感器，并且可以设置在显示装置100-2的前表面或后表面上。同时，根据实施方式，处理器120可以使用通过相机190的镜头输入的图像来分析用户的动作或识别周围环境。
信号处理器170可以在处理器120的控制下处理通过通信器110从外部接收的或者存储在存储器140中的各种内容的图像数据和音频数据。具体地，信号处理器170可以对包括在内容中的图像数据执行各种图像处理，诸如解码、缩放、噪声滤波、帧速率转换和分辨率转换。信号处理器170对包括在内容中的音频数据执行各种音频信号处理，诸如解码、放大、噪声滤波等，并且处理后的音频数据被输出到音频输出器(例如，扬声器)180作为可听见的声音。
存储器140可以存储操作系统(O/S)以操作显示装置100-2、各种程序和数据以及多媒体内容以执行显示装置100-2的操作。
处理器120可以包括中央处理单元(CPU)、控制器、应用处理器(AP)、通信处理器(CP)、ARM处理器中的一个或多个。处理器120可以执行例如与显示装置100-2的至少一个其他部件的控制和/或通信有关的操作或数据处理。
例如，处理器120包括RAM 121、ROM 122、主CPU 123、图形处理器124、第一接口125-1至第n接口125-n和总线126。
RAM 121、ROM 122、主CPU 123、图形处理器124、第一接口125-1至第n接口125-n可以通过总线126互连。
第一接口125-1至第n接口125-n与上述各种部件连接。接口中的一个可以是通过网络连接到外部设备的网络接口。
主CPU 123访问存储器140并使用存储在存储器140中的O/S执行启动。然后，使用存储在存储器140中的各种程序、内容、数据来执行各种操作。
ROM 122存储用于启动系统等的命令集。当输入接通命令并且供电时，主CPU 123根据存储在ROM 122中的指令将存储在存储器140中的O/S复制到RAM 121，执行O/S启动系统。当启动完成时，主CPU 123可以将存储在存储器140中的各种程序复制到RAM 121，执行复制到RAM 121的程序，并执行各种操作。
图形处理器124使用操作单元(未示出)和渲染单元(未示出)生成包括诸如图标、图像和文本等的各种对象的屏幕。操作单元(未示出)基于所接收到的控制命令，根据屏幕的布局计算要由每个对象显示的诸如坐标值、形状、大小和颜色的属性值。渲染单元(未示出)基于由操作单元(未示出)计算的属性值生成包括对象的各种布局的屏幕。例如，图形处理器124可以在第二待机模式下生成要在触摸屏130上显示的对象。
同时，处理器120的操作可以由存储在存储器140中的程序执行。例如，根据本公开的另一实施方式，处理器120可以执行存储在存储器140中的备忘录应用以控制触摸屏130接收用户手写输入。另外，处理器120可以执行通过识别手写输入而确定的控制目标设备的远程控制应用，并且可以将用于控制目标设备的控制命令发送至控制目标设备。
图11是示出根据本公开的实施方式的控制显示装置100的方法的流程图。
参考图11，在操作S1110处，显示装置100可以首先进入待机模式。具体地，显示装置100可以包括触摸屏130，触摸屏130包括用于接收触摸输入的触摸面板和显示器。在本文中，待机模式可以是当输入用于进入待机模式的用户命令或者在预定时间内没有输入用户命令时关闭触摸面板和显示器的至少一些区域的状态。例如，待机模式可以是触摸面板和显示器都关闭电源的第一待机模式、通过提供低功率来显示对象的第二待机模式。
当在待机模式下发生预设事件时，显示装置100可以在操作S1120处控制触摸屏130以接收用户的手写输入。
具体地，当在第二待机模式下选择显示的对象时，显示装置100可以控制触摸屏130以接收用户的手写输入。另外，如果在第一待机模式下感测到笔的分离或者检测到用户对按压按钮的默认操作，则显示装置100可以控制触摸屏130以接收用户的手写输入。
因此，当在触摸屏130上接收到用户的手写输入时，在操作S1130，显示装置100可以将与手写输入对应的控制命令发送到外部设备200。因此，外部设备200可以根据接收到的控制命令执行控制操作。
具体地，当接收到用户的手写输入时，显示装置100可以基于存储在显示装置100中的每个设备的控制命令信息来确定控制目标设备和与手写输入匹配的控制命令信息，并且将控制命令发送至确定的控制目标设备。
同时，根据本公开的一个实施方式，显示装置100在第二待机模式下显示用于每个控制目标设备的对象，并且当选择了所显示的对象之一并且接收到用户的手写输入时，对应于输入的控制命令可以被发送到与所选择的对象匹配的控制目标设备。
另外，根据本公开的另一实施方式，显示装置100在根据第一待机模式下笔50的分离接收到用户的手写输入之后再次检测笔50的附接，并且控制命令可以发送至外部设备。
另外，显示装置100可以在触摸屏130上显示通过触摸屏130接收的用户的手写输入，并且根据实施方式可以不显示输入。
根据各种实施方式，用户可以通过显示装置直观地控制外部设备。因此，将改善用户便利性。
同时，根据各种实施方式，显示装置100的处理器120的操作或显示装置100的控制方法可以生成为软件并提供在显示装置100上。
例如，当包括触摸屏130的显示装置100进入待机模式时，可以在显示装置100上安装非暂时性计算机可读介质，该程序执行包括以下操作的外部设备的控制方法：如果在待机模式下发生预设事件，则当通过触摸屏接收到用户用于控制外部设备的手写输入时，控制触摸屏接收用户的手写输入，并将对应于手写输入的控制命令发送至外部设备。
非暂时性计算机可记录介质不是被配置成临时地存储数据的诸如寄存器、高速缓存或存储器等的介质，而是被配置成半永久性地存储数据的装置可读介质。具体地，上述各种应用或程序可以存储在诸如光盘(CD)、数字通用盘(DVD)、硬盘、蓝光光盘、USB、存储卡或ROM的非暂时性装置可读介质中，并在其中提供。
虽然已经参考本公开的各种实施方式示出并描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (8)

1.一种显示装置，包括：
通信器，配置成与外部设备通信；
传感器，配置成感测笔与所述显示装置的分离和附接；
触摸屏；以及
处理器，配置成：
响应于当在所述触摸屏被阻挡的待机模式下通过所述传感器感测到所述笔的分离，控制所述触摸屏接收用户的手写输入，
响应于接收到所述用户的所述手写输入，控制所述触摸屏在所述触摸屏上显示所述用户的所述手写输入，
当通过所述触摸屏接收到包括指示所述外部设备的第一词语和指示用于控制所述外部设备的功能的控制命令的第二词语的所述用户的所述手写输入时，确定对应于所述第一词语的所述外部设备和对应于所述第二词语的所述控制命令，以及
响应于在接收到所述手写输入之后通过所述传感器感测到所述笔的附接，控制所述通信器将所述控制命令发送到所述外部设备。
2.如权利要求1所述的显示装置，还包括：
存储器，配置成存储设备专用控制命令信息，
其中所述处理器配置成：
响应于接收到所述手写输入，基于存储的所述设备专用控制命令信息，确定与所述第一词语和所述第二词语匹配的所述外部设备和所述控制命令。
3.如权利要求1所述的显示装置，包括：
按压型按钮，
其中，所述处理器还配置成：响应于在所述待机模式下输入关于所述按压型按钮的预定操作，控制所述触摸屏接收所述手写输入。
4.如权利要求1所述的显示装置，
其中所述触摸屏包括用于接收触摸输入的触摸面板和显示器；以及
其中所述待机模式是响应于输入进入所述待机模式的用户命令或在预设时间未输入用户命令的模式，在所述待机模式下所述显示装置在所述显示器和所述触摸面板的至少一部分的电源被阻挡的状态下操作。
5.一种具有触摸屏的显示装置的控制方法，所述方法包括：
使所述显示装置进入待机模式；
当在所述触摸屏被阻挡的待机模式下通过传感器感测到笔的分离时，控制所述触摸屏接收用户的手写输入；
响应于接收到所述用户的所述手写输入，控制所述触摸屏在所述触摸屏上显示所述用户的所述手写输入；
当通过所述触摸屏接收到包括指示外部设备的第一词语和指示用于控制所述外部设备的功能的控制命令的第二词语的所述用户的所述手写输入时，确定对应于所述第一词语的所述外部设备和对应于所述第二词语的所述控制命令；以及
响应于在接收到所述手写输入之后通过所述传感器感测到所述笔的附接，将所述控制命令发送到所述外部设备。
6.如权利要求5所述的方法，其中，所述确定包括：
响应于接收到所述手写输入，基于存储在所述显示装置中的设备专用控制命令信息，确定与所述第一词语和所述第二词语匹配的所述外部设备和所述控制命令。
7.如权利要求5所述的方法，
其中所述显示装置包括按压型按钮；以及
其中所述方法还包括：响应于在所述待机模式下输入关于所述按压型按钮的预定操作，控制所述触摸屏接收所述手写输入。
8.如权利要求5所述的方法，
其中所述触摸屏包括用于接收触摸输入的触摸面板和显示器；以及
其中所述待机模式是响应于输入进入所述待机模式的用户命令或在预设时间未输入用户命令的模式，在所述待机模式下所述显示装置在所述显示器和所述触摸面板的至少一部分的电源被阻挡的状态下操作。
CN201780081813.XA 2017-01-02 2017-12-29 显示装置及其控制方法 Active CN110168490B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0000221 2017-01-02
KR1020170000221A KR102655584B1 (ko) 2017-01-02 2017-01-02 디스플레이 장치 및 디스플레이 장치의 제어 방법
PCT/KR2017/015753 WO2018124823A1 (en) 2017-01-02 2017-12-29 Display apparatus and controlling method thereof

Publications (2)

Publication Number Publication Date
CN110168490A CN110168490A (zh) 2019-08-23
CN110168490B true CN110168490B (zh) 2023-03-07

Family

ID=62708381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081813.XA Active CN110168490B (zh) 2017-01-02 2017-12-29 显示装置及其控制方法

Country Status (4)

Country Link
US (1) US10936184B2 (zh)
KR (1) KR102655584B1 (zh)
CN (1) CN110168490B (zh)
WO (1) WO2018124823A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6939135B2 (ja) * 2017-06-23 2021-09-22 カシオ計算機株式会社 電子機器、プログラム、サーバ、グラフ画像生成方法およびグラフ画像生成システム
WO2019035843A1 (en) * 2017-08-18 2019-02-21 Hewlett-Packard Development Company, L.P. MOTION-BASED FEED STATES
KR102563630B1 (ko) * 2018-10-10 2023-08-04 삼성전자 주식회사 전자 장치, 외부 전자 장치 및 전자 장치를 이용한 외부 전자 장치를 제어하는 방법
KR102629411B1 (ko) * 2018-12-06 2024-01-26 삼성전자주식회사 전자 장치 및 그의 사용자 입력에 기반한 서비스 제공 방법
WO2022078184A1 (zh) * 2020-10-15 2022-04-21 聚好看科技股份有限公司 一种教学直播方法及显示设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248268A (ja) * 1995-04-07 2003-09-05 Seiko Epson Corp 映像投射システム
CN101739796A (zh) * 2008-11-19 2010-06-16 刘显福 手写方式输入功能控制信息的遥控器
KR20120068246A (ko) * 2010-12-17 2012-06-27 엘지전자 주식회사 이동 단말기 및 디바이스 제어방법
CN103338400A (zh) * 2013-06-26 2013-10-02 四川长虹电器股份有限公司 一种电视机的换台方法
CN103885704A (zh) * 2012-12-21 2014-06-25 三星电子株式会社 文本放大显示方法
CN104793882A (zh) * 2014-01-17 2015-07-22 Lg电子株式会社 移动终端及其控制方法
CN105393206A (zh) * 2013-06-14 2016-03-09 微软技术许可有限责任公司 用于锁屏上动作的用户定义的快捷方式

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI236239B (en) * 2004-05-25 2005-07-11 Elan Microelectronics Corp Remote controller
KR100908845B1 (ko) 2007-04-20 2009-07-21 주식회사 아이리버 필기입력을 이용한 멀티미디어 재생 장치 제어 시스템 및제어 방법
US9250718B2 (en) * 2007-05-29 2016-02-02 Livescribe, Inc. Self-addressing paper
US9870123B1 (en) * 2008-04-18 2018-01-16 Universal Electronics Inc. Selecting a picture of a device to identify an associated codeset
KR20100033716A (ko) 2008-09-22 2010-03-31 에스케이 텔레콤주식회사 휴대용 단말기를 이용한 미디어 제어 시스템 및 방법
KR101071843B1 (ko) * 2009-06-12 2011-10-11 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101639074B1 (ko) 2009-07-31 2016-07-12 삼성전자주식회사 터치스크린을 이용한 문자 인식 및 문자 입력 장치 및 그 방법
KR20110020633A (ko) 2009-08-24 2011-03-03 삼성전자주식회사 컨트롤－위젯 제공방법 및 이를 적용한 디바이스
US20120216152A1 (en) 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
US8863042B2 (en) * 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
KR101987461B1 (ko) * 2012-11-21 2019-06-11 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20140076261A (ko) * 2012-12-12 2014-06-20 삼성전자주식회사 펜을 이용한 사용자 인터페이스 제공 단말 및 방법
KR20140100306A (ko) * 2013-02-06 2014-08-14 삼성전자주식회사 휴대 기기 및 이의 외부 기기 제어 방법
US9577975B2 (en) * 2013-02-22 2017-02-21 Facebook, Inc. Linking multiple entities associated with media content
KR20140110356A (ko) * 2013-03-07 2014-09-17 삼성전자주식회사 입력 장치, 디스플레이 장치 및 그 제어 방법
KR102170321B1 (ko) 2013-06-17 2020-10-26 삼성전자주식회사 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
KR102214974B1 (ko) * 2013-08-29 2021-02-10 삼성전자주식회사 잠금 화면 상에서 필기 형태의 사용자 입력과 관련된 기능을 실행하기 위한 장치 및 방법
KR20150026255A (ko) 2013-09-02 2015-03-11 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9798378B2 (en) * 2014-03-31 2017-10-24 Google Technology Holdings LLC Apparatus and method for awakening a primary processor out of sleep mode
JP6367031B2 (ja) 2014-07-17 2018-08-01 公立大学法人首都大学東京 電子機器遠隔操作システム及びプログラム
CN105045414B (zh) * 2015-08-04 2018-11-27 青岛歌尔声学科技有限公司 一种触控笔、实现方法以及一种触控系统
KR101781133B1 (ko) 2016-11-23 2017-09-22 삼성전자주식회사 컨트롤－위젯 제공방법 및 이를 적용한 디바이스

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248268A (ja) * 1995-04-07 2003-09-05 Seiko Epson Corp 映像投射システム
CN101739796A (zh) * 2008-11-19 2010-06-16 刘显福 手写方式输入功能控制信息的遥控器
KR20120068246A (ko) * 2010-12-17 2012-06-27 엘지전자 주식회사 이동 단말기 및 디바이스 제어방법
CN103885704A (zh) * 2012-12-21 2014-06-25 三星电子株式会社 文本放大显示方法
CN105393206A (zh) * 2013-06-14 2016-03-09 微软技术许可有限责任公司 用于锁屏上动作的用户定义的快捷方式
CN103338400A (zh) * 2013-06-26 2013-10-02 四川长虹电器股份有限公司 一种电视机的换台方法
CN104793882A (zh) * 2014-01-17 2015-07-22 Lg电子株式会社 移动终端及其控制方法

Also Published As

Publication number Publication date
KR20180079702A (ko) 2018-07-11
WO2018124823A1 (en) 2018-07-05
US20180188944A1 (en) 2018-07-05
CN110168490A (zh) 2019-08-23
US10936184B2 (en) 2021-03-02
KR102655584B1 (ko) 2024-04-08

Similar Documents

Publication Publication Date Title
CN110168490B (zh) 显示装置及其控制方法
US20230325067A1 (en) Cross-device object drag method and device
US9880643B1 (en) User terminal device and method for controlling the user terminal device thereof
US10928988B2 (en) Method and system for providing information based on context, and computer-readable recording medium thereof
KR102481878B1 (ko) 휴대 장치 및 휴대 장치의 화면 표시방법
KR102063952B1 (ko) 멀티 디스플레이 장치 및 멀티 디스플레이 방법
KR102137543B1 (ko) 벤딩 가능한 사용자 단말 장치 및 이의 디스플레이 방법
CN103677711A (zh) 连接移动终端和外部显示器的方法和实现该方法的装置
US9772747B2 (en) Electronic device having touchscreen and input processing method thereof
KR102492560B1 (ko) 전자 장치 및 그의 입력 제어 방법
US11054978B2 (en) Portable device and method for controlling brightness of the same
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
US20130050122A1 (en) Controlling user equipment as touch pad for external device connected thereto
KR102521192B1 (ko) 전자 장치 및 그의 동작 방법
US11112889B2 (en) Electronic device and method for mapping function of electronic device to operation of stylus pen
US20150128031A1 (en) Contents display method and electronic device implementing the same
US20150193613A1 (en) Portable apparatus and method of connecting to external apparatus
KR20160097623A (ko) 전자 장치, 그 제어 방법 및 시스템
CN107783669A (zh) 光标产生系统、方法及计算机程序产品
WO2020238496A1 (zh) 图标管理方法及终端设备
KR102327139B1 (ko) 밝기를 조절하는 휴대 단말기 및 이의 밝기 조절 방법
KR102463080B1 (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
EP3287886B1 (en) User terminal apparatus and controlling method thereof
CN110874141A (zh) 图标移动的方法及终端设备
KR20150044757A (ko) 플로팅 입력에 따라 동작을 제어하는 전자 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant