CN103826146A - 显示设备、控制显示设备的遥控设备及其方法 - Google Patents

显示设备、控制显示设备的遥控设备及其方法 Download PDF

Info

Publication number
CN103826146A
CN103826146A CN201310486566.5A CN201310486566A CN103826146A CN 103826146 A CN103826146 A CN 103826146A CN 201310486566 A CN201310486566 A CN 201310486566A CN 103826146 A CN103826146 A CN 103826146A
Authority
CN
China
Prior art keywords
user
display device
information
remote control
control equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310486566.5A
Other languages
English (en)
Other versions
CN103826146B (zh
Inventor
金仁智
李庸熏
崔相彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103826146A publication Critical patent/CN103826146A/zh
Application granted granted Critical
Publication of CN103826146B publication Critical patent/CN103826146B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Neurosurgery (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Details Of Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种显示设备、一种显示设备的遥控设备、一种控制显示设备的方法、以及一种控制服务器的方法，包括：收集至少一个情况信息，或从遥控设备接收至少一个情况信息；根据收集或接收的至少一个情况信息来确定用户的当前状态；命令遥控设备输出与用户的当前状态相对应的通知信号；以及根据用户的当前状态产生控制命令，并根据所述控制命令来向用户提供基于感知的图像服务。

Description

显示设备、控制显示设备的遥控设备及其方法
技术领域
以下描述涉及一种显示设备、一种显示设备的遥控设备、一种控制该显示设备的方法、一种控制该遥控设备的方法以及一种控制服务器的方法。
背景技术
显示设备是用于将电子信号表示为可视信息并向用户显示该可视信息的输出设备，可以包括电视(TV)、计算机监控器、和多种移动设备，例如智能电话、平板计算机等。
遥控设备远距离控制显示设备。用户可以在用户能够容易操控显示设备的近距离处，或在用户必须移动以便操控显示设备的距离处，使用显示设备来观看视频内容。遥控设备可以使用户能够远距离操控显示设备。
遥控设备的示例包括遥控器。遥控器向显示设备200发出具有预定频率的红外光。显示设备接收该红外光，根据该红外光的频率将红外光转换为电信号，向处理器发送该电信号，并执行多种操作，例如，显示设备的频道改变或音量控制。
近年来，具有无线通信功能的多种终端(例如，智能电话)可以用作遥控设备。在这种情况下，遥控设备或显示设备包括无线通信模块，以便通过根据多种无线通信标准的无线通信网络(例如，蓝牙、Wi-Fi、3GPP、3GPP2或WiMax)发送和接收电信号。例如智能电话的遥控设备根据用户触摸产生预定信号，并向显示设备发送该预定信号，显示设备根据该预定信号产生控制命令，并根据该控制命令执行频道改变或音量控制。
发明内容
因此，本公开的一个方面在于基于人或环境的当前状态(例如，使用例如TV的显示设备来显示图像的用户的感觉或动作，或周围环境)来控制显示设备。
本公开的一个方面在于通过基于用户的当前状态来控制显示设备，从而向用户提供多种基于感知的服务。
本公开的一个方面在于使遥控设备或显示设备能够从外部环境中获取确定用户的身体状态或感觉的状态信息，并适当地检查用户的身体状态或感觉。
本公开的一个方面在于基于用户的感觉或动作来提供使用显示设备的多种服务，以便刺激用户的感知，能够令用户经历用户体验(UX)，从而扩展用户的情绪体验。
本公开的一个方面在于确定用户状态，基于用户状态进一步获取关于周围环境的信息，或基于用户状态向用户提供预定服务或使用所述进一步获取的信息的服务。
本公开的一个方面在于通过引起使用显示设备的用户的兴趣和好奇心，能够令用户感觉到正面情绪、愉快和印象。
本公开的一个方面在于当用户观看显示设备时或当用户位于显示设备附近时，根据用户的习惯、模式和爱好，提供适合于用户的内容或服务。
本公开的一个方面在于通过根据用户的反应或爱好更新用于刺激感知的内容或服务，来提供一种包括自我学习功能的显示设备。
将在以下描述中阐述部分地本公开的其它方面，将通过以下描述而变得清楚明白，或者可以通过本发明的实践来获知。
根据本公开的一个方面，一种显示设备包括：情况确定单元，基于从遥控设备接收或由信息收集器收集的至少一个情况信息，确定用户的当前状态；以及控制器，指示遥控设备输出与用户的当前状态相对应的通知信号，根据用户的当前状态产生控制信息以便向用户提供基于感知的图像服务。遥控设备通过通知单元输出通知信号。
显示设备还可以包括确定信息数据库，用于存储确定信息，以便基于情况信息确定用户的当前状态。在这种情况下，情况确定单元可以在确定信息数据库中搜索与该情况信息相对应的确定信息，如果存在与该情况信息相对应的确定信息，则基于与该情况信息相对应的确定信息来确定用户的当前状态。
显示设备还可以包括控制信息数据库，控制信息数据库包括与用户的当前状态相对应的遥控设备或显示设备的控制信息。在这种情况下，控制器可以通过参考控制信息数据库来检测与用户的当前状态相对应的显示设备的控制信息，根据检测到的控制信息来控制显示设备。
显示设备的控制器可以根据通知信号通过遥控设备从用户接收用户命令，根据所述用户命令来校正所产生的控制信息，并且产生新的控制信息。
在这种情况下，显示设备还可以包括：存储器，用于存储由控制器产生的新控制信息；以及更新单元，基于所存储的控制信息分析用户操控模式，并基于分析结果更新控制信息数据库。
信息收集器可以包括以下中的至少一个：感测光的光学传感器、感测声音的声学传感器；感测运动的运动传感器、感测温度的温度传感器；以及感测人的温度、脉搏、呼吸速率或心率的生物信号传感器。信息收集器可以包括脸部识别器，从图像中检测脸部形状、从检测到的脸部形状中检测脸部的特征点、分析脸部的特征点的位置、产生脸部信息和脸部表现信息并收集情况信息。
通知单元可以包括发射光的发光模块、产生振动的振动产生模块以及输出声音的声学输出模块中的至少一个。
控制显示设备的控制信息可以控制显示设备的摄像机来捕获图像，控制以画中画(PIP)的形式在显示设备上显示由显示设备的摄像机捕获的图像，控制在显示设备的屏幕上显示由显示设备的摄像机捕获的至少一个图像的缩略图，或控制在显示设备的屏幕上显示关于显示在显示设备的屏幕上的图像的信息。
显示设备还可以包括光束投影仪模块，在外部投影表面上投影图像。
情况确定单元可以聚集(aggregate)由显示设备回放的图像的情况信息和图像信息，并确定用户的当前状态。
根据本公开的一个方面，一种控制显示设备的遥控设备包括：图像收集器，收集至少一个情况信息；情况确定单元，基于由信息收集器收集的至少一个情况信息，确定用户的当前状态；通知单元，输出与所确定的用户的当前状态相对应的通知信号；以及控制器，在输出所述通知信号之后，产生控制信息以使显示设备根据用户的当前状态向用户提供基于感知的图像服务，并向显示设备发送所述控制信息。
遥控设备还可以包括确定信息数据库，用于存储确定信息，以便基于对外部环境的特定情况的特征加以表示的情况信息来确定用户的当前状态。此时，情况确定单元可以在确定信息数据库中搜索与所收集情况信息相对应的确定信息，如果存在与该情况信息相对应的确定信息，则基于与该情况信息相对应的确定信息来确定用户的当前状态。
遥控设备还可以包括：控制信息数据库，包括与用户的当前状态相对应的显示控制信息；以及控制器，通过参考控制信息数据库来检测与用户的当前状态相对应的显示设备的控制信息。
遥控设备还可以包括命令输入单元，在输出通知信号之后，从用户接收显示操控命令。
遥控设备的控制器可以通过参考控制信息数据库来检测与用户的当前状态相对应的显示设备的控制信息，并根据通过命令输入单元接收的用户命令来校正所产生的控制信息，遥控设备还可以包括：存储器，存储由控制器产生的控制信息；以及更新单元，基于所存储的控制信息分析用户操控方式，基于分析结果更新控制信息数据库。
信息收集器可以包括感测光的光学传感器、感测声音的声学传感器、感测运动的运动传感器、感测温度的温度传感器及感测人的温度、脉搏、呼吸速率或心率的生物信号传感器中的至少一个。信息收集器可以包括脸部识别器，以便从图像中检测脸部形状、从检测到的脸部形状中检测脸部的特征点、分析脸部的特征点的位置、产生脸部信息和脸部表现信息、收集情况信息。
通知单元可以包括发射光的发光模块、产生振动的振动产生模块以及输出声音的声学输出模块中的至少一个。
遥控设备的情况确定单元可以基于由显示设备回放的图像的情况信息和图像信息中的至少一个信息，确定用户的当前状态。
根据本公开的一个方面，一种遥控设备包括：图像收集器，收集至少一个情况信息；以及通知单元，输出通知信号。在这种情况下，遥控设备向显示设备或服务器发送由信息收集器收集的情况信息，从显示设备或服务器接收关于基于所收集的情况信息而确定的用户的当前状态的信息，并在通知单元输出控制显示设备的通知信号之后，发送与所确定的用户的当前状态或所收集的情况信息相对应的控制信息。
遥控设备还可以包括命令输入单元，用于在输出通知信号之后从用户接收显示操控命令，并向显示设备发送该显示操控命令。
遥控设备的信息收集器包括感测光的光学传感器、感测声音的声学传感器、感测运动的运动传感器、感测温度的温度传感器以及感测人的温度、脉搏、呼吸速率或心率的生物信号传感器中的至少一个。信息收集器可以包括脸部识别器，以便从图像中检测脸部形状、从检测到的脸部形状中检测脸部的特征点、分析脸部的特征点的位置、产生脸部信息和脸部表现信息并收集情况信息。
通知单元可以包括发射光的发光模块、产生振动的振动产生模块以及输出声音的声学输出模块中的至少一个。
情况确定单元可以基于由显示设备回放的图像的情况信息和图像信息，来确定用户的当前状态。
根据本公开的一个方面，一种控制显示设备的方法包括：收集至少一个情况信息，或从遥控设备接收至少一个情况信息；基于所收集或所接收的至少一个情况信息来确定用户的当前状态；指示遥控设备输出与用户的当前状态相对应的通知信号；以及根据用户的当前状态产生控制命令，根据所述控制命令来向用户提供基于感知的图像服务。
可以通过感测光并测量光的量、测量声音的音量、感测运动、测量温度、测量人的脉搏或温度、或者测量从卫星或控制器接收的时间信息来收集情况信息。
收集情况信息可以包括：从图像中检测脸部形状、从检测到的脸部形状中检测脸部的特征点、分析脸部的特征点的位置、以及收集情况信息(包括图像的脸部信息和脸部表现信息)。
确定用户的当前状态可以包括：搜索包括确定信息的确定信息数据库，以便基于情况信息确定用户的当前状态；以及将所收集的情况信息和确定信息数据库的确定信息作比较，如果存在与所收集的情况信息相对应的确定信息，则根据确定信息确定用户的当前状态。
可以通过以下动作来提供基于感知的图像服务：使用显示设备的摄像机捕获图像，以画中画(PIP)的形式在显示设备上显示由显示设备的摄像机捕获的图像，在显示设备的屏幕上显示由显示设备的摄像机捕获的至少一个图像的缩略图图像，在显示设备的屏幕上显示关于显示在显示设备的屏幕上的图像的信息，或使显示设备的光束投影仪模块在投影表面上投影图像。
根据用户的当前状态产生控制命令可以包括：搜索包括与用户的当前状态相对应的显示设备的控制信息在内的控制信息数据库，检测与用户的当前状态相对应的显示设备的控制信息，以及根据所述控制信息产生控制命令。
确定用户的当前状态可以包括：基于关于由显示设备回放的图像的情况信息和图像信息，确定用户的当前状态。
根据本公开的一个方面，一种控制显示设备的方法包括：收集至少一个情况信息，或从遥控设备接收至少一个情况信息；基于所收集或所接收的至少一个情况信息来确定用户的当前状态；指示遥控设备输出与用户的当前状态相对应的通知信号；以及根据从遥控设备输出的通知信号从用户接收用户命令，根据所收集的或所接收的情况信息和控制命令来向用户提供基于感知的图像服务。
根据本公开的一个方面，一种控制服务器的方法包括：在服务器处，从显示设备或遥控设备接收至少一个情况信息；基于所接收的情况信息确定用户的当前状态；指示遥控设备输出与用户的当前状态相对应的通知信号；以及发送控制命令以便根据用户的当前状态向用户提供基于感知的图像服务，并根据所述控制命令使显示设备向用户提供基于感知的图像服务。
根据本公开的一个方面，一种控制遥控设备的方法包括：收集至少一个情况信息；基于所收集的情况信息确定用户的当前状态；输出与用户的当前状态相对应的通知信号；根据从遥控设备输出的通知信号从用户接收用户命令；基于所收集的情况信息和用户命令产生显示设备的控制命令；向显示设备发送该控制命令，并根据该控制命令使显示设备向用户提供基于感知的图像服务。
根据本公开的一个方面，一种控制遥控设备的方法包括：收集至少一个情况信息；基于所收集的情况信息确定用户的当前状态；输出与用户的当前状态相对应的通知信号；基于所收集的情况信息产生显示设备的控制命令；向显示设备发送该控制命令，根据所述控制命令使显示设备向用户提供基于感知的图像服务。
附图说明
结合附图，根据实施例的以下描述，将清楚并更容易理解本公开的上述和其他方面，附图中：
图1是示出了根据本公开实施例包括显示设备和控制该显示设备的遥控设备的显示设备控制系统的附图；
图2是示出了根据本公开实施例的显示设备和遥控设备的框图；
图3是示出了根据本公开实施例的显示设备的信息收集器的框图；
图4A是根据本公开实施例的遥控设备的框图；
图4B是根据本公开实施例的遥控设备的前视图；
图5是示出了根据本公开实施例包括显示设备、遥控设备和服务器在内的系统的配置的附图；
图6是根据本公开实施例的显示设备、遥控设备和服务器的框图；
图7是示出了根据本公开实施例基于情况来控制显示设备的方法的流程图；
图8是示出了根据本公开实施例基于情况来控制显示设备的方法的流程图；
图9是示出了根据本公开实施例基于情况来控制显示设备的方法的流程图；
图10是示出了根据本公开实施例基于情况来控制显示设备的方法的流程图；
图11是示出了根据本公开实施例基于情况来控制显示设备的方法的流程图；
图12是示出了根据本公开实施例的状态的图，其中根据基于情况来控制显示设备的方法来控制显示设备；
图13是示出了根据本公开实施例的状态的图，其中根据基于情况来控制显示设备的方法来控制显示设备；
图14是示出了根据本公开实施例的状态的图，其中根据基于情况来控制显示设备的方法来控制显示设备；以及
图15是示出了根据本公开实施例识别用户脸部和控制显示设备的方法的流程图。
具体实施方式
现将详细参考多个实施例，在附图中示出了实施例的示例，其中贯穿附图，相同的附图标号用于表示相同的元件。通过参考附图下文描述了多个实施例，以便解释本公开。
以下文中，将参考图1到6描述根据本公开实施例的显示设备和控制该显示设备的遥控设备。
图1是示出了根据本公开实施例包括显示设备和控制该显示设备的遥控设备的显示设备控制系统的附图。
本公开实施例的显示设备控制系统包括遥控设备100和显示设备200，其中显示设备200可以由遥控设备100控制。遥控设备100和显示设备200可以通过使用多种移动通信标准的无线通信网络(例如，蓝牙、Wi-Fi、或3GPP、3GPP2、或WiMax)，来相互发送和接收命令或数据。
遥控设备100可以远程地控制显示设备200，例如，TV。
在本公开实施例中，遥控设备100是遥控器，在它的一个表面或多个表面上形成有多个预定按钮，向显示设备200发射具有预定频率的红外光，以便根据由用户操控的按钮来控制显示设备200。
根据本公开实施例，遥控设备100可以是包括无线通信模块的终端，例如，包括无线通信模块的遥控器或智能电话，其中在外侧表面上形成有触摸屏或预定按钮，根据用户对物理按钮或触摸屏的操作来产生预定控制信号，通过多种无线通信网络向显示设备200发送所产生的控制信号，以及控制显示设备200。
在预定距离内控制显示设备200的所有类型的遥控设备都可以用作本公开实施例的遥控设备100。
在本公开实施例中，显示设备200可以输出图像，或图像和声音，以便向用户提供视频和/或音频内容。
根据本公开实施例，显示设备200可以包括红外接收单元，接收从遥控设备100发射的红外光以便由遥控设备100进行控制，或发送单元，发送来自遥控设备100(例如，无线电通信芯片)的预定控制命令。
可以由遥控设备100控制的多种显示设备可以包括在本公开实施例中。例如，显示设备200可以是TV或电子图像显示设备的多种实现，例如，安装在冰箱外壳中的冰箱显示器。此外，显示设备的示例还包括通过屏幕显示图像的家用电器，例如，计算机、游戏机、智能电话等。根据本公开实施例，向投影表面上投影例如激光束的光并显示图像的光束投影仪模块和屏幕可以包括在显示设备中。
根据本公开实施例，使用遥控设备100和显示设备200收集外部情况信息，基于所收集的信息来检查用户或周围环境的当前状态，基于检查到的当前状态产生显示设备200的控制命令，以便控制显示设备200。根据本公开的实施例，可以控制遥控设备的控制命令。
下文中，将参考图2来描述包括遥控设备100和显示设备200的系统的实施例。
图2是示出了根据本公开实施例包括遥控设备的显示设备控制系统的框图。
参考图2，根据本公开实施例的遥控设备100包括：例如，信息收集器110，使用多种类型的传感器从外部环境收集情况信息；以及通知单元140，输出光和声音并向用户通知情况信息。下文中，遥控设备100的信息收集器110被称为第一信息收集器110，以便与显示设备200的信息收集器210进行区分。
显示设备200可以包括：情况确定单元220(下文中，将显示设备200的情况确定单元称为第二情况确定单元，以便与遥控设备100的情况确定单元120进行区分)，基于由遥控设备100的第一信息收集器110收集的外部情况信息来确定用户的当前状态；以及控制器230(下文中，将显示设备200的控制器称为第二控制器，以便与遥控设备100的控制器130进行区分)，向遥控设备100发送第二情况确定单元220的确定结果，或根据确定结果产生控制命令，以及控制显示设备200。
根据本公开实施例，显示设备200还可以包括：信息收集器210(下文中，称为第二信息收集器，以便与遥控设备100的第一信息收集器进行区分)，从外部环境收集情况信息。在这种情况下，第二情况确定单元220使用通过显示设备200的第二信息收集器210收集的情况信息来确定情况，或使用从遥控设备100和显示设备200的信息收集器110和210收集的情况信息来确定当前状态。
在本公开实施例中，如图2所示，显示设备200可以包括：确定信息数据库221，其中存储用于确定第二情况确定单元220的外部情况的信息，或控制信息数据库231，其中存储用于由第二控制器230产生显示设备200的控制命令的信息。根据实施例，显示设备200可以通过有线/无线通信网络连接到外部确定信息数据库221或控制信息数据库231。
根据实施例，显示设备200还可以包括：显示单元240，向用户显示多种音频/视频内容；存储器250，存储由第二信息收集器210收集的信息、控制器230的控制命令或由安装在显示设备200的前表面、侧表面或后表面上的摄像机270捕获的图像；以及更新单元260，基于所存储的信息来分析用户的操控方式，并学习分析结果。
如图2所示，根据实施例，显示设备200还可以包括：摄像机模块270，安装在显示设备200中以便捕获图像，或投影仪模块280，向外部投影表面投影光束，在该投影表面上显示图像。
因此，在本公开包括显示设备和遥控器的显示设备控制系统中，将由遥控设备100或显示设备200的信息收集器110或210收集的情况信息发送给显示设备200，显示设备200基于所收集的情况信息来确定情况，产生与之相对应的控制命令，并控制显示设备200。
根据实施例，如图4A所示，确定情况信息的情况确定单元120和产生控制命令的控制器130包括在遥控设备100中，以便确定情况并产生控制命令。
下文中，如图2所示，将描述情况确定单元220和控制器230包括在显示设备200中的实施例的组件。
首先，将参考图3和4A来描述在本公开实施例中收集情况信息的信息收集器110和210。
在本公开实施例中，信息收集器110和210(即，第一信息收集器110和/或第二信息收集器210)收集外部环境的情况信息，即，用户身体状态的情况信息a1或周围环境的情况信息a2。
更具体地，感测外部环境的多种情况，例如，光、声音、温度或运动，并将其转换为数字数据，接收来自外部设备(例如通过与卫星通信接收的全球定位系统(GPS))的信息，或通过有线/无线通信网络接收关于回放节目的信息，由此获取多种情况信息。
用户身体状态的情况信息a1包括表示用户身体状态(例如，脉搏、呼吸速率或温度)的多种信息。
周围环境的情况信息a2包括关于多种周围环境或回放节目的信息，例如，光量、环境噪声、在设备周围的人的数量、关于由显示设备200回放的节目的信息、时间信息等。
本公开实施例的信息收集器110和210可以仅包括在遥控设备100或显示设备200之一中，或可以包括在遥控设备100和显示设备200中。
可以将信息收集器110和210设计为任意排列在遥控设备100或显示设备200的任意位置处或最佳位置处以便感测周围环境，其中获取周围环境的情况信息，例如，光、声音、振动或多种生物信号。
根据本公开实施例，可以对信息收集器110和220进行设计以便用户识别传感器的存在/不存在。
根据本公开实施例，如图3和4A所示，遥控设备的第一信息收集器110或显示设备200的第二信息收集器210可以包括生物信号传感器111和211、光学传感器112和212、声学传感器113和213、运动传感器114和214，温度传感器115和215、脸部识别器117和216中的至少一个，如果必要还可以包括例如传感器的没有描述或示出的信息收集器。
生物信号传感器111和211感测用户身体状态并收集用户身体状态的情况信息a1。
这里，用户身体状态的情况信息a1是指关于人(例如，观看显示设备的观看者)的身体状态的信息。换言之，用户身体状态的情况信息a1是指表示用户是否睡眠、疲倦或兴奋的多种信息。
更具体地，用户身体状态的情况信息a1可以包括例如生物信息，例如，温度、平吸速率、神经波动或心率。
生物信号传感器111和211收集用户身体状态的情况信息a1。生物信号传感器111和211通常安装在位于用户附近的遥控设备100中，以便容易且精确地测量用户的生物信号。
在这种情况下，生物信号传感器111可以安装在遥控设备100的任意位置处，或最佳位置处以便感测生物信号。
根据本公开实施例，生物信号传感器111和211可以是安装在遥控设备100的特定位置处的热传感器，例如，遥控设备100的握持部(grip)，以便测量人的温度，或安装在用户身体的一部分的脉搏传感器，例如，人手指的末端，以便测量人的脉搏。
如图2所示，可以根据要获取的用户身体状态的情况信息a1，将生物信号传感器111和211安装在显示设备100中。
光学传感器112和212感测光，并收集周围环境的情况信息a2。
周围环境的信息a2是指在遥控设备100或显示设备200周围的多种环境情况，例如，光的存在、光量、声音的存在和音量、及外部对象的存在和运动。
光学传感器112和212感测周围环境中的光，以便测量光量，或感测外部对象的存在、该对象的运动或形状，将感测结果转换为电信号，并获取周围环境的情况信息a2。对于光学传感器112和212而言，可以使用将光转换为电信号的光电二极管或光电晶体管，或可以使用将红外光转换为电信号的红外发光二极管。
根据本公开的实施例，光学传感器112和212还可以包括发光模块，向目标辐射可见光或红外光，以便光学传感器112和212接收从目标反射的光，并检测该目标。
声学传感器113和213感测和测量在显示设备200周围的语音或声音，并获取周围环境的情况信息a2。
声音传感器113和213使用换能器感测通过空气传送的具有预定频率的声波，例如可听到的声音，并将该声音转换为电信号，由此获取周围环境的多个语音或声音的情况信息a2，例如人的语音。
声学传感器113和213的示例包括麦克风。
运动传感器114和214感测设备的运动。例如，运动传感器114和214感测在其中安装了运动传感器114或214的遥控设备100或显示设备200的运动，并将感测到的结果转换为电信号。
对于运动传感器114和214而言，例如可以使用加速度计、倾斜传感器、旋转传感器、陀螺等。
运动传感器114和214可以感测用户是否晃动或移动例如遥控器的遥控设备，并感测遥控器移动的方向。
由于显示设备200固定在预定位置处，运动传感器114和214通常安装在由用户操控的遥控设备100中。
温度传感器115和215测量环境空气或对象的热量，并测量温度。对于温度传感器115和215而言，可以使用测量外部温度的多种传感器，例如铂电阻温度检测器、热敏电阻或热电偶。
遥控设备100或显示设备200可以使用温度传感器115和215来感测显示设备200的外围(例如，安放显示设备200的房间)是热的还是冷的。
在本公开实施例中，遥控设备100和显示设备200的信息收集器110和210可以包括脸部识别器117和216。
脸部识别器117或216从通过安装在遥控设备100或显示设备200中的摄像机270接收的图像中识别脸部，并收集用户的情况信息。
在本公开实施例中，显示设备200的脸部识别器216首先从通过摄像机270接收的图像中检测脸部，接着检测检测到的脸部的特征点，例如，瞳孔或嘴角。在检测到特征点之后，将特征点的位置和基于特征点预定义位置的关于脸部表现的信息或脸部的形状进行比较，以便分析特征点，并且产生包括脸部信息和图像中包括的脸部的脸部表情信息在内的情况信息。
在本公开实施例中，信息收集器110或210可以包括压力传感器116。
压力传感器116测量向传感器施加的压力。压力传感器的示例包括导电橡胶触感器，用于根据基于向导电橡胶施加的压力而引起的导电橡胶的变形来测量压力。
根据压力感测材料，压力传感器116可以包括使用导电橡胶、压力敏感聚合物或压电聚合物的压力传感器；根据检测方法，压力传感器116可以包括集中压力传感器或分布压力传感器
压力传感器116通常可以安装在由用户频繁使用的遥控设备100中，或如有必要也可以安装在显示设备200中。
在本公开的实施例中，第二信息收集器210还可以包括摄像机模块270。
摄像机模块270捕获外部目标。更具体地，摄像机模块270感测外部可见光，并将可见光转换为电信号，由此获取固定或运动的图像。
将通过摄像机模块270接收到的图像存储在显示设备200的存储器250中，以便脸部识别器217识别在显示设备200的显示单元240上显示的脸部或图像。
尽管未示出，在本公开实施例中，除了上述传感器111到270之外，遥控设备100或显示设备200的信息收集器110或210还可以包括收集多种情况信息的多个传感器。
例如，信息收集器110或210可以包括超声传感器(未示出)，以便感测超声波。
超声传感器向外部目标辐射不可听的超声波，并感测从目标反射的超声回波，由此收集关于目标的存在、目标的形状或目标的运动的信息。
信息收集器110或210收集从遥控设备100或显示设备200输出或从外部卫星接收的时间信息，使控制器130或230产生控制命令，所述控制命令根据收集情况信息的时间而改变。
信息收集器110或210可以收集关于在显示设备200的屏幕(即显示单元240)上回放的内容的信息，例如，节目指南信息(EPG)。可以通过利用有线/无线通信网络接收EPG，或从遥控设备100或显示设备200的存储器上读取用户日志信息来收集EPG。
用户日志信息是元数据，例如表示是否对一个内容进行了回放的记录或与其有关的数据，例如，用户日志信息包括用户观看内容的次数、用户停止观看内容的次数或最近观看时间的历史信息。
可以使用信息收集器110或210来收集用户身体状态的情况信息a1，例如用户的存在或用户的动作；和周围环境的情况信息a2，例如，光量、温度、时间、在显示设备200的周围的人的数量、在用户和显示设备200之间的对象存在、回放节目以及估计用户情绪状态的多种信息。
如上所述，将由信息收集器110或210收集的用户身体状态或周围环境的情况信息a1或a2发送给如图2所示的显示设备200的第二情况确定单元220，或如图3a所示的遥控设备100的第一情况确定单元120，并由每个设备100或200使用。
下文中，将参考图3来描述本公开实施例的组件，其中情况确定单元和控制器包括在系统的显示设备200中。
以上描述了显示设备200的组件中如图2和3所示的信息收集器110或210。下文中，在本公开实施例中，将参考图3描述显示设备200的第二情况确定单元220。
在本公开实施例中，第二情况确定单元220基于外部环境的收集情况信息a1和a2来确定用户的当前状态，并确定当前情况。也就是说，第二情况确定单元220使用通过第二信息收集器210收集的多个情况信息(例如，如用户的温度和脉搏的用户身体状态的情况信息a1、光量、声音音量、运动、用户脸部表现、关于回放节目的信息或当前时间)来确定用户的当前状态和用户的感觉。
此时，第二情况确定单元220接收从外部环境收集的情况信息(例如，光量、温度、声音音量或用户的身体状态)作为输入值，将该输入值带入预定情况确定算法中以便获得结果值，并根据结果值来确定用户或周围环境的当前状态。
换言之，第二情况确定单元220可以确定环境和用户的状态。
例如，第二情况确定单元220可以确定由光学传感器112和212感测到的光量，由声学传感器113和213感测到的声音的音量，根据用户的生物信号211确定用户是否在睡眠，或者在哪种情况下用户在睡眠，例如在关闭光源的情况下用户是否在睡眠。
为了使第二情况确定单元220来确定情况，可以根据所收集的情况信息和确定信息，使用多个情况确定算法。可以将若干个情况信息用作一个算法的输入值，或可以将一个情况信息用作多个情况确定算法的输入值。此外，使用若干算法来确定单个情况，并累积所确定的单个情况以便确定遥控设备100和显示设备200的整体情况。
如上述示例所示，使用预定算法根据用户的生物信号确定用户是清醒还是在睡眠状态，使用关于光量的信息确定开启照明还是关闭照明，基于从处理器输出的时间信息来确定当前时间或在开启照明之后经过的时间，接着确定晚上用户是否没有睡眠。
在本公开实施例中，如图2所示，可以使用第二情况确定单元220中用于确定的确定信息数据库221。
确定信息数据库221存储确定信息，以便基于情况信息确定用户的当前状态。
确定信息是指当情况信息在预定范围内或具有预定值时的确定信息。例如，确定信息是指关于根据所收集情况信息的确定方法的信息，例如，如果所感测的光量在预定范围内则确定开启了照明，或如果用户微笑则确定用户感觉良好。
在这种情况下，第二情况确定单元220在确定信息数据库221中搜索与情况信息相对应的确定信息，所述情况信息与所收集的情况信息a1和a2有关。如果存在与该情况信息相对应的确定信息，则根据与情况信息相对应的确定信息，确定用户的当前状态。如果不存在与该情况信息相对应的确定信息，则第二情况确定单元220结束确定，等待直到收集到其它情况信息。
根据第二情况确定单元220的确定，确定多种用户状态和周围环境的情况确定结果，例如，用户的检测和识别，位于显示设备前方的人的数量、用户的多种感觉(例如，愉快、高兴、忧郁、悲痛、厌倦、生气或恐惧)、用户是否在睡眠、照明的强度、或用户的压力(stress)。
将由第二情况确定单元220确定的结果发送给如图2和3所示的第二控制器230，显示设备200的第二控制器230产生并向被控目标发送与确定结果相对应的控制命令。
下文中，在本公开实施例中，将描述显示设备200的第二控制器230。
在本公开的实施例中，显示设备200的第二控制器230根据基于所收集的情况信息确定的当前状态的结果来产生控制命令，以便控制遥控设备100和/或显示设备200，例如，显示单元240或如显示设备200的光束投影仪模块280的图像投影仪模块。此外，第二控制器230可以产生控制命令，以便控制配置显示设备200的多个组件的操作。
通过控制显示设备200，显示设备200可以基于用户的状态或感觉或周围环境，向用户提供服务以便刺激用户的感知。
根据本公开实施例，第二控制器230产生控制信息以便控制遥控设备100输出根据确定结果的预定通知信号，并将该控制信息发送给如图2所示的遥控设备100。控制信息可以包括关于遥控设备100的通知单元140的操作的信息，例如从通知单元140的发光模块(图3a的151)发射的光的图案；以及关于通知信号的信息，例如关于从通知单元140的声学输出模块153输出的声音的信息等。遥控设备100的通知单元140根据该控制信息进行操作。
根据本公开的实施例，第二控制器230可以仅向遥控设备100发送确定结果。在这种情况下，遥控设备100可以基于所接收的确定结果来确定要输出的通知信号并控制通知单元140，由此输出通知信号，例如预定光或声音。
在本公开实施例中，第二控制器230可以通过参考如图2所示的控制信息数据库231，产生根据第二情况确定单元220的确定结果的控制命令。
控制信息数据库231可以存储与基于情况信息确定的用户的当前状态相对应的遥控设备100和/或显示设备200的控制信息。
如果所收集的情况信息与预定条件相对应，则控制信息可以控制显示设备的摄像机捕获图像，或控制显示设备以画中画(PIP)的方式显示由显示设备的摄像机捕获的图像。此外，控制信息可以控制在显示设备的屏幕上规则排列由显示设备的摄像机捕获的至少一个图像的缩略图图像，或可以控制在显示设备的屏幕上显示与在显示设备的屏幕上显示的图像有关的信息。
控制信息可以根据多种类型的服务来包括多种控制信息，以便通过显示设备200刺激用户的感知。
在本公开实施例中，第二控制器230根据通过第二情况确定单元220确定的用户的当前状态，并搜索控制信息数据库231，如果在控制信息数据库231中存在该控制信息，则读取与当前情况相对应的遥控设备100和/或显示设备200的控制信息，并产生与之相对应的控制命令。备选地，如果不存在与当前情况相对应的遥控设备100和/或显示设备200的控制信息，则第二控制器可以结束控制命令的产生，等待直到从第二情况确定单元220接收到其它情况信息。
在本公开实施例中，第二控制器230可以根据通过遥控设备100的输入单元(例如，排列在遥控器上的多个按钮(参阅图4A的140或图4B的130a))接收的用户命令来产生新控制信息，或校正已产生的控制信息以便产生新控制信息。
具体地，在这种情况下，在通知单元140向用户输出通知信号之后，遥控设备100的输入单元可以从用户接收用户命令。
也就是说，如果用户根据从通知单元140输出的通知信息来操控遥控设备100，则将关于操控的信息发送给显示设备200的第二控制器230，第二控制器230产生与之相对应的新控制信息。
例如，一旦基于由第二控制器230收集的情况信息确定在晚上用户可能长时间不睡，则第二控制器230可以操作显示设备200的投影仪模块280，投影光束以便在用户房间的天花板上显示星座(constellation)。此时，当用户操控遥控设备100，输入命令以便停止投影仪模块280的操作时，第二控制器230可以根据输入的用户命令产生新控制命令，以便停止投影仪模块280的操作。
此外，尽管本公开实施例中第二控制器230可能必须根据第二情况确定单元220的确定结果来产生控制命令，在实施例中第二控制器230可以随机产生与确定结果相对应的控制命令。换言之，即使当情况确定单元220的确定结果相同时，控制器230可以产生或可以不产生控制遥控设备100或显示设备200的控制命令。
因此，用户可以意外地接收使用显示设备200的服务。因此，有可能进一步刺激用户的感知。
在本公开实施例中，显示设备200包括显示单元240，根据第二控制器230的控制命令显示从外部设备接收的或在内部存储器中存储的多个图像。
在本公开实施例中，显示设备200还可以包括存储器250，存储上述控制命令、或通过因特网由外部设备收集的多种信息、或根据上述控制命令通过摄像机270捕获的图像，例如，通过显示设备200回放的图像的多个元信息。存储在存储器250中的数据可以由第二控制器230进行检测，如有必要用于显示设备200的学习，并且可以通过显示单元240来显示。
根据本公开实施例，显示设备200还可以包括更新单元260，基于存储在存储器250中的信息分析用户的操作方式，并基于分析结果更新控制信息数据库231。
由服务供应商来建立控制信息数据库231，所述控制信息数据库231不包括用户的单个特点，其中服务供应商提供使用包括遥控设备的显示设备控制系统的服务。
因此，对例如通过遥控设备100的输入单元150的用户操控的用户操控进行统计分析，并根据关于单个情况的用户反映或爱好来更新控制显示设备200的控制命令。通过更新单元260来更新控制信息数据库231。
换言之，显示设备200通过更新单元260学习如何控制显示设备200根据用户爱好提供服务。
在本公开实施例中，显示设备200还可以包括摄像机模块270以捕获外部图像。摄像机模块270可以捕获静态图像和运动图像。
在本公开实施例中，显示设备200还可以包括投影仪模块280以在外部投影表面上投影图像。
投影仪模块280在外部投影表面(例如，屏幕、墙壁或天花板)上投影光(例如，可见光或激光)，以便在投影表面上形成预定图像。
下文中，将参考图4A来描述遥控设备100确定情况并产生控制命令的示例。
图4A是根据本公开实施例的遥控设备的框图。
如图4A所示，根据本公开实施例的遥控设备可以包括第一信息收集器110、第一情况确定单元120、第一控制器130和通知单元140。上文描述了第一信息收集器110。
遥控设备100的第一情况确定单元120(类似于显示设备200的第二情况确定单元220)基于由第一信息收集器110收集的情况信息来确定用户的当前状态。
根据本公开实施例，第一情况确定单元120可以仅使用遥控设备的第一信息收集器110来确定用户的当前状态，或接收由显示设备200的第二信息收集器210收集的情况信息，以便确定用户的当前状态。
根据本公开实施例，将由遥控设备的第一情况确定单元120获取的确定结果发送给显示设备200，以便显示设备200的第二控制器230使用该确定结果产生控制命令。
根据本公开实施例，将由遥控设备的第一情况确定单元120获取的确定结果发送给遥控设备100的第一控制器130。
在本公开实施例中，遥控设备100还可以包括第一控制器130，以基于第一情况确定单元120的确定结果产生预定控制命令。
遥控设备100的第一控制器130根据确定结果产生控制命令以便控制遥控设备100的通知单元的操作，将该控制命令发送给通知单元140。遥控设备100的第一控制器130产生控制命令以便控制显示设备200，例如，驱动摄像机模块270或投影仪模块280的控制命令，并将该控制命令发送给显示设备200。
如上所述，如果显示设备200包括第二控制器230，则第二控制器230根据确定结果产生控制命令以便控制遥控设备100的通知单元140的操作，并向遥控设备100发送该控制命令，遥控设备100的第一控制器130不需要产生控制通知单元140的控制命令。
如上所述，如果显示设备200的第二控制器230产生对显示设备200的控制命令，则遥控设备100的第一控制器130不需要产生对显示设备200的控制命令。
例如，根据本公开实施例，遥控设备100的第一控制器130基于使用情况信息确定的用户当前状态的结果来产生控制命令，以便仅控制遥控设备100的通知单元140，并将该确定结果发送给显示设备200，以便显示设备200的第二控制器230基于确定结果来产生控制显示设备200的控制命令。
如参考图2所述，根据实施例，控制器110可以是指当产生控制命令时存储在遥控设备100的存储器中或通过无线通信网络由遥控设备100访问的控制信息数据库。
在本公开的实施例中，遥控设备100还包括通知单元140。
通知单元用于输出预定通知信号，所述预定通知信号与由遥控设备100的第一情况确定单元120或显示设备200的第二情况确定单元220确定的用户的当前状态相对应。
换言之，当情况确定单元120和220确定用户的状态并接着根据该确定结果控制显示设备200时，向用户通知通过显示单元200提供了新服务。
通知单元可以请求用户操控遥控设备100的输入单元150并输入对控制显示设备200所必须的用户命令。
在本公开的实施例中，通知单元140包括发射光的发光模块141、振动遥控设备100的振动产生模块142、以及输出声音的声学输出模块143。
发光模块141根据从控制器130或230接收到的发光控制命令，控制光源发射预定光。
发光模块141包括：光源，例如安装在遥控设备100的外部表面上的使用灯丝的灯泡，或使用电致发光效应的发光二极管(LED)；以及电路，用于控制光源。
根据本公开实施例，发光模块141可以发光，所述光的颜色或能量根据使用情况信息而确定的用户的当前状态的结果而改变，或可以发射不同图样的光。例如，可以根据确定结果改变所发射光的颜色或所发射光的闪烁周期。可以根据确定结果改变光的图样。例如，首先闪烁红光，接着在预定时间之后闪烁黄光，或可以随着时间改变光的图样。
因此，通过从发光模块141发射的光的图样或形式，用户直观地意识到由遥控设备100或显示设备200产生的确定结果，或如何对显示设备200进行控制。
在本公开实施例中，可以根据发光单元141的操作改变部分或整个遥控设备100的颜色。
根据本公开实施例，部分或整个遥控设备100的外壳可以由透明或半透明的材料构成以便透射光，发光模块141位于部分或整个外壳的下部。如果改变从发光模块141发射的光的总量或颜色，则可以改变部分或整个遥控设备100的颜色。
在本公开实施例中，发光模块141可以根据遥控设备100的状态显示不同颜色。
在没有驱动遥控设备100的状态下或没有从遥控设备100或显示设备200发送预定控制命令的默认状态下，发光模块141发射灰色或黑色光，或不发射光，以便遥控设备100呈现灰色或黑色。
如果从遥控设备100或显示设备200发送预定控制命令，则发光模块141发射具有其它颜色(例如，具有低色度或亮度的专用颜色)的光，以便改变遥控设备100的颜色。改变颜色的次数不限于一次，且可以根据预定图样来改变。可以随机选择要改变的颜色。
当在改变遥控设备100的颜色之后经过了预定时间(例如，3到4秒)时，开始控制显示设备200。
根据本公开实施例，在开始对显示设备200的控制之后，遥控设备100的发光模块141可以连续地发射具有相同颜色的光，直到结束对显示设备200的控制。因此，只要连续控制显示设备200，就保持遥控设备100的颜色。
根据本公开实施例，当开始对显示设备200的控制时，或在开始对显示设备200的控制之后经过了预定时间时，遥控设备100的发光模块141可以发射灰色或黑色光，或停止发光。接着，将遥控设备100切换到默认状态，以便遥控设备100的颜色变为灰色或黑色。
因此，通过遥控设备100的颜色的改变，用户直观地意识到由遥控设备100或显示设备200产生的确定结果，或如何对显示设备200进行控制。
振动产生模块142根据使用情况信息而确定的结果，产生与遥控设备100有关的振动。
振动产生模块142可以使用例如安装在遥控设备100中的振动电机来振动遥控设备100。
在本公开的实施例中，通过基于确定结果改变遥控设备100的振动强度或振动图样，用户可以检查该确定结果和如何对显示设备200进行控制。
声学输出模块143根据使用情况信息而确定的结果，向用户输出预定声音、音乐或记录的语音。
在本公开实施例中，声音输出模块143从第一控制器130接收声学输出控制命令，根据该控制命令选择存储在遥控设备100的存储器中的多种声学数据中的至少一个，例如，语音数据、音乐数据或声音数据，并且通过例如扬声器的输出单元输出数据。
因此，通过语音、音乐或声音，用户意识到确定结果或如何对显示设备200进行控制。
在本公开实施例中，遥控设备100可以包括输入单元150，根据用户操控接收用户命令，并产生和发送与用户命令相对应的控制命令。
输入单元150可以包括：例如如图4B所示，位于遥控设备100的外部表面上的多个按钮140a，或在遥控设备100上显示虚拟按钮的触摸屏，且输入单元150可以通过按钮从用户接收命令。
根据本公开实施例，在通知单元140输出预定通知信号之后，输入单元150可以从用户接收与通知信号相对应的用户命令。换言之，如果用户操控输入单元150的多个按钮140a或触摸屏，则在输出通知信号之后，将输入单元150切换到待机状态以便从用户接收与该通知信号相对应的命令，并且产生输入命令。将所产生的输入命令发送给控制器140或显示设备200，以便控制器140或显示设备200执行下一操作。
根据本公开实施例，即使当输入单元140没有接收到用户命令时，也可以控制显示设备200以便执行预定操作。
在图4B中示出了遥控设备100的示例。
图4B是根据本公开实施例的遥控设备的前视图。
参考图4B，在本公开实施例中，遥控设备100可以是控制显示设备200的遥控器100a。
在本公开实施例中，如上所述，遥控器100a包括：第一信息收集器110，例如感测光的光学传感器112a；以及通知单元140，例如向用户发射预定光的LED模块141a。遥控器100a可以包括向显示设备200发送控制命令的发送单元，例如，红外辐射单元131。此外，从用户接收预定命令的多个按钮150a可以位于遥控器的外部表面上。
如上所述，在本公开实施例中，遥控器100a通过光学传感器112a测量光的强度以便获得情况信息，将该情况信息发送给遥控设备100或显示设备200的情况确定单元110或210。接着，遥控设备100或显示设备基于所收集的情况信息产生确定结果，并根据该确定结果使遥控器100a的LED模块141a以预定图样向用户输出具有预定颜色的光。
之后，如果用户按压遥控器110a的多个按钮150a的任何一个，则由遥控器100a的输入单元产生预定控制命令，并通过红外辐射单元131将该预定控制命令发送给显示设备200。接着，显示设备200执行与所发送的控制命令相对应的操作。
下文中，将描述在本公开实施例中包括显示设备、遥控设备和服务器的系统。
图5是示出了根据本公开实施例包括显示设备、遥控设备和服务器的系统的配置的图，图6是根据本公开实施例的显示设备、遥控设备和服务器的框图。
如图5和6所示，在本公开实施例中，还可以包括服务器300。
服务器300从遥控设备100或显示设备200接收所收集的情况信息，从情况信息中确定当前状态，并产生与当前状态相对应的控制命令。
根据本公开实施例，如图6所示，服务器300可以包括情况确定单元310(以下文中称为第三情况确定单元)、控制器320(以下文中称为第三控制器)、存储器330及更新单元340。
在这种情况下，如图6所示，当遥控设备100、显示设备200或遥控设备100以及显示设备200通过信息收集器110和210收集情况信息a1和a2时，将所收集的信息通过有线/无线通信网络发送给服务器300。
接着，第三情况确定单元310使用所收集的情况信息确定情况，并将确定结果发送给第三控制器320。第三控制器320基于该确定结果产生控制命令，并向遥控设备100和/或显示设备200发送该控制命令。
根据本公开实施例，可以将控制通知单元140的控制命令m发送给遥控设备100，可以将控制显示单元220或投影仪模块230的控制命令n发送给显示设备200。换言之，从服务器300发送给遥控设备100的控制命令和从服务器300发送给显示设备200的控制命令可以不同。
遥控设备100、显示设备200和服务器300的其它组件与上述组件本质上相同。可以根据设备的特点对这些组件进行部分修改。
下文中，将参考图7到11描述根据本公开实施例的基于情况来控制显示设备的方法。
图7是示出了根据本公开实施例基于情况来控制显示设备的方法的流程图。
如图7所示，根据本公开实施例，基于情况来控制显示设备的方法包括：操作S400，收集情况信息；操作S410，确定用户的当前状态；操作S420，根据确定结果在遥控设备100处输出通知信号；以及操作S430，根据用户的当前状态，控制显示设备。
根据本公开实施例，在收集情况信息的操作S400中，遥控设备100或显示设备200通过信息收集器110或210收集用户身体状态或周围环境的情况信息。
例如，遥控设备100或显示设备200的多种传感器识别位于距显示设备200预定距离内的用户的脸部表情、目光的焦点、或语音，以便识别用户的身体状态或声调，或检测用户运动或由用户施加的遥控设备100的压力，由此获取情况信息。
在用户使用显示设备200或不使用显示设备200期间，遥控设备100或显示设备200的信息收集器110或210可以收集情况信息。可以连续地、周期性地、或任意地收集用户和周围环境的情况信息。
可以基于所收集的情况信息来确定用户的当前状态(操作S410)。
在这种情况下，可以通过在先前存储的确定信息数据库221中搜索与所收集的情况信息相对应的信息，或将情况信息带入先前存储的情况确定算法中，来确定用户的当前状态。
因此，可以确定用户的情绪和身体状态。
在本公开实施例中，将详细描述确定用户的感觉或周围环境的处理。
为了确定用户的感觉，首先，使用摄像机和显示设备200或遥控设备100的脸部识别器117和216来识别用户的脸部表情，使用声学传感器113和213(例如，麦克风)来收集用户语音，基于所收集的情况信息来确定用户的感觉，以及产生确定结果。确定结果是指用户的多种感觉，例如，愉快、忧郁、生气等。
为了检测用户是否在睡眠，通过遥控设备100或显示设备200的生物信号传感器111或211、温度传感器115或215和摄像机270来获得用户状态和周围环境的情况信息。在这种情况下，为了增加对用户是否在睡眠的确认的准确度，还可以使用从控制器130或230输出的时间信息或关于由光学传感器212感测到的光的强度的信息。
如果确定了情况，则遥控设备100根据确定结果输出通知信号(操作S420)。
通知信号可以是从遥控设备100的发光模块141发射的光、通过振动模块142的遥控设备100的振动、或从声学输出模块143输出的语音、声音或音乐。
可以通过如上所述改变遥控设备100的颜色来显示通知信号。也就是说，在具有外壳的遥控设备100中，部分或整个外壳是由透明或半透明的材料构成以便透射光，发光模块141向部分或整个外壳发射预定光，以便改变部分或整个遥控设备100的颜色。用户识别到改变了部分或整个遥控设备100的颜色。
在输出通知信号之后，根据用户的当前状态来控制显示设备200(操作S430)。
如果在通过显示设备200观看体育比赛的期间用户非常兴奋，则收集该情况信息，确定用户状态是兴奋，并且显示设备200的摄像机270捕获喜悦的用户图像，并将所捕获的图像存储在存储器250中。在这种情况下，可以以PIP的方式结合并显示通过显示设备200显示的图像和用户的图像。
如果用户厌烦，则可以控制显示由显示设备的摄像机捕获的图像或以PIP方式编辑的图像。在这种情况下，如果存在用户的多个所捕获图像，则可以从用户的图像中提取缩略图图像，在显示设备的屏幕上有规则地排列并显示该缩略图图像。
在用户通过显示设备200观看视频内容(例如，电影或电视剧)期间，用户可以控制在显示设备的预定位置处显示关于显示在显示设备200的屏幕240上的图像的多种图像信息，例如，主角信息、收视率、关键字、背景信息等。在这种情况下，在显示图像信息之前，可以在屏幕上显示选择按钮，以便从用户接收选择命令。即使用户第一次或多次观看内容，也可以根据记录信息执行相同的操作。
此外，如果用户多次(例如，三次及以上)通过显示设备观看相同视频内容，则可以控制自动存储由显示设备200显示的图像。
下文中，将描述基于情况来控制显示设备的方法的多个示例。
图8是示出了根据本公开实施例基于情况来控制显示设备的方法的流程图。
如图8所示，基于情况来控制显示设备的方法可以执行如下。
遥控设备100或显示设备200针对基于情况来控制显示设备的方法在待机模式下操作(操作S500)。此时，显示设备200可以显示预定视频内容，遥控设备100可以根据用户操控来控制显示设备200，以便改变显示设备200的频道或控制音量。
例如，用户动作或周围环境改变，也就是说，用户的脉搏或呼吸速率改变、或房间的光的强度增加或降低、或预定视频内容开始进行回放。备选地，用户可以操控遥控设备100或显示设备200的输入按钮，以便遥控设备100或显示设备200收集情况信息(操作5510)。
接着，遥控设备100或显示设备200开始收集情况信息(操作S520)。也就是说，如果用户的脉搏或呼吸速率改变、预定视频内容进行回放、或用户输入情况信息收集命令，则遥控设备100或显示设备200的信息收集器110或210开始收集情况信息。
根据本公开实施例，遥控设备100或显示设备200可以连续地收集情况信息，而不考虑用户动作或操作、或在周围环境的改变。在这种情况下，基于情况来控制显示设备的方法的待机模式不是必要的。
如果收集到情况信息，则遥控设备100的第一控制器130将由遥控设备100或显示设备200收集的情况信息与确定信息数据库的确定信息进行比较(操作S530)，以便确定是否存在与所收集的情况信息相对应的确定信息。
如果不存在与所收集的情况信息相对应的确定信息(操作S531)，则可以将遥控设备100再次切换到操作S500的待机模式，或可以收集用户动作或周围环境的情况信息(操作S520)。
如果存在与所收集的情况信息相对应的确定信息，则确定用户的当前状态，例如，愉快、高兴、忧郁、悲痛、厌烦、生气或恐惧(操作S532)。
接着，遥控设备100的第一控制器130根据确定结果来产生预定控制命令。此时，一个控制命令用于控制通知单元140。
遥控设备根据控制通知单元140的控制命令来输出通知信号(操作S540)。例如，发光模块141可以发光，或声学输出模块142(例如，扬声器)可以输出语音或声音。如上所述，可以改变部分或整个遥控设备100的颜色。
确定是否将确定结果发送给显示设备200(操作S550)。如果显示设备200的第二控制器230根据确定结果产生控制显示设备200的控制命令，则需要将确定结果发送给显示设备200，以便产生控制命令(操作S551)。可以通过无线通信网络(例如，蓝牙或Wi-Fi网络)来执行这样的发送。
遥控设备100产生与该确定结果相对应的控制命令。
根据本公开实施例，在通知单元140输出通知信号之后，遥控设备100可以通过输入单元150从用户接收用户命令。
用户通过通知信号意识到可以由单独控制命令来控制显示设备200。换言之，用户意识到存在使用显示设备200提供的服务。
此后，确定用户是否接收服务，也就是说，是否需要根据控制信息数据库231的预定操作来驱动显示设备200，显示设备200如何操作或在预定安排的操作中选择并执行哪个操作。
如果用户操控遥控设备100，也就是说，按压预定按钮150a，则遥控设备100的第一控制器130根据用户操控产生控制命令。
在本公开实施例中，可以输出通知信号而不从用户接收命令，在输出通知信号之前，或当在输出通知信号之后经过了较短时间时，可以自动产生控制命令。
如果没有产生控制命令，例如如果由显示设备200或服务器的控制器230或320产生所有控制命令，则遥控设备100的操作结束(操作S560)。
如果产生了控制命令(操作S560)，则产生根据确定结果与用户的当前状态相对应的控制命令。如上所述，该控制命令用于控制显示设备200的操作。这样的控制命令可以是操控显示设备200的摄像机270的控制命令以便捕获用户的图像，或操控光束投影仪模块280的控制命令以便在投影表面上投影光束从而产生预定图像(操作S561)。
将由遥控设备100产生的控制命令发送给显示设备200(操作S570)，显示设备200根据该控制命令来进行操作(操作S580)。
图9是示出了根据本公开实施例基于情况来控制显示设备的方法的流程图。
如图9所示，根据本公开实施例基于情况来控制显示设备的方法可以操作如下。
当遥控设备100和显示设备200在待机模式下(操作S600)时，如果用户动作或周围环境改变(操作S610)，则遥控设备100和/或显示设备200感测用户动作或周围环境，并收集情况信息(操作S620)。
此后，遥控设备100使用利用多种移动通信标准的无线通信网络(例如，蓝牙、Wi-Fi、3GPP、3GPP2或WiMax)，向显示设备200发送所收集的情况信息(操作S630)。
显示设备200使用由遥控设备100收集的情况信息来确定用户的当前状态。
根据本公开实施例，显示设备200可以使用由遥控设备100收集的情况信息，或由显示设备200的第二信息收集器210收集的情况信息。换言之，可以使用由遥控设备100收集的情况信息和由显示设备200收集的情况信息的结合，或可以仅选择性地使用由设备100或200的任何一个收集的情况信息。
在本公开实施例中，显示设备200通过参考确定信息数据库221，将确定信息数据库的确定信息与所收集的情况信息进行比较，以便确定当前状态(操作S640)。
在这种情况下，如果在确定信息数据库221中存在与所收集的情况信息相对应的确定信息，则可以确定用户的当前状态(操作S641和操作S642)。如果没有检测到与所收集的情况信息相对应的确定信息，则可以将遥控设备100或显示设备200切换到待机模式，以便根据情况信息产生控制命令。
如果确定了用户的当前状态，显示设备200的第二控制器230根据确定结果向遥控设备100发送输出通知信号的控制命令。此时，可以使用利用多种移动通信标准的无线通信网络(例如，蓝牙、Wi-Fi、3GPP、3GPP2、或WiMax)，以便发送控制命令。接着，遥控设备100根据输出通知信号的控制命令来输出通知信号(操作S650)。
显示设备200的第二控制器230根据用户的当前状态，产生控制显示设备200的控制命令(操作S660)。
根据本公开实施例，在遥控设备100通过发光模块141(例如LED模块)的通知单元140输出通知信号之前或之后，可以顺序地产生这样的控制命令，而无需从外部设备接收的命令。
根据本公开实施例，遥控设备100可以通过通知单元140输出通知信号，用户操控遥控设备100的输入单元150，以便接收用户命令，接着可以根据该用户命令来产生控制命令。
例如，如果遥控设备100的LED模块以预定图样发光，则可以根据控制信息数据库231的预定操作来询问用户是否想要驱动显示设备200，也就是说，用户是否想要通过向用户同时或顺序输出的语音还是显示在显示设备200屏幕上的文本来接收服务。此时，用户可以操控遥控设备100的按钮150a，以便确定是否从显示设备200接收服务，或在提供服务的同时如何驱动部分显示设备200。
通过显示设备200或根据用户操控遥控设备100而产生的控制命令来自动控制显示设备200。例如，显示设备200可以捕获和显示用户的图像，或以PIP形式在屏幕上显示回放视频和先前捕获的图像。此外，可以驱动显示设备200的光束投影仪模块(操作S670)。
图10是示出了根据本公开实施例基于情况来控制显示设备的方法的流程图。
如图10中所示，将描述基于情况来控制显示设备的方法的实施例。
首先，如上所述，遥控设备100或显示设备200感测用户的动作或情况，并收集情况信息(操作S700)。
将由遥控设备100或显示设备200收集的情况信息通过有线/无线通信网络(操作S710)发送给如图5所示的服务器300。
接着，服务器300使用由遥控设备100或显示设备200收集的情况信息来确定当前情况。在这种情况下，根据本公开实施例，搜索在服务器300中建立或通过有线/无线通信网络连接到服务器300的确定信息数据库221，将情况信息和确定信息进行比较，并读取与情况信息相对应的确定信息(操作S720和操作S721)。
基于读取的确定信息来确定用户的当前状态，以便产生确定结果(操作S722)。
服务器300向遥控设备100发送该确定结果(操作S730)，遥控设备100接收确定结果并输出与该确定结果相对应的通知信号(操作S731)。
根据本公开实施例，服务器300可以向遥控设备100和显示设备200同时或顺序地发送确定结果(操作S740和操作S741)。
如果将确定结果发送给显示设备200(操作S740的“是”)，则显示设备200基于该确定结果产生控制命令。在这种情况下，服务器300不产生控制命令(操作S750的“否”)。此时，如图9的操作S660所示，显示设备200的第二控制器230产生与用户的当前状态相对应的控制命令，以便控制显示设备200。
如果没有将确定结果发送给显示设备200(操作S740的“否”和操作S750的“是”)，则服务器300根据该确定结果产生控制命令(操作S751)。根据本公开实施例，当产生控制命令时，可以参考在服务器300中建立或通过有线/无线通信网络连接到服务器的控制信息数据库231。
此后，将所产生的控制命令发送给显示设备200(操作S752)，并控制显示设备200，以便根据由服务器产生的控制命令向用户提供服务(操作S760)。
图11是示出了根据本公开实施例基于情况来控制显示设备的方法的流程图。
如图11所示，将描述基于情况来控制显示设备的方法的实施例。
如图11所示，在本公开实施例中，只有显示设备200的第二信息收集器210可以收集情况信息(操作S800)。例如，显示设备200的第二信息收集器210的脸部识别器216从位于显示设备200前方的用户的脸部中获取脸部信息或脸部表情信息。
接着，显示设备200将确定信息数据库221的确定信息与所收集的情况信息(例如，脸部信息或脸部表情信息)进行比较(操作S810)。
如果在确定信息数据库221中存在与所收集情况信息相对应的确定信息(操作S820)，则基于确定信息来确定用户的当前状态(操作S830)。
接着，显示设备产生与当前状态相对应的遥控设备100的控制命令以及显示设备200的控制命令(操作S840)。
将遥控设备100的控制命令发送给遥控设备100，以便控制遥控设备100的通知单元140，遥控设备根据该控制命令输出与用户的当前状态相对应的通知信号(操作S850)。
基于显示设备200的控制命令来控制显示设备200(操作S860)。例如，如果将用户微笑确定为确定用户的脸部表情信息的结果，则存储在确定时间期间接收的图像、或在用户脸部图像中该时刻的图像，并对其进行处理以便产生用户脸部的图像文件，由此捕获用户脸部的图像。
下文中，将参考图12到15来描述通过根据基于情况来控制显示设备的方法控制显示设备来向用户提供服务的多个实施例。
图12是示出了根据本公开实施例的状态的图，其中根据基于情况来控制显示设备的方法来控制显示设备。
用户正在通过显示屏幕p1观看视频(例如，体育比赛或电视剧)(图12(a))。在这种情况下，遥控设备100和显示设备200可以通过信息收集器110和210收集情况信息。
如果如图12(b)所示用户非常兴奋，则通过生物信号传感器111和211来收集生物信息(例如，用户的脉搏或呼吸速率)，通过声学传感器113来感测用户的尖叫，以便收集声学信息，通过光学传感器112来感测用户动作，以便收集用户动作信息。
如果情况确定单元120、220或310基于所收集的信息确定用户非常兴奋，则首先遥控设备100输出通知信号。在用户操控遥控设备100之后，或在不操控遥控设备100的情况下，驱动显示设备的摄像机270，以便拍摄用户的运动图像。将拍摄的运动图像存储在存储器250中。
此后，在预定情况下，在回放图像p1的下侧处显示选择按钮(图12(c))。
预定情况可以遵循先前存储的设置，例如当在拍摄运动图像之后经过了预定时间时，或当观看相同类型的视频内容时。
预订情况可以是用户希望再次观看所记录图像的情况，例如基于根据由第一情况确定单元120收集的情况而确定的结果，确定用户忧郁的情况。为了确定情况，可以执行上述基于情况来控制显示设备的方法。在这种情况下，显示设备200的控制命令用于在所播放图像p1的下侧显示选择按钮。
此后，以PIP形式显示由用户操控遥控设备100存储的运动图像p2和当前回放的视频内容p1。在这种情况下，可以将关于回放视频的信息(例如，节目指南信息)同时显示作为子标题(图12(d))。
因此，本公开可以控制显示设备200提供刺激用户感知的服务。因此用户可以在预定时间之后或根据它们的心情，浏览观看体育比赛或电视剧的用户图像，或在回忆观看体育比赛或电视剧的期间感受正面情绪。
图13是示出了根据本公开实施例的状态的图，其中根据基于情况来控制显示设备的方法来控制显示设备。
如图13所示，在根据本公开实施例基于情况来控制显示设备的方法中，如果在通过TV观看视频内容p1的期间情况确定单元120、220或310确定对由用户观看的视频内容p1进行了重复观看，则可以存储回放视频内容的节目指南信息和观看时间。
可以将根据用户选择而存储的内容的标题显示在显示设备200的屏幕上(p1)。在这种情况下，可以根据用户观看该内容的次数或观看频率来改变内容的标题的大小。例如，如果用户观看该内容的次数或观看频率较大，则标题的尺寸可以较大，如果用户观看该内容的次数或观看频率较小，则标题的尺寸可以较小(图13(b))。
此时，用户操控遥控设备100选择任何一个标题，并且显示设备200在显示屏幕上回放与所选标题相对应的视频，由此重复地向用户提供具有高观看频率的视频。
图14是示出了根据本公开实施例的状态的图，其中根据基于情况来控制显示设备的方法来控制显示设备。
如图14所示，在晚上用户可能没有睡。
此时，根据本公开实施例，遥控设备100或显示设备200收集用户身体状态的情况信息a1和周围环境的情况信息a2。此时，用户身体状态的情况信息a1表示用户是清醒的但是静止，周围环境的情况信息a2表示光的强度等于或小于预定等级，时间是在晚上(例如12am)，光的强度等于或小于预定等级时的时间段超过30分钟。
遥控设备100或显示设备200基于这种情况信息确定在晚上用户长时间不睡，并产生控制遥控设备100和显示设备200的控制命令。具体地，控制显示设备200的控制命令包括控制驱动光束投影仪模块280的控制命令。
遥控设备100根据所产生的控制命令在预定时间内输出通知信号。此时，部分或整个遥控设备100使用发光模块发射具有柔和色的光。在这种情况下，如参考图11所述，遥控设备100可以不从用户接收其它命令。换言之，可以自动控制显示设备200，而无需用户操控遥控设备100。
此后，显示设备200的光束投影仪模块280在投影表面(例如，天花板)上投影光束，并在投影表面(例如，天花板)上显示星座、夜空、如电影或电视剧的视频内容、用户的过往图像等。
此后，用户可以以预定模式移动遥控设备100，或操控遥控设备100的输入单元150，以便移动投影在投影表面(例如，天花板)上的图像。在这种情况下，遥控设备的运动传感器114可以用于确定遥控设备100如何移动。换言之，当在遥控设备100朝向所投影图像的状态下用户移动、或垂直或水平旋转时，运动传感器114感测这种移动或旋转并将这种移动或旋转转换为电信号，因此遥控设备100的第一控制器130或显示设备200的第二控制器230控制光束投影仪模块280，以便根据遥控设备130的移动来改变在投影表面上投影的图像。
此后，遥控设备100或显示设备200的情况收集器110和210连续地或以预定频率收集用户的情况信息。如果将用户在睡眠状态确定作为对所收集情况信息进行确定的结果，则产生对光束投影仪模块280的控制命令，以便停止光束投影仪模块280的操作。
因此，如果用户在晚上不容易入睡，则可以通过光束投影仪模块280在投影表面上显示星座或用户的过往图像，以便能够令用户酣畅地入睡。此外，可以防止显示设备200(更具体地，投影仪模块280)进行无意义的操作。
在本公开实施例中，可以识别位于图像显示器附近的用户的脸部表情，以便显示设备200捕获用户的图像，其中将参考图15来进行详细描述。
图15是示出了根据本公开实施例在识别用户脸部和控制显示设备的方法中用于收集情况信息(例如，脸部信息和脸部表情信息)的处理的图。
参考图15，现在将描述获取脸部信息和脸部表情信息的处理。
根据本公开的实施例，首先用户，更具体是用户的脸部接近摄像机270。此时，可能存在多个用户(操作S900)。接着，显示设备200的光学传感器212识别人的接近，驱动摄像机270和脸部识别器216(操作S910)。
根据本公开实施例，摄像机270和脸部识别器216可以根据用户操控开始进行操作，而不感测用户的接近。
随着至少一个用户的脸部接近，摄像机270捕获用户脸部的图像，并获得包括至少一个用户的脸部的临时图像数据(操作S920)。
此后，从所捕获的图像(即，所产生的图像数据)中检测脸部(操作S930)。根据本公开的实施例，识别明暗或皮肤颜色，并提取其像素以便检测与脸部相对应的部分，或将所提取像素与多个人的脸部形状的数据进行结合和比较，以便从所捕获的图像中检测脸部。
从检测到的脸部中检测脸部的特征点，例如瞳孔或嘴角(操作S940)。在这种情况下，可以基于特定点的形状从该脸部中检测特征点。
将脸部的特征点的位置与先前存储的用户或人的脸部数据进行比较，以便确定或分析检测到的脸部或脸部表情与谁的脸部相对应(操作S950)，并根据确定结果产生脸部信息和脸部表情信息(操作S960)。
如果第二情况确定单元210基于所产生的脸部信息和脸部表情信息确定用户在微笑，则第二控制器220根据确定结果控制摄像机270捕获用户的图像，将通过捕获用户图像而获得的数据转换为图像文件，并在单独的存储器中存储该数据。
尽管未示出，根据本公开实施例，遥控设备100根据对情况进行确定的结果输出预定通知信号，并控制显示设备以便在显示设备200的屏幕下侧显示关于节目的信息。在这种情况下，在屏幕下侧显示的信息可以是通过web收集的信息或随着图像发送的节目指南信息。
用户可以体验通过基于情况来控制显示设备200提供的多种服务。显示设备200可以提供一个或多个服务。可以根据当用户使用显示设备时的时间段或其使用频率来改变服务器。
例如，控制显示设备200以便对用户动作进行初始记录，从而产生运动图像，或用户记录使用视频内容的频率或次数。此时，如上所述，当用户在晚上没有入睡时，可以控制显示设备200在天花板上显示星座。
此后，在经过了预定时间之后，回放所记录的用户动作，或可以提供关于再次观看的节目的多种信息(例如，节目指南信息或收视率信息)。
根据本公开的实施例，可以记录显示设备200的控制内容或对情况进行确定的结果，可以在经过了预定时间(例如，99天)之后，由用户对其任意搜索。此时，所记录的内容可以以用户界面的形式(例如日记)显示在显示屏幕上。接着，用户可以确认他们的情绪状态和如何对显示设备200进行控制。
如上所述，在本公开控制显示设备提供服务中，可以根据用户的状态，或根据必要性，任意地或随机地向用户提供所述服务。接着，用户接收意料外的服务以便刺激用户感知。因此，用户通过显示设备获得正面情绪效果。
根据本公开，通过提供一种显示设备、控制该显示设备的遥控设备及基于情况来控制该显示设备的方法，有可能基于人或环境的当前状态(例如，使用显示设备的用户的感觉或动作、或周围环境)来控制显示设备。
可以基于用户的当前状态向用户提供适用于用户的感觉和周围环境的多种基于感知的服务。
可以获取多种状态信息，以便从用户的感觉或动作或外部环境中确定用户的身体状态或感觉，从而准确地确定用户的状态或感觉并根据用户的状态适当地控制显示设备。
可以根据用户的状态适当地控制显示设备以便有效地刺激用户感知，并基于用户的状态、动作或感觉使用户能够感受用户体验。因此，用户通过显示设备感受到正面情绪。
可以基于用户的感觉或动作提供可以引起多种情绪的多种内容或服务。
可以根据用户的反应或爱好使显示设备学习和改善内容或服务，以便刺激用户的感知。因此，用户可以接收最佳内容或服务。
上述实施例可以记录在包括程序指令的计算机可读介质中，以便实现计算机包含的多种操作。介质也可以以单独或组合的形式包括程序指令、数据文件、数据结构等。记录在介质上的程序命令可以专门设计或配置用于本实施例的目的，或是计算机软件领域的技术人员已知应用的。计算机可读介质的示例包括：例如硬盘、软盘或磁带等磁性介质；例如CD-ROM盘和DVD的光学介质；例如光盘的磁光介质；以及配置为存储和执行程序命令的硬件装置，例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等。计算机可读介质也可以是分布网络，以便以分布的形式来存储和执行程序指令。可以由一个或多个处理器来执行所述程序指令。计算机可读介质也可以表现为至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，执行(向处理器一样处理)程序指令。程序指令的示例包括机器代码(如，由编译器产生的机器代码)以及包含更高级代码的文件，所述更高级代码可以由计算机使用解释器来执行。上述设备可以配置成作为一个或多个软件模块以执行上述实施例的操作，并且逆向操作也是一样的。
尽管示出和描述了本公开的一些实施例，然而本领域技术人员将理解，在不脱离本发明的原理和精神的前提下，可以在这些实施例中进行各种改变，本发明的范围由权利要求和它们的等同物来定义。

Claims (15)

1.一种由遥控设备控制的显示设备，所述显示设备包括：
情况确定单元，基于至少一个情况信息来确定用户的当前状态；以及
控制器，指示遥控设备输出与用户的当前状态相对应的通知信号，并根据用户的当前状态产生控制信息以便向用户提供基于感知的图像服务。
2.根据权利要求1所述的显示设备，其中在遥控设备输出通知信号之后，所述控制器根据用户的当前状态向用户提供基于感知的图像服务。
3.根据权利要求1所述的显示设备，还包括确定信息数据库，所述确定信息数据库存储确定信息，以便基于所述情况信息确定用户的当前状态，
其中所述情况确定单元在确定信息数据库中搜索与所述情况信息相对应的确定信息，如果存在与所述情况信息相对应的确定信息，则基于与所述情况信息相对应的确定信息来确定用户的当前状态。
4.根据权利要求1所述的显示设备，还包括控制信息数据库，所述控制信息数据库包括与用户的当前状态相对应的遥控设备或显示设备的控制信息，
其中所述控制器通过参考控制信息数据库来检测与用户的当前状态相对应的显示设备的控制信息，并根据检测到的控制信息来控制显示设备。
5.根据权利要求1所述的显示设备，其中所述控制器根据通知信号通过遥控设备从用户接收用户命令，根据所述用户命令来校正所产生的控制信息，并且产生新控制信息。
6.根据权利要求5所述的显示设备，还包括：
存储器，存储由控制器产生的所述新控制信息；以及
更新单元，基于所存储的控制信息分析用户操控模式，并基于分析结果更新控制信息数据库。
7.根据权利要求1所述的显示设备，其中所述信息收集器包括以下中的至少一个：感测光的光学传感器；感测声音的声学传感器；感测运动的运动传感器；感测温度的温度传感器；以及感测人的温度、脉搏、呼吸速率和心率中至少一个的生物信号传感器。
8.根据权利要求1所述的显示设备，其中由安装在遥控设备或显示设备中的信息收集器来收集所述至少一个情况信息。
9.根据权利要求8所述的显示设备，其中所述信息收集器包括脸部识别器，用于从图像中检测脸部形状、从检测到的脸部形状中检测脸部的特征点、分析脸部的特征点的位置、产生脸部信息和脸部表现信息并收集情况信息。
10.一种控制显示设备的方法，所述方法包括：
收集至少一个情况信息；
基于所收集的至少一个情况信息来确定用户的当前状态；
输出与用户的当前状态相对应的通知信号；以及
根据用户的当前状态产生控制命令，并根据所述控制命令向用户提供基于感知的图像服务。
11.根据权利要求10中所述的方法，其中由遥控设备收集至少一个情况信息。
12.根据权利要求10中所述的方法，其中由遥控设备输出与用户的当前状态相对应的通知信号。
13.根据权利要求10中所述的方法，其中根据用户的当前状态产生控制命令并根据所述控制命令向用户提供基于感知的图像服务包括：根据由遥控设备输出的通知信号从用户接收用户命令；以及根据用户的当前状态和用户命令向用户提供基于感知的图像服务，所述用户的当前状态基于所收集的或接收的情况信息。
14.根据权利要求10中所述的方法，还包括根据由遥控设备输出的通知信号从用户接收用户命令，
其中根据用户的当前状态产生控制命令和根据所述控制命令向用户提供基于感知的图像服务包括：基于所收集的情况信息和用户命令产生控制命令；以及根据所述用户命令向用户提供基于感知的图像服务。
15.根据权利要求10中所述的方法，其中通过以下处理来提供所述基于感知的图像服务：
使用显示设备的摄像机捕获图像；
以画中画PIP形式在显示设备上显示由显示设备的摄像机捕获的图像；
在显示设备的屏幕上显示由显示设备的摄像机捕获的至少一个图像的缩略图图像；
在显示设备的屏幕上显示关于显示在显示设备的屏幕上的图像的信息；或
使显示设备的光束投影仪模块在投影表面上投影图像。
CN201310486566.5A 2012-10-19 2013-10-17 显示设备、控制显示设备的遥控设备及其方法 Expired - Fee Related CN103826146B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0116955 2012-10-19
KR1020120116955A KR101978743B1 (ko) 2012-10-19 2012-10-19 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법

Publications (2)

Publication Number Publication Date
CN103826146A true CN103826146A (zh) 2014-05-28
CN103826146B CN103826146B (zh) 2019-03-08

Family

ID=49517252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310486566.5A Expired - Fee Related CN103826146B (zh) 2012-10-19 2013-10-17 显示设备、控制显示设备的遥控设备及其方法

Country Status (9)

Country Link
US (2) US9210359B2 (zh)
EP (1) EP2723089B1 (zh)
JP (2) JP6525496B2 (zh)
KR (1) KR101978743B1 (zh)
CN (1) CN103826146B (zh)
IN (1) IN2015DN03275A (zh)
MX (2) MX342502B (zh)
RU (1) RU2614519C2 (zh)
WO (1) WO2014062032A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991464A (zh) * 2015-05-08 2015-10-21 联想(北京)有限公司 一种信息处理方法及控制系统
CN106203037A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN107003736A (zh) * 2014-12-02 2017-08-01 三星电子株式会社 用于获取指示用户状态的状态数据的方法和装置
CN108268131A (zh) * 2017-01-04 2018-07-10 宏达国际电子股份有限公司 用于手势辨识的控制器及其手势辨识的方法
CN108292173A (zh) * 2015-12-09 2018-07-17 三星电子株式会社 用于基于生物特征信息控制装备的技术
WO2018171196A1 (zh) * 2017-03-21 2018-09-27 华为技术有限公司 一种控制方法、终端及系统
CN108885494A (zh) * 2016-04-27 2018-11-23 索尼公司 信息处理设备、信息处理方法和程序
US11307671B2 (en) 2017-01-04 2022-04-19 Htc Corporation Controller for finger gesture recognition and method for recognizing finger gesture

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039867A1 (en) * 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
WO2015107681A1 (ja) * 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
EP3682837B1 (en) 2014-03-17 2023-09-27 Intuitive Surgical Operations, Inc. System and method for breakaway clutching in an articulated arm
EP3146728B1 (en) 2014-05-21 2024-03-27 DRNC Holdings, Inc. Methods and systems for contextual adjustment of thresholds of user interestedness for triggering video recording
US11974847B2 (en) 2014-08-07 2024-05-07 Nintendo Co., Ltd. Information processing system, information processing device, storage medium storing information processing program, and information processing method
US10721525B2 (en) * 2014-12-03 2020-07-21 Sony Corporation Information processing device, information processing method, and program
EP3035656B1 (en) 2014-12-18 2021-08-04 Samsung Electronics Co., Ltd. Method and apparatus for controlling an electronic device
US10649088B1 (en) * 2015-01-13 2020-05-12 DSCG Solutions, Inc. Absolute object position location identification
CN104539992B (zh) * 2015-01-19 2016-08-17 青岛青知企业管理咨询有限公司 电视机防沉迷观看设备
CN104539995B (zh) * 2015-01-19 2016-05-11 无锡桑尼安科技有限公司 一种基于观众状态检测的电视遥控方法
CN104581313B (zh) * 2015-01-19 2016-09-21 泰州市海陵区一马商务信息咨询有限公司 观众睡眠时电视节目信息记录系统
CN104540020B (zh) * 2015-01-19 2016-05-11 无锡桑尼安科技有限公司 一种观众睡眠时电视节目信息记录方法
JP6426484B2 (ja) * 2015-01-28 2018-11-21 京セラ株式会社 携帯端末
CN106033255B (zh) * 2015-03-13 2019-04-26 联想(北京)有限公司 一种信息处理方法及电子设备
JP6520406B2 (ja) * 2015-05-29 2019-05-29 セイコーエプソン株式会社 表示装置及び画質設定方法
CN106412469B (zh) * 2015-08-03 2019-05-24 中强光电股份有限公司 投影系统、投影装置与投影系统的投影方法
US20170070066A1 (en) * 2015-09-04 2017-03-09 Chris Ng Remote Control Assembly
KR102520402B1 (ko) * 2015-10-27 2023-04-12 엘지전자 주식회사 와치 타입 이동 단말기 및 그 동작 방법
JP6720575B2 (ja) * 2016-02-29 2020-07-08 株式会社ニコン 動画再生装置および動画処理装置
KR20170111459A (ko) * 2016-03-28 2017-10-12 삼성전자주식회사 다면 원격 제어 장치 및 그의 동작 제어 방법
KR101904453B1 (ko) * 2016-05-25 2018-10-04 김선필 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
JP6846606B2 (ja) * 2016-11-28 2021-03-24 パナソニックＩｐマネジメント株式会社 映像出力装置および映像出力方法
KR102591292B1 (ko) 2017-02-14 2023-10-19 삼성전자주식회사 디스플레이 장치와 방법 및 광고 서버
US10547817B2 (en) * 2017-04-12 2020-01-28 Mr. Christmas Incorporated Programmable laser device
KR102392087B1 (ko) 2017-07-10 2022-04-29 삼성전자주식회사 원격 조정 장치 및 원격 조정 장치의 사용자 음성 수신방법
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
KR102184885B1 (ko) * 2018-07-02 2020-12-01 이상윤 프로젝터 제어 시스템
US11081227B2 (en) 2018-08-03 2021-08-03 Sony Corporation Monitoring and reporting the health condition of a television user
JP7440211B2 (ja) * 2019-03-08 2024-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報出力方法、情報出力装置及びプログラム
WO2020229912A1 (ja) * 2019-05-10 2020-11-19 株式会社半導体エネルギー研究所 複合デバイス、および電子機器の駆動方法
KR102217926B1 (ko) * 2019-11-13 2021-02-19 한국광기술원 파장분할 광 송수신기를 이용한 지능형 디스플레이 장치 및 시스템
CN111277755B (zh) * 2020-02-12 2021-12-07 广州小鹏汽车科技有限公司 一种拍照控制方法、系统及车辆
JPWO2021171915A1 (zh) * 2020-02-28 2021-09-02
US11672934B2 (en) 2020-05-12 2023-06-13 Covidien Lp Remote ventilator adjustment
KR20220003197A (ko) * 2020-07-01 2022-01-10 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4181993A1 (en) 2020-07-16 2023-05-24 Invacare Corporation System and method for concentrating gas
EP4182054A1 (en) 2020-07-16 2023-05-24 Invacare Corporation System and method for concentrating gas
CN116194914A (zh) * 2020-09-24 2023-05-30 Jvc建伍株式会社 信息处理装置、信息处理方法和程序
KR102674539B1 (ko) * 2021-12-13 2024-06-13 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07184112A (ja) * 1993-12-22 1995-07-21 Sanyo Electric Co Ltd テレビジョン受像機
JP2000244830A (ja) * 1999-02-19 2000-09-08 Omron Corp 視聴制限機能付きテレビジョン装置及び画像再生装置並びにそれらのリモコン装置
US20020015527A1 (en) * 2000-07-26 2002-02-07 Masaya Nambu Computer system for relieving fatigue
JP2004054317A (ja) * 2002-07-16 2004-02-19 Matsushita Electric Ind Co Ltd 監視システム
JP2005094307A (ja) * 2003-09-17 2005-04-07 Matsushita Electric Ind Co Ltd 電子機器
CN1825901A (zh) * 2005-01-26 2006-08-30 阿尔卡特公司 多媒体用户行为预测器
JP2008085938A (ja) * 2006-09-29 2008-04-10 Hitachi Ltd 生体認証機能付える映像処理装置
JP2009010867A (ja) * 2007-06-29 2009-01-15 Toshiba Corp リモートコントロール装置および電子機器
WO2010020924A1 (en) * 2008-08-20 2010-02-25 Koninklijke Philips Electronics N.V. Method, portable device and system for providing feedback related to a user's physical state
US20110134026A1 (en) * 2009-12-04 2011-06-09 Lg Electronics Inc. Image display apparatus and method for operating the same
US20110193774A1 (en) * 2010-02-08 2011-08-11 Mayumi Nakade Information processing device
US20110249107A1 (en) * 2010-04-13 2011-10-13 Hon Hai Precision Industry Co., Ltd. Gesture-based remote control
US20110258660A1 (en) * 2010-04-20 2011-10-20 Jay Thomas System and Method for Commanding a Controlled Device
CN102594296A (zh) * 2004-11-12 2012-07-18 英特尔公司 响应于对用户的生物统计识别的遥控电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288875A (ja) 1994-04-14 1995-10-31 Matsushita Electric Ind Co Ltd 人体動作認識センサ及び非接触型操作装置
US20020062481A1 (en) 2000-02-25 2002-05-23 Malcolm Slaney Method and system for selecting advertisements
JP3994682B2 (ja) * 2000-04-14 2007-10-24 日本電信電話株式会社 放送情報送受信システム
US20030063222A1 (en) * 2001-10-03 2003-04-03 Sony Corporation System and method for establishing TV setting based on viewer mood
US20030126593A1 (en) * 2002-11-04 2003-07-03 Mault James R. Interactive physiological monitoring system
US20050154264A1 (en) * 2004-01-08 2005-07-14 International Business Machines Corporation Personal stress level monitor and systems and methods for using same
JP4175515B2 (ja) * 2004-03-26 2008-11-05 株式会社エスアンドケイ カラオケシステムおよびリモコン装置
CN101495942A (zh) * 2005-09-26 2009-07-29 皇家飞利浦电子股份有限公司 用于分析正被提供内容信息的用户的情绪状态的方法和设备
JP2007215046A (ja) * 2006-02-10 2007-08-23 Sharp Corp 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体
KR100778757B1 (ko) 2006-03-03 2007-11-23 엘지전자 주식회사 동작인식 장치를 이용한 사용자별 맞춤형 스마트 텔레비젼장치 및 방법
JP2007281602A (ja) * 2006-04-03 2007-10-25 Canon Inc 受信装置及び番組予約方法
US8199113B2 (en) * 2006-09-13 2012-06-12 Savant Systems, Llc Programmable on screen display and remote control
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5330005B2 (ja) * 2009-02-03 2013-10-30 オリンパス株式会社 デジタルフォトフレーム、情報処理システム及び制御方法
KR20100100380A (ko) * 2009-03-06 2010-09-15 중앙대학교 산학협력단 상황 정보와 감정 인식을 사용한 유비쿼터스 환경의 최적 서비스 추론 방법 및 시스템
JP2010237392A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 通信端末及び画面表示制御方法
EP2256590A1 (en) 2009-05-26 2010-12-01 Topspeed Technology Corp. Method for controlling gesture-based remote control system
JP5474062B2 (ja) * 2009-06-12 2014-04-16 パナソニック株式会社 コンテンツ再生装置、コンテンツ再生方法、プログラム、及び集積回路
JP2011253375A (ja) * 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2012080258A (ja) * 2010-09-30 2012-04-19 Sharp Corp 録画予約支援システム、録画予約支援装置及びそれを備えた録画装置、テレビジョン受信装置
RU114537U1 (ru) * 2011-10-10 2012-03-27 Михаил Викторович Юсупов Система беспроводного распознавания управляющих команд пользователя для воздействия на системы аудиовизуального отображения
US20130132199A1 (en) * 2011-10-21 2013-05-23 Point Inside, Inc. Optimizing the relevance of mobile content based on user behavioral patterns

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07184112A (ja) * 1993-12-22 1995-07-21 Sanyo Electric Co Ltd テレビジョン受像機
JP2000244830A (ja) * 1999-02-19 2000-09-08 Omron Corp 視聴制限機能付きテレビジョン装置及び画像再生装置並びにそれらのリモコン装置
US20020015527A1 (en) * 2000-07-26 2002-02-07 Masaya Nambu Computer system for relieving fatigue
JP2004054317A (ja) * 2002-07-16 2004-02-19 Matsushita Electric Ind Co Ltd 監視システム
JP2005094307A (ja) * 2003-09-17 2005-04-07 Matsushita Electric Ind Co Ltd 電子機器
CN102594296A (zh) * 2004-11-12 2012-07-18 英特尔公司 响应于对用户的生物统计识别的遥控电子设备
CN1825901A (zh) * 2005-01-26 2006-08-30 阿尔卡特公司 多媒体用户行为预测器
JP2008085938A (ja) * 2006-09-29 2008-04-10 Hitachi Ltd 生体認証機能付える映像処理装置
JP2009010867A (ja) * 2007-06-29 2009-01-15 Toshiba Corp リモートコントロール装置および電子機器
WO2010020924A1 (en) * 2008-08-20 2010-02-25 Koninklijke Philips Electronics N.V. Method, portable device and system for providing feedback related to a user's physical state
US20110134026A1 (en) * 2009-12-04 2011-06-09 Lg Electronics Inc. Image display apparatus and method for operating the same
US20110193774A1 (en) * 2010-02-08 2011-08-11 Mayumi Nakade Information processing device
US20110249107A1 (en) * 2010-04-13 2011-10-13 Hon Hai Precision Industry Co., Ltd. Gesture-based remote control
US20110258660A1 (en) * 2010-04-20 2011-10-20 Jay Thomas System and Method for Commanding a Controlled Device

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878325B2 (en) 2014-12-02 2020-12-29 Samsung Electronics Co., Ltd. Method and device for acquiring state data indicating state of user
CN107003736A (zh) * 2014-12-02 2017-08-01 三星电子株式会社 用于获取指示用户状态的状态数据的方法和装置
CN104991464A (zh) * 2015-05-08 2015-10-21 联想(北京)有限公司 一种信息处理方法及控制系统
CN104991464B (zh) * 2015-05-08 2019-01-15 联想(北京)有限公司 一种信息处理方法及控制系统
CN108292173A (zh) * 2015-12-09 2018-07-17 三星电子株式会社 用于基于生物特征信息控制装备的技术
CN108292173B (zh) * 2015-12-09 2021-02-26 三星电子株式会社 用于基于生物特征信息控制装备的设备及其方法
CN108885494A (zh) * 2016-04-27 2018-11-23 索尼公司 信息处理设备、信息处理方法和程序
CN108885494B (zh) * 2016-04-27 2022-01-25 索尼公司 信息处理设备、信息处理方法和计算机可读存储介质
CN106203037A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US10996765B2 (en) 2017-01-04 2021-05-04 Htc Corporation Controller for finger gesture recognition and method for recognizing finger gesture
CN108268131B (zh) * 2017-01-04 2020-07-10 宏达国际电子股份有限公司 用于手势辨识的控制器及其手势辨识的方法
CN111638801A (zh) * 2017-01-04 2020-09-08 宏达国际电子股份有限公司 用于手势辨识的控制器及其手势辨识的方法
US10579151B2 (en) 2017-01-04 2020-03-03 Htc Corporation Controller for finger gesture recognition and method for recognizing finger gesture
CN108268131A (zh) * 2017-01-04 2018-07-10 宏达国际电子股份有限公司 用于手势辨识的控制器及其手势辨识的方法
US11307671B2 (en) 2017-01-04 2022-04-19 Htc Corporation Controller for finger gesture recognition and method for recognizing finger gesture
CN111638801B (zh) * 2017-01-04 2023-08-08 宏达国际电子股份有限公司 用于手势辨识的控制器及其手势辨识的方法
CN110446996A (zh) * 2017-03-21 2019-11-12 华为技术有限公司 一种控制方法、终端及系统
WO2018171196A1 (zh) * 2017-03-21 2018-09-27 华为技术有限公司 一种控制方法、终端及系统
US11562271B2 (en) 2017-03-21 2023-01-24 Huawei Technologies Co., Ltd. Control method, terminal, and system using environmental feature data and biological feature data to display a current movement picture

Also Published As

Publication number Publication date
JP6525496B2 (ja) 2019-06-05
JP2019083564A (ja) 2019-05-30
EP2723089B1 (en) 2018-12-05
IN2015DN03275A (zh) 2015-10-09
CN103826146B (zh) 2019-03-08
KR20140052154A (ko) 2014-05-07
MX342502B (es) 2016-10-03
MX2015004842A (es) 2015-07-21
US20160057374A1 (en) 2016-02-25
KR101978743B1 (ko) 2019-08-29
WO2014062032A1 (en) 2014-04-24
RU2614519C2 (ru) 2017-03-28
RU2015114594A (ru) 2016-11-10
US9769413B2 (en) 2017-09-19
US9210359B2 (en) 2015-12-08
JP2014087064A (ja) 2014-05-12
EP2723089A1 (en) 2014-04-23
MX362270B (es) 2019-01-10
US20140111690A1 (en) 2014-04-24

Similar Documents

Publication Publication Date Title
CN103826146A (zh) 显示设备、控制显示设备的遥控设备及其方法
CN102469372B (zh) 多媒体装置、多个不同类型的图像传感器及其控制方法
KR101626159B1 (ko) 사용자 적응형 디스플레이 장치 및 디스플레이 방법
JP5473520B2 (ja) 入力装置及びその制御方法
US8704760B2 (en) Image display apparatus capable of recommending contents according to emotional information
RU2601287C1 (ru) Устройство установления заинтересованности зрителя при просмотре контента
US20120093481A1 (en) Intelligent determination of replays based on event identification
CN114302185B (zh) 显示设备及信息关联方法
US10708653B1 (en) Entry presence detection for audio-video products and devices
US20030093784A1 (en) Affective television monitoring and control
US20120226981A1 (en) Controlling electronic devices in a multimedia system through a natural user interface
WO2015056742A1 (ja) 視認対象効果度測定装置
CN102577367A (zh) 时移视频通信
US10820040B2 (en) Television time shifting control method, system and computer-readable storage medium
CN101674435A (zh) 图像显示设备和检测方法
KR20150131695A (ko) 디스플레이 장치 및 그의 동작 방법
KR20090121016A (ko) 시청자 반응 측정 방법 및 시스템
JP5755483B2 (ja) 自動録画機能を有する映像表示装置および録画装置並びに自動録画方法
CN107422856A (zh) 用于机器处理用户命令的方法、装置和存储介质
JP2005199373A (ja) コミュニケーション装置及びコミュニケーション方法
JP5330005B2 (ja) デジタルフォトフレーム、情報処理システム及び制御方法
WO2022009338A1 (ja) 情報処理端末、遠隔制御方法およびプログラム
JP2014060642A (ja) 表示装置及び表示システム
KR20210155505A (ko) 이동 가능한 전자장치 및 그 제어방법
CN110121078A (zh) 多媒体内容的下载方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190308

Termination date: 20211017

CF01 Termination of patent right due to non-payment of annual fee