CN106249605A - 用于面向服务的输入和输出的方法和装置 - Google Patents

用于面向服务的输入和输出的方法和装置 Download PDF

Info

Publication number
CN106249605A
CN106249605A CN201610409180.8A CN201610409180A CN106249605A CN 106249605 A CN106249605 A CN 106249605A CN 201610409180 A CN201610409180 A CN 201610409180A CN 106249605 A CN106249605 A CN 106249605A
Authority
CN
China
Prior art keywords
equipment
input
control
remote controller
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610409180.8A
Other languages
English (en)
Inventor
林润斋
金志银
闵铉皙
尹珠锡
李东彦
崔相善
李东佑
催炳培
柳宗烨
林勇贤
姜在垠
金昌汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150174829A external-priority patent/KR102587618B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106249605A publication Critical patent/CN106249605A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4131Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226Reprogrammable remote control devices
    • H04N21/42227Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys
    • H04N21/42228Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys the reprogrammable keys being displayed on a display screen in order to reduce the number of keys on the remote control device itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本公开涉及用于传感器网络、机器对机器(M2M)接口、机器类型通信(MTC)、和物联网(IoT)的技术。本公开可以用于智能服务(例如,智能家庭、智能建筑、智能城市、智能汽车、联网汽车、保健、数字教育、零售业、安全性和安全相关服务等)。提供一种用于智能控制系统的面向服务的输入和输出方法和装置。该方法包括:从遥控器接收热键输入;将与该热键输入对应的命令发送到与该命令对应的设备;从该设备接收根据该命令的处理结果;当在接收该处理结果后去激活显示器时,激活该显示器并通过该显示器输出根据该处理结果的消息;以及在结束该消息的输出之后去激活该显示器。

Description

用于面向服务的输入和输出的方法和装置
技术领域
本公开涉及用于提供面向服务的输入和输出的方法和装置。
背景技术
因特网正从人们借以创建和消费信息的以人为中心的连接网络演化为借以在物品或者其他分布的组件之间通信和处理信息的物联网(IoT)网络。万物联网(IoE)技术可以是大数据处理技术和IoT技术(例如,通过与云服务器的连接)的组合的示例。
为实现IoT,需要诸如传感技术、有线/无线通信和网络基础设施、服务接口技术、以及安全技术的技术元素。最近,正在进行用于诸如传感器网络、机器对机器(M2M)接口、或机器类型通信(MTC)的物体间连接技术的研究。
在IoT环境中,可以提供智能因特网技术(IT)服务,其收集和分析由彼此连接的物品产生的数据以向用户提供便利。通过现有的IT技术和各种工业的转换或集成,IoT可以具有各种应用,诸如智能家庭、智能建筑、智能城市、智能汽车或联网汽车、智能网格、保健工业、或智能电器工业、或现代医疗服务。
IoT服务的出现引入了用于实现将各种设备与单个网络绑在一起的服务的技术。IoT是允许所有基于网络的设备的无缝连接的技术,而且是多样化的IT服务应用所需的。正在研究各种技术以实现这样的IoT服务。代表性的示例是智能家庭或智能宾馆的控制。
提供以上信息作为背景信息仅用于帮助理解本公开。关于任意上述内容是否可能适用于作为相对于本公开的现有技术,未作确定,且未作断言。
发明内容
本公开的方面在于至少解决上述问题和/或缺点并至少提供下述优点。因此,本公开的一方面提供用于在遥控系统中传递信息的方法和装置。
本公开的另一方面提供用于在用于遥控的网络系统中提供面向服务的输入和输出的方法和装置。
本公开的另一方面提供用于在智能宾馆控制系统中通过网关执行设备控制的方法和装置。
本公开的另一方面提供用于在智能宾馆控制系统中通过网关处理房间服务请求的方法和装置。
本公开的另一方面提供用于在网络系统中通过网关的显示器显示处理服务请求的结果的方法和装置。
本公开的另一方面提供用于在智能宾馆控制系统中通过遥控器显示自适应控制菜单的方法和装置。
本公开的另一方面提供用于根据遥控器的方位信息显示自适应控制菜单的方法和装置。
根据本公开的一方面,提供一种用于面向服务的输入和输出的方法该方法包括:响应于通过遥控器检测的第一用户输入,确定关于遥控器的方位信息;基于先前存储的受控目标列表中包括的关于设备的位置信息和所确定的方位信息选择设备;输出包括用于所选的设备的至少一个控制项的控制菜单;检测与输出的控制菜单对应的第二用户输入;以及将指示与第二用户输入对应的控制项的控制命令发送到所选的设备。
根据本公开的另一方面,提供一种用于面向服务的输入和输出的方法。该方法包括:接收与通过遥控器检测的第一用户输入对应且包括关于遥控器的方位信息的第一用户输入信号;基于先前存储的受控目标列表中包括的关于设备的位置信息和方位信息选择设备;将关于包括用于所选的设备的至少一个控制项的控制菜单的信息发送到电视(TV)显示器;在通过TV显示器显示控制菜单的同时接收与通过遥控器检测的第二用户输入对应的第二用户输入信号;以及将指示与第二用户输入对应的控制项的控制命令发送到所选的设备。
根据本公开的另一方面,提供一种用于提供面向服务的输入和输出的装置。该装置包括:输入单元,被配置为检测用户输入;输出单元,包括显示器;控制器,被配置为响应于通过输入单元检测的第一用户输入确定方位信息,基于先前存储的受控目标列表中包括的关于设备的位置信息和所确定的方位信息选择设备,产生包括用于所选的设备的至少一个控制项的控制菜单和通过显示器输出控制菜单,并且在显示控制菜单的同时当通过输入单元检测到第二用户输入时产生指示与第二用户输入对应的控制项的控制命令;以及通信单元,被配置为将控制命令发送到所选的设备。
根据本公开的另一方面,提供一种用于提供面向服务的输入和输出的装置。该装置包括:第一通信单元,被配置为与遥控器通信;第二通信单元,被配置为与多个设备通信;以及控制器,被配置为当通过第一通信单元接收与通过遥控器检测的第一用户输入对应且包括方位信息的第一用户输入信号时,基于先前存储的受控目标列表中包括的关于设备的位置信息和关于连接请求的方位信息选择设备,通过TV显示器输出关于包括用于所选的设备的至少一个控制项的控制菜单的信息,并且在通过TV显示器显示控制菜单的同时当通过第一通信单元接收到与第二用户输入对应的第二用户输入信号时,通过第二通信单元将指示与通过遥控器检测的第二用户输入对应的控制项的控制命令发送到所选的设备。
根据本公开的另一方面,提供一种用于面向服务的输入和输出的方法。该方法包括:从遥控器接收热键输入;将与该热键输入对应的命令发送到与该命令对应的设备;从该设备接收根据该命令的处理结果;当在接收该处理结果后去激活显示器时,激活该显示器并通过该显示器输出根据该处理结果的消息;以及在结束该消息的输出之后去激活该显示器。
根据本公开的另一方面,提供一种用于面向服务的输入和输出的方法。该方法包括:接收与通过遥控器检测的热键输入对应的命令,确定该命令涉及设备控制还是服务请求,当该命令涉及设备控制时,确定至少一个受控设备,并将与该命令对应的控制命令发送到所确定的至少一个设备,从该至少一个设备接收状态改变结果,并通过TV显示器输出状态改变结果,当该命令涉及服务请求时,将与该命令对应的服务标识符(ID)发送到宾馆服务器;从宾馆服务器接收服务请求的处理结果,并通过TV显示器输出处理结果。
根据本公开的另一方面,提供一种用于提供面向服务的输入和输出的装置。该装置包括:第一通信单元,被配置为从遥控器接收热键输入;第二通信单元,被配置为将与该热键输入对应的命令发送到与该命令对应的设备,并从该设备接收根据该命令的处理结果;以及控制器,被配置为当在处理结果的接收时去激活TV显示器时激活TV显示器,通过TV显示器输出根据处理结果的消息,并在结束消息的输出之后去激活TV显示器。
根据本公开的另一方面,提供一种用于提供面向服务的输入和输出的装置。该装置包括:第一通信单元,被配置为接收与通过遥控器检测的热键输入对应的命令;第二通信单元,被配置为与宾馆服务器通信;以及控制器,被配置为确定命令涉及设备控制还是服务请求,当命令涉及设备控制时,确定至少一个受控设备,将与命令对应的控制命令发送到所确定的至少一个设备,从该至少一个设备接收状态改变结果,将状态改变结果发送到TV显示器,当命令涉及服务请求时,通过第二通信单元将与命令对应的服务ID发送到宾馆服务器,通过第二通信单元从宾馆服务器接收服务请求的处理结果,并发送处理结果到TV显示器。
通过结合附图公开本公开的各种实施例的以下详细说明,本公开的其他方面、优点、和显著特征对本领域技术人员将变得清楚。
附图说明
提供结合附图的以下描述,本公开的某些实施例的上述及其他方面、特征、和优点将更为明显,其中:
图1A和图1B示出根据本公开的各种实施例应用的智能宾馆控制系统的示例;
图2示出根据本公开的实施例的通过电视(TV)显示器的遥控的示例;
图3示出根据本公开的实施例的包括热键的遥控器的输入单元;
图4A示出根据本公开的实施例的智能宾馆控制系统的功能配置;
图4B示出根据本公开的实施例的遥控器的功能配置;
图5A是示出根据本公开的实施例的确定热键代码的操作的流程图;
图5B是示出根据本公开的实施例的处理命令的操作的流程图;
图6是示出根据本公开的实施例的处理热键输入的操作的流程图;
图7是示出根据本公开的实施例的显示输入或处理热键的结果的操作的流程图;
图8是示出根据本公开的实施例的处理服务请求或设备控制的操作的信号流程图;
图9示出根据本公开的实施例的网关的功能配置;
图10示出在根据本公开的实施例的网关中运行设备控制命令的过程;
图11示出在根据本公开的实施例的网关中接收改变设备状态的结果的过程;
图12是示出根据本公开的实施例的处理设备控制的过程的视图;
图13是示出根据本公开的实施例的处理服务请求的过程的视图;
图14示出根据本公开的实施例的指示服务请求的状态的改变的TV显示器的屏幕;
图15示出根据本公开的实施例的指示温度改变的TV显示器的屏幕;
图16A和图16B示出根据本公开的各种实施例的在TV原生功能保持激活的同时输出处理结果的TV显示器的屏幕;
图17示出根据本公开的实施例的处理热键输入的方案;
图18是示出根据本公开的实施例的控制照明的操作的流程图;
图19示出根据本公开的实施例的通过作为遥控器操作的移动终端的热键输入;
图20示出根据本公开的实施例的遥控器的其他示例;
图21是示出根据本公开的实施例的热键映射导引的视图;
图22是示出根据本公开的实施例的提供热键映射导引的示例的总体流程图;
图23示出根据本公开的实施例的根据由遥控器指示的方向提供热键映射导引的示例;
图24A到图24D是示出根据本公开的各种实施例的根据由遥控器指示的方向提供热键映射导引的操作过程的视图;
图25是示出根据本公开的实施例的提供自适应热键映射导引的操作的流程图;
图26是示出根据本公开的实施例的通过遥控器提供自适应热键映射导引的示例的信号流程图;
图27是示出根据本公开的实施例的当多个设备面向相同方向时提供自适应热键映射导引的示例的信号流程图;
图28是示出根据本公开的实施例的通过遥控器提供热键映射导引的操作的流程图;
图29是示出根据本公开的实施例的通过网关提供热键映射导引的操作的流程图;
图30是示出根据本公开的实施例的通过网关控制与方位信息对应的设备的示例的信号流程图;
图31是示出根据本公开的实施例的通过网关显示热键映射导引的操作的流程图;
图32A和图32B示出根据本公开的各种实施例的热键专用遥控器的输入单元;
图33A和图33B是示出根据本公开的各种实施例的使用热键专用遥控器的示例的视图;
图34是示出根据本公开的实施例的考虑房间状况提供热键映射导引的操作的流程图;
图35A到图35C是示出根据本公开的各种实施例根据时间提供自适应热键导引的示例的视图;
图36A和图36B是示出根据本公开的各种实施例的提供反映用户的状态的热键映射导引的示例的视图;
图37是示出根据本公开的实施例的根据房间模式提供自适应热键映射导引的示例的视图;
图38是示出根据本公开的实施例的根据热键使用历史配置的热键映射导引的视图;
图39示出根据本公开的实施例的使用房间图像显示热键映射导引的示例;
图40示出根据本公开的实施例的包括与受控设备对应的热键的遥控器的输入单元;
图41是示出根据本公开的实施例的使用遥控器的热键的窗帘的控制操作的视图;
图42是示出根据本公开的实施例的使用遥控器的热键的恒温器的控制操作的视图;
图43是示出根据本公开的实施例的使用语音命令的设备控制和用户状态输入操作的视图。
全部附图中,应当注意,相同的附图标记用于描述相同或类似的元件、特征、和结构。
具体实施方式
参照附图提供以下描述以帮助全面理解如权利要求及其等同物限定的本公开的各种实施例。它包括各种具体细节用于帮助理解,但是这些应当被认为仅是示范性的。因此,本领域普通技术人员将认识到,可以对这里描述的各种实施例进行各种变更和修改而不脱离本公开的范围和精神。另外,为了清楚和简洁起见,可以省略公知的功能和结构的描述。
以下说明书和权利要求中使用的术语和词语不限于字面的含义,而是仅由发明人用于使得能够清楚和一致地理解本公开。因此,本领域技术人员显然可知,提供本公开的各种实施例的以下描述仅仅用于例示的目的,而不是用于限制如所附权利要求及其等同物限定的本公开的目的。
将理解,单数形式“一”、“一个”、和“该”包括多个指代物,除非上下文清楚地指示另外的情况。因此,例如,对“一组件表面”的指代包括对一个或多个这样的表面的指代。
在描述各种实施例时,省略现有技术中已知且不直接与本公开相关的技术的描述。这是为了进一步阐明本公开的要旨而不使其不清楚。
为了同样的理由,可能夸大或者示意性地示出某些元件。每个元件的尺寸未必反映该元件的实际尺寸。
通过下面结合附图描述的各种实施例可以了解本公开的优点和特征以及实现其的方法。然而,本公开不限于这里公开的各种实施例,而且可以对其做出各种改变。这里公开的各种实施例仅提供用于向本领域普通技术人员通知本公开的类别。
应当理解,每个流程图和流程图的组合中的块可以由计算机程序指令执行。因为计算机程序指令可以装备在通用计算机、专用计算机或者其他可编程数据处理设备的处理器中,通过计算机或者其他可编程数据处理设备的处理器执行的指令产生用于执行关于每一流程图的一个或多个块描述的功能的设备。因为计算机程序指令可以存储在可以面向计算机或者其他可编程数据处理设备而以特定方式实现功能的计算机可用的或者计算机可读的存储器中,在计算机可用的或者计算机可读的存储器中存储的指令可以产生包括用于执行关于每一流程图中的一个或多个块描述的功能的指令设备的产品。因为计算机程序指令可以装备在计算机或者其他可编程数据处理设备中,产生由计算机作为一系列操作执行的处理的指令经计算机或者其他可编程数据处理设备执行,而且操作计算机或者其他可编程数据处理设备可以提供用于执行关于每一流程图中的一个或多个块描述的功能的操作。
另外,每个块可以表示包括用于执行一个或多个特定逻辑函数的一个或多个可执行指令的模块、分段或者代码的一部分。另外,应当注意在某些执行示例中,可以以不同次序发生在块中提到的功能。例如,可以实质上同时地或者以取决于相应功能的相反次序执行连续地示出的两个块。
如在此使用的,术语“单元”是指软件元件或者硬件元件,诸如现场可编程门阵列(FPGA)或者专用集成电路(ASIC)。单元扮演某个角色。但是,术语“单元”不限制为是指软件或者硬件元件。“单元”可以在可以寻址的存储介质中配置,或者可以被配置为再现一个或多个处理器。因此,作为示例,“单元”包括诸如软件元件、面向对象的软件元件、类别元件和任务元件之类的元件,处理,功能,属性,过程,子例程,程序代码的分段,驱动器,固件,微代码、电路、数据、数据库、数据架构、表、阵列和变量。在元件或者“单元”中提供的功能可以与附加元件组合,或者可以分成子元件或者子单元。另外,可以实现元件或者“单元”以再现设备或者安全多媒体卡中的一个或多个中央处理单元(CPU)。
虽然这里的各种实施例的描述提到各种无线通信技术,本公开的主题还可以应用于具有类似的技术背景的其他通信系统或服务而不脱离本公开的范围,而且这可以由本领域普通技术人员确定。
图1A示出根据本公开的实施例应用的智能宾馆控制系统的示例。
参考图1A,宾馆10可以包括智能宾馆控制系统。智能宾馆控制系统包括具有网关功能的控制设备20、能够与控制设备20有线地或无线地连接的至少一个设备15、以及遥控器30。用户可以使用诸如配备有遥控功能的移动终端35或遥控器30的遥控输入设备将用于设备控制或服务请求的命令发送到控制设备20。遥控器30可以被配置为用于控制电视(TV)的原生功能的典型的遥控器。移动终端35可以是配备有用于执行TV原生功能和管理功能的应用的平板计算机、智能电话机、可穿戴设备等。作为示例,遥控器30或移动终端35可以使用诸如红外线(IR)、蓝牙(BT)、Wi-Fi、紫蜂、Z-波等的无线通信技术与控制设备20通信。
控制设备20可以包括TV功能单元(TV原生)24和负责房间中的管理的网关功能单元22、以及TV显示器26。TV功能单元24可以执行典型的TV原生功能,并且可以与遥控器30通信以直接控制TV显示器26。网关功能单元22基于与TV功能单元24的通信将用于设备控制或服务请求所需的控制命令传送到相应的对象。术语“设备控制”是指控制在智能宾馆控制系统中登记的设备15的操作。术语“服务请求”是指将智能宾馆控制系统的房间服务的请求发送到宾馆服务器40。在实施例中,宾馆服务器40包括可以位于应用示出的智能宾馆控制系统的房间外部的管理服务器。另外,受控设备15可以包括电源设备、照明设备、恒温器、窗帘设备、门锁、清扫机等的至少一个。
作为示例,遥控器30将与用户的按键输入对应的信号发送到控制设备20(102)。控制设备20识别来自遥控器30的信号是用于设备控制还是服务请求。当该信号是用于设备控制时,控制设备20将相应的控制命令发送到要控制的至少一个设备15(104a)。当该信号是用于服务请求时,控制设备20将服务请求命令发送到管理智能宾馆控制系统的宾馆房间的宾馆服务器40(104b)。当从宾馆服务器40或设备15接收响应于设备控制或服务请求的处理结果时,控制设备20可以通过TV显示器26输出处理结果(106)。处理结果例如可以包括运行与服务请求对应的服务的结果、或特定设备的操作状态。作为实施例,控制设备20可以通过诸如平板的移动终端35的显示器输出处理结果。
图1B示出根据本公开的实施例应用的智能宾馆控制系统的另一示例。
参考图1B,智能宾馆控制系统可以包括网关22a、TV设备24a、能够与网关22a有线地或无线地连接的至少一个设备15、以及能够与网关22a或TV设备24a有线地或无线地连接的遥控器30。这里,TV设备24a包括如图1A所示的TV功能单元24和TV显示器26。
用户可以使用诸如配备有遥控功能的移动终端35或遥控器30的遥控输入设备将用于设备控制或服务请求的命令发送到网关22a或TV设备24a。遥控器30可以被配置为用于控制TV原生功能的典型的遥控器。网关22a可以直接地或者经由执行典型的TV原生功能的TV设备24a与遥控器30通信,而且可以控制TV设备24a的TV显示器。网关22a基于与遥控器30的通信将用于设备控制或服务请求所需的控制命令传送到相应的对象。
作为示例,遥控器30将与用户的按键输入对应的信号直接地或者通过TV设备24a发送到网关22a(102)。网关22a识别来自遥控器30的信号是用于设备控制还是服务请求。当该信号是用于设备控制时,控制设备20将相应的控制命令发送到要控制的至少一个设备15(104a)。当该信号是用于服务请求时,网关22a将服务请求命令发送到管理智能宾馆控制系统的宾馆服务器40(104b)。当从宾馆服务器40或设备15接收响应于设备控制或服务请求的处理结果时,网关22a可以通过TV设备24a的显示器输出处理结果(106)。处理结果例如可以包括运行与服务请求对应的服务的结果或特定设备的操作状态。作为实施例,网关22a可以通过诸如平板的移动终端35的显示器输出处理结果。
如上所述,虽然分开描述其中在单个设备20中提供网关功能单元22和TV功能单元24的图1A的示例、和其中以物理上彼此区分开的单独的对象实现网关22a和TV设备24a的图1B的示例,但是网关功能单元22和网关22a可以被配置为以实质上相同方式操作。因此,这里应当理解,网关22表示图1A所示的网关功能单元22或图1B所示的网关22a。同样地,应当理解,TV功能单元24表示图1A所示的TV功能单元24或图1B所示的TV设备24a。
图2示出根据本公开的实施例的通过TV显示器的遥控的示例。
参考图2,在显示TV图像的同时响应于通过遥控器30的请求,TV显示器26可以显示用于远程控制智能宾馆控制系统的控制菜单,例如,多个控件202、204、206、和208。作为示例,控件202是用于控制房间的温度的屏幕,而且可以包括当前温度和设定温度、结束按键、升温(+)和降温(–)按键等。控件204是用于控制房间中每个区域的照明的屏幕,而且可以包括特定区域中的开/关灯状态、变换区域按键、以及开/关按键。控件206是用于开/关窗帘(例如,窗帘)的屏幕,而且控件208包括与可以以快速模式操作的多个功能对应的按键。
当TV功能单元24处于待机状态或关机状态以使得TV显示器26保持去激活(以下,称为显示关闭)时,用户可以使用遥控器30的热键(快捷键)激活TV显示器26,而且可以接着使用遥控器30显示用于智能宾馆控制系统的房间控制的控件,并且可以选择控件之一以执行期望的房间控制。
图3示出根据本公开的实施例的包括热键的遥控器的输入单元。
参考图3,遥控器30的输入单元305可以包括用于智能宾馆控制系统中的房间控制的面向服务的输入的至少一个,例如以下至少一个:用于温度控制的升温按键[TEMPERATURE:UP(+)]30a和降温按键[TEMPERATURE:DOWN(–)]30b、用于照明控制的开灯按键[LIGHT ON]30c和关灯按键[LIGHT OFF]30d、用于请求免打扰服务(DO NOT DISTURB,DND)的免打扰按键[DO NOT DISTURB]30e、以及用于清扫服务(即,收拾房间(MUR))的收拾房间按键[MAKE UP ROOM]30f。
即使在TV显示器26保持去激活时,用户也可以通过遥控器30的热键30a到30f中的任何一个将面向服务的输入发送到网关22或TV功能单元24。因此,即使用户没有在看电视,用户也可以使用包括如上所述的面向服务的热键的遥控器30简单地请求控制照明和温度以及清扫房间。
图4A示出根据本公开的实施例的智能宾馆控制系统的功能配置。这里应当注意,已经向各种组件当中执行根据本公开的实施例的功能的一些组件分配附图标记。
参考图4A,示出网关22、TV功能单元24、遥控器30、和管理服务器40。TV功能单元24根据TV原生功能与遥控器30通信并控制TV显示器(未示出)。网关22可以与可以位于房间外部的宾馆服务器(例如,管理服务器40)连接。
管理服务器40包括呈现功能单元、服务功能单元418、数据存取单元、和通信单元416。通信单元416可以经由有线或无线通信装置与网关22通信,而且作为示例,通信单元416可以从网关22接收用于房间服务的服务请求并发送处理结果到网关22。服务功能单元418按照服务请求处理服务。
网关22包括服务网络应用编程接口(API)、订阅/通知单元404、代表性状态传送(REST)引擎、网络引擎412、控制服务管理器420、房间服务管理器426、设备管理器428、通信单元430、以及操作系统(OS)设备驱动器/网络控制器。
订阅/通知单元404可以管理关于订阅到网关22的设备的信息,并将需要通知的信息或消息424传送到TV功能单元24以便以用户可以识别该信息或消息的方式输出。网络引擎412可以与TV功能单元24通信,而且例如,网络引擎412可以从TV功能单元24接收用于设备控制或服务请求的命令,并将该命令传送到相应的对象,例如,控制服务管理器420或房间服务管理器426。
控制服务管理器420管理需要设备控制的控制服务。当从TV功能单元24接收用于设备控制的命令时,控制服务管理器420确定与执行该命令相关的至少一个设备15。控制服务管理器420通过设备管理器428将用于执行命令的控制命令422发送到至少一个所确定的设备15。可以经由例如Wi-Fi、紫蜂、Z-波、BT、或IR的通信方案发送控制命令。
当从TV功能单元24接收用于服务请求的命令时,房间服务管理器426发送命令到宾馆服务器40(414),而且当从宾馆服务器40接收与命令对应的处理结果时,通过网络引擎412向TV功能单元发送处理结果24(410)。
TV功能单元24包括网络客户端、命令转换/响应分析器408、热键处理器406、显示控制器432、和接收器434。遥控器30包括具有可以由用户操纵的多个按键的输入单元(未示出)、以及发送通过按键输入的信号的发送器402。TV功能单元24可以通过接收器434从遥控器30接收信号。当该信号对应于热键输入时,该信号被传送到热键处理器406。热键处理器406将与该信号对应的热键代码传送到命令转换/响应分析器408。命令转换/响应分析器408可以产生用于与该热键代码对应的设备控制或服务请求的命令,并将其传送到网关22,而且可以从网关22接收与命令对应的响应并分析该响应(410)。显示控制器432从网关22接收需要通知的信息或消息,并通过TV显示器26提供输出。另外,可以将与信息或消息对应的不可见输出(例如,语音、声音、音乐、嘟嘟声、或振动)通过TV功能单元24提供给用户。当遥控器30进一步包括用于与TV功能单元24通信的接收器或者包括智能电话机、平板、或可穿戴设备时,遥控器30可以根据从TV功能单元24的发送器发送的对于反馈的请求,通过可见输出(例如,文本或符号)或者不可见输出(例如,语音、声音、音乐、嘟嘟声、或振动)将与信息或者消息对应的反馈提供给用户。
在实施例中,网关22可以进一步包括以与接收器434、发送器、和热键处理器406同样的方式运作的接收器、发送器、和热键处理器,以便能够直接接收和处理来自遥控器30的按键输入信号。网关22中包括的接收器、发送器、和热键处理器与如上所述的相同,因而不给出其重复的描述。
图4B示出根据本公开的实施例的遥控器的功能配置。
参考图4B,遥控器30包括控制器440、输入单元442、通信单元444、存储单元446、和输出单元448。控制器440被配置为用于控制输入单元442、通信单元444、存储单元446、和输出单元448的操作的处理器。
输入单元442可以包括地磁传感器、加速度传感器、陀螺仪传感器、按键面板、触摸屏、和麦克风中的至少一个。这里,作为示例,按键面板可以包括与图3所示的输入单元305类似的至少一个热键。
通信单元444可以包括BT模块、Wi-Fi模块、ZigBee模块、Z-波模块和IR模块中的至少一个,而且负责遥控器30和网关22或TV功能单元24之间的通信。
存储单元446在受控目标的列表中存储关于在智能宾馆控制系统中登记的设备15的信息。受控目标列表例如可以包括每个设备的名称、型号名称、制造商、功能、状态、和位置中的至少一个。存储单元446包括用于每个设备的至少一个控制菜单和与每个控制菜单对应的至少一个控制信号。这里,控制菜单是用于操纵设备的命令,而且作为示例,用于照明设备的控制菜单包括至少一个控制项,诸如开/关、亮度调高(+)/调低(–),而且用于每个控制项的控制信号被存储在存储单元446中。作为另一示例,存储单元446可以包括用于恒温器的控制项,诸如开/关或者升温(+)/降温(–),以及与控制项对应的控制信号。
输出单元448包括扬声器、显示器、和振动马达中的至少一个,而且可以在控制器440的控制下以声音、可见消息、或振动中的至少一个的形式输出用于设备控制或服务请求的反馈。
图5A是示出根据本公开的实施例的确定热键代码的操作的流程图。所示的流程例如可以由TV功能单元24执行。
参考图5A,在操作505中,TV功能单元24从遥控器30接收按键输入并识别与按键输入对应的代码。在操作510中,TV功能单元24确定所确定的代码是否是热键代码。当所确定的码包括在先前存储的热键代码表中时,TV功能单元24可以确定所确定的代码对应于热键。以下表1表示热键代码表的示例。
表1
表1中,热键代码对应于[ROOM CONTROL]、[TEMPERATURE:+]、[TEMPERATURE:–]、[LIGHT ON]、[LIGHT OFF]、[DO NOT DISTURB]、和[MAKE UP ROOM],而且被使用BT从遥控器30发送到TV功能单元24。与每个热键代码对应的BT信号包括页标识(ID)、报告ID、和使用ID。
当所确定的代码不是热键代码时,TV功能单元24进行操作515以执行与代码对应的TV原生功能,例如,改变频道、调整音量、或显示菜单。相反,当所确定的代码是热键代码时,TV功能单元24在操作520基于预定映射信息确定映射到热键代码的服务或设备的ID,并将热键代码转换为与所确定的设备或服务ID对应的命令。作为示例,在表1例示的热键代码当中,[ROOM CONTROL]、[TEMPERATURE:+]、[TEMPERATURE:–]、[LIGHT ON]、和[LIGHT OFF]对应于设备控制,而且可以被转换为包括至少一个设备的ID的命令。另外,[DO NOTDISTURB]、和[MAKE UP ROOM]对应于服务请求,而且可以被转换为包括服务的ID的命令。
在操作525,命令被发送到网关22。TV显示器26可以保持去激活直到接收到热键输入为止,而且当TV原生功能没有在运行时在待机状态下发送命令。即,TV功能单元24可以处理热键输入和命令而不激活TV显示器。在另一实施例中,TV功能单元24可以当接收热键输入时激活处于去激活状态的TV显示器26,而且可以通过TV显示器26输出消息“输入了设备控制/服务请求”以指示所请求的设备控制或服务请求。
当在操作530中从网关22接收处理命令的结果时,TV功能单元24在操作535通过TV显示器26输出处理结果。这里,在因为在接收到处理结果时TV原生功能未执行而TV显示器26保持去激活(即,处于显示器关闭状态)的情况下,TV功能单元24激活TV显示器26以输出黑屏,并在黑屏上输出与处理结果对应的诸如文字或符号的消息。
参考上面表1示出的示例,TV显示器可以显示当前温度和设定温度作为与热键[TEMPERATURE:+]或[TEMPERATURE:–]对应的处理结果。作为与热键[LIGHT ON]或[LIGHTOFF]、对应的处理结果,TV显示器可以显示房间内每个或特定区域的开/关灯状态。作为与[DO NOT DISTURB]或[MAKE UP ROOM]对应的处理结果,TV显示器可以显示诸如“已经应用免打扰服务请求”或“已经采取收拾请求”的文字。
图5B是示出根据本公开的实施例的处理命令的操作的流程图。所示的流程图的操作例如可以由网关22执行。
参考图5B,网关22在操作540从TV功能单元24接收用于智能宾馆的控制的命令,并在操作545中确定该命令是用于设备控制还是服务请求。作为示例,网关22可以根据命令的唯一代码或取决于命令包括至少一个设备ID或服务ID来进行这样的确定。
当确定该命令是用于设备控制时,网关22在操作550基于先前存储的信息确定要根据命令控制的至少一个目标设备。作为示例,当命令指示与热键[TEMPERATURE:+]或[TEMPERATURE:–]对应的设备控制时,至少一个目标设备可以是该房间的区域中的空调器、暖气、和恒温器中的至少一个。作为另一示例,当命令指示与热键[LIGHT ON]或[LIGHTOFF]对应的设备控制时,目标设备可以是房间的区域中的灯。在操作555,网关22将相应的控制命令发送到所确定的至少一个目标设备。该控制命令例如可以是升高或降低温度或者开灯或关灯中的至少一个。网关22在操作560从至少一个目标设备接收与控制命令对应的处理结果或接收状态报告,而且网关22在操作575将处理结果发送到TV功能单元24以使得通过TV显示器26输出该处理结果。
当确定该命令是用于服务请求时,网关22在操作565传送该命令给宾馆服务器40以请求运行与该命令对应的服务。当在操作570中从宾馆服务器40接收与运行服务对应的处理结果时,网关22在操作575向TV功能单元发送处理结果24以使得通过TV显示器26输出该处理结果。
图6是示出根据本公开的实施例的处理热键输入的操作的流程图。所示的流程图的操作例如可以由网关22执行。
参考图6,网关22在操作605直接或者经由TV功能单元24从遥控器30接收按键输入并识别与按键输入对应的代码。在操作610,网关22确定所确定的代码是否是热键代码。当所确定的代码包括在先前存储的热键代码表中时,网关22可以确定所确定的代码对应于热键。热键代码表的示例如表1所示。
当所确定的代码不是热键代码时,网关22进行操作615以执行与该代码对应的原生功能。相反,当所确定的代码是热键代码时,网关22在操作620基于预定映射信息确定热键代码是用于设备控制还是服务请求。
当确定热键代码是用于设备控制时,网关在操作630确定要根据热键代码控制的至少一个目标设备。作为示例,当热键代码是[TEMPERATURE:+]或[TEMPERATURE:–]时,至少一个目标设备可以是该房间的区域中的空调器、暖气、和恒温器中的至少一个。作为另一示例,当热键代码是[LIGHT ON]或[LIGHT OFF]时,至少一个目标设备可以是房间的区域中的至少一个灯。
在操作635中,网关22将相应的控制命令发送给所确定的至少一个目标设备。该控制命令例如可以是升高或降低温度或者开灯或关灯中的至少一个。网关22在操作640从至少一个目标设备接收与该控制命令对应的处理结果或接收状态报告,而且网关22在操作645通过TV显示器26输出处理结果。
当确定热键代码是用于服务请求时,网关22在操作625传送命令给宾馆服务器40以请求运行与该命令对应的服务。当在操作640中从宾馆服务器40接收与运行服务对应的处理结果时,网关22在操作645通过TV显示器26输出处理结果。
图7是示出根据本公开的实施例的显示输入或处理热键的结果的操作的流程图。所示的流程图的操作例如可以由TV功能单元24或网关22执行。以下描述假定流程由TV功能单元24执行。
参考图7,TV功能单元24在操作705从遥控器30接收热键输入或者从网关22或者宾馆服务器40接收用于通知的信息或消息,例如,与预先发送的命令对应的处理结果。在操作710,TV功能单元24确定TV显示器26是否处于待机状态(即,去激活状态),即,显示关闭。当TV显示器26保持激活时,TV功能单元24可以在操作730通过TV显示器26立即输出指示已经请求什么或与热键输入对应的处理结果的文字。在实施例中,可以在足够小以仅干扰TV显示器中的指定区域的TV图像的区域(例如,其右侧或者右下端)中显示文字。可以与文本一起提供或者代替文本提供诸如符号或小图像的可见输出、或者诸如声音或振动的不可见输出,而且可以在预定计划时间期间显示文本/符号/图像而且然后可以省略。
当TV显示器26处于待机状态时,TV功能单元24首先在操作715激活TV显示器26以使得TV显示器26显示黑屏,并在操作720在黑屏上输出指示已经请求什么或者处理结果的文字(或符号)。由于不输出TV图像,所以可以以相对大的尺寸在TV显示器26上显示文字。在操作725,TV功能单元24可以在预定时间期间显示与处理结果或者已经请求什么对应的文字,而且然后可以去激活TV显示器26,并使其能够转入待机状态。
作为实施例,TV功能单元24可以向来自网关22的通知消息分配优先级。作为示例,最低优先级,级别1可以包括关于灯的处理结果或者与窗帘相关的命令。最高优先级,级别4可以包括诸如安全警告、火灾、或门的开启的通知事件。TV功能单元24可以取决于通知消息的优先级区分暴露时间。作为示例,级别4通知消息在闪烁十秒的同时输出到TV显示器26。作为示例,级别1通知消息以五秒没有闪烁地输出到TV显示器26。
对于材料信息或者与安全相关的通知消息的接收,TV功能单元24可以在额外输出声音的同时显示与通知消息对应的文字。当接收关于诸如洗衣服务的取决于时间的服务的通知消息时,TV功能单元24可以额外输出警报或声音。另外,当接收关于照明控制的通知消息时,TV功能单元24可以显示与通知消息对应的文字,例如,“起居室的灯开着”,或者可以在平面图上显示相应的区域的位置。
图8是示出根据本公开的实施例的处理服务请求或设备控制的操作的信号流程图。
参考图8,遥控器30在操作805感测用户的热键输入并将与热键输入对应的信号发送到TV功能单元24。在操作810,TV功能单元24将热键输入转换为API命令并发送API命令到网关22。网关当命令用于设备控制时执行操作815,而且当命令用于服务请求时执行操作835。
操作815包括以下子操作。在子操作820中,网关22将用于设备控制的控制命令发送到关于设备控制的至少一个设备15。在子操作825中,至少一个设备15响应于控制命令的完成或者根据周期性/非周期性报告方案,将与控制命令对应的处理结果发送到网关22。在子操作830中,网关22传送处理结果到TV功能单元24。与设备控制对应的处理结果可以指示目标设备的状态的改变(例如,温度变化或者开/关灯)。
操作835包括以下子操作。在子操作840中,网关22发送用于服务请求的命令到宾馆服务器40。在子操作845中,宾馆服务器40可以从操作者接收用于服务请求的处理结果,并在子操作850中发送处理结果到网关22。在子操作855中,网关22传送处理结果到TV功能单元24。与服务请求对应的处理结果可以是服务状态的改变,例如,“收拾房间完成”。
在操作860中,当TV显示器26处于待机状态时,TV功能单元24激活TV显示器26,并通过TV显示器26输出处理结果。在已经显示处理结果之后预定时间,TV功能单元24可以在操作865恢复TV显示器26的状态,即,去激活TV显示器26。假如当接收处理结果时TV显示器26保持激活且正在根据TV原生功能输出TV图像,则TV功能单元24可以在TV显示器26的小的指定区域上显示处理结果。
图9示出根据本公开的实施例的网关的功能配置。
参考图9,网关22包括网络框架905、服务框架910、以及内核和基础框架915。网络框架905包括用于与TV功能单元24通信的高速公共网关接口(CGI)模块、网络推送引擎、以及REST引擎。服务框架910包括能源服务模块、控制服务模块、和房间服务模块。内核和基础框架915包括模式模块、区域模块、帐单(帐号)模块、系统管理模块、设备模块、服务模块、和通信模块。
TV功能单元24将从遥控器30接收的热键输入转换为API命令,并传送API命令到网关22的网络框架905。网络框架905的REST引擎分析API命令,确定与API命令对应的服务,并调用服务框架910的控制服务模块或房间服务模块。控制服务模块根据来自内核和基础框架915的设备模块的API命令获得与要控制的设备ID对应的详细信息,并请求用于要控制的设备的控制服务。服务框架910的房间服务模块将根据API命令的服务ID发送到宾馆服务器40,并接收关于服务ID的处理结果。在实施例中,宾馆服务器40通过将服务ID的命令显示到控制台或宾馆管理者的网页来提供通知,并且从宾馆管理者接收处理结果。
当API命令指示用于房间内的区域的照明控制时,内核和基础框架915的区域模块控制与API命令中包括的区域ID对应的灯。当API命令指示房间内的设备的群组控制时,模式模块通过确定用于群组控制的模式获得模式ID,并执行与获得的模式ID对应的群组控制。
网关22接收的API命令的示例如下。
图10示出在根据本公开的实施例的网关中运行设备控制命令的过程。
参考图10,网关22包括网络框架905、服务框架910、以及内核和基础框架915。
TV功能单元24的网络客户端例如通过BT从遥控器30接收热键输入(1005)。网络客户端将与热键输入对应的命令传送到链接到相应的CGI线程的网络框架905中的高速CGI模块(1010)。高速CGI模块将与命令对应的请求发送到REST引擎(1015)。REST引擎识别该请求是用于设备控制,并发送控制请求到服务框架910的控制服务模块(1020)。
控制服务模块响应于控制请求从内核和基础框架915的设备模块获得与要控制的设备对应的详细信息,诸如设备类型、名称、和连接(1025),并将诸如电源开启/关闭、升温/降温、或者开/关窗帘(窗帘开/关)的用于要控制的设备的控制服务的请求发送到服务模块(1030)。控制服务的请求从服务模块传送到通信模块,而通信模块将关于控制服务的请求转换为适合诸如紫蜂或Z-波的相应的设备的通信协议的控制命令,并将其发送到相应的设备(1035)。
图11示出在根据本公开的实施例的网关中接收改变设备状态的结果的过程。
参考图11,网关22包括网络框架905、服务框架910、以及内核和基础框架915。
设备可以周期性地/非周期性地或者响应于来自网关22的控制命令传送设备状态改变结果到网关22(1105)。在接收状态改变结果时,内核和基础框架915的通信单元产生设备状态改变事件。服务模块传送设备状态改变事件到服务框架910的控制服务模块(1110),而且控制服务模块传送设备状态改变事件到网络框架905的网络推送引擎(1115)。网络推送引擎将根据设备状态改变事件的通知发送到REST引擎(1120),而且REST引擎响应于该通知将包括状态改变结果的响应发送到TV功能单元24(1125)。TV功能单元24可以输出状态改变结果到TV显示器,和/或,如果可能,可以通过BT将包括状态改变结果的通知消息发送到遥控器30(1130)。当遥控器30具有诸如扬声器或显示器的输出设备时,遥控器30可以输出状态改变结果以使得用户能够注意到。
以下表2表示状态改变事件的示例。
表2
从网络推送引擎发送的用于状态改变的通知的示例如下示出。
图12是示出根据本公开的实施例的处理设备控制的过程的视图。
参考图12,遥控器30检测用于设备控制的热键的输入,例如,[TEMPERATURE:+]30a,并将与检测到的按键输入对应的按键输入信号发送到网关22(1202)。当TV显示器26被去激活时(1204),网关22可以激活TV显示器26以输出文字,诸如“已经输入[TEMPERATURE:+]”或者“房间温度将调高”。
网关22将用于升高温度的控制命令发送到与按键输入信号对应的目标设备15,即恒温器(1206)。作为示例,控制命令可以指示将温度升高一度或者将预设温度升高一度。恒温器根据控制命令运行加热并发送结果到网关22(1208)。作为示例,处理结果可以指示处理的完成或者当前温度或设定温度。然后,网关22向TV显示器26输出与处理结果对应的文字,例如,[当前温度:21℃/设定温度:23℃](1210)。然而,这仅是示例,而且可以根据各种实施例配置用于状态改变的不同通知。
图13是示出根据本公开的实施例的处理服务请求的过程的视图。
参考图13,遥控器30检测用于服务请求的热键的输入,例如,[MAKE UP ROOM]30f,并将与检测到的按键输入对应的按键输入信号发送到网关22(1302)。
网关22将与按键输入信号对应的服务请求发送到管理服务器40(1316)。服务请求例如可以包括与收拾房间服务对应的服务ID。当TV显示器26保持去激活时(1304),网关22可以激活TV显示器26以输出文字,诸如“已经请求[收拾房间]服务”(1308)。管理服务器40处理服务请求并发送结果到网关22(1310)。网关22然后向TV显示器26输出与处理结果对应的文字,例如,“已经处理[收拾房间]服务”。
图14示出根据本公开的实施例的指示服务请求的状态的改变的TV显示器的屏幕。这里,这里已经示出请求家务服务的示例。
参考图14,TV显示器26在待机状态保持去激活(1405)。这里,家务状态是“无请求”。当在TV显示器26保持去激活的同时通过遥控器30接收热键输入[DO NOT DISTURB]时(1410),TV功能单元24可以激活TV显示器26以通过TV显示器26显示指示与热键输入对应的家务状态的文字,例如,“免打扰服务/成功应用”(1415)。这里,家务状态变为“免打扰”。另外,TV显示器26可以另外显示,例如,“重复地按下免打扰按钮以设置开或者关”作为改变所请求的家务状态的导引文字。关于家务状态的信息通过网关22传送到宾馆服务器40。
在屏幕1415中,当通过遥控器30输入[RETURN]、[EXIT]、和[POWER]中的任何一个时或者当经过预定时间(例如,五秒)而没有通过遥控器30的任何输入时(1420),TV功能单元24去激活TV显示器26以清除文字并返回待机状态(1425)。这里,家务状态仍是“免打扰”。
在屏幕1415中,当通过遥控器30再次接收热键输入[DO NOT DISTURB]时(1430),TV功能单元24将TV显示器26的文字改变为“免打扰服务/成功取消”,并将家务服务状态改变为“无请求”(1435)。关于家务状态的改变的信息通过网关22传送到宾馆服务器40。同样地,TV显示器26可以另外显示,例如,“重复地按下免打扰按钮以设置开或者关”作为改变家务状态的导引文字。
在屏幕1435中,当通过遥控器30输入[RETURN]、[EXIT]、和[POWER]中的任何一个时或者当经过预定时间(例如和五秒)而没有通过遥控器30的任何输入时(1440),TV功能单元24去激活TV显示器26以清除文字并返回到待机状态(1445)。这里,家务状态仍是“无请求”。
图15示出根据本公开的实施例的指示温度改变的TV显示器的屏幕。
参考图15,在TV显示器26在待机状态保持去激活的同时(1505)和当通过遥控器30接收与温度设置有关的热键输入,例如,[TEMPERATURE:+]或[TEMPERATURE:–]时(1510),TV功能单元24可以激活TV显示器26以通过TV显示器26显示与热键输入对应的指示温度控制状态的文字,例如,“当前21℃/设定23℃”(1515)。
在屏幕1515中,当通过遥控器30接收输入[TEMPERATURE:+]或[TEMPERATURE:–]时,TV功能单元24将与输入对应的命令(例如,与升高或降低温度对应的命令)发送到网关22。网关22然后将与升高或降低温度对应的控制命令发送到相应的设备,即,空调器、暖气、或恒温器中的至少一个。在实施例中,网关22可以确定用户位于安装控制器20的区域中,例如,起居室,而且可以发送控制命令到与起居室相关的空调器、暖气、和恒温器。
在屏幕1515中,当通过遥控器30输入[RETURN]、[EXIT]、和[POWER]中的任何一个时,当经过预定时间(例如,五秒)而没有通过遥控器30的任何输入时,或者当在预定时间没有通过遥控器30接收与温度相关的热键输入时(1520),TV功能单元24去激活TV显示器26以清除文字并返回到待机状态(1525)。
图16A和图16B示出根据本公开的各种实施例的在TV功能保持激活的同时输出处理结果的TV显示器的屏幕。
参考图16A,TV显示器26保持激活且正在通过TV原生功能输出TV图像(1605)。当在TV显示器26保持激活的同时通过遥控器30输入热键之一(例如,[TEMPERATURE:+])时(1610),TV功能单元24在TV图像上显示包括与热键输入对应的文字的消息1615a,例如,“当前21℃/设定23℃”(1615)。消息1615a可以被处理为半透明的而不干扰TV图像。在屏幕1615中,当通过遥控器30输入[RETURN]、[EXIT]、和[POWER]中的任何一个时或者当经过预定时间(例如和五秒)而没有通过遥控器30的任何输入时(1620),TV功能单元24从TV显示器26的屏幕上清除文字并继续显示原始的TV图像(1625)。
参考图16B,当在TV显示器26保持激活的同时通过遥控器30输入热键之一(例如,[TEMPERATURE:+])时(1605),TV功能单元24在TV显示器26的屏幕的预定区域上,例如,在其右侧或者右下端显示包括与热键输入对应的文字的消息1630a,例如,“当前21℃/设定23℃”(1630)。消息1630a可以占据相对小的区域而不干扰TV图像。例如,消息1630a可以半透明地覆盖在TV图像上。作为另一示例,TV功能单元24可以输出TV图像,其中TV图像缩小或者从TV显示器26的屏幕部分地去除,而且可以在缩小TV图像导致的剩余区域中显示文字。在屏幕1630中,当通过遥控器30输入[RETURN]、[EXIT]、和[POWER]中的任何一个时或者当经过预定时间(例如和五秒)而没有通过遥控器30的任何输入时(1635),TV功能单元24从TV显示器26的屏幕去除文字并恢复和显示原始TV图像(1640)。
图17示出根据本公开的实施例的处理热键输入的方案。
参考图17,当通过遥控器30接收特定热键(例如,[LIGHT ON]30c或[LIGHT OFF]30d)时(1700),TV显示器26输出包括房间内部的区域的布局。每当输入同一热键,TV显示器26就可以顺序地改变和高亮布局中要控制的区域。作为示例,当首先输入[LIGHT ON]或[LIGHT OFF]时(1700),布局上设置为默认的区域#1被高亮显示(例如,闪烁、放大、移动、放置光标)(1705),并且当再次输入同一热键时,区域#2被高亮(1710),而且当再一次输入同一热键时,区域#3被高亮(1715)。
在选择期望区域时,用户可以允许通过通过遥控器30输入与Exit或OK对应的按键或者等待预定超时时间而没有任何动作而执行与期望区域对应的设备控制,即,开/关灯。作为示例,当在通过重复地输入[LIGHT OFF]30d显示屏幕1710中所示的布局的同时从遥控器30接收OK按键输入或者五分钟没有输入时(1700),TV功能单元24发送区域#2的关灯命令到网关22。因此,网关22发送关灯控制命令到区域#2中的照明设备。在实施例中,在显示屏幕1710中所示的布局的同时网关22检测来自遥控器30的OK按键输入的接收或者五分钟内没有输入,并发送关灯控制命令到区域#2中的照明设备。
图18是示出根据本公开的实施例的控制照明的操作的流程图;
参考图18,在操作1805中,TV功能单元24从遥控器30接收按键输入并识别与按键输入对应的代码。在操作1810中,TV功能单元24确定所确定的代码是否对应于开/关灯。当所确定的代码具有与开/关灯对应的代码值时,当所确定的代码不对应于开/关灯时,TV功能单元24在操作1835执行与代码对应的功能。
相反,当所确定的代码对应于开/关灯时,TV功能单元24在操作1815确定房间内的区域当中要高亮的区域。该区域可以具有默认区域ID,例如,#1,可以被确定为当前处于开灯或关灯状态的区域,或者可以具有紧挨着预先高亮的区域的区域ID。在操作1820,TV功能单元24通过TV显示器输出包括房间内的区域的布局,并高亮所确定的区域(例如,通过闪烁或着色)。当在操作1825中直到经过预定超时时间为止未接收到同一按键输入时,TV功能单元24在操作1830停止通过TV显示器输出该布局并恢复TV显示器。
图19示出根据本公开的实施例的通过作为遥控器操作的移动终端的热键输入。这里示出移动终端被实现为智能电话机1900的示例。
参考图19,智能电话机1900是配备有可以与TV功能单元24通信的遥控应用的移动终端,而且智能电话机1900可以通过运行该应用输出用于如上所述的智能宾馆的遥控的至少一个热键。另外,智能电话机1900可以操作为与宾馆房间的门锁交互的房间钥匙。用户可以通过智能电话机1900接入网关22以验证智能电话机1900并下载用于宾馆房间的热键设置。智能电话机1900然后可以提供每个宾馆房间优化的热键输入屏幕和布局以允许用户更容易地控制宾馆房间。
作为另一实施例,智能电话机1900可以在运行其原生功能的同时支持根据用户的触摸的数目、滑动的方向、或运动输入的简化的热键输入(所示的示例中的电子书)。根据所示的示例,当在运行其原生功能时检测到向右滑动输入1905时,智能电话机1900确定已经输入了热键[开灯]。当检测到向左滑动输入1910时,智能电话机1900确定已经输入了热键[关灯]。当检测到向上滑动输入1915时,智能电话机1900确定已经输入了热键[温度:+]。和,当检测到向下滑动输入1920,智能电话机1900确定已经输入了热键[温度:-]。
智能电话机1900可以以与上述遥控器30同样的方式发送用户的热键输入到网关22或TV功能单元24。另外,当从网关22或TV功能单元24接收宾馆房间的控制命令的处理结果或状态改变结果时,智能电话机1900可以在自己的屏幕上或者通过TV显示器26显示处理结果或状态改变结果。
图20示出根据本公开的实施例的遥控器的其他示例。
参考图20,可以建立与网关22的会话的TV或移动终端(未示出)以及平板计算机2000、可穿戴设备2005等可以实现为遥控器30,而且如上所述实现的遥控器30可以响应于来自网关22或TV功能单元24的处理结果反馈2010输出语音、声音、嘟嘟声、或者振动。
至此已经描述了向遥控器提供热键以控制宾馆房间中的设备的各种实施例。在上述各种实施例中,因为遥控器的尺寸有限,所以对意在执行控制或者服务请求的设备的数目施加限制。另外,因为提供的热键具有不变的功能,难以添加新的设备或者服务。
在下面的各种实施例中,对于遥控器的热键支持软映射。换句话说,可以使用遥控器的有限的键区提供自适应热键映射的导引。
图21是示出根据本公开的实施例的热键映射导引的视图。
参考图21,遥控器30包括热键导引按键30g,而且TV显示器26响应于热键导引按键30g的输入2105而显示热键映射导引2110。热键映射导引2110可以包括指示遥控器30的输入单元的至少一部分的图像、以及包括指示与遥控器的至少一些按键对应的功能的菜单项的控制菜单。所示的示例中,热键映射导引2110包括菜单项(即,软菜单按键),诸如与遥控器30的音量调高按键对应的[开门]功能,与音量调低按键对应的[锁门]功能,以及与频道变换按键对应的[开窗帘]和[关窗帘]功能。在所示的示例中,每一按键和其对应的菜单项之间的映射关系以连接按键图像与菜单项的文本的线表示。在实施例中,可以通过平行地放置按键名称和其相应的菜单项的名称来显示映射关系。在实施例中,可以通过在按键图像中包括与按键图像对应的菜单项的名称来显示映射关系。
TV显示器26可以接收指令以由TV功能单元24或者检测通过遥控器30的输入网关22输出热键映射导引2110。热键映射导引2110按照热键导引按键映射而且包括可以取决于周围环境(诸如房间状态、温度、日期、季节、或客人简档)而自适应地配置的按键。由热键映射导引2110提供的按键被称为导引按键,而且仅在热键映射导引2110保持在TV显示器26上的同时操作导引按键以执行导引功能。
当在已经显了热键映射导引2110之后经过预定时间时没有从遥控器30接收到输入或者导引按键输入时,TV显示器26去除热键映射导引2110,而且遥控器30的按键恢复它们的初始功能。在去除热键映射导引2110之后(2115),TV显示器26可以返回到输出热键映射导引2110之前的屏幕(2120)。作为示例,前一屏幕可以是显示关闭图像或TV图像。
当在正在显示热键映射导引2110的同时通过遥控器30感测到导引按键输入时(2125),向网关22通知遥控器30的按键输入并执行与导引按键输入对应的功能。当遥控器30检测到用于[音量调高]、[音量调低]、[前一频道]和[下一频道]当中的导引按键[下一频道]的按键输入2125时,在所示的示例中,网关22从遥控器30接收用于按键输入的按键输入信号并指令窗帘设备2130执行与[下一频道]对应的功能[关窗帘]。
在导引功能正在运行时,TV显示器26可以继续保持热键映射导引2110。可以保持热键映射导引2110,直到输入Exit或Return按键,或者经过预定时间(例如,五秒)而没有检测到按键输入。
图22是示出根据本公开的实施例的提供热键映射导引的示例的总体流程图。
参考图22,遥控器30在操作2205检测用于热键导引按键的用户输入并产生和发送按键输入信号。在操作2210,网关22接收按键输入信号,而且如有必要,考虑周围环境自适应地映射热键映射导引中要包括的热键与它们的相应的功能。在操作2215,网关22产生指示映射的功能的关于热键映射导引的信息,并发送信息到TV显示器26以使得在TV显示器26上输出热键映射导引。
在操作2220,当在显示热键映射导引时由热键映射导引通过导引按键之一从遥控器30接收用户输入时,网关22控制相应的设备执行映射到导引按键的功能。在操作2225中,当没有检测到用户输入或者没有通过遥控器30的导引按键的用户输入时或者当输入结束/取消按键时,网关22从TV显示器26去除热键映射导引。在操作2230中,网关22将用于遥控器30的按键的功能恢复回到初始的功能。在终止热键映射导引之后,操作导引按键,即[音量调高]、[音量调低]、[前一频道]和[下一频道]以执行它们的初始功能。
根据本公开的实施例,可以根据周围环境、或者代替周围环境根据遥控器30面对的方向提供热键映射。
图23示出根据本公开的实施例的根据由遥控器指示的方向提供热键映射导引的示例。
参考图23,当在遥控器30面对TV显示器26(即,网关22)时检测到用户输入时、以及当在遥控器30面对要通过热键控制的一个或多个设备15时检测到用户输入时,可以提供不同热键映射导引。作为示例,遥控器30可以将指示遥控器30的IR发送器或遥控器30的上端面对的方向2305的方位信息2310发送到网关22,而且TV显示器26可以在网关22的控制下输出包括用于控制位于遥控器30面对的方向2305上的设备的菜单项的热键映射导引。
图24A到图24D是示出根据本公开的各种实施例的根据由遥控器指示的方向提供热键映射导引的操作过程的视图。
参考图24A,门锁15a、落地灯15b、和窗帘1 15c位于遥控器30的左侧2405。氛围灯15d、恒温器15e、和窗帘2 15f位于遥控器30的右侧2415。
当在遥控器30面对左侧2405时检测到用于热键导引按键的输入2410时,TV显示器26输出包括位于如图24B所示的左侧2405的设备15a、15b和15c的控制菜单的热键映射导引2425。该热键映射导引2425包括菜单项[开落地灯]、[开门]、[锁门]、[开窗帘1]和[关窗帘1]。
当在遥控器30面对右侧2415时检测到用于热键导引按键的输入2420时,TV显示器26输出包括用于位于如图24C所示的右侧2415的设备15d、15e和15f的控制菜单的热键映射导引2430。该热键映射导引2430包括菜单项[开窗帘2]、[关窗帘2]、[关闭氛围灯]、[升温]和[降温]。
当在显示图24B或者24C所示的热键映射导引2425或者2430的同时检测到与导引按键对应的按键输入时,网关22发送相应的控制命令2440到与如图24D所示的按键输入2425对应的设备。当通过图24B所示的热键映射导引2425输入[前一频道]按键2435时,网关22发送控制命令2440以开窗帘1设备15c以执行与[前一频道]按键对应的[开窗帘1]功能。
当热键映射导引2425或者2430包括用于服务请求的菜单项时,网关22可以响应于如图24D所示的菜单项的输入将服务请求2445发送到宾馆服务器40。
图25是示出根据本公开的实施例的提供自适应热键映射导引的操作的流程图。所示的操作例如可以由可以从遥控器30直接或者间接地接收按键输入信号的网关22或TV功能单元24执行。
参考图25,在操作2505中网关22从遥控器30接收与按键输入对应的按键输入信号。按键输入信号可以包括与输入按键对应的按键代码,而且另外包括在按键输入时由遥控器30测量的地磁值或方位信息。在操作2510,网关22确定按键输入信号是否具有与热键导引按键对应的按键代码。
当确定按键代码不对应于热键导引按键时,网关22进行到操作2540以确定是否显示由热键映射导引提供的控制菜单。当显示热键映射导引的控制菜单时,网关22在操作2545响应于导引热键的按键输入执行其映射的控制功能。相反,当不显示热键映射导引的控制菜单时,网关22在操作2550执行与按键输入对应的普通功能。
同时,当在操作2510中确定按键代码对应于热键导引按键时,网关22在操作2515中识别按键输入信号中包括的方位信息,或者基于按键输入信号中包括的地磁值来确定关于遥控器30的方位信息。该方位信息例如可以是指示遥控器30的位置和方向的关于X-Y坐标的方位角。作为示例,由遥控器30测量的地磁值具有X-Y坐标,而且通过X-Y坐标计算方位角。
在操作2520,网关22进行指示房间内设备的位置的设备坐标与方位信息的比较,而且在操作2525,网关22根据比较的结果选择位于沿着遥控器30面对的方向的至少一个设备。在操作2530,网关22映射控制菜单和用于所选的设备的热键,而且在操作2535,网关22将关于包括控制菜单和用于所选的设备的热键的热键映射导引的信息发送到TV显示器26,以使得在TV显示器26上输出热键映射导引。
图26是示出根据本公开的实施例的通过遥控器提供自适应热键映射导引的示例的信号流程图。这里,处理遥控器30的输入的网络实体可以是网关22、控制器20、或TV功能单元24。为了便于描述,提供其中由网关22执行操作的示例。
参考图26,网关22在操作2600建立与智能宾馆控制系统中登记的至少一个设备15的连接,在操作2605更新关于作为受控设备的设备15的信息,并在操作2610将包括关于受控设备的信息的受控目标列表传送到遥控器30。这里,受控目标列表可以周期性地、通过事件触发、或者响应于来自遥控器30的请求从网关22传送到遥控器30。作为示例,当连接新设备时或者当释放现有的设备时可以更新受控目标列表,而且可以传送到遥控器30。受控目标列表可以包括例如名称、型号名称、制造商、功能、状态、和位置中的至少一个作为关于每个受控设备的信息。在该实施例中,受控目标列表至少包括每个设备的位置。
以下表3表示受控目标列表的示例。
表3
设备 位置 相对位置
灯1 130° SE 相对于窗帘1的左侧(90° E)
窗帘1 180° S 相对于等1的右侧(270° W)
恒温器 50° NE 相对于窗帘2的右侧(90° E)
如表3中举例说明的,受控目标列表包括名称、相对于向正北的位置信息、和/或每个设备相对于另一设备的相对位置信息。可以例如相对于网关22或TV功能单元24确定位置信息。
在操作2615,遥控器30检测用户的按键输入并确定方位信息。该方位信息例如可以是指示遥控器30面对的方向的关于X-Y坐标的方位角。在操作2620,遥控器30基于受控目标列表和方位信息选择位于沿着遥控器30面对的方向的至少一个设备15。在操作2625,遥控器30通过显示器输出包括对于所选的设备15预定的控制菜单的热键映射导引。控制菜单提供关于所选的设备15的一个或多个功能的映射信息和用于执行一个或多个功能的一个或多个用户输入。遥控器30可以通过自己的显示器输出热键映射导引。为此,遥控器30例如可以被配置为具有自己的显示器的智能电话机或平板计算机。在可选的实施例中,遥控器30可以将关于热键映射导引的信息传送到网关22,以使得网关22可以通过TV显示器26输出热键映射导引。
在实施例中,在操作2625中热键映射导引可以在被显示或者在不被显示的同时作为语音提供给用户。作为示例,遥控器30可以以语音输出可以由所选的设备提供的至少一个命令和所选的设备15的名称。
以下表4表示与每个设备对应的控制菜单和控制信号的示例。
表4
参考表4,与灯1对应的控制菜单定义指示用于控制灯1的遥控器30的音量调高/调低按键的(多个)按键代码、以及可以用于灯1的控制的运动输入。与灯1对应的控制信号包括与音量调高/调低按键对应的开/关信号、以及与向上/向下方向运动信息对应的更亮/更暗控制信号。与窗帘1对应的控制菜单定义指示用于控制窗帘1的遥控器30的前一/下一频道按键的(多个)按键代码、以及可以用于窗帘1的控制的运动输入。与窗帘1对应的控制信号包括与前一/下一频道按键对应的开/关信号、以及与向左/向右方向运动信息对应的[向左移动]/[向右移动]控制信号。
在实施例中,可以取决于运动速度和/或遥控器30的尺寸确定控制信号的分级或度量。作为示例,当检测到遥控器30沿向上方向运动时,遥控器30可以将灯1控制为与向上方向运动的速度或程度对应的亮度。作为示例,当向上方向运动的速度或程度(即,移动距离)超过预定阈值时,输出控制信号以命令将灯1调整为90%的亮度。作为另一示例,当检测到遥控器30向左移动时,遥控器30发出控制信号以指令窗帘1继续沿向左方向移动,而且当遥控器30停止移动时,遥控器30发出控制信号以命令停止窗帘1的控制。作为示例,当遥控器30的向左方向运动的速度超过第二阈值时,遥控器30可以发出控制信号以命令将窗帘1向左拉开80%。
当在操作2630中检测到由热键映射导引导引的用户输入之一时,遥控器30在操作2635产生指示与用户输入对应的功能的控制命令。作为示例,用户输入可以包括用于遥控器30的按键当中由热键映射导引导引的至少一个按键的按键输入、运动输入、和触摸输入中的至少一个。在操作2640中,控制命令被直接或者经由TV功能单元24或网关22发送到可以执行与按键输入对应的功能的设备15。
图27是示出根据本公开的实施例的当多个设备面向相同方向时提供自适应热键映射导引的示例的信号流程图。这里,处理遥控器30的输入的网关22可以替换为TV功能单元24或控制器20。
参考图27,网关22在操作2700建立与智能宾馆控制系统中登记的至少一个设备15的连接,在操作2705更新关于作为受控设备的设备15的信息,并在操作2710将包括关于受控设备的信息的受控目标列表传送到遥控器30。这里,受控目标列表可以周期性地、通过事件触发或者响应于来自遥控器30的请求从网关22传送到遥控器30。作为示例,当连接新设备时或者当释放现有的设备时可以更新受控目标列表,而且可以传送到遥控器30。受控目标列表例如可以包括名称、型号名称、制造商、功能、状态和位置中的至少一个作为关于每个受控设备的信息。在该实施例中,受控目标列表至少包括每个受控设备的位置。
在操作2715,遥控器30检测用户输入并确定方位信息。方位信息例如可以是由遥控器30测量的地磁值或者指示遥控器30面向的方向的关于X-Y坐标的方位角。在操作2720a,遥控器30基于受控目标列表和方位信息识别位于沿着遥控器30面向的方向的多个候选设备,并通过显示器或者语音将关于候选设备的信息提供给用户。作为示例,候选设备可以是受控目标列表中包括的设备。作为示例,遥控器30的显示器可以输出映射到候选设备的用户输入(例如,按键输入、运动输入、触摸输入和语音输入中的至少一个)的映射信息、以及多个候选设备的符号(例如,小图片)。
作为示例,遥控器30可以将关于多个候选设备的信息传送到网关22,以使得网关22可以通过TV显示器26输出选择菜单以选择候选设备。作为示例,选择菜单可以包括映射到候选设备的用户输入(例如,按键输入、运动输入、触摸输入、和语音输入中的至少一个)的映射信息以及候选设备的符号。作为另一示例,遥控器30可以以语音输出候选设备的列表。
在操作2720b,遥控器30检测用户输入以选择候选设备当中的受控设备,而且在操作2725,选择与用户输入对应的设备15。用户输入例如可以是与候选设备之一对应的遥控器30的按键的输入。作为示例,用户输入可以是指示候选设备之一的运动输入或语音输入。
在操作2730中遥控器30通过显示器输出包括对于所选的设备15预定的控制菜单的热键映射导引。控制菜单提供用于所选的设备15的一个或多个功能和执行该一个或多个功能的遥控器30的按键的映射。遥控器30可以通过自己的显示器输出热键映射导引。为此,遥控器30例如可以被配置为具有自己的显示器的智能电话机或平板计算机。在可选的实施例中,遥控器30可以将关于热键映射导引的信息传送到网关22,以使得网关22可以通过TV显示器26输出热键映射导引。
当在操作2735中检测到由热键映射导引导引的用户输入之一时,遥控器30在操作2740产生指示与用户输入对应的功能的控制命令。在操作2745,控制命令被直接或者经由TV功能单元24或者网关22发送到可以执行与用户输入对应的功能的设备15。
图28是示出根据本公开的实施例通过遥控器提供热键映射导引的操作的流程图。
参考图28,在操作2805,遥控器30检测用户的按键输入并确定与按键输入对应的代码。在操作2810,遥控器30确定所确定的代码是否是与热键导引按键对应的按键代码。当所确定的代码不是热键导引按键的按键代码时,网关30进行到操作2850以确定是否显示由热键映射导引提供的控制菜单。当显示热键映射导引的控制菜单时,遥控器30进行到操作2835。相反,当不显示热键映射导引的控制菜单时,遥控器30在操作2855执行与按键输入对应的普通功能。
同时,当在操作2810中确定按键代码对应于热键导引按键时,遥控器30在操作2815测量地磁值以确定方位信息。方位信息例如可以是指示遥控器30面对的方向的方位角。作为另一示例,方位信息可以是测量的地磁值。
在操作2820,遥控器30将包括方位信息的按键输入信号发送到网关22。遥控器30在操作2825从网关22接收关于包括映射到至少一个受控设备的控制菜单的热键映射导引的信息,并在操作2830显示该热键映射导引。控制菜单可以提供用于受控设备的一个或多个功能和执行该一个或多个功能的遥控器30的一个或多个按键的映射。
遥控器30在操作2835检测按键输入,并在操作2840确定检测到的按键输入是否是与由热键映射导引导引的按键之一对应的按键输入。当检测到的按键输入不是导引按键输入时,遥控器30在操作2855执行与按键输入对应的普通功能。相反,当检测到导引按键输入时,遥控器30在操作2845将指示按键输入的按键输入信号发送到网关22,以使得网关22将指示与按键输入对应的功能的控制命令发送到受控设备。
图29是示出根据本公开的实施例的通过网关提供热键映射导引的操作的流程图。这里,处理遥控器30的输入的网关22可以替换为TV功能单元24或控制器20。
参考图29,每当在智能宾馆控制系统中登记、释放、或改变设备时,网关22在操作2905更新包括关于受控设备的信息的受控目标列表。在操作2910,网关22从遥控器30接收包括方位信息的按键输入信号。在操作2915,网关22基于方位信息和受控目标列表选择位于沿着遥控器30面对的方向的至少一个受控设备,并将预定控制菜单映射到所选的设备。在操作2920,网关22将关于包括映射到所选的设备的控制菜单的热键映射导引的信息发送到遥控器30。网关22在操作2925从遥控器30接收用于由热键映射导引导引的按键之一的按键输入信号,并在操作2930将指示与按键输入信号对应的功能的控制命令发送到相应的受控设备。
图30是示出根据本公开的实施例的通过网关控制与方位信息对应的设备的示例的信号流程图。这里,处理遥控器30的输入的网关22可以替换为TV功能单元24或控制器20。
参考图30,网关22在操作3000建立与智能宾馆控制系统中登记的至少一个设备15的连接,并在操作3005中更新关于作为受控设备的设备15的信息,从而配置受控目标列表。
在操作3010,遥控器30检测用户的按键输入并确定方位信息。方位信息例如可以是由遥控器30测量的地磁值或者指示遥控器30面向的方向的方位角。在操作3015,遥控器30在按键输入信号上携带方位信息到网关22。按键输入信号可以包括方位信息和与检测到的按键输入对应的按键代码。
在操作3020,网关22比较方位信息与受控目标列表中的受控设备的位置,以基于方位信息和受控目标列表选择位于沿着遥控器30面对的方向的至少一个受控设备,并将预定控制菜单映射到所选的设备。在操作3025,网关22将关于包括映射到所选的设备的控制菜单的热键映射导引的信息发送到遥控器30。在操作3030,遥控器30显示热键映射导引中包括的控制菜单。
在操作3035,遥控器30检测与由热键映射导引导引的按键之一对应的按键输入,而且在操作3040,将与检测到的按键输入对应的按键输入信号发送到网关22。在操作3045,网关22产生指示与按键输入对应的功能的控制命令,而且在操作3050,发送控制命令到相应的受控设备。
图31是示出根据本公开的实施例的通过网关显示热键映射导引的控制菜单的操作的流程图。这里,处理遥控器30的输入的网关22可以替换为TV功能单元24或控制器20。
参考图31,每当在智能宾馆控制系统中登记、释放、或改变设备时,网关22在操作3105更新包括关于受控设备的信息的受控目标列表。当在操作3110从遥控器30接收包括方位信息的按键输入信号时,网关22在操作3115基于方位信息和受控目标列表选择位于沿着遥控器30面对的方向的至少一个受控设备,并将包括预定功能的控制菜单映射到所选的设备。
在操作3120,网关22向TV显示器26显示包括控制菜单的热键映射导引。网关22在操作3125从遥控器30接收用于由热键映射导引导引的按键之一的按键输入信号,并在操作3130产生指示与按键输入信号对应的功能的控制命令并将其发送到相应的受控设备。
虽然至此已经描述了与TV交互的遥控器具有热键导引按键的实施例,但是可以使用具有热键的专用遥控器更高效率地控制智能宾馆。
图32A和图32B示出根据本公开的各种实施例的热键专用遥控器的输入单元。
参考图32A,遥控器3200包括设备按键3205、服务按键3210、二元控制按键3215、和多重控制按键3220。设备按键3205用于选择要控制的设备(即,受控设备),而服务按键3210用于选择要请求的服务。选择二元控制按键3215以开启/关闭所选的受控设备的电源或者锁定/解锁所选的受控设备或者请求(设置)/取消由服务按键3210选择的服务,而且多重控制按键3220用于以分级值控制受控设备的温度、灯的亮度、开/关窗帘的程度等。
参考图32B,遥控器3230包括设备按键3235、服务按键3240、和控制/请求按键3245,而且可以进一步包括能够根据按键输入和运动输入的组合来控制受控设备的传感器单元3250和扬声器3255。传感器单元3250可以被配置为加速度/陀螺仪/地磁传感器。设备按键3235用于选择要控制的设备(即,受控设备),而且服务按键3240用于选择要请求的服务。控制/请求按键3245用于开启/关闭受控设备的电源或者锁定/解锁受控设备或者请求(设置)/取消由服务按键3210选择的服务。
当输入设备按键3235时,遥控器3230将可以是受控设备的候选设备的列表通过TV显示器26或者扬声器3255传送到用户。作为示例,TV显示器26可以响应于设备按键3235的输入而输出位于遥控器3230面对的方向的设备的图像(画面)。作为示例,遥控器3230可以响应于设备按键3235的输入而以语音(声音)输出位于遥控器3230面对的方向的设备的名称。基于由传感器单元3250测量的地磁值和由网关22配置的受控目标列表来确定位于遥控器3230面对的方向的设备。遥控器3230可以响应于由传感器单元3250感测到的运动来确定要由受控设备执行的功能。
图33A和图33B是示出根据本公开的各种实施例的使用热键专用遥控器的示例的视图。
图33A示出当在房间中存在多个设备时调整灯的亮度的操作的示例。参考图33A,当在遥控器3230面对被认为由遥控器3230控制的灯3310时检测到按压设备按键3305时,遥控器3230通过扬声器以语音输出受控目标列表中的设备当中位于与方位信息对应的方向的设备3310和3315的描述,即“灯,窗帘”。在检测到多个设备3310和3315时,遥控器3230可以响应于运动输入确定受控设备。
在特定示例中,当在保持按压设备按键3305时检测到向左方向运动3320时,遥控器3230以语音输出“选择了灯”以向用户通知已经选择了灯。虽然未示出,当保持按压设备按键3305时检测到向右方向运动时,遥控器3230可以以语音输出“选择了窗帘”。当释放按压设备按键3305时,遥控器3230确定最终选择的设备(所示的示例中的灯)作为受控设备。
当检测到在选择了灯时按压控制/请求按键3335时,遥控器3230等待运动输入以控制灯的功能。当在保持按压控制/请求按键3335时检测到向上方向运动3325时,遥控器3230以语音输出与运动的大小对应的亮度,例如,“亮度10”,而且以亮度10控制灯3310。当在选择了特定的亮度时释放按压控制/请求按键3335时,灯3310保持由遥控器3230控制的亮度。
图33B示出当在房间中存在多个供应品时请求毛巾的操作的示例。参考图33B,当在遥控器3230面对被认为由遥控器3230控制的毛巾3355时检测到服务按键3340的按压时,遥控器3230通过扬声器以语音输出位于与方位信息对应的方向的用于服务的供应品“毛巾”和“牙膏”。当检测到多个供应3350和3355时,遥控器3230可以响应于运动输入确定服务的供应。
在示例中,当在保持按压服务按键3340时检测到向下方向运动3345时,遥控器3230以语音输出“选择了毛巾”以向用户通知已经选择了毛巾。虽然未示出,当保持按压服务按键3340时检测到向上或者向右方向运动时,遥控器3230可以以语音输出“选择了牙膏”。当释放按压服务按键3340时,遥控器3230确定最终选择的供应(所示的示例中的毛巾)作为用于服务的供应品。
当在选择了毛巾时检测到按压控制/请求按键3335时,遥控器3230可以以语音输出“已经请求了毛巾”,而且可以将用于“请求毛巾”的服务请求信号发送到网关22以使得网关22可以请求宾馆服务器40添加更多毛巾。
图34是示出根据本公开的实施例的考虑房间状况提供热键映射导引的操作的流程图。这里,处理遥控器30的输入的网络实体可以是网关22、控制器20或者TV功能单元24。为了便于描述,提供其中由网关22执行操作的示例。另外,遥控器30可以替换为图32A所示的遥控器3200或者图32B所示的遥控器3230。
参考图34,每当在智能宾馆控制系统中登记、释放、或改变设备时,网关22在操作3405更新包括关于受控设备的信息的受控目标列表。在可选操作3410中,网关22从宾馆服务器40获得客人简档。客人简档可以包括客人的性别或年龄、是否陪同婴儿、以及先前历史中的至少一个。这里,先前历史可以包括在客人的先前住宿期间频繁地使用的功能。
当在操作3415中从遥控器30接收包括方位信息的按键输入信号时,网关22在可选操作3420中识别诸如房间模式的房间状态、时间、季节或者客人状态。客人状态可以包括入住、睡眠状态、使用浴室的状态、或者看电视中的至少一个。
在操作3425,网关22基于方位信息、受控目标列表、客人简档、和房间状态中的至少一个来选择位于遥控器30面对的方向的至少一个受控设备,并将预定控制菜单映射到所选的设备。
在操作3430,网关22通过TV显示器26或遥控器30的显示器显示包括控制菜单的热键映射导引。网关22在操作3435从遥控器30接收用于由热键映射导引导引的按键之一的按键输入信号,并在操作3440将指示与按键输入信号对应的功能的控制命令发送到相应的受控设备。
图35A到图35C是示出根据本公开的各种实施例根据时间提供自适应热键导引的示例的视图。
图35A示出可以响应于在上午8:00的热键导引按键的输入通过遥控器30的显示器或者TV显示器26提供的热键映射导引3510。如图所示,热键映射导引3510包括分别映射到遥控器30的特定的按键的设备控制项,诸如[房间制冷]和[开窗帘],和服务请求项,诸如[唤醒]和[早上]。作为示例,设备控制项可以映射到音量调高/调低按键,而且服务请求项可以映射到前一/下一频道按键。
图35B示出可以响应于在下午10:00的热键导引按键的输入提供的热键映射导引3520。如图所示,热键映射导引3520包括很可能用于准备睡眠的服务请求项,诸如[停止制冷]、[关窗帘]、[睡眠]、和[夜晚]。作为示例,[停止制冷]和[关窗帘]可以映射到音量调高/调低按键,而且用于准备控制睡眠和夜晚时间的[睡眠]和[夜晚]可以映射到前一/下一频道按键。
图35C示出可以响应于在上午3:00的热键导引按键的输入提供的热键映射导引3530。如图所示,热键映射导引3530包括很可能在睡眠期间使用的设备控制项,诸如[制冷器开启]、[开窗帘]、[浴室开启]和[开灯]。作为示例,[制冷器开启]和[开窗帘]可以映射到音量调高/调低按键,并且[浴室开启]和[开灯]可以映射到前一/下一频道按键。特别地,打开位置向着浴室的灯的[开灯]功能在清晨时区中以较高优先级配置。
另外,热键映射导引可以包括取决于季节的适当的功能。作为示例,热键映射导引可以包括在冬季操作加热功能的设备控制项,而且热键映射导引可以包括在夏季操作制冷功能的设备控制项。
在实施例中,热键映射导引可以取决于客人简档自适应地配置。作为示例,当客人处于高龄组时,热键映射导引可以被配置为具有较大字体大小、更简化的功能、和面向群组控制的银发模式。银发模式热键映射导引可以包括比普通模式热键映射导引更少的菜单项,而且每个菜单项可以被配置为执行基于每个组而不是逐个的控制。作为示例,银发模式热键映射导引可以配置有映射到[睡眠]和[唤醒]的按键,而且响应于[睡眠]的导引按键输入,可以同时执行相关功能,诸如停止制冷、关窗帘、和向宾馆服务器通知睡眠。
在实施例中,可以通过以主动方式反映掌握的用户的状态以及时间和季节而自适应地配置热键映射导引。作为示例,可以位于床头或者枕头下的睡眠传感器可以检测用户是否在睡眠中,而且当检测到用户在睡眠中时,热键映射导引可以被配置为包括与之对应的功能。
图36A和图36B是示出根据本公开的各种实施例的提供反映用户的状态的热键映射导引的示例的视图。
参考图36A和图36B,睡眠传感器3600位于床头或者枕头下以周期性地检测用户是否睡着,并向网关22通知结果(3605)。当在识别出用户在睡眠中的情形下从遥控器30接收用于热键导引按键的按键输入信号时(3615),网关22在TV显示器26上显示与睡眠状态对应的热键映射导引3620。与睡眠状态对应的热键映射导引3620可以包括例如[制冷器开启]、[开窗帘]、[浴室开启]、和[开灯]的菜单项。
在实施例中,可以取决于房间模式自适应地配置热键映射导引。作为示例,当家务人员进入房屋时,房间模式变成家务状态。在房间模式处于家务状态时检测到热键导引按键的输入时,热键映射导引可以被配置为包括用于家务人员的功能。作为示例,可以根据各种房间模式(即,客人模式和检查员模式)自适应地配置热键映射导引。
图37是示出根据本公开的实施例的根据房间模式提供自适应热键映射导引的示例的视图。
参考图37,当家务人员使用她的总钥匙进入房间时,网关22接收家务人员从门锁进入的通知并将房间模式改变为家务状态。当在家务状态中从遥控器30接收与热键导引按键对应的按键输入信号时,网关22在TV显示器26上显示包括用于检查设备和清扫的功能的热键映射导引3705。用于家务状态的热键映射导引3705可以包括设备控制项,例如,[检查制冷]、[检查窗帘]、[检查灯]、和[检查电池],以及服务请求项,例如,[完成清洁]。
在实施例中,热键映射导引可以包括取决于房间统计信息以较高使用频率的次序排列的菜单项。
虽然至此已经描述了自适应地配置热键映射导引的各种环境因素,诸如客人的年龄、时间、季节、和使用频率,但是热键映射导引也可以通过组合至少一个环境因素而配置。作为示例,热键映射导引可以被配置为包括与客人所属的年龄组、时间、和季节对应的具有较高使用频率的功能。
图38是示出根据本公开的实施例的根据热键使用历史配置的热键映射导引的视图。
参考图38,从遥控器30接收用于热键导引按键的按键输入信号,而且可以根据先前的热键使用历史来配置将要响应于按键输入信号的接收在TV显示器26上显示的热键映射导引3805。作为示例,热键映射导引3805中包括的菜单项3810、3815、3820和3825可以运行具有较高使用频率的预定数目的功能。在示出的示例中,具有较高使用频率的功能包括[开窗帘]3810、[关窗帘]3815、[开灯]3820和[关灯]3825,而且功能3810、3815、3820和3825分别映射到[温度:+]、[温度:-]、[开灯]和[关灯]。
在实施例中,热键映射导引3805中包括的菜单项3810、3815、3820和3825可以指示相应的房间中频繁地使用的功能而无论客人简档如何。在实施例中,热键映射导引3805中包括的菜单项3810、3815、3820和3825可以考虑客人简档而指示由当前客人在过去频繁地使用的功能。
菜单项3810、3815、3820和3825可以配置有模仿遥控器30的现实输入单元的图像、与输入单元上的每一热键符号对应的功能的名称、以及连接热键与名称的线。因而,可以通过显示每个功能的名称和热键符号以及连接它们的线而直观地识别与用户期望的功能对应的遥控器30上的热键。
图39示出根据本公开的实施例的使用房间图像显示热键映射导引的示例。
参考图39,热键映射导引3910可以配置有模仿遥控器30的现实输入单元的图像,与输入单元上的每个热键符号对应的功能的名称、以及连接热键与功能的线。特别地,输入单元上的热键可以通过线与其对应的受控设备的符号或者图像对象连接。在示出的示例中,TV显示器26输出房间图和房间的实际画面作为背景3905,并显示覆盖在背景3905上的热键映射导引3910。
作为示例,热键映射导引3910包括遥控器30的音量调高按键和音量调低按键的符号,而且音量调高按键和音量调低按键的符号通过线与相应的功能的名称[开]和[关]的文字框3920和3925的至少一个、以及指示背景3905中的窗帘的符号/图像3920a连接。
作为示例,热键映射导引3910包括遥控器30的TV按键和外部输入(源)按键的符号,而且TV按键和外部输入按键的符号每个通过线与相应的功能的命令名称[开]和[关]的文字框3915和3930的至少一个、以及在背景3905中指示落地灯和氛围灯的符号/图像3915a和3930a连接。
作为示例,热键映射导引3910包括遥控器30的前一频道按键和下一频道按键的符号,而且前一频道按键和下一频道按键的符号通过线与相应的功能的名称[调高]和[调低]的文字框3935和3940的至少一个、以及指示背景3905中的恒温器的符号/图像3935a连接。
图40示出根据本公开的实施例的包括与受控设备对应的热键的遥控器的输入单元。
参考图40,遥控器4005的输入单元4010可以包括[窗帘]、[恒温器]、[灯]、和[门]中的至少一个作为与受控设备对应的热键。当用户输入他希望控制的设备的热键时,用于设备的功能的控制的热键映射导引可以通过TV显示器26或者遥控器4005的显示器(未示出)输出。作为示例,与热键[窗帘]对应的热键映射导引可以包括菜单项[开窗帘]和[关窗帘]。作为示例,与热键[恒温器]对应的热键映射导引可以包括菜单项[升温]和[降温]。作为示例,与热键[灯]对应的热键映射导引可以包括菜单项[开灯]和[关灯]。作为示例,与热键[门]对应的热键映射导引可以包括菜单项[开]和[关]。
在实施例中,每个热键映射导引可以进一步包括或者可以替换为与菜单项对应的运动输入的导引通知。作为示例,与热键[窗帘]对应的热键映射导引可以进一步包括用于[开窗帘]的导引文本[运动:向上(↑)]和用于[关窗帘]的导引文本[运动:向下(↓)]。作为示例,与热键[恒温器]对应的热键映射导引可以进一步包括用于[音量调高]的导引文本[运动:向左(←)]和用于[音量调低]的导引文本[运动:向右(→)]。
图41是示出根据本公开的实施例的使用遥控器的热键的窗帘的控制操作的视图。
参考图41,当检测到遥控器4005的热键[窗帘]的输入4110时,遥控器4005将与输入4110对应的按键输入信号发送到网关22。网关22响应于按键输入信号的接收在TV显示器26上显示包括用于控制窗帘的菜单项的热键映射导引4115。该热键映射导引4115包括映射到遥控器4005的音量调高按键的菜单项[开内侧窗帘]和映射到音量调低按键的[关内侧窗帘],以及映射到前一频道按键的菜单项[开外侧窗帘]和映射到下一频道按键的[关外侧窗帘]。
当在显示热键映射导引4115的同时检测到遥控器4005的下一频道按键的输入4120时,网关22响应于输入4120发送关外侧窗帘的控制命令以使得合上外侧窗帘(4125)。
附加地或者可选地,热键映射导引4115可以进一步包括用于控制每个设备的每个功能的运动输入的导引文本或者可以包括替换的菜单项。作为示例,以导引文本[运动:向上(↑)]显示(或者替换)[开内侧窗帘],并且以导引文本[运动:向下(↓)]显示(或者替换)[关内侧窗帘]。当在显示热键映射导引4115的同时检测到遥控器4005向上移动时,控制命令“开”被发送到内侧窗帘。类似地,当在显示热键映射导引4115的同时检测到遥控器4005向下移动时,控制命令“关”被发送到内侧窗帘。
作为另一示例,以导引文本[运动:向左(←)]显示(或者替换)[开外侧窗帘],并且以导引文本[运动:向右(→)]显示(或者替换)[关外侧窗帘]。当在显示热键映射导引4115的同时检测到遥控器4005向左移动时,控制命令“开”被发送到外侧窗帘。类似地,当在显示热键映射导引4115的同时检测到遥控器4005向右移动时,控制命令“关”被发送到外侧窗帘。
图42是示出根据本公开的实施例的使用遥控器的热键的恒温器的控制操作的视图。
参考图42,当检测到遥控器4005的热键[恒温器]的输入4210时,遥控器4005将与输入4210对应的按键输入信号发送到网关22。网关22响应于按键输入信号的接收在TV显示器26上显示包括用于控制恒温器的菜单项的热键映射导引4215。热键映射导引4215包括映射到遥控器4005的音量调高按键的菜单项[风扇高速]和映射到音量调低按键的[风扇低速],以及映射到前一频道按键的菜单项[升温]和映射到下一频道按键的[降温]。
当在显示热键映射导引4215的同时检测到遥控器4005的下一频道按键的输入4220时,网关22响应于输入4220发送降温的控制命令到恒温器以使得恒温器将设定温度从当前设定温度24℃降低到22℃(4225)。
附加地或者可选地,热键映射导引4215可以进一步包括用于控制每个设备的每个功能的运动输入的导引文本或者可以包括替换的菜单项。作为示例,以导引文本[运动:向上(↑)]显示(或者替换)[风扇高],并且以导引文本[运动:向下(↓)]显示(或者替换)[风扇低]。当在显示热键映射导引4215的同时检测到遥控器4005向上移动时,控制命令“加速”被发送到风扇(FAN)。类似地,当在显示热键映射导引4215的同时检测到遥控器4005向下移动时,控制命令“减速”被发送到风扇。
作为另一示例,以导引文本[运动:向左(←)]显示(或者替换)[升温],并且以导引文本[运动:向右(→)]显示(或者替换)[降温]。当在显示热键映射导引4215的同时检测到遥控器4005向左移动时,控制命令“升温”被发送到恒温器。类似地,当在显示热键映射导引4215的同时检测到遥控器4005向右移动时,控制命令“降温”被发送到恒温器。
图43是示出根据本公开的实施例的使用语音命令的设备控制和用户状态输入操作的视图。
参考图43,当用户的语音命令4305输入到遥控器30时,遥控器30传送该语音命令4305到网关22。网关22分析该语音命令4305并将包括与语音命令4305对应的控制菜单的热键映射导引4310、4315、和4320输出到TV显示器26。作为示例,语音命令4305可以包括“开窗帘”、“关窗帘”、“热”、“冷”、“降温”、“想睡”、“暗”、“开灯”、“开门”、和“锁门”中的至少一个。
作为示例,当语音命令4305是“开窗帘”或者“关窗帘”时,在TV显示器26上显示的热键映射导引4315可以包括菜单项[开窗帘]和[关窗帘]。
作为示例,当语音命令4305是“想睡”时,在TV显示器26上显示的热键映射导引4310可以包括用于设备控制的菜单项[停止制冷]和[关窗帘]以及用于服务请求的菜单项[睡眠]和[夜晚]。
作为示例,当语音命令4305涉及调整温度,诸如“升温”、“降温”、“热”、和“冷”时,在TV显示器26上显示的热键映射导引4320可以包括菜单项[风扇高速]、[风扇低速]、[升温]和[降温]。
附加地或者可选地,每个热键映射导引4310、4315和4320可以进一步包括与控制菜单对应的运动输入的导引文本。作为示例,热键映射导引4310的控制菜单[停止制冷]、[关窗帘]、[睡眠]和[夜晚]可以分别与导引文本[运动:向上(↑)]、[运动:向下(↓)]、[运动:向左(←)]和[降温]一起显示。
本公开的各种实施例可以以特定角度以计算机可读记录介质上的计算机可读代码实现。计算机可读记录介质是可以存储计算机系统可读的数据的数据存储设备。计算机可读记录介质的示例可以包括只读存储器(ROM)、随机存取存储器(RAM)、致密盘-ROM(CD-ROM)、磁带、软盘、光数据存储设备和载波(诸如经因特网的数据传输)。计算机可读记录介质可以由计算机系统分布在网络上,而且因此,计算机可读代码可以以分布方式存储和执行。实现本公开的各种实施例的功能程序、代码和代码段可以由本公开属于的本领域编程人员容易地解释。
根据本公开的各种实施例的装置和方法可以以硬件、软件或者硬件和软件的组合实现。这种软件可以在保持在机器(例如,计算机)可读存储介质中的同时,记录在易失性或者非易失性存储设备,诸如ROM、存储器中,诸如RAM、存储器芯片、存储器器件或者集成电路器件、CD、数字视频盘(DVD)、磁盘、磁带或者其他光学或者磁存储器件。根据本公开的各种实施例的方法可以由包括控制器和存储器的计算机或者便携式终端实现,而且存储器可以是机器可读的存储介质,其可以适当地保持包括用于实现本公开的各种实施例的指令的一个或多个程序。
因此,本公开包括包含用于实现在本公开的权利要求中提出的设备或者方法的代码的程序和存储该程序的机器(例如,计算机)可读的存储介质。该程序可以经由任何介质,诸如通过有线或者无线连接发送的通信信号电子地传送,而且本公开适当地包括其等效。
根据本公开的各种实施例的装置可以从有线地或无线地连接到其的程序提供设备接收程序并存储该程序。程序提供装置可以包括用于存储程序的存储器,该程序包括使程序处理装置能够执行根据本公开的实施例的方法的指令和根据本公开的实施例的方法所需的数据,该程序提供装置还可以包括用于执行与图形处理装置的有线或者无线通信的通信单元,和自动地或者按照图形处理装置的请求发送程序到图形处理装置的控制器。
虽然已经参考其各种实施例示出和描述了本公开,本领域技术人员将理解在其中可以做出形式和细节上的各种改变而不脱离如所附权利要求及其等同物限定的本公开的精神和范围。

Claims (33)

1.一种用于面向服务的输入和输出的方法,该方法包括:
响应于通过遥控器检测的第一用户输入,确定关于该遥控器的方位信息;
基于先前存储的受控目标列表中包括的关于设备的位置信息和所确定的方位信息选择设备;
输出包括用于所选的设备的至少一个控制项的控制菜单;
检测与输出的控制菜单对应的第二用户输入;以及
将指示与第二用户输入对应的控制项的控制命令发送到所选的设备。
2.如权利要求1所述的方法,其中,所述基于位置信息选择设备包括:当有多个设备与该方位信息对应时,基于受控目标列表中包括的关于设备的相对位置信息选择至少一个设备。
3.如权利要求1所述的方法,其中,所述基于位置信息选择设备包括:
显示关于与该方位信息对应的多个设备的信息;
检测与多个显示的设备之一对应的运动输入;以及
选择与检测的运动输入对应的一个设备。
4.如权利要求1所述的方法,其中,第一用户输入包括用于以下之一的输入:该遥控器的输入单元中包括的热键导引按键、用于选择受控设备的设备选择按键、以及与受控设备对应的多个设备按键。
5.如权利要求1所述的方法,其中,该控制菜单包括指示可以由所选的设备执行的功能且与该遥控器的至少一些按键对应的菜单项、以及指示每个控制项的输入方案的导引文本中的至少一个。
6.如权利要求1所述的方法,其中,考虑时区、季节、客人简档、以及房间模式中的至少一个配置该控制菜单。
7.如权利要求1所述的方法,其中,该控制菜单包括:指示该遥控器的按键当中的至少一些按键的符号、指示可以由所选的设备执行的功能的菜单项、以及将所述至少一些按键与所述菜单项关联的映射信息。
8.如权利要求1所述的方法,其中,第二用户输入包括由该控制菜单导引的按键输入、运动输入、触摸输入、和语音输入中的至少一个。
9.如权利要求1所述的方法,进一步包括:
响应于第一用户输入,显示取决于房间中布置的设备和房间的状态自适应地配置的控制菜单,
其中,该控制菜单包括:指示该遥控器的按键当中的至少一些按键的符号、指示可以由该房间中布置的至少一个设备执行的功能的菜单项、以及将所述至少一些按键与所述菜单项关联的映射信息。
10.一种用于面向服务的输入和输出的方法,该方法包括:
接收与通过遥控器检测的第一用户输入对应且包括关于该遥控器的方位信息的第一用户输入信号;
基于先前存储的受控目标列表中包括的关于设备的位置信息和该方位信息选择设备;
将关于包括用于所选的设备的至少一个控制项的控制菜单的信息发送到电视(TV)显示器;
在通过该TV显示器显示该控制菜单的同时接收与通过该遥控器检测的第二用户输入对应的第二用户输入信号;以及
将指示与第二用户输入对应的控制项的控制命令发送到所选的设备。
11.如权利要求10所述的方法,其中,所述基于位置信息选择设备包括:当有多个设备与该方位信息对应时,基于受控目标列表中包括的关于设备的相对位置信息选择至少一个设备。
12.如权利要求10所述的方法,其中,所述基于位置信息选择设备包括:
将关于与该方位信息对应的多个设备的信息发送到该TV显示器;
接收与通过该遥控器检测的运动输入对应的第三用户输入信号;以及
根据第三用户输入信号选择所述多个设备当中与该运动输入对应的一个设备。
13.如权利要求10所述的方法,其中,第一用户输入包括用于以下之一的输入:该遥控器的输入单元中包括的热键导引按键、用于选择受控设备的设备选择按键、以及与受控设备对应的多个设备按键。
14.如权利要求10所述的方法,其中,该控制菜单包括指示可以由所选的设备执行的功能且与该遥控器的至少一些按键对应的菜单项、以及指示每个控制项的输入方案的导引文本中的至少一个。
15.如权利要求10所述的方法,其中,考虑时区、季节、客人简档、以及房间模式中的至少一个配置该控制菜单。
16.如权利要求10所述的方法,其中,该控制菜单包括:指示该遥控器的按键当中的至少一些按键的符号,指示可以由所选的设备执行的功能的菜单项、以及将所述至少一些按键与所述菜单项关联的映射信息。
17.如权利要求10所述的方法,其中,第二用户输入包括由该控制菜单导引的按键输入、运动输入、触摸输入、和语音输入中的至少一个。
18.如权利要求10所述的方法,进一步包括:
响应于第一用户输入将关于取决于在房间中布置的设备和房间的状态自适应地配置的控制菜单的信息发送到该TV显示器,
其中,该控制菜单包括:指示该遥控器的按键当中的至少一些按键的符号、指示可以由该房间中布置的至少一个设备执行的功能的菜单项、以及将所述至少一些按键与所述菜单项关联的映射信息。
19.一种用于提供面向服务的输入和输出的装置,该装置包括:
输入单元,被配置为检测用户输入;
输出单元,包括显示器;
控制器,被配置为:
响应于通过该输入单元检测的第一用户输入确定方位信息,
基于先前存储的受控目标列表中包括的关于设备的位置信息和所确定的方位信息选择设备,
产生包括用于所选的设备的至少一个控制项的控制菜单,
通过该显示器输出该控制菜单,以及
在显示该控制菜单的同时当该输入单元检测到第二用户输入时,产生指示与第二用户输入对应的控制项的控制命令;以及
通信单元,被配置为发送该控制命令到所选的设备。
20.一种用于提供面向服务的输入和输出的装置,该装置包括:
第一通信单元,被配置为与遥控器通信;
第二通信单元,被配置为与多个设备通信;以及
控制器,被配置为:
当通过第一通信单元接收与通过该遥控器检测的第一用户输入对应且包括方位信息的第一用户输入信号时,基于先前存储的受控目标列表中包括的关于设备的位置信息和关于连接请求的方位信息选择设备,
通过电视(TV)显示器输出关于包括用于所选的设备的至少一个控制项的控制菜单的信息,以及
在通过该TV显示器显示该控制菜单的同时当通过第一通信单元接收到与第二用户输入对应的第二用户输入信号时,通过第二通信单元将指示与通过该遥控器检测的第二用户输入对应的控制项的控制命令发送到所选的设备。
21.一种用于面向服务的输入和输出的方法,该方法包括:
从遥控器接收热键输入;
将与该热键输入对应的命令发送到与该命令对应的设备;
从该设备接收根据该命令的处理结果;
当在接收该处理结果后显示器被去激活时,激活该显示器并通过该显示器输出根据该处理结果的消息;以及
在结束该消息的输出之后去激活该显示器。
22.如权利要求21所述的方法,其中,该热键输入包括以下至少一个:升温按键、降温按键、开灯按键、关灯按键、请求免打扰服务的免打扰按键、以及请求家务服务的请求家务按键。
23.如权利要求21所述的方法,其中,当在接收热键输入后去激活该显示器时,在该显示器保持去激活的同时处理命令的发送和处理结果的接收。
24.如权利要求21所述的方法,其中,该命令指示用于与宾馆房间相关的至少一个设备的设备控制/或对宾馆管理者的服务请求。
25.如权利要求21所述的方法,其中,该显示器包括可以输出电视(TV)图像的TV显示器。
26.如权利要求21所述的方法,其中,该消息包括以下至少一个:根据温度控制请求的当前温度和设定温度、根据照明控制请求的每区域照明状态、以及对于所请求的服务的准许状态。
27.如权利要求21所述的方法,进一步包括:
当该热键输入涉及照明控制请求时,响应于热键输入的接收激活该显示器并通过该显示器输出包括房间中的多个区域的布局;
高亮所述布局上的至少一个区域;以及
响应于通过该遥控器接收附加的热键输入改变所述布局上的高亮区域。
28.如权利要求21所述的方法,进一步包括根据处理结果将通知消息反馈到该遥控器以允许该遥控器向用户通知处理结果。
29.如权利要求21所述的方法,进一步包括:
接收通知消息;
根据该通知消息的类型和优先级中的至少一个确定该通知消息的输出方案;以及
根据所确定的输出方案输出该通知消息。
30.如权利要求29所述的方法,其中,该输出方案包括该通知消息的暴露时间、可见输出、和不可见输出中的至少一个。
31.一种用于面向服务的输入和输出的方法,该方法包括:
接收与通过遥控器检测的热键输入对应的命令;
确定该命令涉及设备控制还是服务请求;
当该命令涉及设备控制时,确定至少一个受控设备,并向所确定的至少一个设备发送与该命令对应的控制命令;
从该至少一个设备接收状态改变结果,并通过电视(TV)显示器输出该状态改变结果;
当该命令涉及服务请求时,将与该命令对应的服务标识符(ID)发送到服务器;以及
从该服务器接收该服务请求的处理结果,并通过该TV显示器输出该处理结果。
32.一种用于提供面向服务的输入和输出的装置,该装置包括:
第一通信单元,被配置为从遥控器接收热键输入;
第二通信单元,被配置为:
将与该热键输入对应的命令发送到与该命令对应的设备,以及
从该设备接收根据该命令的处理结果;以及
控制器,被配置为:
当在接收该处理结果后电视(TV)显示器被去激活时,激活该TV显示器,
通过该TV显示器输出根据该处理结果的消息,以及
在结束该消息的输出之后去激活该TV显示器。
33.一种用于提供面向服务的输入和输出的装置,该装置包括:
第一通信单元,被配置为接收与通过遥控器检测的热键输入对应的命令;
第二通信单元,被配置为与服务器通信;以及
控制器,被配置为:
确定该命令涉及设备控制还是服务请求,
当该命令涉及设备控制时,确定至少一个受控设备,
将与该命令对应的控制命令发送到所确定的至少一个设备,
从该至少一个设备接收状态改变结果,
向电视(TV)显示器发送该状态改变结果,
当该命令涉及服务请求时,通过第二通信单元将与该命令对应的服务标识符(ID)发送到服务器,
通过第二通信单元从该服务器接收该服务请求的处理结果,以及
发送该处理结果到该TV显示器。
CN201610409180.8A 2015-06-12 2016-06-12 用于面向服务的输入和输出的方法和装置 Pending CN106249605A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2015-0083504 2015-06-12
KR20150083504 2015-06-12
KR10-2015-0174829 2015-12-09
KR1020150174829A KR102587618B1 (ko) 2015-06-12 2015-12-09 서비스 특화 입출력 방법 및 장치

Publications (1)

Publication Number Publication Date
CN106249605A true CN106249605A (zh) 2016-12-21

Family

ID=57504119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610409180.8A Pending CN106249605A (zh) 2015-06-12 2016-06-12 用于面向服务的输入和输出的方法和装置

Country Status (3)

Country Link
US (1) US20160366481A1 (zh)
CN (1) CN106249605A (zh)
WO (1) WO2016200211A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552009B2 (en) 2014-09-02 2020-02-04 Apple Inc. Stopwatch and timer user interfaces
US10453461B1 (en) 2015-03-17 2019-10-22 Amazon Technologies, Inc. Remote execution of secondary-device drivers
US10655951B1 (en) 2015-06-25 2020-05-19 Amazon Technologies, Inc. Determining relative positions of user devices
US10365620B1 (en) 2015-06-30 2019-07-30 Amazon Technologies, Inc. Interoperability of secondary-device hubs
CN105974929A (zh) * 2016-06-11 2016-09-28 深圳市哈博森科技有限公司 一种基于智能装置操控的无人机控制方法
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
DE102017113280A1 (de) * 2017-06-16 2018-12-20 Vorwerk & Co. Interholding Gmbh Haushaltsgerät
KR102338376B1 (ko) * 2017-09-13 2021-12-13 삼성전자주식회사 디바이스 그룹을 지정하기 위한 전자 장치 및 이의 제어 방법
KR102329639B1 (ko) * 2017-09-22 2021-11-22 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
US10904628B2 (en) 2018-05-07 2021-01-26 Apple Inc. User interfaces for viewing live video feeds and recorded video
DE102018120536B4 (de) * 2018-08-23 2023-01-05 Technisat Digital Gmbh Anordnung sowie Verfahren zum Fernbedienen insbesondere mittels Sprache
KR102631405B1 (ko) * 2018-12-11 2024-01-31 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
JP7075547B2 (ja) 2019-05-31 2022-05-25 アップル インコーポレイテッド オーディオメディア制御のためのユーザインタフェース
US10904029B2 (en) * 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
CN111294633B (zh) * 2019-12-03 2021-11-23 海信视像科技股份有限公司 一种epg用户界面的展示方法及显示设备
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
CN111966355B (zh) * 2020-09-03 2023-12-12 深圳赛安特技术服务有限公司 项目运行方法、装置、设备及计算机存储介质
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549581A (zh) * 2003-05-09 2004-11-24 深圳市辉煌电子有限公司 一种具有家用电器制控功能的电视机
JP2006013565A (ja) * 2004-06-22 2006-01-12 Sharp Corp リモートコントロール装置
KR100652928B1 (ko) * 2005-09-28 2006-12-06 윤재웅 제어대상 지시 결정 시스템, 원격지시제어장치, 전자기기및 수신장치
US20070252721A1 (en) * 2004-06-07 2007-11-01 Koninklijke Philips Electronics, N.V. Spatial Interaction System
CN101813922A (zh) * 2009-08-10 2010-08-25 李艳霞 具有方位识别功能的智能控制设备
CN101996043A (zh) * 2009-08-24 2011-03-30 株式会社泛泰 执行移动终端的热键功能的装置和方法
CN102301738A (zh) * 2009-11-30 2011-12-28 松下电器产业株式会社 通信装置
CN102668592A (zh) * 2009-10-30 2012-09-12 三星电子株式会社 使用移动终端控制家庭网络系统的方法和装置
CN102684952A (zh) * 2011-03-18 2012-09-19 海尔集团公司 智能家电的控制方法
US20120297019A1 (en) * 2011-05-20 2012-11-22 Tung-Sheng Ting Method for controlling electronic devices and a hand-held device using the same
WO2013162159A1 (en) * 2012-04-26 2013-10-31 Lg Innotek Co., Ltd. Device and method for inputting information
CN103500495A (zh) * 2013-10-09 2014-01-08 广东索博智能科技有限公司 智能家居遥控系统
CN103513894A (zh) * 2012-06-20 2014-01-15 三星电子株式会社 显示设备、远程控制设备及其控制方法
CN103517105A (zh) * 2012-06-20 2014-01-15 鸿富锦精密工业(深圳)有限公司 家电设备控制系统、电视机及控制方法
WO2015029231A1 (ja) * 2013-08-30 2015-03-05 日立マクセル株式会社 端末装置およびリモート制御方法
CN105227983A (zh) * 2015-09-02 2016-01-06 深圳Tcl数字技术有限公司 媒体应用的播放控制方法、遥控装置及电视系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811339B1 (ko) * 2001-10-11 2008-03-07 엘지전자 주식회사 그래픽 유저 인터페이스가 구현되는 원격제어 시스템 및방법
CN1857025B (zh) * 2003-08-07 2010-06-23 三星电子株式会社 可用于集成控制的音频/视频系统以及控制其的方法
KR101589179B1 (ko) * 2009-08-31 2016-02-12 엘지전자 주식회사 스크린 리모컨 및 공간 리모컨에 의해 컨트롤되는 디지털 방송 수신기, 그리고 그 제어 방법
CN105374192A (zh) * 2009-09-01 2016-03-02 Lg电子株式会社 用于控制外部装置及其远程控制器的方法
US8453186B2 (en) * 2010-09-15 2013-05-28 At&T Intellectual Property I, L.P. Method and system for remote control
KR101832463B1 (ko) * 2010-12-01 2018-02-27 엘지전자 주식회사 화면 표시 제어 방법 및 그를 이용한 영상 표시 기기
KR101713788B1 (ko) * 2010-12-31 2017-03-08 삼성전자주식회사 제어 디바이스, 방송수신장치, 방송수신장치 제어 방법 및 서비스 제공 방법
US20140016911A1 (en) * 2011-05-03 2014-01-16 Thomson Licensing Multi-location dvr access control
KR102208113B1 (ko) * 2013-02-28 2021-01-27 엘지전자 주식회사 멀티미디어 커머스 서비스 처리 장치 및 방법

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549581A (zh) * 2003-05-09 2004-11-24 深圳市辉煌电子有限公司 一种具有家用电器制控功能的电视机
US20070252721A1 (en) * 2004-06-07 2007-11-01 Koninklijke Philips Electronics, N.V. Spatial Interaction System
JP2006013565A (ja) * 2004-06-22 2006-01-12 Sharp Corp リモートコントロール装置
KR100652928B1 (ko) * 2005-09-28 2006-12-06 윤재웅 제어대상 지시 결정 시스템, 원격지시제어장치, 전자기기및 수신장치
CN101813922A (zh) * 2009-08-10 2010-08-25 李艳霞 具有方位识别功能的智能控制设备
CN101996043A (zh) * 2009-08-24 2011-03-30 株式会社泛泰 执行移动终端的热键功能的装置和方法
CN102668592A (zh) * 2009-10-30 2012-09-12 三星电子株式会社 使用移动终端控制家庭网络系统的方法和装置
CN102301738A (zh) * 2009-11-30 2011-12-28 松下电器产业株式会社 通信装置
CN102684952A (zh) * 2011-03-18 2012-09-19 海尔集团公司 智能家电的控制方法
US20120297019A1 (en) * 2011-05-20 2012-11-22 Tung-Sheng Ting Method for controlling electronic devices and a hand-held device using the same
WO2013162159A1 (en) * 2012-04-26 2013-10-31 Lg Innotek Co., Ltd. Device and method for inputting information
CN103513894A (zh) * 2012-06-20 2014-01-15 三星电子株式会社 显示设备、远程控制设备及其控制方法
CN103517105A (zh) * 2012-06-20 2014-01-15 鸿富锦精密工业(深圳)有限公司 家电设备控制系统、电视机及控制方法
WO2015029231A1 (ja) * 2013-08-30 2015-03-05 日立マクセル株式会社 端末装置およびリモート制御方法
CN103500495A (zh) * 2013-10-09 2014-01-08 广东索博智能科技有限公司 智能家居遥控系统
CN105227983A (zh) * 2015-09-02 2016-01-06 深圳Tcl数字技术有限公司 媒体应用的播放控制方法、遥控装置及电视系统

Also Published As

Publication number Publication date
US20160366481A1 (en) 2016-12-15
WO2016200211A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
CN106249605A (zh) 用于面向服务的输入和输出的方法和装置
US11783345B2 (en) Cyber life electronic networking and commerce operating exchange
US10102507B2 (en) Systems and methods to faciliate replacement of depleted batteries
Taiwo et al. Internet of Things‐Based Intelligent Smart Home Control System
US20190349214A1 (en) Smart home automation systems and methods
CN104854815B (zh) 在家庭网络系统中控制设备的方法和装置
CN103853328B (zh) 控制屏幕锁定的方法和移动终端
JP6720170B2 (ja) スマートスペースのためのシステム及び方法
CN106793377B (zh) 信息终端的控制方法以及记录介质
US9572235B2 (en) Method for controlling mobile terminal and program for controlling mobile terminal
CN104380760B (zh) 便携信息终端及其控制方法
US11637716B1 (en) Connected automation controls using robotic devices
US20170117108A1 (en) Systems and Methods for Occupancy Prediction
CN108604181A (zh) 媒体输出设备之间的媒体传送
US20180367330A1 (en) Method and apparatus for controlling electronic device
US20150088283A1 (en) Touch-less swipe control
WO2019133852A1 (en) Enhanced visualization of breathing or heartbeat of an infant or other monitored subject
CN105589732A (zh) 通过虚拟环境共享信息的设备和方法
CN108604363A (zh) 酒店服务提供方法和酒店服务提供系统
CN107534682A (zh) 用于提供通信服务的方法和装置
CN108702833A (zh) 包括发光装置的电子装置及其操作方法
CN110196557A (zh) 设备控制方法、装置、移动终端及存储介质
CN106663365A (zh) 基于用户输入获得控制系统的手势区域定义数据的方法
CN108803371B (zh) 一种电器设备的控制方法以及装置
CN112005281A (zh) 智能设备上的功率管理的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161221

WD01 Invention patent application deemed withdrawn after publication