CN113874818A - 交互式厨房显示器 - Google Patents

交互式厨房显示器 Download PDF

Info

Publication number
CN113874818A
CN113874818A CN202080038484.2A CN202080038484A CN113874818A CN 113874818 A CN113874818 A CN 113874818A CN 202080038484 A CN202080038484 A CN 202080038484A CN 113874818 A CN113874818 A CN 113874818A
Authority
CN
China
Prior art keywords
user
display
sensor
interactive
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080038484.2A
Other languages
English (en)
Inventor
伊恩·塞奇
科尔特·C·科尔温
以西·乌梅内
J·博内威尔
大卫·W·巴尔曼
R·W·哈里斯
安德鲁·福利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GHSP Inc
Original Assignee
GHSP Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GHSP Inc filed Critical GHSP Inc
Publication of CN113874818A publication Critical patent/CN113874818A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21SNON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S8/00Lighting devices intended for fixed installation
    • F21S8/03Lighting devices intended for fixed installation of surface-mounted type
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00Stoves or ranges heated by electric energy
    • F24C7/08Arrangement or mounting of control or safety devices
    • F24C7/082Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36Visual displays
    • F25D2400/361Interactive visual displays
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00Arrangement or mounting of control or safety devices
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/06Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/2847Home automation networks characterised by the type of home appliance used
    • H04L2012/285Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

一种包括具有触控屏的长形显示器的系统,所述触控屏具有可供至少两个用户同时访问的多用户交互式显示区域。传感器可以监控处于触控屏的交互式显示区域处或附近的用户,诸如传输识别用户的存在的传感器信号,该传感器信号可以用于确定用户相对于长形显示器的位置。传感器也可以用来识别用户的特性,其中特性可以对应于用户简档。长形显示器可以在处于用户的位置附近的交互式显示区域的一区段处显示图像,其中图像对应于用户简档的预选设定。

Description

交互式厨房显示器
技术领域
本公开涉及一种交互式厨房显示器。
背景技术
多年来,我们的家居生活在不断地接受新科技。从例如电话等有线连接,到家用电器时代,再到无线连接和智能装置,家居往往是现代技术的零地带。随着智能装置和物联网(IOT)世界的不断扩大,装置之间、远程服务器之间或整个互联网之间的连接也在增加。随着互连性的增加,家居环境已经开始向适应周围环境内人或物件的周围环境过渡。为了促进这种转变,家居中以前缺乏连通性或连通性管理的本地生态系统开始利用各种传感器和传感器数据的相互通信。
发明内容
本公开的一个方面提供了一种用于交互式厨房显示器的系统。所述系统包括:具有触控屏的长形显示器,所述触控屏提供可由至少两个用户同时访问的多用户交互式显示区域。在一些示例中,长形显示器被配置成设置在壁处,诸如后挡板区域,在所述后挡板区域中,交互式显示区域可以沿着工作台面水平地跨越并延伸到上部橱柜以提供无缝后挡板表面。所述系统还包括传感器,所述传感器具有被配置为在所述触控屏的所述交互式显示区域处或附近捕捉用户的传感器场。所述系统进一步包括控制器。所述控制器被配置为:从所述传感器场的传感器监控接收传感器信号并且基于所接收的传感器信号确定第一用户相对于所述长形显示器的位置。所述控制器还被配置成基于所接收的传感器信号识别所述第一用户的特性并且向所述长形显示器传输启动信息,以在所述交互式显示区域的位于所述第一用户的所述位置附近的一区段处显示第一图像。所述特性对应于用户简档并且所述第一图像对应于所述用户简档的预选设定。在一些示例中,所述第一图像是控制界面。
本公开的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中,所述控制器还被配置为:响应于所述第一用户在所述交互式显示区域处的手势,从所述触控屏接收手势信息;并且向所述长形显示器传输响应信息,以显示确认由所述第一用户提供的所述手势的第二图像。可选地,所述控制器可以被配置为:确定第二用户在所述交互式显示区域处或附近的第二位置,同时所述第一用户也位于所述交互式显示区域处或附近,并且基于所述传感器信号识别所述第二用户的特性。此处,所述控制器可以被配置为向所述长形显示器传输启动信息,以在所述交互式显示区域的位于所述第二用户的所述位置附近的第二区段处显示第二图像。
在一些配置中,所述传感器被配置为捕捉阻碍所述交互式显示区域的物件。在此配置中,所述传感器还被配置为基于所述传感器信号识别所述物件,并且在所述长形显示器的不干扰所识别物件的区段处显示控制界面。所述长形显示器可以包括并排布置的多个显示装置和设置在所述多个显示装置的至少一部分之上以限定所述交互式显示区域的电容式触控屏。所述传感器可以包括照相机、热像仪、麦克风、占用传感器或无线接收器中的至少一个。所述用户简档的所述预选设定包括控制界面的布置,所述控制界面被配置为操作烤箱、冰箱或恒温器中的至少一个。
本公开的另一方面提供一种交互式显示器组件。所述交互式显示器组件包括:多个显示装置,以水平配置并排布置,以限定长形连续显示区域,所述长形连续显示区域被配置为设置在壁面。所述交互式显示器组件还包括:触控屏,上覆在所述长形连续显示区域的至少一部分上,以限定交互式显示区域;和控制器。所述控制器被配置为响应于所述触控屏上的所述交互式显示区域处的触摸事件,从所述触控屏接收第一信息。所述控制器还被配置为向所述多个显示装置中的至少一个传输第二信息,以在所述触摸事件的下伏位置处显示图像。
此方面可以包括以下可选特征中的一个或多个。在一些示例中,所述多个显示装置包括至少两个LED显示面板。所述触控屏可以设置在所述多个显示装置的至少两个显示面板之上。所述触控屏可以包括电容式触摸面板。
在一些实施方式中,所述交互式显示器组件包括附接到所述触控屏的边缘的支撑基座,所述触控屏被配置为绕所述支撑基座远离所述多个显示装置和所述壁面枢转。此处,所述支撑基座可以包括接纳和支撑所述多个显示装置的下边缘部分的槽。所述多个显示装置的设置在所述槽中的所述下边缘部分可能不是所述交互式显示区域的部分。所述控制器可以被配置为利用校准例程来确定所述交互式显示区域。所述支撑基座可以被配置为设置在所述壁面与橱柜的工作台面之间并且可以具有基本上等于所述多个显示装置的深度的厚度。可以沿着所述触控屏的上边缘附接电源板,所述电源板具有被配置为接收附件插头的至少一个插座。
在一些实施方式中,所述交互式显示器组件包括具有传感器场的传感器,所述传感器场被配置为包围所述触控屏附近的区域。在此种配置中,所述传感器被配置为识别处于所述长形连续显示区域的一区段附近的用户。此处,所述控制器可以被配置为使得所述多个显示装置在识别的所述长形连续显示区域的最接近用户的所述区段处显示所述图像,并且所述图像可以包括控制界面。可选地,所述传感器可以包括照相机、热像仪、麦克风、占用传感器或无线接收器中的至少一个。
在一些示例中,所述图像包括被配置为操作烤箱、冰箱或恒温器中的至少一个的控制界面。所述的交互式显示器组件可以包括沿着所述触控屏的上边缘附接的灯组件,所述灯组件具有被配置为将光引导到工作台面表面上的光元件。
本公开的再一方面提供一种用于安装交互式显示器组件的方法。所述方法包括:在壁面以水平配置并排布置多个显示装置,以限定长形显示区域。所述方法还包括:将触控屏面板上覆在所述多个显示装置中的至少两个显示装置的一部分之上,以提供其中所述触控屏面板与所述长形显示区域交叠的交互式显示区域。所述方法进一步包括:处理校准例程以确定所述交互式显示区域的虚拟边界,所述虚拟边界定义所述交互式显示区域的可访问部分的边界。
本公开的此方面的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中,所述校准例程包括在所述交互式显示区域的可访问隅角处在所述触摸面板处接收触摸事件,其中所述触摸事件提供所述虚拟边界的边缘定义。所述方法可以包括:响应于所述触控屏上的所述交互式显示区域的所述可访问部分处的触摸事件,从所述触控屏接收第一信息;以及向所述多个显示装置中的至少一个传输第二信息,以在所述触摸事件的下伏位置处显示图像。
在一些示例中,将支撑基座附接到所述触控屏的边缘,所述触控屏被配置为绕所述支撑基座远离所述多个显示装置和所述壁面枢转,以提供对所述多个显示装置的访问。可选地,所述支撑基座可以隐藏所述多个显示装置的下边缘部分,使得所述虚拟边界可以设置在所述多个显示装置的被隐藏的所述下边缘部分上方。
在一些配置中,所述方法包括利用具有包含所述触控屏处或附近的区域的传感器场的传感器识别所述长形显示区域的一区段附近的用户。所述方法可以包括在识别的所述长形连续显示区域的最接近由所述传感器识别的所述用户的所述区段处显示图像,所述图像包括控制界面。所述控制界面可以被配置为操作烤箱、冰箱或恒温器中的至少一个。所述传感器可以包括照相机、热像仪、麦克风、占用传感器或无线接收器中的至少一个。
在一些示例中,所述方法包括:利用具有包含所述触控屏处或附近处的区域的传感器场的传感器,在所述长形显示区域的第一区段处或附近识别第一用户;以及利用所述传感器在所述长形显示区域的第二区段处或附近识别第二用户。在此示例中,所述方法还包括:在所述长形显示区域的所述第一区段处显示第一图像,用于与所述第一用户交互;以及在所述长形显示区域的所述第二区段处显示第二图像,用于与所述第二用户交互。
本公开的另一方面提供一种用于交互式厨房显示器的方法。所述方法包括:在数据处理硬件处,从厨房环境内的传感器接收传感器数据。所述传感器与安装在所述厨房环境内的竖直壁上的显示器通信。所述方法还包括:由所述数据处理硬件确定所述传感器数据指示用户的存在。所述方法进一步包括:由所述数据处理硬件基于所述用户的所述存在来激活厨房API。所述厨房API被配置为与所述厨房环境内的一个或多个家用电器API通信。每一家用电器API被配置为控制所述厨房环境内的至少一个家用电器。所述方法还包括:由所述数据处理硬件在所述显示器上显示所述厨房API的交互式窗口。
本公开的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中,所述显示器限定了与所述厨房环境的所述竖直壁成一体的后挡板。所述显示器可以沿着所述厨房环境内的多于一个的竖直壁延伸。所述厨房API可以附加地被配置为与家居自动化系统通信。所述传感器可以安装在固定所述显示器的支架上。所述支架可以从垂直于所述竖直壁的工作台面表面延伸到所述显示器的外表面。所述显示器可以包括触控屏上覆层。所述传感器可以作为外围装置连接到所述显示器。所述传感器可以包括飞行时间(TOF)传感器或红外(IR)传感器中的至少一个。
在一些示例中,所述方法包括:在所述数据处理硬件处,从所述传感器接收更新的传感器数据;由所述数据处理硬件确定更新的所述传感器数据指示手势动作,所述手势动作被配置为产生用于所述交互式窗口的相关联运动。在此示例中,所述方法还包括:由所述数据处理硬件基于所述手势动作产生用于所述交互式窗口的所述相关联运动。此处,所述手势动作可以包括手滑动,并且所述相关联运动将所述交互式窗口从与所述用户对准的中心位置移动到与所述用户不对准的偏移位置。可选地,所述手势动作可以包括张开手掌到拳头,并且相关联运动可以将所述交互式窗口从所述显示器的背景移动到所述显示器的前景。附加地或作为另外一种选择,所述手势动作可以包括推动动作,并且所述相关联运动可以将所述交互式窗口从所述显示器的前景移动到所述显示器的背景。
在一些配置中,确定所述传感器数据指示所述用户的所述存在进一步包括:确定存在于所述厨房环境内的所述用户的身份;以及基于所确定身份来确定对存在于所述厨房API处的所述用户的授权。所述方法可以包括由所述数据处理硬件产生对与相应的家用电器API相关联的远程服务器的访问请求,所述访问请求包括用户交互。所述交互式窗口可以跟踪所述用户在所述厨房环境内的位置。
在一些实施方式中,所述方法包括:在所述数据处理硬件处,从所述传感器接收更新的传感器数据;通过所述数据处理,基于更新的所述传感器数据确定所述用户改变了在所述厨房环境中的位置。在此实施方式中,所述方法还包括:由所述数据处理硬件识别所述用户的头部在所述厨房环境内的位置和所述用户的所述头部在所述厨房环境内的取向;以及由所述数据处理硬件显示与所述用户的所述头部的所述位置和所述用户的所述头部的所述取向对准的交互式窗口。
在一些示例中,所述方法包括:在所述数据处理硬件处,从所述传感器接收更新的传感器数据;通过所述数据处理,基于更新的所述传感器数据确定所述用户改变了在所述厨房环境中的位置。在此示例中,所述方法还包括:由所述数据处理硬件识别所述用户的躯干的质心在所述厨房环境内的位置;以及由所述数据处理硬件显示与所述用户的躯干的质心的位置对准的所述交互式窗口。
本公开的另一方面提供一种用于交互式厨房显示器的系统。所述系统包括:传感器;和显示器,安装在厨房环境内的竖直壁上。所述显示器与所述传感器通信并被配置为接收传感器数据。所述系统还包括数据处理硬件;和存储器硬件,与所述数据处理硬件通信。所述存储器硬件存储指令,当在所述数据处理硬件上执行时,所述指令使得所述数据处理硬件实行操作。所述操作包括从所述厨房环境内的所述传感器接收传感器数据;以及确定所述传感器数据指示用户的存在。所述操作还包括:基于所述用户的所述存在激活厨房API。所述厨房API被配置为与所述厨房环境内的一个或多个家用电器API通信。每一家用电器API被配置为控制所述厨房环境内的至少一个家用电器。所述操作还包括:在所述显示器上显示所述厨房API的交互式窗口。
此方面可以包括以下可选特征中的一个或多个。在一些配置中,显示器限定与厨房环境的竖直壁成形成一体的后挡板。显示器可以沿着厨房环境内的多于一个的竖直壁延伸。厨房API可以附加地被配置为与家居自动化系统通信。传感器可以安装在固定显示器的支架上。支架可以从垂直于竖直壁的工作台面延伸到显示器的外表面。显示器可以包括触控屏上覆层。传感器可以作为外围装置连接到显示器。传感器可以包括飞行时间(TOF)传感器或红外(IR)传感器中的至少一个。
在一些示例中,操作包括:从传感器接收更新的传感器数据;确定更新的传感器数据指示手势动作,手势动作被配置为产生用于交互式窗口的相关联运动;以及基于手势动作产生用于交互式窗口的相关联运动。此处,手势动作可以包括手滑动,并且相关联运动可以将交互式窗口从与用户对准的中心位置移动到与用户不对准的偏移位置。可选地,手势动作可以包括张开手掌到拳头,并且相关联运动可以将交互式窗口从显示器的背景移动到显示器的前景。附加地或作为另外一种选择,手势动作可以包括推动动作,并且相关联运动可以将交互式窗口从显示器的前景移动到显示器中的背景。
在一些实施方式中,确定传感器数据指示用户的存在包括:确定存在于厨房环境内的用户的身份;以及基于所确定身份来确定对存在于所述厨房API处的所述用户的授权。所述操作可以包括产生对与相应的家用电器API相关联的远程服务器的访问请求,访问请求包括用户交互。交互式窗口可以跟踪用户在所述厨房环境中的位置。
在一些示例中,所述操作包括:从所述传感器接收更新的所述传感器数据;基于更新的所述传感器数据确定所述用户改变了在所述厨房环境中的位置;识别所述用户的头部在所述厨房环境内的位置和所述用户的所述头部在所述厨房环境内的取向;以及显示与所述用户的所述头部的位置和所述用户的所述头部的所述取向对准的所述交互式窗口。在其他示例中,所述操作包括:从所述传感器接收更新的所述传感器数据;基于更新的所述传感器数据确定所述用户改变了在所述厨房环境中的位置;识别所述用户的躯干的质心在所述厨房环境内的位置;以及显示与所述用户的躯干的质心的所述位置对准的所述交互式窗口。
通过结合图式阅读以下说明书,本公开的这些和其他宗旨、优点、目的和特征将变得显而易见。
附图说明
图1A是具有智能装置的示例性家居环境的示意图。
图1B是作为包括交互式显示器的家居环境内的本地生态系统的示例性厨房的示意图。
图1C是作为包括交互式显示器的家居环境内的本地生态系统的示例性厨房的透视图。
图2A是示例性交互式显示器的透视图。
图2B是用于交互式显示器的示例性显示器的剖视图。
图2C是用于交互式显示器的示例性显示器的剖视图。
图2D是图1C中所示的示例性交互式显示器的透视图。
图2E是用于图1C的交互式显示器的示例显示内容的放大视图。
图2F到图2I是示例性交互式显示器的示意图。
图2J是用于用户识别和与交互式显示器交互的流程图。
图2K是用于交互式显示器的示例性校准例程的示意图。
图3A到图3C是示例性交互式显示器的透视图。
图4A和图4B是使用交互式显示器的示例性厨房的透视图。
图4C到图4E是使用交互式显示器的示例性厨房的示意图。
图5是用于激活交互式显示器的操作的示例性布置。
图6是用于激活交互式显示器的操作的示例性布置。
图7是示例性计算装置的示意图。
在各图式中相同的参考符号指示相同的元件。
具体实施方式
图1A是家居环境10的示例。家居环境10是用作个人或家庭的永久或半永久住所的空间环境。作为空间环境,家居是指家居的结构内部的室内区域以及家居的结构外部的室外区域,诸如天井和/或院子。家居环境10可以包括由一个或多个网络装置30(例如,路由器)连接的一个或多个网络20(例如,网状网络或局域网(LAN))。网络装置30通常用于将其他装置40、40a-n(例如,计算机、移动电话、平板电脑、物联网(IoT)装置、智能装置等)连接到网络20。例如,图1A描绘了智能扬声器40、40a-b、智能恒温器40、40c、智能电视40、40d、智能门铃40、40e以及使用智能照明的灯40、40g。作为装置40的连接集线器,网络装置30(例如,通常在家居环境10中,尽管为了理解起见被示出在家居之外)也用作网关(例如,住宅网关),所述网关提供LAN网络20、20a与诸如因特网等广域网(WAN)20、20b之间的桥梁。
网络装置30被配置为管理装置40并转发数据封包(例如,在LAN网络20之间),以便在这些装置40和/或远程装置50(例如,LAN网络20外部的远程服务器)之间进行通信。此处,远程装置50可以是具有例如远程计算装置和/或远程资源52(例如,远程数据处理硬件54和/或远程存储器硬件56)的整个远程系统(例如,云环境)。在一些示例中,通过网络装置与互联网服务提供商(ISP)的装备连接,家居环境10内的LAN网络20的装置40通过网络20(例如,WAN网络20)与远程系统通信。通过具有远程系统(例如,远程服务器)与本地系统(例如,由网络装置30配置)之间的通信手段,装置40可以单独地或与本地计算资源(例如,本地数据处理硬件或本地存储器硬件)相结合地将远程计算资源52用于各种存储或处理需求。
在一些实施方式中,其网络连通性可以由网络装置30管理的装置40是传统的连接装置(即,标准计算装置)。例如,装置40是指计算机或移动装置(例如,笔记本电脑、平板电脑、移动电话、可穿戴装置等)。再附加地或作为另外一种选择,这些装置40可以是非传统的连接装置(诸如日常物品),所述非传统的连接装置已经被配置为连接到网络20和/或传输数据。这些非传统的连接装置可以指物联网(IoT)装置或其他家居自动化装置(例如,扬声器、恒温器、安全系统、门铃、洒水器、加热和冷却系统、锁等)。一些人将这些非传统的连接装置称为传统的哑装置,所述传统的哑装置已经成为基于嵌入式硬件和/或软件的“智能”装置,嵌入式硬件和/或软件允许例如远程控制、监控和/或通信。因此,术语“智能”是指已经配备了通信能力的非传统的连接装置。在一些配置中,智能装置40经由传感器主动和/或被动地收集数据,并将数据传送给网络20内或网络20外部的其他装置30、40、50。这些装置40通常是无线装置,但一些可以包括用于有线连接的一个或多个连接端口。在一些实施方式中,装置40不仅与网络装置30通信,而且相互通信。
取决于家居环境10的配置,家居环境10可以被细分为本地生态系统(例如,一个或多个房间)60。例如,图1A描绘了对应于客厅60a、第一卧室60b和第二卧室60c的三个本地生态系统60、60a-c。每个本地生态系统60指具有装置40的三维空间,该装置被配置为与其他装置40、网络装置30的节点或直接与网络装置30通信。换句话说,给定空间(例如,专用于特定空间)内的可连接装置30、40形成本地生态系统60。为了说明,本地生态系统50可以包括诸如智能照明、智能显示器(例如,智能电视或监控器)、智能家用电器、智能扬声器系统、智能百叶窗、智能恒温器、智能通风等装置40。此处,本地生态系统60可以与跨多于一个本地生态系统60(例如,智能家居或智能集线器)通信的更大的家居自动化系统集成,或者独立于家居环境10内的其他本地生态系统60。
参考图1B和图1C,本地生态系统60是厨房100。厨房100通常是指家居环境10内的房间,所述房间包括用于烹饪的构件(例如,作为烹饪装置的家用电器)和用于食物储存的构件(例如,冰箱、餐具室或橱柜)。此处,厨房100可以具有家用电器110、110a-n形式的几种不同类型的装置40。家用电器110的一些示例包括冰箱110、110a、洗碗机110、110b、烤箱110、110c、炉灶/通风罩110、110d(即通风系统)、咖啡机、微波炉、温度计、烹饪装置(例如,慢炖锅、压力锅或真空装置)、水龙头110、110e等。在一些配置中,这些家用电器110与位于厨房100内或家居环境10中其他地方的其他装置40(例如,家居自动化集线器、自动百叶窗、照明、移动装置等)通信。作为装置40的类型,这些家用电器110可以具有可远程控制和/或通信的一些或全部传统功能。例如,在一些情况下,炉灶可以被配置为远程关闭或打开以及传送加热元件的温度,而在其他情况下,炉灶可以打开后就传送温度,但是不允许远程控制启用或禁用加热元件(即,关闭或打开)。
在一些示例中,家用电器110中的一个或多个包括界面112,作为家用电器110与其他装置30、40、50之间的通信手段。在这些示例中,界面112可以是应用编程界面(API)。在一些实施方式中,家用电器110包括前端API 112F、后端API 112B或两者的某种组合。此处,前端API 112F是指面向外部的API,使得本地生态系统50(或者更一般地,家居环境10)内的用户70可以与家用电器110的功能交互。例如,家用电器110包括其自己的显示器,允许用户70通过前端API 112F与家用电器110的控件交互。利用前端API 112F,用户70能够配置与家居环境10内的其他装置40的通信。例如,用户70配置家用电器110识别用户70的移动装置40。
相反,家用电器110可以包括不面向用户60外部的后端API 112B。相反,家用电器制造商(例如,设计者或制造者)可以控制去往和来自(例如,通过授权)给定家用电器110的连接。在一些配置中,后端API 112B不在与后端API 112B相关联的家用电器110的位置本地。在一些示例中,利用后端API 112B,只有特定装置40(例如,授权装置40)连接到后端API112B。例如,家用电器制造商授权一些类型的装置40与家用电器110通信,但不授权其他装置。为了说明,家用电器制造商可以允许厨房100中的其他类型的家用电器110与家用电器110的后端API 112B通信。在一些示例中,家用电器制造商生产几种不同类型的家用电器110,并且仅允许这些家用电器110之间通过后端API 112B进行通信。例如,这种方法可以允许家用电器制造商在后端API 112B处对授权家用电器110之间的通信进行预编程。
在一些实施方式中,API 112F、112B中的任一个可以被配置为与远程系统(例如,远程服务器)通信。在一些示例中,家用电器制造商或与家用电器制造商签订合同的一方操作专有服务器来促进与特定家用电器110或一组家用电器110的通信。换句话说,服务器可以管理与家用电器110的数据传输和/或连接和/或家用电器110之间的数据传输和/或连接。使用服务器,服务器的管理员可以实行例如控制通信、连接、认证或访问与家用电器110相关联的数据的功能。
一些家用电器制造商(例如,设计者和/或制造者)可能更喜欢保持对特定家用电器110和/或家用电器110的特性的控制方面。由于安全风险,在厨房100中尤其如此。此处,家用电器制造商经常担心家用电器110的远程控制能力可能增加家居火灾或家居火灾相关伤害的风险,尤其是当厨房100中的烹饪火灾通常已经是家居火灾和家居火灾相关伤害的重要原因时。例如,从统计学上讲,大多数家居火灾始于厨房。在家居环境10中,特别是在有干扰的情况下,这些干扰将人们的注意力从烹饪区域引开造成无人看管的情况并不少见。因此,人们担心家用电器110的远程控制能力,特别是与烹饪相关的家用电器110的远程控制能力,会增加非预期烹饪区域的频率。为了说明,用户60可以在他或她从杂货店回家的路上远程打开烤箱或炉灶,但是随后意识到他/她忘记了急需的杂货并返回杂货店。此处,烤箱或炉灶将比用户70最初预期的无人看管的时间更长;导致远程控制的便利性潜在地危及家居环境10的安全。
由于这种风险,家用电器制造商或者更一般的厨房工业对于允许来自其他装置40的远程连接和/或远程控制一直犹豫不决。例如,智能家居和/或家居自动化系统似乎很少控制和/或管理一些家用电器110,更不用说厨房100内的所有家用电器110。为了克服对远程控制安全性的担忧,并且同时仍然为家用电器110提供智能集线器,厨房100包括交互式显示器200。尽管交互式显示器200可以许多不同的形式(例如,如图3A到图3C所示)配置有本文中描述的交互式功能,但交互式显示器200通常被描述为交互式后挡板200、200a(也称为智能后挡板)。一般来说,后挡板是指工作台面、水槽或炉灶后面的面板,其保护房间(例如,厨房100)内的壁(例如,显示为竖直壁102)免受飞溅或损坏。作为对壁的保护,后挡板200a通常是竖直结构,使得它垂直于房间(例如,厨房100)的地板104或水平表面106(诸如工作台面),所述水平表面通过一个或多个橱柜108偏离房间的地板104。在一些厨房中,后挡板200a沿着多于一个的壁(例如,壁102、102a)延伸到相邻的壁(例如,相邻的壁102、120b)。例如,对于厨房来说,包括从第一壁102b上的水槽后面延伸到第二壁102a上的炉灶后面(例如,与第一壁相邻)的平铺后挡板并不罕见。这可能是出于美观的目的,以保持干净的线条或线条图案,同时仍然保护房间的结构部件(例如,壁)。
参考图2A和图2B,在一些示例中,后挡板200a包括上安装支架210和下安装支架220。每个支架210、220被配置为固定一个或多个交互式显示器230。下支架220包括下槽222。在一些示例中,下槽222包括一个或多个电插座(例如,在后挡板200a处提供电力,用于给小家用电器或可以插入到这种插座的其他装置供电)。在一些实施方式中,下支架220相对于竖直壁和水平表面(诸如工作台面)成角度。例如,下支架220相对于后挡板200a和工作台面成45度角安装。上支架210可以包括附件,诸如扬声器、灯(例如,紫外线灯)、LED等。显示器230中的一个的下边缘部分可以由下槽222(例如,下槽222的支架220)接收。在一些实施方式中,显示器230在支架220处的附接使得显示器230能够绕下部槽222(例如,远离壁102)枢转。例如,显示器230的枢转提供了对显示器230或后挡板200a的其他组件的可维护访问。槽222可以诸如通过挤压下支架220而形成,以具有面向上的槽,所述面向上的槽接收并支撑显示器230的下边缘部分。显示器230的设置在支架220或槽222中的下边缘部分对于交互式输入(例如,触摸输入)可能是不可访问的,使得它不是交互式显示区域的一部分。在一些配置中,下支架220被配置成大致设置在壁102的表面与下橱柜108的工作台面106的后边缘之间。例如,如图2B中所示,壁102具有框架构造,其具有被墙板覆盖的立柱,诸如干墙或灰泥和板条,其中支架210、220在立柱之间凹进壁102中,以将显示器230的前表面定位在壁102的外表面处或附近。支架210、220和显示器230的这种凹陷安装通常不会占据或限制工作台面的可用水平表面。每个支架210、220可以具有大于或基本等于显示器230的深度的厚度。作为另外一种选择,一些实施方式将支架和显示器安装在壁的外表面。
在一些示例中,一个或多个电源插座可以沿着显示器230的边缘(例如,上边缘或下边缘)形成电源板。电源板包括至少一个插座,所述至少一个插座被配置为接收附件电源插头,诸如传统的NEMA插座或USB插座等。为了避免在可见或不方便的位置(诸如在显示器230与壁102的表面之间)中对配线进行布线以为电源板供电,电源板可以具有延伸到显示器230上方的橱柜108的封闭区域中的电缆(即,邻近上支架210)。在一些实施方式中,电源板包括附接到壁102或橱柜108的闩锁或可释放紧固件,以抵靠壁102的表面固定后挡板200a。补充灯可以与电源板结合或附接到电源板,诸如为显示面板和/或工作台面或放置在工作台面上的物品提供柜下照明和/或UV光消毒。
显示器230是被配置为在与显示器230相关联的显示区域中显示多媒体的装置(例如,监控器)。显示器230可以是LED显示器、等离子体显示器、CRT显示器或其他类型的显示面板。在一些示例中,作为后挡板200a的一部分,显示器230具有沿着垂直于地板的竖直壁延伸的高度。在其他示例中,固定显示器230的支架210、220相对于显示器230后面的竖直壁102的表面成一定角度地配置显示器230。显示器230可以是沿着壁延伸一定水平宽度的一个连续屏幕232(即,长形显示器),或者包括多个屏幕232、232a-n。
作为多个屏幕232,屏幕232可以彼此通信,以允许显示在第一屏幕232上的内容移动到另一屏幕232(例如,不消失)。为了协调多个屏幕232,在一些实施方式中,显示器230以扩展监控器模式运行。换句话说,无论显示器230中包括多少屏幕232,每个屏幕都成为其相邻屏幕的扩展。在一些示例中,显示器230内部或外部的操作系统启用扩展监控器模式。例如,显示器230用作外部计算装置(例如,计算装置250)的外围装置。
在一些实施方式中,显示器230的每个屏幕232被配置为与路由器(例如,网络装置30)通信。此处,路由器或网络装置30可以充当管理显示器230的屏幕232之间的交互的服务器。利用充当服务器的路由器,显示器230的每个屏幕232可以经历初始化过程,所述过程向路由器传送屏幕232的位置和取向。利用此信息,路由器能够在屏幕232之间流畅地切换显示器230上显示的信息(例如,内容)。在一些示例中,路由器向每个屏幕232分配互联网协议(IP)地址,以在屏幕232之间进行通信(例如,在初始化之后)。任一管理装置230的屏幕232的技术都可以最小化等待时间并保持窗口在屏幕232之间的流体运动。
即使显示器230可以包括多个屏幕232,显示器230的外观也可以看起来是连续的。为了实现视觉连续性,显示器230包括覆盖显示器230的一个或多个屏幕232的上覆层234(例如,玻璃上覆层234或其他透明或半透明上覆层)。此处,上覆层234可以是用户70看到的最外面的表面(即,外表面)。因此,在一些示例中,上覆层234的基底包括透明或不透明的片材材料,以提供基本上不间断的平坦外表面。在一些实施方式中,上覆层234可以被构造成提供无缝的后挡板表面,所述无缝的后挡板表面上液体、沙司或其他材料能够容易地擦拭干净,这些液体、沙司或其他材料可能从工作台面、炉灶面或水槽等的工作表面上处实行的典型活动溅到触控屏表面上或以其他方式与触控屏表面接触。如厨房100内的其他表面一样,后挡板200a(例如,上覆层234和/或显示器230)可以被构造(例如,作为固体或混合的均匀面板)成能够容易地消毒,诸如用UV光或物理清洁过程。
在一些示例中,除了视觉连续性之外,上覆层234使得显示器能够通过触摸(即,触控屏)进行交互。例如,上覆层234包括实现触敏能力的触摸传感器电路。可以集成到上覆层234中的触摸传感器电路的一些示例包括5配线电阻电路、电容(例如,表面电容或投射电容)电路、表面声波(SAW)电路或红外触摸电路。在一些配置中,上覆层234是显示器230的外围,安装在显示器230的背离竖直壁102的外表面上(例如,由支架210、220安装和/或固定)。例如,上覆层234通过通用串行总线(USB)连接到显示器230。上覆层234可以容易地针对特定的后挡板区域确定大小,诸如具有可定制的触控屏面板或片材,所述可定制的触控屏面板或片材可以具有连接到数据线的近侧边缘和可以被修剪以在近侧边缘与远侧边缘之间提供期望的面板长度的远侧边缘,诸如允许以.25”增量切割的触控屏片材。
在一些配置中,后挡板200a可以通过将显示器230的屏幕232以水平配置并排布置在壁102的表面处或表面上(例如,限定长形显示区域)来安装。触控屏面板(即,上覆层234)可以设置在屏幕232的可用部分之上(诸如排除显示器的隐藏在家用电器后面或支撑基座的槽中的部分),以提供触控屏面板234与显示器230的屏幕232的长形显示区域交叠的交互式显示区域。
附加地或作为另外一种选择,图2C描绘了后挡板200a可以结合投影显示器230、230a。投影显示器230可以是基于非投影的显示器230的替代物,或者与其他非投影显示器230结合使用。投影显示器230a通常用于将显示区域投影到后挡板200a的能够进行用户交互的部分上(例如,用作后挡板200a的触控屏部分的上覆层234)。投影可以作为前投影视觉上覆层或后投影视觉上覆层(例如,从后挡板200a的后部投影)出现。在一些示例中,诸如图2C,具有投影显示器230a的后挡板200a包括投影模块236。投影模块236可以包括显示硬件238,诸如将显示区域投影到竖直壁102的表面上的投影仪头。例如,如图2C所示,投影仪模块236可以安装在后壁102的表面附近,诸如上橱柜108的下侧处。在一些实施方式中,投影模块236还包括传感器(例如,下面进一步描述的)或者利用从传感器接收的信息来集成其显示能力。如下文进一步描述的,具有投影显示器230a的后挡板200a还可以包括传感器240,使得由显示器230a和传感器场的投影形成的显示区域可以在壁102上交叠。利用与显示区域相结合的上覆层234,后挡板200a被配置为既显示透明投影图像,又在后挡板200a的表面处实行精确的手势识别。在一些示例中,由投影仪模块236提供的显示区域和传感器场指向厨房60内的附加或替代表面,诸如工作台面106、橱柜108或壁102。
作为长形显示器230,显示器230可以同时容纳显示器230的多个用户。例如,图2D描绘了后挡板200a的两个区段S,S1–2(例如,显示器230内的区域),示出其轮廓以说明最接近所识别的用户70的区段S1如何被用于响应于用户存在的确定来显示图像。显示器230的显示区域的另一区段S2也可以由被识别的用户70使用,诸如当用户70重新定位成更靠近另一区段S2时,和/或它可以由移动到显示器230的开放或可用部分S2附近的区域中用于后挡板200a的附加用户70使用。尽管在图2D中,显示器230被示出为具有两个区段S,但是在其他示例中,显示器230可以具有附加的区段S,或者可以被细分为替代的区段布置和配置,诸如沿着显示器230的单个平面表面的多个区段S或者垂直分段的区段S,或者其他可以想到的区段分段。
如前所述,后挡板200a还包括一个或多个传感器240。后挡板200a的每个传感器240可以设置在显示器230上、与显示器集成在一起、附接到显示器(例如,通过有线连接)或者与显示器通信(例如,通过无线连接)。例如,上支架210和/或下支架220容置传感器240。在一些示例中,后挡板200a的传感器240作为USB外围装置连接到后挡板200a。在一些实施方式中,后挡板200a包括相对于显示器位于不同位置处的多个传感器240。传感器240通常被配置为监控其感测场内的活动。例如,用户的位置可以由一个或多个传感器240动态监控,以更新图像的显示位置(例如,显示在后挡板200a上的媒体内容)。此处,媒体内容位置可以由用户70或通过后挡板200a的功能(例如,由传感器240收集的数据)来修改或重新定位(例如,以保持对用户70的可访问性/可见性)。用户70相对于后挡板200a的位置可以通过各种方式确定,这取决于集成到后挡板系统中的传感器240的类型。
后挡板200a的传感器240的类型可以根据后挡板200a的设计和/或不同的应用而变化。一般来说,传感器240是视觉/图像传感器240(例如,光学传感器),但也可以使用其他传感器(例如,惯性传感器、力传感器、运动传感器等)。视觉传感器240的一些示例包括照相机,诸如立体照相机、飞行时间(TOF)照相机、扫描光检测和测距(LIDAR)传感器、扫描激光检测和测距(LADAR)传感器、深度感测红外(IR)照相机、热成像照相机、红外传感器或其他类型的深度照相机。一些类型的图像传感器包括CCD图像传感器或CMOS图像传感器。在一些配置中,传感器240包括多种类型的照相机(例如,TOF和IR),以提供广泛的感测能力。在一些示例中,传感器240具有定义对应于传感器240的感测范围或区的对应视场Fv(例如,图4C中所示)。在一些实施方式中,传感器240具有介于约三米的范围,使得它可以主要感测厨房100内靠近后挡板200a的物件(例如,用户70)。
在一些示例中,传感器240包括附加特征,诸如用于旋转或枢转的构件,使得传感器240可以例如绕一个或多个轴(例如,相对于地板104的x轴、y轴或z轴)改变视场FV。附加地或作为另外一种选择,传感器240包括音频捕捉能力,诸如麦克风或麦克风阵列。利用音频捕捉能力,传感器240可以允许后挡板200a包括解释来自用户70的语音或其他音频输入(例如,语音识别、语音学习、语音解析、语音建模等)的能力。例如,传感器240从用户70接收语音命令,并且后挡板200a执行显示响应(例如,显示器230移动窗口、终止窗口或产生窗口)。音频传感器240(例如,麦克风)也可以用于感测其他环境噪声,所述其他环境噪声可以用作触发事件来操作后挡板200a的可能与感测到的噪声具有相关性或相关的特征。例如,如果传感器捕捉到在切菜板上剁碎的噪音,则后挡板200a可以被编程为在显示器230上显示与食谱、杂货店购物、烹饪或炉灶、微波炉或烤箱等的控制界面相关联的应用。
此外,传感器240可以包括能够接收无线电波的无线接收器,诸如通过由用户70携带的无线装置(诸如装置30、40)产生的蓝牙或无线信号。然后,例如,无线接收器可以用于通过用户的手机BTLE、无线网络和MAC地址以及信号强度来确定用户位置。还可以设想,传感器240可以包括占用传感器,诸如超声波接收器或RFID接收器。后挡板200a可以使用一个或多个传感器240和各种类型的传感器240(例如,如上所述)来提供期望的用户识别和定位功能,或者以其他方式监控期望的触发事件。传感器240可以重复更新或以其他方式连续操作,以动态地更新所识别的一个用户70或多个用户70的位置。例如,后挡板200a的显示器230上的内容可以被连续地重新定位,以提供对所显示内容的访问和改进的工作流程。用户与上覆层234(例如触控屏)的触摸交互也可以确认或提供用户相对于显示器230的更新位置。这允许用户70沿着显示器230连续地与期望的显示内容交互,并且使得在这样的装置处显示的内容容易且方便地可见,而不需要重新定位与后挡板200a通信的装置(例如,装置30、40)。
虽然在显示器230附近存在的用户70的位置或邻近距离可以是确定显示什么图像或数据、如何呈现图像或数据和/或在显示器230上哪里显示图像或数据的因素,但是后挡板200a也可以或可替换地基于其他因素(诸如用户的身份或显示偏好)来启动显示的内容。类似于位置,用户70的身份可以各种方式确定,这可能取决于系统上实施的一个传感器240或多个传感器240的类型。例如,传感器240可用于识别用户70的一个或多个特性,诸如用户的身高、身体形状、面部特性、热特性、语音、可听密码或语音指令、RFID标签、无线装置存在或可由后挡板200a利用的一个或多个传感器240识别的其他可想象的特性。然后,所识别的特性可以被后挡板200a(例如,计算装置250)用来将当前用户70与后挡板200a的用户简档相匹配。后挡板200a的用户简档可以向系统提供对本地或远程存储的用户数据、任何预选设定、可应用的装置访问或与所识别的用户相关联的其他可用信息的访问。
附加地或作为另外一种选择,在一些示例中,后挡板200a可以基于用户行为或模式的行为、模式或变化(例如,由传感器240感测到的)来自适应地启动显示的内容。例如,传感器240可以跟踪或收集与后挡板200a的传感器范围内的行为或活动相关的数据。在一些实施方式中,可以监控用户70的交互(例如,触摸、手势或与后挡板200a的其他交互)(例如,与传感器数据一起)以理解用户的偏好或与用户简档相关联的信息。例如,用户简档可以由后挡板200a监控用户70的位置移动模式、用户70访问的位置、用户70消费的数字媒体内容、用户70进行的购买或对用户简档中的各种设定的更新。在一些实施方式中,用户简档与其他用户身份(诸如用户70在应用(例如,社交媒体、媒体内容账户等)或其他装置30、40上的身份)相关联。例如,当用户身份与后挡板200a的用户简档相关联时,后挡板200a可以监控和识别关于这种身份的改变或用户行为。换句话说,后挡板200a可以识别可穿戴装置感测到的社交媒体使用或身体活动。利用此各种信息,后挡板200a可以更新与用户70相关联的用户简档的设定或特性(例如,基于用户简档的用户70配置的许可)。可以将所显示的内容更新以响应用户行为或模式中所感测到的变化,诸如响应于所感测到的低营养食物或零食的频率增加而显示建议健康饮食食谱的内容,或者当确定用户可能疲劳时建议启动咖啡机。
在一些示例中,用户简档在显示器230中产生或包括图像或媒体内容(例如,默认内容或定制内容)。例如,用户简档是控制界面的预选布局和/或内容。在一些示例中,显示在后挡板200a的显示器230上的控制界面的内容可以对应于可访问的用户设定。
除了响应于用户70的输入和存在或显示器230附近感测到的活动来提供交互式显示的内容(例如,图像)之外,后挡板200a可以用于附加功能。例如,显示器230可以具有装饰功能,诸如以显示静态或动态壁纸或背景图像,诸如背景瓷砖图案、期望与周围装饰相对应的颜色或设计、期望的图片或视频,诸如室外环境模拟或其他娱乐媒体以及其他可想到的显示图像。静态或动态壁纸或背景图像可以较低或替代的光强度显示,以模仿传统瓷砖背面的外观和可见纹理。
此外,显示器230的一个或多个部分(诸如沿着显示器230的上边缘)可以用于在橱柜108下方和工作台面106的工作表面上提供照明。例如,横跨显示器230顶部的条可以是白光,或者可以针对用户想要的任何颜色进行调整,而强度可以是框的大小,以在区域中提供附加的光。显示器230的这种照明功能也可以与传感器240结合使用,诸如以在夜间或配置时提供跟踪用户70的光。
一般来说,后挡板200a可以被配置用于几种不同的输入机制,诸如视觉输入(例如,手势或位置)或音频输入(例如,语音)。例如,来自传感器240的传感器信号可以指示操作后挡板200a的功能的触发事件的存在。触发事件可以是用户的位置在离后挡板200a的阈值距离内或者可以是基于接收的传感器信号识别用户70的特性。当触发事件发生时,后挡板200a内的硬件(例如,计算装置250)可以向后挡板200a传输启动信息。启动信息可以指示后挡板200a在显示器230的区段S(例如,与显示器230相关联的屏幕232的一部分)显示或改变图像。例如,后挡板200a在用户70的识别的位置附近产生图像,或者产生与识别的用户70相关联的预选设定。当传感器240中存在并识别出附加的用户70时,后挡板200a可以类似地通过在附加的识别出的用户70附近或有用的位置显示图像来做出反应。例如,图2D示出了第一区段S1、第二区段S2,其中内容可以显示在后挡板200a上。此处,第一用户70可以在后挡板200a的第一区段S1上显示内容,而第二用户70在后挡板200a的第二区段S2上显示内容。
进一步参考图2B,后挡板200a还可以包括其自己的计算能力,使得后挡板200a包括具有本地资源252的计算装置250,诸如数据处理硬件254和存储器硬件256。此处,传感器240将传感器数据242传送到计算装置250,以便将其存储(例如,在存储器硬件256中)或实行操作(例如,使用数据处理硬件254)。因此,计算装置250可以实行传感器处理来翻译传感器数据242,以向后挡板200a的各种功能提供输入或反馈。例如,计算装置250的图像处理在传感器240的感测场内产生物件(例如,用户70、家用电器110、小工具、器具、食物等)的接近度和位置信息。在一些示例中,计算装置250执行产生显示在显示器230上的内容的OS(例如,基于感测到用户70或用户70在后挡板200a附近的活动)。利用OS,后挡板200a可以显示应用(例如,文字处理器应用、电子表格应用、会计应用、网络浏览器应用、电子邮件客户端、媒体播放器、文件查看器等)作为用户70在显示器230上的交互式窗口260。在一些示例中,后挡板200a被配置为改变计算装置250的应用(例如,与应用相关的配置)。例如,后挡板200a可以基于用户70与后挡板200a的交互来添加、移除或修改应用。这方面的一个示例是后挡板200a认识到后挡板200a的用户70从未或很少使用特定的应用。此处,后挡板200a可以通过例如移除(或隐藏)应用来减少计算装置250的界面或计算资源中的混乱。
在一些配置中,计算装置250管理后挡板200a的厨房API 258。利用厨房API 258,在或不在家居10中的其他装置40可以与后挡板200a集成。例如,后挡板200a是中间件装置,其作为厨房100的家用电器110的中央集线器操作,同时还与其他装置30、40、50通信。例如,后挡板200a与家居环境10的智能集线器通信。换句话说,用户70可以使用后挡板200a来点亮整个家居10中的智能灯,或者在厨房100中烹饪时在智能电视上为更小的孩子启用/禁用家长控制。家用电器制造商可以允许后挡板200a管理和/或控制家用电器110,因为用户70通常必须在场才能与后挡板200a交互。利用这种方法,后挡板200a可以减轻家用电器制造商的安全顾虑,因为后挡板200a的功能可以取决于用户70在厨房100内的存在(例如,可由传感器240识别)。换句话说,家用电器控制可能取决于后挡板200a处的传感器检测。更具体地,在一些实施方式中,后挡板200a从传感器240(例如,在计算装置250处)接收传感器数据242。后挡板200a确定传感器数据242指示用户70的存在,并基于用户70的存在激活厨房API258。此处,随着厨房API 258的激活,后挡板200a在显示器230上显示厨房API 258的窗口(例如,交互式窗口)。
在一些示例中,厨房API 258被编程为实行各种功能。例如,厨房API 258被编程为解析显示器230上显示的文本。此处,通过解析或解释文本,厨房API 258可以产生内容窗口或交互内容(例如,用于家用电器110的触摸开关或交互式控制面板)。在一些实施方式中,当用户70显示食谱时,厨房API 258解析文本以产生视频内容(例如,教授食物准备技术或烹饪技术)或激活/停用厨房100内的家用电器110。例如,厨房API 258将烤箱预热到文本中定义的温度,或者从文本中定义的时间开始为用户70启动定时器。换句话说,厨房API 258可以为连接到厨房API 258的家用电器110和/或装置30、40、50产生任务(例如,基于在显示器230上产生的内容)。
利用传感器240的能力,后挡板200a被配置为了解厨房100内的人,诸如用户70。例如,后挡板200a估计移动(例如,用户70的手势)、估计姿势(例如,用户70的取向)、实行面部识别(例如,识别用户70)或实行凝视识别(例如,识别用户70的观看方向)。附加地或作为另外一种选择,后挡板200a使用传感器240了解除了人之外的物件或者人与其他物件的交互。例如,后挡板200a使用传感器240识别打开或关闭家用电器110或橱柜108。在其他示例中,后挡板200a识别用户70用来切碎食物(或者更一般地,用户70在厨房100中与之交互的食物物件)的物件,例如刀。
在一些示例中,后挡板200a识别诸如用户70的物件的动作。最初,当用户70进入厨房100时,后挡板200a的传感器240产生指示用户70存在的传感器数据242。在一些示例中,后挡板200a使用传感器数据242来实行面部识别。对于面部识别,后挡板200a可以预编程有用户70的面部简档(例如,具有为用户70产生面部简档的面部识别初始化过程),或者随着用户70的传感器数据242的收集而学习用户70的面部简档。在任一情况下,后挡板200a(例如,通过厨房API 258)可以提示用户70产生或接受面部简档。在一些示例中,后挡板200a具有启动后挡板200a到厨房100和/或用户70的环境的设置过程。在这些示例中,设置过程可以识别用户70的位置和/或用户70的初始偏好。
在一些配置中,面部简档在厨房API 258处具有偏好或控制权。例如,后挡板200a的传感器240用作用户70的认证机制,以验证他或她被授权在厨房API 258处具有控制权。此特征可以允许第一用户70(例如,父母)使用厨房API 258,而无需未被授权使用厨房API258或厨房API 258的某些功能的第二用户70(例如,孩子)接管。在一些示例中,不同的用户70具有与家用电器110和/或厨房API 258的特征相关的不同级别的控制权。
在一些实施方式中,后挡板200a在显示器230内产生与用户70交互的一个或多个窗口260、260a-n(例如,通过计算装置250或通过厨房API 258)(例如,如图2E、图4A和图4B中所示)。此处,窗口260可以指内容区域,诸如文本、多媒体(例如,图像或视频)或其任意组合。在一些示例中,通过根据用户70的位置放大或缩小窗口260的大小,窗口260是交互式的。例如,后挡板200a从后挡板200a确定用户的深度d,并基于用户的深度d(例如,与用户的深度成比例地)缩放窗口260的内容或窗口260本身的大小。在一些示例中,后挡板200a确定从传感器240在厨房100内的位置到用户70在厨房100内的位置的用户深度d(图4C到图4E)。例如,传感器240使用TOF传感器数据242来确定用户70的深度d。出于缩放的目的,后挡板200a可以配置有预编程的大小与深度的比率(即,基于深度的内容大小)。在一些示例中,这些比率可以由用户70进一步定制(例如,适用于近视、远视或例如散光的其他眼睛状况的用户)。在再一示例中,后挡板200a的用户70编程偏好(例如,在用户简档中),例如在距离传感器240一个或多个深度处的内容大小或默认内容大小。
如图2E所示,后挡板200a的显示器230可以包括图像或媒体内容,其为后挡板200a的用户70提供控制界面。利用控制界面,用户70可以操作后挡板200a本身和/或与后挡板200a连通的连接的装置30、40、110。换句话说,后挡板200a处的控制界面和/或不同类型的交互内容允许用户70产生实行后挡板200a的功能的输入。显示器230处的后挡板200a还可以提供来自连接的装置30、40、110的反馈,诸如通过在厨房100中或显示器230附近检测到用户70时启动反馈。来自连接的装置30、40、110的反馈例如可以包括需要除垢处理的咖啡机、指示内容物是干净的并请求用户清空内容物的洗碗机、或指示内部水过滤器需要更换的冰箱,以及其他可以想到的连接的装置指示。另外,在连接的装置30、40、110在工作台面106上或附近的情况下,反馈可以部分或全部显示在显示器230靠近连接的装置30、40、110的区段上。例如,显示器230上的闪烁箭头指向需要清洁或已经煮好并为用户70准备好的咖啡的咖啡机。
参考图2E,后挡板200a可以产生包括控制界面270的显示器230,所述控制界面具有图标272、272a-f的圆形配置(例如,在显示器230的一个或多个窗口260中)。此处,每个图标272可以是交互式按钮,其能够由用户70选择(例如,通过在具有触摸能力的上覆层处的触摸接触)以访问对应的系统或装置控件。图标272可以链接到各种应用,以提供对应的控制界面,诸如用于电话、食谱、烤箱控件、家用电器、家居安全、天气、设定(用于显示器)、视频以及各种其他可想到的应用。通过选择对应于图标272的按钮,诸如通过按压触控屏,控制界面可以消失、重新定位或最小化以显示所选内容,或者可以其他方式显示在显示器230的可用区域或区段S中。
图2E是具有两个显示窗口260、260a的显示器230的示例。每个窗口260已经被勾勒出轮廓,以指示后挡板200a的应用可以在哪里显示内容。例如,第一窗口260a描绘了显示天气预报的后挡板200a,而第二窗口260b描绘了显示互联网浏览器的后挡板200a。用户识别的用户简档还可以具有用于内容自动显示在这样的显示区域或先前访问的应用中的期望设定,这些内容可以显示在预先配置的窗口260或显示器230的区域中,而不必导航控制界面270的控制面板。本文中所示和所述的显示内容和用户界面控件存在各种可想到的布置、布局和设定,它们也可以结合到后挡板200a的其他示例中。例如,后挡板200a可以结合用户定义的皮肤或背景,或者结合镜像另一用户装置30、40(例如,移动装置)的控制界面或其他优选的控制布局。
在一些配置中,后挡板200a被配置为在不受与后挡板200a相邻的物件阻挡的位置处显示媒体或图形内容,诸如图标272和/或窗口260。换句话说,后挡板200a试图避免在会阻碍用户70视线的物件后面显示内容。例如,当柜台106上存在工作台面家用电器110或物件(诸如烤面包机、立式搅拌机、食品杂货袋等,其通常放置在最初显示内容的用户视线中)时,显示内容可以移动。后挡板200a可以使用来自一个或多个传感器240的传感器数据来定位阻碍物件,并且基于传感器数据,后挡板200a(例如,经由与后挡板200a相关联的计算资源)可以监控检测到的物件相对于用户70的位置或显示器230上产生的内容的位置,以确定用户的大致视线,并且防止内容在确定的视线中显示在检测到的一个或多个物件后面。
此外,传感器240(或传感器240的神经网络)可以识别传感器240的视场内的物件(例如,阻挡物件)的类型。利用物件的识别,后挡板200a可以使用识别来记载或记录物件。在一些示例中,传感器240的传感器数据可用于识别、监控和清点放置在后挡板200a附近的工作台面106上的食物的类型。传感器数据也可以用于监控识别的食物的使用。例如,后挡板200a被配置为基于传感器数据处理来识别用户70何时消费、处置或存储可识别的食品(例如,被编程或学习以使用数据处理识别的食品)。这将允许后挡板200a或与后挡板200a连通的其他存储装置保持食物(诸如新鲜水果和蔬菜)的库存清单。例如,后挡板200a的库存应用记载时间数据(例如,发明人日期)和/或与后挡板200a已经感测到的其库存相关的传感器数据。后挡板200a(例如,通过其应用)可以提醒用户70食物的库存状态,诸如当食物接近或超过估计的到期日时。例如,后挡板200a可以感测工作台面106上的水果储存篮中的苹果和香蕉的数量,并且当苹果或香蕉变低、消失或显示出毁坏的迹象时通知用户70。此功能对于用户70来说可能是有利的,以帮助用户70减少食物浪费,推荐包含手头食物的食谱,并保持用户期望的饮食。
现在参考图2F,具有各种可选输入和支持操作系统的后挡板200a的示例。例如,传感器240被示出为具有捕捉三个用户70、70a-c的传感器场的照相机,每个用户具有唯一的用户ID。传感器240与本地识别和定位系统280通信,由此控制器(例如,计算装置250)可以识别用户70(对应于用户简档或ID)并相对于显示器230定位用户70。类似地,如上参考使用无线接收器作为传感器240所述,本地识别和定位系统280可以与装置30、40(例如,移动装置)通信,以帮助用户识别和定位。另外,图2F中所示的系统示出与远程资源52和本地资源(例如,计算装置250的)诸如本地媒体、照相机、图形背景和与显示器230通信的界面协议的集成。此处,转换器282可以接收多个视频输入,所述多个视频输入可以被缩放和/或解析成视频输出284。远程资源52(诸如视频媒体、照像机和界面协议)也可以通过具有控件上覆层和工作空间控制和配置特征的控制器与后挡板200a通信。
如图2G所示,示出了后挡板200a的另一示例,其具有各种可选输入和结合云计算的支持性操作系统,而不是本地服务器或个人计算机,云计算通常被托管在互联网上的远程服务器网络的至少一些使用所引用,以存储、管理和处理数据。在图2G所示的示例中,远程资源52和本地资源252都可以经由云(即,远程计算装置50)来利用,云可以包括充当转换器282的功能。云转换器282可以接收期望显示的图像数据,诸如多个视频输入,并且可以将此图像数据缩放和/或解析成视频输出284,诸如全部或部分地利用云计算资源52。
参考图2H,示出了具有各种可选输入和支持操作系统的后挡板200a的又一示例。在此示例中,控制显示器230和触控屏234的工作空间处理器252、252a-d连接到路由器30,所述路由器与远程计算50(例如,云计算)通信,以提供云计算的更多使用和集成。同样,远程资源52和本地资源252都经由云50来利用,从而提供图像转换、缩放、解析以及其他可想到的处理和数据存储能力。可以设想,除了本文中提供的示例性后挡板200之外,后挡板200a的其他示例的后台基础设施可以各种其他方式配置,例如以提供与安装在后挡板200a处的硬件254的或多或少的云计算集成。
如图2I所示,示出了后挡板200a的示例,其中显示器230具有上覆在多个屏幕232、232a-d上的单个触控屏(例如,上覆层234),其中显示器230的交互式显示区域设置在触控屏234和屏幕232的交叠区域处。屏幕232各自连接到工作空间控制器252,所述工作空间控制器连接到集线器计算机(例如,计算装置250)。集线器计算机250可以操作来确定用户70,存储和显示内容和交互式显示区域,以及控制与交互式显示区域的交互。如图2I所示,集线器计算机250可以访问云50,以操作独立视频和输出转换器的多个输入,以及其他可想到的云计算集成。
关于用户识别和与交互式显示系统的位置交互的示例,图2J示出了确定用户70是否被识别的初始确定步骤286。当用户70被识别时,可以在后挡板200a的显示器230被加载或访问控件的用户简档。如果感测到的用户70尚未被识别,则示例性过程确定是否可以进行面部识别,诸如通过对连接到后挡板200a的传感器240所捕捉的图像数据进行图像处理。一旦进行了第一次识别,诸如在步骤288处通过面部识别,第二次识别步骤290可以用于进一步确保用户识别是准确的,诸如通过来自无线路由器(例如,网络装置30)的电话识别。可以使用其他辅助识别,诸如密码或其他生物测定感测数据,以提供期望的用户识别置信度以及期望的用户简档的访问便利性和安全级别。
同样如图2J所示,一旦用户70被识别,诸如在步骤288和290处,系统可以在步骤292处监控与后挡板200a的交互(例如,触摸交互)。然后,可以在步骤294处评估在步骤292处接收的交互事件(例如,显示为触摸事件)以查看用户70是否已经改变了位置。用户相对于显示器230的所识别的移动可以处理子过程296,该子过程包括一系列步骤来确定是否以及如何在显示器230处重新配置所显示的内容。可以想象,后挡板200a可以使用各种替代过程来确定和监控用户识别和位置。
可选地,后挡板200a的控制器(例如,计算装置250)可以将辅助用户70定位在显示器230的交互式显示区域处或附近,而初始用户70仍然位于交互式显示区域处或附近。控制器还可以基于传感器信号识别辅助用户70的特性,诸如也访问辅助用户70的用户简档。除了不包括交互可以位于显示器上用户70方便的位置上,并且根据所识别的辅助用户70的可用偏好和设定来定制,控制器可以与操作后挡板200a的其他用户基本相同的方式同时与辅助用户交互。可以将系统编程为给予后挡板200a的第一用户或第二用户70一定的优先权,诸如以防止重新定位控制面板和专门显示给优先用户70的内容。当后挡板200a和环境可以容纳时,系统还可以与更多用户70一起进一步操作。
图2K是后挡板200a的校准例程的示例。校准例程可用于确定显示器230的交互式显示区域的虚拟边界,其中虚拟边界定义交互式显示区域的可访问部分的边界。校准例程还将触控屏234的触摸坐标与显示器230的一个或多个屏幕232的像素显示坐标对准。校准例程可以提示用户70在交互式显示区域的可访问位置(例如,隅角C)处提供输入(例如,触摸事件)。如图2K所示,可访问的隅角C、C1(例如,隅角C1a-d)可以对应于形成显示器230的一个或多个屏幕232的外角;尽管在显示器230延伸到触摸面板之外的配置中(诸如当显示器230的一部分隐藏在家用电器110后面或支撑基座的槽中时),交互式显示区域的可存取的隅角C1可能不与显示器230的外部隅角相对应。系统还可以请求识别形成显示器230的各个屏幕232(例如,隅角C2a-l)的隅角C、C2,使得每个屏幕232利用上覆的触控屏234单独校准。一旦用户在各个屏幕232的可访问隅角C1和隅角C2处提供触摸事件,便可以将触摸事件用作虚拟边界的边缘定义标记。校准后的虚拟边界可以被本地和/或远程存储,以供后挡板200a访问,供将来使用。
参考图3A到图3C,后挡板200a作为交互式显示器200的功能可以转化为厨房环境外部的显示结构。例如,当用户70离开在住宅厨房环境中操作的后挡板200a时(例如,如图1C所示),用户70稍后可以访问另一显示系统或装置上的内容,诸如移动装置上的内容;在工作环境(图3A)(诸如办公室环境或医疗病房)中的显示器组件200、200b上;在机动车辆(图3B)(诸如乘坐共享车辆)中的显示器组件200、200c上;或者在诸如飞机(图3C)等公共交通工具中的显示器组件200、200d上,以及用于访问另一显示系统的其他可想到的替代装置或环境中。在这些装置或附加显示系统200中的每一个中,可以访问和更新用户简档,以允许用户70无缝地交互和/或操作在先前访问的显示系统处访问的应用和显示的内容。因此,用户简档以及相关联的用户设定可以存储在远程资源52中,使得可以使用这些其他显示器组件200a-d来访问用户简档。当显示系统200访问和使用用户70的用户简档时,系统200可以存储或更新用户的设定、活动或最近访问的应用和相应的使用。通过存储一个或多个用户70的设定和配置,当用户70离开与相应显示系统200相关联的传感器场时,显示系统200可以移除用户的显示内容,并且随后当用户70返回到具有兼容显示系统200(例如,与存储和维护用户简档的远程资源通信的显示系统200)的任何环境时,产生用户的显示内容。这种方法允许各种显示系统200无缝地恢复用户70的活动和交互配置。显示系统200的此用户简档还可以由其他显示系统200(例如,系统200a-c)或装置30、40访问,以还允许用户70继续操作在显示器230处显示的特征(例如,应用)和/或内容。
参考图4A,在一些示例中,来自传感器240的传感器数据242指示用户70的手势动作72。此处,后挡板200a可能已经识别了用户70。在一些示例中,随着最初对用户70的识别,后挡板200a确定当前传感器数据242指示用户70的姿态P相对于用户70的初始姿态P的改变。姿态P是指用户70的取向,并且除了用户的身体之外,还可以包括用户的四肢和头部的取向。当后挡板200a确定用户70已经改变姿态P时,后挡板200a进一步确定姿态P的改变是否对应于手势动作72。例如,后挡板200a可以配置有触发显示器230处的显示响应的一组特定手势动作。在一些示例中,当后挡板200a确定用户70实行运动手势72时,后挡板200a基于手势动作72为交互式窗口260产生相关联运动。在一些实施方式中,当后挡板200a基于传感器数据242确定用户70的手势动作72是手滑动时,后挡板200a将交互式窗口260在手滑动方向上从第一位置移动到第二位置。换句话说,交互式窗口260可以从与用户70对准的中心位置移动到与用户70不对准的偏移位置(例如,在手滑动的方向上)。手势动作72的其他示例包括用户70的推或拉(例如,张开手掌到拳头)动作,其将内容窗口260从显示器230的前景推到背景,或将内容窗口260从背景拉到显示器230的前景。在一些示例中,用户70将他或她的手掌对准在内容窗口260之上,并且将他或她的手掌合成拳头(即,抓住内容窗口260),以将窗口260绕显示器230移动到最终位置,在此最终位置处,用户70再次张开他或她的拳头(即,释放窗口260)。
遗憾的是,即使用户70不打算移动所显示的内容或与所显示的内容交互,后挡板200a的灵敏度也可能导致后挡板200a移动所显示的内容。例如,图4B描绘了由于用户70在三个姿态P1到P3之间摇摆而移动的用户70的头部,但用户70的身体并未明显移动。在这种情况下,后挡板200a可以随着头部的摆动来回移动所显示的内容,这可能给用户70造成可见性问题。为了克服这个问题,后挡板200a可以使用几种不同的方法。在第一种方法中,后挡板200a转换到稳定模式,其中一旦后挡板200a最初识别到用户70(例如,或感测到厨房100中后挡板200a前面的用户70),后挡板200a便从检测用户70的姿态P的微小移动或偏差的高灵敏度水平改变到较低灵敏度水平。此处,较低灵敏度水平可以包括移动阈值,其中后挡板200a首先确定用户70在第一时间实例中的第一位置(例如,第一姿态P1)与用户70在第二时间实例中的第二位置(例如,第二姿态P2)之间的差是否满足移动阈值(例如,超过移动阈值)。当差异满足移动阈值时,后挡板200a然后允许交互式窗口260随着用户70移动(或响应于实例之间的位置变化而移动)。例如,后挡板200a(i)在第一时间实例和第二时间实例处产生用户70的线框轮廓,并且(ii)判断沿着线框的一定数量的点(例如,预定数量的点)的位置偏差是否满足移动阈值。
在另一示例中,后挡板200a为视场FV产生网格,并且改变网格内的单元(例如,像素)的大小,以对应于灵敏度水平(例如,灵敏度的分辨率)。随着针对灵敏度水平而调整网格,后挡板200a然后可以判断用户根据网格的移动是否应该导致交互式窗口260的移动。此处,当根据网格评估用户的移动时,后挡板200a也可以利用移动阈值。否则,后挡板200a可以简单地判断用户70的新位置是否导致网格中的单元改变,并且当大多数单元改变时移动交互式窗口260。
在一些配置中,传感器数据242允许后挡板200a确定用户70的关节。利用关节信息,后挡板200a可以区分对应于肢体或头部的用户身体的区域。在另一种方法中,一旦后挡板200a最初识别出用户70(例如,或感测到厨房100中后挡板200a前面的用户70),稳定模式通过忽略来自用户70的头部和/或四肢的运动来隔离运动识别。例如,在此方法中,代替后挡板200a通过用户70的头部跟踪用户70的移动,后挡板200a通过感知的质心(即,用户70的未被忽略的身体的质心)跟踪用户70。通过由感知的质心跟踪用户70,交互式窗口260仍可以正常地随着用户感知的质心移动,而不会导致大量的抖动(即,前后移动)。
在一些示例中,可以启用或禁用移动窗口260以跟踪用户70的移动的能力(例如,由用户在外部或由后挡板200a在内部)。例如,用户70可以提供口头命令,例如“跟我来”,以使得能够移动显示的窗口260。当启用移动窗口260的能力时,后挡板200a可以使用前面讨论的稳定模式。
进一步参考图4C到4E,后挡板200a被配置为使得窗口260能够跟踪用户70。换句话说,当用户70在厨房100中移动时,窗口260可以在对应于后挡板200a的区域内跟随用户70。例如,图4C到4E示出了用户70从厨房岛106、108后面移动到冰箱110a到水槽110e的序列。在此序列期间,跟踪用户70的窗口260的位置在特定位置L处显示为“X”。在这些示例中,后挡板200a沿着厨房100的隅角中的相邻壁102延伸。在一些实施方式中,窗口260的位置L说明后挡板200a的大小(例如,宽度)、为后挡板200a提供传感器数据242的传感器240的位置和/或用户70的偏航旋转(例如,相对于传感器240)。偏航旋转是指绕沿着用户70的高度延伸的轴线的旋转,诸如沿着大致垂直方向延伸的轴线。在图4C中,用户70面向炉灶110d并且平行于传感器240,距离传感器240的深度为d和距离为D。基于这些参数和每个屏幕232的位置的知识(例如,定义后挡板200a的宽度),后挡板200a确定后挡板200a确定的窗口260的第一位置L、L1对于观看窗口260是最佳的(例如,根据用户的偏航旋转距用户70最短距离的位置)。在图4D中,当用户70移动到冰箱110a时,用户70具有等于距离D的深度d。基于这些参数和后挡板200a不一直延伸到冰箱110a(例如,终止于洗碗机110b)的知识,后挡板200a还可以考虑用户头部相对于传感器240的偏航旋转,以适应用户70的凝视。利用与用户头部的偏航旋转相对应的这个附加参数,后挡板200a在第二位置L、L2处在传感器240位置附近显示窗口260。应用相同的方法,在图4E中,当用户70在水槽110e前面时,后挡板200a在第三位置L、L3处显示窗口260。此处,用户头部的偏航旋转几乎垂直于传感器240。因此,这种旋转影响后挡板200a在水槽110e后面而不是在传感器240的位置处产生窗口260。
在一些示例中,后挡板200a被配置为向用户70提供建议。这些建议可以基于用户70与后挡板200a的先前交互或用户偏好(例如,由用户70设定或由后挡板200a学习)。换句话说,后挡板200a可以在后挡板200a的显示器230内或厨房100的其他地方实行和/或提示动作(例如,基于用户与后挡板200a的交互历史)。例如,后挡板200a基于行为模式向用户70提出建议。为了说明,用户70可以经常以常规方式使用后挡板200a。例如,当显示烹饪方法时,用户70经常使用后挡板200a来显示烹饪技术视频。此处,当用户70选择显示食谱时,后挡板200a建议或提示用户70启动与食谱相关的烹饪技术视频。附加地或作为另外一种选择,后挡板200a使用用户偏好或后挡板200a了解的关于用户70的人口统计的信息来为用户70产生内容。例如,后挡板200a基于用户70的人口统计产生特定的广告、媒体内容(例如,音乐或视频)或食谱。此处,后挡板200a可以使用汇集的人口统计模型来为用户70产生内容建议。
在一些实施方式中,当用户70在厨房100中实行不同的任务时,后挡板200a了解到用户70喜欢特定的应用。换句话说,后挡板200a与用户对后挡板200a的输入和后挡板200a响应于用户输入的输出(例如,显示或计算执行)相关联。此处,用户输入可以是主动输入(即,用户70与后挡板200a交互的有意输入)或被动输入(即,后挡板200a感测到的厨房100中的用户动作)。在一些示例中,后挡板200a形成这些类型的关联的至少一个数据日志或数据集(例如,用于机器学习)。例如,当用户70在厨房100中烹饪时,用户70通常通过例如播放音乐的媒体应用来听音乐。在此示例中,当后挡板200a识别出用户70正在烹饪时,后挡板200a可以显示提示,建议用户70想要登录/使用媒体应用。此处,媒体应用可以是后挡板200a的计算装置250的应用或者与后挡板200a通信的另一装置的媒体应用。在一些示例中,后挡板200a配置有为用户70自动登录到特定应用的许可。在一些配置中,后挡板200a甚至可以建议特定应用内的动作。例如,如果用户70是狂热的爵士乐听众或在特定时间处收听特定节目(例如,收听下午6:00的本地新闻),则后挡板200a不仅可以登录到能够提供此体验的应用中,还可以在此应用内发起此体验。换句话说,后挡板200a会播放爵士乐或播放下午6:00的本地新闻。在一些示例中,后挡板200a被配置为基于用户识别(例如,用户70的面部识别)登录各种应用。换句话说,第一用户70可以具有应用的多媒体简档,而第二用户70具有带有相同应用(或不同应用)的不同多媒体简档。此处,当后挡板200a识别出第一用户70时,后挡板200a可以被配置为启动和/或登录与第一用户70相关联的应用简档。
在一些实施方式中,后挡板200a基于感知的用户行为实行预测动作。例如,后挡板200a识别出用户70的手已经装满了向烤箱移动的饼干片材,并且后挡板200a与烤箱通信以打开烤箱的门。在其他示例中,后挡板200a基于用户70的其他动作来预测用户70可能想要在后挡板200a上显示的内容。例如,当用户70在后挡板200a上显示食谱并向冰箱移动时,后挡板200a可以在后挡板200a的显示器230或冰箱的显示屏上显示可以在冰箱中找到的物品。
在一些配置中,当用户70在后挡板200a的传感器范围内时,后挡板200a实行用户70的情感分析。此处,情绪分析是指使用来自传感器240的传感器数据242来确定用户70的情绪。在一些示例中,后挡板200a被配置为通过用户70的面部表情来实行情感分析。例如,除了面部识别之外,后挡板200a分析对应于用户70的面部的传感器数据242以识别面部表情。在一些示例中,后挡板200a预先配置有与各种情绪相关联的面部标志的数据库。在其他示例中,后挡板200a被配置为基于用户70的动作来推断用户70的情绪。例如,用户70播放慢音乐或已知令人沮丧的音乐。附加地或作为另外一种选择,后挡板200a使用传感器数据242来分析用户70的身体姿势。换句话说,身体姿势可能是一个人情绪的另一标志。例如,当一个人悲伤或沮丧时,其可能具有下垂的身体姿势,与用户70完全直立时相比,他或她的肩膀以较低的高度向前屈。另一示例是,当用户70高兴或兴奋时,他或她的肩膀可以被抬起到用户70完全直立的位置(例如,用户在高兴时流露出自信,并且自然地向完全直立的姿势鼓起他或她的胸部)。
在一些实施方式中,后挡板200a试图基于后挡板200a向用户70提供的内容来改变用户70的情绪。例如,当用户70看起来悲伤或沮丧时,后挡板200a可以显示有趣或令人振奋的内容。为了说明,后挡板200a可以可听地给用户70讲笑话或者播放已知具有喜剧价值的视频。在一些示例中,后挡板200a基于情感分析改变显示器230的背景。例如,如果用户70看起来悲伤,则后挡板200a将背景从中性显示(例如,单一基本颜色)改变为逃避现实的背景(例如,海滩背景或美丽的风景)。在另一示例中,后挡板200a显示用户拥有的(例如,已经存储在后挡板200a可访问的存储空间中的)图像(例如,像幻灯片放映一样),因为图像经常描绘难忘时刻的静止帧。
图5是操作后挡板200a的方法500的示例。在操作502处,方法500从厨房环境100内的传感器240接收传感器数据242,其中传感器240与安装在厨房环境100内的竖直壁102上的显示器230通信。在操作504处,方法500确定传感器数据242指示用户70的存在。在操作506处,方法500基于用户70的存在激活厨房API 258。此处,厨房API 258被配置为与厨房环境100内的一个或多个家用电器API 112通信,其中每个家用电器API 112被配置为控制厨房环境100内的至少一个家用电器110。在操作506处,方法500在显示器230上显示厨房API258的交互式窗口260。
图6是安装交互式显示器200的操作的示例方法600。在操作602处,方法600在壁102的表面处以水平配置并排布置多个显示装置232、230,以限定长形显示区域。在操作604处,方法600将触控屏面板234上覆在所述多个显示装置232、230中的至少两个的一部分之上,以提供其中触控屏面板234和长形显示区域交叠的交互式显示区域。在操作606处,方法600处理校准例程以确定交互式显示区域的虚拟边界,所述虚拟边界定义交互式显示区域的可访问部分的边界。
图7是可用于实施本文档中描述的系统(例如,交互式显示器200)和方法(例如,方法400、500)的示例性计算装置700的示意图。计算装置700旨在表示各种形式的数字计算机,诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型主机和其他适当的计算机。此处所示的部件、它们的连接和关系以及它们的功能仅为示例性的,并不是为了限制本文件中描述和/或请求保护的发明的实施方式。
计算装置700包括处理器710(例如,数据处理硬件)、存储器720(例如,存储器硬件)、存储装置730、连接到存储器720和高速扩展端口750的高速界面/控制器740以及连接到低速总线770和存储装置730的低速界面/控制器760。部件710、720、730、740、750和760中的每一个使用各种总线互连,并且可以安装在公共主板上或者以其他适当的方式安装。处理器710可以处理用于在计算装置700内执行的指令,包括存储在存储器720或存储装置730上的指令,以为外部输入/输出装置上的图形用户界面(GUI)显示图形信息,诸如耦合到高速界面740的显示器780。在其他实施方式中,可以酌情使用多个处理器和/或多条总线,以及多个存储器和多种类型的存储器。另外,可以连接多个计算装置700,每个装置提供必要操作的部分(例如,作为服务器库、一组刀片服务器或多处理器系统)。
存储器720在计算装置700内非暂时性地存储信息。存储器720可以是计算机可读介质、易失性存储单元或非易失性存储单元。非暂时性存储器720可以是用于临时或永久存储程序(例如,指令序列)或数据(例如,程序状态信息)以供计算装置700使用的物理装置。非易失性存储器的示例包括但不限于闪存和只读存储器(ROM)/可编程只读存储器(PROM)/可擦除可编程只读存储器(EPROM)/电可擦除可编程只读存储器(EEPROM)(例如,通常用于固件,例如引导程序)。易失性存储器的示例包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、相变存储器(PCM)以及磁盘或磁带。
存储装置730能够为计算装置700提供大容量存储。在一些实施方式中,存储装置730是计算机可读介质。在各种不同的实施方式中,存储装置730可以是软盘装置、硬盘装置、光盘装置或磁带装置、闪存或其他类似的固态存储装置,或者装置的阵列,包括存储区域网络或其他配置中的装置。在附加的实施方式中,计算机程序产品有形地包含在信息载体中。计算机程序产品包含指令,当执行所述指令时,实行一种或多种方法,例如上述方法。信息载体是计算机或机器可读介质,例如存储器720、存储装置730或处理器710上的存储器。
高速控制器740管理计算装置700的带宽密集型操作,而低速控制器760管理较低带宽密集型操作。这种职责分配只是示范性的。在一些实施方式中,高速控制器740耦合到存储器720、显示器780(例如,通过图形处理器或加速器)以及可以接受各种扩展卡(未示出)的高速扩展端口750。在一些实施方式中,低速控制器760耦合到存储装置730和低速扩展端口790。低速扩展端口790可以包括各种通信端口(例如,USB、蓝牙、以太网、无线以太网)可以例如通过网络适配器耦合到一个或多个输入/输出装置,诸如键盘、定点装置、扫描仪或网络装置,例如交换机或路由器。
如图所示,计算装置700可以多种不同的形式实施。例如,它可以被实施为标准服务器700a,或者在一组这样的服务器700a中多次被实施为膝上型计算机700b,或者被实施为机架服务器系统700c的部分。
本文中描述的系统和技术的各种实施方式可以在数字电子和/或光学电路系统、集成电路系统、专门设计的专用集成电路(ASIC)、计算机硬件、固件、软件和/或其组合中实现。这些不同的实现方式可以包括在一个或多个计算机程序中的实现方式,所述计算机程序在包括至少一个可编程处理器的可编程系统上是可执行的和/或可说明的,计算机程序可以是专用的或通用的,耦合起来以从存储系统、至少一个输入装置以及至少一个输出装置接收数据和指令,并向其传输数据和指令。
这些计算机程序(也称为程序、软件、软件或代码)包括用于可编程处理器的机器指令,并且可以用高级过程和/或面向物件的编程语言和/或汇编/机器语言来实施。如本文中所使用的,术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、非暂时性计算机可读介质、设备和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来实行,以通过对输入数据进行操作并产生输出来实行功能。这些过程和逻辑流程也可以由专用逻辑电路系统来实行,例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。举例来说,适合于执行计算机程序的处理器包括通用和专用微处理器,以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于实行指令的处理器和用于存储指令和数据的一个或多个存储装置。通常,计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储装置,例如磁盘、磁光盘或光盘,以从其接收数据或向其传输数据,或两者兼有。然而,计算机不需要有这样的装置。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储装置,包括例如半导体存储装置,例如EPROM、EEPROM和闪存装置;磁盘,例如内部硬盘或可移动磁盘;磁光盘;以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路系统来补充并入专用逻辑电路系统。
为了提供与用户的交互,本公开的一个或多个方面(例如,后挡板200a)可以在计算机(例如,计算装置250)上实施,所述计算机具有用于向用户显示信息的显示装置(例如,显示器230)以及可选的键盘和定点装置(例如,鼠标或轨迹球),用户可以通过所述定点装置向计算机提供输入。也可以使用其他类型的装置来提供与用户的交互;例如,提供给用户的反馈可以是任何形式的感官反馈,例如视觉反馈、听觉反馈或触觉反馈;并且可以任何形式接收来自用户的输入,包括声音、语音或触觉输入。另外,计算机可以通过向用户使用的装置(例如,装置30、40、50)传输文档和从其接收文档来与用户交互;例如,通过响应于从网络浏览器接收的请求,将网页传输到用户客户端装置上的网络浏览器。
已经描述了许多实施方式。然而,应当理解,在不脱离本公开的精神和范围的情况下,可以进行各种修改。因此,其他实施方式在以上权利要求的范围内。

Claims (55)

1.一种系统,包括:
具有触控屏的长形显示器,所述触控屏提供可供至少两个用户同时可接触的多用户交互式显示区域;
传感器,其具有被配置为在所述触控屏的所述交互式显示区域处或附近的捕捉用户的传感器场;以及
控制器,被配置为:
从所述传感器场的传感器监控接收传感器信号;
基于所接收的传感器信号确定第一用户相对于所述长形显示器的位置;
基于所接收的传感器信号识别所述第一用户的特性,其中所述特性对应于用户简档;并且
向所述长形显示器传输启动信息,以在处于所述第一用户的位置附近的所述交互式显示区域的某区段处显示第一图像,其中该第一图像对应于所述用户简档的预选设定。
2.根据权利要求1所述的系统,其中所述控制器还被配置为:
从所述触控屏接收手势信息以响应于所述第一用户在所述交互式显示区域处的手势;并且
向所述长形显示器传输响应信息,以显示用以确认所述第一用户提供的手势的第二图像。
3.根据权利要求1或2所述的系统,其中所述控制器进一步被配置为:
确定第二用户在所述交互式显示区域处或附近的第二位置,同时所述第一用户也位于所述交互式显示区域处或附近;并且
基于所述传感器信号识别所述第二用户的特性。
4.根据权利要求3所述的系统,其中所述控制器进一步被配置为向所述长形显示器传输启动信息,以在处于所述第二用户的位置附近的所述交互式显示区域的第二区段处显示第二图像。
5.根据权利要求1至3中任一项所述的系统,其中所述长形显示器被配置为设置在壁面,并且其中所述长形显示器包括沿着所述多用户交互式显示区域水平地设置的多个区段。
6.根据权利要求1至5中任一项所述的系统,其中所述第一图像包括控制界面。
7.根据权利要求1至6中任一项所述的系统,其中所述传感器被配置为捕捉阻碍所述交互式显示区域的物件,并且其中所述控制器被配置为基于所述传感器信号识别所述物件并在所述长形显示器的与所识别物件不互相干扰的区段处显示控制界面。
8.根据权利要求1至7中任一项所述的系统,其中所述长形显示器包括并排布置的多个显示装置和设置在所述多个显示装置的至少一部分之上的电容式触控屏以限定所述交互式显示区域。
9.根据权利要求1至8中任一项所述的系统,其中所述传感器包括照相机、热像仪、麦克风、占用传感器或无线接收器中的至少一个。
10.根据权利要求1至9中任一项所述的系统,其中所述用户简档的预选设定包括控制界面的布置,所述控制界面被配置为操作烤箱、冰箱或恒温器中的至少一个。
11.一种交互式显示器组件,包括:
多个显示装置,以水平方式并排排列,以限定长形连续显示区域,其被配置为设置在壁面;
在所述长形连续显示区域的至少一部分上上覆的触控屏,以限定交互式显示区域;以及
控制器,被配置为:
从所述触控屏接收第一信息以响应于所述触控屏上的所述交互式显示区域处的触摸事件;并且
向所述多个显示装置中的至少一个传输第二信息,以在所述触摸事件的下伏位置处显示图像。
12.根据权利要求11所述的交互式显示器组件,其中所述多个显示装置包括至少两个LED显示面板。
13.根据权利要求11或12中任一项所述的交互式显示器组件,其中所述触控屏设置在所述多个显示装置的至少两个显示面板之上。
14.根据权利要求11至13中任一项所述的交互式显示器组件,其中所述触控屏包括电容式触摸面板。
15.根据权利要求11至14中任一项所述的交互式显示器组件,进一步包括附接到所述触控屏的边缘的支撑基座,其中所述触控屏被配置为绕远离所述多个显示装置和所述壁面的所述支撑基座枢转。
16.根据权利要求15所述的交互式显示器组件,其中所述支撑基座包括接收和支撑所述多个显示装置的下边缘部分的槽。
17.根据权利要求16所述的交互式显示器组件,其中所述多个显示装置的设置在所述槽中的所述下边缘部分不是所述交互式显示区域的一部分。
18.根据权利要求16或17中任一项所述的交互式显示器组件,其中所述控制器被配置为根据校准例程来确定所述交互式显示区域。
19.根据权利要求15至18中任一项所述的交互式显示器组件,其中所述支撑基座被配置为设置在所述壁面与橱柜的工作台面之间,并且其中所述支撑基座的厚度基本上等于所述多个显示装置的深度。
20.根据权利要求11至19中任一项所述的交互式显示器组件,进一步包括沿着所述触控屏的上边缘附接的插线板,其中所述插线板的至少一个插座被配置为接收附件插头。
21.根据权利要求11至19中任一项所述的交互式显示器组件,进一步包括具有传感器场的传感器,所述传感器场被配置为包围所述触控屏附近的其区域,其中所述传感器被配置为识别处于所述长形连续显示区域的一区段附近的用户。
22.根据权利要求21所述的交互式显示器组件,其中所述控制器被配置为令所述多个显示装置在所述长形连续显示区域识别出最接近所述用户的区段处显示所述图像,并且其中所述图像包括控制界面。
23.根据权利要求21或22中任一项所述的交互式显示器组件,其中所述传感器包括照相机、热像仪、麦克风、占用传感器或无线接收器中的至少一个。
24.根据权利要求11至23中任一项所述的交互式显示器组件,其中所述图像包括被配置为操作烤箱、冰箱或恒温器中的至少一个的控制界面。
25.根据权利要求11至24中任一项所述的交互式显示器组件,进一步包括沿着所述触控屏的上边缘附接的灯组件,其中所述灯组件具有被配置为将光引导到工作台面表面上的光元件。
26.一种用于安装交互式显示器组件的方法,所述方法包括:
在壁面以水平方式并排排列多个显示装置,以限定长形显示区域;
在所述多个显示装置中的至少两个显示装置的一部分之上上覆的触控屏面板,以提供其中所述触控屏面板与所述长形显示区域交叠的交互式显示区域;以及
运作校准例程以确定所述交互式显示区域的虚拟边界,所述虚拟边界定义所述交互式显示区域的可接触的部分的边界。
27.根据权利要求26所述的方法,其中所述校准例程包括在所述交互式显示区域的可接触的隅角处在触摸面板处接收触摸事件,其中所述触摸事件定义所述虚拟边界的边缘。
28.根据权利要求26或27中任一项所述的方法,进一步包括:
从所述触控屏接收第一信息以响应于所述触控屏上的所述交互式显示区域的所述可接触的部分处的触摸事件,;以及
向所述多个显示装置中的至少一个传输第二信息,以在所述触摸事件的下伏位置处显示图像。
29.根据权利要求26至28中任一项所述的方法,其中支撑基座附接到所述触控屏的边缘,其中所述触控屏被配置为绕远离所述多个显示装置和所述壁面的所述支撑基座枢转,以提供对所述多个显示装置的接触。
30.根据权利要求29中任一项所述的方法,其中所述支撑基座隐藏所述多个显示装置的下边缘部分,使得所述虚拟边界设置在所述多个显示装置的被隐藏的下边缘部分上方。
31.根据权利要求26至30中任一项所述的方法,进一步包括利用具有包含所述触控屏处或附近的区域的传感器场的传感器以识别处于所述长形显示区域的其区段附近的用户。
32.根据权利要求31所述的方法,进一步包括由所述传感器识别出离用户最接近的所述长形连续显示区域识别的区段处显示图像,并且其中所述图像包括控制界面。
33.根据权利要求32所述的方法,其中所述控制界面被配置为操作烤箱、冰箱或恒温器中的至少一个。
34.根据权利要求32或33中任一项所述的方法,其中所述传感器包括照相机、热像仪、麦克风、占用传感器或无线接收器中的至少一个。
35.根据权利要求26至34中任一项所述的方法,进一步包括:
利用具有包含所述触控屏处或附近处的区域的传感器场的传感器,在所述长形显示区域的第一区段处或附近识别第一用户;
利用所述传感器在所述长形显示区域的第二区段处或附近识别第二用户;
在所述长形显示区域的所述第一区段处显示第一图像,用于与所述第一用户交互;以及
在所述长形显示区域的所述第二区段处显示第二图像,用于与所述第二用户交互。
36.一种方法,包括:
在数据处理硬件处,从一厨房环境内的传感器接收传感器数据,所述传感器与安装在所述厨房环境内的竖直壁上的显示器通讯;
由所述数据处理硬件确定所述传感器数据示意用户的存在;
由所述数据处理硬件基于所述用户的存在来激活厨房API,所述厨房API被配置为与所述厨房环境内的一个或多个家用电器API通讯,每一家用电器API被配置为控制所述厨房环境内的至少一个家用电器;以及
由所述数据处理硬件在所述显示器上显示所述厨房API的交互式窗口。
37.根据权利要求36所述的方法,其中所述显示器限定了与所述厨房环境的所述竖直壁形成一体的后挡板。
38.根据权利要求36或37中任一项所述的方法,其中所述显示器沿着所述厨房环境内的多于一个的竖直壁延伸。
39.根据权利要求36至38中任一项所述的方法,其中所述厨房API附加地被配置为与家居自动化系统通讯。
40.根据权利要求36至39中任一项所述的方法,其中所述传感器安装在固定所述显示器的支架上。
41.根据权利要求40所述的方法,其中所述支架从垂直于所述竖直壁的工作台面表面延伸到所述显示器的外表面。
42.根据权利要求36至41中任一项所述的方法,其中所述显示器包括触控屏上覆层。
43.根据权利要求36至42中任一项所述的方法,其中所述传感器作为外部装置连接到所述显示器。
44.根据权利要求36至43中任一项所述的方法,其中所述传感器包括飞行时间(TOF)传感器或红外(IR)传感器中的至少一个。
45.根据权利要求36至44中任一项所述的方法,进一步包括:
在所述数据处理硬件处,从所述传感器接收最新的传感器数据;
由所述数据处理硬件确定最新的所述传感器数据示意手势动作,所述手势动作被配置为产生用于所述交互式窗口的相关联的运动;以及
由所述数据处理硬件基于所述手势动作产生用于所述交互式窗口的相关联的运动。
46.根据权利要求45所述的方法,其中所述手势动作包括手部的滑动,并且该相关联的运动将所述交互式窗口从与用户对准的中心位置移动到与用户不对准的偏移位置。
47.根据权利要求45所述的方法,其中所述手势动作包括张开手掌到拳头,并且相关联的运动将所述交互式窗口从所述显示器的背景移动到所述显示器的前景。
48.根据权利要求45所述的方法,其中所述手势动作包括推动动作,并且所述相关联的运动将所述交互式窗口从所述显示器的前景移动到所述显示器中的背景。
49.根据权利要求36至48中任一项所述的方法,其中确定所述传感器数据示意有用户的存在进一步包括:
确定存在于所述厨房环境内的用户的身份;以及
基于所确定身份来确定对存在于所述厨房API处的所述用户的授权。
50.根据权利要求36至49中任一项所述的方法,进一步包括由所述数据处理硬件产生对与相应的家用电器API相关联的远程服务器的访问请求,所述访问请求包括用户的交互。
51.根据权利要求36至50中任一项所述的方法,其中所述交互式窗口跟踪所述用户在该厨房环境内的位置。
52.根据权利要求36至51中任一项所述的方法,进一步包括:
在所述数据处理硬件处,从所述传感器接收最新的传感器数据;
通过所述数据处理,基于最新的所述传感器数据确定用户改变了在厨房环境中的位置;
由所述数据处理硬件识别所述用户的头部在所述厨房环境内的位置和所述用户的头部在所述厨房环境内的方向;以及
由所述数据处理硬件显示该交互式窗口,所述交互式窗口是与所述用户的头部的位置和所述用户的头部的方向对准的。
53.根据权利要求36至51中任一项所述的方法,进一步包括:
在所述数据处理硬件处,从所述传感器接收最新的传感器数据;
通过所述数据处理,基于最新的所述传感器数据确定所述用户改变了在厨房环境中的位置;
由所述数据处理硬件识别所述用户的躯干的质心在厨房环境内的位置;以及
由所述数据处理硬件显示与所述用户的躯干的质心的所述位置对准的交互式窗口。
54.一种系统,包括:
传感器;
显示器,其被安装在厨房环境内竖直壁上,与所述传感器通讯并被配置为接收传感器数据;
数据处理硬件;以及
存储器硬件,其与所述数据处理硬件通信,所述存储器硬件存储指令,当在所述数据处理硬件上执行时,该指令使得所述数据处理硬件实行包括以下的操作:
从所述厨房环境内的所述传感器接收传感器数据;
确定所述传感器数据示意用户的存在;
基于所述用户的存在激活厨房API,所述厨房API被配置为与所述厨房环境内的一个或多个家用电器API通讯,每一家用电器API被配置为控制所述厨房环境内的至少一个家用电器;以及
在所述显示器上显示所述厨房API的交互式窗口。
55.根据权利要求54所述的系统,包括根据权利要求36至54所述的限制中的任一者。
CN202080038484.2A 2019-03-28 2020-03-27 交互式厨房显示器 Pending CN113874818A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962825494P 2019-03-28 2019-03-28
US62/825,494 2019-03-28
US201962905778P 2019-09-25 2019-09-25
US62/905,778 2019-09-25
PCT/US2020/025373 WO2020198642A1 (en) 2019-03-28 2020-03-27 Interactive kitchen display

Publications (1)

Publication Number Publication Date
CN113874818A true CN113874818A (zh) 2021-12-31

Family

ID=72604689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080038484.2A Pending CN113874818A (zh) 2019-03-28 2020-03-27 交互式厨房显示器

Country Status (6)

Country Link
US (2) US20200312279A1 (zh)
EP (1) EP3948498A4 (zh)
JP (1) JP2022527280A (zh)
KR (1) KR20210142190A (zh)
CN (1) CN113874818A (zh)
WO (1) WO2020198642A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220100408A (ko) * 2021-01-08 2022-07-15 삼성전자주식회사 냉장고 및 그 제어 방법
US20220221932A1 (en) * 2021-01-12 2022-07-14 Microsoft Technology Licensing, Llc Controlling a function via gaze detection
US11871147B2 (en) 2021-06-09 2024-01-09 Microsoft Technology Licensing, Llc Adjusting participant gaze in video conferences
KR102557655B1 (ko) * 2021-07-15 2023-07-19 엘지전자 주식회사 디스플레이 디바이스

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5722747A (en) * 1995-02-10 1998-03-03 Australian Slatwall Industries Pty Ltd Merchandising display
KR20100120902A (ko) * 2009-05-07 2010-11-17 (주)초이스테크놀로지 터치 디스플레이 시스템
US20140365333A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail store customer natural-gesture interaction with animated 3d images using sensor array
US20150262861A1 (en) * 2008-12-31 2015-09-17 Taiwan Semiconductor Manufacturing Company, Ltd. Dielectric Punch-Through Stoppers for Forming FinFETs Having Dual Fin Heights
US20150262286A1 (en) * 2014-03-13 2015-09-17 Ebay Inc. Interactive displays based on user interest
US20160188109A1 (en) * 2014-12-30 2016-06-30 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
KR20170035116A (ko) * 2015-09-22 2017-03-30 동의대학교 산학협력단 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 방법
US20170095634A1 (en) * 2015-09-28 2017-04-06 J. W. Randolph Miller Systems and methods for analyzing and delivering nitric oxide gas

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63170780A (ja) * 1986-10-03 1988-07-14 インタランド・コーポレーション 一体化したマルチ・ディスプレイ型のオーバーレイ制御式通信ワークステーション
WO2002093502A1 (en) * 2001-05-17 2002-11-21 Nokia Corporation Remotely granting access to a smart environment
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
US9442584B2 (en) * 2007-07-30 2016-09-13 Qualcomm Incorporated Electronic device with reconfigurable keypad
US8519971B1 (en) * 2010-08-30 2013-08-27 Amazon Technologies, Inc. Rendering content around obscuring objects
KR20140024854A (ko) * 2011-02-08 2014-03-03 하워쓰, 인크. 멀티모달 터치스크린 상호대화 장치들, 방법들 및 시스템들
US8538461B2 (en) * 2011-08-31 2013-09-17 Microsoft Corporation Sentient environment
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
FR3018170B1 (fr) * 2014-03-10 2017-01-27 Eurokera Plan de travail en vitroceramique
CN105573158A (zh) * 2015-07-03 2016-05-11 储华群 一种基于互联网的智能厨房终端产品及其配置方法
WO2017026961A1 (en) * 2015-08-10 2017-02-16 Arcelik Anonim Sirketi A household appliance controlled by using a virtual interface
US10101860B2 (en) * 2016-07-20 2018-10-16 Displax S.A. Borderless projected capacitive multitouch sensor
US10668368B2 (en) * 2017-06-14 2020-06-02 Sony Interactive Entertainment Inc. Active retroreflectors for head-mounted display tracking
EP3454177B1 (en) * 2017-09-11 2020-06-10 Barco N.V. Method and system for efficient gesture control of equipment
US11314215B2 (en) * 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US10772458B2 (en) * 2018-07-25 2020-09-15 Willie Lawrence Rollable beverage brewing assembly

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5722747A (en) * 1995-02-10 1998-03-03 Australian Slatwall Industries Pty Ltd Merchandising display
US20150262861A1 (en) * 2008-12-31 2015-09-17 Taiwan Semiconductor Manufacturing Company, Ltd. Dielectric Punch-Through Stoppers for Forming FinFETs Having Dual Fin Heights
KR20100120902A (ko) * 2009-05-07 2010-11-17 (주)초이스테크놀로지 터치 디스플레이 시스템
US20140365333A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail store customer natural-gesture interaction with animated 3d images using sensor array
US20150262286A1 (en) * 2014-03-13 2015-09-17 Ebay Inc. Interactive displays based on user interest
US20160188109A1 (en) * 2014-12-30 2016-06-30 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
KR20170035116A (ko) * 2015-09-22 2017-03-30 동의대학교 산학협력단 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 방법
US20170095634A1 (en) * 2015-09-28 2017-04-06 J. W. Randolph Miller Systems and methods for analyzing and delivering nitric oxide gas

Also Published As

Publication number Publication date
EP3948498A4 (en) 2022-12-28
EP3948498A1 (en) 2022-02-09
KR20210142190A (ko) 2021-11-24
US20200310550A1 (en) 2020-10-01
JP2022527280A (ja) 2022-06-01
WO2020198642A1 (en) 2020-10-01
US20200312279A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
US20200312279A1 (en) Interactive kitchen display
US11513565B2 (en) Multipurpose speaker enclosure in a display assistant device
US10732721B1 (en) Mixed reality glasses used to operate a device touch freely
CN104464250B (zh) 用于可编程多媒体控制器的遥控装置
JP7193180B2 (ja) 家庭電器に制御用ユーザインタフェースを提供する方法及びシステム
EP2744152B1 (en) User terminal apparatus, network apparatus for enabling an intelligent communication, and control method thereof
JP2017524216A (ja) 対話型ミラー
US20200301378A1 (en) Deducing floor plans using modular wall units
US10685624B2 (en) Electronic apparatus and method for outputting content
US20050195972A1 (en) Decorative concealed audio-visual interface apparatus and method
JP6242535B2 (ja) ユーザ入力に基づいて制御システムのためのジェスチャ区域定義データを取得する方法
US20150002388A1 (en) Gesture and touch-based interactivity with objects using 3d zones in an interactive system
JP2013025789A (ja) 現実世界環境におけるジェスチャベースの対話型ホットスポット生成のシステム、方法及びプログラム
EP1671219A2 (en) Gesture to define location, size, and/or content of content window on a display
JP6629528B2 (ja) 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム
CN109891370B (zh) 辅助进行对象控制的方法及系统和非暂时性计算机可读记录介质
CN107969150A (zh) 用于辅助家庭中用户的设备
CN110032156A (zh) 家居设备的控制和调整方法、终端及家居设备
US11639806B2 (en) Thermostat control using touch sensor gesture based input
CN113359503A (zh) 设备控制方法及相关装置
KR20090076124A (ko) 가전 기기 제어 방법 및 이를 이용한 장치
CN108932092A (zh) 一种显示控制方法及终端设备
US20140189555A1 (en) Distance-assisted control of display abstraction and interaction mode
JPWO2020198642A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination