CN107969150A - 用于辅助家庭中用户的设备 - Google Patents

用于辅助家庭中用户的设备 Download PDF

Info

Publication number
CN107969150A
CN107969150A CN201680035193.1A CN201680035193A CN107969150A CN 107969150 A CN107969150 A CN 107969150A CN 201680035193 A CN201680035193 A CN 201680035193A CN 107969150 A CN107969150 A CN 107969150A
Authority
CN
China
Prior art keywords
equipment
user
unit
interactive unit
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680035193.1A
Other languages
English (en)
Inventor
D·H·布伊德兰
A·罗斯特
F·舍费尔
L·舒斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Bosch und Siemens Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Bosch und Siemens Hausgeraete GmbH filed Critical BSH Bosch und Siemens Hausgeraete GmbH
Publication of CN107969150A publication Critical patent/CN107969150A/zh
Pending legal-status Critical Current

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/067—Combinations of audio and projected visual presentation, e.g. film, slides
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Nutrition Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于辅助家庭中用户的设备(100)。所述设备(100)包括基座(130)，设备(100)可以借助于基座放置在固定的表面上。此外，所述设备(100)包括第一交互单元(110)，所述第一交互单元包括光学传感器(112)，所述光学传感器被设计为捕获所述设备(100)的环境中的感测区域中的图像数据。所述第一交互单元(110)可以相对于基座(130)移动，以便改变感测区域。此外，设备(100)包括第二交互单元(120)，所述第二交互单元包括投影仪(121)，所述投影仪被设计为将图像投影到设备(100)的环境中的投影表面上。所述第二交互单元(120)可以相对于所述第一交互单元(110)单独地移动，以便改变投影仪(121)的投影表面。所述设备(100)还包括控制单元(131)，所述控制单元被设计为确定所述设备(110)的用户在所述设备(100)的环境中的位置并且触发所述第一交互单元110)和所述第二交互单元(120)根据用户的位置来移动。另外，所述控制单元(131)被设计成确定用户的输入并且使投影仪(121)响应于所述输入将图像投影到投影表面上。

Description

用于辅助家庭中用户的设备
技术领域
本发明涉及一种用于辅助家庭中用户的设备，特别是用于家用器具的控制和监视。
背景技术
家庭中通常具有多个可用的家用器具、特别是诸如冰箱、烤箱、炊具等的多个家庭器具。所述家用器具可以例如用于将食物保持在特定的温度并且用于从食物中生产饭食或菜肴。家庭的管理涉及多个不同的任务、例如获得和保持食物库存、选择用于制备膳食的食谱、生产饭食等。
发明内容
本发明涉及的技术目标是提供一种辅助家庭中的人以有效的方式执行家庭中的多项任务的设备。
在每种情况下，所述目标通过独立权利要求的主题来实现。实施例的有利形式尤其在从属权利要求和随后的描述中进行描述，或者在附图中示出。
根据一个方面，将描述用于辅助家庭中用户的设备。所述设备在本文档中也将被称为私人厨房助理、缩写为PKA。所述设备包括基座，使用基座可以将所述设备放置在固定的表面上(例如在厨房的台面上)。在这种情况下，基座可以在设备的安装状态下相对于固定的表面是不可移动的。特别地，使用者可以借助于基座将设备放置在固定的表面上，使得设备安全且稳定地站立在固定的表面上(即使设备的部分移动，例如下面提到的交互单元所做的那样)。
此外，所述设备包括具有光学传感器(例如，静止图像摄像机或视频摄像机)的第一交互单元，所述光学传感器被配置成从设备的环境中的感测区域捕获图像数据。在这种情况下，所述感测区域通常具有设备的环境中的特定的、受限的水平角度范围。这意味着通常光学传感器不能同时感测到设备环境的360°的整个水平角度范围。通常感测区域具有120°、90°或更小的水平角度范围。为了改变感测区域(特别是在水平方向上)，第一交互单元可以相对于基座移动(例如借助于第一致动器、比如借助于第一电动马达)。
此外，所述设备包括第二交互单元，所述第二交互单元具有被配置为将图像投影到设备环境中的投影表面上的投影仪(例如微型投影仪)。在这种情况下，投影表面通常被限制在特定的水平角度范围(例如60°或更小)内。所述第二交互单元可以围绕投影仪的投影表面相对于第一交互单元单独地(例如借助于第二致动器、比如借助于第二电动马达)移动。
所述设备还包括控制单元，所述控制单元例如包括处理器和控制软件。所述控制单元被配置为确定设备的用户在设备的环境中的位置。特别地，所述位置可以相对于设备确定。例如，可以基于光学传感器的图像数据来检测用户的位置。此外，所述控制单元被配置为使得第一交互单元和第二交互单元各自根据用户的位置而移动。此外，所述控制单元被配置为(例如，基于光学传感器的图像数据)确定用户的输入，并且响应于所述输入使投影仪将图像投影到投影表面上。
通过所述设备使对家庭中用户的有效辅助成为可能。特别地，通过提供(至少)两个单独的交互单元(其可以彼此单独地移动)，使用户能够以有效的方式(例如经由面向用户的第一交互单元)进行输入(例如指令)并且接收相应的输出(例如经由背向用户的第二交互单元)。
所述控制单元可以被配置为使第一交互单元以使得用户至少部分位于光学传感器的感测区域中的方式移动。因此第一交互单元可以朝向用户移动。以这种方式，用户的有效输入成为可能(例如，通过评价处理图像数据)。此外，第二交互单元可以以使得投影表面以及设备都位于用户的视野中(从用户的当前位置开始)的方式移动。因此，所述第二交互单元(特别是第二交互单元的投影仪)可以远离用户移动。以这种方式，可以保证用户可以从用户的当前位置开始查看投影输出，并且使设备上的继续输入成为可能。
所述设备可以包括第一致动器(例如第一马达)，所述第一致动器被配置成响应于控制单元的第一控制信号使第一交互单元围绕第一旋转轴线移动，以便在360°的水平角度范围内围绕第一旋转轴线实现不同的感测区域。此外，所述设备可以包括第二致动器(例如第二马达)，所述第二致动器被配置成响应于控制单元的第二控制信号使第二交互单元围绕第二旋转轴线移动，以便在360°的水平角度范围内围绕第二旋转轴线实现不同的投影表面。在这种情况下，如果需要，所述第一和第二旋转轴线可以是相同的。通过交互单元的旋转，使得设备相对于使用者的位置的灵活对准成为可能。
所述设备可以包括声学传感器(例如作为第一交互单元的一部分和/或作为基座的一部分)，每个声学传感器被配置为检测与设备的环境中的声学信号有关的声学数据。声学传感器可以包括麦克风。所述声学传感器可以布置在设备的不同点处。以这种方式，可以实现通过用户触发的声学信号(例如用户的语音指令)对不同的声学传感器具有不同的延迟时间。
所述控制单元可以被配置为基于声学数据来检测用户在设备的环境中的存在。例如，可以检测到用户已经向设备发出语音指令。此外，控制单元可以被配置为基于多个声学传感器的声学数据来确定用户的位置。特别是可以为此目的评价处理声学信号的延迟时间。因此，声学传感器的使用使确定用户的位置成为可能。在这种情况下，所述位置可以独立于第一交互单元的当前定位来确定。此外，使用至少一个声学传感器使得使用自然语言方便地与用户交互成为可能。
所述控制单元可以被配置为基于多个声学传感器的声学数据来确定用户的第一位置。在这种情况下，所述第一位置可以对应于用户的实际位置的相对粗略的估计。然后所述控制单元可以使得第一交互单元根据用户的第一位置而移动，使得用户至少部分地位于光学传感器的检测区域中。然后，在进一步的步骤中，基于图像数据，可以确定用户的第二位置。通常可以基于图像数据以更高的精度确定用户的位置。因此第二位置通常代表比第一位置更精确地估计用户的实际位置。然后控制单元可以使得第一交互单元和第二交互单元根据用户的第二位置而移动。以这种方式，可以使设备的交互单元稳定且精确地对准，从而与用户进行有效的交互。
所述设备可以包括存储器单元，所述存储器单元被配置为存储关于一个或两个以上预定义用户的简档数据。所述简档数据可以包括一个或两个以上预定义用户的特征(例如语音简档和/或图像外观简档)，其中这些特征使得识别用户成为可能。所述控制单元可以被配置基于简档数据并且还基于声学数据和/或图像数据来确定所述用户是否对应于预定义的用户。因此，所述设备可以以有效的方式识别用户并且可以适应该用户。为此，如果需要，简档数据可以包括与用户有关的更多信息、例如关于用户的偏好、习惯等的信息。在这种情况下，如果需要，可以提供用户的唯一标识的功能作为可以通过用户停用的选项(例如基于数据保护)。此外，用于识别用户的简档数据可以被专门地本地存储在设备的存储器单元中用于数据保护。
所述控制单元可以被配置成根据声学数据将设备从休眠模式转换到活动模式。以这种方式，可以通过声学信号(特别是通过声音输入)方便地激活设备。作为替代地或附加地，控制单元可以被配置成基于声学数据、借助于直观语音控制、例如基于自然语言处理来确定用户的输入。以这种方式，通过使用自然的人类语音，用户可以以有效的方式向设备给出指令(例如为了获得与特定家用器具有关的信息)。
所述投影仪通常具有相对于第二交互单元固定的投影方向。所述第二交互单元可以包括被配置为检测距离数据的距离传感器，所述距离数据显示相应距离传感器在投影方向上到设备环境中的表面的距离。在这种情况下，距离传感器被布置在第二交互单元的不同点处。控制单元可以被配置为使第二交互单元也根据距离而移动。特别地，可以基于距离数据来检测设备的环境中的平坦表面(例如，房间中的墙壁)。如果需要(考虑到用户的位置)，可以使用这个平坦表面作为投影仪的投影表面。
所述第一交互单元可以包括输入/输出单元，所述输入/输出单元被配置为检测用户的触摸输入和/或经由屏幕向用户生成光学输出。所述输入/输出单元尤其可以具有触敏屏幕。此外所述设备、特别是第一交互单元可以具有被配置为生成声学输出(例如语音)的声学致动器(例如扬声器)。所述设备与用户之间的交互可以通过输入/输出单元和/或通过声学致动器来改善。
所述设备可以包括通信单元，所述通信单元被配置为经由通信连接与家用器具(特别是与诸如烤箱、炊具、冰箱等的家庭器具)和/或与服务器(例如与互联网服务器和/或与家庭以外的服务器)通信。通信链路可以包括无线和/或有线通信连接(例如LAN、WLAN、蓝牙、UMTS、LTE等)。
所述控制单元可以被配置为响应于用户的输入从家用器具来获得信息(例如家用器具的状态)和/或从服务器来获得信息(例如食谱)。此外，控制单元可以被配置为使投影仪在投影图像中呈现信息。通过提供通信单元，家用器具的有效交互(特别是控制和/或监控)成为可能。
例如，控制单元可以被配置为从服务器(例如，从互联网服务器)获得用于生产食物的指令(特别是食谱)。然后控制单元可以根据所述指令并且根据用户的输入来控制家用器具。以这种方式，作为家庭任务的食物生产对于用户可以变得更容易。例如，控制单元可以被配置基于与用户有关的图像数据来确定食物生产过程的进展。然后，家用器具(特别是家庭器具)可以根据指令并且根据过程的进展(即根据图像数据)来控制。
所述控制单元可以被进一步配置为确定与用户有关的简档数据。所述简档数据可以存储在设备的存储单元中。然后，根据简档数据并且根据用户的输入，可以创建购物清单。如果需要，可以使用通信单元将所述购物清单发送到远程电子设备(例如智能手机)。因此，家庭中的食物管理对于用户可以变得更容易。
所述控制单元可以被配置为基于用户的多个输入来为用户生成简档数据并且将其存储在设备的存储单元中。所述简档数据可以例如显示用于识别用户的特征、用户的偏好和/或用户的习惯。这使得所述设备能够以有效的方式适应于一个或两个以上用户。
应该注意的是，本文中所描述的设备的任何方面可以以多种方式相互组合。特别是权利要求的特征可以以多种方式相互组合。
附图说明
以下将基于附图中示出的示例性实施例更详细地描述本发明。在图中：
图1示出了一个家庭个人助理的示例；
图2示出了个人助理的通信伙伴的示例。
具体实施方式
如本文开头所解释的，本文件涉及辅助家庭中的个人执行和计划家庭的多个任务。在这种背景下，图1示出了特别适用于控制家庭中的家用器具的设备100。设备100在本文中也将被称为个人厨房助理或简称PKA。设备100通常是(相对小的)厨房机器的尺寸，并且可以例如放在厨房的台面上。
PKA 100包括基座130以及至少两个可移动地布置在基座130上的交互单元110、120。在这种情况下，两个交互单元110、120可以在基座130上彼此独立地移动。示例中示出的PKA 100包括第一交互单元110，所述第一交互单元110可以围绕与基座130成直角延伸的旋转轴线旋转。此外，图1中示出的PKA 100包括第二交互单元120，所述第二交互单元120同样的(独立于第一交互单元110)可以围绕旋转轴线旋转。所述交互单元110、120可以分别通过专用致动器(例如马达)(图1中未示出)移动。
所述第一交互单元110包括用于与PKA 100的用户交互的一个或两个以上交互模块111、112、113、114，其中第一交互单元110的一个或两个以上交互模块111、112、113、114应该面向用户以与用户交互。特别地，第一交互单元110可以包括用于输出信息和也可能用于输入指令的屏幕111(例如，触敏屏幕)。此外，第一交互单元110可以包括被配置为捕获图像数据(例如与PKA 100的用户有关的图像数据)的摄像机112。此外，第一交互单元100可以包括用于声学输出(例如，用于输出语音和/或声音)的扬声器113。第一交互单元110可以还包括一个或两个以上麦克风114，以便从PKA 100的环境(例如，用户的口头指示)中捕获声学数据或声学信号。
所述第二交互单元120可以包括一个或两个以上交互模块121，为了与PKA 100的用户进行交互，交互模块121应当背离用户。特别地，所述第二交互单元120可以包括投影仪121，投影仪121被配置成将图像投影到PKA 100的环境中的投影表面上。所述图像可以被投影，使得用户可以从用户的当前位置看到它。为此目的，第二交互单元120可以以合适的方式移动(特别是旋转)，以便将图像投影到合适的投影表面上。为了确定合适的投影表面，第二交互单元120还可以具有一个或两个以上距离传感器122，距离传感器122被配置为确定到投影表面(例如到PKA 100的房间中的墙壁)的距离。通过使用位于交互单元120上的不同点处的至少两个距离传感器122，可以识别出例如用于图像的投影的尽可能平坦或均匀的合适投影表面。
所述PKA 100还包括控制单元131，控制单元131被配置为控制第一和第二交互单元110、120的移动并且控制PKA 100的一个或两个以上功能。此外，PKA 100包括通信单元132，通信单元132被配置为经由通信网络与其它电子设备通信。这在图2中以示例的方式示出。特别地，在图2中示出了PKA 100如何经由通信单元132与家庭中的一个或两个以上家用器具201、与一个或两个以上服务器202(例如互联网服务器)和/或与一个或两个以上个人电子设备203(例如智能电话)通信。为此目的，通信单元132可以被配置为建立有线(例如LAN)和/或无线(例如WLAN，蓝牙，UMTS，LTE等)通信链路。如图1所示，控制单元131和/或通信单元132可以布置在PKA 100的基座130中。
所述控制单元131可以被配置为检测PKA 100的用户。此外，控制单元131可以被配置为相对于PKA 100的位置来确定用户的位置。例如，可以基于声学数据和/或基于图像数据来检测用户。例如，它可以基于用户正在与PKA 100讲话的声学数据来识别。当使用布置在PKA 100中的不同位置处的多个麦克风114时，用户的位置可以基于各个声学信号的延迟时间位移来确定(至少粗略地)。可以随后通过控制单元131使第一交互单元110在所确定的用户位置的方向上移动摄像机112。然后，在第二步骤中，基于摄像机112捕获的图像数据，可以更精确地确定用户的位置。第一交互单元110可进一步移动，以确保第一交互单元110的屏幕111尽可能精确地朝向用户。因此使得用户能够以有效的方式经由屏幕111查看输出和/或经由屏幕111进行输入。以相应的方式，摄像机112也可以面向用户，通过用户的手势或面部表情来进行可靠的输入。
如果用户的位置是已知的，则可以移动第二交互单元120，使得第二交互单元120的投影仪121可以将图像投影到投影表面上，用户可以从其当前位置观看投影表面。例如，在投影图像中可以显示关于一个或两个以上家用器具201的状态和/或关于待准备膳食食谱的方法步骤的信息。
所述PKA 100可以被配置为检测用户的指令(例如，通过经由屏幕111的输入、通过语音输入或通过手势或面部表情)。此外，PKA 100可以被配置为根据指令执行操作。特别地，家庭的一个或两个以上家用器具201可以根据指令进行控制。为此目的，合适的控制信号可以经由通信单元132传送到一个或两个以上家用器具201中。
下面将介绍PKA 100的功能实例。如果需要，这些功能可以由PKA 100单独提供。PKA 100可以通过通信单元132使得PKA 100与一个或两个以上家用器具201或其它电子设备203之间的双向通信成为可能。特别地，在这种情况下，与家用器具201或电子设备203的状态有关的状态信息可以被传送到PKA 100。通过投影(通过投影仪121)和/或声音(通过一个或两个以上麦克风114)，可以在PKA 100与一个或两个以上用户之间进行双向通信。
可以基于图像数据和/或基于声学数据来识别用户的存在并且通过面部和/或语音识别来执行用户识别。为了评价处理用户的语音输入，可以使用直观的语音控制、特别是NLP(自然语言处理，Natural Language Processing)。
所述PKA 100可以包括存储单元133，其中可以存储用于PKA 100的一个或两个以上用户的简档。特别是用户的偏好和习惯可以存储在用户的简档中。例如，可以存储优选的食物，这可以在创建购物清单时考虑(例如在检测到冰箱的内容的当前状态之后)。
所述PKA 100可以包括电池或可充电电池，其被配置为存储用于PKA100的操作的能量。因此，PKA 100可以是移动的和便携的。
所述PKA 100可以经由用户的语音、手势和/或面部表情(经由面部检测)来控制。此外，可以基于图像数据和/或基于声学数据来配置PKA 100以建立用户的心理状态(例如满意、不满意、鼓励、拒绝)。然后PKA 100的操作可以适应于所确定的心理状态(例如，用于投影的颜色可以适应心理状态)。以这种方式可以改善与用户的交互。
所述PKA 100可以被配置成借助于投影仪121(例如借助微型投影仪)将内容投影到投影仪表面上。投影内容可以由用户预先请求(例如通过语音)。内容可以根据用户的指令(如果有必要，根据当前情况)确定，然后进行投影。例如，搜索请求的结果可由PKA 100确定和投影。
在一个应用的示例中，用户可以在PKA 100的指令下创建一个购物清单。为了这个目的，如果需要，可以访问存储单元133中的默认购物清单。此外，可以确定冰箱201的内容。然后，(例如，通过形成默认购物清单和冰箱内容之间的差异)，可以经由投影仪121确定并且输出购物清单。该清单可以根据输入(例如手势输入)来调整。此外，通过询问一个或两个以上服务器202，可以确定购物清单的元素的当前价格(例如，来自不同的供应商)。然后可以选择合适的供应商。如果需要，可以将购物清单从PKA 100转移到另一个人的个人设备203，同时请求从所选择的供应商那里购买列出的元素。
所述PKA 100可以被配置为辅助用户创建食物(例如烘焙食物或膳食)。结合这样的应用示例，将描述PKA 100的进一步功能，其也可以通过PKA 100与本应用示例分开提供。
通过直接访问，可以激发PKA 100的唤醒功能(即，从空闲状态到活动状态的转换)。PKA 100可以自动识别可能的空闲投影表面并且引起投影仪121或第二交互单元120自主机械旋转到正确的投影位置。在这种情况下，优选地将投影系统(即，第二交互单元120)与用于手势识别的系统(即，第一交互单元110)进行机电解耦，例如，使得具有水平和/或垂直轴线的投影系统(即，第二交互单元120)可以在水平和/或垂直运动中执行360°的可枢转运动，而手势识别系统(即，第一交互单元110)旋转面向用户并且保持面部固定，从而提示用户注意并且可以正确地识别手势。因此，PKA 100的控制单元131可以被配置为基于光学传感器112的图像数据识别用户的头部并且使得第一交互单元110被移动，使得用户的头部保持在光学传感器112的感测区域中。
所述PKA 100可以被配置为生成用于与用户通信的手势，例如，通过将第一交互单元的屏幕111转向他们或转离他们或者通过第一交互单元110的水平摇动/垂直点头作为对用户的交互式反馈。例如，可以通过第一交互单元110的移动来建议明确的忽略或同意、愉快等。因此，PKA 100可以被配置为通过交互单元110的移动来与用户通信。此外，PKA 100可以包括作为附加反馈的振动源。
所述PKA 100可以被配置为基于声学数据和/或图像数据来识别用户的存在。此外，用户的输入可以经由语音输入(特别是通过直观的语音控制，例如通过自然语言处理)来进行。
响应于输入，PKA 100可以建立到本地和/或外部食谱数据库的通信连接。为用户定制的食谱可以以列表或图像的形式确定并且经由投影仪121输出。在这种情况下，食谱建议可以区分显示，例如根据家中可用的原料和设备进行区分，并且另一边根据不可用还有待购买的原料和设备进行区分。如果需要，食谱建议可以适应即将发生的事件，例如生日、晚餐、早午餐等。
此外，PKA 100可以被配置为将所选择的食谱的计划准备时间与用户的时间表同步，并且在必要时通知用户所需的准备时间与他们的时间表冲突。如果需要，用户可以查找另一个食谱。此外，还可以例如关于原料的可用性与其它PA 100(例如在其它家庭中)同步。这使得用户能够被通知在邻近家庭中有特定原料可用。
所述PKA 100可以具有用于输入或自动检测家庭中可用设备的选项，例如，通过RFID标签和/或通过直接图像识别和/或通过用户的口头描述。用户的输入(诸如选择或交互)可以通过语音控制和/或通过手势识别来进行。
所述PKA 100可以被配置为经由通信单元132来控制家用器具201或者询问与家用器具201有关的状态。在这种情况下，家用器具201可以包括冰箱、炊具、真空吸尘器、搅拌器、厨房机器、多炊具、小家电等。特别地，家用器具201可以根据选择的食谱来控制。例如，可以确定冰箱的占用水平或内容。此外，炊具可以根据食谱的进展来控制，例如通过交互式预热、通过程序选择、通过多级程序的选择、通过定时器的设置、通过停用等。此外，搅拌器可以被控制，例如通过用户的语音命令或手势自动打开和关闭。在这种情况下，可以预先选择适合食谱的持续时间、转速。此外，可以启动机器人真空吸尘器，例如在食谱完成后清洁厨房。PKA 100可进一步被配置为：当烘烤过程结束时，使烤箱门打开和/或使伸缩式拉出搁架展开。
PKA 100的功能的进一步示例将在下面通过另一个示例进行描述。PKA 100可以具有单独的功能(例如独立于所示的示例)。如已经说明的那样，可以通过语音控制将PKA 100置于激活状态。PKA 100可以是便携式的和/或移动的。此外，PKA 100可以通过电池操作(如果需要，可以通过固定充电站充电)。PKA 100也可以有报警功能。
通过使用至少两个麦克风114，可以确定用户/说话者的位置(例如，具有+/-10％的准确度)。如有必要，PKA 100的环境中的物体可以被PKA100通过RFID标签识别。
所述PKA 100可以被配置为经由通信连接(例如在消息信道上)获得对媒体数据库的访问。来自媒体数据库的信息可以被确定并经由投影仪121显示。在这种情况下，可以考虑用户偏好(如果需要，可以通过PKA 100自动学习)。此外，所显示的信息可以根据在PKA100的环境中存在的人来选择。另外，内容可以根据在PKA 100的环境中存在的人的感兴趣的领域来划分。
所述PKA可以提供提醒或通知功能。例如，响应天气预报，可以给你一个带上雨伞的通知。PKA 100可以经由通信单元131与家庭中的娱乐系统(诸如TV，无线电等)交互。特别地，这些设备可以通过PKA 100远程控制。
所述PKA 100可以与个人电子设备203交互。例如，电子设备203的所有者的位置可以经由个人电子设备203来确定。然后所述位置可以通过PKA 100输出。PKA 100可以经由通信单元132与家庭中的家庭技术设备通信。例如，可以通过PKA 100确定并且输出房屋入口处的摄像机的图片。此外，PKA 100可以被配置为提供到门电话的连接，以便能够直接从PKA100与在门处的人通信，并且如果需要操作开门器。
所述PKA 100可以通过麦克风和投影以及互联网连接提供用于与其他人进行交互的视频会议系统。特别是发出的会议数据可以经由摄像机112和经由麦克风114提供，所述会议数据可以被发送给会议伙伴。另一方面，来自会议伙伴的输入会议数据可以经由投影仪121和扬声器113输出。
所述PKA可以被配置为访问软件数据库，以便获得用于扩展功能范围的软件更新和/或软件应用程序。
因此，PKA 100使得用于辅助家庭中用户的多种不同的功能成为可能，特别是与家用器具201的自动交互成为可能，例如烤箱、洗碗机、厨房机器等的控制。在这种情况下，用户只是间接地干预控制，因为用户选择了烹饪食谱并且开始准备合适的面团。PKA 100分析用户的动作，并且在设备控制的时序方面得出结论，并且与用户交互地检查家用器具100。为此目的，PKA 100可以实际上连续地评价处理与用户有关的图像数据，以便确定过程的进展。
在多个PKA 100之间可以有自主通信，例如，用于邻近家庭的冰箱内容的同步、用于烹饪食谱的同步等。此外，可以存在与用户的自适应交互，例如学习并且随后基于视觉和/或声学特征识别用户的心理状态。PKA 100可以被配置经由语音输出和/或经由面部表情/手势的模拟来与用户通信(例如，通过PKA 100的硬件或软件组件的真实或虚拟移动，其模拟自然人反应)。
所述PKA 100可以被配置为与日历和/或用户习惯进行同步以及与在线服务、重复任务等进行同步，并且语音输出或投影输出有关同步的相关信息。此外，还可以将用户的需求(例如用餐要求、食谱要求等)，与互联网中的资源(例如订餐平台、在线业务等)自动同步。
本发明不限于所示的示例性实施例。需要特别指出的是，说明书和附图仅旨在说明所提出设备的原理。

Claims (15)

1.一种用于辅助家庭中用户的设备(100)，其中所述设备(100)包括：
-基座(130)，所述设备(100)可以使用所述基座(130)放置在固定的表面上；
-具有光学传感器(112)的第一交互单元(110)，所述光学传感器被配置为捕获所述设备(100)的环境中的感测区域中的图像数据，其中所述第一交互单元(110)能够相对于所述基座(130)移动，以便改变所述感测区域；
-第二交互单元(120)，其包括被配置为将图像投影到所述设备(100)的环境中的投影表面上的投影仪(121)，其中所述第二交互单元(120)能够相对于所述第一交互单元(110)单独地移动，以便改变所述投影仪(121)的所述投影表面；和
-控制单元，其被配置为：
-确定所述设备(100)的用户在设备(100)的环境中的位置；
-使所述第一交互单元(110)和所述第二交互单元(120)各自根据所述用户的位置而移动；
-确定所述用户的输入；和
-响应于所述输入，使所述投影仪(121)将图像投影到所述投影表面上。
2.根据权利要求1所述的设备(100)，其中，所述控制单元(131)被配置为使得：
-所述第一交互单元(110)移动，从而使得用户至少部分地位于光学传感器(112)的感测区域中；和
-所述第二交互单元(120)移动，从而使得所述投影表面以及所述设备(100)都位于所述用户的视野中。
3.根据前述权利要求之一所述的设备(100)，其中，
-所述设备(100)包括声学传感器(114)，所述声学传感器(114)各自被配置为检测与所述设备(100)的环境中的声学信号有关的声学数据；
-所述声学传感器(114)被布置在设备(100)的不同点处；且
-所述控制单元(131)被配置为，
-基于声学数据来检测所述设备(100)的环境中的用户的存在；和
-基于所述声学传感器(114)的声学数据来确定用户的位置。
4.根据权利要求3所述的设备，其中，所述控制单元(131)被配置为：
-基于所述声学传感器(114)的声学数据确定用户的第一位置；
-使所述第一交互单元(110)根据所述用户的所述第一位置而移动，使得所述用户至少部分地位于所述光学传感器(112)的感测区域中；
-基于所述图像数据确定用户的第二位置；和
-使所述第一交互单元(110)和所述第二交互单元(120)根据所述用户的所述第二位置移动。
5.根据权利要求3至4中任一项所述的设备(100)，其中，
-所述设备(100)包括存储器单元(133)，所述存储器单元(133)被配置为存储有关一个或两个以上预定义用户的简档数据；且
-所述控制单元(131)被配置为基于简档数据并且还基于声学数据和/或图像数据来确定所述用户是否对应于预定义用户。
6.根据权利要求3至5中任一项所述的设备，其中，所述控制单元(131)被配置为根据所述声学数据将所述设备(100)从休眠模式转换到活动模式。
7.根据权利要求3至6中任一项所述的设备(100)，其中，所述控制单元(131)被配置为基于所述声学数据来确定所述用户的输入。
8.根据前述权利要求之一所述的设备(100)，其中，
-所述投影仪(121)具有相对于所述第二交互单元(120)的投影方向；
-所述第二交互单元(120)包括距离传感器(122)，所述距离传感器(122)被配置为检测距离数据，所述距离数据显示从相应距离传感器(122)在所述投影方向上到所述设备的(100)的环境中的表面的距离；
-所述距离传感器(122)被布置在所述第二交互单元(120)的不同点处；和
-所述控制单元(131)被配置为使第二交互单元(120)也根据所述距离数据而移动。
9.根据前述权利要求中任一项所述的设备(100)，其中，所述第一交互单元(110)包括输入/输出单元(111)，所述输入/输出单元(111)被配置为检测所述用户的触摸输入和/或经由屏幕向用户生成光学输出。
10.根据前述权利要求中任一项所述的设备(100)，其中，所述设备(100)、特别是所述第一交互单元(110)包括声学致动器(113)，所述声学致动器(113)被配置为生成声学输出。
11.根据前述权利要求中任一项所述的设备(100)，其中，
-所述设备包括通信单元(132)，所述通信单元(132)被配置为经由通信连接与家用器具(201)和/或与服务器(202)通信；
-所述控制单元(131)被配置为响应于所述输入而从所述家用器具(201)和/或从所述服务器(202)获得信息；和
-所述控制单元(131)被配置为使所述投影仪(121)在投影图像中显示所述信息。
12.根据权利要求11所述的设备(100)，其中，所述控制单元(131)被配置为：
-从所述服务器(202)获得用于创建食物的指令，和
-根据所述指令并且根据所述用户的输入来控制家用器具(201)。
13.根据权利要求11至12中任一项所述的设备(100)，其中，所述控制单元(131)被配置为：
-确定与所述用户有关的简档数据；
-根据所述简档数据并且根据所述用户的输入创建购物清单；和
-使用所述通信单元(132)将所述购物清单发送到远程电子设备(203)。
14.根据权利要求11至13中任一项所述的设备(100)，其中，
-所述控制单元(131)被配置为基于所述用户的多个输入来生成用户的简档数据并且将其存储在所述设备(100)的存储器单元(133)中；和
-所述简档数据显示用于识别所述用户的特征、所述用户的偏好和/或所述用户的习惯。
15.根据前述权利要求中任一项所述的设备(100)，其中，
-所述设备包括第一致动器，所述第一致动器被配置为响应于所述控制设备(131)的第一控制信号而使所述第一交互单元(110)围绕第一旋转轴线移动，以便能够在360°的水平角度范围内围绕所述设备(100)实现不同的感测区域；和/或
-所述设备包括第二致动器，所述第二致动器被配置为响应于所述控制设备(131)的第二控制信号而使所述第二交互单元(120)围绕第二旋转轴线移动，以便能够在360°的水平角度范围内围绕所述设备(100)实现不同的投影表面。
CN201680035193.1A 2015-06-15 2016-05-20 用于辅助家庭中用户的设备 Pending CN107969150A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015210879.1A DE102015210879A1 (de) 2015-06-15 2015-06-15 Vorrichtung zur Unterstützung eines Nutzers in einem Haushalt
DE102015210879.1 2015-06-15
PCT/EP2016/061404 WO2016202524A1 (de) 2015-06-15 2016-05-20 Vorrichtung zur unterstützung eines nutzers in einem haushalt

Publications (1)

Publication Number Publication Date
CN107969150A true CN107969150A (zh) 2018-04-27

Family

ID=56121024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680035193.1A Pending CN107969150A (zh) 2015-06-15 2016-05-20 用于辅助家庭中用户的设备

Country Status (5)

Country Link
US (1) US20180176030A1 (zh)
EP (1) EP3308224A1 (zh)
CN (1) CN107969150A (zh)
DE (1) DE102015210879A1 (zh)
WO (1) WO2016202524A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110393922A (zh) * 2019-08-26 2019-11-01 徐州华邦益智工艺品有限公司 一种具有投射功能的声控毛绒玩具狗
CN110579985A (zh) * 2018-06-07 2019-12-17 佛山市顺德区美的电热电器制造有限公司 一种控制方法、装置及系统
CN110891165A (zh) * 2019-12-03 2020-03-17 珠海格力电器股份有限公司 一种投影装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3471924A4 (en) * 2016-06-15 2020-07-29 iRobot Corporation SYSTEMS AND METHODS OF CONTROL OF AN AUTONOMOUS MOBILE ROBOT
DE102017213427A1 (de) * 2017-08-02 2019-02-07 BSH Hausgeräte GmbH Küchenmaschine mit Anzeige
DE102017215279A1 (de) 2017-08-31 2019-02-28 BSH Hausgeräte GmbH Haushaltsassistent
DE102017218162A1 (de) 2017-10-11 2019-04-11 BSH Hausgeräte GmbH Haushaltsassistent mit Projektor
ES2713598A1 (es) * 2017-11-15 2019-05-22 Bsh Electrodomesticos Espana Sa Sistema de aparato doméstico
DE102018001509A1 (de) * 2018-02-27 2019-08-29 MChef GmbH & Co.KG Verfahren und System zum Zubereiten von Speisen
DE102018205558A1 (de) 2018-04-12 2019-10-17 BSH Hausgeräte GmbH Küchenvorrichtung mit abbildendem Flächenelement für digitale Inhalte und Küchenanordnung mit Küchenvorrichtung
EP3736497A1 (en) * 2019-05-06 2020-11-11 Electrolux Appliances Aktiebolag Cooking appliance
EP4271969A1 (en) * 2020-12-30 2023-11-08 InterProducTec Consulting GmbH & Co. KG Food processing system
EP4086726A1 (en) * 2021-05-06 2022-11-09 BSH Hausgeräte GmbH Electronic device for providing information regarding an appliance

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10027963A1 (de) * 2000-06-08 2001-12-13 O F A Line Gmbh Lebensmittelerkennung durch Kühlschränke mittels Tranponder
US20040036717A1 (en) * 2002-08-23 2004-02-26 International Business Machines Corporation Method and system for a user-following interface
JP2006314531A (ja) * 2005-05-12 2006-11-24 Cleanup Corp システムキッチン
CN1981257A (zh) * 2004-07-08 2007-06-13 皇家飞利浦电子股份有限公司 在用户和系统之间进行通信的方法和系统
US20100182136A1 (en) * 2004-09-07 2010-07-22 Timothy Pryor Control of appliances, kitchen and home
US20110288964A1 (en) * 2010-05-24 2011-11-24 Massachusetts Institute Of Technology Kinetic Input/Output
CN102999282A (zh) * 2011-09-08 2013-03-27 北京林业大学 基于实时笔画输入的数据对象逻辑控制系统及其方法
CN103170980A (zh) * 2013-03-11 2013-06-26 常州铭赛机器人科技有限公司 一种家用服务机器人的定位系统及定位方法
US20130218395A1 (en) * 2012-02-22 2013-08-22 Electronics And Telecommunications Research Institute Autonomous moving apparatus and method for controlling the same
US20130279706A1 (en) * 2012-04-23 2013-10-24 Stefan J. Marti Controlling individual audio output devices based on detected inputs
US20130346084A1 (en) * 2012-06-22 2013-12-26 Microsoft Corporation Enhanced Accuracy of User Presence Status Determination

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3819856A (en) * 1972-04-17 1974-06-25 D Pearl Camera capsule
US7249708B2 (en) * 2005-02-04 2007-07-31 The Procter & Gamble Company Household management systems and methods
ITBO20100193A1 (it) * 2010-03-27 2011-09-28 Chanan Gardi Apparecchiatura multimediale
US8322863B1 (en) * 2010-06-18 2012-12-04 Samuel Seungmin Cho Apparatus and method for automated visual distortion adjustments for a portable projection device
US20130052616A1 (en) * 2011-03-17 2013-02-28 Sears Brands, L.L.C. Methods and systems for device management with sharing and programming capabilities
JP5961945B2 (ja) * 2011-08-18 2016-08-03 株式会社リコー 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
US8990274B1 (en) * 2012-05-10 2015-03-24 Audible, Inc. Generating a presentation associated with a set of instructions
US8983662B2 (en) * 2012-08-03 2015-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Robots comprising projectors for projecting images on identified projection surfaces
US20140095479A1 (en) * 2012-09-28 2014-04-03 Sherry S. Chang Device, method, and system for recipe recommendation and recipe ingredient management
US9239627B2 (en) * 2012-11-07 2016-01-19 Panasonic Intellectual Property Corporation Of America SmartLight interaction system
CA2904359A1 (en) * 2013-03-15 2014-09-25 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US20140365225A1 (en) * 2013-06-05 2014-12-11 DSP Group Ultra-low-power adaptive, user independent, voice triggering schemes
US9494683B1 (en) * 2013-06-18 2016-11-15 Amazon Technologies, Inc. Audio-based gesture detection
US20150146078A1 (en) * 2013-11-27 2015-05-28 Cisco Technology, Inc. Shift camera focus based on speaker position
EP2975908A1 (en) * 2014-06-18 2016-01-20 Toshiba Lighting & Technology Corporation Lighting device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10027963A1 (de) * 2000-06-08 2001-12-13 O F A Line Gmbh Lebensmittelerkennung durch Kühlschränke mittels Tranponder
US20040036717A1 (en) * 2002-08-23 2004-02-26 International Business Machines Corporation Method and system for a user-following interface
CN1981257A (zh) * 2004-07-08 2007-06-13 皇家飞利浦电子股份有限公司 在用户和系统之间进行通信的方法和系统
US20100182136A1 (en) * 2004-09-07 2010-07-22 Timothy Pryor Control of appliances, kitchen and home
JP2006314531A (ja) * 2005-05-12 2006-11-24 Cleanup Corp システムキッチン
CN102498442A (zh) * 2009-05-19 2012-06-13 苹果公司 用具，厨房和住宅的控制
US20110288964A1 (en) * 2010-05-24 2011-11-24 Massachusetts Institute Of Technology Kinetic Input/Output
CN102999282A (zh) * 2011-09-08 2013-03-27 北京林业大学 基于实时笔画输入的数据对象逻辑控制系统及其方法
US20130218395A1 (en) * 2012-02-22 2013-08-22 Electronics And Telecommunications Research Institute Autonomous moving apparatus and method for controlling the same
US20130279706A1 (en) * 2012-04-23 2013-10-24 Stefan J. Marti Controlling individual audio output devices based on detected inputs
US20130346084A1 (en) * 2012-06-22 2013-12-26 Microsoft Corporation Enhanced Accuracy of User Presence Status Determination
CN103170980A (zh) * 2013-03-11 2013-06-26 常州铭赛机器人科技有限公司 一种家用服务机器人的定位系统及定位方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579985A (zh) * 2018-06-07 2019-12-17 佛山市顺德区美的电热电器制造有限公司 一种控制方法、装置及系统
CN110393922A (zh) * 2019-08-26 2019-11-01 徐州华邦益智工艺品有限公司 一种具有投射功能的声控毛绒玩具狗
CN110891165A (zh) * 2019-12-03 2020-03-17 珠海格力电器股份有限公司 一种投影装置
CN110891165B (zh) * 2019-12-03 2021-05-25 珠海格力电器股份有限公司 一种投影装置

Also Published As

Publication number Publication date
DE102015210879A1 (de) 2016-12-15
WO2016202524A1 (de) 2016-12-22
EP3308224A1 (de) 2018-04-18
US20180176030A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
CN107969150A (zh) 用于辅助家庭中用户的设备
US10992491B2 (en) Smart home automation systems and methods
US11281971B2 (en) Devices, systems, and methods that observe and classify real-world activity relating to an observed object, and track and disseminate state relating the observed object
US11175790B2 (en) System and method for providing real-time product interaction assistance
CN107209549B (zh) 能够实现可动作的消息传送的虚拟助理系统
CN104170400B (zh) 控制方法
KR102487902B1 (ko) 전자기기를 제어하는 방법 및 장치
JPWO2019013316A1 (ja) 機器制御システム
CN107113544A (zh) 物联网设备的3d映射
CN104170399A (zh) 控制方法
WO2019082630A1 (ja) 情報処理装置、及び情報処理方法
US11925304B2 (en) Information processing method, information processing apparatus and computer-readable recording medium storing information processing program
CN112784664A (zh) 语义地图构建与作业方法、自主移动设备及存储介质
WO2018155199A1 (ja) 情報処理装置、情報処理方法、プログラム
US20220264059A1 (en) Display control method, information processing server, and display terminal
KR20210097563A (ko) 태스크 관리 서비스를 지원하기 위한 전자 장치
JP2023073359A (ja) 情報出力方法、情報出力装置及びプログラム
CN112424731B (zh) 信息处理设备，信息处理方法和记录介质
JP6897696B2 (ja) サーバ、方法、およびプログラム
Kranz et al. Robots, objects, humans: Towards seamless interaction in intelligent environments
KR20200068506A (ko) 네트워크 기반의 이동형 식당 테이블
WO2021084949A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR102378908B1 (ko) 인공지능 홈오토메이션 시스템
WO2023248497A1 (ja) 情報処理方法、情報処理装置及びプログラム
Kaila Technologies enabling smart homes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180427

WD01 Invention patent application deemed withdrawn after publication