EP3308224A1 - Vorrichtung zur unterstützung eines nutzers in einem haushalt - Google Patents

Vorrichtung zur unterstützung eines nutzers in einem haushalt

Info

Publication number
EP3308224A1
EP3308224A1 EP16728843.0A EP16728843A EP3308224A1 EP 3308224 A1 EP3308224 A1 EP 3308224A1 EP 16728843 A EP16728843 A EP 16728843A EP 3308224 A1 EP3308224 A1 EP 3308224A1
Authority
EP
European Patent Office
Prior art keywords
user
unit
interaction unit
control unit
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16728843.0A
Other languages
English (en)
French (fr)
Inventor
Duc Hanh Bui Tran
Arne Rost
Frank Schaefer
Lucia SCHUSTER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP3308224A1 publication Critical patent/EP3308224A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/067—Combinations of audio and projected visual presentation, e.g. film, slides
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house

Definitions

  • the invention relates to a device for supporting a user in a household, in particular for controlling and monitoring household appliances.
  • Households typically have a variety of home appliances, particularly a variety of home appliances, such as household appliances. a refrigerator, an oven, a stove, etc.
  • the home appliances can be used, for example, to temper foods and to make meals or meals from the food.
  • there are a variety of different tasks such as the receipt and management of a supply of food, the selection of recipes for the preparation of meals, the preparation of meals, etc.
  • the present document addresses the technical problem of providing a device that efficiently supports a person in a household in performing the multitude of tasks in a household.
  • an apparatus for assisting a user in a household is described.
  • the device is also referred to in this document as a Personal Kitchen Assistant or PKA for short.
  • the device comprises a base with which the device can be placed on a standing surface (eg on a worktop in a kitchen).
  • the base can be immovable in relation to the standing surface in the erected state of the device.
  • a user can place the device on a base by means of the base, so that the device stands securely and stably on the platform (even if parts of the device, such as the interaction units mentioned below, move).
  • the device comprises a first interaction unit, which has an optical sensor (eg, an image or video camera), which is set up to capture image data from a detection area of an environment of the device.
  • the detection area typically has a specific, limited horizontal angle range of the environment of the device. That is, by means of the optical sensor, the entire horizontal angle range of 360 ° of the surroundings of the device can typically not be detected at the same time.
  • Typical detection areas have a horizontal angle range of 120 °, 90 ° or less.
  • the first interaction unit may be moved relative to the base (eg by means of a first actuator, such as by means of a first electric motor) to change the detection area (in particular in the horizontal direction).
  • the apparatus comprises a second interaction unit comprising a projector (e.g., a pico projector) configured to project an image onto a projection surface in the environment of the apparatus.
  • the projection surface is typically limited to a particular horizontal angle range (e.g., 60 ° or less).
  • the second interaction unit may be moved separately from the first interaction unit (e.g., by means of a second actuator, such as by a second electric motor) to alter the projection surface of the projector.
  • the device further comprises a control unit, e.g. includes a processor and control software.
  • the control unit is set up to determine a position of a user of the device in the vicinity of the device. In particular, the position relative to the device can be determined. The position of the user may e.g.
  • control unit is configured to cause the first interaction unit and the second interaction unit to be respectively moved depending on the position of the user.
  • control unit is arranged to detect an input of the user (for example, based on the image data of the optical sensor), and in response to the input, to cause the projector to project an image on the projection surface.
  • the device enables effective support of a user in the household.
  • the provision of (at least) two separate interaction units, which can be moved separately from each other, allows one to Users can effectively make inputs (eg instructions) (eg via a first interaction unit facing the user) and receive corresponding outputs (eg via a second interaction unit facing away from the user).
  • the control unit may be configured to cause the first interaction unit to be moved in such a way that the user is at least partially in the detection range of the optical sensor.
  • the first interaction unit can thus be moved towards the user.
  • effective inputs are enabled by the user (e.g., by evaluating the image data).
  • the second interaction unit can be moved in such a way that both the projection surface and the device are in the field of vision of the user (based on the current position of the user).
  • the second interaction unit (in particular the projector of the second interaction unit) can thus be moved away from the user.
  • it can be ensured that the user can view the projected output on the basis of the current position of the user, and further enables inputs to the device.
  • the apparatus may include a first actuator (eg, a first motor) configured to move the first interaction unit about a first rotation axis in response to a first control signal of the control unit to allow different detection ranges in a horizontal angle range of 360 ° about the apparatus - chen.
  • the device may comprise a second actuator (eg, a second motor) arranged to move the second interaction unit about a second rotation axis in response to a second control signal of the control unit to different projection surfaces in a horizontal angle range of 360 ° around the device to enable.
  • the first and the second axis of rotation may possibly be identical.
  • the rotation of the interaction units enables flexible alignment of the device with respect to the position of the user.
  • the device may include acoustic sensors (eg, as part of and / or as part of the first interaction unit) each configured to acquire acoustic data relating to acoustic signals around the device.
  • An acoustic sensor may include a microphone.
  • the acoustic sensors can differ chen bodies of the device may be arranged. It can thus be achieved that acoustic signals which are caused by the user (eg voice instructions of the user) have different transit times to the different acoustic sensors.
  • the control unit can be set up to detect the presence of the user in the surroundings of the device on the basis of the acoustic data. For example, it can be detected that the user has given a voice instruction to the device. Furthermore, the control unit may be configured to determine the position of the user on the basis of the acoustic data of the plurality of acoustic sensors. In particular, the durations of acoustic signals can be evaluated for this purpose.
  • the use of acoustic sensors thus allows the determination of the position of the user. The position can be determined independently of a current orientation of the first interaction unit. Furthermore, the use of at least one acoustic sensor enables comfortable interaction with a user via human speech.
  • the control unit may be configured to determine a first position of the user on the basis of the acoustic data of the plurality of acoustic sensors.
  • the first position may correspond to a relatively rough estimate of the actual position of the user.
  • the control unit can then cause the first interaction unit to be moved in dependence on the first position of the user, so that the user is at least partially located in the detection range of the optical sensor.
  • a second position of the user can then be determined on the basis of the image data. On the basis of the image data, typically the position of the user can be determined with increased precision. The second position thus typically provides a more accurate estimate of the user's actual position than the first position.
  • the control unit may then cause the first interaction unit and the second interaction unit to be moved in response to the second position of the user.
  • the device may include a storage unit configured to store profile data relating to one or more predefined users.
  • the profile data may have characteristics (eg a language profile and / or a visual appearance profile) of the or multiple predefined users, the characteristics enabling identification of users.
  • the control unit can be set up to determine on the basis of the profile data and on the basis of the acoustic data and / or the image data whether the user corresponds to a predefined user.
  • the device can effectively identify a user and be customized for that user.
  • the profile data may optionally include further information related to the user, such as information regarding preferences, habits, etc. of the user.
  • the functionality of a unique identification of a user can optionally be provided as an option that can be deactivated by a user (eg for privacy reasons).
  • profile data for identifying a user for data protection may possibly only be stored locally on the storage unit of the device.
  • the control unit can be set up to transfer the device from a sleep mode to an active mode in dependence on the acoustic data.
  • a comfortable activation of the device via acoustic signals take place.
  • the control unit can be set up on the basis of the acoustic data by means of intuitive voice control, e.g. based on natural language processing, to determine the input of the user.
  • voice control e.g. based on natural language processing
  • the projector typically has a fixed projection direction relative to the second interaction unit.
  • the second interaction unit can comprise distance sensors which are set up to detect distance data which indicates a distance of the respective distance sensor in the direction of projection to a surface in the vicinity of the device.
  • the distance sensors are arranged at different locations of the second interaction unit.
  • the control unit may be configured to cause the second interaction unit to also be moved in response to the distance data.
  • a flat surface in the vicinity of the device eg a wall in a room
  • This flat surface can then possibly be used (taking into account the position of the user) as a projection surface for the projector.
  • the first interaction unit may include an input / output unit configured to detect a touch input of the user and / or to generate an optical output to the user via a screen.
  • the input / output unit may in particular have a touch-sensitive screen.
  • the device, in particular the first interaction unit may comprise an acoustic actuator (eg a loudspeaker) which is set up to generate an acoustic output (eg speech).
  • an acoustic actuator eg a loudspeaker
  • the device may comprise a communication unit which is set up, via a communication link with a domestic appliance (in particular with a household appliance, such as an oven, a stove, a refrigerator, etc.) and / or with a server (eg with an Internet server and / or to communicate with a server outside of a household).
  • the communication connection may include a wireless and / or a wired communication connection (eg LAN, WLAN, Bluetooth, UMTS, LTE, etc.).
  • the control unit may be configured to receive information from the home appliance (eg, a state of the home appliance) and / or from the server (eg, a recipe) in response to the user's input. Furthermore, the control unit may be configured to cause the projector to display the information in the projected image.
  • the provision of a communication unit enables effective interaction (in particular control and / or monitoring) of household appliances.
  • the control unit may be configured to obtain instructions for producing a food (in particular a recipe) from a server (eg from an Internet server). The control unit may then control the home appliance depending on the instructions and in response to an input by the user. Thus, the production of a food as a task in a household for the user can be facilitated.
  • control unit may be configured based on the Sparda with respect to the user to determine a process progress in the production of the food.
  • the domestic appliance in particular the household appliance
  • the control unit may be further configured to determine profile data relating to the user.
  • the profile data may be stored on a storage unit of the device. It can then be created depending on the profile data and depending on an input of the user, a shopping list. If necessary, this shopping list can be sent on the basis of the communication unit to a remote electronic device (eg to a smartphone).
  • a remote electronic device eg to a smartphone
  • the control unit may be configured to generate profile data for the user on the basis of a multiplicity of inputs of the user and to store it on the storage unit of the device.
  • the profile data may be e.g. Display characteristics for identifying the user, preferences of the user and / or habits of the user.
  • the device can be efficiently adapted to one or more users.
  • Figure 1 shows an exemplary personal assistant for a household
  • Figure 2 exemplary communication partner of a personal assistant.
  • Fig. 1 shows a device 100, which can be used in particular for the control of household appliances in a household.
  • the device 100 is also referred to as personal in this document Kitchen Assistant or PKA for short.
  • the device 100 is typically the size of a (relatively small) food processor and can be placed on the counter of a kitchen, for example.
  • the PKA 100 comprises a base 130 and at least two interaction units 1 10, 120, which are arranged movably on the base 130.
  • the two interaction units 110, 120 can move independently of one another on the basis 130.
  • the PKA 100 includes a first interaction unit 110 that can be rotated about an axis of rotation that is perpendicular to the base 130.
  • the PKA 100 shown in FIG. 1 comprises a second interaction unit 120, which can likewise be rotated about the axis of rotation (independently of the first interaction unit 110).
  • the movement of the interaction units 110, 120 can each be done by dedicated actuators (e.g., motors) (not shown in Figure 1).
  • the first interaction unit 110 includes one or more interaction modules 1 1 1, 1 12, 1 13, 1 14 for interaction with a user of the PKA 100, wherein the one or more interaction modules 1 1 1, 1 12, 1 13, 1 14 the first interaction unit 1 10 should be facing the user for interaction with the user.
  • the first interaction unit 110 may include a screen 11 (for example, a touch-sensitive screen) for outputting information and optionally for inputting instructions.
  • the first interaction unit 110 may include a camera 12 configured to capture image data, e.g.
  • the first interaction unit 110 may include a speaker 13 for acoustic output (e.g., for the output of speech and / or sounds).
  • the first interaction unit 110 may include one or more microphones 14 to capture acoustic data from the environment of the PKA 100 (e.g., spoken instructions of the user).
  • the second interaction unit 120 may include one or more interaction modules 121 that should be facing away from the user for interaction with the user of the PKA 100.
  • the second interaction unit 120 may include a projector 121 that is configured to project an image onto a projection area in the vicinity of the PKA 100. The image can be projected in such a way that it can be seen by the user from a current position of the user.
  • the second interaction unit 120 may be suitably moved (in particular rotated) to project the image to a suitable projection surface.
  • the second interaction unit 120 can also comprise one or more distance sensors 122, which are set up to determine the distance to a projection surface (eg, to a wall in a space of the PKA 100) for determining a suitable projection surface.
  • the PKA 100 further includes a control unit 131 that is configured to control a movement of the first and second interaction units 1 10, 120 and to control one or more functions of the PKA 100. Furthermore, the PKA 100 includes a communication unit 132 that is configured to communicate with other electronic devices via a communication network. This is exemplified in Fig. 2. In particular, FIG.
  • the communication unit 132 may be configured for this purpose to set up wired (such as LAN) and / or wireless (such as WLAN, Bluetooth, UMTS, LTE, etc.) communication links.
  • the control unit 131 and / or the communication unit 132 can, as shown in FIG. 1, be arranged in the base 130 of the PKA 100.
  • the control unit 131 may be configured to detect a user of the PKA 100.
  • control unit 131 may be configured to determine a position of the user relative to the position of the PKA 100.
  • a user can be detected on the basis of the acoustic data and / or on the basis of the image data.
  • it can be recognized on the basis of the acoustic data that a user addresses the PKA 100.
  • a position of the user can be determined (at least roughly) on the basis of travel time shifts of the individual acoustic signals.
  • the first interaction unit 110 can then be informed by the control unit. unit 131 are caused to move the camera 1 12 in the direction of the determined position of the user.
  • the position of the user can be determined in a precise manner.
  • the first interaction unit 110 can be moved further in order to ensure that the screen 1 1 1 of the first interaction unit 1 10 is as precisely as possible facing the user.
  • the user is enabled to efficiently view output through the screen 1 1 1 and / or to make inputs via the screen 1 1 1.
  • the camera 1 12 may also be facing the user in order to enable reliable input via gestures or facial expressions of the user.
  • the second interaction unit 120 can be moved such that the projector 121 of the second interaction unit 120 can project an image onto a projection surface, which can be viewed by the user from his current position. In the projected image, for example, information about the state of one or more domestic appliances 201 and / or about procedural steps of a recipe for a meal to be prepared can be displayed.
  • the PKA 100 can be set up to capture instructions of the user (eg by input via the screen 1 1 1, by inputting speech and / or by gestures or facial expressions). Further, the PKA 100 may be configured to perform actions in response to the instructions. In particular, depending on the instructions, one or more domestic appliances 201 of the household may be controlled. For this purpose, suitable control signals can be transmitted via the communication unit 132 to the one or more home appliances 201. In the following, exemplary functions of the PKA 100 are shown. These functions may optionally be provided individually by the PKA 100, respectively. The PKA 100 may enable bi-directional communication between PKA 100 and one or more home appliances 201 or other electronic devices 203 via the communication unit 132.
  • state information regarding the state of a domestic appliance 201 or electronic appliance 203 can be transmitted to the PCA 100.
  • Bi-directional communication between PKA 100 and one or more users may be by projection (via the projector 121) and / or voice (by means of the one or more microphones 14).
  • the presence detection of a user and the user identification can be done by facial and / or speech recognition on the basis of the image data and / or on the basis of the acoustic data.
  • an intuitive voice control in particular by means of NLP (Natural Language Processing), can be used.
  • the PKA 100 may include a memory unit 133 in which profiles for one or more users of the PKA 100 may be stored.
  • profiles for one or more users of the PKA 100 may be stored.
  • profiles for one or more users of the PKA 100 may be stored.
  • profiles for one or more users of the PKA 100 may be stored.
  • preferences and / or habits of a user can be deposited.
  • preferred foods may be stored that may be taken into account when creating a shopping list (for example, after actual inventory of the contents of a refrigerator).
  • the PKA 100 may include a battery and / or an accumulator configured to store electrical energy for operation of the PKA 100.
  • the PKA 100 can thus be mobile and portable.
  • the PKA 100 can be controlled by voice, gestures and / or facial expressions (by face detection) by a user. Further, the PKA 100 may be configured to determine a state of mind of the user based on the image data and / or on the basis of the acoustic data (such as "satisfied”, “dissatisfied", “awarding", “disapproving”). The operation of the PKA 100 may then be adapted to the determined state of mind (e.g., the colors used for projection may be adjusted to the determined state of mind). This can improve the interaction with a user.
  • the PKA 100 may be configured to project content onto a surface by means of the projector 121 (eg by means of a pico projector).
  • the projected contents can be requested beforehand by the user (eg by voice).
  • the content may be determined at the user's request (possibly in dependence on a current context) and then projected.
  • the results of a search query may be determined and projected by the PCA 100.
  • the user may have a grocery list created by the PCA 100 upon instruction. For this purpose, if necessary, a standard shopping list in the storage unit 133 can be accessed.
  • the content of a refrigerator 201 can be determined.
  • a shopping list and output via the projector 121 can then be determined (eg by subtraction of the standard shopping list and the contents of the refrigerator) a shopping list and output via the projector 121.
  • This list can be adjusted depending on inputs (eg gestures).
  • current prices for the elements of the shopping list can be determined (eg from different suppliers). It can then be selected a suitable provider. Possibly. the shopping list can be transmitted from the PKA 100 to the personal device 203 of another person, with the request to buy the listed items at the selected provider.
  • the PKA 100 may be configured to assist a user in creating a food (e.g., a pastry or a meal).
  • a food e.g., a pastry or a meal.
  • further functions of the PKA 100 are described, which can also be provided by the PKA 100 in isolation from this application example.
  • a wake-up function of the PKA 100 ie a transition from a rest state to an active state
  • the PCA 100 can automatically identify possible, free projection surfaces and effect an independent mechanical rotation of the projector 121 or the second interaction unit 120 into the correct projection position.
  • the projection system ie, the second interaction unit 120
  • the gesture recognition system ie, the first interaction unit 110
  • the projection system ie, the second interaction unit 120
  • the gesture recognition system ie, the first interaction unit 1
  • the control unit 131 of the PKA 100 can thus be set up to identify a head of the user on the basis of the image data of the optical sensor 12 and to cause the first interaction unit 110 to be moved such that the user's head is within the detection range of the optical sensor 12 remains.
  • the PKA 100 may be configured to generate gestures for communication with the user, eg by turning the screen 1 1 1 of the first interaction unit 1 10 or by horizontally shaking / vertically pitching the first interaction unit 1 10 as interactive feedback for the user users. For example, deliberate ignoring or agreeing, looking forward, etc., can be suggested by movement of the first interaction unit 110.
  • the PKA 100 may be configured to communicate with a user by moving an interaction unit 110.
  • the PKA 100 may include a source of vibration as additional feedback.
  • the PKA 100 may be configured to detect the presence of a user based on acoustic data and / or image data. Furthermore, user input can be made via voice input (in particular via intuitive voice control, for example by means of natural language processing).
  • the PKA 100 may establish a communication connection to a local and / or external recipe database.
  • Recipients adapted to the user can be determined and output in list or image form via the projector 121.
  • Recipe suggestions can be displayed differentiated, e.g. distinguished by ingredients and utensils available in the household and on the other hand by unavailable ingredients and utensils still to be purchased.
  • the prescription proposals may possibly be for a pending occasion, e.g. Birthday, dinner, brunch, etc. be customized.
  • the PCA 100 can be set up to compare the planned preparation time for a selected recipe with a user's diary, and if necessary to inform the user that the required preparation time with collided with his diary. The user may then choose another recipe if necessary. It can also be compared with other PAs 100 (eg in other households), eg regarding the availability of ingredients. Thus, the user can be made aware that a particular ingredient is available in a neighboring household.
  • the PKA 100 may have an input capability or an automatic detection of household-available equipment, e.g. by RFID tags and / or by direct image recognition and / or by verbal description by the user.
  • Inputs, such as a selection or interaction, of the user can be made by voice control and / or gesture recognition.
  • the PKA 100 may be configured to control home appliances 201 via the communication unit 132 or to request a status with respect to the home appliances 201.
  • the home appliances 201 may be e.g. a refrigerator, a stove, a vacuum cleaner, a blender, a food processor, a multi-cooker, small appliances etc. include.
  • home appliances 201 can be controlled according to the selected recipe. For example, a fill level or a content of a refrigerator can be determined.
  • a cooker may be driven according to the process progress of the recipe, e.g. by interactive preheating, by program selection, by the selection of multi-level programs, by the setting of a timer, by deactivation, etc.
  • a mixer can be controlled, e.g.
  • the PKA 100 may be further configured to cause a baking process to be completed when a baking oven door is opened and / or a telescopic extension is extended.
  • the PKA 100 may have the individual functions isolated (ie independent of the illustrated example). As already stated, the PKA 100 be brought into an active state by voice control.
  • the PKA 100 may be portable and / or mobile.
  • the PKA 100 may be powered by a battery (which may optionally be charged with a stationary charging station).
  • the PKA 100 may further include an alarm clock function.
  • the position of a user / speaker can be determined (eg with an accuracy of +/- 10 °). Objects in the vicinity of the PKA 100 may possibly be recognized by the PKA 100 by means of RFID tags.
  • the PKA 100 may be configured to gain access to media databases (e.g., a message channel) via a communication connection.
  • Information from a media database may be determined and displayed via the projector 121. In doing so, user preferences can be taken into account (which may possibly be learned automatically by the PCA 100).
  • the displayed information can be selected depending on the persons present in the environment of the PKA 100.
  • the contents may be distributed according to areas of interest of the persons present in the vicinity of the PKA 100.
  • the PKA 100 may provide a reminder function. For example, in response to a weather forecast, an indication of the carrying of a rain screen may be given.
  • the PKA 100 may communicate with entertainment systems in the home, such as home entertainment, via the communication unit 131. TV, radio, etc. interact. In particular, a remote control of these devices can be done by the PKA 100.
  • the PKA 100 may interact with personal electronic devices 203. For example, the location of an owner of the electronic device 203 can be determined via a personal electronic device 203. The location may then be output by the PKA 100.
  • the PKA 100 can communicate via the communication unit 132 with home automation in a household. For example, 100 pictures of a camera at the house entrance can be determined and output via the PKA.
  • the PKA 100 may be configured to provide a connection with a door entry system to communicate directly with the PKA 100 at the house entrance and, if necessary, to activate a door opener.
  • the PKA 100 can provide a videoconferencing system for interaction with other people via microphone and projection and internet connection.
  • conference data incoming from the conference partner can be output via the projector 121 and via the loudspeaker 1 13.
  • the PKA 100 may be configured to access a SW database for acquiring software updates and / or software applications for extended functionality.
  • the PKA 100 thus allows a variety of different functions to support a user in a household.
  • an automatic interaction with home appliances 201 is enabled, such as e.g. a control of an oven, a dishwasher, a food processor, etc.
  • the user typically intervenes only indirectly in the control by the user e.g. select a cake recipe and start preparing a corresponding dough.
  • the PKA 100 analyzes actions of the user and draws conclusions regarding the temporal device control and interactively controls the home appliances 100 with the user. For this purpose, the PKA 100 can quasi-continuously evaluate image data regarding the user in order to determine the process progress.
  • Autonomous communication can take place between multiple PAs 100, e.g. for a reconciliation of the refrigerator contents of neighboring households, for reconciliation of cooked recipes, etc. Furthermore, an adaptive interaction with the user can take place, such as e.g. learning and subsequently recognizing the patient's state of mind based on visual and / or acoustic features.
  • the PKA 100 may be configured to communicate with the user via voice output and / or simulation of "facial expressions / gestures" (eg, by real or virtual movement of the HW or SW components of the PKA 100, which is a natural human response simulate).
  • the PKA 100 may be set up to compare with a calendar and / or habits of user (s), as well as online services, recurring tasks, etc., and relevant information regarding matching via voice output or Output projection. Furthermore, an automatic comparison of needs of the user, eg a meal request, a recipe request, etc. with sources on the Internet, eg with order platforms for food, with online shops, etc. done.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Nutrition Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Es wird eine Vorrichtung 100 zur Unterstützung eines Nutzers in einem Haushalt beschrieben. Die Vorrichtung 100 umfasst eine Basis 130, mit der die Vorrichtung 100 auf eine Standfläche gestellt werden kann. Des Weiterenumfasst die Vorrichtung 100 eine erste Interaktionseinheit 110, die einen optischen Sensor 112 umfasst, der eingerichtet ist, Bilddaten von einem Erfassungsbereicheines Umfelds der Vorrichtung 100 zu erfassen. Dabei kann die erste Interaktionseinheit 110 relativ zu der Basis 130 bewegt werden kann, um den Erfassungsbereich zu verändern. Außerdem umfasst die Vorrichtung 100 eine zweite Interaktionseinheit 120, die einen Projektor 121 umfasst, der eingerichtet ist, ein Bild aufeine Projektionsfläche in dem Umfeld der Vorrichtung 100 zu projizieren. Dabei kann die zweite Interaktionseinheit 120 separat von der ersten Interaktionseinheit 110 bewegt werden, um die Projektionsfläche des Projektors 121 zu verändern. Die Vorrichtung 100 umfasst weiter, eine Steuereinheit 131, die eingerichtet ist, eine Position eines Nutzers der Vorrichtung 100 im Umfeld der Vorrichtung 100 zu ermitteln, und zu veranlassen, dassdie erste Interaktionseinheit 110 und die zweite Interaktionseinheit 120 jeweils in Abhängigkeit von der Position des Nutzers bewegt werden. Außerdem ist die Steuereinheit 131eingerichtet, eine Eingabe des Nutzers zu ermitteln, und in Reaktion auf die Eingabe, den Projektor 121 zu veranlassen, ein Bild auf die Projektionsfläche zu projizieren.

Description

Vorrichtung zur Unterstützung eines Nutzers in einem Haushalt
Die Erfindung betrifft eine Vorrichtung zur Unterstützung eines Nutzers in einem Haushalt, insbesondere zur Steuerung und Überwachung von Hausgeräten. Haushalte verfügen typischerweise über eine Vielzahl von Hausgeräten, insbesondere über eine Vielzahl von Haushaltsgeräten, wie z.B. einen Kühlschrank, einen Ofen, einen Herd, etc. Die Hausgeräte können beispielsweise dazu verwendet werden, um Lebensmittel zu temperieren und um aus den Lebensmitteln Mahlzeiten bzw. Gerichte herzustellen. Im Rahmen der Führung eines Haushalts gibt es eine Vielzahl von unterschiedlichen Auf- gaben, wie z.B. den Bezug und die Verwaltung eines Vorrats an Lebensmitteln, die Auswahl von Rezepten für die Zubereitung von Mahlzeiten, die Herstellung von Mahlzeiten, etc.
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, eine Vorrichtung bereitzustellen, die eine Person in einem Haushalt in effizienter Weise bei der Durchführung der Vielzahl von Aufgaben in einem Haushalt unterstützt.
Die Aufgabe wird jeweils durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Patentansprüchen und nachfolgender Beschreibung beschrieben oder sind in der beigefügten Zeichnung dargestellt. .
Gemäß einem Aspekt wird eine Vorrichtung zur Unterstützung eines Nutzers in einem Haushalt beschrieben. Die Vorrichtung wird in diesem Dokument auch als persönlicher Küchen-Assistent oder kurz als PKA bezeichnet. Die Vorrichtung umfasst eine Basis, mit der die Vorrichtung auf eine Standfläche gestellt werden kann (z.B. auf eine Arbeitsplatte in einer Küche). Die Basis kann dabei im aufgestellten Zustand der Vorrichtung unbeweglich in Bezug auf die Standfläche sein. Insbesondere kann ein Nutzer die Vorrichtung mittels der Basis auf einer Standfläche abstellen, so dass die Vorrichtung sicher und stabil auf der Standfläche steht (auch wenn sich Teile der Vorrichtung, wie z.B. die unten genannten Interaktionseinheiten bewegen). Des Weiteren umfasst die Vorrichtung eine erste Interaktionseinheit, die einen optischen Sensor (z.B. eine Bild- oder Videokamera) aufweist, der eingerichtet ist, Bilddaten von einem Erfassungsbereich eines Umfelds der Vorrichtung zu erfassen. Dabei weist der Erfassungsbereich typischerweise einen bestimmten, begrenzten Horizontalwinkelbereich des Umfelds der Vorrichtung auf. Das heißt, mittels des optischen Sensors kann typi- scherweise nicht zeitgleich der gesamte Horizontalwinkelbereich von 360° des Umfelds der Vorrichtung erfasst werden. Typische Erfassungsbereiche weisen einen Horizontalwinkelbereich von 120°, 90° oder weniger auf. Die erste Interaktionseinheit kann relativ zu der Basis bewegt werden (z.B. mittels eines ersten Aktuators, etwa mittels eines ersten elektrischen Motors), um den Erfassungsbereich (insbesondere in Horizontalrichtung) zu verändern.
Außerdem umfasst die Vorrichtung eine zweite Interaktionseinheit, die einen Projektor (z.B. einen Pico-Projektor) aufweist, der eingerichtet ist, ein Bild auf eine Projektionsfläche in dem Umfeld der Vorrichtung zu projizieren. Dabei ist die Projektionsfläche typischer- weise auf einen bestimmten Horizontalwinkelbereich (z.B. von 60° oder weniger) beschränkt. Die zweite Interaktionseinheit kann separat von der ersten Interaktionseinheit bewegt werden (z.B. mittels eines zweiten Aktuators, etwa mittels eines zweiten elektrischen Motors), um die Projektionsfläche des Projektors zu verändern. Die Vorrichtung umfasst weiter eine Steuereinheit, die z.B. einen Prozessor und Steuer- Software umfasst. Die Steuereinheit ist eingerichtet, eine Position eines Nutzers der Vorrichtung im Umfeld der Vorrichtung zu ermitteln. Insbesondere kann die Position relativ zu der Vorrichtung ermittelt werden. Die Position des Nutzers kann z.B. auf Basis der Bilddaten des optischen Sensors erfasst werden. Des Weiteren ist die Steuereinheit eingerich- tet, zu veranlassen, dass die erste Interaktionseinheit und die zweite Interaktionseinheit jeweils in Abhängigkeit von der Position des Nutzers bewegt werden. Außerdem ist die Steuereinheit eingerichtet, eine Eingabe des Nutzers zu ermitteln (z.B. auf Basis der Bilddaten des optischen Sensors), und in Reaktion auf die Eingabe, den Projektor zu veranlassen, ein Bild auf die Projektionsfläche zu projizieren.
Durch die Vorrichtung wird eine effektive Unterstützung eines Nutzers im Haushalt ermöglicht. Insbesondere wird durch die Bereitstellung von (mindestens) zwei separaten Inter- aktionseinheiten, die separat voneinander bewegt werden können, ermöglicht, dass ein Nutzer in effektiver Weise Eingaben (z.B. Anweisungen) tätigen kann (z.B. über eine dem Nutzer zugewandte erste Interaktionseinheit), und entsprechende Ausgaben erhält (z.B. über eine dem Nutzer abgewandte zweite Interaktionseinheit).
Die Steuereinheit kann eingerichtet sein, zu veranlassen, dass die erste Interaktionsein- heit derart bewegt wird, dass sich der Nutzer zumindest teilweise im Erfassungsbereich des optischen Sensors befindet. Die erste Interaktionseinheit kann somit auf den Nutzer zubewegt werden. So werden effektive Eingaben durch den Nutzer ermöglicht (z.B. durch Auswertung der Bilddaten). Des Weiteren kann die zweite Interaktionseinheit derart bewegt werden, dass sowohl die Projektionsfläche als auch die Vorrichtung im Blickfeld des Nutzers liegen (ausgehend von der aktuellen Position des Nutzers). Die zweite Interaktionseinheit (insbesondere der Projektor der zweiten Interaktionseinheit) kann somit von dem Nutzer weg bewegt werden. So kann gewährleistet werden, dass der Nutzer die projizierte Ausgabe ausgehend von der aktuellen Position des Nutzers einsehen kann, und weiterhin Eingaben an die Vorrichtung ermöglicht werden.
Die Vorrichtung kann einen ersten Aktuator (z.B. einen ersten Motor) umfassen, der eingerichtet ist, in Reaktion auf ein erstes Steuersignal der Steuereinheit die erste Interaktionseinheit um eine erste Rotationsachse zu bewegen, um unterschiedliche Erfassungsbereiche in einem Horizontalwinkelbereich von 360° um die Vorrichtung zu ermögli- chen. Des Weiteren kann die Vorrichtung einen zweiten Aktuator (z.B. einen zweiten Motor) umfassen, der eingerichtet ist, in Reaktion auf ein zweites Steuersignal der Steuereinheit die zweite Interaktionseinheit um eine zweite Rotationsachse zu bewegen, um unterschiedliche Projektionsflächen in einem Horizontalwinkelbereich von 360° um die Vorrichtung zu ermöglichen. Dabei können die erste und die zweite Rotationsachse ggf. identisch sein. Durch die Rotation der Interaktionseinheiten wird eine flexible Ausrichtung der Vorrichtung in Bezug auf die Position des Nutzers ermöglicht.
Die Vorrichtung kann akustischen Sensoren umfassen (z.B. als Teil der ersten Interaktionseinheit und/oder als Teil der Basis), die jeweils eingerichtet sind, akustische Daten bezüglich akustischer Signale im Umfeld der Vorrichtung zu erfassen. Ein akustischer Sensor kann ein Mikrofon umfassen. Die akustischen Sensoren können an unterschiedli chen Stellen der Vorrichtung angeordnet sein. So kann erreicht werden, dass akustische Signale, die von dem Nutzer verursacht werden (z.B. Sprachanweisungen des Nutzers), unterschiedliche Laufzeiten zu den unterschiedlichen akustischen Sensoren aufweisen.
Die Steuereinheit kann eingerichtet sein, auf Basis der akustischen Daten die Präsenz des Nutzers im Umfeld der Vorrichtung zu detektieren. Beispielsweise kann detektiert werden, dass der Nutzer eine Sprachanweisung an die Vorrichtung gegeben hat. Des Weiteren kann die Steuereinheit eingerichtet sein, auf Basis der akustischen Daten der Vielzahl von akustischen Sensoren die Position des Nutzers zu ermitteln. Insbesondere können zu diesem Zweck die Laufzeiten von akustischen Signalen ausgewertet werden. Die Verwendung von akustischen Sensoren ermöglicht somit die Ermittlung der Position des Nutzers. Die Position kann dabei unabhängig von einer aktuellen Ausrichtung der ersten Interaktionseinheit ermittelt werden. Des Weiteren ermöglicht die Verwendung von zumindest einem akustischen Sensor eine komfortable Interkation mit einem Nutzer über menschliche Sprache.
Die Steuereinheit kann eingerichtet sein, auf Basis der akustischen Daten der Vielzahl von akustischen Sensoren eine erste Position des Nutzers zu ermitteln. Dabei kann die erste Position einer relativ groben Abschätzung der tatsächlichen Position des Nutzers entsprechen. Die Steuereinheit kann dann veranlassen, dass die erste Interaktionseinheit in Abhängigkeit von der ersten Position des Nutzers bewegt wird, so dass sich der Nutzer zumindest teilweise im Erfassungsbereich des optischen Sensors befindet. In einem weiteren Schritt kann dann auf Basis der Bilddaten eine zweite Position des Nutzers ermittelt werden. Auf Basis der Bilddaten kann typischerweise die Position des Nutzers mit einer erhöhten Präzision ermittelt werden. Die zweite Position stellt somit typischerweise eine präzisere Abschätzung der tatsächlichen Position des Nutzers dar, als die erste Position. Die Steuereinheit kann dann veranlassen, dass die erste Interaktionseinheit und die zweite Interaktionseinheit in Abhängigkeit von der zweiten Position des Nutzers bewegt werden. So kann eine robuste und präzise Ausrichtung der Interaktionseinheiten der Vorrichtung und somit eine effektive Interaktion mit einem Nutzer erfolgen.
Die Vorrichtung kann eine Speichereinheit umfassen, die eingerichtet ist, Profildaten in Bezug auf ein oder mehrere vordefinierte Nutzer zu speichern. Die Profildaten können Charakteristika (z.B. ein Sprachprofil und/oder ein bildliches Erscheinungsprofil) der ein oder mehreren vordefinierten Nutzer umfassen, wobei die Charakteristika eine Identifikation von Nutzern ermöglichen. Die Steuereinheit kann eingerichtet sein, auf Basis der Profildaten sowie auf Basis der akustischen Daten und/oder der Bilddaten zu ermitteln, ob der Nutzer einem vordefinierten Nutzer entspricht. So kann die Vorrichtung in effektiver Weise einen Nutzer identifizieren und für diesen Nutzer angepasst werden. Dazu können die Profildaten ggf. weitere Informationen in Bezug auf den Nutzer umfassen, wie z.B. Information in Bezug auf Präferenzen, Gewohnheiten, etc. des Nutzers. Dabei kann die Funktionalität einer eindeutigen Identifizierung eines Nutzers ggf. als Option bereitgestellt werden, die von einem Nutzer deaktiviert werden kann (z.B. aus Datenschutzgründen). Des Weiteren können Profildaten zur Identifizierung eines Nutzers zum Datenschutz ggf. ausschließlich lokal auf der Speichereinheit der Vorrichtung gespeichert sein.
Die Steuereinheit kann eingerichtet sein, die Vorrichtung in Abhängigkeit von den akustischen Daten aus einem Schlaf-Modus in einen Aktiv-Modus zu überführen. So kann eine komfortable Aktivierung der Vorrichtung über akustische Signale (insbesondere über eine Spracheingabe) erfolgen. Alternativ oder ergänzend kann die Steuereinheit eingerichtet sein, auf Basis der akustischen Daten mittels intuitiver Sprachsteuerung, z.B. auf Basis von natural language processing, die Eingabe des Nutzers zu ermitteln. Es können so in effektiver Weise durch die Verwendung von natürlicher menschlicher Sprache Anweisungen von einem Nutzer an die Vorrichtung gegeben werden (z.B. um Information in Bezug auf ein bestimmtes Hausgerät zu erhalten).
Der Projektor weist typischerweise eine feste Projektionsrichtung relativ zu der zweiten Interaktionseinheit auf. Die zweite Interaktionseinheit kann Entfernungssensoren umfassen, die eingerichtet sind, Entfernungsdaten zu erfassen, die eine Entfernung des jeweili- gen Entfernungssensors in Projektionsrichtung zu einer Oberfläche im Umfeld der Vorrichtung anzeigen. Dabei sind die Entfernungssensoren an unterschiedlichen Stellen der zweiten Interaktionseinheit angeordnet. Die Steuereinheit kann eingerichtet sein, zu veranlassen, dass die zweite Interaktionseinheit auch in Abhängigkeit von den Entfernungsdaten bewegt wird. Insbesondere kann auf Basis der Entfernungsdaten eine ebene Oberfläche im Umfeld der Vorrichtung (z.B. eine Wand in einem Raum) detektiert werden. Diese ebene Oberfläche kann dann ggf. (unter Berücksichtigung der Position des Nutzers) als Projektionsfläche für den Projektor verwendet werden. Die erste Interaktionseinheit kann eine Eingabe/Ausgabe-Einheit umfassen, die eingerichtet ist, eine Berührungseingabe des Nutzers zu erfassen und/oder über einen Bildschirm eine optische Ausgabe an den Nutzer zu generieren. Die Eingabe/Ausgabe-Einheit kann insbesondere einen berührungsempfindlichen Bildschirm aufweisen. Des Weiteren kann die Vorrichtung, insbesondere die erste Interaktionseinheit, einen akustischen Aktuator (z.B. einen Lautsprecher) umfassen, der eingerichtet ist, eine akustische Ausgabe (z.B. Sprache) zu generieren. Durch die Eingabe/Ausgabe-Einheit und/oder durch den akustischen Aktuator kann die Interaktion zwischen der Vorrichtung und dem Nutzer weiter verbessert werden. Die Vorrichtung kann eine Kommunikationseinheit umfassen, die eingerichtet ist, über eine Kommunikationsverbindung mit einem Hausgerät (insbesondere mit einem Haushaltsgerät, wie z.B. einem Ofen, einem Herd, einem Kühlschrank, etc.) und/oder mit einem Server (z.B. mit einem Internet-Server und/oder mit einem Server außerhalb eines Haushalts) zu kommunizieren. Die Kommunikationsverbindung kann eine drahtlose und/oder eine drahtgebundene Kommunikationsverbindung umfassen (z.B. LAN, WLAN, Bluetooth, UMTS, LTE, etc.).
Die Steuereinheit kann eingerichtet sein, in Reaktion auf die Eingabe des Nutzers, Information von dem Hausgerät (z.B. einen Zustand des Hausgeräts) und/oder von dem Server (z.B. ein Rezept) zu beziehen. Des Weiteren kann die Steuereinheit eingerichtet sein, den Projektor zu veranlassen, die Information im projizierten Bild darzustellen. Durch die Bereitstellung einer Kommunikationseinheit wird eine effektive Interaktion (insbesondere Steuerung und/oder Überwachung) von Hausgeräten ermöglicht. Beispielsweise kann die Steuereinheit eingerichtet sein, eine Anleitung zur Herstellung eines Nahrungsmittels (insbesondere ein Rezept) von einem Server (z.B. von einem Internet-Server) zu beziehen. Die Steuereinheit kann dann das Hausgerät in Abhängigkeit von der Anleitung und in Abhängigkeit von einer Eingabe des Nutzers steuern. So kann die Herstellung eines Nahrungsmittels als Aufgabe in einem Haushalt für den Nutzer erleich- tert werden. Beispielsweise kann die Steuereinheit eingerichtet sein, anhand der Bildda ten bzgl. des Nutzers einen Prozessfortschritt bei der Herstellung des Nahrungsmittels zu ermitteln. Das Hausgerät (insbesondere das Haushaltsgerät) kann dann in Abhängigkeit von der Anleitung und in Abhängigkeit von dem Prozessfortschritt (d.h. in Abhängigkeit von den Bilddaten) gesteuert werden. Die Steuereinheit kann weiter eingerichtet sein, Profildaten in Bezug auf den Nutzer zu ermitteln. Die Profildaten können auf einer Speichereinheit der Vorrichtung gespeichert sein. Es kann dann in Abhängigkeit von den Profildaten und in Abhängigkeit von einer Eingabe des Nutzers, eine Einkaufsliste erstellt werden. Diese Einkaufsliste kann ggf. anhand der Kommunikationseinheit an ein entferntes elektronisches Gerät (z.B. an ein Smartphone) gesendet werden. So kann das Verwalten von Lebensmitteln im Haushalt für den Nutzer erleichtet werden.
Die Steuereinheit kann eingerichtet sein, auf Basis einer Vielzahl von Eingaben des Nutzers Profildaten für den Nutzer zu generieren und auf der Speichereinheit der Vorrichtung zu speichern. Die Profildaten können dabei z.B. Charakteristika zur Identifizierung des Nutzers, Präferenzen des Nutzers und/oder Gewohnheiten des Nutzers anzeigen. Somit kann die Vorrichtung in effizienter Weise an ein oder mehrere Nutzer angepasst werden.
Es ist zu beachten, dass jegliche Aspekte der in diesem Dokument beschriebenen Vor- richtung in vielfältiger Weise miteinander kombiniert werden können. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben, welche in der beigefügten Zeichnung dargestellt sind. Dabei zeigen:
Figur 1 einen beispielhaften persönlichen Assistenten für einen Haushalt; und
Figur 2 beispielhafte Kommunikationspartner eines persönlichen Assistenten.
Wie eingangs dargelegt, befasst sich das vorliegende Dokument damit, eine Person in einem Haushalt bei der Durchführung und bei der Planung der Vielzahl von Aufgaben des Haushalts zu unterstützen. In diesem Zusammenhang zeigt Fig. 1 eine Vorrichtung 100, welche insbesondere für die Steuerung von Hausgeräten in einem Haushalt verwendet werden kann. Die Vorrichtung 100 wird in diesem Dokument auch als persönlicher Küchen-Assistent oder kurz als PKA bezeichnet. Die Vorrichtung 100 hat typischerweise die Größe einer (relativ kleinen) Küchenmaschine und kann z.B. auf die Arbeitsplatte einer Küche gestellt werden.
Der PKA 100 umfasst eine Basis 130 sowie mindestens zwei Interaktionseinheiten 1 10, 120, die beweglich auf der Basis 130 angeordnet sind. Dabei können sich die zwei Interaktionseinheiten 1 10, 120 unabhängig voneinander auf der Basis 130 bewegen. In dem dargestellten Beispiel umfasst der PKA 100 eine erste Interaktionseinheit 1 10, die um eine Rotationsachse, die senkrecht zu der Basis 130 verläuft, gedreht werden kann. Des Weiteren umfasst der in Fig. 1 dargestellte PKA 100 eine zweite Interaktionseinheit 120, die ebenfalls (unabhängig von der ersten Interaktionseinheit 1 10) um die Rotationsachse gedreht werden kann. Die Bewegung der Interaktionseinheiten 1 10, 120 kann jeweils durch dedizierte Aktuatoren (z.B. Motoren) erfolgen (nicht in Fig. 1 dargestellt).
Die erste Interaktionseinheit 1 10 umfasst ein oder mehrere Interaktionsmodule 1 1 1 , 1 12, 1 13, 1 14 für eine Interaktion mit einem Nutzer des PKA 100, wobei die ein oder mehreren Interaktionsmodule 1 1 1 , 1 12, 1 13, 1 14 der ersten Interaktionseinheit 1 10 für die Interaktion mit dem Nutzer dem Nutzer zugewandt sein sollten. Insbesondere kann die erste Interaktionseinheit 1 10 einen Bildschirm 1 1 1 (z.B. einen berührungsempfindlichen Bildschirm) zur Ausgabe von Information und ggf. zur Eingabe von Anweisungen umfassen. Des Weiteren kann die erste Interaktionseinheit 1 10 eine Kamera 1 12 umfassen, die eingerichtet ist, Bilddaten zu erfassen, z.B. Bilddaten bezüglich des Nutzers des PKA 100. Außerdem kann die erste Interaktionseinheit 1 10 einen Lautsprecher 1 13 für eine akustische Ausgabe (z.B. für die Ausgabe von Sprache und/oder von Tönen) umfassen. Weiter kann die erste Interaktionseinheit 1 10 ein oder mehrere Mikrofone 1 14 umfassen, um akustische Daten bzw. akustische Signale aus dem Umfeld des PKA 100 (z.B. gesprochene Anweisungen des Nutzers) zu erfassen.
Die zweite Interaktionseinheit 120 kann ein oder mehrere Interaktionsmodule 121 umfassen, die für eine Interaktion mit dem Nutzer des PKA 100 von dem Nutzer abgewandt sein sollten. Insbesondere kann die zweite Interaktionseinheit 120 einen Projektor 121 umfassen, der eingerichtet ist, ein Bild auf eine Projektionsfläche in der Umgebung des PKA 100 zu projizieren. Das Bild kann dabei derart projiziert werden, dass es aus einer aktuellen Position des Nutzers von dem Nutzer gesehen werden kann. Zu diesem Zweck kann die zweite Interaktionseinheit 120 in geeigneter Weise bewegt (insbesondere gedreht) werden, um das Bild an eine geeignete Projektionsfläche zu projizieren. Die zweite Interaktionseinheit 120 kann zur Ermittlung einer geeigneten Projektionsfläche auch ein oder mehrere Entfernungssensoren 122 umfassen, die eingerichtet sind, die Entfernung zu einer Projektionsfläche (z.B. zu einer Wand in einem Raum des PKA 100) zu ermitteln. Durch die Verwendung von mindestens zwei Entfernungssensoren 122, welche an unterschiedlichen Stellen an der Interaktionseinheit 120 positioniert sind, kann z.B. eine geeignete, möglichst plane bzw. ebene Projektionsfläche für die Projektion des Bildes identifiziert werden. Der PKA 100 umfasst weiter eine Steuereinheit 131 , die eingerichtet ist, eine Bewegung der ersten und zweiten Interaktionseinheit 1 10, 120 zu steuern und ein oder mehrere Funktionen des PKA 100 zu steuern. Des Weiteren umfasst der PKA 100 eine Kommunikationseinheit 132, die eingerichtet ist, mit anderen elektronischen Geräten über ein Kommunikationsnetzwerk zu kommunizieren. Dies ist beispielhaft in Fig. 2 dargestellt. Insbesondere ist in Fig. 2 dargestellt, wie der PKA 100 mittels der Kommunikationseinheit 132 mit ein oder mehreren Hausgeräten 201 in einem Haushalt, mit ein oder mehreren Servern 202 (z.B. Internet-Servern) und/oder mit ein oder mehreren persönlichen elektronischen Geräten 203 (z.B. Smartphones) kommunizieren kann. Die Kommunikationseinheit 132 kann zu diesem Zweck eingerichtet sein, drahtgebundene (wie z.B. LAN) und/oder drahtlose (wie z.B. WLAN, Bluetooth, UMTS, LTE, etc.) Kommunikationsverbindungen aufzubauen. Die Steuereinheit 131 und/oder die Kommunikationseinheit 132 können, wie in Fig. 1 dargestellt, in der Basis 130 des PKA 100 angeordnet sein. Die Steuereinheit 131 kann eingerichtet sein, einen Nutzer des PKA 100 zu detektieren. Des Weiteren kann die Steuereinheit 131 eingerichtet sein, eine Position des Nutzers relativ zu der Position des PKA 100 zu ermitteln. Beispielsweise kann ein Nutzer auf Basis der akustischen Daten und/oder auf Basis der Bilddaten detektiert werden. Beispielsweise kann auf Basis der akustischen Daten erkannt werden, dass ein Nutzer den PKA 100 anspricht. Bei Verwendung von einer Vielzahl von Mikrofonen 1 14, welche an unterschiedlichen Positionen in dem PKA 100 angeordnet sind, kann anhand von Laufzeitverschiebungen der einzelnen akustischen Signale (zumindest grob) eine Position des Nutzers ermittelt werden. Die erste Interaktionseinheit 1 10 kann daraufhin von der Steu- ereinheit 131 veranlasst werden, die Kamera 1 12 in Richtung der ermittelten Position des Nutzers zu bewegen. Dann kann in einem zweiten Schritt, auf Basis der von der Kamera 1 12 erfassten Bilddaten, die Position des Nutzers in präziser Weise bestimmt werden. Die erste Interaktionseinheit 1 10 kann weiter bewegt werden, um zu gewährleisten, dass der Bildschirm 1 1 1 der ersten Interaktionseinheit 1 10 möglichst präzise dem Nutzer zuge- wandt ist. Es wird somit dem Nutzer ermöglicht, in effizienter Weise Ausgaben über den Bildschirm 1 1 1 einzusehen und/oder Eingaben über den Bildschirm 1 1 1 zu tätigen. In entsprechender Weise kann auch die Kamera 1 12 dem Nutzer zugewandt sein, um eine zuverlässige Eingabe über Gestik bzw. Mimik des Nutzers zu ermöglichen. Bei Kenntnis der Position des Nutzers kann die zweite Interaktionseinheit 120 derart bewegt werden, dass der Projektor 121 der zweiten Interaktionseinheit 120 ein Bild auf eine Projektionsfläche projizieren kann, die für den Nutzer von seiner aktuellen Position einsehbar ist. In dem projizierten Bild kann z.B. Information über den Zustand von ein oder mehreren Hausgeräten 201 und/oder über Verfahrensschritte eines Rezeptes für eine zuzubereitende Mahlzeit angezeigt werden.
Der PKA 100 kann eingerichtet sein, Anweisungen des Nutzers (z.B. durch Eingabe über den Bildschirm 1 1 1 , durch sprachliche Eingabe und/oder durch Gestik bzw. Mimik) zu erfassen. Des Weiteren kann der PKA 100 eingerichtet sein, in Abhängigkeit von den Anweisungen Aktionen auszuführen. Insbesondere können in Abhängigkeit von den Anweisungen ein oder mehrere Hausgeräte 201 des Haushalts gesteuert werden. Zu diesem Zweck können geeignete Steuersignale über die Kommunikationseinheit 132 an die ein oder mehreren Hausgeräte 201 übermittelt werden. Im Folgenden werden beispielhafte Funktionen des PKA 100 dargestellt. Diese Funktionen können ggf. jeweils einzeln von dem PKA 100 bereitgestellt werden. Der PKA 100 kann mittels der Kommunikationseinheit 132 eine bidirektionale Kommunikation zwischen PKA 100 und ein oder mehreren Hausgeräten 201 bzw. anderen elektronischen Geräten 203 ermöglichen. Dabei kann insbesondere Zustandsinformation bzgl. des Zustande eines Hausgeräts 201 bzw. elektronischen Geräts 203 an das PKA 100 übermittelt werden. Eine bidirektionale Kommunikation zwischen PKA 100 und ein oder mehreren Nutzern kann per Projektion (mittels des Projektors 121 ) und/oder Sprache (mittels der ein oder mehreren Mikrofone 1 14) erfolgen. Die Anwesenheitserkennung eines Nutzers und die Nutzeridentifikation können per Gesichts- und/oder Spracherkennung auf Basis der Bilddaten und/oder auf Basis der akustischen Daten erfolgen. Zur Auswertung von Spracheingaben eines Nutzers kann eine intuitive Sprachsteuerung, insbesondere mittels NLP (Natural Language Processing), verwendet werden.
Der PKA 100 kann eine Speichereinheit 133 umfassen, in der Profile für ein oder mehrere Nutzer des PKA 100 gespeichert werden können. In dem Profil eines Nutzers können insbesondere Präferenzen und/oder Gewohnheiten eines Nutzers hinterlegt werden. Bei- spielsweise können bevorzugte Lebensmittel gespeichert werden, die bei der Erstellung einer Einkaufsliste (z.B. nach Ist-Stands-Erfassung von dem Inhalt eines Kühlschranks) berücksichtigt werden können.
Der PKA 100 kann eine Batterie und/oder einen Akkumulator umfassen, die eingerichtet sind, um elektrische Energie für den Betrieb des PKA 100 zu speichern. Der PKA 100 kann somit mobil und tragbar sein.
Der PKA 100 kann über Sprache, Gestik und/oder Mimik (per Gesichtserfassung) von einem Nutzer gesteuert werden. Des Weiteren kann der PKA 100 eingerichtet sein, auf Basis der Bilddaten und/oder auf Basis der akustischen Daten einen Gemütszustand des Nutzers zu ermitteln (wie z.B. „Zufrieden", „Unzufrieden", „Zusprechend", „Ablehnend"). Der Betrieb des PKA 100 kann dann an den ermittelten Gemütszustand angepasst werden (z.B. können die für eine Projektion verwendeten Farben an den ermittelten Gemütszustand angepasst werden). So kann die Interaktion mit einem Nutzer verbessert werden.
Der PKA 100 kann eingerichtet sein, mittels des Projektors 121 (z.B. mittels eines Pico- Projektors) Inhalte auf eine Oberfläche zu projizieren. Die projizierten Inhalte können zuvor von dem Nutzer angefragt werden (z.B. per Sprache). Die Inhalte können auf Anweisung des Nutzers ermittelt werden (ggf. in Abhängigkeit von einem aktuellen Kontext) und dann projiziert werden. Beispielsweise können die Ergebnisse einer Suchanfrage von dem PKA 100 ermittelt und projiziert werden. In einem Anwendungsbeispiel kann der Nutzer auf Anweisung durch den PKA 100 eine Einkaufsliste erstellen lassen. Zu diesem Zweck kann ggf. auf eine Standard-Einkaufsliste in der Speichereinheit 133 zugegriffen werden. Des Weiteren kann der Inhalt eines Kühlschranks 201 ermittelt werden. Es kann dann (z.B. durch Differenzbildung der Standard- Einkaufsliste und des Inhalts des Kühlschranks) eine Einkaufsliste ermittelt und über den Projektor 121 ausgegeben werden. Diese Liste kann in Abhängigkeit von Eingaben (z.B. Gestik-Eingaben) angepasst werden. Des Weiteren können durch Abfrage von ein oder mehreren Servern 202 aktuelle Preise für die Elemente der Einkaufsliste ermittelt werden (z.B. von unterschiedlichen Anbietern). Es kann dann ein geeigneter Anbieter ausgewählt werden. Ggf. kann die Einkaufsliste von dem PKA 100 an das persönliche Gerät 203 einer weiteren Person übermittelt werden, mit der Aufforderung die aufgelisteten Elemente bei dem ausgewählten Anbieter einzukaufen.
Der PKA 100 kann eingerichtet sein, einen Nutzer bei der Erstellung eines Nahrungsmittels (z.B. eines Gebäcks bzw. einer Mahlzeit) zu unterstützen. Im Zusammenhang mit einem solchen Anwendungsbeispiel werden weitere Funktionen des PKA 100 beschrieben, die auch isoliert von diesem Anwendungsbeispiel durch den PKA 100 bereitgestellt werden können.
Durch direktes Ansprechen kann eine Wake-Up-Funktion des PKA 100 (d.h. ein Über- gang von einem Ruhezustand in einen aktiven Zustand) bewirkt werden. Der PKA 100 kann automatisch mögliche, freie Projektionsflächen identifizieren und eine selbständige mechanische Rotation des Projektors 121 bzw. der zweiten Interaktionseinheit 120 in die korrekte Projektionsposition bewirken. Dabei liegt bevorzugt eine mechatronische Entkopplung des Projektionssystems (d.h. der zweiten Interaktionseinheit 120) vom System zur Gestenerkennung (d.h. der ersten Interaktionseinheit 1 10) vor, z.B. damit das Projektionssystem (d.h. die zweite Interaktionseinheit 120) mit horizontaler und/oder vertikaler Achse eine 360° schwenkbare Bewegung in Horizontal- und/oder Vertikal-Richtung ausführen kann, während das Gestenerkennungssystem (d.h. die erste Interaktionseinheit 1 10) sich dem Nutzer zudreht und das Gesicht fixiert hält und damit dem Nutzer seine Aufmerksamkeit suggeriert und Gesten korrekt erkennen kann. Die Steuereinheit 131 des PKA 100 kann somit eingerichtet sein, auf Basis der Bilddaten des optischen Sensors 1 12 einen Kopf des Nutzers zu identifizieren und zu veranlassen, dass die erste Inter- aktionseinheit 1 10 derart bewegt wird, dass der Kopf des Nutzers im Erfassungsbereich des optischen Sensors 1 12 verbleibt. Der PKA 100 kann eingerichtet sein, Gesten zur Kommunikation mit dem Nutzer zu generieren, z.B. durch Zu- oder Wegdrehen des Bildschirms 1 1 1 der ersten Interaktionseinheit 1 10 bzw. durch horizontales Schütteln / vertikales Nicken der ersten Interaktionseinheit 1 10 als interaktives Feedback für den Nutzer. Beispielsweise kann ein gezieltes Ignorieren oder Zustimmen, Freuen, etc. durch Bewegung der ersten Interaktionseinheit 1 10 suggeriert werden. Somit kann der PKA 100 eingerichtet sein, durch Bewegung einer Interaktionseinheit 1 10 mit einem Nutzer zu kommunizieren. Des Weiteren kann der PKA 100 eine Vibrationsquelle als zusätzliches Feedback umfassen.
Der PKA 100 kann eingerichtet sein, anhand von akustischen Daten und/oder Bilddaten die Anwesenheit eines Nutzers zu erkennen. Des Weiteren können Eingaben des Nutzers über Spracheingabe (insbesondere über intuitive Sprachsteuerung z.B. mittels Natural Language Processing) erfolgen.
In Reaktion auf eine Eingabe kann der PKA 100 eine Kommunikationsverbindung zu einer lokalen und/oder externen Rezept-Datenbank aufbauen. Es können auf den Nutzer ange- passte Rezepte ermittelt und in Listen- oder Bildform über den Projektor 121 ausgegeben werden. Dabei können Rezeptvorschläge differenziert angezeigt werden, z.B. unterschieden nach im Haushalt verfügbaren Zutaten und Gerätschaften und auf der anderen Seite nach nicht verfügbaren, noch zu kaufenden Zutaten und Gerätschaften. Die Rezeptvor- schläge können ggf. für einen anstehenden Anlass, z.B. Geburtstag, Abendessen, Brunch, etc. angepasst sein.
Des Weiteren kann der PKA 100 eingerichtet sein, einen Abgleich der geplanten Zubereitungszeit für ein ausgewähltes Rezept mit einem Terminkalender des Nutzers zu täti- gen, und ggf. den Nutzer darauf hinzuweisen, dass die erforderliche Zubereitungszeit mit seinem Terminkalender kollidiert. Der Nutzer kann dann ggf. ein anderes Rezept aussuchen. Außerdem kann ein Abgleich mit anderen PAs 100 (z.B. in anderen Haushalten) erfolgen, z.B. bezüglich der Verfügbarkeit von Zutaten. So kann der Nutzer darauf aufmerksam gemacht werden, dass eine bestimmte Zutat in einem Nachbarhaushalt verfügbar ist.
Der PKA 100 kann über eine Eingabemöglichkeit bzw. über eine automatische Erfassung von im Haushalt verfügbaren Gerätschaften verfügen, z.B. per RFID-Tags und/oder per direkter Bilderkennung und/oder durch verbale Beschreibung durch den Nutzer. Eingaben, wie eine Auswahl bzw. Interaktion, des Nutzers können per Sprachsteuerung und/oder Gestenerkennung erfolgen.
Der PKA 100 kann eingerichtet sein, Hausgeräte 201 über die Kommunikationseinheit 132 zu steuern bzw. einen Zustand bzgl. der Hausgeräte 201 zu erfragen. Dabei können die Hausgeräte 201 z.B. einen Kühlschrank, einen Herd, einen Staubsauger, einen Mixer, eine Küchenmaschine, einen Multikocher, Kleingeräte etc. umfassen. Insbesondere können Hausgeräte 201 gemäß dem ausgewählten Rezept angesteuert werden. Beispielsweise kann ein Füllstand bzw. ein Inhalt eines Kühlschranks ermittelt werden. Des Weiteren kann ein Herd entsprechend des Prozessfortschritts des Rezeptes angesteuert werden, z.B. durch interaktives Vorwärmen, durch Programmauswahl, durch die Auswahl mehrstufiger Programme, durch die Einstellung eines Timers, durch deaktivieren, etc. Außerdem kann ein Mixer angesteuert werden, z.B. durch automatisches An- und Ausschalten mittels Sprachkommandos oder Gesten des Nutzers. Dabei können Dauer, Drehzahl passend zum Rezept vorgewählt werden. Außerdem kann ein Staubsaugerroboter angesteuert werden, z.B. um die Küche nach Fertigstellung des Rezeptes zu reinigen. Der PKA 100 kann weiter eingerichtet sein, bei Beenden eines Backvorgangs zu veranlassen, dass eine Backofentür geöffnet wird und/oder dass ein Teleskopauszug ausgefahren wird.
Im Folgenden werden an einem weiteren Beispiel weitere beispielhafte Funktionen des PKA 100 beschrieben. Der PKA 100 kann die einzelnen Funktionen isoliert (d.h. unabhängig von dem dargestellten Beispiel) aufweisen. Wie bereits dargelegt, kann der PKA 100 durch Sprachsteuerung in einen aktiven Zustand gebracht werden. Der PKA 100 kann tragbar und/oder mobil sein. Des Weiteren kann der PKA 100 durch eine Batterie betrieben sein (die ggf. mit einer stationären Ladestation geladen werden kann). Der PKA 100 kann weiter eine Wecker-Funktion aufweisen. Durch Verwendung von mindestens zwei Mikrofonen 1 14 kann die Position eines Nutzers / Sprechers ermittelt werden (z.B. mit einer Genauigkeit von +/- 10°). Gegenstände im Umfeld des PKA 100 können ggf. durch RFID-Tags von dem PKA 100 erkannt werden.
Der PKA 100 kann eingerichtet sein, über eine Kommunikationsverbindung Zugriff auf Medien-Datenbanken zu erlangen (z.B. auf einen Nachrichten-Kanal). Information von einer Medien-Datenbank kann ermittelt und über den Projektor 121 angezeigt werden. Dabei können Nutzer-Präferenzen berücksichtigt werden (die ggf. von dem PKA 100 automatisch angelernt werden können). Des Weiteren kann die angezeigte Information in Abhängigkeit von den im Umfeld des PKA 100 anwesenden Personen ausgewählt wer- den. Zusätzlich kann eine Aufteilung der Inhalte nach Interessensgebieten der im Umfeld des PKA 100 anwesenden Personen erfolgen.
Der PKA 100 kann eine Erinnerungs- bzw. Hinweis-Funktion bereitstellen. Beispielsweise kann in Reaktion auf eine Wetterprognose ein Hinweis auf die Mitnahme eines Regen- schirms gegeben werden. Der PKA 100 kann über die Kommunikationseinheit 131 mit Entertainment-Systemen im Haushalt, wie z.B. TV, Radio, etc. interagieren. Insbesondere kann eine Fernsteuerung dieser Geräte durch den PKA 100 erfolgen.
Der PKA 100 kann mit persönlichen elektronischen Geräten 203 interagieren. Beispiels- weise kann über ein persönliches elektronisches Gerät 203 der Aufenthaltsort eines Besitzers des elektronischen Geräts 203 ermittelt werden. Der Aufenthaltsort kann dann durch den PKA 100 ausgegeben werden. Der PKA 100 kann über die Kommunikationseinheit 132 mit Haustechnik in einem Haushalt kommunizieren. Beispielsweise können über den PKA 100 Bilder einer Kamera am Hauseingang ermittelt und ausgegeben werden. Des Weiteren kann der PKA 100 eingerichtet sein, eine Verbindung mit einer Türsprechanlage bereitzustellen, um direkt von dem PKA 100 mit einer Person am Hauseingang kommunizieren zu können und um ggf. einen Türöffner zu aktivieren. Der PKA 100 kann ein Videokonferenzsystem zur Interaktion mit weiteren Personen per Mikrofon und Projektion und Internetverbindung bereitstellen. Insbesondere können über die Kamera 1 12 und über ein Mikrofon 1 14 ausgehende Konferenzdaten bereitgestellt werden, die an einen Konferenzpartner gesendet werden können. Andererseits können über den Projektor 121 und über den Lautsprecher 1 13 von dem Konferenzpartner einge- hende Konferenzdaten ausgegeben werden.
Der PKA 100 kann eingerichtet sein, auf eine SW-Datenbank zuzugreifen, um Software- Updates und/oder Software-Applikationen für einen erweiterten Funktionsumfang zu beziehen.
Der PKA 100 ermöglicht somit eine Vielzahl von unterschiedlichen Funktionen zur Unterstützung eines Nutzers in einem Haushalt. Insbesondere wird eine automatische Interaktion mit Hausgeräten 201 ermöglicht, wie z.B. eine Steuerung von einem Ofen, einer Spülmaschine, einer Küchenmaschine etc. Dabei greift der Nutzer typischerweise nur indirekt in die Steuerung ein, indem der Nutzer z.B. ein Kuchenrezept auswählt und die Zubereitung eines entsprechenden Teiges startet. Der PKA 100 analysiert Aktionen des Nutzers und zieht Schlussfolgerungen hinsichtlich der zeitlichen Gerätesteuerung und kontrolliert interaktiv mit dem Nutzer die Hausgeräte 100. Zu diesem Zweck kann der PKA 100 quasi-kontinuierlich Bilddaten bzgl. des Nutzers auswerten, um den Prozessfortschritt zu ermitteln.
Es kann eine autonome Kommunikation zwischen mehreren PAs 100 erfolgen, z.B. für einen Abgleich der Kühlschrankinhalte benachbarter Haushalte, für eine Abgleich gekochter Rezepte, etc. Des Weiteren kann eine adaptive Interaktion mit dem Nutzer erfolgen, wie z.B. ein Lernen und im weiteren Verlauf Erkennen der Gemütszustände des Nutzers anhand von visuellen und/oder akustischen Merkmalen. Der PKA 100 kann eingerichtet sein, über Ausgabe von Sprache und/oder über Simulation von„Mimik/Gestik" mit dem Nutzer zu kommunizieren (z.B. durch reale oder virtuelle Bewegung der HW- oder SW- Komponenten des PKA 100, welche eine natürliche menschliche Reaktion simulieren).
Der PKA 100 kann eingerichtet sein, einen Abgleich mit einem Kalender und/oder mit Gewohnheiten von Nutzer(n), sowie mit Onlinediensten, wiederkehrenden Aufgaben, etc. durchzuführen, und relevante Information bzgl. des Abgleichs über Sprachausgabe oder Projektion auszugeben. Des Weiteren kann ein automatischer Abgleich von Bedürfnissen des Nutzers, z.B. ein Essenswunsch, ein Rezeptwunsch, etc. mit Quellen im Internet, z.B. mit Bestellplattformen für Essen, mit Onlinegeschäften, etc. erfolgen.
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Vorrichtung veranschaulichen sollen.

Claims

PATENTANSPRÜCHE
Vorrichtung (100) zur Unterstützung eines Nutzers in einem Haushalt, wobei die Vorrichtung (100) umfasst,
- eine Basis (130), mit der die Vorrichtung (100) auf eine Standfläche gestellt werden kann;
- eine erste Interaktionseinheit (1 10), die einen optischen Sensor (1 12) umfasst, der eingerichtet ist, Bilddaten von einem Erfassungsbereich eines Umfelds der Vorrichtung (100) zu erfassen, wobei die erste Interaktionseinheit (1 10) relativ zu der Basis (130) bewegt werden kann, um den Erfassungsbereich zu verändern;
- eine zweite Interaktionseinheit (120), die einen Projektor (121 ) umfasst, der eingerichtet ist, ein Bild auf eine Projektionsfläche in dem Umfeld der Vorrichtung (100) zu projizieren, wobei die zweite Interaktionseinheit (120) separat von der ersten Interaktionseinheit (1 10) bewegt werden kann, um die Projektionsfläche des Projektors (121 ) zu verändern; und
- eine Steuereinheit (131 ), die eingerichtet ist,
-eine Position eines Nutzers der Vorrichtung (100) im Umfeld der
Vorrichtung (100) zu ermitteln;
-zu veranlassen, dass die erste Interaktionseinheit (1 10) und die zweite Interaktionseinheit (120) jeweils in Abhängigkeit von der
Position des Nutzers bewegt werden;
-eine Eingabe des Nutzers zu ermitteln; und
-in Reaktion auf die Eingabe, den Projektor (121 ) zu veranlassen, ein Bild auf die Projektionsfläche zu projizieren.
Vorrichtung (100) gemäß Anspruch 1 , wobei die Steuereinheit (131 ) eingerichtet ist, zu veranlassen, dass
- die erste Interaktionseinheit (1 10) derart bewegt wird, dass sich der Nutzer zumindest teilweise im Erfassungsbereich des optischen Sensors (1 12) befindet; und - die zweite Interaktionseinheit (120) derart bewegt wird, dass sowohl die
Projektionsfläche als auch die Vorrichtung (100) im Blickfeld des Nutzers liegen.
Vorrichtung (100) gemäß einem der vorhergehenden Ansprüche, wobei
- die Vorrichtung (100) akustische Sensoren (1 14) umfasst, die jeweils eingerichtet sind, akustische Daten bezüglich akustischer Signale im Umfeld der Vorrichtung (100) zu erfassen;
- die akustischen Sensoren (1 14) an unterschiedlichen Stellen der Vorrichtung (100) angeordnet sind; und
- die Steuereinheit (131 ) eingerichtet ist,
-auf Basis der akustischen Daten die Präsenz des Nutzers im Umfeld der Vorrichtung (100) zu detektieren; und
-auf Basis der akustischen Daten der akustischen Sensoren (1 14) die Position des Nutzers zu ermitteln.
Vorrichtung (100) gemäß Anspruch 3, wobei die Steuereinheit (131 ) eingerichtet ist,
- auf Basis der akustischen Daten der akustischen Sensoren (1 14) eine erste Position des Nutzers zu ermitteln;
- zu veranlassen, dass die erste Interaktionseinheit (1 10) in Abhängigkeit von der ersten Position des Nutzers bewegt wird, so dass sich der Nutzer zumindest teilweise im Erfassungsbereich des optischen Sensors (1 12) befindet;
- auf Basis der Bilddaten eine zweite Position des Nutzers zu ermitteln; und
- zu veranlassen, dass die erste Interaktionseinheit (1 10) und die zweite Interaktionseinheit (120) in Abhängigkeit von der zweiten Position des Nutzers bewegt werden.
Vorrichtung (100) gemäß einem der Ansprüche 3 bis 4, wobei
- die Vorrichtung (100) eine Speichereinheit (133) umfasst, die eingerichtet ist, Profildaten in Bezug auf ein oder mehrere vordefinierte Nutzer zu speichern; und - die Steuereinheit (131 ) eingerichtet ist, auf Basis der Profildaten sowie auf Basis der akustischen Daten und/oder der Bilddaten zu ermitteln, ob der Nutzer einem vordefinierten Nutzer entspricht.
6. Vorrichtung (100) gemäß einem der Ansprüche 3 bis 5, wobei die Steuereinheit (131 ) eingerichtet ist, die Vorrichtung (100) in Abhängigkeit von den akustischen
Daten aus einem Schlaf-Modus in einen Aktiv-Modus zu überführen.
7. Vorrichtung (100) gemäß einem der Ansprüche 3 bis 6, wobei die Steuereinheit (131 ) eingerichtet ist, auf Basis der akustischen Daten die Eingabe des Nutzers zu ermitteln.
8. Vorrichtung (100) gemäß einem der vorhergehenden Ansprüche, wobei
- der Projektor (121 ) eine Projektionsrichtung relativ zu der zweiten Inter- aktionseinheit (120) aufweist;
- die zweite Interaktionseinheit (120) Entfernungssensoren (122) umfasst, die eingerichtet sind, Entfernungsdaten zu erfassen, die eine Entfernung des jeweiligen Entfernungssensors (122) in Projektionsrichtung zu einer Oberfläche im Umfeld der Vorrichtung (100) anzeigen;
- die Entfernungssensoren (122) an unterschiedlichen Stellen der zweiten Interaktionseinheit (120) angeordnet sind; und
- die Steuereinheit (131 ) eingerichtet ist, zu veranlassen, dass die zweite Interaktionseinheit (120) auch in Abhängigkeit von den Entfernungsdaten bewegt wird. 9. Vorrichtung (100) gemäß einem der vorhergehenden Ansprüche, wobei die erste
Interaktionseinheit (1 10) eine Eingabe/Ausgabe-Einheit (1 1 1 ) umfasst, die eingerichtet ist, eine Berührungseingabe des Nutzers zu erfassen und/oder über einen Bildschirm eine optische Ausgabe an den Nutzer zu generieren. 10. Vorrichtung (100) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (100), insbesondere die erste Interaktionseinheit (1 10), einen akustischen Aktuator (1 13) umfasst, der eingerichtet ist, eine akustische Ausgabe zu generieren.
1 1 . Vorrichtung (100) gemäß einem der vorhergehenden Ansprüche, wobei
- die Vorrichtung (100) eine Kommunikationseinheit (132) umfasst, die eingerichtet ist, über eine Kommunikationsverbindung mit einem Hausgerät (201 ) und/oder mit einem Server (202) zu kommunizieren;
- die Steuereinheit (131 ) eingerichtet ist, in Reaktion auf die Eingabe, Information von dem Hausgerät (201 ) und/oder von dem Server (202) zu beziehen; und
- die Steuereinheit (131 ) eingerichtet ist, den Projektor (121 ) zu veranlassen, die Information im projizierten Bild darzustellen.
12. Vorrichtung (100) gemäß Anspruch 1 1 , wobei die Steuereinheit (131 ) eingerichtet ist,
- eine Anleitung zur Herstellung eines Nahrungsmittels von dem Server (202) zu beziehen; und
- das Hausgerät (201 ) in Abhängigkeit von der Anleitung und in Abhängigkeit von einer Eingabe des Nutzers zu steuern.
13. Vorrichtung (100) gemäß einem der Ansprüche 1 1 bis 12, wobei die Steuereinheit (131 ) eingerichtet ist,
- Profildaten in Bezug auf den Nutzer zu ermitteln;
- in Abhängigkeit von den Profildaten und in Abhängigkeit von einer Eingabe des Nutzers, eine Einkaufsliste zu erstellen; und
- die Einkaufsliste anhand der Kommunikationseinheit (132) an ein entferntes elektronische Gerät (203) zu senden.
14. Vorrichtung (100) gemäß einem der Ansprüche 1 1 bis 13, wobei
- die Steuereinheit (131 ) eingerichtet ist, auf Basis einer Vielzahl von Eingaben des Nutzers Profildaten für den Nutzer zu generieren und auf einer Speichereinheit (133) der Vorrichtung (100) zu speichern; und
- die Profildaten Charakteristika zur Identifizierung des Nutzers, Präferenzen des Nutzers und/oder Gewohnheiten des Nutzers anzeigen.
15. Vorrichtung (100) gemäß einem der vorhergehenden Ansprüche, wobei
- die Vorrichtung (100) einen ersten Aktuator umfasst, der eingerichtet ist, in Reaktion auf ein erstes Steuersignal der Steuereinheit (131 ) die erste Interaktionseinheit (1 10) um eine erste Rotationsachse zu bewegen, um unterschiedliche Erfassungsbereiche in einem Horizontalwinkelbereich von 360° um die Vorrichtung (100) zu ermöglichen; und/oder
- die Vorrichtung (100) einen zweiten Aktuator umfasst, der eingerichtet ist, in Reaktion auf ein zweites Steuersignal der Steuereinheit (131 ) die zweite Interaktionseinheit (120) um eine zweite Rotationsachse zu bewegen, um unterschiedliche Projektionsflächen in einem Horizontalwinkelbereich von 360° um die Vorrichtung (100) zu ermöglichen.
EP16728843.0A 2015-06-15 2016-05-20 Vorrichtung zur unterstützung eines nutzers in einem haushalt Withdrawn EP3308224A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015210879.1A DE102015210879A1 (de) 2015-06-15 2015-06-15 Vorrichtung zur Unterstützung eines Nutzers in einem Haushalt
PCT/EP2016/061404 WO2016202524A1 (de) 2015-06-15 2016-05-20 Vorrichtung zur unterstützung eines nutzers in einem haushalt

Publications (1)

Publication Number Publication Date
EP3308224A1 true EP3308224A1 (de) 2018-04-18

Family

ID=56121024

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16728843.0A Withdrawn EP3308224A1 (de) 2015-06-15 2016-05-20 Vorrichtung zur unterstützung eines nutzers in einem haushalt

Country Status (5)

Country Link
US (1) US20180176030A1 (de)
EP (1) EP3308224A1 (de)
CN (1) CN107969150A (de)
DE (1) DE102015210879A1 (de)
WO (1) WO2016202524A1 (de)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6995770B2 (ja) * 2016-06-15 2022-01-17 アイロボット・コーポレーション 自律移動ロボットを制御するためのシステムおよび方法
DE102017213427A1 (de) * 2017-08-02 2019-02-07 BSH Hausgeräte GmbH Küchenmaschine mit Anzeige
DE102017215279A1 (de) * 2017-08-31 2019-02-28 BSH Hausgeräte GmbH Haushaltsassistent
DE102017218162A1 (de) 2017-10-11 2019-04-11 BSH Hausgeräte GmbH Haushaltsassistent mit Projektor
ES2713598A1 (es) * 2017-11-15 2019-05-22 Bsh Electrodomesticos Espana Sa Sistema de aparato doméstico
DE102018001509A1 (de) * 2018-02-27 2019-08-29 MChef GmbH & Co.KG Verfahren und System zum Zubereiten von Speisen
DE102018205558A1 (de) 2018-04-12 2019-10-17 BSH Hausgeräte GmbH Küchenvorrichtung mit abbildendem Flächenelement für digitale Inhalte und Küchenanordnung mit Küchenvorrichtung
CN110579985A (zh) * 2018-06-07 2019-12-17 佛山市顺德区美的电热电器制造有限公司 一种控制方法、装置及系统
EP3736497A1 (de) * 2019-05-06 2020-11-11 Electrolux Appliances Aktiebolag Kochgerät
CN110393922A (zh) * 2019-08-26 2019-11-01 徐州华邦益智工艺品有限公司 一种具有投射功能的声控毛绒玩具狗
CN110891165B (zh) * 2019-12-03 2021-05-25 珠海格力电器股份有限公司 一种投影装置
EP4271969B1 (de) * 2020-12-30 2025-04-30 InterProducTec Consulting GmbH & Co. KG Lebensmittelverarbeitungssystem
EP4086726A1 (de) * 2021-05-06 2022-11-09 BSH Hausgeräte GmbH Elektronische vorrichtung zur bereitstellung von informationen hinsichtlich eines geräts

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140139426A1 (en) * 2012-11-07 2014-05-22 Panasonic Corporation Of North America SmartLight Interaction System

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3819856A (en) * 1972-04-17 1974-06-25 D Pearl Camera capsule
DE10027963A1 (de) * 2000-06-08 2001-12-13 O F A Line Gmbh Lebensmittelerkennung durch Kühlschränke mittels Tranponder
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
EP1766499A2 (de) * 2004-07-08 2007-03-28 Philips Intellectual Property & Standards GmbH Verfahren und system zur kommunikation zwischen einem benutzer und einem system
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
US7249708B2 (en) * 2005-02-04 2007-07-31 The Procter & Gamble Company Household management systems and methods
JP4563863B2 (ja) * 2005-05-12 2010-10-13 クリナップ株式会社 システムキッチン
ITBO20100193A1 (it) * 2010-03-27 2011-09-28 Chanan Gardi Apparecchiatura multimediale
US8751049B2 (en) * 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
US8322863B1 (en) * 2010-06-18 2012-12-04 Samuel Seungmin Cho Apparatus and method for automated visual distortion adjustments for a portable projection device
US20130052616A1 (en) * 2011-03-17 2013-02-28 Sears Brands, L.L.C. Methods and systems for device management with sharing and programming capabilities
JP5961945B2 (ja) * 2011-08-18 2016-08-03 株式会社リコー 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
CN102999282B (zh) * 2011-09-08 2015-11-25 北京林业大学 基于实时笔画输入的数据对象逻辑控制系统及其方法
KR20130096539A (ko) * 2012-02-22 2013-08-30 한국전자통신연구원 자율 이동장치 및 그 제어 방법
US20130279706A1 (en) * 2012-04-23 2013-10-24 Stefan J. Marti Controlling individual audio output devices based on detected inputs
US8990274B1 (en) * 2012-05-10 2015-03-24 Audible, Inc. Generating a presentation associated with a set of instructions
US9836590B2 (en) * 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
US8983662B2 (en) * 2012-08-03 2015-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Robots comprising projectors for projecting images on identified projection surfaces
US20140095479A1 (en) * 2012-09-28 2014-04-03 Sherry S. Chang Device, method, and system for recipe recommendation and recipe ingredient management
CN103170980B (zh) * 2013-03-11 2016-04-20 常州铭赛机器人科技股份有限公司 一种家用服务机器人的定位系统及定位方法
EP2974273A4 (de) * 2013-03-15 2018-01-10 Jibo, Inc. Vorrichtung und verfahren zur bereitstellung einer andauernden begleitvorrichtung
US20140365225A1 (en) * 2013-06-05 2014-12-11 DSP Group Ultra-low-power adaptive, user independent, voice triggering schemes
US9494683B1 (en) * 2013-06-18 2016-11-15 Amazon Technologies, Inc. Audio-based gesture detection
US20150146078A1 (en) * 2013-11-27 2015-05-28 Cisco Technology, Inc. Shift camera focus based on speaker position
EP2975908A1 (de) * 2014-06-18 2016-01-20 Toshiba Lighting & Technology Corporation Beleuchtungsvorrichtung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140139426A1 (en) * 2012-11-07 2014-05-22 Panasonic Corporation Of North America SmartLight Interaction System

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JU W ET AL: "CounterActive: An Interactive Cookbook for the Kitchen Counter", 1 April 2001 (2001-04-01), XP007906856, ISBN: 978-1-58113-340-0, Retrieved from the Internet <URL:http://www.media.mit.edu/pia/counteractive/counteractive-final.pdf> [retrieved on 200104] *
NATAN LINDER: "LuminAR : a compact and kinetic projected augmented reality interface", 1 January 2011 (2011-01-01), XP055047180, Retrieved from the Internet <URL:http://dspace.mit.edu/bitstream/handle/1721.1/69803/777961870.pdf?sequence=1> [retrieved on 20121207] *
See also references of WO2016202524A1 *

Also Published As

Publication number Publication date
CN107969150A (zh) 2018-04-27
WO2016202524A1 (de) 2016-12-22
DE102015210879A1 (de) 2016-12-15
US20180176030A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
WO2016202524A1 (de) Vorrichtung zur unterstützung eines nutzers in einem haushalt
CN111839371B (zh) 地面清扫方法、装置、扫地机和计算机存储介质
US20170364828A1 (en) Multifunction mobile units
CN105301997B (zh) 基于移动机器人的智能提醒方法和系统
CN113553449B (zh) 机器智能预测通信和控制系统
CN106406119B (zh) 基于语音交互、云技术及集成智能家居监控的服务机器人
KR102061511B1 (ko) 청소 로봇, 홈 모니터링 장치 및 그 제어 방법
EP2748973B1 (de) Synergistisches schnittstellensystem für ein gebäudenetzwerk
CN110578994B (zh) 一种运行方法及装置
CN113792625A (zh) 一种具有状态监控功能的智能桌、状态监控系统及服务器
DE102017129920A1 (de) Bauform für kompakten Heimassistenten mit kombiniertem Schallwellenleiter und Kühlkörper
CN109360559A (zh) 多智能设备同时存在时处理语音指令的方法和系统
Goldberg et al. Collaborative online teleoperation with spatial dynamic voting and a human" Tele-Actor"
CN105446162A (zh) 一种智能家居系统以及机器人的智能家居控制方法
CN111077786B (zh) 基于大数据分析的智能家居设备控制方法和装置
CN113251610A (zh) 用于空调控制的方法、装置和空调
EP3995065A1 (de) Sich selbsttätig fortbewegendes reinigungsgerät
WO2020151430A1 (zh) 一种空气成像系统及其实现方法
CN106994689B (zh) 基于脑电信号控制的智能机器人系统和方法
CN109558004A (zh) 一种人体辅助机器人的控制方法及装置
CN110533898B (zh) 受控设备的无线控制学习系统、方法、装置、设备及介质
CN114246512A (zh) 扫地机清扫方法、装置、扫地机和计算机存储介质
DE202018101233U1 (de) Systeme und Vorrichtungen zur Aktivitätsüberwachung über einen Home-Assistant
CN120419861A (zh) 清洁设备控制方法、控制装置、清洁设备及相关设备
DE112019002866T5 (de) Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren undprogramm

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180115

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20190705

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20201201