EP3954132A1 - Interaktionseinrichtung - Google Patents

Interaktionseinrichtung

Info

Publication number
EP3954132A1
EP3954132A1 EP20717815.3A EP20717815A EP3954132A1 EP 3954132 A1 EP3954132 A1 EP 3954132A1 EP 20717815 A EP20717815 A EP 20717815A EP 3954132 A1 EP3954132 A1 EP 3954132A1
Authority
EP
European Patent Office
Prior art keywords
interaction
interaction device
microphone
microphones
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP20717815.3A
Other languages
English (en)
French (fr)
Inventor
Frank Schaefer
Philipp Kleinlein
Markus Helminger
Gerald Horst
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP3954132A1 publication Critical patent/EP3954132A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the invention relates to an interaction device.
  • the invention relates to an interaction device for controlling a domestic appliance.
  • Various household appliances can be used in a household, for example a dishwasher, a stove or an extractor hood.
  • One or more of the household appliances can be controlled by means of an interaction device.
  • the interaction device can be set up to determine a spoken instruction and to control an assigned function of one of the household appliances.
  • US 2017 361 468 B2 describes a mobile interaction device that can be attached to different household appliances.
  • interaction device is not suitable for all real applications. For example, a distance from which a spoken instruction is accepted is usually limited. Interaction devices are usually relatively expensive and inflexible.
  • An object on which the present invention is based consists in specifying a technique which allows improved interaction with a person.
  • the invention solves this problem by means of the subjects of the independent claims.
  • the dependent claims reproduce preferred embodiments.
  • An interaction device for use in a household comprises a first and a second microphone which are set up for acoustic scanning of a predetermined area of a household; and a processing device which is set up to determine a spoken instruction on the basis of samples of the microphones; and perform a control assigned to the instruction.
  • the interaction device can be addressed in an improved manner from an enlarged distance range.
  • the interaction device can be made responsive from an area whose size is that of a conventional one Apartment or a normal room corresponds to an apartment or a residential building.
  • the control can in particular relate to a domestic appliance.
  • a function of the domestic appliance is preferably triggered or an operating parameter of the domestic appliance is provided or changed on the basis of the spoken instruction.
  • the household appliance can for example comprise a stove, a refrigerator, an extractor hood or an oven.
  • the control relates to a function of the Inter reliesein direction itself, for example, when the interaction device displays a cooking recipe step by step, provides information on a spoken question or establishes a telephone connection to a predetermined participant.
  • the interaction device can serve as an interface between the person and any number of devices or information stores.
  • a directional characteristic of the first microphone for acoustic scanning in the close range and a directional characteristic of the second microphone for acoustic scanning in the far range of the interaction device are set up. Due to the different configurations of the two microphones, the area can be scanned acoustically in an improved manner.
  • a sound source in the near range can be scanned preferably by means of the first microphone and a sound source in the far range is preferably scanned by means of the second microphone. Unwanted sound sources in the other area can be suppressed better.
  • the directional characteristic of the first microphone can, for example, be relatively circular or spherical and that of the second microphone can be relatively heart-shaped or kidney-shaped. In other words, a directivity of the second microphone can be stronger than that of the first microphone.
  • the first microphone can have an improved sensitivity with respect to a sound source in the close range, while the second microphone can better detect sound from a sound source arranged in the far range while masking out interfering noises. As a result, sound sources at different distances can be scanned and distinguished from one another in an improved manner. The responsiveness of the Inter reliesein direction within a household can be improved.
  • a plurality of second microphones are preferably provided, the directional characteristics of which extend in different directions.
  • the directions can in particular radiate shaped in a horizontal plane. In this way, signals of the microphone whose directional characteristic most precisely points to the sound source in the far range can be evaluated in an improved manner. Faults that arrive at the interaction device from slightly different directions can be better discarded or suppressed.
  • the interaction device can also include an interface for connecting a mobile device to an input device and an output device.
  • a connection can be understood to mean, for example, a communicative connection. Acoustic signals that are recorded by the interaction device can therefore be processed by the mobile device. Conversely, it is of course also possible for the mobile device to want to make a voice output, for example, which is then output via a loudspeaker of the interaction device.
  • the mobile device can in particular comprise a personal digital assistant (PDA), a mobile telephone, a smartphone or a tablet computer.
  • PDA personal digital assistant
  • An application that implements interaction with a user can run on the mobile device. The interaction can make use of the input and / or output device of the mobile device.
  • one of the first or second microphones can be used for the interaction.
  • a “waking up” of the interaction device from an idle state can be controlled by means of the first and the second microphone.
  • Any instruction for waking up can be predetermined.
  • a restriction to a predetermined spoken instruction of the mobile device - for example "Hey Siri" or "Alexa” - can be bypassed in this way.
  • the instruction for waking up can be predetermined or user-selectable. Waking up can be done quickly and economically using local processing resources.
  • a subsequent voice control can take place in a known manner by means of a service in a cloud.
  • a shelf can be provided for the mobile device.
  • the mobile device can be mechanically attached to the shelf.
  • the interaction device can furthermore comprise an energy supply for the mobile device.
  • the interaction device can have a power supply unit for connection to an electrical energy supply network.
  • the interaction device comprises a portable energy store, in particular an accumulator or a battery, from which the interaction device and / or the mobile device can be operated and / or charged.
  • the interaction device can comprise a plurality of elements which can be placed or attached vertically on top of one another in different orders. In this way, a modular interaction device or a modular interaction system can be created that can be configured differently vertically.
  • a data connection and / or a power connection are preferably established between them.
  • the elements can be designed to be essentially cylindrical, so that several elements placed one on top of the other can essentially result in a cylinder again.
  • the interaction device comprises sealing means, e.g. Sealing rings to protect the interaction device from splashing water and standing water on the floor space. In this way, the electronics in the Inter relieseinrich device are protected from moisture.
  • sealing means e.g. Sealing rings to protect the interaction device from splashing water and standing water on the floor space. In this way, the electronics in the Inter relieseinrich device are protected from moisture.
  • the processing device can be set up to determine the direction of a source of the spoken instruction. This can be done in particular on the basis of phase shifts between signals of differently oriented second microphones. By processing signals from several microphones, the influence of another sound source can be reduced. In addition, a distance from the source of the spoken instruction can be determined or at least estimated on the basis of signals from the microphones.
  • a position of the source of the spoken instruction can be determined with respect to the interaction device and further optionally the position can be checked for plausibility with respect to a boundary of a surrounding space will. If the position is implausible, the specific source can be discarded and another source can be determined for the spoken instruction.
  • an acoustic output device, an optical output device and / or an optical input device are comprised by the interaction device.
  • the acoustic output device can in particular comprise at least one loudspeaker, the optical output device in particular a display or a projector and the optical input device in particular a virtual keyboard.
  • a virtual keyboard can comprise a projection device for projecting predetermined areas onto a surface and a scanning device for determining the position of an object, in particular a hand or a finger, with respect to the projection.
  • an interaction system comprises an interaction device described herein and a rotation device.
  • the processing device is set up to rotate at least one of the input or output devices and / or at least one of the microphones in the specific direction of the source of the spoken instruction by means of the rotation device.
  • the Rotationsein direction can, on the one hand, facilitate or improve an exchange of information from or to the user. On the other hand, the user can better acquire the impression that the interaction device is turning towards him, so that he can count on their attention.
  • the rotary movement can be part of an interaction concept that uses, for example, a facial expression of a depicted face as an output means.
  • the interaction device is set up to input and / or output empathic or emotional signals in order to support or improve an interaction with the user.
  • the rotary movement is preferably transmitted to an element which carries an optical output for the user.
  • This can relate, for example, to a projector or a display device of the mobile device or of the interaction device.
  • Features or advantages of the system can be transferred to the device or vice versa.
  • a user can arrange elements of the interaction device in such a way that only elements of which the user wishes this are rotated.
  • a virtual keyboard can also be rotated if there is enough space on a surface around the interaction device for the projection of the Keyboard is. Otherwise, the virtual keyboard can be projected in a predetermined, unchangeable direction.
  • an element that represents the virtual keyboard can be arranged above the rotation device and in the second case below it.
  • a method of controlling a device in a household comprises the steps of sampling sound using a plurality of microphones; determining a spoken instruction based on samples of the microphones; and performing control associated with the instruction.
  • the method can enable an interaction device to be addressed by a user from an enlarged area.
  • the method can be set up to run entirely or partially on a device described herein or on a system described herein.
  • the device or the system can in particular comprise a programmable microcomputer or microcontroller and the method can be in the form of a computer program product with program code means.
  • the computer program product can also be stored on a computer-readable data carrier. Additional features or advantages of the method can be transferred to the device or the system or vice versa.
  • the invention described here can be particularly advantageous when a user already has a mobile device such as a smartphone or a tablet PC. These devices are usually quite expensive and quickly become obsolete, but they are relatively powerful. An average user would also like to use these devices for cooking by displaying the recipe steps on these devices.
  • the microphones on smartphones are set up in such a way that they prefer to pick up acoustic signals from the immediate environment, but are not very sensitive to voice input from a distance.
  • it can always happen that liquids are present on the surface or splash onto it. Since the user often moves around while cooking, it can happen that he cannot see the screen of the mobile device clearly from all positions.
  • the interaction device described here can now contribute to solving these problems. It can be optimized in order to be able to understand spoken instructions well from a distance. It can provide a shelf for the mobile device so that the screen can be easily seen by the user at all times. For this purpose, the user can be located and the screen rotated accordingly. In addition, a certain distance between the mobile device and the floor space can be achieved in order to protect the mobile device from moisture.
  • the interaction device does not need an expensive processor because the processor of the mobile device can be used. In this way, the mobile device is purposefully supplemented by the properties that make it particularly suitable for supporting a cooking process in the kitchen.
  • FIG. 1 shows an exemplary interaction system
  • FIG. 2 shows an interaction device in a further embodiment
  • FIG. 3 exemplary directional characteristics of microphones
  • FIG. 4 shows a flow chart of an exemplary method.
  • FIG. 1 shows an interaction system 100, which is set up for use in a household, in a representation in the manner of an exploded drawing.
  • the interaction system 100 is set up to carry out a control assigned to the instruction in response to a spoken instruction from a person, which in particular relates to a domestic appliance 105 and can in particular include the execution of a device-specific function.
  • the interaction system 100 is preferably set up for use in a household and is preferably set up in an area of the household that is acoustically coherent, for example in a kitchen, a kitchen-living room or an open living area that adjoins a kitchen area.
  • the interaction system 100 is preferably of modular design and comprises an interaction device 110, which can be expanded by one or more elements 115-125.
  • the interaction device 110 is also considered as an element if necessary; in addition, the interaction device 110 can comprise one or more elements 115-125.
  • Each element 110-125 is set up to fulfill one or more functions, wherein an assignment of functions to elements 110-125 can also be selected differently than in the present example. Accordingly, a functional component required for a function can also be arranged in or on an element 110-125 other than that shown in FIG.
  • the elements 110-125 can preferably be stacked on top of one another in the manner shown. A data and / or energy interface can be established between adjacent elements 110-125, for example by means of a plug contact.
  • the elements 110-125 each essentially have the shape of a straight circular cylinder and the interaction system 100 has a corresponding shape.
  • the diameters of the elements 110-125 match.
  • An order of elements 110-125 can more preferably be varied.
  • the lowermost element comprises the interaction device 110.
  • the top element 125 is preferably set up for attaching a mobile device 130 which has at least one input device 135 and / or at least one output device 140.
  • the input device 135 can in particular have a microphone, a camera or a touchscreen.
  • the output device 140 can in particular comprise a display device, preferably as part of a touchscreen, a loudspeaker or a lighting device.
  • a shelf 145 can be provided, which in the present case is designed, for example, in the form of a holding bracket or a holding plate.
  • a data connection between the top element 125 and the mobile device 130 can be established by means of a data interface 150, which is preferably wireless, for example as a Bluetooth or WLAN connection.
  • Energy can be exchanged between the module 125 and the mobile device 130 by means of an energy interface 155, which is also preferably wireless, in particular by means of inductive energy transmission, for example according to the Qi standard.
  • the energy interface 155 can be integrated into the shelf 145 in order to be as close as possible to a receiver coil of the mobile device 130.
  • the data interface 150 and / or the energy interface 155 can each also be designed in a wired manner, for example as a USB plug connection.
  • the element 125 may include an energy store 160 so that it can be used to operate or charge the mobile device 130 without having physical contact with the other elements 110-120 itself.
  • the element 120 can comprise a projector 165, which is preferably set up to project a graphic or textual representation onto a surface.
  • the projector 165 can be set up especially for projection onto a horizontal surface such as a worktop or onto a vertical surface such as a wall or a piece of furniture.
  • the element 120 can comprise a virtual keyboard 170, which is described in more detail below with reference to FIG.
  • the element 115 preferably comprises a rotation device 175, which is set up to change an angle of rotation about a vertical axis with respect to an element 110, 120, 125 resting at the top or bottom.
  • the rotation device 175 can in particular comprise an electric motor or an ultrasonic motor.
  • the element 110 preferably comprises a processing device 180 and an energy supply 182, which preferably comprises a power supply unit for connection to an energy supply network.
  • An acoustic output device 184 is optionally provided, in particular in the form of a loudspeaker.
  • at least a first microphone 186 and at least one second microphone 188 are provided.
  • a plurality of first and / or second microphones 186, 188 can point in different directions in order in each case to preferably sample sound from the respective direction.
  • the plurality of first and / or second microphones 186, 188 can also be attached at different points of the interaction system 100, for example on a circumference around the vertical axis.
  • the processing device 180 is preferably set up to analyze signals from the microphones 186, 188.
  • the processing device 180 should be set up to determine a spoken instruction on the basis of the signals and, more preferably, to initiate or carry out a control assigned to the instruction.
  • control signals can be transmitted directly or via an external point 192, which can be connected to the processing device 180 by means of a particularly wireless data interface.
  • the external body 192 can also be a part ok
  • the external point 192 can be implemented as a server or service, in particular in a cloud.
  • the control relates to the external location 192 and can include, for example, querying or changing information.
  • FIG. 2 shows an exemplary interaction system 100 in a further embodiment.
  • the mobile device 130 is designed here as a tablet computer and the interaction system 100 comprises only the first element 120 and the third element 125.
  • the tray 145 is designed as a groove into which the mobile device 130 can be partially inserted .
  • the first element 120 comprises the virtual keyboard 170, which preferably comprises a projection device 205 for projecting a representation onto a surface and a scanning device 210 for detecting an object in the region of the representation.
  • the representation preferably includes at least one field 215 and the object can in particular include a finger or a hand of a user.
  • Several fields 215 shown can have a predetermined arrangement and form, for example, a keyboard. Touching one of the fields 215 by the object can be detected by means of the scanning device 210, which can, for example, be designed as an infrared camera.
  • FIG. 3 shows exemplary directional characteristics of microphones 186, 188.
  • FIG. 3a shows a heart-shaped first directional characteristic 305, which can be assigned to a first microphone 186
  • FIG. 3b shows a supercardioid or figure-eight-shaped second directional characteristic 310, which can be assigned to a second microphone 188.
  • Both representations are polar and show a sensitivity of the microphone 186, 188 as a distance from a center point (a large distance corresponds to a high sensitivity and vice versa), depending on a direction from which the sound acts on the microphone 199, 188.
  • the microphone 186, 188 is each oriented in the direction of 0 ° and is most sensitive to sound from this direction.
  • the first directional characteristic 305 indicates a somewhat constant sensitivity of the first microphone 186 in a front semicircle between 270 ° and 90 °. Sound from directions that lie on a rear semicircle, that is the range from 270 ° over 180 ° to 90 °, can be suppressed, for example, by means of a damping element such as foam or wadding.
  • the second directional characteristic 310 shows a strong focus on sound from the direction 0 °. Another preferred direction extends in the direction of 180 °, whereby sound from the rear semicircle is preferably attenuated. Two other, less strong, sensitivity lobes extend perpendicularly in 270 ° and 90 ° directions. Sound from these directions can either be attenuated or recognized by processing.
  • the directional characteristics 305, 310 show that the first microphone 186 is set up well for capturing sound from a close range, while the second microphone 188 is set up well for capturing sound from a far area.
  • a microphone 186, 188 can be rotated so that its 0 ° direction points towards the sound source. If a plurality of differently oriented microphones 186, 188 are provided, signals from the microphone 186, 188 that is best oriented in the direction of the sound source can be evaluated with preference.
  • the position of a sound source with respect to the microphones 186, 188 can be determined by considering phase shifts and / or amplitudes of signals from different microphones 186, 188, the signals going back to sound from the same sound source.
  • first directional characteristic 305 of the first microphone 186 preferably being wider with respect to the directional spectrum than the second directional characteristic 310 of the second microphone 188.
  • first directional characteristic 305 can also be circular and the second directional characteristic 310 can also be purely kidney-shaped.
  • FIG. 4 shows a flow chart of an exemplary method 400 that can be carried out by means of an interaction system 100.
  • sound from a sound source can be detected by means of the microphones 186, 188.
  • signals from a plurality of first and / or second microphones 186, 188 can be provided, which preferably go back to the same sound source. All other signals can be viewed as interference signals.
  • the signals are processed.
  • a direction can be determined from which the sound reaches the interaction device 110.
  • Interference signals can also be removed from the signal in order to improve a useful signal.
  • a position of the sound source is optionally determined. Should the specific If the third position is not realistic, further processing can be omitted or repeated with changed parameters or assumptions.
  • a spoken instruction can be determined in a step 415. If the sound that caused the signals provided by the microphones 186, 188 does not correspond to a spoken instruction, further processing can be suspended. If it is a spoken instruction to which no known function or control is assigned, a corresponding message can be output to the speaker of the instruction. Otherwise, the control associated with the spoken instruction can be determined.
  • This instruction can be executed in a step 420. For example, a parameter of a domestic appliance 105 can be changed in this step or a function of the domestic appliance 105 can be triggered.
  • the rotation device 175 can be used in a step 425 to rotate at least part of the interaction system 100.
  • the rotation is preferably carried out in such a way that an input device 135, 170, 186, 188 and / or an output device 140, 165, 184, 170 is oriented in the direction of the sound source.
  • the sound source usually comprises a user and the twisting can enable an improved interaction with the user.
  • the user can also be located in other ways, for example by means of a camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Eine Interaktionseinrichtung zum Einsatz in einem Haushalt umfasst ein erstes und ein zweites Mikrofon, wobei vorzugsweise eine Richtcharakteristik des ersten Mikrofons zur Abtastung im Nahbereich und eine Richtcharakteristik des zweiten Mikrofons zur Abtastung im Fernbereich eingerichtet ist; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, auf der Basis von Abtastungen der Mikrofone eine gesprochene Anweisung zu bestimmen; und eine der Anweisung zugeordnete Steuerung durchzuführen.

Description

Interaktionseinrichtung
Die Erfindung betrifft eine Interaktionseinrichtung. Insbesondere betrifft die Erfindung eine Interaktionseinrichtung zur Steuerung eines Hausgeräts.
In einem Haushalt können verschiedene Hausgeräte verwendet werden, beispielsweise ein Geschirrspüler, ein Herd oder eine Dunstabzugshaube. Eines oder mehrere der Hausgeräte können mittels einer Interaktionseinrichtung gesteuert werden. Die Interakti onseinrichtung kann dazu eingerichtet sein, eine gesprochene Anweisung zu bestimmen und eine zugeordnete Funktion eines der Hausgeräte zu steuern.
US 2017 361 468 B2 beschreibt eine mobile Interaktionseinrichtung, die an unterschiedli chen Haushaltsgeräten angebracht werden kann.
Eine solche Interaktionseinrichtung eignet sich aber nicht für alle realen Anwendungsfälle. Beispielsweise ist ein Abstand, aus dem eine sprachliche Anweisung akzeptiert wird, übli cherweise begrenzt. Interaktionseinrichtungen sind für gewöhnlich relativ teuer und unfle xibel.
Eine der vorliegenden Erfindung zu Grunde liegende Aufgabe besteht in der Angabe einer Technik, die eine verbesserte Interaktion mit einer Person erlaubt. Die Erfindung löst die se Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche ge ben bevorzugte Ausführungsformen wieder.
Eine Interaktionseinrichtung zum Einsatz in einem Haushalt umfasst ein erstes und ein zweites Mikrofon, die zur akustischen Abtastung eines vorbestimmten Bereichs eines Haushalts eingerichtet sind; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, auf der Basis von Abtastungen der Mikrofone eine gesprochene Anweisung zu bestim men; und eine der Anweisung zugeordnete Steuerung durchzuführen.
Durch die Verwendung zweier Mikrofone kann die Interaktionseinrichtung verbessert aus einem vergrößerten Entfernungsbereich angesprochen werden. Unter Ausnutzung übli cher Empfindlichkeiten von geeigneten Mikrofonen kann eine Ansprechbarkeit der Interak tionseinrichtung aus einem Bereich erreicht werden, dessen Größe dem einer üblichen Wohnung oder eines üblichen Zimmers einer Wohnung oder eines Wohnhauses ent spricht.
Die Steuerung kann insbesondere ein Hausgerät betreffen. Bevorzugt wird eine Funktion des Hausgeräts ausgelöst oder ein Betriebs parameter des Hausgeräts aufgrund der ge sprochenen Anweisung bereitgestellt oder verändert. Das Hausgerät kann beispielsweise einen Herd, einen Kühlschrank, eine Dunstabzugshaube oder einen Ofen umfassen. In einer weiteren Ausführungsform betrifft die Steuerung eine Funktion die Interaktionsein richtung selbst, beispielsweise wenn die Interaktionseinrichtung ein Kochrezept schritt weise darstellt, eine Auskunft auf eine gesprochene Frage erteilt oder eine Telefonverbin dung zu einem vorbestimmten Teilnehmer herstellt. Die Interaktionseinrichtung kann als Schnittstelle zwischen der Person und einer beliebigen Anzahl Geräte oder Informations speicher dienen.
In einer bevorzugten Ausführungsform sind eine Richtcharakteristik des ersten Mikrofons zur akustischen Abtastung im Nahbereich und eine Richtcharakteristik des zweiten Mikro fons zur akustischen Abtastung im Fernbereich der Interaktionseinrichtung eingerichtet. Durch die unterschiedlichen Konfigurationen der beiden Mikrofone kann der Bereich ver bessert akustisch abgetastet werden. Insbesondere kann eine Schallquelle im Nahbereich bevorzugt mittels des ersten und eine Schallquelle im Fernbereich bevorzugt mittels des zweiten Mikrofons abgetastet werden. Unerwünschte Schallquellen im jeweils anderen Bereich können verbessert ausgeblendet werden.
Die Richtcharakteristik des ersten Mikrofons kann beispielsweise relativ kreis- oder kugel förmig und die des zweiten Mikrofons relativ herz- oder nierenförmig sein. Anders ausge drückt kann eine Richtwirkung des zweiten Mikrofons stärker als die des ersten Mikrofons sein. Das erste Mikrofon kann eine verbesserte Sensitivität gegenüber einer Schallquelle im Nahbereich aufweisen, während das zweite Mikrofon verbessert Schall von einer im Fernbereich angeordneten Schallquelle unter Ausblendung von Störgeräuschen erfassen kann. Dadurch können Schallquellen in unterschiedlichen Entfernungen verbessert abge tastet und voneinander unterschieden werden. Die Ansprechbarkeit der Interaktionsein richtung innerhalb eines Haushalts kann verbessert sein.
Bevorzugt sind mehrere zweite Mikrofone vorgesehen, deren Richtcharakteristiken sich in unterschiedliche Richtungen erstrecken. Die Richtungen können insbesondere strahlen- förmig in einer horizontalen Ebene verlaufen. Dadurch können verbessert jeweils Signale desjenigen Mikrofons ausgewertet werden, dessen Richtcharakteristik am genauesten auf die Schallquelle im Fernbereich weist. Störungen, die aus leicht unterschiedlichen Rich tungen an der Interaktionseinrichtung eintreffen, können verbessert verworfen oder unter drückt werden.
Die Interaktionseinrichtung kann außerdem eine Schnittstelle zur Anbindung eines mobi len Geräts mit einer Eingabevorrichtung und einer Ausgabevorrichtung umfassen. Unter Anbindung kann in diesem Zusammenhang zum Beispiel eine kommunikative Verbindung verstanden werden. Akustische Signale, die von der Interaktionseinrichtung aufgenom men werden, können also vom mobilen Gerät verarbeitet werden. Umgekehrt ist es natür lich auch möglich, dass das mobile Gerät beispielsweise eine Sprachausgabe vornehmen will, die dann über einen Lautsprecher der Interaktionseinrichtung ausgegeben wird. Das mobile Gerät kann insbesondere einen persönlichen digitalen Assistenten (PDA), ein mo biles Telefon, ein Smartphone oder einen Tablet Computer umfassen. Auf dem mobilen Gerät kann eine Applikation ablaufen, die eine Interaktion mit einem Benutzer realisiert. Dabei kann die Interaktion Gebrauch von der Ein- und/oder Ausgabevorrichtung des mo bilen Geräts machen. Zusätzlich kann eines der ersten oder zweiten Mikrophone für die Interaktion verwendet werden.
In einer besonders bevorzugten Ausführungsform wird auf der Basis des ersten und des zweiten Mikrofons bestimmt, dass ein Benutzer eine vorbestimmte Schlüsselanweisung ausgesprochen hat, worauf hin eine Interaktion mittels des mobilen Geräts gesteuert wird. Anders ausgedrückt kann ein„Aufwecken“ der Interaktionseinrichtung aus einem Ruhe zustand mittels des ersten und des zweiten Mikrofons gesteuert werden. Dabei kann eine beliebige Anweisung für das Aufwecken vorbestimmt werden. Eine Einschränkung auf eine vorbestimmte gesprochene Anweisung des mobilen Geräts - beispielsweise„Hey Siri“ oder„Alexa“ - kann so umgangen werden. Die Anweisung für das Aufwecken kann vorbestimmt oder durch einen Benutzer wählbar sein. Das Aufwecken kann mittels lokaler Verarbeitungsressourcen schnell und sparsam erfolgen. Eine anschließende Sprachsteu erung kann auf bekannte Weise mittels eines Dienstes in einer Cloud erfolgen.
Weiterhin kann eine Ablage für das mobile Gerät vorgesehen sein. Das mobile Gerät kann mechanisch an der Ablage angebracht werden. Dabei können eine drahtlose oder drahtgebundene Datenschnittstelle und/oder eine drahtlose oder drahtgebundene Ener- gieschnittstelle zwischen dem mobilen Gerät und der Interaktionseinrichtung hergestellt werden.
Die Interaktionseinrichtung kann weiterhin eine Energieversorgung für das mobile Gerät umfassen. In einer Variante kann die Interaktionseinrichtung ein Netzteil zur Verbindung mit einem elektrischen Energieversorgungsnetz aufweisen. In einer zweiten Variante, die mit der ersten Variante kombiniert werden kann, umfasst die Interaktionseinrichtung einen transportablen Energiespeicher, insbesondere einen Akkumulator oder eine Batterie, aus welcher die Interaktionseinrichtung und/oder das mobile Gerät betrieben und/oder aufge laden werden können.
Die Interaktionseinrichtung kann mehrere Elemente umfassen, die in unterschiedlichen Reihenfolgen vertikal aufeinander gestellt oder angebracht werden können. So können eine modulare Interaktionseinrichtung oder ein modulares Interaktionssystem geschaffen werden, die vertikal unterschiedlich konfiguriert werden können. Bevorzugt werden beim Zusammenfügen zweier Elemente zwischen ihnen jeweils eine Datenverbindung und/oder eine Energieverbindung hergestellt. Die Elemente können im Wesentlichen zylindrisch ausgeführt sein, sodass mehrere aufeinander gestellte Elemente im Wesentlichen wieder einen Zylinder ergeben können.
In einigen Ausführungsformen weist die Interaktionseinrichtung Dichtmittel, wie z.B. Dicht ringe, auf, um die Interaktionseinrichtung vor Spritzwasser und stehendem Wasser auf der Stellfläche zu schützen. Auf diese Weise wird die Elektronik in der Interaktionseinrich tung vor Feuchtigkeit behütet.
Die Verarbeitungseinrichtung kann dazu eingerichtet sein, die Richtung einer Quelle der gesprochenen Anweisung zu bestimmen. Dies kann insbesondere auf der Basis von Pha senverschiebungen zwischen Signalen unterschiedlich ausgerichteter zweiter Mikrofone erfolgen. Mittels Verarbeitung von Signalen mehrerer Mikrofone kann ein Einfluss einer anderen Schallquelle verringert werden. Darüber hinaus kann auf der Basis von Signalen der Mikrofone eine Entfernung der Quelle der gesprochenen Anweisung bestimmt oder zumindest abgeschätzt werden. Optional kann eine Position der Quelle der gesprochenen Anweisung bezüglich der Interaktionseinrichtung bestimmt werden und weiter optional kann die Position bezüglich einer Begrenzung eines umgebenden Raums plausibilisiert werden. Ist die Position unplausibel, so kann die bestimmte Quelle verworfen und eine andere Quelle für die gesprochene Anweisung bestimmt werden.
In einer weiteren Ausführungsform sind eine akustische Ausgabevorrichtung, eine opti sche Ausgabevorrichtung und/oder eine optische Eingabeeinrichtung von der Interakti onseinrichtung umfasst. Die akustische Ausgabevorrichtung kann insbesondere wenigs tens einen Lautsprecher, die optische Ausgabevorrichtung insbesondere eine Anzeige oder einen Projektor und die optische Eingabevorrichtung insbesondere eine virtuelle Tas tatur umfassen. Eine virtuelle Tastatur kann eine Projektionseinrichtung zur Projektion vorbestimmter Bereiche auf eine Oberfläche und eine Abtasteinrichtung zur Bestimmung der Position eines Gegenstands, insbesondere einer Hand oder eines Fingers, bezüglich der Projektion umfassen.
Nach einem weiteren Aspekt der Erfindung umfasst ein Interaktionssystem eine hierin beschriebene Interaktionseinrichtung und eine Rotationseinrichtung. Dabei ist die Verar beitungseinrichtung dazu eingerichtet, zumindest eine der Ein- oder Ausgabevorrichtun gen und/oder zumindest eines der Mikrofone mittels der Rotationseinrichtung in die be stimmte Richtung der Quelle der gesprochenen Anweisung zu drehen. Die Rotationsein richtung kann einerseits einen Austausch von Informationen vom oder zum Benutzer er leichtern oder verbessern. Andererseits kann er Benutzer verbessert den Eindruck erwer ben, die Interaktionseinrichtung wende sich ihm zu, sodass er mit ihrer Aufmerksamkeit rechnen kann. Die Drehbewegung kann Teil eines Interaktionskonzepts sein, das bei spielsweise eine Mimik eines dargestellten Gesichts als Ausgabemittel verwendet. In ei ner Ausführungsform ist die Interaktionsvorrichtung zur Ein- und/oder Ausgabe empathi- scher oder emotionaler Signale eingerichtet, um eine Interaktion mit dem Benutzer zu unterstützen oder zu verbessern. Die Drehbewegung wird bevorzugt auf ein Element übertragen, das eine optische Ausgabe für den Benutzer trägt. Dies kann beispielsweise einen Projektor oder eine Anzeigevorrichtung des mobilen Geräts oder der Interaktions einrichtung betreffen. Merkmale oder Vorteile des Systems können auf die Vorrichtung übertragen werden oder umgekehrt.
Durch die modulare Verbindbarkeit kann ein Benutzer Elemente der Interaktionseinrich tung derart anordnen, dass nur Elemente verdreht werden, von denen der Benutzer dies wünscht. Beispielsweise kann eine virtuelle Tastatur mitgedreht werden, falls auf einer Oberfläche um die Interaktionseinrichtung herum ausreichend Platz für die Projektion der Tastatur ist. Andernfalls kann die virtuelle Tastatur in eine vorbestimmte, unveränderliche Richtung projiziert werden. Im ersten Fall kann ein Element, der die virtuelle Tastatur dar stellt, oberhalb der Rotationseinrichtung und im zweiten Fall unter ihr angeordnet sein.
Nach noch einem weiteren Aspekt der Erfindung umfasst ein Verfahren zum Steuern ei nes Geräts in einem Haushalt Schritte des Abtastens von Schall mittels mehrerer Mikro fone; des Bestimmens einer gesprochenen Anweisung auf der Basis von Abtastungen der Mikrofone; und des Durchführens einer der Anweisung zugeordneten Steuerung. Das Verfahren kann eine Ansprechbarkeit einer Interaktionseinrichtung durch einen Benutzer aus einem vergrößerten Bereich heraus ermöglichen.
Das Verfahren kann dazu eingerichtet sein, ganz oder teilweise auf einer hierin beschrie benen Vorrichtung oder auf einem hierin beschriebenen System abzulaufen. Dazu können die Vorrichtung oder das System insbesondere einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerpro grammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung oder das System übertragen werden oder umgekehrt.
Die hier beschriebene Erfindung kann insbesondere dann vorteilhaft sein, wenn ein Nut zer bereits ein mobiles Gerät wie ein Smartphone oder einen Tablet-PC besitzt. Diese Geräte sind meist recht teuer und veralten schnell, sind jedoch relativ leistungsstark. Ein durchschnittlicher Nutzer würde diese Geräte durchaus auch gern zum Kochen verwen den, indem er sich auf diesen Geräten die Rezeptschritte anzeigen lässt. Hierbei ergeben sich jedoch verschiedene Probleme: Die Mikrofone an Smartphones sind aus gutem Grund so eingerichtet, dass sie bevorzugt akustische Signale aus der unmittelbaren Um gebung aufnehmen, aber für Spracheingaben aus der Entfernung wenig empfindlich sind. Darüber hinaus hat man beim Kochen häufig nasse oder schmutzige Finger, sodass man das Gerät nicht anfassen möchte. Zusätzlich kann es immer Vorkommen, dass Flüssigkei ten auf der Stellfläche vorhanden sind oder dorthin spritzen. Da sich der Nutzer häufig beim Kochen bewegt, kann es passieren, dass er den Bildschirm des mobilen Geräts nicht von allen Positionen aus gut einsehen kann. Die hier beschriebene Interaktionseinrichtung kann nun einen Beitrag zur Lösung dieser Probleme liefern. Sie kann optimiert sein, um Sprachanweisungen auch aus der Entfer nung gut verstehen zu können. Sie kann eine Ablage für das mobile Gerät bereitstellen, so dass der Bildschirm vom Nutzer jederzeit gut eingesehen werden kann. Hierfür kann der Nutzer geortet und der Bildschirm entsprechend gedreht werden. Darüber hinaus kann ein gewisser Abstand zwischen dem mobilen Gerät und der Stellfläche erreicht wer den, um das mobile Gerät vor Feuchtigkeit zu schützen. Die Interaktionseinrichtung braucht dabei keinen teuren Prozessor, weil auf den Prozessor des mobilen Geräts zu rückgegriffen werden kann. Auf diese Weise wird durch die Interaktionseinrichtung das mobile Gerät gezielt durch die Eigenschaften ergänzt, die es besonders geeignet für eine Unterstützung eines Kochvorgangs in der Küche machen.
Die Erfindung wird nun unter Bezug auf die beiliegenden Figuren genauer beschrieben, in denen:
Figur 1 ein beispielhaftes Interaktionssystem;
Figur 2 eine Interaktionseinrichtung in einer weiteren Ausführungsform;
Figur 3 beispielhafte Richtcharakteristiken von Mikrofonen; und
Figur 4 ein Ablaufdiagramm eines beispielhaften Verfahrens darstellt.
Figur 1 zeigt ein Interaktionssystem 100, das zum Einsatz in einem Haushalt eingerichtet ist, in einer Darstellung nach Art einer Explosionszeichnung. Das Interaktionssystem 100 ist dazu eingerichtet, auf eine gesprochene Anweisung einer Person hin eine der Anwei sung zugeordnete Steuerung durchzuführen, die insbesondere ein Hausgerät 105 betref fen und insbesondere das Ausführen einer geräteeigenen Funktion umfassen kann. Das Interaktionssystem 100 ist bevorzugt zur Verwendung in einem Haushalt eingerichtet und ist bevorzugt in einem Bereich des Haushalts aufgestellt, der akustisch zusammenhän gend ist, beispielsweise in einer Küche, einer Wohnküche oder einem offenen Wohnbe- reich, der an einen Küchenbereich angrenzt.
Das Interaktionssystem 100 ist bevorzugt modular aufgebaut und umfasst eine Interakti onseinrichtung 110, die um eines oder mehrere Elemente 115-125 erweitert werden kann. Im Folgenden wird die Interaktionseinrichtung 110 bei Bedarf auch als Element betrachtet; außerdem kann die Interaktionseinrichtung 110 eines oder mehrere Elemente 115-125 umfassen. Jedes Element 110-125 ist zur Erfüllung einer oder mehrerer Funktionen ein gerichtet, wobei eine Zuordnung von Funktionen zu Elementen 110-125 auch anders als im vorliegenden Beispiel gewählt sein kann. Dementsprechend kann ein für eine Funktion erforderliches Funktionsbauteil auch in oder an einem anderen als dem in Figur 1 darge stellten Element 110-125 angeordnet sein. Die Elemente 110-125 können bevorzugt in der dargestellten Weise aufeinander gestapelt werden. Dabei kann zwischen benachbar ten Elementen 110-125 jeweils eine Daten- und/oder Energieschnittstelle hergestellt sein, beispielsweise mittels eines Steckkontakts. Es ist bevorzugt, dass die Elemente 110-125 jeweils im Wesentlichen die Form eines geraden Kreiszylinders aufweisen und das Inter aktionssystem 100 eine entsprechende Form hat. Dazu ist insbesondere bevorzugt, dass Durchmesser der Elemente 110-125 übereinstimmen. Eine Reihenfolge von Elementen 110-125 kann weiter bevorzugt variiert werden. Allerdings ist bevorzugt, dass das unterste Element die Interaktionseinrichtung 110 umfasst.
Das oberste Element 125 ist bevorzugt zur Anbringung eines mobilen Geräts 130 einge richtet, das wenigstens eine Eingabeeinrichtung 135 und/oder wenigstens eine Ausgabe vorrichtung 140 aufweist. Die Eingabevorrichtung 135 kann insbesondere ein Mikrofon, eine Kamera oder einen Touchscreen aufweisen. Die Ausgabevorrichtung 140 kann ins besondere Anzeigevorrichtung, bevorzugt als Teil eines Touchscreens, einen Lautspre cher oder eine Beleuchtungseinrichtung umfassen. Zur Anbringung des mobilen Geräts 130 am obersten Element 125 kann eine Ablage 145 vorgesehen sein, die vorliegend beispielhaft in Form eines Haltebügels oder einer Halteplatte ausgeführt ist. Eine Daten verbindung zwischen dem obersten Element 125 und dem mobilen Gerät 130 kann mittels einer Datenschnittstelle 150 erfolgen, die bevorzugt drahtlos ausgeführt ist, beispielsweise als Bluetooth- oder WLAN-Verbindung. Energie kann zwischen dem Modul 125 und dem mobilen Gerät 130 mittels einer Energieschnittstelle 155 ausgetauscht werden, die bevor zugt ebenfalls drahtlos ausgeführt ist, insbesondere mittels induktiver Energieübertra gung, beispielsweise nach dem Qi-Standard. Dazu kann die Energieschnittstelle 155 in die Ablage 145 integriert sein, um möglichst nahe an einer Empfängerspule des mobilen Geräts 130 zu liegen. Die Datenschnittstelle 150 und/oder die Energieschnittstelle 155 können jeweils auch drahtgebunden ausgeführt sein, beispielsweise als USB- Steckverbindung. Das Element 125 kann einen Energiespeicher 160 umfassen, sodass es zum Betreiben oder Aufladen des mobilen Geräts 130 verwendet werden kann, ohne selbst physischen Kontakt zu den anderen Elementen 110-120 zu haben. Das Element 120 kann einen Projektor 165 umfassen, der bevorzugt dazu eingerichtet ist, eine graphische oder textuelle Darstellung auf eine Oberfläche zu projizieren. Dabei kann der Projektor 165 insbesondere zur Projektion auf eine horizontale Oberfläche wie eine Arbeitsplatte oder auf eine vertikale Oberfläche wie eine Wand oder ein Möbel eingerich tet sein. Außerdem kann das Element 120 eine virtuelle Tastatur 170 umfassen, die unten mit Bezug auf Figur 2 noch genauer beschrieben wird.
Das Element 115 umfasst bevorzugt eine Rotationseinrichtung 175, die dazu eingerichtet ist, einen Drehwinkel um eine Hochachse bezüglich eines oben oder unten anliegenden Elements 110, 120, 125 zu verändern. Die Rotationseinrichtung 175 kann dazu insbeson dere einen Elektromotor oder einen Ultraschallmotor umfassen. Mittels des Elements 115 können bevorzugt oberhalb angebrachte Elemente 120, 125 sowie gegebenenfalls das mobile Gerät 130, gegenüber einem unterhalb angebrachten Element 110 oder einem Untergrund um die Hochachse gedreht werden.
Das Element 110 umfasst bevorzugt eine Verarbeitungseinrichtung 180 und eine Ener gieversorgung 182, die bevorzugt ein Netzteil zur Verbindung mit einem Energieversor gungsnetz umfasst. Optional ist eine akustische Ausgabevorrichtung 184 vorgesehen, insbesondere in Form eines Lautsprechers. Außerdem sind ein wenigstens erstes Mikro fon 186 und wenigstens ein zweites Mikrofon 188 vorgesehen. Mehrere erste und/oder zweite Mikrofone 186, 188 können in unterschiedliche Richtungen weisen, um jeweils bevorzugt Schall aus der jeweiligen Richtung abzutasten. Die mehreren ersten und/oder zweiten Mikrofone 186, 188 können auch an unterschiedlichen Stellen des Interaktions systems 100 angebracht sein, beispielsweise auf einem Umfang um die Hochachse. Die Verarbeitungseinrichtung 180 ist bevorzugt dazu eingerichtet, Signale der Mikrofone 186, 188 zu analysieren. Außerdem soll die Verarbeitungseinrichtung 180 dazu eingerichtet sein, auf der Basis der Signale eine gesprochene Anweisung zu bestimmen und weiter bevorzugt eine der Anweisung zugeordnete Steuerung zu veranlassen oder durchzufüh ren. Die Steuerung kann insbesondere ein Hausgerät 105 betreffen, das sich im gleichen Haushalt befinden kann.
Dabei kann eine Übermittlung von Steuersignalen direkt oder über eine externe Stelle 192 erfolgen, die mittels einer insbesondere drahtlosen Datenschnittstelle mit der Verarbei tungseinrichtung 180 verbunden sein kann. Die externe Stelle 192 kann auch einen Teil io
oder die gesamte Verarbeitung der von den Mikrofonen 186, 188 gelieferten Signale übernehmen. Die externe Stelle 192 kann als Server oder Dienst, insbesondere in einer Cloud, realisiert sein. In einer weiteren Ausführungsform betrifft die Steuerung die externe Stelle 192 und kann beispielsweise ein Abfragen oder Ändern von Informationen umfas sen.
Figur 2 zeigt ein beispielhaftes Interaktionssystem 100 in einer weiteren Ausführungsform. Das mobile Gerät 130 ist hier beispielhaft als Tablet Computer ausgeführt und das Inter aktionssystem 100 umfasst nur das erste Element 120 und das dritte Element 125. Am dritten Element 135 ist die Ablage 145 als Nut ausgeführt, in welche das mobile Gerät 130 teilweise eingeführt werden kann. Das erste Element 120 umfasst die virtuelle Tastatur 170, die bevorzugt eine Projektionseinrichtung 205 zur Projektion einer Darstellung auf eine Oberfläche und eine Abtasteinrichtung 210 zur Erfassung eines Objekts im Bereich der Darstellung umfasst. Die Darstellung umfasst bevorzugt wenigstens ein Feld 215 und das Objekt kann insbesondere einen Finger oder eine Hand eines Benutzers umfassen. Mehrere dargestellte Felder 215 können eine vorbestimmte Anordnung aufweisen und beispielsweise eine Tastatur bilden. Eine Berührung eines der Felder 215 durch das Ob jekt kann mittels der Abtasteinrichtung 210 erfasst werden, die beispielsweise als Infrarot- Kamera ausgeführt sein kann.
Figur 3 zeigt beispielhafte Richtcharakteristiken von Mikrofonen 186, 188. Figur 3a zeigt eine herzförmige erste Richtcharakteristik 305, die einem ersten Mikrofon 186 zugeordnet sein kann, und Figur 3b eine supernieren- oder achtförmige zweite Richtcharakteristik 310, die einem zweiten Mikrofon 188 zugeordnet sein kann. Beide Darstellungen sind polar und zeigen eine Empfindlichkeit des Mikrofons 186, 188 als Abstand von einem Mit telpunkt (ein großer Abstand entspricht einer hohen Empfindlichkeit und umgekehrt), in Abhängigkeit von einer Richtung, aus der Schall auf das Mikrofon 199, 188 einwirkt. Das Mikrofon 186, 188 ist jeweils in Richtung 0° orientiert und nimmt Schall aus dieser Rich tung am empfindlichsten auf.
Die erste Richtcharakteristik 305 zeigt eine einigermaßen konstante Empfindlichkeit des ersten Mikrofons 186 in einem vorderen Halbkreis zwischen 270° und 90° an. Schall aus Richtungen, die auf einem hinteren Halbkreis liegen, also dem Bereich von 270° über 180° nach 90°, kann beispielsweise mittels eines Dämpfungselements wie Schaumstoff oder Watte unterdrückt werden. Die zweite Richtcharakteristik 310 zeigt eine starke Ausrichtung auf Schall aus der Rich tung 0°. Eine weitere Vorzugsrichtung erstreckt sich in Richtung 180°, wobei bevorzugt Schall aus dem hinteren Halbkreis gedämpft wird. Zwei weitere, weniger starke Empfind lichkeitskeulen erstecken sich senkrecht dazu in 270° und 90° Richtungen. Schall aus diesen Richtungen kann entweder gedämpft oder verarbeitungstechnisch erkannt werden.
Die Richtcharakteristiken 305, 310 zeigen, dass das erste Mikrofon 186 gut zur Erfassung von Schall aus einem Nahbereich eingerichtet ist, während das zweite Mikrofon 188 gut zur Erfassung von Schall aus einem Fernbereich eingerichtet ist. Zur optimalen Abtastung einer Schallquelle kann ein Mikrofon 186, 188 so gedreht werden, dass seine 0°-Richtung auf die Schallquelle weist. Sind mehrere unterschiedlich ausgerichtete Mikrofone 186, 188 vorgesehen, so können Signale desjenigen Mikrofons 186, 188, das am besten in Rich tung der Schallquelle ausgerichtet ist, bevorzugt ausgewertet werden. Die Lage einer Schallquelle bezüglich der Mikrofone 186, 188 kann durch Betrachtung von Phasenver schiebungen und/oder Amplituden von Signalen unterschiedlicher Mikrofone 186, 188 bestimmt werden, wobei die Signale auf Schall aus der gleichen Schallquelle zurückge hen.
Andere als die dargestellten Richtcharakteristiken 305, 310 sind ebenfalls möglich, wobei die erste Richtcharakteristik 305 des ersten Mikrofons 186 bevorzugt breiter bezüglich es Richtungsspektrums als die zweite Richtcharakteristik 310 des zweiten Mikrofons 188 ist. Beispielsweise kann die erste Richtcharakteristik 305 auch kreisförmig sein und die zweite Richtcharakteristik 310 kann auch rein nierenförmig sein.
Figur 4 zeigt ein Ablaufdiagramm beispielhaften eines Verfahrens 400, das mittels eines Interaktionssystems 100 durchgeführt werden kann. In einem Schritt 405 kann Schall von einer Schallquelle mittels der Mikrofone 186, 188 erfasst werden. Dazu können Signale mehrerer erster und/oder zweiter Mikrofone 186, 188 bereitgestellt werden, die bevorzugt auf dieselbe Schallquelle zurückgehen. Alle anderen Signale können als Störsignale be trachtet werden. In einem Schritt 410 erfolgt eine Verarbeitung der Signale. Hier kann eine Richtung bestimmt werden, aus welcher der Schall die Interaktionseinrichtung 110 er reicht. Außerdem kann ein das Signal um Störsignale befreit werden, um ein Nutzsignal zu verbessern. Optional wird eine Position der Schallquelle bestimmt. Sollte die bestimm- te Position nicht realistisch sein, so kann eine weitere Verarbeitung unterbleiben oder mit geänderten Parametern oder Annahmen wiederholt werden.
Auf der Basis des Nutzsignals kann in einem Schritt 415 eine gesprochene Anweisung bestimmt werden. Sollte der Schall, der die von den Mikrofonen 186, 188 bereitgestellten Signale bewirkt hat, zu keiner gesprochenen Anweisung korrespondieren, so kann eine weitere Verarbeitung ausgesetzt werden. Handelt es sich um eine gesprochene Anwei sung, der keine bekannte Funktion oder Steuerung zugeordnet ist, so kann eine entspre chende Meldung an den Sprecher der Anweisung ausgegeben werden. Andernfalls kann die Steuerung bestimmt werden, die der gesprochenen Anweisung zugeordnet ist. Diese Anweisung kann in einem Schritt 420 ausgeführt werden. Beispielsweise können in die sem Schritt ein Parameter eines Hausgeräts 105 verändert oder eine Funktion des Haus geräts 105 ausgelöst werden.
Auf der Basis der im Schritt 410 erfolgten Richtungsbestimmung kann in einem Schritt 425 die Rotationseinrichtung 175 dazu verwendet werden, zumindest einen Teil des In teraktionssystems 100 zu verdrehen. Das Verdrehen erfolgt bevorzugt derart, dass eine Eingabeeinrichtung 135, 170, 186, 188 und/oder eine Ausgabeeinrichtung 140, 165, 184, 170 in Richtung der Schallquelle orientiert wird. Die Schallquelle umfasst üblicherweise einen Benutzer und das Verdrehen kann eine verbesserte Interaktion mit dem Benutzer ermöglichen. In einer anderen Ausführungsform kann der Benutzer auch auf andere Wei se geortet werden, beispielsweise mittels einer Kamera.
Interaktionssystem
Hausgerät
Interaktionseinrichtung erstes Element zweites Element drittes Element mobiles Gerät
Eingabevorrichtung Ausgabevorrichtung Ablage
Datenschnittstelle
Energieschnittstelle
Energiespeicher
Projektor virtuelle Tastatur
Rotationseinrichtung
Verarbeitungseinrichtung
Energieversorgung
Lautsprecher
erstes Mikrofon zweites Mikrofon externe Stelle
Projektor
Abtasteinrichtung
Feld erste Richtcharakteristik zweite Richtcharakteristik
Verfahren Schall erfassen Schall orten
Anweisung bestimmen Anweisung ausführen Interaktionseinrichtung drehen

Claims

PATENTANSPRÜCHE
1. Interaktionseinrichtung (110) zum Einsatz in einem Haushalt, umfassend:
- ein erstes (186) und ein zweites Mikrofon (188), die zur akustischen Abtastung ei nes vorbestimmten Bereichs eines Haushalts eingerichtet sind;
- eine Verarbeitungseinrichtung (180), die dazu eingerichtet ist, auf der Basis von Abtastungen der Mikrofone (186, 188) eine gesprochene Anweisung zu bestim men; und
- eine der Anweisung zugeordnete Steuerung durchzuführen.
2. Interaktionseinrichtung (110) nach Anspruch 1 , wobei eine Richtcharakteristik (305) des ersten Mikrofons (186) zur akustischen Abtastung in einem Nahbereich und eine Richtcharakteristik (310) des zweiten Mikrofons (188) zur akustischen Abtastung in ei nem Fernbereich der Interaktionseinrichtung (110) eingerichtet ist.
3. Interaktionseinrichtung (110) nach Anspruch 2, wobei mehrere zweite Mikrofone (188) vorgesehen sind, deren Richtcharakteristiken (305, 310) sich in unterschiedliche Rich tungen erstrecken.
4. Interaktionseinrichtung (110) nach einem der vorangehenden Ansprüche, ferner um fassend eine Schnittstelle zur Anbindung eines mobilen Geräts (130) mit einer Einga bevorrichtung (130, 140) und/oder einer Ausgabevorrichtung (140).
5. Interaktionseinrichtung (110) nach Anspruch 4, ferner umfassend eine Ablage (145) für das mobile Gerät (130).
6. Interaktionseinrichtung (110) nach Anspruch 4 oder 5, ferner umfassend eine Energie versorgung (155, 160) für das mobile Gerät (130).
7. Interaktionseinrichtung (110) nach einem der vorangehenden Ansprüche, wobei die Interaktionseinrichtung (110) mehrere Elemente (120-125) umfasst, die in unterschied lichen Reihenfolgen vertikal aufeinander gestellt werden können.
8. Interaktionseinrichtung (110) nach einem der vorangehenden Ansprüche, wobei die Verarbeitungseinrichtung (180) dazu eingerichtet ist, die Richtung einer Quelle der ge sprochenen Anweisung zu bestimmen.
9. Interaktionseinrichtung (110) nach einem der vorangehenden Ansprüche, ferner um fassend eine akustische Ausgabevorrichtung (184), eine optische Ausgabevorrichtung (165, 170) und/oder eine optische Eingabeeinrichtung (170).
10. Interaktionssystem (100), umfassend eine Interaktionseinrichtung (110) nach Ansprü chen 8 und 9 und eine Rotationseinrichtung (175), wobei die Verarbeitungseinrichtung (180) dazu eingerichtet ist, zumindest eine der Ein- oder Ausgabevorrichtungen (135, 140) und/oder zumindest eines der Mikrofone (186, 188) mittels der Rotationseinrich tung (175) in die bestimmte Richtung der Quelle der gesprochenen Anweisung zu drehen.
11. Verfahren (400) zum Steuern eines Geräts (130) in einem Haushalt, wobei das Ver fahren folgende Schritte umfasst:
- Abtasten (405) von Schall mittels mehrerer Mikrofone (186, 188);
Bestimmen (415) einer gesprochenen Anweisung auf der Basis von Abtastungen der Mikrofone (186, 188); und
Durchführen (420) einer der Anweisung zugeordneten Steuerung.
EP20717815.3A 2019-04-11 2020-04-02 Interaktionseinrichtung Withdrawn EP3954132A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019205205.3A DE102019205205B3 (de) 2019-04-11 2019-04-11 Interaktionseinrichtung
PCT/EP2020/059361 WO2020207889A1 (de) 2019-04-11 2020-04-02 Interaktionseinrichtung

Publications (1)

Publication Number Publication Date
EP3954132A1 true EP3954132A1 (de) 2022-02-16

Family

ID=70228019

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20717815.3A Withdrawn EP3954132A1 (de) 2019-04-11 2020-04-02 Interaktionseinrichtung

Country Status (4)

Country Link
US (1) US20220157304A1 (de)
EP (1) EP3954132A1 (de)
DE (1) DE102019205205B3 (de)
WO (1) WO2020207889A1 (de)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008029352A1 (de) * 2008-06-20 2009-12-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Lokalisieren einer Schallquelle
KR101761315B1 (ko) * 2009-11-24 2017-07-25 삼성전자주식회사 이동체 및 그 제어방법
US9820008B2 (en) * 2010-08-27 2017-11-14 Intel Corporation Capture and recall of home entertainment system session
US9440356B2 (en) * 2012-12-21 2016-09-13 Crosswing Inc. Customizable robotic system
WO2012072787A1 (en) * 2010-12-03 2012-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatially selective sound acquisition by acoustic triangulation
CN104040480A (zh) * 2011-03-28 2014-09-10 安比恩特兹公司 利用声学语境进行搜索的方法和系统
US20160240210A1 (en) * 2012-07-22 2016-08-18 Xia Lou Speech Enhancement to Improve Speech Intelligibility and Automatic Speech Recognition
US20170206064A1 (en) * 2013-03-15 2017-07-20 JIBO, Inc. Persistent companion device configuration and deployment platform
US9792901B1 (en) * 2014-12-11 2017-10-17 Amazon Technologies, Inc. Multiple-source speech dialog input
US10013981B2 (en) * 2015-06-06 2018-07-03 Apple Inc. Multi-microphone speech recognition systems and related techniques
CN104951077A (zh) * 2015-06-24 2015-09-30 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法、装置和终端设备
US10832665B2 (en) * 2016-05-27 2020-11-10 Centurylink Intellectual Property Llc Internet of things (IoT) human interface apparatus, system, and method
AU2017285019B2 (en) 2016-06-15 2022-11-10 Irobot Corporation Systems and methods to control an autonomous mobile robot
KR102549465B1 (ko) * 2016-11-25 2023-06-30 삼성전자주식회사 마이크 파라미터를 조절하는 전자 장치
JP2018148539A (ja) * 2017-03-09 2018-09-20 シャープ株式会社 情報処理装置およびその制御方法、ならびに制御プログラム
GB2565097B (en) * 2017-08-01 2022-02-23 Xmos Ltd Processing echoes received at a directional microphone unit
CN107685334B (zh) * 2017-09-27 2024-04-02 歌尔股份有限公司 一种服务机器人充电方法和服务机器人
DK3477964T3 (da) * 2017-10-27 2021-05-25 Oticon As Høresystem, der er konfigureret til at lokalisere en mållydkilde
WO2020035143A1 (en) * 2018-08-16 2020-02-20 Telefonaktiebolaget Lm Ericsson (Publ) Distributed microphones signal server and mobile terminal
US11145301B1 (en) * 2018-09-25 2021-10-12 Amazon Technologies, Inc. Communication with user presence
US11218802B1 (en) * 2018-09-25 2022-01-04 Amazon Technologies, Inc. Beamformer rotation
CN109561364A (zh) * 2018-11-15 2019-04-02 珠海格力电器股份有限公司 麦克风的移动方法、装置及设备、存储介质、电子装置

Also Published As

Publication number Publication date
DE102019205205B3 (de) 2020-09-03
US20220157304A1 (en) 2022-05-19
WO2020207889A1 (de) 2020-10-15

Similar Documents

Publication Publication Date Title
US10453457B2 (en) Method for performing voice control on device with microphone array, and device thereof
DE112018002871B4 (de) Verfahren und stimmgesteuerter knotenpunkt zur audiomustererkennung
DE102009017490B4 (de) Positionsbestimmung einer mobilen Vorrichtung
DE112015003945T5 (de) Mehrquellen-Rauschunterdrückung
DE102015210879A1 (de) Vorrichtung zur Unterstützung eines Nutzers in einem Haushalt
US20170046866A1 (en) Method and device for presenting operating states
DE112012002346T5 (de) Überwachen eines geofence-ausgangs
DE202019005728U1 (de) Elektronische Vorrichtung zur Steuerung einer Mehrzahl von Anwendungen
DE112017002299T5 (de) Stereotrennung und Richtungsunterdrückung mit Omni-Richtmikrofonen
CN108346168B (zh) 一种手势图像生成方法、装置及存储介质
DE112015002463T5 (de) Systeme und Verfahren zum gestischen Interagieren in einer im Umfeld vorhandenen Computerumgebung
DE102014114711A1 (de) Informationsverarbeitungsverfahren und erste elektronische Vorrichtung
DE112021005050B4 (de) Zugriffsberechtigungsprüfung in systemen mit künstlicher intelligenz
CN109348359B (zh) 一种音响设备及其音效调整方法、装置、设备、介质
DE112016000745B4 (de) System und Verfahren zum Steuern einer Endgeräteeinrichtung
DE112012006091T5 (de) Orientierungserkennung von Computergeräten
JP7791984B2 (ja) 変調領域アテンションに基づく残響および雑音にロバストなボイスアクティビティ検出
CN105915826A (zh) 一种自动调节电视机音效的方法及装置
DE102017104035A1 (de) Bestimmen räumlicher Beziehungen zwischen Gehäusen eines Mobilgeräts
DE102014117343B4 (de) Erfassen einer Pause in einer akustischen Eingabe in ein Gerät
CN111476904A (zh) 一种设备控制方法、装置、系统、电子设备及存储介质
CN105630301A (zh) 一种菜单选择系统及方法以及电子设备
EP3954132A1 (de) Interaktionseinrichtung
CN106095380A (zh) 声音信号获取方法及装置
DE10317542A1 (de) Mobiltelefon und Vorrichtung zur Datenverarbeitung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211111

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230104

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20250331

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 15/22 20060101ALI20250323BHEP

Ipc: G06F 3/16 20060101ALI20250323BHEP

Ipc: H04R 3/00 20060101ALI20250323BHEP

Ipc: H04R 1/40 20060101AFI20250323BHEP

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250801