EP3894990A1 - Vorrichtung zur erzeugung eines haptisch wahrnehmbaren bereiches sowie konfigurations- und steuerverfahren einer solchen vorrichtung - Google Patents

Vorrichtung zur erzeugung eines haptisch wahrnehmbaren bereiches sowie konfigurations- und steuerverfahren einer solchen vorrichtung

Info

Publication number
EP3894990A1
EP3894990A1 EP19813287.0A EP19813287A EP3894990A1 EP 3894990 A1 EP3894990 A1 EP 3894990A1 EP 19813287 A EP19813287 A EP 19813287A EP 3894990 A1 EP3894990 A1 EP 3894990A1
Authority
EP
European Patent Office
Prior art keywords
ultrasound
modules
module
loudspeakers
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19813287.0A
Other languages
English (en)
French (fr)
Inventor
Michael Hirsch
Karsten ROWOLD
Ralf Pfennigwerth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3894990A1 publication Critical patent/EP3894990A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering

Definitions

  • the present invention relates to a device for generating a haptic
  • the ultrasound signals of which can be tuned in terms of phase, frequency and amplitude.
  • the invention further relates to a method for configuring and controlling such a device.
  • Controls By actuating such control elements, the user receives immediate haptic feedback via the sense of touch on his hand or fingers, so that the duration and pressure with which the control element is acted on can be perceived directly.
  • VR virtual reality
  • AR augmented reality
  • holographic environments in which any objects, devices and / or user interfaces are virtually displayed by suitable display systems.
  • the devices mentioned at the outset were developed which, by means of controlled ultrasound loudspeakers, generate an area which can be perceived by sound in terms of their phase, frequency and amplitude at predeterminable points of an interaction space. The sound acts directly on the hand and can be felt and felt here.
  • Such a device with a planar arrangement of ultrasonic loudspeakers is described, for example, in WO2016 / 038347 A1.
  • Currently known devices for generating a haptically perceptible area of a virtual object have a large number of ultrasound loudspeakers, which are arranged areally on a common plate. The extends above the plate
  • holographic environments often the preferred positions of the imaging devices and the preferred positions of the ultrasound speakers, so that compromises must be made, which reduces the accuracy of the effects produced.
  • the interacting hand can only be stimulated with a planar arrangement of the ultrasonic loudspeakers from one direction, so that the palpable effect on the palm of the hand decreases or disappears completely when the hand is twisted.
  • the known ultrasound loudspeaker arrangements cannot be combined satisfactorily with the likewise known imaging devices.
  • the manual configuration of the ultrasound loudspeakers or the ultrasound signals has proven to be very complex and therefore time-consuming and prone to errors.
  • the ultrasound speakers individually or in groups form a plurality of modules which can be positioned or arranged on the interaction space in such a way that
  • Ultrasound speaker of another module is oriented and / or
  • At least one ultrasound speaker of a module is spaced from a common plane of other ultrasound speakers and / or
  • the modules are at a selectable distance from one another. Due to the positionability and thus the freely selectable position of the individual modules with ultrasonic loudspeakers, the device can be optimally adapted to the existing installation space, which is why a collision of the preferred positions of the image-generating devices and the touch-generating devices is avoided.
  • the arbitrary, in particular angular arrangement of individual loudspeakers and / or modules relative to one another results in an optimal three-dimensional alignment of the modules in space, which can be arranged at any position outside the interaction space and aligned in the desired orientation.
  • An individual design of the device for generating the haptic feedback can thus be realized with an optimal use of the available installation space.
  • the device with essentially freely positionable modules has a minimal space requirement and, in particular, because the orientation of individual modules can be adjusted, a high degree of customization of the strength of the haptic effect can be achieved.
  • the ultrasound loudspeakers of a module are arranged on a common module level.
  • the ultrasound loudspeakers of a module preferably have an orientation oriented parallel to one another.
  • the specific design of such a module is not specified in particular with regard to the number and arrangement of the ultrasound loudspeakers and is essentially arbitrary, but in practice there has been a matrix-like arrangement of the
  • Ultrasound speakers proved to be advantageous.
  • they are square
  • Matrix arrangements of, for example, 4x4 ultrasound speakers are preferred.
  • the device has at least three modules, the module levels of which are oriented at an angle to one another.
  • the modules can be optimally arranged around the interaction space and aligned with the interaction space due to the installation space.
  • a control unit with software (firmware) and a software included thereon is preferably
  • the control unit calculates the individual ultrasonic signals in depending on the individual module positions and module orientations In relation to their phase, frequency and amplitudes in order to create a region with haptic feedback at any point in the interaction space. If such an area is to be created at several points, suitable groups are formed from the existing modules, which are assigned to a specific point and which generate the haptic feedback at this point. Because with the present three-dimensional
  • the haptic area can be felt even with different hand orientations and any shadow areas within the interaction space can be effectively avoided.
  • Control unit possible, so that simple and therefore inexpensive modules can be used in this case.
  • all cable lengths and signal propagation times must be known or the same length.
  • each module has a separate microcontroller for configuration and / or control of the ultrasound loudspeakers of a module and for communication with the control unit. This results in an optimal networking of the modules with the control unit designed as the main control unit and the communication is via a
  • a plurality of ultrasound microphones are provided, which are directly on the modules or freely in the room
  • the ultrasound microphones result in a simple automatic
  • Configurability of the device and the ultrasound microphones can also be used as a three-dimensional acoustic camera with which objects within the
  • Interaction space can be recognized, identified and tracked by a continuous position determination. This can result in an otherwise required
  • Image capture device for example in the form of a stereo camera, can be dispensed with. This will be discussed in more detail in the description of the method according to the invention.
  • the modules emit test signals which are defined one after the other and which are immediate and / or after a reflection on one or more reflection bodies of Ultrasound microphones are registered which are arranged directly on the modules and / or freely in the room, so that the relative positions and orientations of the modules and ultrasound microphones result from the transit times and / or the intensities of the registered test signals. Taking into account the positions thus determined and known
  • Orientations of the modules and of the ultrasound microphones arranged thereon can advantageously be coordinated with respect to their phase, frequency and amplitude in such a way that areas which can be perceived haptically at any point within the interaction space can be generated.
  • the ultrasound microphones self-calibrate the device, which simplifies the configuration of the device, which can be carried out essentially automatically without manual specifications.
  • the accuracy and resolution of the configuration increases with an increasing number of modules and / or ultrasound microphones. Therefore, at least three are preferred
  • Ultrasound microphones are provided, which can be arranged essentially freely distributed in the room. If the ultrasound microphones can be freely positioned, there are also the advantages that the positions are not limited to the module positions and, consequently, the amount of ultrasound microphones used and the different directions - i.e. their angles to measuring elements - can be increased as desired, which increases the detection range and accuracy of the procedure increased.
  • the ultrasound microphones can also be used as an acoustic camera with which objects within the interaction space can be identified, identified and tracked by means of a continuous position determination.
  • the ultrasound microphones can also be used as an acoustic camera with which objects within the interaction space can be identified, identified and tracked by means of a continuous position determination.
  • reflections from stationary or moving objects within the interaction space - such as, for example, a hand that engages in the interaction space - are registered by the ultrasound microphones and the position, shape and movement of the object are determined from the reflected signals.
  • the ultrasound frequencies can be used for the detection and tracking of the objects within the interaction space, which frequencies anyway generate the haptic effect
  • Ultrasound speakers are given. Alternatively, other frequencies that deviate from this can also be used.
  • objects can be determined using existing classification algorithms, which compare the reflected signals with existing and object-related data sets and, with a given match, allow the object to be clearly assigned. This also enables specific and targeted excitation of the object within the interaction space.
  • a specific embodiment of the present invention is explained below with reference to the figure, which shows a schematic representation of a device for generating a haptically perceptible area of a virtual object within an interaction space with a plurality of ultrasound loudspeakers.
  • the device 1 shown has a plurality of cylinders shown
  • Ultrasonic loudspeakers 2, 2 ' which in the present exemplary embodiment form groups of 25 modules 3, 3' with 16 ultrasonic loudspeakers 2, 2 'each. Overall, the device shown has 400 ultrasound speakers 2, 2 '.
  • the ultrasound speakers 2, 2 'of the individual modules 3, 3' are each arranged in a matrix with 4x4 ultrasound speakers 2, 2 'on a common module plate 4 and aligned parallel to one another.
  • the module plates 4 are flat and form module levels.
  • the modules 3, 3 ' are arranged in a ring and at an angle to a horizontal, so that at least one ultrasound loudspeaker 2 of one module 3 is oriented at an angle to at least one ultrasound loudspeaker 2' of another module 3 'and is spaced from a common plane of other ultrasound loudspeakers.
  • the modules 3, 3 ′′ and the ultrasound loudspeakers 2, 2 ′′ are essentially freely positionable and shown in FIG.
  • the modules 3, 3 ' have at least some ultrasound microphones 5, only three ultrasound microphones 5 being shown as examples in the present embodiment.
  • all modules 3, 3 ' preferably have at least one ultrasound microphone 5.
  • the ultrasound microphones 5 receive test signals which are emitted successively by the modules 3, 3' and which may be on a reflection body (not shown) are reflected.
  • the positions and orientations of the individual modules 3, 3 ' can be clearly determined via the recorded signals, in particular their frequencies and amplitudes, so that the ultrasound signals can be adjusted with respect to their phase, frequency and amplitude in such a way that at any position within the Interaction space 6 points with haptically perceptible areas can be generated.
  • the interaction space 6 is shown with a possible haptic feedback, essentially in the form of a part of a sphere, the shape of the interaction space 6 also depending on the specific and freely selectable arrangement of the modules 3, 3 '.
  • haptically perceptible areas can be generated at any position, which can be perceived by a person with one hand 7, which in the Interaction space 6 penetrates.
  • the reflections of the ultrasound signals on the hand 7 - or another object - are registered by the ultrasound microphones 5, so that the movement of the hand 7 in the interaction space 6 can be determined from the reflected signals.
  • control unit 8 To control and configure the device 1 are a control unit 8 and a
  • the control unit 8 is shown in the
  • Embodiment connected to the device 1 such that the control signals are sent directly from the control unit 8 to the individual modules 3, 3 '.
  • the modules 3, 3 ' can also have separate microcontrollers (not shown) which are connected for control purposes to the modules 3, 3' on the one hand and the control unit 8 on the other.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung zur Erzeugung eines haptisch wahrnehmbaren Bereiches eines virtuellen Objekts innerhalb eines Interaktionsraums mit einer Vielzahl von Ultraschalllautsprechern, deren Ultraschallsignale hierzu in Bezug auf Phase, Frequenz und Amplitude abstimmbar sind. Ferner betrifft die Erfindung ein Verfahren zur Konfiguration und Steuerung einer solchen Vorrichtung. Um eine Vorrichtung und ein Verfahren anzugeben, mit dem eine flexible Anpassung des Interaktionsraums an den Raum möglich ist, in dem virtuelle Objekte von einer Bilderzeugungsvorrichtung geschaffen werden, und um das Konfigurieren der Ultraschallsignale zu vereinfachen wird vorgeschlagen, dass die Ultraschallautsprecher einzeln oder gruppenweise mehrere Module bilden, die derart am Interaktionsraum positionierbar oder angeordnet sind, so dass mindestens ein Lautsprecher eines Moduls winklig zu mindestens einem Lautsprecher eines andern Moduls orientiert ist und/oder mindestens ein Lautsprecher eines Moduls von einer gemeinsamen Ebene anderer Ultraschalllautsprecher beabstandet ist und/oder die Module einen wählbaren Abstand zueinander aufweisen. Ferner wird vorgeschlagen, dass zur Konfiguration der Vorrichtung die Module nacheinander definierte Testsignale abgeben, die unmittelbar und/oder nach einer Reflexion an einem oder mehreren Reflexionskörpern von Ultraschallmikrofonen registriert werden, die unmittelbar an den Modulen oder frei im Raum angeordnet sind, so dass sich aus den Laufzeiten und/oder den Intensitäten der registrierten Testsignale die relativen Positionen und Orientierungen der Module und Ultraschallmikrofone ergeben.

Description

Beschreibung
Vorrichtung zur Erzeugung eines haptisch wahrnehmbaren Bereiches sowie Konfigurations und Steuerverfahren einer solchen Vorrichtung
Die vorliegende Erfindung betrifft eine Vorrichtung zur Erzeugung eines haptisch
wahrnehmbaren Bereiches eines virtuellen Objekts innerhalb eines Interaktionsraums mit einer Vielzahl von Ultraschalllautsprechern, deren Ultraschallsignale hierzu in Bezug auf Phase, Frequenz und Amplitude abstimmbar sind.
Ferner betrifft die Erfindung ein Verfahren zur Konfiguration und Steuerung einer solchen Vorrichtung.
Die Bedienung von Geräten, wie sie nach dem Stand der Technik bekannt sind, erfolgt üblicherweise über Schalter, Knöpfe, Touchflächen oder sonstige physikalische
Bedienelemente. Durch die Betätigung solcher Bedienelemente erhält der Benutzer ein unmittelbares haptisches Feedback über den Tastsinn seiner Hand oder der Finger, sodass die Dauer und der Druck unmittelbar wahrnehmbar ist, mit dem auf das Bedienelement eingewirkt wird.
Neben solchen physikalisch fassbaren und massebehafteten Geräten wurden in den
vergangenen Jahren auch virtuelle Umgebungen geschaffen, insbesondere Virtual Reality (VR), Augmented Reality (AR) oder holografische Umgebungen, in denen etwaige Objekte, Geräte und/oder Bedienoberflächen von geeigneten Anzeigesystemen virtuell dargestellt werden.
Solche virtuellen Objekte sind zwar visuell und räumlich wahrnehmbar, lassen sich allerdings nicht unmittelbar anfassen und mithin haptisch wahrnehmen oder spüren.
Zur haptischen Wahrnehmung virtueller Objekte wurden die eingangs genannten Vorrichtungen entwickelt, die mittels gesteuerter Ultraschalllautsprecher in Bezug auf deren Phase, Frequenz und Amplitude an vorgebbaren Punkten eines Interaktionsraums einen durch Schall haptisch wahrnehmbaren Bereich erzeugen. Dabei wirkt der Schall unmittelbar an der Hand und ist hierüber fühl- und spürbar. Eine solche Vorrichtung mit einer flächenhaften Anordnung von Ultraschalllautsprechern ist beispielsweise in WO2016/038347 A1 beschrieben. Derzeit bekannte Vorrichtungen zur Erzeugung eines haptisch wahrnehmbaren Bereiches eines virtuellen Objekts weisen eine Vielzahl von Ultraschalllautsprechern auf, die flächenhaft auf einer gemeinsamen Platte angeordnet sind. Oberhalb der Platte erstreckt sich der
Interaktionsraum, in dem die fühlbaren Punkte oder Bereiche erzeugt werden können. Die Anordnung aller Ultraschalllautsprecher einer Vorrichtung auf einer gemeinsamen Platte hat sich in der Praxis als nachteilbehaftet erwiesen, weil die Platte zur Erzeugung des gewünschten Effektes relativ viele Ultraschallautsprecher besitzen muss und deswegen relativ groß ausgestaltet sein muss, weshalb sie einen großen Flächenbedarf aufweist, der nicht in allen Vorrichtungen an der erforderlichen Stelle, nämlich unterhalb des Interaktionsraums, zur Verfügung steht. Ein optimales Positionieren der Ultraschalllautsprecheranordnung wird hierdurch erschwert. Ferner kollidieren bei bekannten Vorrichtungen insbesondere zur
Erzeugung holografischer Umgebungen oft die bevorzugten Positionen der bilderzeugenden Vorrichtungen und die bevorzugten Positionen der Ultraschalllautsprecher, so dass jeweils Kompromisse eingegangen werden müssen, was die Genauigkeit der erzeugten Effekte verringert. Schließlich kann die interagierende Hand mit einer flächenhaften Anordnung der Ultraschalllautsprecher nur aus einer Richtung stimuliert werden, so dass der spürbare Effekt an der Handinnenfläche bei einer verdrehten Hand abnimmt oder komplett verschwindet.
Insgesamt lassen sich daher die bekannten Ultraschalllautsprecheranordnungen nicht zufriedenstellend mit den ebenfalls bekannten bilderzeugenden Vorrichtungen kombinieren. Darüber hinaus hat sich die manuelle Konfiguration der Ultraschalllautsprecher bzw. der Ultraschallsignale als sehr aufwendig und mithin zeitintensiv und fehleranfällig erwiesen.
Hiervon ausgehend ist es die Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren anzugeben, mit dem eine flexible Anpassung des Interaktionsraums an den Raum möglich ist, in dem virtuelle Objekte von einer Bilderzeugungsvorrichtung geschaffen werden. Ferner soll das Konfigurieren der Ultraschallsignale vereinfacht werden.
Diese Aufgabe wird zunächst durch die Vorrichtung nach Anspruch 1 gelöst. Erfindungsgemäß ist vorgesehen, dass die Ultraschallautsprecher einzeln oder gruppenweise mehrere Module bilden, die derart am Interaktionsraum positionierbar oder angeordnet sind, dass
a) mindestens ein Ultraschalllautsprecher eines Moduls winklig zu mindestens einem
Ultraschalllautsprecher eines andern Moduls orientiert ist und/oder
b) mindestens ein Ultraschalllautsprecher eines Moduls von einer gemeinsamen Ebene anderer Ultraschalllautsprecher beabstandet ist und/oder
c) die Module einen wählbaren Abstand zueinander aufweisen. Durch die Positionierbarkeit und mithin die frei wählbare Position der einzelnen Module mit Ultraschalllautsprechern kann die Vorrichtung optimal an den vorhandenen Bauraum angepasst werden, weshalb eine Kollision der bevorzugten Positionen der bilderzeugenden Vorrichtungen und der tastsinnerzeugenden Vorrichtungen vermieden wird. Durch die beliebige, insbesondere winklige Anordnung einzelner Lautsprecher und/oder Module zueinander, erfolgt eine optimale dreidimensionale Ausrichtung der Module im Raum, die an beliebigen Positionen außerhalb des Interaktionsraums angeordnet und in gewünschter Orientierung ausgerichtet werden können. Damit kann ein individuelles Design der Vorrichtung zur Erzeugung des haptischen Feedbacks bei einer optimalen Ausnutzung des verfügbaren Bauraums realisiert werden. Ferner besitzt die Vorrichtung mit im wesentlichen frei positionierbaren Modulen einen minimalen Platzbedarf und insbesondere durch die Einsteilbarkeit der Orientierung einzelner Module kann eine hohe Individualisierbarkeit der Stärke des haptischen Effekts erzielt werden.
Bevorzugte Ausgestaltungen der vorliegenden Erfindung werden nachfolgend und in den Unteransprüchen beschrieben.
Nach einer ersten bevorzugten Ausgestaltung ist vorgesehen, dass die Ultraschalllautsprecher eines Moduls auf einer gemeinsamen Modulebenen angeordnet sind. Vorzugsweise weisen die Ultraschalllautsprecher eines Moduls dabei eine parallel zueinander ausgerichtete Orientierung auf. Die konkrete Ausgestaltung eines solchen Moduls ist zwar insbesondere in Bezug auf die Anzahl und Anordnung der Ultraschalllautsprecher nicht vorgegeben und im Wesentlichen beliebig, allerdings hat sich in der Praxis eine matrixförmige Anordnung der
Ultraschalllautsprecher als vorteilhaft erwiesen. Insbesondere sind quadratische
Matrixanordnungen von beispielsweise 4x4-Ultraschalllautsprechern bevorzugt.
Die Vorrichtung besitzt nach einer vorteilhaften Ausführungsform der Erfindung mindestens drei Module, deren Modulebenen winklig zueinander ausgerichtet sind. Hierdurch lassen sich die Module bauraumbedingt in optimaler Weise um den Interaktionsraum herum anordnen und auf den Interaktionsraum ausrichten.
Zur Konfiguration der Vorrichtung in Abhängigkeit der individuellen Position und Orientierung der Module und den hierauf angeordneten Ultraschalllautsprechern, ist vorzugsweise eine Steuereinheit mit einer hierauf enthaltenen Software (Firmware) und einer
Programmierschnittstelle (API) vorgesehen. Das Steuergerät berechnet in Abhängigkeit der individuellen Modulpositionen und Modulorientierungen die individuellen Ultraschallsignale in Bezug auf deren Phase, Frequenz und Amplituden, um an beliebigen Punkten im Interaktionsraum einen Bereich mit einem haptischen Feedback zu erzeugen. Ist dabei an mehreren Stellen ein solcher Bereich zu erzeugen, werden aus den vorhandenen Modulen geeignete Gruppen gebildet, die einem bestimmten Punkt zugeordnet werden und die an dieser Stelle das haptische Feedback erzeugen. Weil mit der vorliegenden dreidimensionalen
Anordnung der Module der haptische Bereich aus drei unterschiedlichen Richtungen generiert wird, kann der haptische Bereich auch bei unterschiedlichen Handorientierungen gefühlt werden und etwaige Schattenbereiche innerhalb des Interaktionsraums können wirksam vermieden werden.
Die Steuerung der gesamten Vorrichtung und mithin der einzelnen Module ist durch die
Steuereinheit möglich, so dass in diesem Fall einfache und daher preiswerte Module verwendet werden können. Um eine zeitlich korrekte Ansteuerung aller Module zu gewährleisten, müssen in diesem Fall alle Leitungslängen und Signallaufzeiten bekannt oder gleich lang sein.
Alternativ ist vorgesehen, dass jedes Modul einen separaten Mikrocontroller zur Konfiguration und/oder Ansteuerung der Ultraschalllautsprecher eines Moduls und zur Kommunikation mit der Steuereinheit aufweist. Hierdurch ergibt sich eine optimale Vernetzung der Module mit der als Hauptsteuergerät ausgebildeten Steuereinheit und die Kommunikation ist über ein
echtzeitfähiges Bussystem möglich.
Nach einer besonders bevorzugten Ausgestaltung der vorliegenden Erfindung sind mehrere Ultraschallmikrofone vorgesehen, die unmittelbar an den Modulen oder frei im Raum
angeordnet sind. Durch die Ultraschallmikrofone ergibt sich eine einfache automatische
Konfigurierbarkeit der Vorrichtung und die Ultraschallmikrofone können darüber hinaus als dreidimensionale akustische Kamera verwendet werden, mit der Objekte innerhalb des
Interaktionsraums erkannt, identifiziert und durch eine fortlaufende Positionsbestimmung verfolgt werden können. Hierdurch kann auf eine ansonsten erforderliche
Bilderfassungsvorrichtung, beispielsweise in Form einer Stereokamera, verzichtet werden. Im Einzelnen wird hierauf bei der Beschreibung des erfindungsgemäßen Verfahrens näher eingegangen.
Die der vorliegenden Erfindung zugrundeliegende Aufgabenstellung wird ergänzend durch das Verfahren nach Anspruch 9 gelöst. Erfindungsgemäß ist hiernach vorgesehen, dass zur Konfiguration der Vorrichtung die Module nacheinander definierte Testsignale abgeben, die unmittelbar und/oder nach einer Reflexion an einem oder mehreren Reflexionskörpern von Ultraschallmikrofonen registriert werden, die unmittelbar an den Modulen und/oder frei im Raum angeordnet sind, so dass sich aus den Laufzeiten und/oder den Intensitäten der registrierten Testsignale die relativen Positionen und Orientierungen der Module und Ultraschallmikrofone ergeben. Unter Berücksichtigung der so ermittelten und bekannten Positionen und
Orientierungen der Module sowie der darauf angeordneten Ultraschallmikrofone können die Ultraschallsignale der Module in Bezug auf ihre Phase, Frequenz und Amplitude in vorteilhafter Weise so abgestimmt werden, dass an beliebigen Stellen innerhalb des Interaktionsraumes haptisch wahrnehmbare Bereiche erzeugbar sind. Durch die Ultraschallmikrofone erfolgt eine Selbstkalibrierung der Vorrichtung, wodurch sich die Konfiguration der Vorrichtung vereinfacht, die im Wesentlichen automatisch ohne manuelle Vorgaben durchgeführt werden kann. Dabei steigt die Genauigkeit und die Auflösung der Konfiguration mit zunehmender Anzahl von Modulen und/oder Ultraschallmikrofonen. Vorzugsweise sind daher mindestens drei
Ultraschallmikrofone vorgesehen, die im Wesentlichen frei im Raum verteilt angeordnet werden können. Bei freier Positionierbarkeit der Ultraschallmikrofone ergeben sich zudem die Vorteile, dass die Positionen nicht auf die Modulpositionen beschränkt sind und mithin die Menge der verwendeten Ultraschallmikrofone und die unterschiedlichen Richtungen - also deren Winkel zu Messkörpern - beliebig erhöht werden kann, womit sich der Erkennungsbereich und die Genauigkeit des Verfahren erhöht.
Ergänzend zur Konfiguration der Vorrichtung können die Ultraschallmikrofone auch als akustische Kamera eingesetzt werden, mit der Objekte innerhalb des Interaktionsraums erkennbar, identifizierbar und durch eine fortlaufende Positionsbestimmung verfolgbar sind. Hierzu ist vorzugsweise vorgesehen, dass Reflexionen von ruhenden oder bewegten Objekten innerhalb des Interaktionsraums - wie beispielsweise einer Hand, die in den Interaktionsraum eingreift - von den Ultraschallmikrofonen registriert werden und aus den reflektierten Signalen die Position, die Form und die Bewegung des Objektes ermittelt wird. Zur Erkennung und Verfolgung der Objekte innerhalb des Interaktionsraums können die Ultraschallfrequenzen verwendet werden, die ohnehin zur Erzeugung des haptischen Effekts von den
Ultraschalllautsprechern abgegeben werden. Alternativ können auch andere hiervon abweichende Frequenzen verwendet werden.
Schließlich ist nach einer bevorzugten Ausgestaltung des Verfahrens vorgesehen, dass sich Objekte über vorhandene Klassifizierungsalgorithmen bestimmen lassen, die die reflektierten Signale mit vorhandenen und objektbezogenen Datensätzen vergleichen und bei gegebener Übereinstimmung eine eindeutige Zuordnung des Objektes erlauben. Hierdurch ist auch eine spezifische und gezielte Anregung des Objekts innerhalb des Interaktionsraums möglich. Eine konkrete Ausgestaltung der vorliegenden Erfindung wird nachfolgend mit Bezug auf die Figur erläutert, die eine schematische Darstellung einer Vorrichtung zur Erzeugung eines haptisch wahrnehmbaren Bereiches eines virtuellen Objekts innerhalb eines Interaktionsraums mit einer Vielzahl von Ultraschalllautsprechern zeigt.
Die dargestellte Vorrichtung 1 besitzt mehrere zylinderförmig dargestellte
Ultraschalllautsprecher 2, 2‘, die im vorliegenden Ausführungsbeispiel gruppenweise insgesamt 25 Module 3, 3‘ mit jeweils 16 Ultraschalllautsprechern 2, 2‘ bilden. Insgesamt besitzt die dargestellte Vorrichtung 400 Ultraschalllautsprecher 2, 2‘. Die Ultraschalllautsprecher 2, 2‘ der einzelnen Module 3, 3‘ sind jeweils matrixförmig mit 4x4 Ultraschalllautsprechern 2, 2‘ auf einer gemeinsamen Modulplatte 4 angeordnet und parallel zueinander ausgerichtet. Die Modulplatten 4 sind eben ausgebildet und bilden Modulebenen. Die Module 3, 3‘ sind ringförmig und gegenüber einer Horizontalen winklig angeordnet, so dass mindestens ein Ultraschalllautsprecher 2 eines Moduls 3 winklig zu mindestens einem Ultraschalllautsprecher 2‘ eines andern Moduls 3‘ orientiert ist und von einer gemeinsamen Ebene anderer Ultraschalllautsprecher beabstandet ist. Hierdurch sind die Module 3, 3‘ und die Ultraschalllautsprecher 2, 2‘ im Wesentlichen frei positionierbar und im gezeigten
Ausführungsbeispiel auf die Mitte des darüber angeordneten Interaktionsraums 6 ausgerichtet.
Zur Konfiguration und Steuerung der Vorrichtung 1 besitzen die Module 3, 3‘ zumindest teilweise Ultraschallmikrofone 5, wobei bei der vorliegenden Ausführungsform nur drei Ultraschallmikrofone 5 beispielhaft dargestellt sind. Um die Genauigkeit des Konfigurations- und Steuerverfahrens zu erhöhen, besitzen vorzugsweise alle Module 3, 3‘ mindestens ein Ultraschallmikrofon 5. Die Ultraschallmikrofone 5 empfangen zur Konfiguration Testsignale, die nacheinander von den Modulen 3, 3‘ abgegeben werden und die ggf. an einem Reflexionskörper (nicht dargestellt) reflektiert werden. Über die aufgenommenen Signale, insbesondere deren Frequenzen und Amplituden, lassen sich die Positionen und Orientierungen der einzelnen Module 3, 3‘ eindeutig bestimmen, so dass die Ultraschallsignale in Bezug auf deren Phase, Frequenz und Amplitude so einstellbar sind, dass an beliebigen Positionen innerhalb des Interaktionsraums 6 Punkte mit haptisch wahrnehmbaren Bereichen erzeugbar sind. In der Figur ist der Interaktionsraum 6 mit einem möglichen haptischen Feedback im wesentlichen teilkugelförmig dargestellt, wobei die Form des Interaktionsraums 6 auch von der konkreten und frei wählbaren Anordnung der Module 3, 3‘ abhängt.
Im Interaktionsraum 6 selbst lassen sich an beliebigen Positionen haptisch fühlbare Bereiche erzeugen, die durch eine Person mit einer Hand 7 wahrgenommen werden können, die in den Interaktionsraum 6 eindringt. Die Reflexionen der Ultraschallsignale an der Hand 7 - oder einem anderen Objekt - werden durch die Ultraschallmikrofone 5 registriert, so dass sich aus den reflektierten Signalen die Bewegung der Hand 7 im Interaktionsraum 6 ermitteln lässt.
Zur Steuerung und Konfiguration der Vorrichtung 1 sind eine Steuereinheit 8 und eine
Programmierschnittstelle 9 vorgesehen. Die Steuereinheit 8 ist im dargestellten
Ausführungsbeispiel derart mit der Vorrichtung 1 verbunden, dass die Steuersignale unmittelbar von der Steuereinheit 8 zu den einzelnen Modulen 3, 3‘ gesendet werden. Alternativ können die Module 3, 3‘ auch separate Mikrocontroller (nicht dargestellt) aufweisen, die zur Steuerung mit den Modulen 3, 3‘ einerseits und der Steuereinheit 8 andererseits verbunden sind.
Bezugszeichenliste
Vorrichtung
, 2‘ Ultraschalllautsprecher
, 3‘ Modul
Modulplatte
Ultraschallmikrofon
Interaktionsraum
Hand
Steuereinheit
Programmierschnittstelle

Claims

Patentansprüche
1. Vorrichtung zur Erzeugung eines haptisch wahrnehmbaren Bereiches eines virtuellen Objekts innerhalb eines Interaktionsraums (6) mit einer Vielzahl von
Ultraschalllautsprechern (2, 2‘), deren Ultraschallsignale hierzu in Bezug auf Phase, Frequenz und Amplitude abstimmbar sind,
dadurch gekennzeichnet, dass
die Ultraschalllautsprecher (2, 2‘) einzeln oder gruppenweise mehrere Module (3, 3‘) bilden, die derart am Interaktionsraum (6) positionierbar oder angeordnet sind, a) dass mindestens ein Ultraschalllautsprecher (2, 2‘) eines Moduls (3, 3‘) winklig zu mindestens einem Ultraschalllautsprecher (2, 2‘) eines anderen Moduls (3, 3‘) orientiert ist und/oder
b) dass mindestens ein Ultraschalllautsprecher (2, 2‘) eines Moduls (3, 3‘) von einer gemeinsamen Ebene anderer Ultraschalllautsprecher (2, 2‘) beabstandet ist und/oder
c) die Module (3, 3‘) einen wählbaren Abstand zueinander aufweisen.
2. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass die
Ultraschalllautsprecher (2, 2‘) eines Moduls (3, 3‘) auf einer gemeinsamen Modulebenen angeordnet sind.
3. Vorrichtung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Ultraschalllautsprecher (2, 2‘) eines Moduls (3, 3‘) eine parallel zueinander ausgerichtete Orientierung aufweisen.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die
Ultraschalllautsprecher (2, 2‘) eines Moduls (3, 3‘) als Matrix, insbesondere als quadratische Matrix, angeordnet sind.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die
Vorrichtung mindestens drei Module (3, 3‘) aufweist, deren Modulebenen winklig zueinander ausgerichtet sind.
6. Vorrichtung nach einem der Ansprüche 1 bis 5, gekennzeichnet durch eine Steuereinheit (8) mit einer hierauf enthaltenen Software und einer
Programmierschnittstelle (9) zur Konfiguration der Vorrichtung (1 ) in Abhängigkeit der individuellen Positionen und Orientierungen der Module (3, 3‘).
7. Vorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass jedes Modul (3, 3‘) einen separaten Mikrocontroller zur Konfiguration und/oder Ansteuerung der Ultraschalllautsprecher (2, 2‘) eines Moduls (3, 3‘) und zur Kommunikation mit der Steuereinheit (8) aufweist.
8. Vorrichtung nach einem der Ansprüche 1 bis 7, gekennzeichnet durch mehrere
Ultraschallmikrofone (5), die unmittelbar an den Modulen (3, 3‘) oder frei im Raum angeordnet sind.
9. Verfahren zur Konfiguration und Steuerung einer Vorrichtung (1 ) nach einem der
Ansprüche 1 bis 8,
dadurch gekennzeichnet, dass
zur Konfiguration der Vorrichtung (1 ) die Module (3, 3‘) nacheinander definierte
Testsignale abgeben, die unmittelbar und/oder nach einer Reflexion an einem oder mehreren Reflexionskörpern von Ultraschallmikrofonen (5) registriert werden, die unmittelbar an den Modulen (3, 3‘) und/oder frei im Raum angeordnet sind, so dass sich aus den Laufzeiten und/oder den Intensitäten der registrierten Testsignale die relativen Positionen und Orientierungen der Module (3, 3‘) und Ultraschallmikrofone (5) ergeben.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass bei bekannten Positionen und Orientierungen der Module (3, 3‘) und Ultraschallmikrofone (5) die Ultraschallsignale der Module (3, 3‘) in Bezug auf ihre Phase, Frequenz und Amplitude so abgestimmt werden, dass an beliebigen Stellen innerhalb des Interaktionsraumes (6) haptisch wahrnehmbare Bereiche erzeugbar sind.
11. Verfahren nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass
Reflexionen von ruhenden oder bewegten Objekten innerhalb des Interaktionsraums (6) von den Ultraschallmikrofonen (5) registriert werden und aus den reflektierten Signalen die Position, die Form und/oder die Bewegung des Objektes ermittelt wird.
EP19813287.0A 2018-12-14 2019-11-29 Vorrichtung zur erzeugung eines haptisch wahrnehmbaren bereiches sowie konfigurations- und steuerverfahren einer solchen vorrichtung Pending EP3894990A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018221795.5A DE102018221795A1 (de) 2018-12-14 2018-12-14 Vorrichtung zur Erzeugung eines haptisch wahrnehmbaren Bereiches sowie Konfigurations- und Steuerverfahren einer solchen Vorrichtung
PCT/EP2019/083030 WO2020120165A1 (de) 2018-12-14 2019-11-29 Vorrichtung zur erzeugung eines haptisch wahrnehmbaren bereiches sowie konfigurations- und steuerverfahren einer solchen vorrichtung

Publications (1)

Publication Number Publication Date
EP3894990A1 true EP3894990A1 (de) 2021-10-20

Family

ID=68762724

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19813287.0A Pending EP3894990A1 (de) 2018-12-14 2019-11-29 Vorrichtung zur erzeugung eines haptisch wahrnehmbaren bereiches sowie konfigurations- und steuerverfahren einer solchen vorrichtung

Country Status (4)

Country Link
EP (1) EP3894990A1 (de)
CN (1) CN113168234A (de)
DE (1) DE102018221795A1 (de)
WO (1) WO2020120165A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022157870A1 (ja) * 2021-01-21 2022-07-28 ヤマハロボティクスホールディングス株式会社 不良検出装置及び不良検出方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577738B2 (en) * 1996-07-17 2003-06-10 American Technology Corporation Parametric virtual speaker and surround-sound system
US20100260360A1 (en) * 2009-04-14 2010-10-14 Strubwerks Llc Systems, methods, and apparatus for calibrating speakers for three-dimensional acoustical reproduction
EP2375779A3 (de) * 2010-03-31 2012-01-18 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Vorrichtung und Verfahren zum Messen einer Vielzahl von Lautsprechern und Mikrofonanordnung
CN102893175B (zh) * 2010-05-20 2014-10-29 皇家飞利浦电子股份有限公司 使用声音信号的距离估计
US20160044394A1 (en) * 2014-08-07 2016-02-11 Nxp B.V. Low-power environment monitoring and activation triggering for mobile devices through ultrasound echo analysis
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
DE102016210213A1 (de) * 2016-06-09 2017-12-14 Bayerische Motoren Werke Aktiengesellschaft Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Interaktion zwischen einem Fortbewegungsmittel und einem Insassen des Fortbewegungsmittels
EP3616033B1 (de) * 2017-04-24 2024-05-29 Ultrahaptics IP Ltd Algorithmuserweiterungen für haptikbasierte phasengesteuerte phasenarraysysteme

Also Published As

Publication number Publication date
WO2020120165A1 (de) 2020-06-18
CN113168234A (zh) 2021-07-23
DE102018221795A1 (de) 2020-06-18

Similar Documents

Publication Publication Date Title
DE102015006032B4 (de) Ultraschalldetektionseinrichtung und Detektionsverfahren dafür
DE102014113453A1 (de) Beleuchtungssteuerpult und Beleuchtungssteuersystem
DE2521463A1 (de) Einrichtung zur abstrahlung von schallenergie
WO2020120170A1 (de) Benutzerschnittstelle eines fahrzeugs und verfahren zur konfiguration und steuerung der benutzerschnittstelle
DE102018214730A1 (de) Aktive Einparkhilfe für ein Kraftfahrzeug
EP3894990A1 (de) Vorrichtung zur erzeugung eines haptisch wahrnehmbaren bereiches sowie konfigurations- und steuerverfahren einer solchen vorrichtung
DE102007052154A1 (de) Audiomodul zur akustischen Überwachung eines Überwachungsbereichs, Überwachungssystem für den Überwachungsbereich, Verfahren zur Erzeugung einer Klangumgebung sowie Computerprogramm
DE60301146T2 (de) Verfahren und system zum repräsentieren eines schallfeldes
DE102010046359A1 (de) Geräteanordnung zur Simulation der gegenseitigen streichenden Berührung zweier Menschen aus der Ferne
EP1850639A1 (de) signalsysteme zur gewinnung multipler audiosignale aus wenigstens einem audiosignal
AT514412A1 (de) Verfahren zur Erhöhung der Sprachverständlichkeit
DE102009019405A1 (de) Vorrichtung und Verfahren zur binauralen Wiedergabe von Audio-Sonarsignalen
WO2019106118A1 (de) Identifikationseinrichtung, identifizikationsverfahren und kraftfahrzeug
EP1460450A1 (de) Verfahren zur synthetischen Generierung von Sonardaten
DE102020205298A1 (de) Interaktionsterminal und Verfahren zur Höheneinstellung seiner Anzeigevorrichtung und Bedieneinheit
DE102019216411B4 (de) Vorrichtung zum Erfassen einer Eingabe mittels eines Betätigungsobjekts und Verfahren zum Betreiben einer Vorrichtung zum Erfassen einer Eingabe
WO2013171025A1 (de) Anordnung und verfahren zum erzeugen einer tastsinnreizung eines benutzers
DE102016001104B4 (de) Verfahren zum Betrieb eines Getriebesystems in einem Kraftfahrzeug und Kraftfahrzeug
WO2004040939A2 (de) Verfahren zum vortäuschen einer bewegung mittels einer akustischen wiedergabeeinrichtung und schallwiedergabeanordnung dafür
DE2506506A1 (de) Anordnung fuer untersuchungen mittels ultraschallschwingungen
DE102019105764B3 (de) Verfahren zum Kalibrieren einer Benutzerschnittstelle sowie Benutzerschnittstelle
DE4127473A1 (de) Verfahren und vorrichtung zur abminderung von schall
DE102007022055B3 (de) Verfahren zum Lokalisieren von Geräuschquellen eines sich in einer Entfernung bewegenden Fahrzeugs
DE102014014421A1 (de) Heimautomatisierungssteuerungssystem
DE102016224438A1 (de) Prüfkopf und Verfahren zur zerstörungsfreien Prüfung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210714

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230227