DE102022208160A1 - Auswertevorrichtung und Verfahren zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten - Google Patents

Auswertevorrichtung und Verfahren zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten Download PDF

Info

Publication number
DE102022208160A1
DE102022208160A1 DE102022208160.9A DE102022208160A DE102022208160A1 DE 102022208160 A1 DE102022208160 A1 DE 102022208160A1 DE 102022208160 A DE102022208160 A DE 102022208160A DE 102022208160 A1 DE102022208160 A1 DE 102022208160A1
Authority
DE
Germany
Prior art keywords
sensor
coordinate system
axis
sensor unit
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022208160.9A
Other languages
English (en)
Inventor
Ye Lu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022208160.9A priority Critical patent/DE102022208160A1/de
Priority to US18/358,214 priority patent/US20240061519A1/en
Priority to CN202310980299.0A priority patent/CN117528310A/zh
Publication of DE102022208160A1 publication Critical patent/DE102022208160A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements

Abstract

Die Erfindung betrifft eine Auswertevorrichtung (12) und ein Verfahren zur Orientierungsschätzung für zwei an einem Objekt (14) angeordnete Sensoreinheiten (10a, 10b) durch Ermitteln einer Sensor-Transformationsmatrix von einem bezüglich einer ersten Sensoreinheit (10a) ortsfesten ersten Sensorkoordinatensystem (20a) in ein bezüglich einer zweiten Sensoreinheit (10b) ortsfestes zweites Sensorkoordinatensystem (20b) unter Berücksichtigung eines mittels der ersten Sensoreinheit (10a) gemessenen ersten Winkelgeschwindigkeitsvektors und eines mittels der zweiten Sensoreinheit (10b) gemessenen zweiten Winkelgeschwindigkeitsvektors, Transformieren eines mittels der ersten Sensoreinheit (10a) gemessenen ersten Beschleunigungsvektors in das zweite Sensorkoordinatensystem (20b), und Festlegen einer in dem zweiten Sensorkoordinatensystem (20a) liegenden ersten Achse x̃, welche einer sich durch die erste Sensoreinheit (10a) und die zweite Sensoreinheit (10b) erstreckenden ersten Koordinate x eines bezüglich des Objektes (14) ortsfesten Objektkoordinatensystems (18) entspricht, anhand des zweiten Winkelgeschwindigkeitsvektors, seiner zeitlichen Ableitung und eines Differenzvektors zwischen einem mittels der zweiten Sensoreinheit (10b) gemessenen zweiten Beschleunigungsvektor minus dem in das zweite Sensorkoordinatensystem (20b) transferierten ersten Beschleunigungsvektor.

Description

  • Die Erfindung betrifft eine Auswertevorrichtung für zwei an einem Objekt angeordnete Sensoreinheiten. Ebenso betrifft die Erfindung ein System und ein Audiosystem. Des Weiteren betrifft die Erfindung ein Verfahren zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten.
  • Stand der Technik
  • In der US 2018/0091924 A1 ist ein System zur Informationsübermittlung an einen Benutzer mit einem Paar von In-Ear-Kopfhörern beschrieben. Außerdem benötigt das System mehrere Wi-Fi-Zugangspunkte, mittels welchen die relativen Positionen der In-Ear-Kopfhörer an einem Kopf des Benutzers bestimmbar sein sollen.
  • Offenbarung der Erfindung
  • Die Erfindung schafft eine Auswertevorrichtung für zwei an einem Objekt angeordnete Sensoreinheiten mit den Merkmalen des Anspruchs 1, ein System mit den Merkmalen des Anspruchs 10, ein Audiosystem mit den Merkmalen des Anspruchs 11 und ein Verfahren zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten mit den Merkmalen des Anspruchs 12.
  • Vorteile der Erfindung
  • Die vorliegende Erfindung schafft vorteilhafte Möglichkeiten zur Schätzung oder Bestimmung einer Orientierung eines Objekts mit zwei daran angeordneten Sensoreinheiten relativ zu einem bezüglich einer der zwei Sensoreinheiten ortsfesten Sensorkoordinatensystem. Man kann dies auch als eine Schätzung oder Bestimmung eines Misalignments zwischen einem bezüglich des Objekts ortsfesten Objektkoordinatensystem und dem bezüglich einer der zwei Sensoreinheiten ortsfesten Sensorkoordinatensystem bezeichnen. Ebenso kann dieser Vorgang auch als eine Kalibrierung umschrieben werden.
  • Vorteilhafterweise ist mittels einer Verwendung der vorliegenden Erfindung die Schätzung oder Bestimmung der Orientierung des jeweiligen Objekts bezüglich des Sensorkoordinatensystems einer der zwei Sensoreinheiten auch dann möglich, wenn jede der zwei Sensoreinheiten lediglich zum Messen eines (dreidimensionalen) Winkelgeschwindigkeitsvektors und zum Messen eines (dreidimensionalen) Beschleunigungsvektors ausgelegt ist. Zum Anwenden der vorliegenden Erfindung werden somit nur ein mittels der ersten Sensoreinheit gemessener erster Winkelgeschwindigkeitsvektor, ein mittels der ersten Sensoreinheit gemessener erster Beschleunigungsvektor, ein mittels der zweiten Sensoreinheit gemessener zweiter Winkelgeschwindigkeitsvektor und ein mittels der zweiten Sensoreinheit gemessener zweiter Beschleunigungsvektor benötigt. Zusätzliche Signale, wie beispielsweise Wi-Fi-Signale oder GPS-Signale, werden zum Ausführen der vorliegenden Erfindung nicht benötigt. Deshalb ist die Erfindung auch in einer „Wi-Fi-freien und GPS-freien Umgebung“ verwendbar. Zusätzlich trägt der mittels der vorliegenden Erfindung realisierte Verzicht auf die Verwendung von Wi-Fi-Signalen oder GPS-Signalen zur Reduzierung eines für die Orientierungsschätzung benötigten Stromverbrauchs bei.
  • Es wird ausdrücklich darauf hingewiesen, dass eine Ausführbarkeit der vorliegenden Erfindung keine fixe Orientierung der zwei Sensoreinheiten an einer an dem jeweiligen Objekt angeordneten Verbindungskomponente benötigt. Stattdessen können die zwei Sensoreinheiten nacheinander und getrennt an dem Objekt angeordnet werden. Das Objekt kann auch ein Körperteil eines Benutzers, wie beispielsweise ein Kopf des Benutzers oder eine Hand des Benutzers, sein. Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, dass die Schätzung oder Bestimmung der Orientierung des Objekts, wie z.B. des Kopfes oder der Hand, bezüglich dem Sensorkoordinatensystem einer der zwei Sensoreinheiten auf eine natürliche Art und Weise selbstständig erfolgt, ohne dass der Benutzer dazu eine spezielle Bewegung ausführen muss. Die vorliegende Erfindung schafft deshalb Möglichkeiten zur Orientierungsschätzung, welche verglichen mit herkömmlichen Methoden, welche durch eine falsche Bewegung des Benutzers eine falsche Kalibrierung liefern, sehr fehlerrobust sind.
  • Bei einer vorteilhaften Ausführungsform der Auswertevorrichtung ist die Elektronikeinrichtung zusätzlich dazu ausgelegt und/oder programmiert, eine in dem zweiten Sensorkoordinatensystem liegende und senkrecht zu der ersten Achse x̃ ausgerichtete zweite Achse z̃, welche einer mittig zwischen der ersten Sensoreinheit und der zweiten Sensoreinheit, parallel zu der Gravitationsachse und senkrecht zu der ersten Koordinate x verlaufenden zweiten Koordinate z des Objektkoordinatensystems entspricht, unter Berücksichtigung eines bei Stillstand des Objekts gemessenen und in dem zweiten Sensorkoordinatensystem liegenden zweiten Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0001
    festzulegen. Die hier beschriebene Ausführungsform der Auswertevorrichtung nutzt somit die Richtung der Erdschwere, um auf kostengünstige Weise die zweite Achse 2 in dem zweiten Sensorkoordinatensystem festzulegen.
  • Vorzugsweise ist die Elektronikeinrichtung zusätzlich dazu ausgelegt und/oder programmiert, eine in dem zweiten Sensorkoordinatensystem liegende und senkrecht zu der ersten Achse x̃ und der zweiten Achse 2 ausgerichtete dritte Achse ỹ derart festzulegen, dass gilt: x̃ × ỹ = z̃. Mittels der Nutzung des Rechtshandsystems ist damit auch die dritte Achse 2 auf kostengünstige Weise festlegbar.
  • Als vorteilhafte Weiterbildung kann die Elektronikeinrichtung zusätzlich noch dazu ausgelegt und/oder programmiert sein, anhand der festgelegten ersten Achse x̃, der festgelegten zweiten Achse 2 und der festgelegten dritten Achse ỹ eine Objekt-Sensor-Transformationsmatrix R ¯ ¯
    Figure DE102022208160A1_0002
    von dem Objektkoordinatensystem in das zweite Sensorkoordinatensystem zu ermitteln. Die Objekt-Sensor-Transformationsmatrix R ¯ ¯
    Figure DE102022208160A1_0003
    kann anschließend vorteilhaft dazu genutzt werden, um anhand von nachfolgend mittels der ersten Sensoreinheit gemessenen ersten Winkelgeschwindigkeits- und Beschleunigungsvektoren ω 1 1
    Figure DE102022208160A1_0004
    und a 1 1
    Figure DE102022208160A1_0005
    und/oder mittels der zweiten Sensoreinheit gemessenen zweiten Winkelgeschwindigkeits- und Beschleunigungsvektoren ω 2 2
    Figure DE102022208160A1_0006
    und a 2 2
    Figure DE102022208160A1_0007
    eine Information bezüglich einer Bewegung des Objekts festzulegen.
  • Bei einer weiteren vorteilhaften Ausführungsform der Auswertevorrichtung ist die Elektronikeinrichtung dazu ausgelegt und/oder programmiert, mit einem die erste Sensoreinheit umfassenden und in einem ersten Ohr eines Kopfes angeordneten ersten In-Ear-Kopfhörer und einem die zweite Sensoreinheit umfassenden und in einem zweiten Ohr des Kopfes angeordneten zweiten In-Ear-Kopfhörer zusammenzuwirken, indem mittels der Elektronikeinrichtung die erste Achse x̃ entsprechend einer sich durch das erste Ohr und durch das zweite Ohr erstreckenden ersten Koordinate x eines Kopfkoordinatensystems, die zweite Achse z̃ entsprechend einer sich mittig durch eine Schädeldecke des Kopfes erstreckenden zweiten Koordinate z des Kopfkoordinatensystems und die dritte Achse ỹ entsprechend einer sich von einem Hinterkopf des Kopfes bis zu einer Nase des Kopfes erstreckenden dritten Koordinate y des Kopfkoordinatensystems festlegbar sind. Die hier beschriebene Ausführungsform der Auswertevorrichtung kann damit zum Bestimmen des Misalignments zwischen dem Kopfkoordinatensystem und dem zweiten Sensorkoordinatensystem verlässlich eingesetzt werden.
  • Bevorzugter Weise ist die Elektronikeinrichtung in diesem Fall auch dazu ausgelegt und/oder programmiert, anhand der festgelegten ersten Achse 2, der festgelegten zweiten Achse z̃ und der festgelegten dritten Achse 2 eine Kopf-Sensor-Transformationsmatrix von dem Kopfkoordinatensystem in das zweite Sensorkoordinatensystem zu ermitteln. Die Festlegung der Kopf-Sensor-Transformationsmatrix ist in diesem Fall für den Kopf des Benutzers auf einfache Weise und verlässlich ausführbar, ohne dass der Benutzer dazu bestimmte Gesten mit seinem Kopf ausführen muss.
  • Als vorteilhafte Weiterbildung der Auswertevorrichtung kann die Elektronikeinrichtung zusätzlich noch dazu ausgelegt und/oder programmiert sein, unter Berücksichtigung der festgelegten ersten Achse 2, der festgelegten zweiten Achse z̃ und der festgelegten dritten Achse 2 und/oder unter Berücksichtigung der festgelegten Kopf-Sensor-Transformationsmatrix und anhand von nachfolgend mittels der ersten Sensoreinheit gemessenen ersten Winkelgeschwindigkeits- und Beschleunigungsvektoren ω 1 1
    Figure DE102022208160A1_0008
    und a 1 1
    Figure DE102022208160A1_0009
    und/oder mittels der zweiten Sensoreinheit gemessenen zweiten Winkelgeschwindigkeits- und Beschleunigungsvektoren ω 2 2
    Figure DE102022208160A1_0010
    und a 2 2
    Figure DE102022208160A1_0011
    eine Information bezüglich von dem Kopf ausgeführten Gesten festzulegen und auszugeben. Beispielsweise kann in diesem Fall die Auswertevorrichtung vorteilhaft mit einer Steuervorrichtung zusammenwirken, welche anhand der von der Auswertevorrichtung ausgegebenen Information bezüglich der von dem Kopf ausgeführten Gesten mindestens eine weitere Komponente und/oder mindestens eine Funktion eines Mobilgeräts, wie speziell eines Wearable oder eines Hearable, ansteuert. Der Benutzer kann dann durch seine Kopfbewegung eine von ihm bevorzugte Funktion des Mobilgeräts anzeigen, welche aufgrund der mittels der hier beschriebenen Ausführungsform der Auswertevorrichtung möglichen relativ genauen Schätzung der Kopforientierung verlässlich umsetzbar ist.
  • Bevorzugter Weise ist die Elektronikeinrichtung dazu ausgelegt und/oder programmiert, einen in dem zweiten Sensorkoordinatensystem liegenden Radiusvektor r
    Figure DE102022208160A1_0012
    unter Berücksichtigung des in dem zweiten Sensorkoordinatensystem liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2 ,
    Figure DE102022208160A1_0013
    der zeitlichen Ableitung d d t ω 2 2
    Figure DE102022208160A1_0014
    des in dem zweiten Sensorkoordinatensystem liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0015
    und des in dem zweiten Sensorkoordinatensystem liegenden Differenzvektors Δ a
    Figure DE102022208160A1_0016
    derart festzulegen, dass gilt:
    Δ a = ω 2 2 × ω 2 2 × r + d d t ω 2 2 × r ,
    Figure DE102022208160A1_0017
    wobei die Elektronikeinrichtung dazu ausgelegt und/oder programmiert ist, die erste Achse x̃ derart festzulegen, dass der Radiusvektor r
    Figure DE102022208160A1_0018
    auf der ersten Achse x̃ liegt. Die bei der hier beschriebenen Ausführungsform der Auswertevorrichtung realisierte Nutzung der Kenntnisse von durch Rotationen verursachten Beschleunigungen erlaubt eine verlässliche Festlegung der ersten Achse x̃.
  • Alternativ oder ergänzend kann die Elektronikeinrichtung auch dazu ausgelegt und/oder programmiert sein, die Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0019
    unter Berücksichtigung des in dem ersten Sensorkoordinatensystem liegenden ersten Winkelgeschwindigkeitsvektors ω 1 1
    Figure DE102022208160A1_0020
    und des in dem zweiten Sensorkoordinatensystem liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0021
    so zu ermitteln, dass gilt: ω 2 2 = R s e n s o r ¯ ¯ ω 1 1 ,
    Figure DE102022208160A1_0022
    und den ersten Beschleunigungsvektor a 1 1
    Figure DE102022208160A1_0023
    aus dem ersten Sensorkoordinatensystem in das zweite Sensorkoordinatensystem zu transformieren gemäß: a 1 2 = R s e n s o r ¯ ¯ a 1 1 .
    Figure DE102022208160A1_0024
    Der aus dem ersten Sensorkoordinatensystem in das zweite Sensorkoordinatensystem transformierte erste Beschleunigungsvektor a 1 1
    Figure DE102022208160A1_0025
    kann dann verlässlich zum Festlegen der ersten Achse x̃ genutzt werden.
  • Auch ein System mit einer derartigen Auswertevorrichtung, der ersten Sensoreinheit und der zweiten Sensoreinheit realisiert die vorausgehend beschriebenen Vorteile.
  • Ebenso sind die vorausgehend beschriebenen Vorteile auch bei einem Audiosystem gewährleistet mit einer entsprechenden Auswertevorrichtung, dem die erste Sensoreinheit umfassenden und in einem ersten Ohr eines Kopfes anordbaren ersten In-Ear-Kopfhörer und dem die zweite Sensoreinheit umfassenden und in einem zweiten Ohr des Kopfes anordbaren zweiten In-Ear-Kopfhörer.
  • Des Weiteren schafft auch ein Ausführen eines korrespondierenden Verfahrens zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten die oben erläuterten Vorteile. Es wird ausdrücklich darauf hingewiesen, dass das Verfahren zur Orientierungsschätzung gemäß den oben beschriebenen Ausführungsformen der Auswertevorrichtung weitergebildet werden kann.
  • Kurze Beschreibung der Zeichnungen
  • Weitere Merkmale und Vorteile der vorliegenden Erfindung werden nachfolgend anhand der Figuren erläutert. Es zeigen:
    • 1 eine schematische Darstellung eines mit einer Ausführungsform der Auswertevorrichtung und zwei Sensoreinheiten ausgestatteten Systems; und
    • 2a und 2b ein Flussdiagramm und ein Kräftediagramm zum Erläutern einer Ausführungsform des Verfahrens zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten.
  • Ausführungsformen der Erfindung
  • 1 zeigt eine schematische Darstellung eines mit einer Ausführungsform der Auswertevorrichtung und zwei Sensoreinheiten ausgestatteten Systems.
  • Das in 1 schematisch dargestellte System umfasst eine erste Sensoreinheit 10a, eine zweite Sensoreinheit 10b und eine mit den beiden Sensoreinheiten 10a und 10b zusammenwirkende Auswertevorrichtung 12. Die erste Sensoreinheit 10a und die zweite Sensoreinheit 10b sind getrennt voneinander an einem Objekt 14 anordbar/angeordnet. Beispielsweise können die erste Sensoreinheit 10a mit einem ersten Gehäuse und die zweite Sensoreinheit 10b mit einem zweiten Gehäuse ausgebildet sein, wobei eine Form der beiden Gehäuse der Sensoreinheiten 10a und 10b eine Anordnung oder Befestigung an dem jeweiligen Objekt 14 erleichtert. Das Objekt 14 kann insbesondere ein Körperteil 14 eines Benutzers, wie speziell ein Kopf 14 oder eine Hand des Benutzers, sein. Das System kann deshalb vorteilhaft als ein Mobilgerät oder ein Wearable eingesetzt sein. An dem Kopf 14 des Benutzers kann die erste Sensoreinheit 10a beispielsweise als Teil eines ersten In-Ear-Kopfhörers 16a in einem (nicht skizzierten) ersten Ohr des Kopfes 14 angeordnet sein, währen die zweite Sensoreinheit 10b als Teil eines zweiten In-Ear-Kopfhörers 16b in einem (nicht dargestellten) zweiten Ohr des Kopfes 14 eingeführt ist. Unter dem System kann deshalb auch ein Audiosystem (Hearable) verstanden werden. Alternativ kann das System jedoch auch einen anderen Gerätetyp realisieren.
  • Die erste Sensoreinheit 10a und die zweite Sensoreinheit 10b sind jeweils dazu ausgelegt, einen (dreidimensionalen) ersten/zweiten Winkelgeschwindigkeitsvektor oder Drehratenvektor ω 1 1
    Figure DE102022208160A1_0026
    oder ω 2 2
    Figure DE102022208160A1_0027
    und einen (dreidimensionalen) ersten/zweiten Beschleunigungsvektor a 1 1
    Figure DE102022208160A1_0028
    oder a 2 2
    Figure DE102022208160A1_0029
    zu messen. Die erste Sensoreinheit 10a kann damit als eine erste Winkelgeschwindigkeits- und Beschleunigungs-Sensoreinheit oder Drehraten- und Beschleunigungs-Sensoreinheit 10a ausgebildet sein, während die zweite Sensoreinheit 10b eine zweite Winkelgeschwindigkeits- und Beschleunigungs-Sensoreinheit oder Drehraten- und Beschleunigungs-Sensoreinheit 10b ist. Eine Ausbildung der ersten Sensoreinheit 10a oder der zweiten Sensoreinheit 10b zum Messen einer weiteren physikalischen Größe ist nicht notwendig. Die erste Sensoreinheit 10a und die zweite Sensoreinheit 10b können auf kostengünstige Weise als MEMS (Mikroelektromechanisches System, Microelectromechanical System), insbesondere als IMU (Inertiale Messeinheit, Inertial Measurement Unit), speziell als 6Dof-IMU (Inertiale Messeinheit mit sechs Freiheitsgraden, 6 Degrees of Freedom Inertial Measurement Unit), ausgebildet sein.
  • Wie in 1 schematisch dargestellt ist, ist für das Objekt 14 ein bezüglich des Objekts 14 ortsfestes Objektkoordinatensystem 18 mit drei Koordinaten, x, y und z definierbar. Bei dem in 1 dargestellten Kopf 14 erstreckt sich eine erste Koordinate x des als Kopfkoordinatensystem 18 bezeichenbaren Objektkoordinatensystems 18 durch das erste Ohr und das zweite Ohr des Kopfes 14, während eine zweite Koordinate z des Kopfkoordinatensystems 18 sich mittig durch eine Schädeldecke des Kopfes 14 erstreckt und eine dritte Koordinate y des Kopfkoordinatensystems 18 von einem Hinterkopf des Kopfes 14 bis zu einer Nase des Kopfes 14 verläuft. Ein sogenannter Radiusvektor r ,
    Figure DE102022208160A1_0030
    welcher von der ersten Sensoreinheit 10a bis zu der zweiten Sensoreinheit 10b verläuft, liegt damit auf der ersten Koordinate x. Auch für die erste Sensoreinheit 10a ist ein bezüglich der ersten Sensoreinheit 10a ortsfestes erstes Sensorkoordinatensystem 20a mit den Sensor-Koordinaten xa, ya und za definiert, weshalb ein mittels der ersten Sensoreinheit 10a gemessener erster Winkelgeschwindigkeitsvektor oder Drehratenvektor ω 1 1
    Figure DE102022208160A1_0031
    und ein mittels der ersten Sensoreinheit 10a gemessener erster Beschleunigungsvektor a 1 1
    Figure DE102022208160A1_0032
    in dem ersten Sensorkoordinatensystem 20a der ersten Sensoreinheit 10a liegen. Unter dem Begriff „erster Winkelgeschwindigkeitsvektor“ wird im Weiteren ein „erster Winkelgeschwindigkeitsvektor oder Drehratenvektor“ verstanden. Auch für die zweite Sensoreinheit 10b ist ein bezüglich der zweiten Sensoreinheit 10b ortsfestes zweites Sensorkoordinatensystem 20b mit den weiteren Sensor-Koordinaten xb, yb und zb so definiert, dass ein mittels der zweiten Sensoreinheit 10b gemessener zweiter Winkelgeschwindigkeitsvektor oder Drehratenvektor ω 2 2
    Figure DE102022208160A1_0033
    und ein mittels der zweiten Sensoreinheit 10b gemessener zweiter Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0034
    in dem zweiten Sensorkoordinatensystem 20b der zweiten Sensoreinheit 10b liegen. Auch unter dem Begriff „zweiter Winkelgeschwindigkeitsvektor“ ist im Weiteren ein „zweiter Winkelgeschwindigkeitsvektor oder Drehratenvektor“ zu verstehen.
  • Es wird ausdrücklich darauf hingewiesen, dass aufgrund der im Weiteren beschriebenen vorteilhaften Ausbildung/Programmierung der Auswertevorrichtung 12 die Orientierungen des Objektkoordinatensystems 18, des ersten Sensorkoordinatensystems 20a und des zweiten Sensorkoordinatensystems 20b beliebig voneinander abweichen können, und dennoch ein Versatz zwischen dem Objektkoordinatensystem 18 und dem zweiten Sensorkoordinatensystem 20b, ein sogenanntes Misalignment, mittels der Auswertevorrichtung 12 verlässlich und genau ermittelt werden kann. Man kann dies auch als eine Kalibrierung bezeichnen, mittels welcher das Misalignment bestimmt und anschließend die Orientierung des Objektkoordinatensystems 18, bzw. die Orientierung des Objektes 14 aus der Orientierung des zweiten Sensorkoordinatensystems 20b abgeleitet werden kann. Entsprechend könnte auch ein weiterer Versatz zwischen dem Objektkoordinatensystem 18 und dem ersten Sensorkoordinatensystem 20a bestimmt werden.
  • Lediglich beispielhaft ist bei der Ausführungsform der 1 die Auswertevorrichtung 12 in eines der Gehäuse der Sensoreinheiten 10a und 10b, speziell in das zweite Gehäuse der zweiten Sensoreinheit 10b, integriert. Alternativ kann die Auswertevorrichtung 12 auch getrennt von den Gehäusen der Sensoreinheiten 10a und 10b in ein weiteres Gehäuse integriert sein.
  • Die Auswertevorrichtung 12 kann zur kabellosen Datenübertragung und/oder zur kabelgeführten Datenübertragung von den Sensoreinheiten 10a und 10b ausgebildet sein, sodass der mittels der ersten Sensoreinheit 10a gemessene erste Winkelgeschwindigkeitsvektor ω 1 1 ,
    Figure DE102022208160A1_0035
    der mittels der ersten Sensoreinheit 10a gemessene erste Beschleunigungsvektor a 1 1 ,
    Figure DE102022208160A1_0036
    der mittels der zweiten Sensoreinheit 10b gemessene zweite Winkelgeschwindigkeitsvektor ω 2 2
    Figure DE102022208160A1_0037
    und der mittels der zweiten Sensoreinheit 10b gemessene zweite Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0038
    an eine Elektronikeinrichtung 12a der Auswertevorrichtung 12 bereitstellbar sind. Die Elektronikeinrichtung 12a ist dann dazu ausgelegt und/oder programmiert, unter Berücksichtigung des in dem ersten Sensorkoordinatensystem 20a liegenden ersten Winkelgeschwindigkeitsvektors ω 1 1
    Figure DE102022208160A1_0039
    und des gleichzeitig gemessenen, jedoch in dem zweiten Sensorkoordinatensystem 20b liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0040
    eine Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0041
    von dem ersten Sensorkoordinatensystem 20a in das zweite Sensorkoordinatensystem 20b zu ermitteln. Mittels der ermittelten Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0042
    kann somit ein beliebiger Vektor aus dem ersten Sensorkoordinatensystem 20a in das zweite Sensorkoordinatensystem 20b transformiert werden.
  • Deshalb kann die Elektronikeinrichtung 12a anschließend auch den in dem ersten Sensorkoordinatensystem 20a liegenden ersten Beschleunigungsvektors a 1 1
    Figure DE102022208160A1_0043
    unter Verwendung der ermittelten Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0044
    aus dem ersten Sensorkoordinatensystem 20a in das zweite Sensorkoordinatensystem 20b transformieren. Der in das zweite Sensorkoordinatensystem 20b transferierte erste Beschleunigungsvektor a 1 2
    Figure DE102022208160A1_0045
    und der gleichzeitig mit dem ersten Beschleunigungsvektor a 1 1
    Figure DE102022208160A1_0046
    gemessene zweite Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0047
    liegen nun beide in dem zweiten Sensorkoordinatensystem 20b. Danach ist die Elektronikeinrichtung 12a dazu ausgelegt und/oder programmiert, einen in dem zweiten Sensorkoordinatensystem 20b liegenden Differenzvektors Δ a
    Figure DE102022208160A1_0048
    zwischen dem zweiten Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0049
    minus dem in das zweite Sensorkoordinatensystem 20b transferierten ersten Beschleunigungsvektor a 1 2
    Figure DE102022208160A1_0050
    festzulegen. Ebenso kann mittels des in dem zweiten Sensorkoordinatensystem 20b liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0051
    eine zeitliche Ableitung d d t ω 2 2
    Figure DE102022208160A1_0052
    des zweiten Winkelgeschwindigkeitsvektors ω 2 2 ,
    Figure DE102022208160A1_0053
    welche ebenfalls in dem zweiten Sensorkoordinatensystem 20b liegt, bestimmt werden. Zumindest unter Berücksichtigung des Differenzvektors Δ a ,
    Figure DE102022208160A1_0054
    des zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0055
    und der zeitlichen Ableitung d d t ω 2 2
    Figure DE102022208160A1_0056
    ist/wird anschließend mittels der Elektronikeinrichtung 12a eine in dem zweiten Sensorkoordinatensystem 20b liegende erste Achse x̃ festlegbar/festgelegt, welche der sich durch die erste Sensoreinheit 10a und die zweite Sensoreinheit 10b erstreckenden ersten Koordinate x des Objektkoordinatensystems/Kopfkoordinatensystems 18 entspricht. Auf eine besonders vorteilhafte Vorgehensweise zum Festlegen der ersten Achse x̃ wird unten noch eingegangen.
  • Die Elektronikeinrichtung 12b kann zusätzlich dazu ausgelegt/programmiert sein, zumindest einige der im Weiteren beschriebenen Verfahrensschritte auszuführen.
  • 2a und 2b zeigen ein Flussdiagramm und ein Kräftediagramm zum Erläutern einer Ausführungsform des Verfahrens zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten.
  • Das im Weiteren beschriebene Verfahren wird beispielhaft unter Verwendung der oben erläuterten Sensoreinheiten 10a und 10b, welche an einem als Kopf 14 eines Benutzers ausgebildeten Objekt 14 angeordnet sind, ausgeführt. Es wird jedoch darauf hingewiesen, dass eine Ausführbarkeit des Verfahrens zur Orientierungsschätzung nicht auf diesen Objekttyp und nicht auf diesen Sensortyp limitiert ist.
  • In einem Verfahrensschritt S1 werden mittels der ersten Sensoreinheit 10a ein in dem ersten Sensorkoordinatensystem 20a liegender erster Winkelgeschwindigkeitsvektor oder Drehratenvektor ω 1 1
    Figure DE102022208160A1_0057
    und gleichzeitig mittels der zweiten Sensoreinheit 10b ein in dem zweiten Sensorkoordinatensystem 20b liegender zweiter Winkelgeschwindigkeitsvektor oder Drehratenvektor ω 2 2
    Figure DE102022208160A1_0058
    gemessen. Unter den Begriffen „erster Winkelgeschwindigkeitsvektor“ und „zweiter Winkelgeschwindigkeitsvektor“ wird im Weiteren ein „erster Winkelgeschwindigkeitsvektor oder Drehratenvektor“ oder ein „zweiter Winkelgeschwindigkeitsvektor oder Drehratenvektor“ verstanden. Wie oben bereits erläutert ist, ist das erste Sensorkoordinatensystem 20a bezüglich der ersten Sensoreinheit 10a ortsfest, während das zweite Sensorkoordinatensystem 20b bezüglich der zweiten Sensoreinheit 10b ortsfest ist. Es wird auch darauf hingewiesen, dass der Verfahrensschritt S1 ausgeführt wird, während beide Sensoreinheiten 10a und 10b an dem Objekt 14 befestigt sind/bleiben.
  • In einem weiteren Verfahrensschritt S2 wird eine Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0059
    von dem ersten Sensorkoordinatensystem 20a in das zweite Sensorkoordinatensystem 20b ermittelt. Das Ermitteln der Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0060
    erfolgt unter Berücksichtigung des mittels der ersten Sensoreinheit 10a gemessenen ersten Winkelgeschwindigkeitsvektors ω 1 1
    Figure DE102022208160A1_0061
    und des gleichzeitig mittels der zweiten Sensoreinheit 10b gemessenen zweiten Winkelgeschwindigkeitsvektors ω 2 2 .
    Figure DE102022208160A1_0062
    Die Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0063
    kann insbesondere unter Berücksichtigung des ersten Winkelgeschwindigkeitsvektors ω 1 1
    Figure DE102022208160A1_0064
    und des zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0065
    so ermittelt werden, dass Gleichung (Gl. 1) gilt mit: ω 2 2 = R s e n s o r ¯ ¯ ω 1 1 ,
    Figure DE102022208160A1_0066
  • Das hier beschriebene Verfahren weist auch einen Verfahrensschritt S3 auf, in welchem mittels der ersten Sensoreinheit 10a ein in dem ersten Sensorkoordinatensystem 20a liegender erster Beschleunigungsvektor a 1 1
    Figure DE102022208160A1_0067
    und gleichzeitig mittels der zweiten Sensoreinheit 10b ein in dem zweiten Sensorkoordinatensystem 20b liegender zweiter Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0068
    gemessen werden. Der Verfahrensschritt S3 wird vorzugsweise gleichzeitig mit dem Verfahrensschritt S1 ausgeführt. Auch während des Verfahrensschritts S3 sind/bleiben beide Sensoreinheiten 10a und 10b an dem Objekt 14 befestigt.
  • Nach dem Ausführen der Verfahrensschritte S2 und S3 wird in einem Verfahrensschritt S4 der (in dem Verfahrensschritt S3 gemessene) erste Beschleunigungsvektor a 1 1
    Figure DE102022208160A1_0069
    aus dem ersten Sensorkoordinatensystem 20a unter Verwendung der (in dem Verfahrensschritt S2 ermittelten) Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0070
    in das zweite Sensorkoordinatensystem 20b transformiert. Der in das zweite Sensorkoordinatensystem 20b transformierte erste Beschleunigungsvektor ist in dem Flussdiagramm der 2 mittels des Bezugszeichen a 1 2
    Figure DE102022208160A1_0071
    wiedergegeben. Die Transformation des ersten Beschleunigungsvektors a 1 1
    Figure DE102022208160A1_0072
    aus dem ersten Sensorkoordinatensystem 20a in das zweite Sensorkoordinatensystem 20b kann insbesondere gemäß Gleichung (Gl. 2) erfolgen mit: a 1 2 = R s e n s o r ¯ ¯ * a 1 1 .
    Figure DE102022208160A1_0073
  • In einem Verfahrensschritt S5 des Flussdiagramms der 2a wird ein Differenzvektor Δ a
    Figure DE102022208160A1_0074
    zwischen dem in dem zweiten Sensorkoordinatensystem 20b liegenden zweiten Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0075
    minus dem in das zweite Sensorkoordinatensystem 20b transferierten ersten Beschleunigungsvektors a 1 2
    Figure DE102022208160A1_0076
    bestimmt. Der Differenzvektor Δ a
    Figure DE102022208160A1_0077
    liegt somit in dem zweiten Sensorkoordinatensystem 20b.
  • Der Differenzvektor Δ a
    Figure DE102022208160A1_0078
    kann anschließend in einem Verfahrensschritt S6 zum Festlegen einer in dem zweiten Sensorkoordinatensystem 20b liegenden ersten Achse x̃, welche einer sich durch die erste Sensoreinheit 10a und die zweite Sensoreinheit 10b erstreckenden ersten Koordinate x des Objektkoordinatensystems 18 entspricht, genutzt werden. Wie oben bereits erläutert ist, ist unter dem Objektkoordinatensystem 18 ein bezüglich des Objekts 14 ortsfestes Bezugssystem zu verstehen. Zusätzlich zu dem Differenzvektor Δ a
    Figure DE102022208160A1_0079
    werden beim Festlegen der ersten Achse x̃ auch zumindest der zweite Winkelgeschwindigkeitsvektor ω 2 2
    Figure DE102022208160A1_0080
    und eine zeitliche Ableitung d d t ω 2 2
    Figure DE102022208160A1_0081
    des zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0082
    berücksichtigt. Da der Differenzvektor Δ a ,
    Figure DE102022208160A1_0083
    der zweite Winkelgeschwindigkeitsvektor ω 2 2
    Figure DE102022208160A1_0084
    und die zeitliche Ableitung d d t ω 2 2
    Figure DE102022208160A1_0085
    alle in dem zweiten Sensorkoordinatensystem 20b liegen, ist der Verfahrensschritt S6 verlässlich ausführbar.
  • Wie in 2b schematisch wiedergegeben ist, kann zum Ausführen des Verfahrensschritts S6 ein Radiusvektor r ,
    Figure DE102022208160A1_0086
    welcher auf der ersten Koordinate x liegt und sich von der ersten Sensoreinheit 10a bis zu der zweiten Sensoreinheit 10b erstreckt, ermittelt werden. Da beim Ausführen der Verfahrensschritte S1 und S3 die beiden Sensoreinheiten 10a und 10b jeweils den gleichen Abstand zueinander aufweisen, ergibt sich der Differenzvektor Δ a
    Figure DE102022208160A1_0087
    aus einer Summe der Zentrifugalkraft Fcp und der Eulerkraft Ft. Der Radiusvektor r
    Figure DE102022208160A1_0088
    kann deshalb unter Berücksichtigung des zweiten
  • Winkelgeschwindigkeitsvektors ω 2 2 ,
    Figure DE102022208160A1_0089
    der zeitlichen Ableitung d d t ω 2 2
    Figure DE102022208160A1_0090
    und des Differenzvektors Δ a
    Figure DE102022208160A1_0091
    gemäß Gleichung (Gl. 3) bestimmt werden: Δ a = ω 2 2 × ω 2 2 × r + d d t ω 2 2 × r
    Figure DE102022208160A1_0092
  • Der Radiusvektor r
    Figure DE102022208160A1_0093
    kann gemäß der Gleichung (Gl. 3) berechnet oder mittels einer adaptiven Lösung der Gleichung (Gl. 3) festgelegt werden. Da der zweite Winkelgeschwindigkeitsvektor ω 2 2 ,
    Figure DE102022208160A1_0094
    seine zeitliche Ableitung d d t ω 2 2
    Figure DE102022208160A1_0095
    und der Differenzvektor Δ a
    Figure DE102022208160A1_0096
    jeweils in dem zweiten Sensorkoordinatensystem 20b liegen, wird gemäß Gleichung (Gl. 3) auch der Radiusvektor r
    Figure DE102022208160A1_0097
    in dem zweiten Sensorkoordinatensystem 20b festgelegt.
  • Es wird ausdrücklich darauf hingewiesen, dass während des mittels der Verfahrensschritte S1 bis S6 bewirkten Festlegens der ersten Achse x̃ keine spezielle/bestimmte Bewegung von dem Objekt 14 ausgeführt werden muss. Wie oben bereits erläutert ist, kann das Objekt 14 der Kopf 14 sein, in dessen erstem Ohr ein die erste Sensoreinheit 10a umfassender erster In-Ear-Kopfhörer 16a und in dessen zweitem Ohr ein die zweite Sensoreinheit 10b umfassender zweiter In-Ear-Kopfhörer 16b angeordnet sind. In diesem Fall entspricht die erste Achse x̃ einer sich durch das erste Ohr und das zweite Ohr erstreckenden ersten Koordinate x des als Kopfkoordinatensystem 18 bezeichenbaren Objektkoordinatensystems 18. Jedoch kann auch in diesem Fall der Benutzer seinen Kopf 14 natürlicherweise und gemäß seinen persönlichen Wünschen bewegen, ohne dass ein verlässliches Ausführen der Verfahrensschritte S1 bis S6 dadurch behindert oder beeinträchtigt wäre.
  • Optionaler Weise kann das Verfahren auch einen Verfahrensschritt S7 aufweisen, in welchem während eines Stillstands des Objekts 14 mittels der zweiten Sensoreinheit 10b ein weiterer in dem zweiten Sensorkoordinatensystem 20b liegender zweiter Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0098
    gemessen wird. Während des Stillstands des Objekts 14 wirkt auf die zweite Sensoreinheit 10b lediglich die Gravitationskraft, welche in Richtung zu der Gravitationsachse/Richtung der Erdschwere ausgerichtet ist. Dies kann zur Festlegung einer in dem zweiten Sensorkoordinatensystem 20b liegenden und senkrecht zu der ersten Achse x̃ ausgerichteten zweiten Achse 2 genutzt werden, welche einer mittig zwischen der ersten Sensoreinheit 10a und der zweiten Sensoreinheit 10b, parallel zu der Gravitationsachse und senkrecht zu der ersten Koordinate x verlaufenden zweiten Koordinate z des Objektkoordinatensystems 18 entspricht. Sofern das Objekt 14 der Kopf 14 des Benutzers ist, entspricht die zweite Achse 2 einer sich mittig durch eine Schädeldecke des Kopfes 14 erstreckenden zweiten Koordinate z des Kopfkoordinatensystems 18.
  • Deshalb weist das hier beschriebene Verfahren auch einen (optionalen) Verfahrensschritt S8 auf, in welchem die zweite Achse z̃ unter Berücksichtigung des in dem Verfahrensschritt S7 bei Stillstand des Objekts 14 gemessenen zweiten Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0099
    festgelegt wird. Wahlweise kann zum Ausführen der Verfahrensschritte S7 und S8 der Benutzer dazu angeregt werden, dass er seinen Kopf 14 für kurze Zeit gerade hält. Alternativ kann auch für das Ausführen der Verfahrensschritte S7 und S8 ein Zeitraum abgewartet werden, in welchem der Kopf 14 des Benutzers in seiner natürlichen Position ruht, weil der Benutzer auf eigenen Wunsch geradeaus schaut und den Kopf 14 gerade hält. Nach dem Ausführen des Verfahrensschritts S8 kann wahlweise überprüft werden, ob die zweite Achse 2 senkrecht zu der vorher bestimmten ersten Achse x̃ ausgerichtet ist. Auf diese Weise ist verifizierbar, dass das Objekt/der Kopf 14 während des Ausführens des Verfahrensschritts S7 tatsächlich im Stillstand vorlag.
  • In einem weiteren (optionalen) Verfahrensschritt S9 kann noch zusätzlich eine in dem zweiten Sensorkoordinatensystem 20b liegende und senkrecht zu der ersten Achse x̃ und der zweiten Achse z̃ ausgerichtete dritte Achse 2 festgelegt werden. Sofern das Objekt 14 der Kopf 14 ist, entspricht die dritte Achse ỹ einer von einem Hinterkopf des Kopfes 14 bis zu einer Nase des Kopfes 14 verlaufenden dritten Koordinate y des Kopfkoordinatensystems 18. Unter Verwendung des Rechtshandsystems kann die dritte Achse 2 eindeutig mittels der Gleichung (Gl. 4) bestimmt werden: x ˜ × y ˜ = z ˜
    Figure DE102022208160A1_0100
  • Sofern gewünscht, kann anschließend in einem (optionalen) Verfahrensschritt S10 anhand der festgelegten ersten Achse x̃, der festgelegten zweiten Achse 2 und der festgelegten dritten Achse 2 eine Objekt-Sensor-Transformationsmatrix R von dem Objektkoordinatensystem 18 in das zweite Sensorkoordinatensystem 20b ermittelt werden. Insbesondere kann in dem Verfahrensschritt S10 bezüglich des Kopfes 14 des Benutzers eine Kopf-Sensor-Transformationsmatrix R von dem Kopfkoordinatensystem 18 in das zweite Sensorkoordinatensystem 20b bestimmt werden.
  • Die Verfahrensschritte S1 bis S10 ermöglichen eine vorteilhafte Auto-Kalibrierung für ein Gerät, wie beispielsweise ein Mobilgerät, speziell ein Wearable oder ein Hearable. Die Verfahrensschritte S1 bis S10 können bei jedem Start des Geräts, bei/nach einer Bewegung der Sensoreinheiten 10a und 10b zueinander und/oder mehrmals/kontinuierlich während eines Betriebs des Geräts, insbesondere mit einer vorgegebenen Frequenz, wiederholt werden, um auf die Weise (nahezu) immer über eine korrekte Kalibrierung zu verfügen.
  • Die Auto-Kalibrierung ist beispielsweise auf die nachfolgend beschriebene Weise nutzbar:
  • Als vorteilhafte Weiterbildung weist das hier beschriebene Verfahren noch die nach dem Ausführen der Verfahrensschritte S1 bis S10 (optionaler Weise) ausführbaren Verfahrensschritte S11 bis S13 auf. In einem Verfahrensschritt S11 werden mittels der zweiten Sensoreinheit 10b erneut der in dem zweiten Sensorkoordinatensystem 20b liegende zweite Winkelgeschwindigkeitsvektor ω 2 2
    Figure DE102022208160A1_0101
    und der ebenfalls in dem zweiten Sensorkoordinatensystem 20b liegende zweite Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0102
    als Daten gemessen. Anschließend kann in einem weiteren Verfahrensschritt S12 aus den gemessenen Daten unter Verwendung eines Algorithmus, wie beispielsweise eines Sensor-Fusion-Algorithmus, eine Orientierungsänderungs-Information 22 bezüglich einer Orientierungsänderung der zweiten Sensoreinheit 10b aus den Daten abgeleitet werden.
  • In einem weiteren Verfahrensschritt S13 kann aus der bestimmten Orientierungsänderungs-Information 22 eine Information bezüglich einer von dem Objekt 14 ausgeführten Bewegung abgeleitet werden. Insbesondere kann, sofern das Objekt 14 der Kopf 14 des Benutzers ist, eine Information bezüglich von dem Kopf 14 ausgeführten Gesten anhand der Orientierungsänderungs-Information 22 festgelegt werden. Das Festlegen der Information bezüglich der von dem Objekt 14 ausgeführten Bewegung erfolgt unter Berücksichtigung der festgelegten ersten Achse x̃, der festgelegten zweiten Achse 2 und der festgelegten dritten Achse ỹ und/oder unter Berücksichtigung der festgelegten Objekt-Sensor-Transformationsmatrix oder Kopf-Sensor-Transformationsmatrix R ¯ ¯ .
    Figure DE102022208160A1_0103
  • Wie oben bereits erläutert ist, kann die festgelegte Information bezüglich der von dem Kopf 14 ausgeführten Gesten anschließend zum Ansteuern einer weiteren Komponente und/oder einer Funktion eines mit den zwei Sensoreinheiten 10a und 10b ausgestatteten oder zusammenwirkenden Systems/Geräts verwendet werden. Auf diese Weise erhält der Benutzer die Möglichkeit, mittels des Ausführens von Gesten mit seinem Kopf 14 Steuerbefehle vorzugeben, welche mittels der Verfahrensschritte S11 bis S13 detektiert/entschlüsselt werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 20180091924 A1 [0002]

Claims (12)

  1. Auswertevorrichtung (12) für zwei an einem Objekt (14) angeordnete Sensoreinheiten (10a, 10b) mit: einer Elektronikeinrichtung (12a), welche dazu ausgelegt und/oder programmiert ist: - eine Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0104
    von einem bezüglich einer ersten Sensoreinheit (10a) der zwei Sensoreinheiten (10a, 10b) ortsfesten ersten Sensorkoordinatensystem (20a) in ein bezüglich einer zweiten Sensoreinheit (10b) der zwei Sensoreinheiten (10a, 10b) ortsfestes zweites Sensorkoordinatensystem (20b) unter Berücksichtigung eines mittels der ersten Sensoreinheit (10a) gemessenen und in dem ersten Sensorkoordinatensystem (20a) liegenden ersten Winkelgeschwindigkeitsvektors ω 1 1
    Figure DE102022208160A1_0105
    und eines gleichzeitig mittels der zweiten Sensoreinheit (10b) gemessenen und in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0106
    zu ermitteln; - einen mittels der ersten Sensoreinheit (10a) gemessenen und in dem ersten Sensorkoordinatensystem (20a) liegenden ersten Beschleunigungsvektors a 1 1
    Figure DE102022208160A1_0107
    unter Verwendung der ermittelten Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0108
    aus dem ersten Sensorkoordinatensystem (20a) in das zweite Sensorkoordinatensystem (20b) zu transformieren; und - eine in dem zweiten Sensorkoordinatensystem (20b) liegende erste Achse x̃, welche einer sich durch die erste Sensoreinheit (10a) und die zweite Sensoreinheit (10b) erstreckenden ersten Koordinate x eines bezüglich des Objektes (14) ortsfesten Objektkoordinatensystems (18) entspricht, zumindest unter Berücksichtigung des in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2 ,
    Figure DE102022208160A1_0109
    einer zeitlichen Ableitung d d t ω 2 2
    Figure DE102022208160A1_0110
    des in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0111
    und eines in dem zweiten Sensorkoordinatensystem (20b) liegenden Differenzvektors Δ a
    Figure DE102022208160A1_0112
    zwischen einem gleichzeitig wie den ersten Beschleunigungsvektor a 1 1
    Figure DE102022208160A1_0113
    mittels der zweiten Sensoreinheit (10b) gemessenen und in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0114
    minus dem in das zweite Sensorkoordinatensystem (20b) transferierten ersten Beschleunigungsvektor a 1 2
    Figure DE102022208160A1_0115
    festzulegen.
  2. Auswertevorrichtung (12) nach Anspruch 1, wobei die Elektronikeinrichtung (12a) zusätzlich dazu ausgelegt und/oder programmiert ist, eine in dem zweiten Sensorkoordinatensystem (20b) liegende und senkrecht zu der ersten Achse x̃ ausgerichtete zweite Achse z̃, welche einer mittig zwischen der ersten Sensoreinheit (10a) und der zweiten Sensoreinheit (10b), parallel zu der Gravitationsachse und senkrecht zu der ersten Koordinate x verlaufenden zweiten Koordinate z des Objektkoordinatensystems (18) entspricht, unter Berücksichtigung eines bei Stillstand des Objekts (14) gemessenen und in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0116
    festzulegen.
  3. Auswertevorrichtung (12) nach Anspruch 2, wobei die Elektronikeinrichtung (12a) zusätzlich dazu ausgelegt und/oder programmiert ist, eine in dem zweiten Sensorkoordinatensystem (20b) liegende und senkrecht zu der ersten Achse x̃ und der zweiten Achse 2 ausgerichtete dritte Achse 2 derart festzulegen, dass gilt: x ˜ × y ˜ = z ˜
    Figure DE102022208160A1_0117
  4. Auswertevorrichtung (12) nach Anspruch 3, wobei die Elektronikeinrichtung (12a) dazu ausgelegt und/oder programmiert ist, anhand der festgelegten ersten Achse x̃, der festgelegten zweiten Achse 2 und der festgelegten dritten Achse 2 eine Objekt-Sensor-Transformationsmatrix R von dem Objektkoordinatensystem (18) in das zweite Sensorkoordinatensystem (20b) zu ermitteln.
  5. Auswertevorrichtung (12) nach Anspruch 3 oder 4, wobei die Elektronikeinrichtung (12a) dazu ausgelegt und/oder programmiert ist, mit einem die erste Sensoreinheit (10a) umfassenden und in einem ersten Ohr eines Kopfes (14) angeordneten ersten In-Ear-Kopfhörer (16a) und einem die zweite Sensoreinheit (10b) umfassenden und in einem zweiten Ohr des Kopfes (14) angeordneten zweiten In-Ear-Kopfhörer (16b) zusammenzuwirken, indem mittels der Elektronikeinrichtung (12a) die erste Achse x̃ entsprechend einer sich durch das erste Ohr und durch das zweite Ohr erstreckenden ersten Koordinate x eines Kopfkoordinatensystems (18), die zweite Achse z̃ entsprechend einer sich mittig durch eine Schädeldecke des Kopfes (14) erstreckenden zweiten Koordinate z des Kopfkoordinatensystems (18) und die dritte Achse 2 entsprechend einer sich von einem Hinterkopf des Kopfes (14) bis zu einer Nase des Kopfes (14) erstreckenden dritten Koordinate y des Kopfkoordinatensystems (18) festlegbar sind.
  6. Auswertevorrichtung (12) nach Anspruch 5, wobei die Elektronikeinrichtung (12a) dazu ausgelegt und/oder programmiert ist, anhand der festgelegten ersten Achse x̃, der festgelegten zweiten Achse 2 und der festgelegten dritten Achse ỹ eine Kopf-Sensor-Transformationsmatrix von dem Kopfkoordinatensystem (18) in das zweite Sensorkoordinatensystem (20b) zu ermitteln.
  7. Auswertevorrichtung (12) nach Anspruch 5 oder 6, wobei die Elektronikeinrichtung (12a) dazu ausgelegt und/oder programmiert ist, unter Berücksichtigung der festgelegten ersten Achse 2, der festgelegten zweiten Achse z̃ und der festgelegten dritten Achse 2 und/oder unter Berücksichtigung der festgelegten Kopf-Sensor-Transformationsmatrix und anhand von nachfolgend mittels der ersten Sensoreinheit (10a) gemessenen ersten Winkelgeschwindigkeits- und Beschleunigungsvektoren ω 1 1
    Figure DE102022208160A1_0118
    und a 1 1
    Figure DE102022208160A1_0119
    und/oder mittels der zweiten Sensoreinheit (10b) gemessenen zweiten Winkelgeschwindigkeits- und Beschleunigungsvektoren ω 2 2
    Figure DE102022208160A1_0120
    und a 2 2
    Figure DE102022208160A1_0121
    eine Information bezüglich von dem Kopf (14) ausgeführten Gesten festzulegen und auszugeben.
  8. Auswertevorrichtung (12) nach einem der vorhergehenden Ansprüche, wobei die Elektronikeinrichtung (12a) dazu ausgelegt und/oder programmiert ist, einen in dem zweiten Sensorkoordinatensystem (20b) liegenden Radiusvektor r
    Figure DE102022208160A1_0122
    unter Berücksichtigung des in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2 ,
    Figure DE102022208160A1_0123
    der zeitlichen Ableitung d d t ω 2 2
    Figure DE102022208160A1_0124
    des in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0125
    und des in dem zweiten Sensorkoordinatensystem (20b) liegenden Differenzvektors Δ a
    Figure DE102022208160A1_0126
    derart festzulegen, das gilt: Δ a = ω 2 2 × ω 2 2 × r + d d t ω 2 2 × r ,
    Figure DE102022208160A1_0127
    und wobei die Elektronikeinrichtung (12a) dazu ausgelegt und/oder programmiert ist, die erste Achse x̃ derart festzulegen, dass der Radiusvektor r
    Figure DE102022208160A1_0128
    auf der ersten Achse x̃ liegt.
  9. Auswertevorrichtung (12) nach einem der vorhergehenden Ansprüche, wobei die Elektronikeinrichtung (12a) dazu ausgelegt und/oder programmiert ist, die Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0129
    unter Berücksichtigung des in dem ersten Sensorkoordinatensystem (20a) liegenden ersten Winkelgeschwindigkeitsvektors ω 1 1
    Figure DE102022208160A1_0130
    und des in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0131
    so zu ermitteln, dass gilt: ω 2 2 = R s e n s o r ¯ ¯ ω 1 1 ,
    Figure DE102022208160A1_0132
     
    Figure DE102022208160A1_0133
    und den ersten Beschleunigungsvektor a 1 1
    Figure DE102022208160A1_0134
    aus dem ersten Sensorkoordinatensystem (20a) in das zweite Sensorkoordinatensystem (20b) zu transformieren gemäß: a 1 2 = R s e n s o r ¯ ¯ a 1 1 .
    Figure DE102022208160A1_0135
  10. System mit: einer Auswertevorrichtung (12) nach einem der vorhergehenden Ansprüche; der ersten Sensoreinheit (10a); und der zweiten Sensoreinheit (10b).
  11. Audiosystem mit: einer Auswertevorrichtung (12) nach einem der Ansprüche 1 bis 9; dem die erste Sensoreinheit (10a) umfassenden und in einem ersten Ohr eines Kopfes (14) anordbaren ersten In-Ear-Kopfhörer (16a); und dem die zweite Sensoreinheit (10b) umfassenden und in einem zweiten Ohr des Kopfes (14) anordbaren zweiten In-Ear-Kopfhörer (16b).
  12. Verfahren zur Orientierungsschätzung für zwei an einem Objekt (14) angeordnete Sensoreinheiten (10a, 10b) mit den Schritten: Ermitteln einer Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0136
    von einem bezüglich einer ersten Sensoreinheit (10a) der zwei Sensoreinheiten (10a, 10b) ortsfesten ersten Sensorkoordinatensystem (20a) in ein bezüglich einer zweiten Sensoreinheit (10b) der zwei Sensoreinheiten (10a, 10b) ortsfestes zweites Sensorkoordinatensystem (20b) unter Berücksichtigung eines mittels der ersten Sensoreinheit (10a) gemessenen und in dem ersten Sensorkoordinatensystem (20a) liegenden ersten Winkelgeschwindigkeitsvektors ω 1 1
    Figure DE102022208160A1_0137
    und eines gleichzeitig mittels der zweiten Sensoreinheit (10b) gemessenen und in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2 = ( S 1, S 2 ) ;
    Figure DE102022208160A1_0138
    Transformieren eines mittels der ersten Sensoreinheit (10a) gemessenen und in dem ersten Sensorkoordinatensystem (20a) liegenden ersten Beschleunigungsvektors a 1 1
    Figure DE102022208160A1_0139
    aus dem ersten Sensorkoordinatensystem (20a) in das zweite Sensorkoordinatensystem (20b) unter Verwendung der ermittelten Sensor-Transformationsmatrix R s e n s o r ¯ ¯
    Figure DE102022208160A1_0140
    und Festlegen einer in dem zweiten Sensorkoordinatensystem (20a) liegenden ersten Achse x̃, welche einer sich durch die erste Sensoreinheit (10a) und die zweite Sensoreinheit (10b) erstreckenden ersten Koordinate x eines bezüglich des Objektes (14) ortsfesten Objektkoordinatensystems (18) entspricht, zumindest unter Berücksichtigung des in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2 ,
    Figure DE102022208160A1_0141
    einer zeitlichen Ableitung d d t ω 2 2
    Figure DE102022208160A1_0142
    des in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Winkelgeschwindigkeitsvektors ω 2 2
    Figure DE102022208160A1_0143
    und eines in dem zweiten Sensorkoordinatensystem (20b) liegenden Differenzvektors Δ a
    Figure DE102022208160A1_0144
    zwischen einem gleichzeitig wie den ersten Beschleunigungsvektor a 1 1
    Figure DE102022208160A1_0145
    mittels der zweiten Sensoreinheit (10b) gemessenen und in dem zweiten Sensorkoordinatensystem (20b) liegenden zweiten Beschleunigungsvektor a 2 2
    Figure DE102022208160A1_0146
    minus dem in das zweite Sensorkoordinatensystem (20b) transferierten ersten Beschleunigungsvektor a 1 2 ( S 5, S 6 ) .
    Figure DE102022208160A1_0147
DE102022208160.9A 2022-08-05 2022-08-05 Auswertevorrichtung und Verfahren zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten Pending DE102022208160A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102022208160.9A DE102022208160A1 (de) 2022-08-05 2022-08-05 Auswertevorrichtung und Verfahren zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten
US18/358,214 US20240061519A1 (en) 2022-08-05 2023-07-25 Evaluation device and method for orientation estimation for two sensor units arranged on an object
CN202310980299.0A CN117528310A (zh) 2022-08-05 2023-08-04 用于对象上的两个传感器单元的取向估计的分析处理设备和方法、系统和音频系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022208160.9A DE102022208160A1 (de) 2022-08-05 2022-08-05 Auswertevorrichtung und Verfahren zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten

Publications (1)

Publication Number Publication Date
DE102022208160A1 true DE102022208160A1 (de) 2024-02-08

Family

ID=89575348

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022208160.9A Pending DE102022208160A1 (de) 2022-08-05 2022-08-05 Auswertevorrichtung und Verfahren zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten

Country Status (3)

Country Link
US (1) US20240061519A1 (de)
CN (1) CN117528310A (de)
DE (1) DE102022208160A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015219572A1 (de) 2015-10-09 2017-04-13 Sivantos Pte. Ltd. Verfahren zum Betrieb einer Hörvorrichtung und Hörvorrichtung
US20180091924A1 (en) 2016-09-23 2018-03-29 Apple Inc. Systems and Methods for Determining Estimated Head Orientation and Position with Ear Pieces
US20180288516A1 (en) 2017-03-31 2018-10-04 Apple Inc. Wireless Ear Bud System With Pose Detection
DE102020109787A1 (de) 2020-04-08 2021-10-14 Valeo Schalter Und Sensoren Gmbh Bestimmen einer Winkellage einer Komponente eines Kraftfahrzeugs
DE102020208283A1 (de) 2020-07-02 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Kalibrieren einer Orientierungssensoreinrichtung eines Ohrhörers und Ohrhörersystem

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015219572A1 (de) 2015-10-09 2017-04-13 Sivantos Pte. Ltd. Verfahren zum Betrieb einer Hörvorrichtung und Hörvorrichtung
US20180091924A1 (en) 2016-09-23 2018-03-29 Apple Inc. Systems and Methods for Determining Estimated Head Orientation and Position with Ear Pieces
US20180288516A1 (en) 2017-03-31 2018-10-04 Apple Inc. Wireless Ear Bud System With Pose Detection
DE102020109787A1 (de) 2020-04-08 2021-10-14 Valeo Schalter Und Sensoren Gmbh Bestimmen einer Winkellage einer Komponente eines Kraftfahrzeugs
DE102020208283A1 (de) 2020-07-02 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Kalibrieren einer Orientierungssensoreinrichtung eines Ohrhörers und Ohrhörersystem

Also Published As

Publication number Publication date
US20240061519A1 (en) 2024-02-22
CN117528310A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
EP1817547B1 (de) Verfahren und eine vorrichtung zum navigieren und positionieren eines gegenstands relativ zu einem patienten
DE102005061952B4 (de) Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
DE10219861B4 (de) Verfahren und Vorrichtung zur Langzeitnavigation
DE69733301T2 (de) Scullingeffektkompensation in Strapdown-Inertialnavigationssystemen
EP3788802B1 (de) Verfahren zum betrieb eines hörgeräts und hörgerät
DE102009057996A1 (de) Verfahren zur Bestimmung einer Position einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem
DE102020109787A1 (de) Bestimmen einer Winkellage einer Komponente eines Kraftfahrzeugs
DE102016114366B4 (de) Ausfallsicheres inertiales messeinheitssystem reduzierter ordnung
AT503211B1 (de) Verfahren zur berechnung von richtungskorrigierten übertragungsfunktionen und/oder richtungskorrigierten impedanzgrössen in einer transferpfadanalyse einer schwingenden struktur
DE102017203755A1 (de) Bestimmung einer räumlichen Ausrichtung
DE102022208160A1 (de) Auswertevorrichtung und Verfahren zur Orientierungsschätzung für zwei an einem Objekt angeordnete Sensoreinheiten
DE112021000126T5 (de) Verfahren und Einrichtung zum Detektieren eines Zustands einer Tür oder eines Fensters
DE102021000790A1 (de) Verfahren zur Fusionierung von Sensordaten
DE102015010173B3 (de) Verfahren zur Schwimmwinkelmessung in Fahrzeugen
DE102015102459A1 (de) Verfahren und Vorrichtung zur Ansteuerung eines Simulators
EP1514799A1 (de) Verfahren zur Lagebestimmung eines Raumfahrzeuges mit Hilfe eines Richtungsvektors und einer Gesamtdrallmessung
DE102004057959B4 (de) Vorrichtung zur Vermittlung von Informationen an einen Benutzer
DE102020208283A1 (de) Verfahren zum Kalibrieren einer Orientierungssensoreinrichtung eines Ohrhörers und Ohrhörersystem
DE102016004837C5 (de) Steuerung eines aktorisch angetriebenen Robotermanipulators
WO2020260134A1 (de) Verfahren zur lokalisierung eines fahrzeugs
DE102019208498A1 (de) Verfahren zum Optimieren eines Umfeldmodells
WO2019101526A1 (de) Verfahren zum automatischen kalibrieren und verfahren zum verwenden eines beschleunigungssensors
DE102017214823A1 (de) Verfahren und Vorrichtung zum Erstellen und Bereitstellen einer Karte zum Betreiben eines automatisierten Fahrzeugs
DE102020205943B3 (de) Verfahren zum Verarbeiten der Sensorsignale einer Drehratensensoranordnung, Vorrichtung und Verfahren zum Betreiben der Vorrichtung
DE102011076337A1 (de) Magnetsensorvorrichtung und Verfahren zum Ermitteln einer Information bezüglich einer magnetischen Feldstärkekomponente in Richtung zumindest einer ortsfesten Ortsachse

Legal Events

Date Code Title Description
R163 Identified publications notified