DE102017208365A1 - Verfahren zur Orientierungsschätzung eines tragbaren Gerätes - Google Patents

Verfahren zur Orientierungsschätzung eines tragbaren Gerätes Download PDF

Info

Publication number
DE102017208365A1
DE102017208365A1 DE102017208365.4A DE102017208365A DE102017208365A1 DE 102017208365 A1 DE102017208365 A1 DE 102017208365A1 DE 102017208365 A DE102017208365 A DE 102017208365A DE 102017208365 A1 DE102017208365 A1 DE 102017208365A1
Authority
DE
Germany
Prior art keywords
orientation
sensor
phase
portable device
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017208365.4A
Other languages
English (en)
Inventor
Juergen Gut
Markus Dihlmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102017208365.4A priority Critical patent/DE102017208365A1/de
Priority to US16/604,745 priority patent/US10955939B2/en
Priority to KR1020197036912A priority patent/KR102393016B1/ko
Priority to JP2019563604A priority patent/JP6968906B2/ja
Priority to PCT/EP2018/056499 priority patent/WO2018210466A1/de
Priority to CN201880032728.9A priority patent/CN110637276B/zh
Priority to TW107116806A priority patent/TWI766020B/zh
Publication of DE102017208365A1 publication Critical patent/DE102017208365A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

Offenbart ist ein Verfahren zur Darstellung von visuellen Informationen in Abhängigkeit von einer räumlichen Orientierung eines tragbaren Gerätes, wobei das Gerät zumindest mit einem ersten Sensor zum Erfassen von Orientierungsinformationen und mit einem Beschleunigungssensor ausgestattet ist, bei dem die räumliche Orientierung des tragbaren Gerätes auf Basis der erfassten Orientierungsinformationen geschätzt wird und bei dem diese Orientierungsschätzung mit Hilfe der vom Beschleunigungssensor erfassten Sensormessdaten korrigiert wird, wobei anhand der erfassten Sensormessdaten ermittelt wird, ob sich das Gerät in einer Ruhephase oder in einer Bewegungsphase befindet, wobei auf der Basis der in der Ruhephase ermittelten Orientierungsschätzung und der in dieser Ruhephase erfassten Sensormessdaten des Beschleunigungssensors ein Fehler für die Orientierungsschätzung ermittelt wird, wobei in Ruhephasen der Darstellung der visuellen Informationen eine jeweils aktuelle Orientierungsschätzung unverändert zugrunde gelegt wird, wobei der in einer Ruhephase ermittelte Fehler bei der Orientierungsschätzung in der darauffolgenden Bewegungsphase berücksichtigt und sukzessive korrigiert wird und wobei in Bewegungsphasen der Darstellung der visuellen Informationen eine jeweils aktuelle korrigierte Orientierungsschätzung zugrunde gelegt wird.

Description

  • Die Erfindung betrifft ein Verfahren zur Darstellung von visuellen Informationen in Abhängigkeit von einer räumlichen Orientierung eines tragbaren Gerätes, wobei das Gerät zumindest mit einem ersten Sensor zum Erfassen von Orientierungsinformationen und mit einem Beschleunigungssensor ausgestattet ist sowie ein tragbares Gerät zum Durchführen eines derartigen Verfahrens.
  • Stand der Technik
  • Tragbare Geräte zum Darstellen visueller Informationen, insbesondere bei der Darstellung einer Virtual Reality oder Augmented Reality, zeigen dem Benutzer über ein am Kopf befestigtes bildgebendes Gerät Bilder einer virtuellen Darstellung oder ergänzen eine reale Bildaufnahme mit zusätzlichen Informationen beispielsweise zu einem betrachteten Objekt. Bei einer Kopfbewegung des Benutzers wird das Bild entsprechend der Kopfbewegung im tragbaren Gerät verschoben. Für eine korrekte Anpassung muss die Orientierung des Kopfes jederzeit bestimmt werden. Dies geschieht üblicherweise über einen Drehratensensor und einen 3-Achsen-Beschleunigungssensor. Die Messungen des Drehratensensors sind jedoch meist fehlerbehaftet, sodass die tatsächliche und die berechnete Orientierung abweichen können. Um einen Korrekturwert berechnen zu können, werden die Daten des Beschleunigungssensors hinzugezogen. Üblicherweise kann der Beschleunigungssensor jedoch nicht zwischen der Erdbeschleunigung und einer Beschleunigung, welche bei einer Bewegung des tragbaren Gerätes entsteht, unterscheiden. Zudem unterliegt jeder Sensor einem permanenten Grundrauschen, welches die Messwerte zusätzlich verfälscht. Um diese Sensormessdaten zu korrigieren bedarf es einer aufwendigen Filterung der Daten sowie weiterer komplexer Berechnungen und Rückkopplungen der korrigierten Sensormessdaten auf die Darstellung. Häufige Korrekturen der Darstellung können dabei in einem hohen Energieverbrauch resultieren. Kontinuierliche Korrekturen können vom Benutzer als störend empfunden werden, insbesondere, wenn dieser in einer festen Position verharrt.
  • Offenbarung der Erfindung
  • Die der Erfindung zugrundeliegende Aufgabe kann darin gesehen werden, ein Verfahren sowie ein tragbares Gerät vorzuschlagen, welche es ermöglichen die Schätzung der Orientierung eines Gerätes im Raum mithilfe von Sensoren effizient und energie- sowie datensparend zu korrigieren.
  • Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
  • Nach einem Aspekt der Erfindung wird ein Verfahren zur Darstellung von visuellen Informationen in Abhängigkeit von einer räumlichen Orientierung eines tragbaren Gerätes bereitgestellt. Das tragbare Gerät ist mit zumindest einem ersten Sensor zum Erfassen von Orientierungsinformationen und einem Beschleunigungssensor ausgestattet. Bei dem tragbaren Gerät wird die räumliche Orientierung des tragbaren Gerätes auf Basis der erfassten Orientierungsinformationen geschätzt und diese Orientierungsschätzung mit Hilfe der vom Beschleunigungssensor erfassten Sensormessdaten korrigiert. Erfindungsgemäß wird anhand der erfassten Sensormessdaten ermittelt, ob sich das tragbare Gerät in einer Ruhephase oder in einer Bewegungsphase befindet und auf der Basis der in einer Ruhephase ermittelten Orientierungsschätzung und der in dieser Ruhephase erfassten Messdaten des Beschleunigungssensors ein Fehler für die Orientierungsschätzung ermittelt. Es wird in Ruhephasen der Darstellung der visuellen Informationen die jeweils aktuelle Orientierungsschätzung unverändert zugrunde gelegt. Bei dem Verfahren wird erfindungsgemäß der in einer Ruhephase ermittelte Fehler bei der Orientierungsschätzung in der darauffolgenden Bewegungsphase berücksichtigt sowie sukzessive korrigiert und in Bewegungsphasen der Darstellung der visuellen Informationen eine jeweils aktuelle korrigierte Orientierungsschätzung zugrunde gelegt.
  • In der Ruhephase verharrt der Kopf des Benutzers und damit das an dem Kopf des Benutzers angeordnete tragbare Gerät ruhig in einer Position. Während der Ruhephase werden keine Korrekturen der Orientierungsschätzung und damit der Darstellung von visuellen Informationen durchgeführt. Insbesondere bei einem Verharren des Kopfes in einer Position oder langsamen Bewegungen können Korrekturen der Orientierungsschätzung und der darauf basierenden Darstellungen von visuellen Informationen von dem Benutzer deutlicher wahrgenommen werden als bei schnell ausgeführten Bewegungen. Während der Ruhephase werden Sensormessdaten des Beschleunigungssensors gemessen und ein gemessener Vektor der Erdbeschleunigung ermittelt. Mit dem gemessenen Vektor bzw. den gemessenen Sensormessdaten des Beschleunigungssensors der Erdbeschleunigung kann anschließend ein Fehler der Orientierungsschätzung ermittelt werden. Die Berechnung des Fehlers erfolgt anhand einer Abweichung des gemessenen Vektors der Erdbeschleunigung von dem aus der Orientierungsschätzung resultierenden Vektor der Erdbeschleunigung.
  • In der Bewegungsphase hingegen bewegt der Benutzer seinen Kopf und damit auch das tragbare Gerät. Beispielweise kann das tragbare Gerät nach oben oder unten oder zu einer Seite hin gedreht werden. Dabei überlagern aus der Bewegung resultierende Beschleunigungen die Messung der Erdbeschleunigung. In der Bewegungsphase kann der Beschleunigungssensor deaktiviert oder die Messungen des Beschleunigungssensors langsamer getaktet werden. Stattdessen kann in der Bewegungsphase die Orientierungsschätzung und eine darauf basierende Darstellung von visuellen Informationen, wie beispielsweise Bildern, um den ermittelten und gespeicherten Korrekturwert korrigiert werden. Die Korrektur der Orientierungsschätzung kann hierbei möglichst langsam erfolgen. Langsam ist dahingehend zu verstehen, dass die Anpassung der auf die Orientierungsschätzung basierenden Darstellung visueller Informationen in kleinen Schritten ohne sprunghafte Veränderung der Darstellung durchgeführt wird, sodass der Benutzer die Korrektur in der Bewegung nicht wahrnehmen kann.
  • Durch das Verfahren werden die Vorteile der jeweiligen Phase ausgenutzt. In der Ruhephase kann die Erdbeschleunigung ohne Störungen durch lineare Beschleunigung des tragbaren Gerätes, ausgelöst durch die Kopfbewegung des Benutzers, exakt gemessen werden, so dass die Genauigkeit der Messung des Vektors der Erdbeschleunigung erhöht werden kann. Hierdurch kann auch die Genauigkeit des Korrekturwertes erhöht werden. Verweilt der Kopf des Benutzers in einer Position darf das Bild sich ebenfalls nicht bewegen, da das menschliche Auge in einer ruhigen Position des Kopfes bereits ein leichtes Wegdrehen oder Zittern des Bildes registrieren kann. Während der Bewegungsphase kann der Benutzer Anpassungen bzw. ein Verschieben der Darstellung schwerer wahrnehmen. Trotzdem kann die Anpassung der Orientierung derart zügig erfolgen, dass längere Verzögerungen der Darstellung bzw. ein „Nachziehen“ des Bildes verhindert werden. Verzögerungen der Darstellung können bei dem Benutzer Schwindelgefühle auslösen. Im Gegensatz zu bekannten Verfahren müssen die Sensormessdaten des Beschleunigungssensors nicht kontinuierlich ermittelt werden, sondern lediglich in der Ruhephase gemessen und ausgewertet werden. Durch die Einteilung der Korrektur der Orientierungsschätzung in eine Ruhephase und eine Bewegungsphase kann ein tragbares Gerät durch das Verfahren besonders recheneffizient und energiesparend arbeiten.
  • Gemäß einem Ausführungsbeispiel des Verfahrens werden eine Kamera, ein Drehratensensor, ein Mikrofon und/oder ein Magnetsensor zum Erfassen von Orientierungsinformationen verwendet. Hierdurch können Orientierungsinformationen durch eine Vielzahl an möglichen Sensoren ermittelt werden. Insbesondere können auch optische Sensoren, wie beispielsweise Kameras Sensormessdaten erfassen und beispielsweise durch Analyse mehrerer Bilder Informationen über Bewegungen des tragbaren Gerätes und über eine Ausrichtung des tragbaren Gerätes in einem Raum liefern.
  • Nach einem weiteren Ausführungsbeispiel des Verfahrens erfolgt das Bestimmen von Ruhephasen und Bewegungsphasen auf der Basis der Sensormessdaten des mindestens einen ersten Sensors zum Erfassen von Orientierungsinformationen und/oder des mindestens einen Beschleunigungssensors. Es kann beispielsweise ein normiertes Signals eines Drehratensensors verwendet werden, um ein Umschalten zwischen der Ruhephase und der Bewegungsphase zu bewirken. Ist beispielsweise ein Sensormesswert höher als ein bestimmter Schwellwert, kann angenommen werden, dass das tragbare Gerät in Bewegung ist, ansonsten kann von einer Ruhephase ausgegangen werden. Alternativ oder zusätzlich können Signale des Beschleunigungssensors zur Erkennung verwendet werden. Ist zum Beispiel eine Differenz eines aktuellen Beschleunigungswertes und eines durchschnittlichen Beschleunigungswertes der beispielsweise letzten 100 Millisekunden größer als ein definierter Schwellwert, kann angenommen werden, dass sich das tragbare Gerät in Bewegung befindet, ansonsten kann von einer Ruhephase des tragbaren Gerätes ausgegangen werden. Es kann auch eine Kombination der beiden oben genannten Bedingungen und Sensoren verwendet werden. Alternativ oder zusätzlich kann die Orientierung aber auch mit einem Kamerasystem bestimmt werden.
    Nach einem weiteren Ausführungsbeispiel des Verfahrens wird auf der Basis des in einer Ruhephase ermittelten Fehlers mindestens ein Korrekturwert zur sukzessiven Kompensation dieses Fehlers in der darauffolgenden Bewegungsphase bestimmt. Während einer Bewegungsphase bzw. einer Bewegung des Kopfes kann die Korrektur der Orientierungsschätzung in Form eines Korrekturwertes sukzessive vorgenommen werden. Der Korrekturwert kann in jedem Zeitschritt die Orientierungsschätzung beeinflussen. Beispielsweise kann der Korrekturwert in Form von Drehwinkeln definiert werden, um welche die geschätzte Orientierung zur Korrektur gedreht werden muss. Das Ziel bei der Wahl des Korrekturwertes ist es, eine weiche Korrektur des vorhandenen Schätzfehlers der Orientierungsschätzung vorzunehmen, um zu vermeiden, dass ein Nutzer die Korrektur wahrnehmen kann. Der Korrekturwert kann beispielsweise ein Bruchteil oder ein Faktor eines tatsächlichen Schätzfehlers sein. Die Korrektur der Orientierungsschätzung und damit der Darstellung kann über mehrere Zeitschritte bzw. Aktualisierungsschritte der Darstellung mit Hilfe des Korrekturwertes vorgenommen werden, bis der tatsächliche Schätzfehler vollständig korrigiert wurde. Sofern der Schätzfehler vollständig während einer Bewegungsphase korrigiert wurde, kann der Korrekturwert gleich null gesetzt werden, sodass keine weiteren Korrekturen bis zu einer nächsten Ruhephase vorgenommen werden.
  • Gemäß einem weiteren Ausführungsbeispiel des Verfahrens wird der aktuelle Korrekturwert jeweils an eine Bewegung des tragbaren Geräts angepasst. Damit der Benutzer die Korrektur der Orientierungsschätzung möglichst nicht bemerkt, kann die Korrektur über einen Korrekturwert bewegungsabhängig erfolgen. Die erforderliche Korrektur bzw. der Korrekturwert kann mit der Bewegung des tragbaren Geräts bzw. des Kopfes des Benutzers überlagert werden. Dafür wird die Fehlerkorrektur nicht direkt vollständig durchgeführt sobald sich das tragbare Gerät in Bewegung befindet, sondern in Abhängigkeit von der Stärke der Bewegung des Geräts ausgewählt und in mehreren Schritten durchgeführt. Beispielsweise kann der Korrekturwert proportional zu Sensormessdaten des Beschleunigungssensors abzüglich der Erdbeschleunigung definiert werden.
  • Nach einem weiteren Ausführungsbeispiel des Verfahrens wird bei der Anpassung des Korrekturwerts eine Drehgeschwindigkeit des tragbaren Geräts berücksichtigt. Hierdurch kann der Korrekturwert linear oder quadratisch proportional von den Sensormessdaten des Drehratensensors abhängen und basierend auf einer Drehbewegung des Kopfes des Benutzers eine sukzessive korrigierte Orientierungsschätzung der Darstellung der visuellen Informationen zugrunde gelegt werden.
  • Gemäß eines weiteren Ausführungsbeispiels des Verfahrens wird der Beschleunigungssensor in Bewegungsphasen mit einer niedrigeren Abtastrate betrieben als in Ruhephasen. Der Beschleunigungssensor kann hierbei in den Bewegungsphasen hilfsweise zugeschaltet werden. Insbesondere kann durch diese Maßnahme ein Energieverbrauch des tragbaren Gerätes gesenkt werden, da der Beschleunigungssensor nicht durchgehend Sensormessdaten ermitteln und somit nicht durchgehend mit elektrischer Energie versorgt werden muss.
  • Gemäß eines weiteren Ausführungsbeispiels des Verfahrens wird der Beschleunigungssensor in Bewegungsphasen deaktiviert. Das Auslesen der Sensormessdaten des Beschleunigungssensors und die Berechnung des Fehlers der geschätzten Orientierung müssen nur dann erfolgen, wenn das tragbare Gerät sich in einer Ruhephase befindet. Deshalb kann mit diesem Verfahren eine energieeffiziente Korrektur der Orientierungsschätzung durchgeführt werden. Der Beschleunigungssensor kann vorzugsweise in den Bewegungsphasen ganz ausgeschaltet werden. Dies führt dazu, dass der Beschleunigungssensor nur in der Ruhephase Daten mit einer hohen Genauigkeit ermitteln kann. Diese gesammelten Daten der Ruhephase werden somit nicht durch mögliche in der Bewegungsphase gesammelte Daten, welche durch die Linearbeschleunigung verfälscht werden können, beeinflusst. Des Weiteren kann die Datenmenge durch das Abschalten des Beschleunigungssensors in der Bewegungsphase deutlich reduziert werden.
  • Nach einem weiteren Aspekt der Erfindung wird ein tragbares Gerät zur Darstellung visueller Informationen in Abhängigkeit von seiner räumlichen Orientierung gemäß dem Verfahren nach dem vorhergehenden Aspekt der Erfindung bereitgestellt. Das tragbare Gerät umfasst mindestens einen ersten Sensor zum Erfassen von Orientierungsinformationen und einen Beschleunigungssensor.
  • Das tragbare Gerät kann vorzugsweise auf oder an einem Kopf eines Benutzers angeordnet oder befestigt werden. Abhängig von Bewegungen des Kopfes kann eine Ruhephase oder eine Bewegungsphase des tragbaren Gerätes ermittelt werden. Wird beispielsweise der Kopf des Benutzers wenig bewegt oder nicht bewegt, so kann anhand der Sensormessdaten des mindestens einen Sensors und/oder des Beschleunigungssensors eine Ruhephase ermittelt werden. Während der Ruhephase wird anhand der Sensormessdaten des Beschleunigungssensors ein Fehler des Beschleunigungssensors durch Abgleich mit der tatsächlichen Erdbeschleunigung bestimmt. Dieser Fehler kann während der Ruhephase in einem Speicher abgelegt werden. Wird beispielsweise eine Bewegungsphase des tragbaren Gerätes erkannt, so kann basierend auf dem gespeicherten Fehler eine korrigierte Orientierungsschätzung berechnet werden, die einer korrigierten Darstellung von visuellen Informationen zugrunde gelegt werden kann. Der Beschleunigungssensor kann beispielsweise während der Bewegungsphase deaktiviert werden oder weniger Sensormessdaten ermitteln. Hierdurch kann das tragbare Gerät energiesparender ausgeführt werden. Des Weiteren entstehen weniger Sensormessdaten, die ausgewertet werden müssen, wodurch eine Rechenleistung des tragbaren Gerätes reduziert werden kann.
  • Im Folgenden werden anhand von stark vereinfachten schematischen Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen
    • 1 eine schematische Darstellung eines Verfahrens gemäß einem ersten Ausführungsbeispiel,
    • 2 ein schematisches Ablaufdiagramm des Verfahrens gemäß einem zweiten Ausführungsbeispiel und
    • 3 eine schematische Darstellung eines tragbaren Gerätes zum Durchführen des Verfahrens gemäß dem ersten Ausführungsbeispiel.
  • Die 1 zeigt eine schematische Darstellung bzw. ein Blockdiagramm eines Verfahrens 1 gemäß einem ersten Ausführungsbeispiel. Hierbei erfolgt eine Orientierungsschätzung 2 zur Anpassung von Bildern an eine Kopfbewegung eines Benutzers. Die Kopfbewegung des Benutzers wird mit Hilfe von unterschiedlichen Bewegungssensordaten berechnet. Gemäß dem Ausführungsbeispiel wird ein 3-Achsen-Drehratensensor 6 zur Generierung von Sensormessdaten 8 für die Orientierungsschätzung 2 genutzt. Der Drehratensensor 6 dient als Hauptinformationsquelle für die Orientierungsschätzung 2 eines in 3 gezeigten tragbaren Gerätes G zum Durchführen des Verfahrens 1. Wenn eine initiale Lage des tragbaren Gerätes G bekannt ist, lässt sich durch numerisches integrieren der gemessenen Drehraten 10, die ein Bestandteil der Sensormessdaten 8 sind, die Orientierung 2 des tragbaren Gerätes G berechnen. Dies geschieht in kleinen Zeitintervallen, um eine Latenz der geschätzten Orientierung 2 möglichst klein zu halten. Die Sensormessdaten 10 des Drehratensensors 6 sind durch einen Versatz bzw. Offset fehlerbehaftet, so dass bei längerer Benutzung des tragbaren Gerätes G die tatsächliche und die berechnete Orientierung 2 des tragbaren Gerätes G abweichen können. Dieser Versatz bzw. Offset kann ein Grund für einen Fehlerwert 12 sein. Um den Fehlerwert 12 berechnen zu können, werden Sensormessdaten 14 des 3-Achsen-Beschleunigungssensors 4 zur Berechnung des Fehlerwertes 12 verwendet. Der Fehlerwert 12 ergibt sich somit aus einer Abweichung der gemessen Erdbeschleunigung 16 und des aus der berechneten Orientierung 2 extrahierten geschätzten Vektors der Erdbeschleunigung g. Die Sensormessdaten 14 des Beschleunigungssensors 4 werden jedoch durch Linearbeschleunigungen der Kopfbewegungen des Benutzers verfälscht. Des Weiteren werden Korrekturen in der Bilddarstellung des tragbaren Gerätes G in einer Ruhephase 20 vom Benutzer registriert und können unteranderem Schwindelgefühle bei dem Benutzer auslösen. Daher wird vor einer Messung 16 der Erdbeschleunigung durch den Beschleunigungssensor 4 zuerst eine Bewegungserkennung 18 durchgeführt. Die Bewegungserkennung 18 kann auch durch den Drehratensensor 6 oder einen anderen Sensor alternativ oder hilfsweise erfolgen. Die Bewegungserkennung 18 kann zwischen einer Ruhephase 20 und einer Bewegungsphase 22 der Kopfbewegung des Benutzers unterscheiden. Anhand von Messdaten 10 des Drehratensensors 6 und von Messdaten 14 des Beschleunigungssensors 4 ermittelt die Bewegungserkennung 18, ob sich das tragbare Gerät G in einer Ruhephase 20 oder einer Bewegungsphase 22 befindet.
  • Wird durch die Bewegungserkennung 18 eine Ruhephase 20 erkannt, wird eine Messung der Erdbeschleunigung 16 durch den Beschleunigungssensor 4 eingeleitet und der Fehlerwert 12 zur geschätzten Erdbeschleunigung g ermittelt. Aus dem Fehlerwert 12 wird anschließend ein Korrekturwert 24 für eine Anpassung eines mit dem tragbaren Gerät G übermittelten Bildes im Fehlerspeicher 26 hinterlegt.
  • Wird durch die Bewegungserkennung 18 eine Bewegungsphase 22 erkannt, so wird ein Korrekturfaktor 28 anhand des Korrekturwertes 24 aus dem Fehlerspeicher 26 ermittelt. Gemäß dem Ausführungsbeispiel wird der Korrekturfaktor 28 abhängig von einer Stärke der Bewegung des tragbaren Gerätes G festgelegt. Der Korrekturfaktor 28 wird anschließend mit dem Korrekturwert 24 multipliziert und das Ergebnis 30 auf die Orientierungsschätzung 2 des tragbaren Gerätes G angewandt, sodass eine korrigierte Orientierungsschätzung 32 berechnet und damit eine Anpassung 34 von Bildern bzw. der Darstellung visueller Informationen 33 an die Kopfbewegung des Benutzers in Form einer korrigierten Ausrichtung der Bilder vorgenommen werden kann Nach erfolgter Korrektur 30 wird der im Fehlerspeicher 26 hinterlegte Korrekturwert 24 um den zur Korrektur 30 angewendeten Korrekturfaktor 28 reduziert. Die Korrektur 30 um den Korrekturfaktor 28 kann solange wiederholt werden, bis der Korrekturwert 24 im Fehlerspeicher 26 gleich Null ist. Durch die langsame Korrektur 30 der Orientierungsschätzung 2 und die sukzessive Anpassung 34 der Bilder des tragbaren Gerätes G kann eine weiche Korrektur realisiert werden, die von dem Benutzer während der Bewegungsphase 22 nicht registriert wird.
  • Fehler bzw. Abweichungen der Orientierungsschätzung von Bewegungen des Kopfes des Benutzers orthogonal zu einer Richtung der Erdbeschleunigung g, dem sogenannten „Heading“ H, können durch den Beschleunigungssensor 4 nicht korrigiert werden. Hierzu nutzt das Verfahren 1 einen 3-Achsen Magnetsensor 36. Der Magnetsensor 36 erfasst den in 3 dargestellten magnetischen Nordpol N der Erde und kann eine Rotationsabweichung 38 bzw. einen Fehler 38 des Gerätes G um das „Heading“ H bestimmen. Mit diesem bestimmten Fehler 38 kann wiederum ein Korrekturfaktor 40 für das „Heading“ H berechnet werden. Der Korrekturfaktor 40 kann nun zusätzlich für die Korrektur 30 der Orientierungsschätzung 2 verwendet werden. Die Unterteilung in die Ruhephase 20 und die Bewegungsphase 22 sowie die Verwendung des Fehlerspeichers 26 ist bei der Verwendung des Magnetsensors 36 für die Bewegungen des tragbaren Gerätes G orthogonal zur Richtung der Erdbeschleunigung g optional, da die Messungen des Magnetsensors 36 durch die Bewegungen und Beschleunigungen des tragbaren Gerätes G nur geringfügig beeinflusst werden. Um jedoch eine Wahrnehmung der Korrekturen durch den Benutzer zu verhindern, sollte die Korrektur nur in der Bewegungsphase durchgeführt werden.
  • Die 2 veranschaulicht das Verfahren 1 gemäß eines zweiten Ausführungsbeispiels mit Hilfe eines schematischen Ablaufdiagramms. Das Verfahren 1 kann iterativ durchgeführt werden. In einem ersten Schritt wird anhand der Sensormessdaten 8, 10, 14 ermittelt, ob das tragbare Gerät G in eine Ruhephase 20 oder eine Bewegungsphase 22 zugeordnet werden kann. Kann anhand von Sensormessdaten 8, 10, 14 eine Ruhephase 20 ermittelt werden, so wird basierend auf der Orientierungsschätzung 2 und der in dieser Ruhephase 20 erfassten Sensormessdaten 8, 10, 14 ein Fehler 12 für die Orientierungsschätzung 2 ermittelt. Der Fehlerwert 12 wird anschließend zur Verwendung in der nächsten Bewegungsphase 22 im Fehlerspeicher 26 abgelegt. Grundsätzlich kann auf eine Ruhephase 20 eine Bewegungsphase 22 folgen. Während der Ruhephase 20 wird die Orientierungsschätzung 2 nicht verändert oder korrigiert. Vielmehr wird basierend auf der unveränderten Orientierungsschätzung 2 eine Darstellung von visuellen Informationen 33 ausgegeben. Wird hingegen eine Bewegungsphase 22 festgestellt, so erfolgt eine Korrektur 30 der Orientierungsschätzung 2 anhand des während der Ruhephase 20 ermittelten Fehlerwertes 12. Die Korrektur 30 erfolgt hierbei sukzessive, sodass die Orientierungsschätzung 2 vom Benutzer möglichst unbemerkt durchgeführt werden kann. Dementsprechend wird der im Fehlerspeicher 26 hinterlegte Korrekturwert 24 entsprechend der bereits durchgeführten Korrektur 30 der Orientierungsschätzung 2 angepasst 27. Der im Fehlerspeicher 26 gespeicherte Korrekturwert 24 kann beispielsweise um einen Faktor oder einen Wert reduziert werden. Basierend auf der durchgeführten Korrektur 30 der Orientierungsschätzung 2 wird eine korrigierte Orientierungsschätzung 32 ermittelt. Während der Bewegungsphase 22 wird die korrigierter Orientierungsschätzung 32 für die Darstellung visueller Informationen 33 zugrunde gelegt.
  • Die korrigierte Orientierungsschätzung kann in einem weiteren Zeitschritt alternativ oder zusätzlich als Basis für die Ermittlung der Orientierungsschätzung 2 mit dem ersten Sensor 6 bzw., gemäß dem Ausführungsbeispiel, dem Drehratensensor 6 verwendet werden. Die korrigierte Orientierungsschätzung 32 kann beispielsweise als ein Ausgangswert für eine Zeitintegration mit der Drehgeschwindigkeit des Drehratensensors 6 verwendet werden.
  • In der 3 ist eine schematische Darstellung des tragbaren Gerätes G zum Durchführen des Verfahrens 1 gemäß dem ersten Ausführungsbeispiel dargestellt. Das tragbare Gerät G weist gemäß dem Ausführungsbeispiel eine am Kopf des Benutzers befestigbare Halterung 42 auf. Die Halterung 42 kann über ein elastisches Band 44 an dem Kopf des Benutzers angepasst und befestigt werden. Die Halterung 42 weist ein bildgebendes Gerät 48 auf. Die Halterung 42 weist eine nicht dargestellte Optik auf und ist mit Elektronik und Sensoren ausgestattet. Die Halterung 42 weist den Beschleunigungssensor 4, den Drehachsensensor 6 und den Magnetsensor 36 auf. Bewegungen des Kopfes des Benutzers orthogonal zu einer Richtung der Erdbeschleunigung g, bzw. um die Drehachse R des tragbaren Gerätes G ist das „Heading“ H. Der Magnetsensor 36 kann den magnetischen Nordpol N registrieren und Rotationsabweichungen des tragbaren Gerätes G von dem magnetischen Nordpol N erkennen.

Claims (9)

  1. Verfahren (1) zur Darstellung von visuellen Informationen (33) in Abhängigkeit von einer räumlichen Orientierung eines tragbaren Gerätes (G), wobei das tragbare Gerät (G) zumindest mit einem ersten Sensor (6) zum Erfassen von Orientierungsinformationen und mit einem Beschleunigungssensor (4) ausgestattet ist, - bei dem die räumliche Orientierung des tragbaren Gerätes (G) auf Basis der erfassten Orientierungsinformationen geschätzt (2) wird und - bei dem diese Orientierungsschätzung (2) mit Hilfe der vom Beschleunigungssensor (4) erfassten Sensormessdaten (8) korrigiert wird, dadurch gekennzeichnet, - dass anhand der erfassten Sensormessdaten (8) ermittelt wird, ob sich das tragbare Gerät (G) in einer Ruhephase (20) oder in einer Bewegungsphase (22) befindet, - dass auf der Basis der in einer Ruhephase (20) ermittelten Orientierungsschätzung und der in dieser Ruhephase (20) erfassten Sensormessdaten (8, 14, 16) des Beschleunigungssensors (4) ein Fehler (12) für die Orientierungsschätzung ermittelt wird, - dass in Ruhephasen (20) der Darstellung der visuellen Informationen (33) eine jeweils aktuelle Orientierungsschätzung unverändert zugrunde gelegt wird, - dass der in einer Ruhephase (20) ermittelte Fehler (12) bei der Orientierungsschätzung in der darauffolgenden Bewegungsphase (22) berücksichtigt und sukzessive korrigiert wird und - dass in Bewegungsphasen (22) der Darstellung der visuellen Informationen (33) eine jeweils aktuelle korrigierte Orientierungsschätzung zugrunde gelegt wird.
  2. Verfahren nach Anspruch 1, bei dem eine Kamera, ein Drehratensensor (6), ein Mikrofon und/oder ein Magnetsensor zum Erfassen von Orientierungsinformationen verwendet werden.
  3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Bestimmung von Ruhephasen (20) und Bewegungsphasen (22) auf der Basis der Sensormessdaten (8, 10) des mindestens einen ersten Sensors (6) zum Erfassen von Orientierungsinformationen und/oder des mindestens einen Beschleunigungssensors (4) erfolgt.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass auf der Basis des in einer Ruhephase (20) ermittelten Fehlers (12) mindestens ein Korrekturwert (24) zur sukzessiven Kompensation dieses Fehlers (12) in der darauffolgenden Bewegungsphase (22) bestimmt wird.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der aktuelle Korrekturwert (24) jeweils an die Bewegung des Geräts (G) angepasst wird.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass bei der Anpassung des Korrekturwerts (24) eine Drehgeschwindigkeit des tragbaren Geräts (G) berücksichtigt wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Beschleunigungssensor (4) in Bewegungsphasen (22) mit einer niedrigeren Abtastrate betrieben wird als in Ruhephasen (20).
  8. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Beschleunigungssensor (4) in Bewegungsphasen (22) deaktiviert wird.
  9. Tragbares Gerät (G) zur Darstellung visueller Informationen in Abhängigkeit von seiner räumlichen Orientierung (2) gemäß einem Verfahren (1) nach einem der vorherigen Ansprüche, mindestens umfassend - einen ersten Sensor (6) zum Erfassen von Orientierungsinformationen und - einen Beschleunigungssensor (4).
DE102017208365.4A 2017-05-18 2017-05-18 Verfahren zur Orientierungsschätzung eines tragbaren Gerätes Pending DE102017208365A1 (de)

Priority Applications (7)

Application Number Priority Date Filing Date Title
DE102017208365.4A DE102017208365A1 (de) 2017-05-18 2017-05-18 Verfahren zur Orientierungsschätzung eines tragbaren Gerätes
US16/604,745 US10955939B2 (en) 2017-05-18 2018-03-15 Method for estimating the orientation of a portable device
KR1020197036912A KR102393016B1 (ko) 2017-05-18 2018-03-15 휴대용 장치의 방위를 추정하기 위한 방법
JP2019563604A JP6968906B2 (ja) 2017-05-18 2018-03-15 装着機器の方位推定方法
PCT/EP2018/056499 WO2018210466A1 (de) 2017-05-18 2018-03-15 Verfahren zur orientierungsschätzung eines tragbaren gerätes
CN201880032728.9A CN110637276B (zh) 2017-05-18 2018-03-15 用于便携式设备的定向估计的方法
TW107116806A TWI766020B (zh) 2017-05-18 2018-05-17 用於估計可攜式裝置之定向的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017208365.4A DE102017208365A1 (de) 2017-05-18 2017-05-18 Verfahren zur Orientierungsschätzung eines tragbaren Gerätes

Publications (1)

Publication Number Publication Date
DE102017208365A1 true DE102017208365A1 (de) 2018-11-22

Family

ID=61691487

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017208365.4A Pending DE102017208365A1 (de) 2017-05-18 2017-05-18 Verfahren zur Orientierungsschätzung eines tragbaren Gerätes

Country Status (6)

Country Link
US (1) US10955939B2 (de)
JP (1) JP6968906B2 (de)
KR (1) KR102393016B1 (de)
DE (1) DE102017208365A1 (de)
TW (1) TWI766020B (de)
WO (1) WO2018210466A1 (de)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2845958B2 (ja) * 1989-07-18 1999-01-13 日本放送協会 画像表示装置
JP3314324B2 (ja) * 1995-04-18 2002-08-12 ミノルタ株式会社 映像表示装置
JP2000029617A (ja) * 1998-07-08 2000-01-28 Olympus Optical Co Ltd 映像表示装置
JP2000065576A (ja) * 1998-08-21 2000-03-03 Olympus Optical Co Ltd 映像表示装置
WO2000036376A1 (en) * 1998-12-17 2000-06-22 Tokin Corporation Orientation angle detector
JP2004109994A (ja) * 2002-08-30 2004-04-08 Olympus Corp 頭部装着型画像表示システム装置及びその画像処理方法
KR101566356B1 (ko) * 2008-05-15 2015-11-05 엘지전자 주식회사 3d 가속도 센서를 구비한 3d 포인팅 디바이스 및 이를이용한 포인터 제어 정보의 생성 방법과, 전자 기기 및전자 기기의 포인터 제어 방법과 전자 기기의 기능 실행방법
JP2010117260A (ja) * 2008-11-13 2010-05-27 Epson Toyocom Corp 姿勢検出装置の補正パラメーター作成方法、姿勢検出装置の補正パラメーター作成用装置及び姿勢検出装置
US8718963B2 (en) * 2010-04-27 2014-05-06 Memsic, Inc. System and method for calibrating a three-axis accelerometer
TWM465187U (zh) * 2013-07-08 2013-11-11 Univ Southern Taiwan Sci & Tec 具地理資訊實境模擬功能之頭戴式電子裝置
US20170036111A1 (en) * 2014-04-22 2017-02-09 Sony Corporation Head position detecting apparatus and head position detecting method, image processing apparatus and image processing method, display apparatus, and computer program
US20150379772A1 (en) * 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
WO2016033717A1 (zh) * 2014-09-01 2016-03-10 北京诺亦腾科技有限公司 一种组合式运动捕捉系统
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
KR101754488B1 (ko) * 2015-10-28 2017-07-06 고려대학교 산학협력단 가속도정보와 회전정보를 이용한 구조물 변위이력 측정방법
JP6514089B2 (ja) * 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US10705338B2 (en) * 2016-05-02 2020-07-07 Waves Audio Ltd. Head tracking with adaptive reference
DE102017100622A1 (de) * 2017-01-13 2018-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtungen und Verfahren zum Korrigieren von Ausrichtungsinformationen von einem oder mehreren Trägheitssensoren

Also Published As

Publication number Publication date
KR102393016B1 (ko) 2022-05-02
TW201901367A (zh) 2019-01-01
KR20200009040A (ko) 2020-01-29
TWI766020B (zh) 2022-06-01
US10955939B2 (en) 2021-03-23
JP2020521228A (ja) 2020-07-16
WO2018210466A1 (de) 2018-11-22
JP6968906B2 (ja) 2021-11-17
CN110637276A (zh) 2019-12-31
US20200103985A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
DE60003381T2 (de) Korrigierende Vorrichtung für Lagewinkelsensoren eines künstlichen Satellites
EP2710794B1 (de) Verfahren zur erzeugung und auswertung eines bilds
DE3736386A1 (de) Fahrzeugpeilverfahren
DE102012207138A1 (de) Sensorzeit-Synchronisation
WO2015058883A1 (de) Verfahren und vorrichtung zum bestimmen eines drehwinkels eines objekts um eine drehachse
EP3788802B1 (de) Verfahren zum betrieb eines hörgeräts und hörgerät
WO2012076274A1 (de) Verfahren und vorrichtung zum verarbeiten von bildinformationen zweier zur bilderfassung geeigneter sensoren eines stereo-sensor-systems
WO2019081132A1 (de) System zum nachverfolgen einer position eines zielobjekts
WO2018162152A2 (de) Bestimmung einer räumlichen ausrichtung
DE102013002889A1 (de) Verfahren und Vorrichtung zur Modellierung eines Fahrbahnrandes und Fahrzeug mit einer solchen Vorrichtung
DE102014106837A1 (de) Driftkompensation / Parallelminimierung
DE102016212650A1 (de) Verfahren und Vorrichtung zur Erzeugung von verorteten Sensordaten eines Koordinatenmessgeräts
DE102007030378A1 (de) System zur Bestimmung der Lage eines Kamerasystems
DE102014222964A1 (de) Dynamische Verzeichnungskorrektur von Magnetresonanz-Bildaufnahmen
DE102013227099A1 (de) Vorrichtung und Verfahren zum Detektieren eines Hindernisses
EP4143628A1 (de) Computerimplementiertes verfahren zur bestimmung von zentrierparametern für mobile endgeräte, mobiles endgerät und computerprogramm
DE102017208365A1 (de) Verfahren zur Orientierungsschätzung eines tragbaren Gerätes
DE102012216194B4 (de) Verfahren und System zum Bestimmen einer Mess-Zielgrösse
DE102014117277B4 (de) Trägersystem
EP3922526B1 (de) Bestimmung eines rollwinkels oder eines nickwinkels eines fortbewegungsmittels
DD241471A1 (de) Verfahren und anordnung zur automatischen steuerung von luftbildkameras
EP0847518B1 (de) Verfahren zur horizontstabilisierung von magnetkompassen
DE102021206008A1 (de) Sensorvorrichtung und Verfahren zum Berechnen von Sensitivitätsfehlern eines Drehratensensors
DE102019131640A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE112019003986T5 (de) Erfassungsgerät für biologische informationen, am kopf angebrachtes informationsdarstellungsgerät und erfassungsverfahren für biologische informationen

Legal Events

Date Code Title Description
R012 Request for examination validly filed