-
Die
Erfindung betrifft ein System, insbesondere ein Autoren-System zum
Erzeugen wenigstens einer Augmented Reality Hilfsanweisung für ein Objekt,
insbesondere ein Fahrzeug, mit den im Oberbegriff des Anspruchs
1 genannten Merkmalen sowie ein Verfahren zum Erzeugen einer Hilfsanweisung mit
dem im Oberbegriff des Anspruchs 7 genannten Merkmalen.
-
Aus
der WO 00/52539 ist ein Augmented Reality System zur situationsgerechten
Unterstützung der
Interaktion zwischen einem Anwender und einer technischen Vorrichtung
bekannt. Bei einem solchen System, sowie bei aus dem Stand der Technik
bekannten Augmented Reality Systemen, muss zum Erstellen einer Augmented
Reality Hilfsanweisung jede Hilfsanweisung manuell in eine Textdatei
eingetippt werden. Dieses Verfahren ist sehr zeitaufwendig, zusätzlich ergibt
sich die Schwierigkeit, Hilfsanweisungen in einem virtuellen Raum
zu platzieren.
-
Der
Erfindung liegt daher die Aufgabe zugrunde, ein System anzugeben,
welches die Erstellung einer Folge von Hilfsanweisungen für ein Augmented
Reality System erleichtert. Diese Aufgabe wird durch ein System
der Eingangs genannten Art gelöst,
welches eine Benutzerschnittstelle aufweist, die ausgebildet ist,
in Abhängigkeit
von einer Benutzerinteraktion ein Benutzerinteraktionssignal zu
erzeugen. Bei diesem System ist die zentrale Steuereinheit ausgebildet,
in Abhängigkeit
von dem Benutzerinteraktionssignal mindestens ein Hilfsanweisungssignal
zu erzeugen, welches eine Hilfsanweisung und einen räumlichen
Ort repräsentiert,
wobei der räumliche
Ort auf das Modell in drei Dimensionen referenziert ist. Die Hilfsanweisung
kann eine graphische oder eine akustische Hilfsanweisung sein.
-
Die
zentrale Steuereinheit ist weiter bevorzugt ausgebildet, das Hilfsanweisungssignal,
welches einen räumlichen
Ort repräsentiert,
in Form eines Datensatzes abzuspeichern.
-
Dazu
kann das System einen dafür
vorgesehenen, mit der zentralen Steuereinheit wirkverbundenen Speicher
aufweisen.
-
Alternativ
dazu kann die zentrale Steuereinheit ausgebildet sein, ein der Hilfsanweisung
entsprechendes Hilfsanweisungssignal an einen Empfänger zu
senden. Hierzu kann das System eine Schnittstelle, beispielsweise
eine mit der zentralen Steuereinheit wirkverbundene LAN-Schnittstelle (LAN
= Local Area Network), aufweisen.
-
Eine
graphische Hilfsanweisung, im Folgenden auch Video-Hilfsanweisung
genannt, kann beispielsweise durch ein VRML-Modul (VRML = virtuell reality
modelling language) oder ein APRIL-Modul (Augmented presentation
and Interaktion Authoring Language) erzeugt werden und ist beispielsweise
auf einem Bildschirm darstellbar.
-
Eine
akustische Hilfsanweisung, im Folgenden auch Audio-Hilfsanweisung
genannt, kann in Form von Luftschall hörbar wiedergegeben werden und
kann beispielsweise in Textform, beispielsweise im ASCII-Format
(ASCII = American Standard for Code Information Interchange) vorliegen
und als Eingangssignal für
eine als Sprachausgabeeinheit ausgebildete Audio-Ausgabeeinheit
vorliegen. Die Audio-Ausgabeeinheit kann ein Bestandteil des Systems
sein und einen der Hilfsanweisung entsprechenden Luftschall hörbar ausgeben.
Eine akustische Hilfsanweisung kann auch eine Tonfolge, einen Klang,
ein Geräusch
oder Musik repräsentieren
und kann dazu beispielsweise in abgetasteter, digitalisierter Form
abgespeichert sein.
-
Bevorzugt
weist das System einen Hilfsanweisungsspeicher auf, welcher mit
der zentralen Steuereinheit verbunden ist und welcher zum Speichern
einer Vielzahl von Hilfsanweisungen, insbesondere VRML-Hilfsanweisungen
oder APRIL-Hilfsanweisungen, ausgebildet ist. In dieser Ausführungsform
ist die zentrale Steuereinheit ausgebildet, in Abhängigkeit
von dem Benutzerinteraktionssignal wenigstens eine Hilfsanweisung
auszuwählen.
-
Eine
3D-Datenbank weist bevorzugt eine Vielzahl von 3D-Datensätzen auf,
wobei jeder 3D-Datensatz
beispielsweise ein Bauteil eines Fahrzeugs repräsentiert. Ein Fahrzeug kann
ein Schienenfahrzeug, Luftfahrzeug, bevorzugt ein Kraftfahrzeug
sein.
-
Das
Modell in drei Dimensionen des Objektes, insbesondere des Kraftfahrzeuges,
ist beispielsweise ein Gittermodell, bei welchem Objekte, beispielsweise
Bauteile des Fahrzeugs, durch Begrenzungslinien beschrieben sind.
Beispielsweise sind die Objekte vektoriell beschrieben.
-
In
einer anderen Ausführungsform
weist die 3D-Datenbank eine Vielzahl von Datensätzen auf, wobei die Datensätze jeweils
voneinander verschiedene, aus verschiedenen Raumwinkeln in Bezug
auf ein gemeinsames Zentrum des Objektes erfasste, zweidimensionale
Abbildungen des Objektes repräsentieren.
-
In
einer vorteilhaften Ausführungsform
weist das System einen Eingang für
ein Kamera-Bildsignal auf,
wobei das Kamera-Bildsignal eine Abbildung wenigstens von Teilen
des Objektes repräsentieren kann.
Die zentrale Steuereinheit ist in dieser Ausführungsform ausgebildet, das
Kamera-Bildsignal an die Bildwiedergabeeinheit zu senden. In dieser
Ausführungsform
kann eine Abbildung des Objektes vorteilhafterweise beim Erstellen
einer Hilfsanweisung oder einer Folge von Hilfsanweisungen in einem
vituellen Raum Hilfsanweisungen überlagert
werden. Dieses Verfahren vereinfacht vorteilhafterweise das Erstellen
von Augmented Reality Hilfsanweisungen für ein Objekt.
-
In
einer vorteilhaften Ausführungsvariante weist
das System eine Schnittstelle zum Verbinden mit einem Redaktionssystem
auf, wobei das Redaktionssystem eine Datenbank mit einer Vielzahl
von Hilfsanweisungen, insbesondere graphische oder Text entsprechende
Hilfsanweisungen, aufweist.
-
In
dieser Ausführungsform
können
aus dem Stand der Techik bekannte Reparatur- oder Montageanweisungen,
welche graphische Abbildungen oder Text aufweisen, vorteilhaft an
das System gesendet werden. In einer weiter bevorzugten Ausführungsform
weist das System eine Transformationseinheit auf, welche ausgebildet
ist, aus einer graphischen oder einer Text-Hilfsanweisung eine VRML- oder
eine APRIL-Hilfsanweisung zu erzeugen.
-
Dadurch
können
aus dem Stand der Technik bekannte zweidimensionale Hilfsanweisungen
zu dreidimensionalen Hilfsanweisungen konvertiert werden, welche
in einem dreidimensionalen Raum dargestellt werden können.
-
In
einer vorteilhaften Ausführungsvariante
ist die Bildwiedergabeeinheit ein Bildmonitor oder ein für Licht
transparenter Monitor. Licht ist eine mit dem menschlichen Auge
wahrnehmbare elektromagnetische Strahlung, welche insbesondere eine
Wellenlänge
im Bereich von 380 bis 400 Nanometer aufweist. Beispielhafte Ausführungsformen
für einen Bildmonitor
sind ein aus dem Stand der Technik bekannter Röhrenmonitor, ein TFT-Display
(TFT = Thin Film Transistor) oder ein LCD-Display (LCD = Liquid Crystal
Display). Ein für
Licht transparenter Monitor kann beispielsweise ein Head-mounted-Display,
oder ein transparenter Bildschirm, beispielsweise basierend auf
TFT- oder Flüssigkristalltechnologie
sein. Vorteilhafte Ausführungsformen
für einen
solchen Bildschirm weisen eine Bildschirmdiagonale von beispielsweise
12, 15, 17 oder 19 Zoll auf.
-
Ein
Head-mounted-Display oder ein transparenter Bildschirm können in
einer vorteilhaften Ausführungsvariante
einen Augenbewegungssensor aufweisen, welcher ausgebildet ist, eine
Augenbewegung, insbesondere eine Blickrichtung eines durch oder
auf das Display oder den Bildschirm blickenden Betrachters zu erfassen.
Die zentrale Steuereinheit kann in dieser Ausführungsform ausgebildet sein,
ein Benutzerinteraktionssignal in Abhängigkeit von einem einer Blickrichtung
des Betrachters entsprechenden Blickrichtung-Signals zu erzeugen.
-
Dadurch
kann vorteilhaft eine Hilfsanweisung in Abhängigkeit einer Blickrichtung
eines Betrachters, insbesondere eines Augmented Reality Autors,
erzeugt werden.
-
Die
Erfindung betrifft auch ein Verfahren zum Erzeugen einer Hilfsanweisung.
Das Verfahren umfasst die Schritte:
- – Erzeugen
eines 2D-Bildsignals aus wenigstens einem 3D-Datensatz, wobei der
wenigstens eine 3D-Datensatz ein Modell in drei Dimensionen wenigstens
von einem Teil eines Objektes repräsentiert und das 2D-Bildsignal
eine zweidimensionale Abbildung von wenigstens einem Teil des Objekts aus
einem zuvor bestimmten Betrachtungswinkel repräsentiert;
- – Erzeugen
mindestens einer, insbesondere einer graphischen oder akustischen
Hilfsanweisung in Abhängigkeit
eines Benutzerinteraktionssignals;
- – Zuordnen
der Hilfsanweisung zu einem räumlichen
Ort bezogen auf das Modell in drei Dimensionen von wenigstens einem
Teil des Objektes.
-
Ein
Benutzerinteraktionssignal kann beispielsweise durch einen Augenbewegungssensor,
einen Joystick, einen Trackball, eine berührungsempfindliche Oberfläche oder
durch eine Spracheingabeeinheit erzeugt werden, welche jeweils unabhängig voneinander
in einem System verwirklicht sein können.
-
Die
Erfindung wird nachfolgend in Ausführungsbeispielen anhand der
zugehörigen
Zeichnung, die ein Ausführungsbeispiel
für ein
System, insbesondere eine Augmented Reality Autoren Umgebung, zeigt,
näher erläutert.
-
Das
System 1 weist eine zentrale Steuereinheit 2,
eine Bildwiedergabeeinheit 24, eine Benutzerschnittstelleneinheit 26,
eine Speichereinheit 4, eine 3D-Datenbank 14,
ein Redaktionssystem 18, eine Trackingeinheit 20,
eine Audio-Ausgabeeinheit 48 und einen Zeitgeber 46 auf.
-
Die
Speichereinheit 4 weist einen Speicher 6 auf,
welcher eine Vielzahl von Hilfsanweisungen 12 speichern
kann. Der Speicher 6 ist über einen Daten-Bus 32a mit
der zentralen Steuereinheit 2 verbunden. Die Speichereinheit 4 weist
auch einen Speicher 8 auf, welcher eine Vielzahl von Datensätzen 10 speichern
kann, wobei jeder Datensatz eine Folge von VRML- oder APRIL-Hilfsanweisungen
repräsentieren
kann.
-
Beispielsweise
sind die Datensätze 10 XML-Datensätze (XML
= Extensible Markup Language).
-
Der
Speicher 8 ist über
einen Daten-Bus 32 mit der zentralen Steuereinheit 2 verbunden.
Der Daten-Bus 32 und der Daten-Bus 32a können zusammen
einen gemeinsamen Daten-Bus
bilden.
-
Die
Benutzerschnittstelleneinheit 26 ist über eine Verbindungsleitung 28 mit
der zentralen Steuereinheit verbunden. Die Benutzerschnittstelleneinheit 26 kann
beispielsweise einen Augenbewegungssensor, einen Joystick, einen
Trackball, eine Computer-Maus, eine Tastatur, ein Tastenfeld oder
dergleichen, jeweils zum Erzeugen eines Benutzerinteraktionssignals
in Abhängigkeit
von einer Benutzerinteraktion aufweisen.
-
Die
Bildwiedergabeeinheit 24 ist über eine Verbindungsleitung 30 mit
der zentralen Steuereinheit 2 verbunden und zum Empfangen
eines Bildsignals ausgebildet, wobei das Bildsignal eine Abbildung
von wenigstens einem Teil eines Objektes repräsentieren kann.
-
Die
Audio-Ausgabeeinheit 48 ist über eine Verbindungsleitung 50 mit
der zentralen Steuereinheit 2 verbunden. Die Audio-Ausgabeeinheit 48 kann beispielsweise
eine Hilfsanweisung 12, welche eine Audio-Hilfsanweisung
sein kann, hörbar
in Form von Luftschall ausgeben.
-
Die
Trackingeinheit 20 ist über
eine Verbindungsleitung 40 eingangsseitig mit einer Kamera 22 verbunden.
Die Kamera 22 ist beispielsweise eine CCD-Kamera (CCD =
Charge Coupled Device). Die Trackingeinheit 20 kann eingangsseitig
ein von der Kamera 22 erzeugtes, eine Abbildung eines Objektes repräsentierendes
Bildsignal erfassen und diesem Bildsignal eine Erfassungsrichtung
zuordnen. Die Trackingeinheit 20 kann ausgangsseitig ein
Bildsignal ausgeben, welches eine Abbildung des Objektes und eine
Erfassungsrichtung repräsentiert,
wobei die Erfassungsrichtung eine Richtung ist, aus der die Abbildung
von der Kamera 22 erfasst worden ist.
-
Die
Trackingeinheit 20 ist ausgangsseitig über eine Verbindungsleitung 38 mit
der zentralen Steuereinheit 2 verbunden.
-
Die
zentrale Steuereinheit 2 ist über eine Verbindungsleitung 36 mit
dem Redaktionssystem 18 verbunden. Die zentrale Steuereinheit 2 kann über die
Verbindungsleitung 36 von dem Redaktionssystem 18 gesendete
Daten empfangen, wobei die Daten zweidimensionale, Graphik oder
Text repräsentierende,
Hilfsanweisungen repräsentieren
können.
-
Die
3D-Datenbank 14 weist eine Vielzahl von 3D-Datensätzen 16 auf,
welche zusammen ein Modell in drei Dimensionen wenigstens von einem
Teil eines Fahrzeugs repräsentieren.
Beispielsweise kann jeder 3D-Datensatz 16 ein Modell in
drei Dimensionen eines Bauteils des Fahrzeugs repräsentieren. Die
zentrale Steuereinheit 2 ist mit einem Zeitgeber 46 verbunden,
welcher ausgebildet ist, ein Zeitsignal zu erzeugen, welches einem
Takt oder einer Uhrzeit entspricht.
-
Die
zentrale Steuereinheit 2 kann ein Steuerprogramm aufweisen,
welches beispielsweise in der Speichereinheit 4 in einem
in dieser Figur nicht dargestellten Speicherabschnitt abgespeichert
sein kann.
-
Das
Steuerprogramm kann beispielsweise in Abhängigkeit von einem über die
Verbindungsleitung 28 empfangenen Benutzerinteraktionssignal
einen oder mehrere 3D-Datensätze 16 aus
der 3D-Datenbank 14 über
die Verbindungsleitung 34 auslesen.
-
Die
zentrale Steuereinheit 2 kann aus jedem 3D-Datensatz 16 ein
2D-Bildsignal erzeugen, welches eine zweidimensionale Abbildung
des durch den 3D-Datensatz 16 repräsentierten Bauteils entspricht.
Die zentrale Steuereinheit 2 kann das 2D-Bildsignal über die
Verbindungsleitung 30 an die Bildwiedergabeeinheit 24 senden.
-
Die
zentrale Steuereinheit 2 kann, beispielsweise im Anschluss
daran, in Abhängigkeit
von einem über
die Verbindungsleitung 28 und von der Benutzerstelleneinheit 26 erzeugten
Benutzerinteraktionssignal aus dem Speicher 6 wenigstens
eine Hilfsanweisung 12 auslesen und ein der Hilfsanweisung 12 entsprechendes
Hilfsanweisungssignal erzeugen. Die zentrale Steuereinheit 2 kann
das Hilfsanweisungssignal derart erzeugen, dass die Hilfsanweisung
einen räumlichen
Ort, bezogen auf den ausgewählten
3D-Datensatz 16, repräsentiert, wobei
das Hilfsanweisungssignal im Falle einer Video-Hilfsanweisung 12 zur
zweidimensionalen Wiedergabe auf der Bildwiedergabeeinheit 24 vorgesehen
ist.
-
Im
Falle einer Audio-Hilfsanweisung 12 kann die zentrale Steuereinheit 2 ein
entsprechendes Audio-Hilfsanweisungssignal erzeugen und dieses über die
Verbindungsleitung 50 an die Audio-Ausgabeeinheit 48 zum
hörbaren
Ausgeben senden.
-
Die
zentrale Steuereinheit 2 kann – zusätzlich zur Wiedergabe wenigstens
eines 3D-Datensatzes 16 auf
der Bildwiedergabeeinheit 24, oder unabhängig davon – ein über die
Verbindungsleitung 38 empfangenes Bildsignal über die
Verbindungsleitung 30 an die Bildwiedergabeeinheit 24 zur
zweidimensionalen Wiedergabe senden.
-
Die
zentrale Steuereinheit 2 kann – beispielsweise in Abhängigkeit
eines über
die Verbindungsleitung 28 empfangenen Benutzerinteraktionssignals, oder
gesteuert durch das Steuerprogramm – über die Verbindungsleitung 36 einen
Datensatz von dem Redaktionssystem 18 empfangen, welcher
eine 2D-Hilfsanweisung repräsentiert.
Die zentrale Steuereinheit 2 ist ausgebildet, den von dem
Redaktionssystem 18 empfangenen Datensatz zu einer oder mehreren
Hilfsanweisungen zu transformieren und über die Verbindungsleitung 32a an
den Speicher 6 zu senden und dort abzuspeichern. Die Hilfsanweisungen 12 sind
beispielsweise VRML- oder APRIL-Hilfsanweisungen, welche jeweils
eine graphische Information zum dreidimensionalen Darstellen repräsentieren.
-
Die
zentrale Steuereinheit 2 kann beispielsweise eine Folge
von Hilfsanweisungen 12 – erzeugt in Abhängigkeit
eines über
die Verbindungsleitung 28 empfangenen Benutzerinteraktiossignals – über den Daten-Bus 32 an
den Speicher 8 senden und dort als Datensatz 10,
beispielsweise als XML-Datensatz, abspeichern.
-
Die
zentrale Steuereinheit 2 kann alternativ dazu einen Datensatz 10 über eine
Verbindungsleitung 42 an eine Schnittstelle 44 senden,
welche beispielsweise eine LAN-Schnittstelle
(LAN = Local Area Network), eine Wireless-LAN-Schnittstelle, eine Bluetooth-Schnittstelle oder
dergleichen sein kann.
-
Die
zentrale Steuereinheit 2 kann das Steuerprogramm in Abhängigkeit
von einem von dem Zeitgeber 46 erzeugten Zeitsignal ausführen. Hilfsanweisungen
können
beispielsweise Arbeitsschritte zum Montieren oder Reparieren eines
Fahrzeugs oder Teilen eines Fahrzeugs sein. Eine Hilfsanweisung
kann beispielsweise ein Pfeil, ein animierter Pfeil, ein animiertes
Objekt, ein Wagenhinweis, eine akustische Hilfsanweisung, welche
beispielsweise einen Klang oder gesprochene Sprache repräsentieren kann,
sein.
-
Ein
Fahrzeug kann ein Personenkraftfahrzeug, ein Transporter, ein Luftfahrzeug,
ein Wasserfahrzeug oder ein Schienenfahrzeug sein.
-
- 1
- System
- 2
- zentrale
Steuereinheit
- 4
- Speichereinheit
- 6
- Speicher
- 8
- Speicher
- 10
- Datensätze
- 12
- Datensätze (XML
/ VRML) – Hilfsanweisungen
- 14
- 3D-Datenbank
- 16
- 3D-Datensätze
- 18
- Redaktionssystem
- 20
- Trackingeinheit
- 22
- Kamera
- 24
- Bildwiedergabeeinheit
- 26
- Benutzerschnittstelle
- 28
- Verbindungsleitung
- 30
- Verbindungsleitung
- 32
- Daten-Bus
- 32a
- Daten-Bus
- 36
- Verbindungsleitung
- 38
- Verbindungsleitung
- 40
- Verbindungsleitung
- 42
- Verbindungsleitung
- 44
- LAN-Schnittstelle
- 46
- Zeitgeber
- 48
- Audio-Ausgabeeinheit
- 50
- Verbindungsleitung