Beschreibung
Titel
Verfahren zur Anzeige von Videobildern und Videosystem
Die vorliegende Erfindung betrifft ein Verfahren zur Anzeige von Videobildern in einem Verkehrsmittel sowie ein Videosystem zur Durchführung des Verfahrens.
Die Visualisierung geografischer und/oder topografischer Informationen auf geeigneten Anzeigegeräten bzw. Monitoren in Verkehrsmitteln, beispielsweise in Kraftfahr- zeugen, auf Booten und/oder in Flugzeugen, wird eine immer wichtigere Anwendung. So werden in Navigationssystemen für Kraftfahrzeuge neben der Abbildung eines Straßennetzes auch die aktuelle Position, die berechnete Route und/oder das Ziel auf einem Display angezeigt.
Bei bekannten Systemen ist die Darstellung in den letzten Jahren immer genauer und realistischer geworden, was durch die zunehmende Leistungsfähigkeit der in den Systemen eingesetzten Mikroprozessoren für die Grafikberechnungen ermöglicht wurde. So sind bereits Navigationssysteme für Kraftfahrzeuge bekannt, die dreidimensionale bzw. perspektivische Darstellungen von Innenstädten anbieten. Dies er- möglicht beispielsweise bereits schon ein virtuelles Abfahren einer berechneten Route während der Fahrtvorbereitung, um eventuellen Verwirrungen des Fahrers in schwierigen Fahrtsituationen vorzubeugen. Für eine zuverlässige Wiedererkennbarkeit der realen Ortsgegebenheiten sicher zu stellen, muss die grafische Darstellung für das virtuelle Abfahren einen möglichst realistischen Eindruck vermitteln.
Als eine weitere Anwendung ist es bekannt, auf den Bildschirmen des Multimediasystems eines Verkehrsflugzeuges während des Fluges die aktuelle Flugzeugposition und weiteren Angaben zum Flug, beispielsweise der Flughöhe, der Geschwindig-
keit, die Temperatur und/oder vergangene bzw. zukünftige Flugzeit, darzustellen. Die Flugzeugposition wird dabei nicht nur durch eine Angabe von Ortskoordinaten, sondern häufig durch Anordnen eines Flugzeugsymbols auf einer darunter abgebildeten Karte des Fluggebietes visualisiert.
Bei der Visualisierung in den Multimediasystemen der Flugzeuge erwarten die Fluggäste Kartendarstellungen, deren Elemente beim Blick aus dem Fenster einfach und schnell wieder zu erkennen sind. Es werden somit auch hier immer genauere und realistischere Ansichten der Kartendarstellungen gefordert.
Das Streben nach immer realistischer ausgestalteten Kartendarstellungen stößt jedoch an Grenzen. Einerseits wird die hierzu erforderliche Datenerfassung zunehmend kostenintensiver und andererseits wird die Auflösung der Kartendarstellung so hoch, dass kurzfristige Veränderungen in der realen Welt nicht mehr zeitnah abgebil- det werden können. Dies betrifft beispielsweise Veränderungen der Bebauung durch Neubauten, oder auch veränderte Verläufe von Flüssen und Bächen. Auch jahreszeitliche Veränderungen in Form der Laubfärbung im Herbst und/oder Schnee im Winter müssen für realistische Kartendarstellungen berücksichtigt werden.
Mit den derzeitigen Erfassungsmethoden können allerdings solche Daten nicht innerhalb eines vernünftigen Zeit- und Kostenrahmens beschafft werden. Auch führt das benötigte relativ große Datenvolumen für die Aktualisierung der Navigationsdatenbank und das Erfordernis der relativ kurzfristigen bzw. häufig wiederholten Aktualisierung zu erheblichen Problemen und technischen Schwierigkeiten.
Für die Führung und Steuerung eines Verkehrsmittels ist es seit längeren bekannt, der steuernden Person neben ihrer persönlichen visuellen Wahrnehmung auch Daten von entsprechenden, am Verkehrsmittel verteilt angeordneter Sensoren, beispielsweise Radar bzw. Abstandsradar, zur Verfügung zu stellen. In den letzten Jah- ren wurden immer mehr Systeme entwickelt, bei denen die Fähigkeit des Verkehrsmittels, seine Umgebung wahrzunehmen und zu interpretieren, durch einen Einsatz von Videokameras erreicht wurde.
In Kraftfahrzeugen gibt es Videokameras, die beispielsweise die Funktion von Rückspiegeln übernehmen, um beim Rückwärtsfahren oder einem Einparkmanöver eine freie Sicht auf die hinter dem Fahrzeug befindliche Umgebung bereitzustellen. Ferner ist es bekannt, Videokameras auch in Fahrtrichtung einzusetzen, beispielsweise um die Nachtsicht zu verbessern oder für Spurhaltewarnsysteme. In Verkehrsflugzeugen sind oftmals Videokameras vorgesehen, die auf die unter dem Flugzeug sich befindende Landschaft gerichtet sind. Die Bildaufnahmen dieser Videokameras können dann über die Monitore des Multimediasystems in dem Verkehrsflugzeug gezeigt und wiedergegeben werden .
Vor diesem Hintergrund ist es die Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zur Visualisierung geografischer und/oder topografischer Informationen in Verkehrsmitteln anzugeben.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen gemäß Anspruch 1 sowie durch ein Videosystem mit den Merkmalen gemäß Anspruch 10 gelöst.
Bei dem erfindungsgemäßen Verfahren zur Anzeige von Videobildern in einem Ver- kehrsmittel sind folgende Verfahrensschritte vorgesehen: Erfassen von Bilddaten durch eine in dem Verkehrsmittel angeordnete Videokamera, Bestimmen von aktuellen Positionsdaten des Verkehrsmittels, Ermitteln von Objektdaten aus einer Datenbank und Verknüpfen der erfassten Bilddaten, der bestimmten Positionsdaten und der ermittelten Objektdaten derart, dass Anzeigedaten erzeugt werden, in denen in der Videobildanzeige zusätzliche Informationen aus der Datenbank eingefügt werden.
Hierdurch ist es möglich, geografische und/oder topografische Daten aus einer Datenbank mit einer zusätzlichen Information, beispielsweise der Bezeichnung eines Objektes, der Adresse eines Gebäudes oder dem Namen eines Berges, dem Betrachter des Videobildes anzubieten. Anhand der aktuellen Position und der Kenntnis der Anordnung und Ausrichtung der Videokamera können die Objektdaten der Da-
- A -
tenbank zu Objekten ermittelt werden, die in dem entsprechenden Videobild dargestellt sind. Eine geeignete Verknüpfung der Objektdaten ermöglicht dann die Erzeugung der Anzeigedaten.
Der Kern der Erfindung ist es, nicht wie bisher die grafische Darstellung eines virtuellen Bildes in Bezug auf die Auflösung und realistische Ansicht zu verbessern und in dem virtuellen Bild zusätzliche Information einzufügen, sondern in einem reellen Videobild die zusätzliche, grafisch erzeugte Information zu integrieren. Erfindungsgemäß ist das angezeigte Videobild somit eine Kombination von reellen Bildern mit gra- fischen Bildbestandteilen.
Bevorzugt wird das Verfahren in Echtzeit durchgeführt. Hierdurch kann der Betrachter auf der Videobildanzeige zusätzliche Informationen zu den Objekten erhalten, die er gerade aus dem Verkehrsmittel heraus sieht.
Um aus der relativ großen Datenmenge der Datenbank eine Einschränkung der zu verarbeitenden Daten zu ermöglichen, ist erfindungsgemäß vorgesehen, dass in Abhängigkeit der bestimmten Positionsdaten die Objektdaten zu Objekten ermittelt werden, die sich in einem Erfassungsraum der Videokamera befinden, d.h. in dem Raum vor der Videokamera, der von dieser beobachtbar ist. Der Erfassungsraum kann auch mit „View Frustum" bezeichnet werden.
Vorteilhafterweise wird eine grafische Analyse der Bilddaten durchgeführt, um abgebildete Objekte zu erkennen. Durch grafische Analyseverfahren, beispielsweise der Kantenanalyse, können in dem Videobild vorhandene Objekte identifiziert werden.
Bevorzugt werden die ermittelten Objekte und die erkannten Objekte miteinander verglichen und in Abhängigkeit des Vergleichsergebnisses werden die ermittelten Objekte und die erkannten Objekte einander zugeordnet.
Da jeweils mehrere Objekte für eine Zuordnung in Frage kommen können, ist bevorzugt vorgesehen, dass das Vergleichen anhand von Positionsdaten der ermittelten und der erkannten Objekte durchgeführt wird.
Um die eindeutige Zuordnung weiter zu verbessern, ist in vorteilhafter Weise vorgesehen, dass bei dem Vergleichen die Form, Größe und/oder Farbe der ermittelten und der erkannten Objekte berücksichtigt werden. Als weiterer Anhaltspunkt kann zusätzlich die mögliche Verdeckung durch andere Objekte berücksichtigt werden.
In vorteilhafter Weise ist vorgesehen, dass aufgrund der Zuordnung der ermittelten und der erkannten Objekte die aktuellen bestimmten Positionsdaten des Verkehrsmittels korrigiert werden, da durch den Vergleich der geografischen Daten aus der Datenbank mit den Positionsdaten der Sensoren eine höhere Genauigkeit erreicht werden kann. Dies ermöglicht eine Nachberechung der Positionsdaten, insbesonde- re wenn diese ursprünglich durch ein satellitengestütztes Ortungssystem, beispielsweise GPS und/oder Galileo, bestimmt wurden, denen meist ein gewisse Ungenau- igkeit innewohnt.
In vorteilhafter Weise werden also zusätzliche Informationen Straßen, Gewässer, Ortschaften, Gebäude und/oder "Point-of-Interests" mit den entsprechenden Namen bzw. Bezeichnung in der Videobildanzeige beschriftet.
Nachfolgend wird die Erfindung anhand der detaillierten Beschreibung einer Ausführungsform unter Bezug auf die beigefügte Zeichnung beispielhaft näher erläutert, die eine vereinfachte Skizze des erfindungsgemäßen Videosystems zeigt.
Das erfindungsgemäße Videosystem 1 weist zumindest eine Videokamera 2 auf, die in einem Verkehrsmittel (nicht dargestellt) angeordnet ist und ein Bild außerhalb des Verkehrsmittels erfasst. Die Kamera 2 ist entweder fest installiert, d.h. unbeweglich installiert, damit der von der Kamera erfasste Raum bzw. das View Frustum in Bezug auf die Verkehrsmittelausrichtung unveränderbar festgelegt ist. Alternativ können zusätzliche Sensoren (nicht dargestellt) an der Videokamera 2 vorgesehen sein, die
die Blickrichtung der Videokamera 2 in Bezug auf die Ausrichtung des Verkehrsmittels erfassen.
Die aktuellen Positionsdaten mit Angaben zu dem Ort und zu der Ausrichtung des Verkehrsmittels werden anhand von Positionsbestimmungssensoren 3 ermittelt. Dies können Sensoren für ein Satelliten gestütztes Ortungssystem, beispielsweise GPS (Global Positioning System) und/oder das europäische Galileo-System, sein. Weiterhin können Geschwindigkeitssensoren, Streckensensoren und/oder Kurvensensoren vorgesehen sein, mit denen die aktuelle geografische Position und die Ausrichtung des Verkehrsmittels bestimmt werden.
Ferner weist das erfindungsgemäße Videosystem 1 einen Speicher 4 auf, in dem eine Datenbank mit Objektdaten hinterlegt ist, die geografische und totografische sowie jede weitere geeignete Information aufweisen. Die mit der Videokamera 2 er- fassten Bilddaten, die von den Positionssensoren 3 bestimmten Positionsdaten sowie die aus dem Speicher 4 abrufbaren Objektdaten werden einer Datenverarbeitungseinheit 5, beispielsweise einem geeigneten Mikroprozessor, zur Verfügung gestellt. Die Datenübertragung von der Videokamera 2, den Positionssensoren 3 und dem Speicher 4 zu der Datenverarbeitungseinheit 5 wird in der Figur durch entspre- chende Pfeile angedeutet.
Die eigentliche Datenverarbeitung wird innerhalb der Datenverarbeitungseinheit 5 durch mehrere Module durchgeführt. So wird zunächst anhand der von den Positionssensoren 3 empfangenen Positionsdaten in dem Modul 6 die aktuelle Position und Ausrichtung des Verkehrsmittels berechnet.
In dem Modul 7 wird das Videobild der Videokamera 2 ausgewertet. Dies kann durch grafische Analyseverfahren, beispielsweise der Kantenanalyse, erfolgen und es werden im Videobild vorhandene Objekte identifiziert. Mit Hilfe der vorher berechneten Verkehrsmittelposition und -aushchtung sowie der Kenntnis über die Ausrichtung und
Anordnung der Videokamera 2 wird eine Position der identifizierten Objekte bestimmt. Da bei Videobildern jedoch die Tiefen Information fehlt, kann die Positionsbe-
stimmung nur mit einer bestimmten Genauigkeit durchgeführt werden. Die Richtungsangabe eines erkannten Objektes zu dem Verkehrsmittel ist jedoch hinreichend genau feststellbar. In diesem ersten Schritt der Bildauswertung ist allerdings zunächst nur eine grobe Annäherung an die Objektposition erforderlich.
Anschließend werden in dem Modul 8 die in dem Videobild erkannten Objekte mit Objekten verglichen, zu denen die entsprechenden Objektdaten in der Datenbasis hinterlegt sind. Der erste Ansatzpunkt für den durchzuführenden Vergleich ist die im Modul 7 bestimmte Objektposition bzw. die Angabe, in welcher Richtung sich das Objekt zu dem Verkehrsmittel befindet. In der Datenbank werden die Objekte gesucht und ermittelt, die sich in der näheren Umgebung der bestimmten Positionsdaten befinden, und somit als Kandidaten für eine Zuordnung in Frage kommen.
Häufig wird es mehrere Objekte geben, die für ein Matching der erkannten und ermit- telten Objekte in Frage kommen. In solchen Fällen können die Farbe, die Form und/die Größe der Objekte, aber auch eine mögliche Verdeckung durch andere Objekte als zusätzliche Anhaltspunkte berücksichtigt werden.
Können Objekte aus dem Videobild nicht zugeordnet werden, werden sie verworfen. Objekte, die in der geografischen Datenbank vorhanden sind und im Videobild hätten erscheinen müssen, jedoch nicht identifiziert werden konnten, können unter Umständen nachgetragen und integriert werden.
Anhand des in dem Modul 8 vorgenommenen Vergleichs der im Videobild erkannten Objekte und der ermittelten Objekte aus der Datenbasis kann ferner eine Korrektur der mittels der Sensordaten berechneten Positionsbestimmung durchgeführt werden. Aus der Analyse der Bilddaten in dem Modul 7 kann die Richtung bestimmt werden, in denen erkannte Objekte vor dem Verkehrsmittel sich befinden. Aus der Richtungsangabe und der genauen Position der Objekte, die aus dem Speicher 4 der dort hin- terlegten Datenbasis herauslesbar sind, kann auf die aktuelle Position des Verkehrsmittels zurück geschlossen werden.
Im nächsten Schritt, der in dem Modul 9 stattfindet, werden die Anzeigedaten berechnet, d.h. die Zusatzinformationen aus der Datenbasis werden in das von der Videokamera 2 bereitgestellte Videobild eingefügt. Dabei spielt die im vorherigen Schritt in dem Modul 8 erfolgte Zuordnung von Objekten im Videobild zu Objekten in der Datenbasis eine entscheidende Rolle. Diese Objekte, beispielsweise Straßen, Gewässer, Ortschaften, Gebäude und/oder Point-of-Interests, können mit ihrem Namen bzw. Bezeichnungen beschriftet werden. Auch ist es möglich, weitere zusätzliche Informationen anzuzeigen.
Auch im Videobild nicht erkannte Objekte können beschriftet werden, da ihre relative Position zu identifizierten Objekten aus der geografischen Datenbank hervorgeht. Dies kann beispielsweise bei einer teilweisen Verdeckung der Objekte durch Wolken und/oder Nebel sinnvoll sein. Weiterhin können an zugeordneten Straßen Richtungsweiser in dem Videobild eingetragen werden. Schließlich ist es ferner möglich, nicht erkannte oder erkennbare Kanten von Objekten nachzuzeichnen.
Die derart aufbereiteten Anzeigedaten werden nun auf einem Bildschirm bzw. Monitor 10 ausgegeben und angezeigt. In einem Verkehrsflugzeug weist das Multimediasystem im Allgemeinen eine Vielzahl derartiger Monitore 10 auf. Bei Anwendungen mit nur einem Monitor 10 kann dies beispielsweise ein TFT-Bildschirm sein. Falls
Eingabegeräte vorhanden sind, beispielsweise ein touch screen, ist auch eine interaktive Ausgabe möglich. Der Anwender kann so durch Auswahl eines angezeigten Objektes zusätzliche Informationen hierzu abrufen und sich auf dem Monitor anzeigen lassen.
Durch die in der Figur zur Andeutung der Datenströme zwischen den einzelnen Komponenten des Videosystem 1 bzw. den einzelnen Modulen 6 bis 9 Pfeile ist klar ersichtlich, dass die Module 6 bis 9 nicht nur einmalig und streng nacheinander angewendet werden. Vielmehr kommt es zwischen ihnen zu einer Interaktivität, insbeson- dere zwischen dem Modul 7 und dem Modul 8, da neu hinzugewonnene Kenntnis von Objekten in einem Modul in dem jeweils anderen Modul erneut weiterhilft, so
dass nach einem mehrfachen und iterativen Durchlaufen der Module die Zuordnung quantitativ und qualitativ verbessert werden kann.