DE102007022588A1 - Method for displaying video images and video systems - Google Patents

Method for displaying video images and video systems Download PDF

Info

Publication number
DE102007022588A1
DE102007022588A1 DE200710022588 DE102007022588A DE102007022588A1 DE 102007022588 A1 DE102007022588 A1 DE 102007022588A1 DE 200710022588 DE200710022588 DE 200710022588 DE 102007022588 A DE102007022588 A DE 102007022588A DE 102007022588 A1 DE102007022588 A1 DE 102007022588A1
Authority
DE
Germany
Prior art keywords
data
objects
video
transport
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE200710022588
Other languages
German (de)
Inventor
Reinhard Meschenmoser
Dirk Luedtke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE200710022588 priority Critical patent/DE102007022588A1/en
Priority to EP08718162A priority patent/EP2145157A1/en
Priority to PCT/EP2008/053471 priority patent/WO2008138670A1/en
Publication of DE102007022588A1 publication Critical patent/DE102007022588A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera

Abstract

Es wird ein Verfahren zur Anzeige von Videobildern in einem Verkehrsmittel offenbart, das Folgendes aufweist: Erfassen von Bilddaten durch eine in dem Verkehrsmittel angeordnete Videokamera (2), Bestimmen von aktuellen Positionsdaten des Verkehrsmittels, Ermitteln von Objektdaten aus einer Datenbank und Verknüpfen der erfassten Bilddaten, der bestimmten Positionsdaten und der ermittelten Objektdaten, derart, dass Anzeigedaten erzeugt werden, in denen in der Videobildanzeige zusätzliche Informationen aus der Datenbank eingefügt werden. Es wird ferner ein Videosystem (1) zur Durchführung des Verfahrens offenbart.A method for displaying video images in a means of transport is disclosed, comprising the acquisition of image data by a video camera (2) arranged in the means of transport, determination of current position data of the means of transport, determination of object data from a database and linking of the acquired image data, the determined position data and the determined object data, such that display data is generated, in which additional information is inserted from the database in the video image display. Furthermore, a video system (1) for carrying out the method is disclosed.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Anzeige von Videobildern in einem Verkehrsmittel sowie ein Videosystem zur Durchführung des Verfahrens.The The present invention relates to a method of displaying video images in a means of transport as well as a video system for carrying out the procedure.

Die Visualisierung geografischer und/oder topografischer Informationen auf geeigneten Anzeigegeräten bzw. Monitoren in Verkehrsmitteln, beispielsweise in Kraftfahrzeugen, auf Booten und/oder in Flugzeugen, wird eine immer wichtigere Anwendung. So werden in Navigationssystemen für Kraftfahrzeuge neben der Abbildung eines Straßennetzes auch die aktuelle Position, die berechnete Route und/oder das Ziel auf einem Display angezeigt.The Visualization of geographic and / or topographical information on suitable display devices or monitors in means of transport, for example in motor vehicles, on boats and / or in aircraft, is becoming an increasingly important application. Thus, in navigation systems for motor vehicles in addition to the Illustration of a road network too the current position, the calculated route and / or the destination a display.

Bei bekannten Systemen ist die Darstellung in den letzten Jahren immer genauer und realistischer geworden, was durch die zunehmende Leistungsfähigkeit der in den Systemen eingesetzten Mikroprozessoren für die Grafikberechnungen ermöglicht wurde. So sind bereits Navigationssysteme für Kraftfahrzeuge bekannt, die dreidimensionale bzw. perspektivische Darstellungen von Innenstädten anbieten. Dies ermöglicht beispielsweise bereits schon ein virtuelles Abfahren einer berechneten Route während der Fahrtvorbereitung, um eventuellen Verwirrungen des Fahrers in schwierigen Fahrtsituationen vorzubeugen. Für eine zuverlässige Wiedererkennbarkeit der realen Ortsgegebenheiten sicher zu stellen, muss die grafische Darstellung für das virtuelle Abfahren einen möglichst realistischen Eindruck vermitteln.at known systems is the representation in recent years always become more accurate and realistic, reflecting the increasing performance the microprocessors used in the systems for the graphic calculations allows has been. Thus, navigation systems for motor vehicles are already known, the offer three-dimensional or perspective representations of inner cities. this makes possible For example, already a virtual departure of a calculated Route during Preparing to drive to avoid any confusion of the driver in to prevent difficult driving situations. For a reliable recognition To ensure the real local conditions, the graphic must Presentation for the virtual departure one possible give a realistic impression.

Als eine weitere Anwendung ist es bekannt, auf den Bildschirmen des Multimediasystems eines Verkehrsflugzeuges während des Fluges die aktuelle Flugzeugposition und weiteren Angaben zum Flug, beispielsweise der Flughöhe, der Geschwindig keit, die Temperatur und/oder vergangene bzw. zukünftige Flugzeit, darzustellen. Die Flugzeugposition wird dabei nicht nur durch eine Angabe von Ortskoordinaten, sondern häufig durch Anordnen eines Flugzeugsymbols auf einer darunter abgebildeten Karte des Fluggebietes visualisiert.When Another application is known on the screens of the Multimedia system of a commercial aircraft during the flight the current aircraft position and other information about the flight, such as the altitude, the Speed, temperature and / or past or future time of flight, display. The aircraft position is not only by a Specifying location coordinates, but often by arranging an aircraft symbol visualized on a map of the flying area shown below.

Bei der Visualisierung in den Multimediasystemen der Flugzeuge erwarten die Fluggäste Kartendarstellungen, deren Elemente beim Blick aus dem Fenster einfach und schnell wieder zu erkennen sind. Es werden somit auch hier immer genauere und realistischere Ansichten der Kartendarstellungen gefordert.at expect the visualization in the multimedia systems of the aircraft the flight passengers Map displays whose elements are easy to look out of the window and quickly recognizable. It will always be here, too more accurate and realistic views of the maps required.

Das Streben nach immer realistischer ausgestalteten Kartendarstellungen stößt jedoch an Grenzen. Einerseits wird die hierzu erforderliche Datenerfassung zunehmend kostenintensiver und andererseits wird die Auflösung der Kartendarstellung so hoch, dass kurzfristige Veränderungen in der realen Welt nicht mehr zeitnah abgebildet werden können. Dies betrifft beispielsweise Veränderungen der Bebauung durch Neubauten, oder auch veränderte Verläufe von Flüssen und Bächen. Auch jahreszeitliche Veränderungen in Form der Laubfärbung im Herbst und/oder Schnee im Winter müssen für realistische Kartendarstellungen berücksichtigt werden.The Striving for ever more realistic designed map displays but it comes up on borders. On the one hand, the required data acquisition increasingly costly and on the other hand, the resolution of the Map display so high that short-term changes in the real world can not be displayed in a timely manner. This applies, for example changes the development of new buildings, or altered course of rivers and streams. Also seasonal changes in the form of foliage in the fall and / or snow in the winter need realistic map maps considered become.

Mit den derzeitigen Erfassungsmethoden können allerdings solche Daten nicht innerhalb eines vernünftigen Zeit- und Kostenrahmens beschafft werden. Auch führt das benötigte relativ große Datenvolumen für die Aktualisierung der Navigationsdatenbank und das Erfordernis der relativ kurzfristigen bzw. häufig wiederholten Aktualisierung zu erheblichen Problemen und technischen Schwierigkeiten.With However, current data collection methods can use such data not within a reasonable Time and cost are procured. Also leads the required relatively large volume of data for the Updating the navigation database and the requirement of relatively short-term or frequent repeated updating to significant problems and technical Difficulties.

Für die Führung und Steuerung eines Verkehrsmittels ist es seit längeren bekannt, der steuernden Person neben ihrer persönlichen visuellen Wahrnehmung auch Daten von entsprechenden, am Verkehrsmittel verteilt angeordneter Sensoren, beispielsweise Radar bzw. Abstandsradar, zur Verfügung zu stellen. In den letzten Jahren wurden immer mehr Systeme entwickelt, bei denen die Fähigkeit des Verkehrsmittels, seine Umgebung wahrzunehmen und zu interpretieren, durch einen Einsatz von Videokameras erreicht wurde.For the leadership and Control of a means of transport has been known for a long time, the controlling Person next to her personal visual perception also data from appropriate, at the means of transport distributed sensors, such as radar or distance radar, to disposal to deliver. In recent years, more and more systems have been developed where the ability of the Means of perceiving and interpreting its environment, was achieved by using video cameras.

In Kraftfahrzeugen gibt es Videokameras, die beispielsweise die Funktion von Rückspiegeln übernehmen, um beim Rückwärtsfahren oder einem Einparkmanöver eine freie Sicht auf die hinter dem Fahrzeug befindliche Umgebung bereitzustellen. Ferner ist es bekannt, Videokameras auch in Fahrtrichtung einzusetzen, beispielsweise um die Nachtsicht zu verbessern oder für Spurhaltewarnsysteme. In Verkehrsflugzeugen sind oftmals Videokameras vorgesehen, die auf die unter dem Flugzeug sich befindende Landschaft gerichtet sind. Die Bildaufnahmen dieser Videokameras können dann über die Monitore des Multimediasystems in dem Verkehrsflugzeug gezeigt und wiedergegeben werden.In Motor vehicles have video cameras, for example, the function take over from rear-view mirrors, when reversing or a parking maneuver a clear view of the environment behind the vehicle provide. Furthermore, it is known to use video cameras in the direction of travel, for example, to improve night vision or lane departure warning systems. In commercial aircraft video cameras are often provided, the aimed at the landscape under the plane are. The images of these video cameras can then be viewed through the monitors of the multimedia system shown and reproduced in the airliner.

Vor diesem Hintergrund ist es die Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zur Visualisierung geografischer und/oder topografischer Informationen in Verkehrsmitteln anzugeben.In front In this context, it is the object of the present invention an improved method for visualizing geographic and / or indicate topographical information in means of transport.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen gemäß Anspruch 1 sowie durch ein Videosystem mit den Merkmalen gemäß Anspruch 10 gelöst.These The object is achieved by a method having the features according to claim 1 and by a video system with the features according to claim 10 solved.

Bei dem erfindungsgemäßen Verfahren zur Anzeige von Videobildern in einem Verkehrsmittel sind folgende Verfahrensschritte vorgesehen: Erfassen von Bilddaten durch eine in dem Verkehrsmittel angeordnete Videokamera, Bestimmen von aktuellen Positionsdaten des Verkehrsmittels, Ermitteln von Objektdaten aus einer Datenbank und Verknüpfen der erfassten Bilddaten, der bestimmten Positionsdaten und der ermittelten Objektdaten derart, dass Anzeigedaten erzeugt werden, in denen in der Videobildanzeige zusätzliche Informationen aus der Datenbank eingefügt werden.In the method according to the invention for displaying video images in a means of transport, the following method steps are provided: acquisition of image data by one in the means of transport arranged video camera, determining current position data of the means of transport, determining object data from a database and linking the captured image data, the particular position data and the determined object data such that display data is generated in which additional information from the database are inserted in the video display.

Hierdurch ist es möglich, geografische und/oder topografische Daten aus einer Datenbank mit einer zusätzlichen Information, beispielsweise der Bezeichnung eines Objektes, der Adresse eines Gebäudes oder dem Namen eines Berges, dem Betrachter des Videobildes anzubieten. Anhand der aktuellen Position und der Kenntnis der Anordnung und Ausrichtung der Videokamera können die Objektdaten der Da tenbank zu Objekten ermittelt werden, die in dem entsprechenden Videobild dargestellt sind. Eine geeignete Verknüpfung der Objektdaten ermöglicht dann die Erzeugung der Anzeigedaten.hereby Is it possible, geographic and / or topographic data from a database with an additional one Information, for example, the name of an object, the Address of a building or the name of a mountain to offer to the viewer of the video image. Based on the current position and the knowledge of the arrangement and orientation the video camera can the object data of the database are determined for objects that are stored in the corresponding video image are shown. An appropriate link of Object data allows then the generation of the display data.

Der Kern der Erfindung ist es, nicht wie bisher die grafische Darstellung eines virtuellen Bildes in Bezug auf die Auflösung und realistische Ansicht zu verbessern und in dem virtuellen Bild zusätzliche Information einzufügen, sondern in einem reellen Videobild die zusätzliche, grafisch erzeugte Information zu integrieren. Erfindungsgemäß ist das angezeigte Videobild somit eine Kombination von reellen Bildern mit grafischen Bildbestandteilen.Of the The core of the invention is not, as before, the graphical representation a virtual image in terms of resolution and realistic view to improve and insert additional information in the virtual image, but in a real video image the additional, graphically generated Integrate information. According to the invention, the displayed video image thus a combination of real images with graphic image components.

Bevorzugt wird das Verfahren in Echtzeit durchgeführt. Hierdurch kann der Betrachter auf der Videobildanzeige zusätzliche Informationen zu den Objekten erhalten, die er gerade aus dem Verkehrsmittel heraus sieht.Prefers the process is performed in real time. This allows the viewer additional on the video display Get information about the objects he just got from the transport looks out.

Um aus der relativ großen Datenmenge der Datenbank eine Einschränkung der zu verarbeitenden Daten zu ermöglichen, ist erfindungsgemäß vorgesehen, dass in Abhängigkeit der bestimmten Positionsdaten die Objektdaten zu Objekten ermittelt werden, die sich in einem Erfassungsraum der Videokamera befinden, d. h. in dem Raum vor der Videokamera, der von dieser beobachtbar ist. Der Erfassungsraum kann auch mit „View Frustum" bezeichnet werden.Around from the relatively large Dataset of the database is a limitation of the process to be processed To allow data is provided according to the invention, that in dependence the determined position data determines the object data for objects which are located in a detection area of the video camera, d. H. in the room in front of the video camera, observable by this is. The detection space can also be called "View Frustum".

Vorteilhafterweise wird eine grafische Analyse der Bilddaten durchgeführt, um abgebildete Objekte zu erkennen. Durch grafische Analyseverfahren, beispielsweise der Kantenanalyse, können in dem Videobild vorhandene Objekte identifiziert werden.advantageously, a graphical analysis of the image data is performed to recognize displayed objects. Through graphic analysis, For example, the edge analysis, can be present in the video image Objects are identified.

Bevorzugt werden die ermittelten Objekte und die erkannten Objekte miteinander verglichen und in Abhängigkeit des Vergleichsergebnisses werden die ermittelten Objekte und die erkannten Objekte einander zugeordnet.Prefers become the determined objects and the recognized objects with each other compared and depending of the comparison result, the determined objects and the detected objects associated with each other.

Da jeweils mehrere Objekte für eine Zuordnung in Frage kommen können, ist bevorzugt vorgesehen, dass das Vergleichen anhand von Positionsdaten der ermittelten und der erkannten Objekte durchgeführt wird.There in each case several objects for an assignment can come into question is preferably provided that the comparison based on position data the detected and the detected objects is performed.

Um die eindeutige Zuordnung weiter zu verbessern, ist in vorteilhafter Weise vorgesehen, dass bei dem Vergleichen die Form, Größe und/oder Farbe der ermittelten und der erkannten Objekte berücksichtigt werden. Als weiterer Anhaltspunkt kann zusätzlich die mögliche Verdeckung durch andere Objekte berücksichtigt werden.Around to further improve the unambiguous association is more advantageous Provided that when comparing the shape, size and / or Color of detected and recognized objects considered become. Another clue may be the possible occlusion considered by other objects become.

In vorteilhafter Weise ist vorgesehen, dass aufgrund der Zuordnung der ermittelten und der erkannten Objekte die aktuellen bestimmten Positionsdaten des Verkehrsmittels korrigiert werden, da durch den Vergleich der geografischen Daten aus der Datenbank mit den Positionsdaten der Sensoren eine höhere Genauigkeit erreicht werden kann. Dies ermöglicht eine Nachberechung der Positionsdaten, insbesondere wenn diese ursprünglich durch ein satellitengestütztes Ortungssystem, beispielsweise GPS und/oder Galileo, bestimmt wurden, denen meist ein gewisse Ungenauigkeit innewohnt.In Advantageously, it is provided that due to the assignment the detected and recognized objects determine the current ones Position data of the means of transport are corrected, since by the Comparison of the geographical data from the database with the position data the sensors a higher Accuracy can be achieved. This allows a recalculation of the Positional data, in particular if originally provided by a satellite positioning system, For example, GPS and / or Galileo, were determined, which usually there is a certain inaccuracy.

In vorteilhafter Weise werden also zusätzliche Informationen Straßen, Gewässer, Ortschaften, Gebäude und/oder "Point-of-Interests" mit den entsprechenden Namen bzw. Bezeichnung in der Videobildanzeige beschriftet.In Advantageously, therefore, additional information roads, waters, localities, buildings and / or "point-of-interests" with the appropriate Name or label in the video display labeled.

Nachfolgend wird die Erfindung anhand der detaillierten Beschreibung einer Ausführungsform unter Bezug auf die beigefügte Zeichnung beispielhaft näher erläutert, die eine vereinfachte Skizze des erfindungsgemäßen Videosystems zeigt.following the invention with reference to the detailed description of an embodiment below With reference to the attached Drawing closer by way of example explains which shows a simplified sketch of the video system according to the invention.

Das erfindungsgemäße Videosystem 1 weist zumindest eine Videokamera 2 auf, die in einem Verkehrsmittel (nicht dargestellt) angeordnet ist und ein Bild außerhalb des Verkehrsmittels erfasst. Die Kamera 2 ist entweder fest installiert, d. h. unbeweglich installiert, damit der von der Kamera erfasste Raum bzw. das View Frustum in Bezug auf die Verkehrsmittelausrichtung unveränderbar festgelegt ist. Alternativ können zusätzliche Sensoren (nicht dargestellt) an der Videokamera 2 vorgesehen sein, die die Blickrichtung der Videokamera 2 in Bezug auf die Ausrichtung des Verkehrsmittels erfassen.The video system according to the invention 1 has at least one video camera 2 on, which is arranged in a means of transport (not shown) and detects an image outside the means of transport. The camera 2 is either permanently installed, ie installed immovably, so that the space captured by the camera or the view frustum is fixed immutable with respect to the traffic alignment. Alternatively, additional sensors (not shown) on the video camera 2 be provided, which is the viewing direction of the video camera 2 with regard to the orientation of the means of transport.

Die aktuellen Positionsdaten mit Angaben zu dem Ort und zu der Ausrichtung des Verkehrsmittels werden anhand von Positionsbestimmungssensoren 3 ermittelt. Dies können Sensoren für ein Satelliten gestütztes Ortungssystem, beispielsweise GPS (Global Positioning System) und/oder das europäische Galileo-System, sein. Weiterhin können Geschwindigkeitssensoren, Streckensensoren und/oder Kurvensensoren vorgesehen sein, mit denen die aktuelle geografische Position und die Ausrichtung des Verkehrsmittels bestimmt werden.The current position data with information about the location and the orientation of the means of transport are determined by means of position determination sensors 3 determined. These may be sensors for a satellite-based location system, such as GPS (Global Positioning System) and / or the European Galileo system, his. Furthermore, speed sensors, route sensors and / or curve sensors can be provided with which the current geographical position and the orientation of the means of transport are determined.

Ferner weist das erfindungsgemäße Videosystem 1 einen Speicher 4 auf, in dem eine Datenbank mit Objektdaten hinterlegt ist, die geografische und totografische sowie jede weitere geeignete Information aufweisen. Die mit der Videokamera 2 erfassten Bilddaten, die von den Positionssensoren 3 bestimmten Positionsdaten sowie die aus dem Speicher 4 abrufbaren Objektdaten werden einer Datenverarbeitungseinheit 5, beispielsweise einem geeigneten Mikroprozessor, zur Verfügung gestellt. Die Datenübertragung von der Videokamera 2, den Positionssensoren 3 und dem Speicher 4 zu der Datenverarbeitungseinheit 5 wird in der Figur durch entsprechende Pfeile angedeutet.Furthermore, the video system according to the invention 1 a memory 4 in which a database with object data is stored, which have geographical and totografic as well as any other suitable information. The with the video camera 2 captured image data collected by the position sensors 3 certain position data as well as those from memory 4 Callable object data become a data processing unit 5 , for example, a suitable microprocessor. The data transfer from the video camera 2 , the position sensors 3 and the memory 4 to the data processing unit 5 is indicated in the figure by corresponding arrows.

Die eigentliche Datenverarbeitung wird innerhalb der Datenverarbeitungseinheit 5 durch mehrere Module durchgeführt. So wird zunächst anhand der von den Positionssensoren 3 empfangenen Positionsdaten in dem Modul 6 die aktuelle Position und Ausrichtung des Verkehrsmittels berechnet.The actual data processing is within the data processing unit 5 performed by several modules. So first, it is based on the of the position sensors 3 received position data in the module 6 calculates the current position and orientation of the means of transport.

In dem Modul 7 wird das Videobild der Videokamera 2 ausgewertet. Dies kann durch grafische Analyseverfahren, beispielsweise der Kantenanalyse, erfolgen und es werden im Videobild vorhandene Objekte identifiziert. Mit Hilfe der vorher berechneten Verkehrsmittelposition und -ausrichtung sowie der Kenntnis über die Ausrichtung und Anordnung der Videokamera 2 wird eine Position der identifizierten Objekte bestimmt. Da bei Videobildern jedoch die Tiefeninformation fehlt, kann die Positionsbe stimmung nur mit einer bestimmten Genauigkeit durchgeführt werden. Die Richtungsangabe eines erkannten Objektes zu dem Verkehrsmittel ist jedoch hinreichend genau feststellbar. In diesem ersten Schritt der Bildauswertung ist allerdings zunächst nur eine grobe Annäherung an die Objektposition erforderlich.In the module 7 becomes the video image of the video camera 2 evaluated. This can be done by graphical analysis methods, such as edge analysis, and objects present in the video image are identified. With the help of the previously calculated transport position and orientation as well as the knowledge about the orientation and arrangement of the video camera 2 a position of the identified objects is determined. However, since video images lack the depth information, the positional determination can be made only with a certain accuracy. However, the direction indication of a recognized object to the means of transport can be determined with sufficient accuracy. In this first step of the image analysis, however, initially only a rough approximation to the object position is required.

Anschließend werden in dem Modul 8 die in dem Videobild erkannten Objekte mit Objekten verglichen, zu denen die entsprechenden Objektdaten in der Datenbasis hinterlegt sind. Der erste Ansatzpunkt für den durchzuführenden Vergleich ist die im Modul 7 bestimmte Objektposition bzw. die Angabe, in welcher Richtung sich das Objekt zu dem Verkehrsmittel befindet. In der Datenbank werden die Objekte gesucht und ermittelt, die sich in der näheren Umgebung der bestimmten Positionsdaten befinden, und somit als Kandidaten für eine Zuordnung in Frage kommen.Subsequently, in the module 8th the objects detected in the video image compared with objects to which the corresponding object data are stored in the database. The first starting point for the comparison to be made is that in the module 7 certain object position or the indication in which direction the object is to the means of transport. In the database, the objects are searched for and determined, which are in the vicinity of the specific position data, and thus come as candidates for an assignment in question.

Häufig wird es mehrere Objekte geben, die für ein Matching der erkannten und ermittelten Objekte in Frage kommen. In solchen Fällen können die Farbe, die Form und/die Größe der Objekte, aber auch eine mögliche Verdeckung durch andere Objekte als zusätzliche Anhaltspunkte berücksichtigt werden.Frequently becomes there are several objects for a matching of the detected and determined objects come into question. In such cases can the color, shape and / or size of the objects, but also a possible one Covering by other objects considered as additional clues become.

Können Objekte aus dem Videobild nicht zugeordnet werden, werden sie verworfen. Objekte, die in der geografischen Datenbank vorhanden sind und im Videobild hätten erscheinen müssen, jedoch nicht identifiziert werden konnten, können unter Umständen nachgetragen und integriert werden.Can objects are not assigned from the video image, they are discarded. Objects that exist in the geographic database and in the Video image would have have to appear However, could not be identified, may be added and integrated.

Anhand des in dem Modul 8 vorgenommenen Vergleichs der im Videobild erkannten Objekte und der ermittelten Objekte aus der Datenbasis kann ferner eine Korrektur der mittels der Sensordaten berechneten Positionsbestimmung durchgeführt werden. Aus der Analyse der Bilddaten in dem Modul 7 kann die Richtung bestimmt werden, in denen erkannte Objekte vor dem Verkehrsmittel sich befinden. Aus der Richtungsangabe und der genauen Position der Objekte, die aus dem Speicher 4 der dort hinterlegten Datenbasis herauslesbar sind, kann auf die aktuelle Position des Verkehrsmittels zurück geschlossen werden.Based on the in the module 8th If the comparison of the objects detected in the video image and the determined objects from the database is carried out, a correction of the position determination calculated by means of the sensor data can furthermore be carried out. From the analysis of the image data in the module 7 the direction in which detected objects are in front of the means of transport can be determined. From the direction indication and the exact position of the objects coming from the memory 4 the stored there database can be read back to the current position of the transport back.

Im nächsten Schritt, der in dem Modul 9 stattfindet, werden die Anzeigedaten berechnet, d. h. die Zusatzinformationen aus der Datenbasis werden in das von der Videokamera 2 bereitgestellte Videobild eingefügt. Dabei spielt die im vorherigen Schritt in dem Modul 8 erfolgte Zuordnung von Objekten im Videobild zu Objekten in der Datenbasis eine entscheidende Rolle. Diese Objekte, beispielsweise Straßen, Gewässer, Ortschaften, Gebäude und/oder Point-of-Interests, können mit ihrem Namen bzw. Bezeichnungen beschriftet werden. Auch ist es möglich, weitere zusätzliche Informationen anzuzeigen.In the next step, in the module 9 takes place, the display data is calculated, ie the additional information from the database are in the video camera 2 inserted video image inserted. It plays in the previous step in the module 8th The assignment of objects in the video image to objects in the database plays a decisive role. These objects, such as roads, waters, localities, buildings, and / or point-of-interests, may be labeled with their names or designations. It is also possible to display additional information.

Auch im Videobild nicht erkannte Objekte können beschriftet werden, da ihre relative Position zu identifizierten Objekten aus der geografischen Datenbank hervorgeht. Dies kann beispielsweise bei einer teilweisen Verdeckung der Objekte durch Wolken und/oder Nebel sinnvoll sein. Weiterhin können an zugeordneten Straßen Richtungsweiser in dem Videobild eingetragen werden. Schließlich ist es ferner möglich, nicht erkannte oder erkennbare Kanten von Objekten nachzuzeichnen.Also in the video image unrecognized objects can be labeled because their relative position to identified objects from the geographical Database. This can for example be a partial Covering the objects through clouds and / or fog may be useful. Furthermore you can on assigned roads Directional be entered in the video image. Finally is it is also possible tracing unrecognized or recognizable edges of objects.

Die derart aufbereiteten Anzeigedaten werden nun auf einem Bildschirm bzw. Monitor 10 ausgegeben und angezeigt. In einem Verkehrsflugzeug weist das Multimediasystem im Allgemeinen eine Vielzahl derartiger Monitore 10 auf. Bei Anwendungen mit nur einem Monitor 10 kann dies beispielsweise ein TFT-Bildschirm sein. Falls Eingabegeräte vorhanden sind, beispielsweise ein touch screen, ist auch eine interaktive Ausgabe möglich. Der Anwender kann so durch Auswahl eines angezeigten Objektes zusätzliche Informationen hierzu abrufen und sich auf dem Monitor anzeigen lassen.The thus prepared display data are now displayed on a screen or monitor 10 output and displayed. In a commercial aircraft, the multimedia system generally has a plurality of such monitors 10 on. For single-monitor applications 10 For example, this can be a TFT screen. If input devices are present, for example a touch screen, an interactive output is also possible. The user The user can then retrieve additional information by selecting a displayed object and display it on the monitor.

Durch die in der Figur zur Andeutung der Datenströme zwischen den einzelnen Komponenten des Videosystem 1 bzw. den einzelnen Modulen 6 bis 9 Pfeile ist klar ersichtlich, dass die Module 6 bis 9 nicht nur einmalig und streng nacheinander angewendet werden. Vielmehr kommt es zwischen ihnen zu einer Interaktivität, insbesondere zwischen dem Modul 7 und dem Modul 8, da neu hinzugewonnene Kenntnis von Objekten in einem Modul in dem jeweils anderen Modul erneut weiterhilft, so dass nach einem mehrfachen und iterativen Durchlaufen der Module die Zuordnung quantitativ und qualitativ verbessert werden kann.By in the figure to suggest the data streams between the individual components of the video system 1 or the individual modules 6 to 9 Arrows clearly show that the modules 6 to 9 not just once and strictly one after another. Rather, there is an interactivity between them, especially between the module 7 and the module 8th since newly acquired knowledge of objects in one module again helps in the other module, so that after a multiple and iterative passage through the modules, the assignment can be improved quantitatively and qualitatively.

Claims (10)

Verfahren zur Anzeige von Videobildern in einem Verkehrsmittel mit: – Erfassen von Bilddaten durch eine in dem Verkehrsmittel angeordnete Videokamera (2), – Bestimmen von aktuellen Positionsdaten des Verkehrsmittels, – Ermitteln von Objektdaten aus einer Datenbank, und – Verknüpfen der erfassten Bilddaten, der bestimmten Positionsdaten und der ermittelten Objektdaten derart, dass Anzeigedaten erzeugt werden, in denen in der Videobildanzeige zusätzliche Informationen aus der Datenbank eingefügt werden.Method for displaying video images in a vehicle, comprising: - capturing image data by a video camera arranged in the vehicle ( 2 ), - determining current position data of the means of transport, - determining object data from a database, and - linking the acquired image data, the determined position data and the determined object data such that display data is generated in which additional information is inserted from the database in the video image display become. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren in Echtzeit durchgeführt wird.Method according to claim 1, characterized in that that the process is carried out in real time. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in Abhängigkeit der bestimmten Positionsdaten die Objektdaten zu Objekten ermittelt werden, die sich in einem Erfassungsraum der Videokamera befinden.Method according to claim 1 or 2, characterized that in dependence the determined position data determines the object data for objects which are located in a detection space of the video camera. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass eine grafische Analyse der Bilddaten durchgeführt wird, um abgebildete Objekte zu erkennen.Method according to one of the preceding claims, characterized characterized in that a graphical analysis of the image data is performed, to recognize imaged objects. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die ermittelten Objekte und die erkannten Objekte miteinander verglichen werden und in Abhängigkeit des Ergebnisses die ermittelten Objekte und die erkannten Objekte einander zugeordnet werden.Method according to claim 4, characterized in that that the detected objects and the detected objects with each other be compared and depending the result, the detected objects and the detected objects be assigned to each other. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das Vergleichen anhand von Positionsdaten der ermittelten und der erkannten Objekte durchgeführt wird.Method according to claim 5, characterized in that that the comparison based on position data of the determined and the detected objects performed becomes. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass bei dem Vergleichen die Form, Größe und/oder Farbe der ermittelten und der erkannten Objekte berücksichtigt werden.Method according to claim 5 or 6, characterized that in comparing the shape, size and / or color of the determined and recognized objects become. Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass aufgrund der Zuordnung der ermittelten und der erkannten Objekte die aktuellen bestimmten Positionsdaten des Verkehrsmittels korrigiert werden.Method according to one of claims 5 to 7, characterized that due to the assignment of the detected and the detected objects corrects the current specific position data of the means of transport become. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass als zusätzliche Informationen Straßen, Gewässer, Ortschaften, Gebäude und/oder Point-of-Interests mit dem entsprechenden Namen bzw. Bezeichnung beschriftet werden.Method according to one of the preceding claims, characterized characterized as an additional Information roads, waters Localities, buildings and / or point-of-interests with the appropriate name or name be labeled. Videosystem für ein Verkehrsmittel mit: – mindestens einer Videokamera (2) zur Erfassung von Bilddaten, – mindestens einem Positionssensor (3) zur Bestimmung von aktuellen Positionsdaten des Verkehrsmittels, – einem Speicher (4), in dem eine Datenbank mit Objektdaten hinterlegt ist, – einer Datenverarbeitungseinheit (5), die eingerichtet ist, die erfassten Bilddaten, die aktuellen Positionsdaten und die ermittelten Objektdaten zu verknüpfen, um Anzeigedaten zu erzeugen, in denen in einer Videobildanzeige zusätzliche Informationen aus der Datenbank eingefügt sind, und – mindestens einem Monitor (10) zur Ausgabe der Anzeigedaten.Video system for a means of transport comprising: - at least one video camera ( 2 ) for capturing image data, - at least one position sensor ( 3 ) for determining current position data of the means of transport, - a memory ( 4 ), in which a database with object data is stored, - a data processing unit ( 5 ) arranged to combine the acquired image data, the current position data and the determined object data to generate display data in which additional information from the database is inserted in a video image display, and - at least one monitor ( 10 ) for the output of the display data.
DE200710022588 2007-05-14 2007-05-14 Method for displaying video images and video systems Withdrawn DE102007022588A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE200710022588 DE102007022588A1 (en) 2007-05-14 2007-05-14 Method for displaying video images and video systems
EP08718162A EP2145157A1 (en) 2007-05-14 2008-03-25 Method for displaying video images and video system
PCT/EP2008/053471 WO2008138670A1 (en) 2007-05-14 2008-03-25 Method for displaying video images and video system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200710022588 DE102007022588A1 (en) 2007-05-14 2007-05-14 Method for displaying video images and video systems

Publications (1)

Publication Number Publication Date
DE102007022588A1 true DE102007022588A1 (en) 2008-11-27

Family

ID=39434145

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200710022588 Withdrawn DE102007022588A1 (en) 2007-05-14 2007-05-14 Method for displaying video images and video systems

Country Status (3)

Country Link
EP (1) EP2145157A1 (en)
DE (1) DE102007022588A1 (en)
WO (1) WO2008138670A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011084596A1 (en) 2011-10-17 2013-04-18 Robert Bosch Gmbh Method for assisting a driver in a foreign environment
DE102015226178A1 (en) 2015-12-21 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Method and mobile device for displaying a geographic area representation

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9329052B2 (en) 2007-08-07 2016-05-03 Qualcomm Incorporated Displaying image data and geographic element data
US8994851B2 (en) 2007-08-07 2015-03-31 Qualcomm Incorporated Displaying image data and geographic element data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
US6208353B1 (en) * 1997-09-05 2001-03-27 ECOLE POLYTECHNIQUE FEDéRALE DE LAUSANNE Automated cartographic annotation of digital images
WO2005038402A1 (en) * 2003-10-21 2005-04-28 Waro Iwane Navigation device
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
WO2005124594A1 (en) * 2004-06-16 2005-12-29 Koninklijke Philips Electronics, N.V. Automatic, real-time, superimposed labeling of points and objects of interest within a view

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011084596A1 (en) 2011-10-17 2013-04-18 Robert Bosch Gmbh Method for assisting a driver in a foreign environment
WO2013056954A1 (en) 2011-10-17 2013-04-25 Robert Bosch Gmbh Method for assisting a driver in a foreign environment
DE102015226178A1 (en) 2015-12-21 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Method and mobile device for displaying a geographic area representation

Also Published As

Publication number Publication date
EP2145157A1 (en) 2010-01-20
WO2008138670A1 (en) 2008-11-20

Similar Documents

Publication Publication Date Title
EP2769373B1 (en) Acquisition of data from image data-based map services by an assistance system
DE102016117659B4 (en) DRIVING SUPPORT DEVICE
DE112008003424B4 (en) Navigation device using video images from a camera
DE102012205316B4 (en) Navigation system and display method thereof
DE10138719A1 (en) Method and device for displaying driving instructions, especially in car navigation systems
DE102010042063A1 (en) Method for determining conditioned image data about environment of motor car, involves conditioning position-related image with symbol to determine conditioned image data, where symbol is assigned to classified object in image
DE69815940T2 (en) Method and arrangement for displaying information in the form of a map for vehicle navigation devices
EP1519152A1 (en) Device and method for displaying driving instructions
DE60121944T2 (en) METHOD AND DEVICE FOR DISPLAYING NAVIGATION INFORMATION IN REAL-TIME OPERATION
WO2019007605A1 (en) Method for verifying a digital map in a more highly automated vehicle, corresponding device and computer program
DE112016005798T5 (en) VEHICLE INTERNAL SYSTEM AND METHOD FOR PROVIDING INFORMATION RELATING TO POINTS OF INTEREST
WO2021110412A1 (en) Display method for displaying a surroundings model of a vehicle, computer program, controller, and vehicle
EP2813999B1 (en) Augmented reality system and method of generating and displaying augmented reality object representations for a vehicle
DE102007022588A1 (en) Method for displaying video images and video systems
EP3127042A1 (en) Informational display for moving objects visible through a window
EP1832848B1 (en) Method and system for displaying a section of a digital map
EP3410158A1 (en) Method, devices and computer-readable storage media comprising instructions for determining the position of data captured by a motor vehicle
DE102017215868A1 (en) Method and device for creating a map
DE102011084596A1 (en) Method for assisting a driver in a foreign environment
DE602004009975T2 (en) Driver assistance system for motor vehicles
DE102018121274B4 (en) Process for visualizing a driving intention, computer program product and visualization system
DE102010042314A1 (en) Method for localization with a navigation system and navigation system thereto
DE102016009332A1 (en) Parking assistance system for selecting a parking space and for augmenting the selected parking space
WO2008058928A1 (en) Method for locating an object
DE102020102278A1 (en) Method for navigation assistance in a motor vehicle on the basis of information from several detecting motor vehicles

Legal Events

Date Code Title Description
R005 Application deemed withdrawn due to failure to request examination

Effective date: 20140515