DE19741082A1

DE19741082A1 - Accurate aircraft docking method

Info

Publication number: DE19741082A1
Application number: DE1997141082
Authority: DE
Inventors: Rolf Dr Ing Zimmermann; Reinhold Dipl Ing Mohrdieck; Volker Dr Ing Gengenbach
Original assignee: Daimler Benz Aerospace AG
Current assignee: Airbus Defence and Space GmbH
Priority date: 1997-09-18
Filing date: 1997-09-18
Publication date: 1999-03-25
Also published as: WO1999014723A1; AU1024099A

Abstract

The docking method uses a video camera for detecting the actual position of the aircraft, with comparison of calculated actual position coordinates obtained from the video camera image and position coordinates corresponding to the correct docking position obtained via a 3-dimensional model of the aircraft, for operation of a visual display indicating the actual position of the aircraft from the docking point.

Description

Die Erfindung betrifft ein Verfahren zum positionsgenauen Abstellen von Flugzeugen, insbesondere zum Andocken eines Flugzeuges an einer Fahrgastbrücke eines Flughafens unter Verwendung eines auf dem Vorfeld des Flughafens installier ten optischen Sensorsystems zur Erfassung der aktuellen Po sition des Flugzeuges auf dem Vorfeld, Mitteln zum Speichern vorgebbarer Referenzwerte, Mitteln zum Vergleich der ermit telten Istwerte mit gespeicherten Referenzwerten und Auswer temitteln, vorzugsweise einer Anzeigeeinrichtung zur Sicht barmachung des aktuellen Abstandes vom Flugzeug zur Halte position.The invention relates to a method for positionally accurate Parking aircraft, especially for docking a Airplane at a passenger bridge of an airport below Use of an installed on the apron of the airport th optical sensor system for recording the current Po sition of the aircraft on the apron, means of storage Predeterminable reference values, means for comparing the determined actual values with stored reference values and evaluators means, preferably a display device for viewing Confirming the current distance from the aircraft to the stop position.

Ein derartiges Verfahren und eine Vorrichtung zur Durchfüh rung dieses Verfahrens ist in der DE 40 09 668 A1 beschrie ben. Bei der vorbekannten Vorrichtung kann als Detektor zum Erfassen eines Signalfeldes eine Vielzahl von Detektorele menten, die linear oder matrixförmig angeordnet sein können, oder eine Videokamera verwendet werden. Auch ist die Verwen dung einer zweiten Videokamera möglich, die beim Zurollen des Flugzeuges auf die Soll-Position das Leitwerk des Flug zeuges erfaßt, um das so erhaltene Videosignal ebenfalls ei ner Auswerteeinrichtung zuzuleiten. Dadurch ist es möglich in einer zweiten Verarbeitungseinheit die Fluggesellschaft zu ermitteln und diese Information zusammen mit der Andock zeit z. B. zur Berechnung von Standgebühren zu nutzen.Such a method and a device for implementation tion of this method is described in DE 40 09 668 A1 ben. In the known device can be used as a detector for Detection of a signal field a large number of detector elements elements that can be arranged in a linear or matrix form, or a video camera can be used. The use is also a second video camera possible when rolling of the aircraft to the target position the tail of the flight witnessed to the video signal thus obtained also egg ner evaluation device. This makes it possible the airline in a second processing unit to determine and this information along with the docking time z. B. to calculate stand fees.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art zur Realisierung eines automatischen grauwertbildbasierten Andock- bzw. Rollführungsvorganges für rollende Flugzeuge zu schaffen.The invention has for its object a method of type mentioned to realize an automatic docking or roll guidance process based on the gray value image for rolling planes.

Die Aufgabe wird erfindungsgemäß dadurch gelöst, daß als pas siver Flächensensor eine einzige Videokamera verwendet wird, daß zur Angabe von Flugzeugpositionen in absoluten Vorfeld koordinaten die Videokamera derart kalibriert wird, daß die Lage und Orientierung der Videokamera relativ zu einem festgelegten Koordinatensystem des Vorfeldes sowie interne Parameter der Kameraoptik berechnet und in einem Rechner in digitaler Form gespeichert werden, daß die von der Videoka mera aufgezeichneten aktuellen Bilder eines zu führenden bzw. anzudockenden Flugzeuges digitalisiert und dem Rechner zuge führt werden, und daß in dem Rechner die aktuellen digitali sierten Bilddaten mit abgespeicherten digitalisierten Daten eines dreidimensionalen Modells des zu führenden bzw. anzu dockenden Flugzeugtyps zur Ermittlung der aktuellen Lage des Flugzeuges auf dem Vorfeld bzw. des Abstandes des Flugzeuges von seiner Halteposition verglichen werden. The object is achieved in that as pas sive area sensor a single video camera is used that to indicate aircraft positions in advance coordinate the video camera is calibrated so that the location and orientation of the video camera relative to one fixed coordinate system of the apron as well as internal Parameters of the camera optics calculated and in a computer in digital form that are saved by the Videoka mera recorded current images of a digitized aircraft and docked to the computer leads, and that in the computer the current digital based image data with stored digitized data a three-dimensional model of the to be led or to be docking aircraft type to determine the current location of the Aircraft on the apron or the distance of the aircraft be compared from its stop position.

Die Aufgabe der Sensorkalibrierung ist es, vorteilhafterwei se nach erfolgter ortsfester Montage der Kamera deren Lage und Orientierung relativ zu einem festgelegten Vorfeldkoor dinatensystem und zugleich vorzugebende oder eingestellte Parameter der Kameraoptik exakt zu ermitteln. Dies ist eine Voraussetzung, um aus den Abbildern von Flugzeugen auf deren Lage und Orientierung in dreidimensionalen Vorfeldkoordina ten schließen zu können.The task of sensor calibration is, advantageously After the camera has been installed in a fixed position, its position and orientation relative to a predetermined apron gate dinate system and at the same time predefined or set Determine parameters of the camera optics exactly. this is a Prerequisite for using the images of aircraft on their Position and orientation in three-dimensional apron coordina to be able to close.

Eine Weiterbildung des erfindungsgemäßen Verfahrens ist da rin zu sehen, daß eine hochdynamische Videokamera zur Abdec kung großer Kontrastbereiche ohne zahlreiche Blendenverstel lungen verwendet wird. Eine weitere Ausgestaltung der Erfin dung ist gekennzeichnet durch die Verwendung des Verfahrens zur Rollführung von Flugzeugen auf dem Vorfeld. Hierbei ist die Aufgabe der Objektverfolgung die zeitlich fortgesetzte Schätzung der Lage und Orientierung des Flugzeuges im Raum für eine gegebene Bildfolge und ein bestimmtes Flugzeugmo dell. Zu Beginn ist eine Initialisierung durchzuführen, wel che der Erkennung des ins Sichtfeld der Kamera tretenden Flugzeuges dient. Sie liefert eine grobe Positionsschätzung und startet den Verfolgungsvorgang. Im Verlauf der Verfol gung wird, ausgehend von der bereits ermittelten Position im vorangehenden Bild, eine erwartungsgemäße Position im aktu ellen Bild mittels Auswertung einer Bewegungsgleichung prä diziert. Die Prädiktion dient als Ausgangspunkt für die Suche nach einer optimalen Position unter Berücksichtigung der Anpassung der Modellprojektion in die Bildebene an das aktuell aufgenommene Bild.A further development of the method according to the invention is there rin to see that a highly dynamic video camera to Abdec large contrast areas without numerous aperture adjustment lungs is used. Another embodiment of the Erfin dung is characterized by the use of the method for taxiing aircraft on the apron. Here is the task of tracking the object is continued over time Estimation of the position and orientation of the aircraft in space for a given image sequence and a specific aircraft engine dell. At the beginning an initialization has to be carried out detection of what is entering the field of view of the camera Aircraft serves. It provides a rough position estimate and starts the tracking process. During the course of the starting from the position already determined in the previous picture, an expected position in the actu ellen image by evaluating an equation of motion dated. The prediction serves as the starting point for the Search for an optimal position considering the adaptation of the model projection in the image plane to the currently taken picture.

Die erfindungsgemäß vorgesehene Videokamera bietet als Pas siver Flächensensor den Vorteil der zeitgleichen Erfassung des Raumes mit relativ hoher Auflösung, grobem Erfassungsbe reich und hoher zeitlicher Frequenz. Der hohe Erfassungsbe reich erlaubt die Abbildung des gesamten Flugzeuges, ein schließlich Rumpf, Flügel, Leitwerk, Triebwerk und Fahrwerk. Die Berücksichtigung all dieser Merkmale bei einer Verfol gung gestattet eine höhere Genauigkeit als wenige Einzelmes sungen und eine erhöhte Robustheit gegenüber fehlerhafter Detektion mittels bildbasierter Verifikation.The video camera provided according to the invention offers as a pas sive area sensor the advantage of simultaneous detection of the room with a relatively high resolution, rough detection area rich and high temporal frequency. The high registration rate Reich allows the entire aircraft to be displayed finally fuselage, wing, tail unit, engine and landing gear. Taking all of these features into account when tracking This allows a higher accuracy than a few single measurements solutions and increased robustness compared to faulty ones Detection using image-based verification.

Die modellgestützte Objektverfolgung benötigt dreidimensio nale Modelle der Flugzeuge, wobei es nicht unbedingt notwen dig ist, alle Details eines Flugzeuges in einem Modell zu berücksichtigen. Hat man metrische dreidimensionale Modelle der abgebildeten Objekte zur Verfügung, so besteht die Auf gabe in der Schätzung ihrer Lage und Orientierung im Raum derart, daß die zugehörige Modellprojektion in die Bildebene mit dem Kamerabild in Übereinstimmung gebracht wird. Darüber hinaus kann zugleich die zeitliche Trajektorie einem gegebe nen physikalischen Bewegungsmodell entsprechend geschätzt werden. Die Tiefeninformation, die durch Abstandsmessung un mittelbar gewonnen wird, geht bei der Projektion in die Bild ebene zunächst verloren und kann modellgestützt, d. h. unter Kenntnis der wahren Abmessungen dargestellter Objekte, re konstruiert werden.Model-based object tracking requires three dimensions nale models of the aircraft, although it is not absolutely necessary dig is all the details of an airplane in one model too consider. You have metric three-dimensional models of the depicted objects is available gave in estimating their location and orientation in space such that the associated model projection into the image plane is brought into line with the camera image. About that the temporal trajectory can also be given a physical movement model is estimated accordingly become. The depth information that un won indirectly, is projected into the image level is initially lost and can be model-based, i.e. H. under Knowledge of the true dimensions of objects depicted, right be constructed.

Eine weitere Ausgestaltung der Erfindung geht dahin, daß die Fluggastbrücke unter Verwendung der Videokamera an einen Aus gang eines seine Parkposition erreichten Flugzeuges automa tisch herangeführt wird. Um eine Beweisführung eines eventu ell auf dem Vorfeld erfolgenden Unfalles durchführen zu kön nen, ist erfindungsgemäß vorgesehen, daß die von der Videoka mera erzeugten digitalen Bildfolgen in einem Archivspeicher gespeichert werden. Auch ist vorgesehen, daß durch die Video kamera das Leitwerk eines Flugzeuges zur Ermittlung der zu gehörigen Fluggesellschaft erfaßt wird.Another embodiment of the invention is that the Passenger boarding bridge using the video camera on an off of an aircraft that has reached its parking position automa is brought up to the table. To provide evidence of an eventu to be able to carry out an accident on the apron NEN, it is provided according to the invention that that of the Videoka mera generated digital image sequences in an archive store get saved. It is also provided that through the video camera the tail unit of an aircraft to determine the owned airline is recorded.

Claims

1. Method for the precise positioning of aircraft, in particular for docking an aircraft on a passenger bridge of an airport using an optical sensor system installed on the apron of the airport for detecting the current position of the aircraft on the apron, means for storing predefinable reference values, Means for comparing the determined actual values with stored reference values and Auswertemit means, preferably a display device to visualize the current distance from the aircraft to the stop position, characterized in that a single video camera is used as a passive area sensor that to indicate aircraft positions in absolute The video camera is calibrated in advance in such a way that the position and orientation of the video camera relative to a predetermined coordinate system of the apron and internal parameters of the camera optics are calculated and stored in a computer in digital form be that the current images recorded by the video camera of an aircraft to be guided or docked are digitized and fed to the computer, and that in the computer the current digitized image data with stored digitized data of a three-dimensional model of the aircraft type to be guided or docked for determination the current position of the aircraft on the apron or the distance of the aircraft from its stop position are compared.

2. The method according to claim 1, characterized in that a highly dynamic video camera to cover large ones Contrast areas without numerous aperture adjustments is used.

3. The method according to claim 1 or 2, characterized by the use for taxiing aircraft on the Apron.

4. The method according to claim 1 or 2, characterized in that the passenger boarding bridge using the video camera to an exit of a flight that has reached its parking position stuff is automatically introduced.

5. The method according to claim 1, 2, 3 or 4, characterized records that the digital generated by the video camera Image sequences can be saved in an archive store.

6. The method according to any one of claims 1 to 5, characterized ge indicates that by the video camera the tail egg aircraft to determine the associated airline shaft is detected.