DE102017207696A1 - Kalibrierungsvorrichtung und Kalibrierungsverfahren - Google Patents

Kalibrierungsvorrichtung und Kalibrierungsverfahren Download PDF

Info

Publication number
DE102017207696A1
DE102017207696A1 DE102017207696.8A DE102017207696A DE102017207696A1 DE 102017207696 A1 DE102017207696 A1 DE 102017207696A1 DE 102017207696 A DE102017207696 A DE 102017207696A DE 102017207696 A1 DE102017207696 A1 DE 102017207696A1
Authority
DE
Germany
Prior art keywords
point
coordinates
coordinate system
vehicle
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102017207696.8A
Other languages
English (en)
Other versions
DE102017207696B4 (de
Inventor
Norifumi HODOHARA
Takahisa Aoyagi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE102017207696A1 publication Critical patent/DE102017207696A1/de
Application granted granted Critical
Publication of DE102017207696B4 publication Critical patent/DE102017207696B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

Eine Kalibriervorrichtung umfasst: ein Koordinatenberechnungsmittel, das Koordinaten einer Vielzahl von starren körperbasierten Punkten in einem fahrzeugbasierten Koordinatensystem aus Messwerten jeweiliger Abstände zwischen zwei Punkten berechnet, die aus einer Kombination aus einem von mehreren fahrzeugbasierten Punkten und einem von mehreren starren körperbasierten Punkten ausgebildet sind, wobei die Vielzahl von fahrzeugbasierten Punkten bekannte Koordinaten in dem fahrzeugbasierten Koordinatensystem und die Vielzahl von starren körperbasierten Punkten bekannte Koordinaten in einem starren körperbasierten Koordinatensystem aufweisen; und ein Parameterberechnungsmittel, das eine relative Lage und eine relative Position eines Ursprungs als Kalibrierungsparameter berechnet, aus einer Korrespondenzbeziehung zwischen Positionen von Bildkoordinaten der Vielzahl von starren körperbasierten Punkten innerhalb eines erfassten Bildes und den Koordinaten der Vielzahl von starren körperbasierten Punkten in dem fahrzeugbasierten Koordinatensystem.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Erfindungsgebiet
  • Diese Erfindung bezieht sich auf eine Kalibrierungsvorrichtung und ein Kalibrierungsverfahren, die verwendet werden, um eine an einem Fahrzeug angebrachte Kamera zu kalibrieren.
  • 2. Beschreibung des Standes der Technik
  • In den letzten Jahren wurde ein Anstieg der Verwendung von Kameras und Sensoren beobachtet, die an Fahrzeugen angebracht sind, um Bilder der Fahrzeugperipherie zu erfassen. Wenn ein peripheres Hindernis oder dergleichen von einer Kamera oder einem Sensor erfasst wird, kann eine Steuerung, die das Fahrzeug steuert, eine Notbremse an dem Fahrzeug anlegen, während das Fahrzeug in Bewegung ist.
  • Die Steuerung ist auch in der Lage, eine Vielzahl von Bildern der Fahrzeugperipherie zu synthetisieren, die über die Kameras und Sensoren erhalten werden, und einem Benutzers das resultierendes synthetisierte Bild bereitzustellen. Zu diesem Zeitpunkt müssen Positions- und Lagebeziehungen zwischen der Kamera oder dem Sensor und dem Fahrzeug genau gemessen werden, um sicherzustellen, dass das periphere Hindernis genau erfasst wird oder dass ein gleichmäßiges, synthetisiertes Bild der Fahrzeugperipherie erhalten wird.
  • Ein Verfahren zur Durchführung der oben beschriebenen Messungen ist als ein Kalibrierungsverfahren bekannt. Dieses Kalibrierverfahren ist bei der Befestigung von Kameras und Sensoren an einem Fahrzeug unerlässlich.
  • Wenn die Position und die Lage einer Kamera oder eines Sensors zur Verwendung in einem Fahrzeug tatsächlich kalibriert werden, erhält die Steuerung zuerst unter Verwendung des Sensors eine Markierung, die auf dem Boden bzw. Erdboden oder einer Wand angeordnet ist. Die Steuerung bestimmt dann eine Position und eine Lage, in der der Sensor relativ zu dem Fahrzeug angeordnet werden soll, aus relativen Positionen des Sensors und der Markierung und relativen Positionen der Markierung und des Fahrzeugs (siehe, zum Beispiel, japanische Patentanmeldung mit der Veröffentlichungsnummer 2013-89984 ).
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Der Stand der Technik umfasst jedoch die folgenden Probleme.
  • Bei einem typischen Verfahren zum Kalibrieren einer Kamera oder eines Sensors muss die Markierung genau in einer bekannten Position und einer bekannten Lage relativ zum Fahrzeug genau angeordnet sein, damit die Positionsbeziehung zwischen Kamera oder Sensor und Fahrzeug genau gemessen werden kann.
  • Mit anderen Worten muss bei einem herkömmlichen Kalibrierungsverfahren eine Markierung, die als ein Ziel dient, genau an einer Stelle angeordnet sein, die eine bekannte Position und eine bekannte Einstellung relativ zu einem Host-Fahrzeug aufweist. Zu diesem Zweck ist es notwendig, genaue Koordinatenachsen, die sich auf das Fahrzeug zentrieren, oder ein sich kreuzendes Muster, das mit diesem übereinstimmt, auf dem Erdboden unter Verwendung eines Nivellierstrangs (engl. leveling string) oder dergleichen zu zeichnen.
  • Ein herkömmliches Kalibrierungsverfahren, das in einem Fall angewendet wird, bei dem "eine Zielmarkierung an einer Stelle 2 m vor einem Host-Fahrzeug, 1 m links vom Host-Fahrzeug und in einer identischen Neigung zum Host-Fahrzeug in einem Fahrzeugkoordinatensystem angeordnet, bei dem ein Punkt auf dem Erdboden in der Mitte eines vorderen Endes des Host-Fahrzeugs als Ursprung gesetzt wird und eine Fahrzeugvorschubrichtung als eine der Achsen eingestellt ist" wird kurz als Beispiel beschrieben. Bei diesem herkömmlichen Kalibrierungsverfahren ist es notwendig, die folgenden Prozesse 1 bis 4 auszuführen.
  • (Prozess 1) Zuerst werden ein Punkt auf dem Erdboden in der Mitte des vorderen Endes des Fahrzeugs und ein Punkt auf dem Erdboden in der Mitte eines hinteren Endes des Fahrzeugs unter Verwendung eines Lots (engl. plump bobs) markiert.
  • (Prozess 2) Als Nächstes wird eine gerade Linie, die durch diese beiden Punkte hindurchgeht und unter dem Fahrzeug verläuft, unter Verwendung einer Nivellierstrangs (engl. leveling string) gezeichnet, und diese gerade Linie wird als die Fahrzeugvorschubrichtungsachse eingestellt.
  • (Prozess 3) Als Nächstes wird ein Punkt 2 m vor der Mitte des vorderen Endes des Fahrzeugs unter Verwendung eines Bandmaßes gemessen, und eine gerade Linie, die orthogonal zu der Fahrzeugvorschubrichtungsachse ist, wird von diesem Punkt unter Verwendung eines Nivellierstrangs gezogen.
  • (Prozess 4) Schließlich wird die Zielmarkierung auf der orthogonalen Geraden an einer Stelle angeordnet, die 1 m links von der Fahrzeugvorschubrichtungsachse liegt.
  • Hier muss ein Verfahren, das eine Markierungsvorrichtung verwendet, ein Zeichnungsverfahren, das einen Kompass oder dergleichen verwendet, angewendet werden, um das orthogonale Geradenmuster im Prozess 3 zu zeichnen. Das erste Verfahren erfordert jedoch eine teure Spezialvorrichtung, während letzteres einen komplizierten Betrieb erfordert, der fehlerhaft von einem Bediener durchgeführt werden kann, so dass das Geradenmuster ungenau gezeichnet wird.
  • In dem oben beschriebenen Beispiel wird die Kalibrierung während der Nachjustierung bei einem Händler oder dergleichen durchgeführt, wo die Markierung nicht im Voraus angeordnet ist. Selbst wenn die Kalibrierung in einer Fabrik oder dergleichen durchgeführt wird, wo die Markierung im Voraus angeordnet ist, ist es schwierig, die relativen Positionen und Lagen des Host-Fahrzeugs und der Markierung zum Beispiel bis zu einer Genauigkeit von ungefähr 1 cm oder weniger zu bestimmen.
  • Ein Fall, bei dem ein Bediener das Fahrzeug zu einem Kalibrierungsbetrieb innerhalb einer Fabrik fährt, wird im Folgenden betrachtet. In diesem Fall ist es auch für einen erfahrenen Bediener äußerst schwierig, das Fahrzeug in einer festgelegten Position zu parken, ohne von der eingestellten Position in einem Winkel von nur 1° abzuweichen. Selbst wenn Geräte wie Radstopper vorgesehen sind, um das Fahrzeug in der eingestellten Position zu stoppen, ist es oftmals unmöglich, einen Grad an Genauigkeit zu garantieren, bei dem das Fahrzeug ohne Abweichung von selbst 1 cm geparkt werden kann.
  • Diese Erfindung dient zur Lösung der oben beschriebenen Probleme, und eine Aufgabe hiervon besteht darin, eine Kalibrierungsvorrichtung und ein Kalibrierungsverfahren bereitzustellen, mit denen es nicht notwendig ist, eine Spezialvorrichtung zu verwenden, um eine Markierung anzuordnen, und mit denen die Position der Markierung mit einer kleineren Anzahl von Schritten als bei einem herkömmlichen Verfahren berechnet werden kann.
  • Eine Kalibrierungsvorrichtung gemäß dieser Erfindung misst relative Positionen und relative Lagen eines starren Körpers, der auf dem Erdboden angeordnet ist, und eines Fahrzeugs, und umfasst: eine Gemessener-Abstand-Eingabevorrichtung, die auf Grundlage einer von einem Bediener durchgeführten Eingabeoperation Messwerte von jeweiligen Abständen zwischen zwei Punkten auf der Basis mehrerer fahrzeugbasierter Punkte mit bekannten Koordinaten in einem fahrzeugbasierten Koordinatensystem empfängt, das in Übereinstimmung mit einer Stoppposition des Fahrzeugs definiert ist und einen Ursprung und zwei auf dem Erdboden befindliche Achsen enthält, und einer Vielzahl von starren körperbasierten Punkten mit bekannten Koordinaten auf einem starren körperbasierten Koordinatensystem, das durch eine Anordnungsposition einer Markierung definiert ist, die als der starre Körper dient, der auf dem Erdboden angeordnet ist und einen Ursprung und zwei Achsen enthält, die auf dem Erdboden angeordnet sind, wobei die beiden Punkte durch eine Kombination von einem der Vielzahl von fahrzeugbasierten Punkten und einem der Vielzahl von starren körperbasierten Punkten ausgebildet sind; und eine Kalibrierungsparameter-Berechnungseinrichtung, die eine relative Lage des starren körperbasierten Koordinatensystems und eine relative Position des Ursprungs davon in dem fahrzeugbasierten Koordinatensystem als Kalibrierungsparameter berechnet, auf Basis der jeweiligen Messwerte und eines erfassten Bilds einschließlich der Markierung, das von einer Kamera erfasst wird, das an dem Fahrzeug montiert und einer Kalibrierung unterzogen wird, wobei die Kalibrierungsparameter-Berechnungsvorrichtung aufweist: ein Koordinatenberechnungsmittel, das Koordinaten der Vielzahl von starren körperbasierten Punkten in dem fahrzeugbasierten Koordinatensystem aus den jeweiligen Messwerten berechnet; und ein Parameterberechnungsmittel, das die relative Lage und die relative Position des Ursprungs als die Kalibrierungsparameter berechnet, aus einer Korrespondenzbeziehung zwischen Positionen von Bildkoordinaten der Vielzahl von starren körperbasierten Punkten, die in dem aufgenommenen Bild enthalten sind, und den Koordinaten der Vielzahl von starren körperbasierten Punkten in dem fahrzeugbasierten Koordinatensystem.
  • Ein Kalibrierungsverfahren gemäß dieser Erfindung wird ferner verwendet zum Messen von relativen Positionen und relativen Lagen eines starren Körpers, der auf dem Erdboden angeordnet ist, und eines Fahrzeugs, und umfasst: einen ersten Schritt, in dem jeweilige Koordinaten einer Vielzahl von starren körperbasierten Punkten mit bekannten Koordinaten in einem starren körperbasierten Koordinatensystem im Voraus in einer Speichereinheit gespeichert werden, wobei das starre körperbasierte Koordinatensystem durch eine Anordnungsposition einer Markierung definiert ist, die als der starrer Körper dient, der auf dem Erdboden angeordnet ist, und einen Ursprung und zwei auf dem Erdboden befindliche Achsen enthält; einen zweiten Schritt, in dem Messwerte von jeweiligen Abständen zwischen zwei Punkten über eine Gemessener-Abstand-Eingabevorrichtung empfangen werden, auf Grundlage einer von einem Bediener durchgeführten Eingabeoperation, auf der Basis der Vielzahl von starren körperbasierten Punkten und einer Vielzahl von fahrzeugbasierten Punkten mit bekannten Koordinaten in einem fahrzeugbasierten Koordinatensystem, das in Übereinstimmung mit einer Stoppposition des Fahrzeugs definiert ist und einen Ursprung und zwei auf dem Erdboden befindliche Achsen enthält, wobei die beiden Punkte durch eine Kombination aus einem der Vielzahl von fahrzeugbasierten Punkten und einem der Vielzahl von starren körperbasierten Punkten ausgebildet ist; einen dritten Schritt, in dem ein aufgenommenes Bild mit der Markierung, das von einer Kamera aufgenommen wird, die an dem Fahrzeug angebracht ist und einer Kalibrierung unterworfen wird, erhalten wird; einen vierten Schritt, in dem aus den jeweiligen Messwerten Koordinaten der Vielzahl von starren körperbasierten Punkten in dem fahrzeugbasierten Koordinatensystem berechnet werden; und einen fünften Schritt, in dem eine relative Lage des starren körperbasierten Koordinatensystems und eine relative Position des Ursprungs davon in dem fahrzeugbasierten Koordinatensystem als die Kalibrierungsparameter berechnet werden, aus einer Korrespondenzbeziehung zwischen Positionen von Bildkoordinaten der Vielzahl von starren körperbasierten Punkte, die in dem aufgenommenen Bild enthalten sind, und den Koordinaten der Vielzahl von starren körperbasierten Punkten in dem fahrzeugbasierten Koordinatensystem, wobei die Koordinaten in der Speichereinheit gespeichert worden sind.
  • Diese Erfindung ist so konfiguriert, dass die Koordinaten der Vielzahl von starren körperbasierten Punkten in dem fahrzeugbasierten Koordinatensystem auf der Basis von Messwerten der jeweiligen Abstände zwischen zwei Punkten berechnet werden, die aus einer Kombination aus einem der Vielzahl von fahrzeugbasierten Punkten in dem fahrzeugbasierten Koordinatensystem und einem der Vielzahl von starren körperbasierten Punkten in dem starren körperbasierten Koordinatensystem ausgebildet sind, und die relative Lage der Kamera und die relative Position des Ursprungs davon die Kalibrierungsparameter berechnet werden, aus der Korrespondenzbeziehung zwischen den Positionen der Bildkoordinaten der Vielzahl von starren körperbasierten Punkten, die in dem aufgenommenen Bild enthalten sind, wobei das aufgenommene Bild von der am Fahrzeug angebrachten Kamera erfasst worden ist, und den Koordinaten der Vielzahl von starren körperbasierten Punkten in dem fahrzeugbasierten Koordinatensystem. Als Ergebnis ist es möglich, eine Kalibrierungsvorrichtung und ein Kalibrierungsverfahren zu erhalten, mit denen es nicht erforderlich ist, eine Spezialvorrichtung zu verwenden, um eine Markierung anzuordnen, und wobei die Position der Markierung, verglichen mit einem herkömmlichen Verfahren, in einer kleineren Anzahl von Schritten berechnet werden kann.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein Blockdiagramm, das eine Kalibrierungsvorrichtung zeigt, die ein Kalibrierungsverfahren gemäß einer ersten Ausführungsform dieser Erfindung ausführt.
  • 2 ist eine schematische externe Ansicht, die eine Kalibrierungsparameterberechnung darstellt, die durch die Kalibrierungsvorrichtung gemäß der ersten Ausführungsform dieser Erfindung ausgeführt wird.
  • 3 ist eine erläuternde Ansicht, die ein Fahrzeugkoordinatensystem gemäß der ersten Ausführungsform dieser Erfindung zeigt.
  • 4 ist eine erläuternde Ansicht, die eine Bildschirmkonfiguration einer Gemessener-Abstand-Eingabevorrichtung gemäß der ersten Ausführungsform dieser Erfindung zeigt.
  • 5 ist ein Flussdiagramm, das eine Reihe von Verarbeitungsprozessen des Kalibrierungsverfahrens gemäß der ersten Ausführungsform dieser Erfindung zeigt.
  • 6 ist eine erläuternde Ansicht, die ein Trilaterationsverfahren zeigt, das von einer Trilaterationsberechnungseinheit gemäß der ersten Ausführungsform dieser Erfindung ausgeführt wird.
  • 7 ist eine erläuternde Ansicht, die ein Verfahren zum Bestimmen von Koordinaten eines Punktes R0 an einem fahrzeugbasierten Koordinatensystem in dem Prozess B4 gemäß der ersten Ausführungsform dieser Erfindung zeigt.
  • 8 ist eine erläuternde Ansicht, die ein Verfahren zum Bestimmen von Kalibrierungsparametern in dem Prozess B8 gemäß der ersten Ausführungsform dieser Erfindung zeigt.
  • 9 ist eine erläuternde Ansicht, die ein Verfahren zum Ersetzen von Punkten in einer zweidimensionalen Ebene mit Punkten in einem dreidimensionalen Koordinatensystem gemäß der ersten Ausführungsform dieser Erfindung zeigt.
  • 10 ist eine schematische externe Ansicht, die eine Kalibrierungsparameterberechnung darstellt, die durch eine Kalibrierungsvorrichtung gemäß einer zweiten Ausführungsform dieser Erfindung ausgeführt wird.
  • 11 ist ein Flussdiagramm, das eine Reihe von Verarbeitungsprozessen eines Kalibrierungsverfahrens gemäß der zweiten Ausführungsform dieser Erfindung zeigt.
  • BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Bevorzugte Ausführungsformen einer Kalibrierungsvorrichtung und eines Kalibrierungsverfahrens gemäß dieser Erfindung werden nachfolgend unter Verwendung der Zeichnungen beschrieben.
  • Erste Ausführungsform
  • 1 ist ein Blockdiagramm, das eine Kalibrierungsvorrichtung zeigt, die ein Kalibrierungsverfahren gemäß einer ersten Ausführungsform dieser Erfindung ausführt. Weiterhin ist 2 ist eine schematische extern Ansicht, die eine Kalibrierungsparameterberechnung darstellt, die durch die Kalibrierungsvorrichtung gemäß der ersten Ausführungsform dieser Erfindung ausgeführt wird. In den 1 und 2 sind eine Gemessener-Abstand-Eingabevorrichtung 20 und eine Bildeingabeeinrichtung 30 zusammen mit einer Kalibrierungsparameter-Berechnungseinrichtung 10 dargestellt.
  • Die Gemessener-Abstand-Eingabevorrichtung 20 ist so konfiguriert, dass sie eine Tastatur 21 umfasst, auf der ein Bediener numerische Werte von gemessenen Abständen eingibt, und einen Bildschirm 22 zum Anzeigen der eingegebenen numerischen Werte.
  • Die Bildeingabevorrichtung 30 ist, obwohl sie nicht in den Zeichnungen detailliert dargestellt ist, so konfiguriert, dass sie eine Linse, eine Abbildungsvorrichtung bzw. Bildgebungsvorrichtung und eine Verzerrungskorrektureinheit umfasst und an einem Fahrzeug 1 angebracht ist. Danach wird die Bildeingabevorrichtung 30 einfach als "Kamera 30" bezeichnet. Die Kamera 30 erfasst ein Bild einer Zielmarkierung 31, die auf dem Boden angeordnet ist und während der Kalibrierung verwendet wird.
  • Nachfolgend wird die Zielmarkierung 31 einfach als "Markierung 31" bezeichnet und ein von der Kamera 30 aufgenommenes Bild als ein Bild mit der Markierung 31 wird als "Markierungsbild" bezeichnet.
  • Die Kalibrierungsparameter-Berechnungsvorrichtung 10, die in 1 gezeigt ist, berechnet eine relative Position und eine relative Lage der Kamera 30 relativ zu der Markierung 31 als Kalibrierungsparameter auf der Basis von Abstandsdaten, die durch den Bediener über die Gemessener-Abstand-Eingabevorrichtung 20 eingegeben werden, und das von der Kamera 30 aufgenommene Markierungsbild. Eine interne Konfiguration der Kalibrierungsparameter-Berechnungsvorrichtung 10, die eine Berechnungsverarbeitung zum Berechnen der Kalibrierungsparameter durchführt, wird nun im Detail beschrieben.
  • Die Kalibrierungsparameter-Berechnungsvorrichtung 10 gemäß der ersten Ausführungsform, die in 1 gezeigt ist, ist so konfiguriert, dass sie eine Markierungsform-Parameterspeichereinheit 11, eine Trilaterationsberechnungseinheit 12, eine Eingabefehler-Bestimmungseinheit 13, eine fahrzeugbasierte relative Markierungspositions-Berechnungseinheit 14, eine fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15, eine Markierungspositions-Erfassungseinheit 16 und eine Kalibrierungsparameter-Speichereinheit 17 umfasst.
  • Hier entspricht die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15 der Kalibrierparameter-Berechnungseinrichtung 10 einer Parameterberechnungseinheit (Parameterberechnungsmittel). Ferner entsprechend die Markierungsform-Parameterspeichereinheit 11, die Trilaterationsberechnungseinheit 12, die fahrzeugbasierte relative Markierungspositions-berechnungseinheit 14, die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15, die Markierungspositions-Erfassungseinheit 16 und die Kalibrierungsparameter-Speichereinheit 17 der Kalibrierungsparameter-Berechnungseinrichtung 10 einer Koordinatenberechnungseinheit (Koordinatenberechnungsmittel).
  • Eine Information bezüglich der Form der Markierung 31 werden in der Markierungsform-Parameterspeichereinheit 11 im Voraus gespeichert. Ein Merkmalspunktinformation, die Farben, Formen, eine Anordnung und so weiter von Merkmalspunkten (engl. feature points) enthalten, die in der Markierung 31 enthalten sind, eine Informationen, die eine äußere Form der Markierung 31 anzeigt, und so weiter, kann als spezifische Beispiele dieser Information angesehen werden.
  • In 2 sind in der Markierung 31 fünfzehn Merkmalspunkte, die als schwarze Kreise dargestellt sind, angeordnet, wobei die Markierung eine rechteckige äußere Form aufweist, während ein oberer rechter Abschnitt der äußeren Form als ein Punkt M1 eingestellt ist und ein unterer rechter Abschnitt als ein Punkt M2 eingestellt ist. Punkte, die von zwei spezifischen Punkten des Fahrzeugs 1 vertikal auf den Boden absinken, werden darüber hinaus gemäß 2 als ein Punkt V1 bzw. ein Punkt V2 eingestellt.
  • Aus der Anordnung dieser vier Punkte, nämlich dem Punkt M1, dem Punkt M2, dem Punkt V1 und dem Punkt V2, misst der Bediener tatsächlich vier Abstände, nämlich einen Abstand M1V1, einen Abstand M1V2, einen Abstand M2V1 und einen Abstand M2V2. Der Bediener gibt dann die vier tatsächlich gemessenen Abstände über die Gemessener-Abstand-Eingabevorrichtung 20 ein.
  • Die Trilaterationsberechnungseinheit 12 berechnet Koordinaten der Punkte M1, M2 basierend auf dem Punkt V2 aus den numerischen Werten der vier Abstände, die von der Gemessener-Abstand-Eingabevorrichtung 20 darin eingegeben werden, unter Verwendung einer Trilaterationsformel, und gibt die berechneten Koordinaten an die Eingangsfehler-Bestimmungseinheit und die fahrzeugbasierte relative Markierungspositions-Berechnungseinheit aus.
  • Die Eingangsfehler-Bestimmungseinheit 13 bestimmt, ob oder ob nicht die von dem Bediener eingegebenen gemessenen Abstände gültig sind, indem die Koordinaten der Punkte M1, M2, die von der Trilaterationsberechnungseinheit 12 berechnet werden, unter Verwendung des Punktes V2 als einer Basis mit der Information verglichen werden, die die äußere Form der Markierung 31 anzeigt, die im Voraus in der Markierungsform-Parameterspeichereinheit 11 gespeichert ist, und überträgt ein Bestimmungsergebnis an die Gemessener-Abstand-Eingabevorrichtung 20.
  • Die Trilateration, die von der Trilaterationsberechnungseinheit 12 ausgeführt wird, und die Bestimmungsverarbeitung, die durch die Eingangsfehler-Bestimmungseinheit 13 ausgeführt wird, werden nachfolgend detailliert unter Verwendung von Zeichnungen und Formeln beschrieben.
  • Es sei angemerkt, dass dann, wenn der Bediener aus dem von der Gemessener-Abstand-Eingabevorrichtung 20 angezeigten Bestimmungsergebnis erfährt, dass die Eingangsfehler-Bestimmungseinheit 13 festgestellt hat, dass die gemessenen Abstände ungültig sind, der Bediener den Abstand M1V1, den Abstand M1V2, den Abstand M2V1, und der Abstand M2V2 erneut eingeben muss.
  • Die fahrzeugbasierte relative Markierungspositions-Berechnungseinheit 14 berechnet Koordinaten der Gruppe von Merkmalspunkten, die in der Markierung 31 enthalten sind, an einem Fahrzeugkoordinatensystem aus den Koordinaten der Punkte M1, M2, die berechnet wurden von der Trilaterationsberechnungseinheit 12 unter Verwendung des Punktes V2 als einer Basis und der äußeren Forminformation und Merkmalspunktinformation bezüglich der Markierung 31, die im Voraus in der Markierungsformparameter-Speichereinheit 11 gespeichert ist, und überträgt die berechneten Koordinaten an die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15.
  • 3 ist hier eine erläuternde Ansicht, die das Fahrzeugkoordinatensystem gemäß der ersten Ausführungsform dieser Erfindung zeigt. Ein Koordinatensystem, bei dem ein Punkt, der durch Absenken eines zentralen vorderen Endpunktes des Fahrzeugs 1 senkrecht auf den Boden erhalten wird, als Ursprung 0 eingestellt ist, eine Vorwärtsrichtung wird als z-Achse definiert, eine Rechtsrichtung wird als x-Achse definiert, und eine Richtung erdwärts wird als y-Achse definiert, entsprechend dem Fahrzeugkoordinatensystem gemäß dieser Erfindung.
  • Die Markierungspositions-Erfassungseinheit 16 detektiert bzw. erfasst die Positionen der Gruppe von Merkmalspunkten, die in der Markierung 31 enthalten sind, aus dem von der Bildeingabevorrichtung 30 empfangenen Markierungsbild, und überträgt Koordinaten davon auf das Bild zu der fahrzeugbasierten relativen Kamerapositions-Berechnungseinheit 15.
  • Die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15 berechnet eine Position und eine Lage der Kamera an dem Fahrzeugkoordinatensystem aus den Koordinaten der Positionen der Merkmalspunkte, die in der Markierung auf dem Bild enthalten sind, wobei diese Koordinaten von der Markierungspositions-Erfassungseinheit empfangen worden sind, und den Koordinaten der Positionen der in der Markierung enthaltenen Merkmalspunkte an dem Fahrzeugkoordinatensystem, wobei diese Koordinaten von der fahrzeugbasierten relativen Markierungspositions-Berechnungseinheit 14 empfangen worden sind.
  • Die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15 speichert dann die Position und die Lage der Kamera an dem Fahrzeugkoordinatensystem in der Kalibrierungsparameter-Speichereinheit 17. Als Ergebnis kann die Kalibrierungsparameter-Speichereinheit 17 Kalibrierungsparameter bezüglich der Position und Lage der Kamera, berechnet durch die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15, in einem ROM speichern.
  • Als nächstes werden Betriebsschritte, die bei der Durchführung der Kalibrierung gemäß der ersten Ausführungsform durchgeführt werden, nacheinander beschrieben.
  • Es wird angenommen, dass der Kalibrierungsvorgang auf einer horizontalen Ebene ohne Unregelmäßigkeiten durchgeführt wird. Weiterhin wird angenommen, dass ein Kalibrierungsraum entsprechend der Größe und Lage der Markierung 31 entsprechend der Anzahl der zu kalibrierenden Kameras und Feldwinkel davon geeignet gesichert ist.
  • Der Zielmarkierung 31 enthält eine Vielzahl von Merkmalspunkten in einem bekannten Muster. Genauer gesagt ist die Vielzahl von Merkmalspunkten vorgesehen, um die Position und die Lage der Kamera zu berechnen. Die Markierung 31 muss in einer grob fixierten Position angeordnet sein, so dass die gesamte Markierung 31 von der zu kalibrierenden Kamera 30 fotografiert werden kann, aber die genaue Position davon muss noch nicht bekannt sein.
  • Es wird hier angenommen, dass die Merkmalspunktinformation, die die Positionen der Vielzahl von Merkmalspunkten, die in der Markierung 31 enthalten sind, und die Anzahl von Merkmalspunkten, die sich in jeder Position befinden, und die Information, die die äußere Forminformation der Markierung 31 anzeigt, im Voraus bekannt ist. In der ersten Ausführungsform sind die Merkmalspunkte jeweils aus schwarzen Kreisen gebildet und in einer regelmäßigen Anordnung auf der Markierung 31 angeordnet, so dass die Positionen der Gruppe von Merkmalspunkten, die in der Markierung 31 enthalten sind, leicht durch eine automatische Verarbeitung während der nachfolgenden Bildverarbeitung erfasst werden kann.
  • Ferner werden die beiden äußeren Ecken der Markierung 31, die dem Host-Fahrzeug 1 am nächsten sind, als der Punkt M1 und der Punkt M2 eingestellt. Weiterhin werden zwei Punkte, die von zwei spezifischen Punkten am Fahrzeug 1 vertikal auf den Boden abfallen, als Punkt V1 und Punkt V2 eingestellt. Man beachte, dass die Koordinatenpositionen des Punktes V1 und des Punktes V2 an dem Fahrzeugkoordinatensystem als im Voraus gemessen angenommen worden und daher bekannt sind. In der ersten Ausführungsform werden Punkte, die von Enden linker und rechter Scheinwerfer vertikal auf den Boden abfallen, als V1 und V2 eingestellt.
  • 4 ist eine erläuternde Ansicht, die eine Bildschirmkonfiguration der Gemessener-Abstand-Eingabevorrichtung 20 gemäß der ersten Ausführungsform dieser Erfindung zeigt. Der Bildschirm 22 besteht aus einer Eingabeeinheit 22a zum Eingeben von gemessenen Abständen, einer Ausgabeeinheit 22b zum Anzeigen eines Fehlers zusammen mit dem Bestimmungsergebnis, das durch die Eingangsfehler-Bestimmungseinheit 13 erhalten wird, ob die numerischen Werte der eingegebenen Abstände gültig sind oder nicht, und einer Anzeigeeinheit 22c zum Anzeigen eines Kamerabildes.
  • Ein Kamerabild, das von der Kamera 30 eingegeben wird, wird an die Anzeigeeinheit 22c ausgegeben. Somit kann der Bediener aus dem durch die Anzeigeeinheit 22c angezeigten Kamerabild prüfen, ob die angeordnete Markierung 31 innerhalb des Abbildungsbereichs der Kamera liegt oder nicht.
  • Die Gemessener-Abstand-Eingabevorrichtung 20 hat auch eine Funktion zum Anzeigen von Icons, die auf der Anzeigeeinheit 22c gemäß den in die Eingabeeinheit 22a eingegebenen Elementen überlagert werden, um Positionen auf dem Bild entsprechend den vier Abständen von den Punkten M1 und M2 darzustellen, die als Markierungspositionen dienen, die von der Markierungspositions-Erfassungseinheit 16 erfasst werden, zu den Punkten V1 und V2, die als Messobjekte dienen. Durch die Bereitstellung dieser Funktion kann der Bediener leicht feststellen, welcher Abstand welchem Eingangselement entspricht.
  • Wenn ferner die Icons durch die Anzeigeeinheit 22c angezeigt werden, um auf dem aufgenommene Bild zu überlagern, kann die Position der Markierung innerhalb des Kamerabildes unter Verwendung einer Bildverarbeitung erfasst werden, und die Anzeigepositionen der Symbole bzw. Icons können zu genauen Positionen in Übereinstimmung mit dem Erkennungsergebnis korrigiert werden. Mit anderen Worten können die Anzeigepositionen der Icons zu genauen Positionen korrigiert werden, unabhängig von der Position, in der das Host-Fahrzeug 1 gestoppt wird, oder dem Zustand, in dem die Kamera 30 montiert ist.
  • Weiterhin kann, wenn eine Anwendung zum Erzeugen eines synthetisierten Bildes aus den Kalibrierungsparametern unter Verwendung einer Vielzahl von Kameras vorgesehen ist, die Gemessener-Abstand-Eingabevorrichtung 20 so konfiguriert sein, dass sie bewirkt, dass die Anzeigeeinheit 22c ein synthetisiertes Bild anzeigt, das das Kalibrierungsberechnungsergebnis wiedergibt, so dass die Qualität des Bildes überprüft werden kann.
  • Als nächstes werden spezifische Prozeduren erläutert, die bei dem Kalibrierungsverfahren gemäß der ersten Ausführungsform ausgeführt werden, unter Berücksichtigung des oben, unter Verwendung der 1 bis 4 beschriebenen Inhalts. 5 ist ein Flussdiagramm, das eine Reihe von Verarbeitungsprozeduren des Kalibrierungsverfahrens gemäß der ersten Ausführungsform dieser Erfindung zeigt.
  • Zuerst ordnet der Bediener in Schritt S501 innerhalb des Abbildungsbereichs der Kamera 30 die Markierung 31 einschließlich der Vielzahl von Merkmalspunkten auf dem Boden an.
  • Zu diesem Zeitpunkt müssen die Position der Markierung 31 und die relative Position des Host-Fahrzeugs 1 noch nicht genau bekannt sein. Die Position, in der die Markierung 31 angeordnet werden soll, wird jedoch ungefähr im Voraus festgelegt, um die Genauigkeit der Kalibrierungsberechnung zu stabilisieren, die unter Verwendung des von der Kamera 30 aufgenommenen Bildes ausgeführt wird. In der ersten Ausführungsform ist die Markierung 31 auf dem Boden bzw. Erdboden vor dem Host-Fahrzeug 1 an einer Position angeordnet, die eine diesbezügliche Bilderfassung in einem weiten Feldwinkelbereich der Kamera 30 ermöglicht.
  • Als nächstes bewegt der Bediener in Schritt S502 das Fahrzeug 1, so dass sich die Markierung 31 innerhalb des tatsächlichen Abbildungsbereichs der zu kalibrierenden Kamera 30 befindet, die an dem Fahrzeug 1 angebracht ist. Zu diesem Zeitpunkt kann der Bediener die Position bestimmen, in der das Fahrzeug 1 zu stoppen ist, während auf das aufgenommene Bild Bezug genommen wird, das durch die Anzeigeeinheit 22c der Gemessener-Abstand-Eingabevorrichtung 20 angezeigt wird.
  • Als nächstes markiert der Bediener in Schritt S503 zwei Punkte, die von zwei spezifischen Punkten an dem Fahrzeug 1 vertikal auf den Boden abfallen, unter Verwendung eines Markierungsstiftes. Zu diesem Zeitpunkt können die beiden Punkte genau bestimmt werden, indem ein Werkzeug, wie zum Beispiel ein Lot (engl. plump bob), verwendet wird. Diese beiden Punkte dienen als Punkt V1 und Punkt V2, die in 2 gezeigt sind.
  • Man beachte, dass die jeweiligen Positionen des Punktes V1 und des Punktes V2 vorzugsweise so eingestellt sind, dass zwischen den Punkten V1 und V2 und den Markierungspunkten M1 und M2 keine unerwünschten Hindernisse, wie die Reifen des Host-Fahrzeugs 1 bestehen. Dabei kann ein nachfolgender Betrieb zur Messung der Abstände zwischen den Punkten leichter durchgeführt werden.
  • Weiterhin sind bei der ersten Ausführungsform, um nachfolgende Berechnungen zu erleichtern, die jeweiligen Positionen des Punktes V1 und des Punktes V2 so eingestellt, dass eine gerade Linie V1V2, die die beiden Punkte verbindet, parallel zur x-Achse des Fahrzeugkoordinatensystems ist.
  • Als Nächstes misst der Bediener in Schritt S504 die Abstände zwischen den Punkten M1 und M2 an der Markierung und den Punkten V1 und V2 an der Fahrzeugkarosserie unter Verwendung eines Bandmaßes oder dergleichen. Genauer gesagt sind, wie in 2 gezeigt, die gemessenen Abstände die vier Abstände zwischen M1 und V1, zwischen M1 und V2, zwischen M2 und V1, und zwischen M2 und V2.
  • Als Nächstes gibt der Bediener in Schritt S505 die numerischen Werte der vier gemessenen Abstände über die Gemessener-Abstand-Eingabevorrichtung 20 ein. Insbesondere gibt der Bediener Messergebnisse für die vier Abstände ein, indem numerische Werte entsprechend den Elementen der in 4 gezeigten Eingabeeinheit 22a einstellt werden.
  • Als Nächstes berechnet die Trilaterationsberechnungseinheit 12 der Kalibrierungsparameter-Berechnungsvorrichtung 10 in Schritt S506 die Koordinaten des Punktes M1 und des Punktes M2 auf der Grundlage des Punktes V2 aus den numerischen Werten der vier über die Gemessener-Abstand-Eingabevorrichtung 20 eingegebenen Abstände. 6 ist eine Ansicht, die ein Trilaterationsverfahren zeigt, das von der Trilaterationsberechnungseinheit 12 gemäß der ersten Ausführungsform dieser Erfindung ausgeführt wird. Man beachte, dass 6 ein Beispiel eines Falles zeigt, bei dem die Koordinaten des Punktes M1 berechnet werden.
  • Insbesondere verwendet die Trilaterationsberechnungseinheit 12 die nachstehend gezeigten Gleichungen (1) und (2), in denen eine Trilateration verwendet wird, um einen Abstand V2H und einen Abstand M1H in Bezug auf einen Punkt H zu bestimmen, der vertikal von dem Punkt M1 an dem in 6 gezeigten Fahrzeugkoordinatensystem auf die Gerade V1V2 abfällt
    Figure DE102017207696A1_0002
  • Der auf diese Art und Weise ermittelte Abstand V2H und der Abstand M1H repräsentieren Werte einer x-Koordinate und einer z-Koordinate des Punktes M1, wenn der Punkt V2 als Ursprung gesetzt ist und die Gerade V2V1 als x-Achse gesetzt ist. Die Trilaterationsberechnungseinheit 12 berechnet auch die Koordinatenwerte des Punktes M2 unter Verwendung eines vergleichbaren Verfahrens.
  • Als Nächstes berechnet die Eingangsfehler-Bestimmungseinheit 13 im Schritt S507 einen Abstand M1M2 unter Verwendung der Koordinaten des Punktes M1 und des Punktes M2, die durch die Trilaterationsberechnungseinheit 12 bestimmt werden. Ferner liest die Eingabefehler-Bestimmungseinheit 13 aus der Markierungsform-Parameterspeichereinheit 11 einen Entwurfswert des Abstands M1M2 ein, der einen Teil der äußeren Form der Markierung 31 bildet. In der folgenden Beschreibung wird der Entwurfswert des Abstands M1M2 von dem Abstand M1M2, der als berechneter Wert erhalten wird, der als M1M2truth bezeichnet wird.
  • Die Eingangsfehler-Bestimmungseinheit 13 bestimmt dann, ob der Abstand M1M2 ein gültiger Wert ist, unter Verwendung des Abstands M1M2, der als berechneter Wert erhalten wird, des Abstands M1M2truth, der als Entwurfswert dient, und eines bestimmten Schwellwerts θM, indem bestimmt wird, ob die folgende Gleichung (3) erfüllt ist.
    Figure DE102017207696A1_0003
  • Wenn die Eingangsfehler-Bestimmungseinheit 13 bestimmt, dass Gleichung (3) erfüllt ist, bedeutet dies, dass die von dem Bediener in Schritt S505 eingegebenen Messwerte gültig sind. Dementsprechend schreitet die Routine zur Verarbeitung fort, die von der fahrzeugbasierten relativen Kamerapositions-Berechnungseinheit in Schritt S508 ausgeführt wird.
  • Wenn die Eingangsfehler-Bestimmungseinheit 13 bestimmt, dass Gleichung (3) nicht erfüllt ist, bedeutet dies andererseits, dass die von dem Bediener in Schritt S505 eingegebenen Messwerte ungültig sind. Dementsprechend wird der Bediener über diese Tatsache und den Wert des Fehlers über die in 4 gezeigte Ausgabeeinheit 22b der Gemessener-Abstand-Eingabevorrichtung 20 benachrichtigt, woraufhin die Routine zur Verarbeitung von Schritt S505 zurückkehrt, und der Bediener aufgefordert wird, eine erneute Messung und eine erneute Eingabeverarbeitung durchzuführen.
  • Es wird vermerkt, dass ein Unterschied zwischen dem Abstand M1M2 und dem Abstand M1M2truth, wenn er korrekt mit einem Maßband gemessen wird, als nicht größer als 1 cm angenommen wird. In der ersten Ausführungsform wird daher der Wert des spezifischen Schwellenwerts θM, der in Gleichung (3) verwendet wird, beispielsweise auf 2 cm eingestellt.
  • Wenn als Nächstes die Routine zum Schritt S508 fortschreitet, wandelt die fahrzeugbasierte relative Markierungspositions-Berechnungseinheit 14 die Koordinaten des Punktes M1 und des Punktes M2 auf der Grundlage des Punktes V2, bestimmt durch die Trilaterationsberechnungseinheit 12, in Koordinaten auf der Grundlage der Fahrzeugkoordinaten. In der ersten Ausführungsform sind, wie oben beschrieben, werden die Punkte V1 und V2 so eingestellt, dass die Gerade V1V2 parallel zur x-Achse der Fahrzeugkoordinaten ist. Daher kann eine Koordinatenumwandlung bzw. Koordinatentransformation durch die fahrzeugbasierte relative Markierungspositions-Berechnungseinheit 14 einfach durch Hinzufügen des Koordinatenwerts des Punktes V2 auf der Grundlage der Fahrzeugkoordinaten zu den Koordinaten auf der Grundlage des Punktes V2 erreicht werden.
  • Die Gerade V1V2 kann selbstverständlich so eingestellt werden, dass sie nicht parallel oder senkrecht zum Fahrzeugkoordinatensystem ist. In diesem Fall wird jedoch eine Rotation zur Koordinatenumwandlung hinzugefügt, was zu einer Erhöhung der Berechnungsverarbeitungslast führt.
  • Weiterhin können anstelle der Einstellung des Punktes V1 und des Punktes V2 auf dem Boden die Koordinaten M1, M2 des Fahrzeugkoordinatensystems durch Spezifizieren von gewünschten dreidimensionalen Punkten mit einer y-Achsenkomponente bestimmt werden. In diesem Fall muss jedoch eine dreidimensionale Koordinatenumwandlung bzw. Koordinatentransformation durchgeführt werden, und daher ist eine Berechnungsverarbeitung zur Berechnung einer dreidimensionalen Rotationsmatrix erforderlich.
  • Wenn darüber hinaus gewünschte dreidimensionale Punkte spezifiziert werden, es wird etwas schwieriger, den Abstand M1V1 und so weiter zu messen. Genauer gesagt ist es notwendig, die Abstände in der Luft anstatt auf dem Boden zu messen, und daher erhöht sich das Risiko von Messfehlern aufgrund einer Biegung des Bandmaßes oder dergleichen.
  • Als nächstes verwendet der Bediener im Schritt S509 die Kamera 30, um ein Bild, das die Markierung 31 enthält, zu einem gewünschten Zeitpunkt als ein statisches Bild aufzunehmen. Man beachte, dass während der Bilderfassung keine Hindernisse, die die Bilderfassung der gesamten Markierung 31 behindern, zwischen der Kamera 48, die als Bildeingabevorrichtung dient, und der angeordneten Markierung 31 existieren dürfen.
  • Als Nächstes identifiziert die Markierungspositions-Erfassungseinheit 16 durch eine Bildverarbeitung im Schritt S510 die in der Markierung 31 enthaltenen Merkmalspunkte aus dem über die Kamera 30 erhaltenen Bild und gibt deren Koordinaten aus.
  • Bei der ersten Ausführungsform, wie in 2 gezeigt, sind die Vielzahl von Merkmalspunkten, die in der Markierung 31 enthalten sind, aus regelmäßig angeordneten schwarzen Punkten gebildet. Dementsprechend gibt die Markierungspositions-Erfassungseinheit 16 jeweilige Gravitationsmittelpositionen der Vielzahl von schwarzen Punkten als Koordinaten der Merkmalspunkte aus. Die Kamera 30 enthält die Verzerrungskorrektureinheit, und daher kann, wenn die Linse der Kamera 30 verzerrt ist, zu diesem Zeitpunkt ein Bild ausgegeben werden, auf dem die Verzerrung korrigiert worden ist.
  • Weiterhin können anstelle der Bildverarbeitung zur Festlegung der Koordinaten der Merkmalspunkte der Markierung 31 eine Eingabebild-Anzeigevorrichtung und eine Koordinatenspezifikationsvorrichtung bereitgestellt werden, und die Positionen der Merkmalspunkte können vom Bediener bei der Betrachtung eines Bildschirm bestimmt werden.
  • Als nächstes berechnet die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15 im Schritt S511 die Position und die Lage der Kamera 30 in dem Fahrzeugkoordinatensystem durch Vergleichen der Positionen der in der Markierung enthaltenen Merkmalspunkte in dem Bild, wobei diese Positionen von der Markierungspositions-Erfassungseinheit 16 im Schritt S510 detektiert bzw. erfasst wurden, und der Positionen der Merkmalspunkte, die in der Markierung in dem Fahrzeugkoordinatensystem enthalten sind, wobei diese Positionen durch die fahrzeugbasierte relative Markierungspositions-Berechnungseinheit 14 im Schritt S508 berechnet wurden.
  • Genauer gesagt kann die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15 simultane Gleichungen aus der Entsprechung zwischen den Bildkoordinaten der Gruppe von Merkmalspunkten und deren Koordinaten in dem Fahrzeugkoordinatensystem einrichten, und die Position und die Lage der Kamera 30 berechnen, um den Fehler zwischen den simultanen Gleichungen zu minimieren.
  • Weiterhin speichert die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15 die berechnete Position und Lage der Kamera in der Kalibrierungsparameter-Speichereinheit 17 als externe Kalibrierungsparameter der Kamera. Die Reihe der Verarbeitungsprozeduren wird dann beendet.
  • Das oben beschriebene Kalibrierungsverfahren kann in folgende Verfahrensprozesse A1 bis A9 organisiert werden. (Prozess A1) Wenn die Markierung 31 als starrer Körper eingestellt ist, der auf dem Boden angeordnet ist, werden M1, M2 als zwei Punkte mit bekannten Koordinaten in einem starren körperbasierten Koordinatensystem eingestellt.
  • (Prozess A2) Punkte, die von zwei spezifischen Punkten des Fahrzeugs 1 vertikal auf den Boden abfallen, werden als Punkt V1 bzw. Punkt V2 eingestellt.
  • (Prozess A3) Die vier Abstände M1V1, M1V2, M2V1 und M2V2 zwischen den jeweiligen Sätzen von zwei Punkten werden tatsächlich auf der Grundlage der Punkte M1 und M2 und der Punkte V1 und V2 gemessen.
  • (Prozess A4) Die Gerade V1V2 auf dem Boden bzw. Erdboden wird parallel zur x-Achse des Fahrzeugkoordinatensystems gesetzt bzw. eingestellt, und die Koordinaten des Punktes M1 und des Punktes M2 auf der Grundlage des Punktes V2 werden aus den tatsächlichen, im Prozess A3 erhaltenen Messwerten unter Verwendung einer Trilateration bestimmt.
  • (Prozess A5) Der Abstand M1M2 wird aus den Koordinatenwerten des Punktes M1 und des Punktes M2, bestimmt in Prozess A4, berechnet und als berechneter Wert eingestellt. Ferner wird der Abstand M1M2 aus Koordinatenwerten auf dem starren körperbasierten Koordinatensystem berechnet und als Entwurfswert eingestellt.
  • (Prozess A6) Wenn die Differenz zwischen dem berechneten Wert und dem Entwurfswert nicht innerhalb eines zulässigen Schwellenwerts liegt, kehrt die Routine zum Prozess A3 zurück, indem eine tatsächliche Messung erneut durchgeführt wird. Wenn die Differenz zwischen dem berechneten Wert und dem Entwurfswert innerhalb des zulässigen Schwellenwerts lieg, geht die Routine andererseits zum nächsten Prozess A7.
  • (Prozess A7) Die in dem Prozess A4 auf Basis von V2 ermittelten Koordinaten der beiden Punkte M1, M2 werden in Koordinaten des Fahrzeugkoordinatensystems gewandelt bzw. transformiert, und die Koordinaten der in der Markierung des Fahrzeugkoordinatensystems enthaltenen Gruppe von Merkmalspunkten werden bestimmt.
  • (Prozess A8) Die an dem Fahrzeug 1 angebrachte Kamera 30 erfasst ein statisches Bild der Markierung, und die Positionen auf dem Bild der Gruppe von Merkmalspunkten, die in der Markierung enthalten sind, werden aus dem statischen Bild als Bildkoordinaten erfasst.
  • (Prozess A9) Die Position und Lage der Kamera 30 in dem Fahrzeugkoordinatensystem werden berechnet, so dass die Bildkoordinaten der in der Markierung enthaltenen Gruppe von Merkmalspunkten, die in der Prozess A8 erfasst werden, mit den diesbezüglichen Koordinaten in dem Fahrzeugkoordinatensystem übereinstimmen, die in Prozess A7 bestimmt werden. Die berechnete Position und Lage werden dann als die Kalibrierungsparameter in der Speichereinheit gespeichert.
  • Es wird vermerkt, dass zur Vereinfachung der Berechnungen die folgenden Einschränkungen der Prozesse A1 bis A9 angewendet werden.
  • (Einschränkung 1) In Bezug auf die beiden Punkte, die sich auf das Fahrzeug beziehen, werden die Koordinaten beider Punkte als Koordinatenwerte bestimmt, die sich auf den Punkt V1 und den Punkt V2 beziehen, wenn die Koordinaten des Punktes M1 und des Punktes M2 unter Verwendung der Trilateration bestimmt werden. Stattdessen kann jedoch der Koordinatenwert von einem von dem Punkt M1 und dem Punkt M2 als ein Koordinatenwert bestimmt werden, der sich auf den Punkt V1 und den Punkt V2 bezieht, und der andere Koordinatenwert kann als ein Koordinatenwert bestimmt werden, der sich auf zwei unterschiedliche Punkte zu dem Punkt V1 und dem Punkt V2 bezieht.
  • (Einschränkung 2) In Bezug auf die Richtung der Geraden V1V2 ist die Gerade V1V2 parallel zur x-Achse des Fahrzeugkoordinatensystems eingestellt, muss aber nicht zwangsläufig parallel zur x-Achse sein.
  • (Einschränkung 3) In Bezug auf die Gruppe der Merkmalspunkte, die in der Markierung enthalten sind, werden in dem Prozess A7 bis A9 die Kalibrierungsparameter bestimmt, indem die Positionen der Bildkoordinaten der Gruppe von Merkmalspunkten, die in der Markierung enthalten sind, und deren Koordinaten in dem Fahrzeugkoordinatensystem ausgerichtet werden. Die Gruppe der Merkmalspunkte, die in der Markierung enthalten sind, muss jedoch nicht unbedingt verwendet werden. Anstelle der Verwendung der in der Markierung enthaltene Gruppe von Merkmalspunkten, können die Kalibrierungsparameter bestimmt werden, indem die Positionen der Bildkoordinaten der beiden Punkte M1, M2 relativ zum starren Körper und deren Koordinaten in dem Fahrzeugkoordinatensystem ausgerichtet werden.
  • Daher nehmen typische Prozesse, die in einem Fall ausgeführt werden, bei dem die Einschränkungen 1 bis 3 nicht angewendet werden, die Form der Prozesse B1 bis B9 an, die nachfolgend beschrieben werden. In der folgenden Beschreibung werden die beiden Punkte mit bekannten Koordinaten in dem starren körperbasierten Koordinatensystem als R0 und R1 eingestellt, und zwei Sätze von Punkten, die als fahrzeugbasiertes Koordinatensystem definiert sind, werden als V0, V1 und V2, V3 eingestellt. Hier entsprechen die Punkte R0, R1 den Punkten, die eine Vielzahl von starren körperbasierten Punkten ausbilden, während die Punkte V0, V1, V2 und V3 den Punkten entsprechen, die eine Vielzahl von fahrzeugbasierten Punkten ausbilden.
  • (Prozess B1) Wenn die Markierung 31 als starrer Körper eingerichtet ist, der auf dem Boden angeordnet ist, werden R0, R1 als zwei Punkte mit bekannten Koordinaten in dem starren körperbasierten Koordinatensystem eingestellt.
  • (Prozess B2) Punkte, die von zwei spezifischen Punkten des Fahrzeugs 1 vertikal auf den Boden abfallen, werden jeweils als der Punkt V0 und der Punkt V1 eingestellt. Ferner werden Punkte, die von anderen zwei spezifischen Punkten an dem Fahrzeug 1 vertikal auf den Boden abfallen, jeweils als der Punkt V2 und der Punkt V3 eingestellt.
  • (Prozess B3) Zwei Abstände R0V0, R0V1 zwischen zwei Punkten werden tatsächlich auf der Basis des Punktes R0 und der Punkte V0 und V1 gemessen. In ähnlicher Weise werden zwei Abstände R1V2, R1V3 zwischen zwei Punkten tatsächlich auf der Basis des Punktes R1 und der Punkte V2 und V3 gemessen.
  • (Prozess B4) Die Koordinaten des Punktes R0 in einem V0-basierten Koordinatensystem mit V0 als Ursprung und einer Geraden V0V1 als eine der Achsen werden aus den in dem Prozess B3 unter Verwendung der Trilateration erhaltenen tatsächlichen Messwerten ermittelt, und die ermittelten Koordinaten werden als (R0x_V0, R0y_V0) eingestellt. In ähnlicher Weise werden die Koordinaten des Punktes R1 in einem V2-basierten Koordinatensystem mit V2 als Ursprung und einer Geraden V2V3 als eine der Achsen aus den in dem Prozess B3 unter Verwendung der Trilateration erhaltenen tatsächlichen Messwerten ermittelt, und die ermittelten Koordinaten werden als (R1x_V0, R1y_V0) eingestellt.
  • Ferner werden die ermittelten Koordinaten (R0x_V0, R0y_V0) und (R1x_V0, R1y_V0) in Koordinaten eines fahrzeugbasierten Koordinatensystems mit einem gemeinsamen Ursprung umgewandelt bzw. transformiert, wobei Koordinaten (R0x_true, R0y_true) und (R1x_true, R1y_true) erhalten werden.
  • Im Folgenden wird der Prozess B4 anhand einer Zeichnung und Formeln näher beschrieben. 7 ist eine veranschaulichende Ansicht, die ein Verfahren zum Bestimmen der Koordinaten des Punktes R0 in dem fahrzeugbasierten Koordinatensystem in dem Prozess B4 gemäß der ersten Ausführungsform dieser Erfindung zeigt. Hier werden Werte von V0 und V1 in dem V0-basierten Koordinatensystem als V0 = (V0x, V0y) bzw. V1 = (V1x, V1y) eingestellt.
  • Ein Winkel αV0, der durch das V0-basierte Koordinatensystem mit V0 als Ursprung und dem Fahrzeugkoordinatensystem mit O als Ursprung ausgebildet wird, wird aus der nachstehend gezeigten Gleichung (4) bestimmt.
    Figure DE102017207696A1_0004
  • Die Koordinaten R0true des Punktes R0 in dem fahrzeugbasierten Koordinatensystem können dann aus der folgenden Gleichung (5) bestimmt werden.
    Figure DE102017207696A1_0005
  • Die Koordinaten R1true des Punktes R1 in dem fahrzeugbasierten Koordinatensystem können in ähnlicher Art und Weise bestimmt werden.
  • (Prozess B5) Der Abstand R0R1 wird aus den Koordinatenwerten des Punktes R0 und des Punktes R1 berechnet, wie in Prozess B4 bestimmt, und als berechneter Wert gesetzt. Ferner wird der Abstand R0R1 aus Koordinatenwerten berechnet, die sich auf die Markierung 31 in dem starren körperbasierten Koordinatensystem beziehen, die im Voraus in der Markierungsform-Parameterspeichereinheit 11 gespeichert sind, und wird als ein Entwurfswert eingestellt.
  • (Prozess B6) Wenn die Differenz zwischen dem berechneten Wert und dem Entwurfswert nicht innerhalb eines zulässigen Schwellenwerts liegt, kehrt die Routine zum Prozess B3 zurück, in dem die tatsächliche Messung wieder durchgeführt wird. Wenn die Differenz zwischen dem berechneten Wert und dem Entwurfswert innerhalb des zulässigen Schwellenwerts liegt, geht die Routine andererseits zum nächsten Prozess B7 über.
  • (Prozess B7) Die am Fahrzeug 1 angebrachte Kamera 30 erfasst ein statisches Bild der Markierung, und die Positionen von R0 und R1 innerhalb der Markierung werden aus dem statischen Bild als Bildkoordinaten erfasst bzw. detektiert.
  • (Prozess B8) Die Position und Lage der Kamera 30 in dem Fahrzeugkoordinatensystem werden berechnet, so dass die in dem Prozess B7 erfassten Bildkoordinaten der beiden Punkte R0, R1 mit den Koordinaten des Fahrzeugkoordinatensystems übereinstimmen, die im Prozess B4 bestimmt werden. Die berechnete Position und Lage werden dann in der Kalibrierungsparameter-Speichereinheit 17 als Kalibrierungsparameter gespeichert.
  • Im Folgenden wird der Prozess B8 anhand einer Zeichnung und Formeln näher beschrieben. 8 ist eine erläuternde Ansicht, die ein Verfahren zum Bestimmen der Kalibrierungsparameter in dem Prozess B8 gemäß der ersten Ausführungsform dieser Erfindung zeigt. Hier werden Werte der Bildkoordinaten von R0 und R1 als gesetzt R0 = (R0x_R, R0y_R) bzw. R1 = (R1x_R, R1y_R) eingestellt.
  • Eine relative Lage αR, die einem Winkel entspricht, der durch die Bildkoordinaten mit OR als Ursprung und dem Fahrzeugkoordinatensystem mit O als Ursprung gebildet wird, wird aus der nachstehend gezeigten Gleichung (6) bestimmt.
    Figure DE102017207696A1_0006
  • Ferner kann aus der nachstehend gezeigten Gleichung (7) eine relative Position des Ursprungs OR bestimmt werden.
    Figure DE102017207696A1_0007
  • Als Ergebnis kann die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15 die relative Lage αR und die relative Position des Ursprungs OR als die Kalibrierungsparameter bestimmen.
  • Es wird vermerkt, dass zur Vereinfachung der Berechnungen in den Prozessen B1 und B2 der Punkt R0, der Punkt R1 und die Punkte V0 bis V3 alle als Punkte in einer identischen Ebene zum Erdboden definiert sind. Gemäß dieser Erfindung können diese Punkte jedoch als Punkte über dem Erdboden in einem dreidimensionalen Koordinatensystem definiert werden. In diesem Fall können Koordinatenwerte, die jenen der Prozesse B1 und B2 entsprechen, berechnet werden, indem die Punkte in einer zweidimensionalen Ebene auf dem Erdboden durch Punkte ersetzt werden, die in einem dreidimensionalen Koordinatensystem definiert sind.
  • 9 ist eine veranschaulichende Ansicht, die ein Verfahren zum Ersetzen von Punkten in einer zweidimensionalen Ebene mit Punkten in einem dreidimensionalen Koordinatensystem gemäß der ersten Ausführungsform dieser Erfindung zeigt. In 9 ist der Punkt R0 in einer Höhe R0height von dem Erdboden definiert, und der Punkt V0 ist in einer Höhe V0height von dem Erdboden definiert. Ferner ist R0G ein Punkt, der definiert ist, indem der Punkt R0 vertikal auf den Boden abfällt, und V0G ist ein Punkt, der definiert ist, indem der Punkt V0 vertikal auf den Boden abfällt.
  • Die Abszisse in 9 ist eine Achse, die eine gerade Linie enthält, die den Punkt R0G mit dem Punkt V0G in einer horizontalen Ebene verbindet bzw. verknüpft, während die Ordinate eine Höhenrichtung zeigt.
  • Ein Abstand zwischen R0 und V0 wird als aktueller Messwert ermittelt. Ferner kann aus einem Abstand zwischen R0 und V0 in der Höhenrichtung aus R0height – V0height bestimmt werden. Dementsprechend kann ein Abstand zwischen R0 und V0 in Richtung der Abszisse, also ein Abstand zwischen R0G und V0G, nach dem Satz von Pythagoras aus
    Figure DE102017207696A1_0008
    ermittelt werden.
  • Der Abstand in der horizontalen Ebene zwischen zwei weiteren Punkten kann gleichermaßen mit dem Satz von Pythagoras bestimmt werden.
  • Somit können gemäß der ersten Ausführungsform die Kalibrierungsparameter der Kamera, die an dem Fahrzeug angebracht ist, einfach und schnell unter Verwendung einer Berechnungsverarbeitung bestimmt werden, indem die Position definiert wird, in der die Markierung relativ zu dem Fahrzeug angeordnet werden, und zwar in Übereinstimmung mit Messwerten von vier erhaltenen Abständen, die aus Kombinationen von zwei Punkten in dem fahrzeugbasierten Koordinatensystem und zwei Punkten in dem starren körperbasierten Koordinatensystem erhalten werden.
  • Genauer gesagt kann durch Verwendung eines Trilaterationsverfahrens eine relative Positionsbeziehung zwischen dem Fahrzeug und der Markierung durch Messen der vier Abstände bestimmt werden. Darüber hinaus werden nur Bodenabstände gemessen, so dass der Kalibriervorgang schnell und einfach mit einem Lot und einem einzigen Maßband durchgeführt werden kann, ohne dass spezielle Geräte wie ein dreidimensionales Messgerät oder eine Markiereinrichtung benötigt werden.
  • Weiterhin kann durch die Einstellung von zwei Punkten in dem fahrzeugbasierten Koordinatensystem, so dass die Gerade, die die beiden Punkte miteinander verbindet, parallel zu einer der Achsen des Fahrzeugkoordinatensystems ist, die Koordinatentransformation mittels einer parallelen Bewegungsverarbeitung allein durchgeführt werden. Daher ist eine Gleitkomma-Berechnung nicht erforderlich, und daher besteht keine Gefahr, dass eine trigonometrische Funktionsberechnung eine Näherungsberechnung ist. Als Ergebnis kann die Berechnungsgenauigkeit der Koordinatentransformation verbessert werden.
  • Selbst dann, wenn, wie oben unter Verwendung von 9 erläutert, Punkte mit dreidimensionaler Höhe anstelle von Punkten auf dem Erdboden verwendet werden, können die Kalibrierungsparameter bestimmt werden, indem die Punkte mit dreidimensionaler Höhe unter Verwendung des Satzes von Pythagoras in Punkte auf dem Erdboden transformiert werden.
  • Ferner wird eine Konfiguration bereitgestellt, um zu bestimmen, ob ein Absolutwert der Differenz zwischen dem Entwurfswert des Abstands in dem starren körperbasierten Koordinatensystem und dem berechneten Wert des Abstands in dem fahrzeugbasierten Koordinatensystem innerhalb eines bestimmten Schwellenwerts liegt oder nicht. Weiterhin sind eine Konfiguration zur Anzeige des Bestimmungsergebnisses und eine Konfiguration zur Anzeige der Messpositionen in Form von Icons bereitgestellt, die auf dem aufgenommenen Bild überlagert sind.
  • Somit kann der Bediener einen Messfehler oder einen Eingabefehler zuverlässig identifizieren, genaue Messdaten eingeben, während der angezeigte Anleitung gefolgt wird, und Kalibrierungsparameter auf dieser genauen Messdaten berechnen.
  • Man beachte, dass dann, wenn die Icons durch die Anzeigeeinheit 22c angezeigt werden, um auf dem aufgenommene Bild zu überlagern, wie in 4 gezeigt, die Position der Markierung innerhalb des Kamerabildes unter Verwendung einer Bildverarbeitung detektiert bzw. erfasst werden kann, und die Anzeigepositionen der Icons in Übereinstimmung mit dem Erfassungsergebnis zu genauen Positionen korrigiert werden können. Mit anderen Worten können die Anzeigepositionen der Icons zu genauen Positionen korrigiert werden, unabhängig von der Position, in der das Host-Fahrzeug gestoppt wird, oder der Zustand, in dem die Kamera montiert ist.
  • Gemäß der ersten Ausführungsform ist es daher möglich, ein Kalibrierungsverfahren zu realisieren, bei dem keine Notwendigkeit besteht, eine Spezialvorrichtung zur Anordnung der Markierung zu verwenden, und die Kalibrierungsparameter können mit einer hohen Genauigkeit und einer kleineren Anzahl von Schritten als bei einem herkömmlichen Verfahren bestimmt werden.
  • Zweite Ausführungsform
  • In der ersten Ausführungsform wurde ein Verfahren zum Berechnen der Kalibrierungsparameter in einem Fall beschrieben, bei dem die beiden Punkte an der Markierung 31, die sich auf das Host-Fahrzeug 1 beziehen, zweidimensional auf dem Erdboden angeordnet sind. In einer zweiten Ausführungsform wird andererseits ein Verfahren zum Berechnen der Kalibrierungsparameter in einem Fall beschrieben, bei dem drei Punkte an der Markierung 31 dreidimensional relativ zu dem Host-Fahrzeug 1 angeordnet sind.
  • 10 ist eine schematische äußere Ansicht, die eine Kalibrierungsparameterberechnung darstellt, die durch eine Kalibrierungsvorrichtung gemäß der zweiten Ausführungsform dieser Erfindung ausgeführt wird. 10 zeigt ein Beispiel für einen Fall, bei dem die Markierung 31 dreidimensional relativ zu dem Host-Fahrzeug 1 angeordnet ist.
  • In diesem Fall kann, solang die Markierung 31 perfekt senkrecht zum Boden oder dergleichen steht, die relative Position der Markierung 31 relativ zu dem Host-Fahrzeug 1 bestimmt werden, indem ein Verfahren wie dasjenige der ersten Ausführungsform in Bezug auf den Teil der Markierung implementiert werden, die den Erdboden berührt.
  • Wenn dies jedoch nicht der Fall ist, oder wenn es nicht bekannt ist, ob die Markierung 31 perfekt senkrecht zum Boden steht oder nicht, oder wenn die Markierung 31 den Boden nicht berührt, muss die relative Position und die relative Lage der Markierung 31 dreidimensional bestimmt werden. Daher wird in der zweiten Ausführungsform ein Beispiel beschrieben, bei dem das Verfahren der ersten Ausführungsform auf drei Dimensionen erweitert wird.
  • 11 ist ein Flussdiagramm, das eine Reihe von Verarbeitungsprozessen des Kalibrierungsverfahrens gemäß der zweiten Ausführungsform dieser Erfindung zeigt. Hier wird die folgende Beschreibung auf Unterschiede zu dem Flussdiagramm der ersten Ausführungsform gerichtet, das in 5 gezeigt ist.
  • Zuerst ordnet der Bediener in Schritt S1101 die Markierung 31, die eine Vielzahl von Merkmalspunkten enthält, auf dem Erdboden innerhalb des Abbildungsbereichs der Kamera 30 an.
  • Zu diesem Zeitpunkt müssen die Position der Markierung 31 und die relative Position des Host-Fahrzeugs 1 noch nicht genau bekannt sein. Die Position, in der die Markierung 31 angeordnet ist, wird jedoch im Voraus ungefähr festgelegt, um die Genauigkeit der Kalibrierungsberechnung zu stabilisieren, die unter Verwendung des von der Kamera 30 aufgenommenen Bildes ausgeführt wird. Man beachte, dass in der zweiten Ausführungsform im Gegensatz zu der ersten Ausführungsform die Markierung 31 nicht vor dem Host-Fahrzeug 1 auf dem Erdboden angeordnet sein muss.
  • Als Nächstes bewegt der Bediener im Schritt S1102 das Fahrzeug 1, so dass sich die Markierung 31 innerhalb des tatsächlichen Bildgebungsbereichs der zu kalibrierenden Kamera 30 befindet, die an dem Fahrzeug 1 angebracht ist. Zu diesem Zeitpunkt kann der Bediener die Position bestimmen, in der das Fahrzeug 1 zu stoppen ist, während auf das aufgenommene Bild Bezug genommen wird, das durch die Anzeigeeinheit 22c der Gemessener-Abstand-Eingabevorrichtung 20 angezeigt wird.
  • Als nächstes stellt der Bediener im Schritt S1103 einen Punkt V1, einen Punkt V2 und einen Punkt V3 als drei spezifische Punkte an dem Fahrzeug 1 ein. Es ist zu beachten, dass im Gegensatz zu der ersten Ausführungsform die drei spezifischen Punkte gemäß der zweiten Ausführungsform nicht unbedingt auf dem Erdboden eingestellt werden müssen.
  • Als nächstes misst der Bediener im Schritt S1104 Abstände zwischen einem Punkt M1, einem Punkt M2 und einem Punkt M3 an der Markierung und dem Punkt V1, dem Punkt V2 und dem Punkt V3 an der Fahrzeugkarosserie unter Verwendung eines Bandmaßes oder dergleichen. Genauer gesagt werden neun Abstände, nämlich Abstände zwischen M1 und V1, zwischen M1 und V2, zwischen M1 und V3, zwischen M2 und V1, zwischen M2 und V2, zwischen M2 und V2, zwischen M3 und V3, zwischen M3 und V1, zwischen M3 und V2 und zwischen M3 und V3 gemessen. Man beachte, dass in 10 nur drei Abstände, nämlich M1V1, M1V2 und M1V3, als Beispiele dargestellt sind.
  • Als Nächstes gibt der Bediener im Schritt S1105 die numerischen Werte der neun gemessenen Abstände über die Gemessener-Abstand-Eingabevorrichtung 20 ein. Genauer gesagt gibt der Bediener die Messergebnisse für die neun Abstände ein, indem numerische Werte entsprechend den jeweiligen neun Elementen der Eingabeeinheit 22a eingestellt werden.
  • Als Nächstes berechnet im Schritt S1106 die Trilaterationsberechnungseinheit 12 der Kalibrierungsparameter-Berechnungsvorrichtung 10 die Koordinaten des Punktes M1, des Punktes M2 und des Punktes M3 auf der Grundlage des Punktes V3 aus den numerischen Werten der neun Entfernungen, die über die Gemessener-Abstand-Eingabevorrichtung 20 darin eingegeben werden.
  • In der ersten Ausführungsform werden die Koordinaten von M1 und M2 auf der Basis von V2 durch Trilateration unter Verwendung der Tatsache berechnet, dass ein Dreieck eindeutig aus den Längen der drei Seiten des Dreiecks bestimmt wird. Bei der zweiten Ausführungsform werden andererseits die Koordinaten von M1, M2 und M3 auf der Basis von V3 unter Verwendung der Tatsache berechnet, dass eine dreieckige Pyramide eindeutig aus den Längen der sechs Seiten der dreieckigen Pyramide bestimmt wird.
  • Als Nächstes berechnet die Eingangsfehler-Bestimmungseinheit 13 im Schritt S1107 einen Abstand M1M2, einen Abstand M1M3 und einen Abstand M2M3 unter Verwendung der Koordinaten des Punktes M1, des Punktes M2 und des Punktes M3, bestimmt durch die Trilaterationsberechnungseinheit 12. Ferner liest die Eingangsfehler-Bestimmungseinheit 13 Entwurfswerte des Abstands M1M2, des Abstands M1M3 und des Abstands M2M3, die Teile der äußeren Form der Markierung 31 bilden, aus der Markierungsform-Parameterspeichereinheit 11.
  • Man beachte, dass in der folgenden Beschreibung die Entwurfswerte des Abstandes M1M2, des Abstandes M1M3 und des Abstandes M2M3 unterschieden werden von dem Abstand M1M2, dem Abstand M1M3 und dem Abstand M2M3, die als berechnete Werte erhalten werden, indem auf einen Abstand M1M2truth, einen Abstand M1M3truth bzw. einen Abstand M2M3truth verwiesen wird.
  • Die Eingangsfehler-Bestimmungseinheit 13 bestimmt dann, ob Differenzen zwischen entsprechenden berechneten Werten und Entwurfswerten innerhalb des spezifischen Schwellenwerts θM liegen oder nicht.
  • Wenn die Eingangsfehler-Bestimmungseinheit 13 feststellt, dass kein Eingabefehler aufgetreten ist, bedeutet dies, dass die vom Bediener im Schritt S1105 eingegebenen Messwerte gültig sind. Dementsprechend schreitet die Routine zur Verarbeitung fort, die von der fahrzeugbasierten relativen Kamerapositions-Berechnungseinheit im Schritt S1108 ausgeführt wird.
  • Wenn die Eingangsfehler-Bestimmungseinheit 13 feststellt, dass ein Eingangsfehler aufgetreten ist, bedeutet dies andererseits, dass die von dem Bediener im Schritt S1105 eingegebenen Messwerte ungültig sind. Dementsprechend wird, wie in 4 gezeigt, der Bediener über diese Tatsache und den Wert des Fehlers über die Ausgabeeinheit 22b der Gemessener-Abstand-Eingabevorrichtung 20 informiert, woraufhin die Routine zur Verarbeitung von Schritt S1105 zurückkehrt, in dem der Bediener aufgefordert wird, eine erneute Messungs- und eine erneute Eingabeverarbeitung durchzuführen.
  • Man beachte, dass bei der ersten Ausführungsform nur die Koordinaten der beiden Punkte M1, M2 an der Markierung 31 bestimmt werden und daher das Auftreten eines Eingangsfehlers nur mit dem einzigen Abstand M1M2 bestimmt wird. In der zweiten Ausführungsform werden andererseits die Koordinaten der drei Punkte M1, M2, M3 bestimmt und somit kann das Auftreten eines Eingangsfehlers individuell in Bezug auf die drei Abstände M1M2, M2M3 und M3M1 bestimmt werden.
  • Zu diesem Zeitpunkt kann zum Beispiel ein Fall auftreten, bei dem Eingabefehler in Bezug auf den Abstand M2M3 und den Abstand M3M1 festgestellt worden sind, aber kein Eingabefehler in Bezug auf den Abstand M1M2 festgestellt wurde. In diesem Fall sind die Abstände, die sich auf die Punkte M1 und M2 beziehen, höchstwahrscheinlich richtig und es wird daher angenommen, dass durch erneute Messung nur der drei Abstände, die sich auf M3 beziehen, nämlich V1M3, V2M3 und V3M3, die Eingabefehlerbestimmung wahrscheinlich nicht mehr vorliegen wird. Als Ergebnis kann eine erneute Messung effizienter durchgeführt werden, verglichen mit einem Fall, bei dem alle neun Datenelemente erneut gemessen werden.
  • Wenn die Routine als Nächstes zum Schritt S1108 fortschreitet, wandelt bzw. transformiert die fahrzeugbasierte relative Markierungspositions-Berechnungseinheit 14 die Koordinaten des Punktes M1, des Punktes M2 und des Punktes M3 auf der Grundlage des Punktes V3, wobei diese Koordinaten durch die Trilaterationsberechnungseinheit 12 bestimmt worden sind, in Koordinaten auf der Grundlage der Fahrzeugkoordinaten.
  • Man beachte, dass bei der ersten Ausführungsform die Koordinatentransformation durch zweidimensionale Drehung und Translation allein durchgeführt wird, während bei der zweiten Ausführungsform die Koordinatentransformation unter Verwendung einer dreidimensionalen Drehung und Translation durchgeführt wird.
  • Als Nächstes verwendet der Bediener in Schritt S1109 die Kamera 30, um ein Bild, das die Markierung 31 enthält, zu einem gewünschten Zeitpunkt als ein statisches Bild aufzunehmen. Man beachte, dass während der Bilderfassung keine Hindernisse, die die Bilderfassung der gesamten Markierung 31 behindern, zwischen der Kamera 30, die als Bildeingabevorrichtung dient, und der angeordneten Markierung 31 existieren dürfen.
  • Als Nächstes identifiziert die Markierungspositions-Erfassungseinheit 16 im Schritt S1110 durch eine Bildverarbeitung die in der Markierung 31 enthaltenen Merkmalspunkte aus dem über die Kamera 30 erhaltenen Bild und gibt deren Koordinaten aus.
  • Als Nächstes berechnet die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15 im Schritt S1111 die Position und die Lage der Kamera 30 in dem Fahrzeugkoordinatensystem aus den Positionen der Merkmalspunkte, die in der Markierung auf dem Bild enthaltenen sind, wobei diese Positionen von der Markierungspositions-Erfassungseinheit 16 im Schritt S1110 erfasst wurden, und die Positionen der Merkmalspunkte, die in der Markierung in dem Fahrzeugkoordinatensystem enthalten sind, wobei diese Positionen durch die fahrzeugbasierte relative Markierungspositions-Berechnungseinheit 14 im Schritt S1108 berechnet wurden.
  • Genauer gesagt kann die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15 simultan Gleichungen aus der Entsprechung zwischen den Bildkoordinaten der Gruppe von Merkmalspunkten und deren Koordinaten in dem Fahrzeugkoordinatensystem einrichten und die relative Lage der Kamera 30 und die relative Position des Ursprungs davon berechnen, um so den Fehler zwischen den simultanen Gleichungen zu minimieren.
  • Weiterhin speichert die fahrzeugbasierte relative Kamerapositions-Berechnungseinheit 15 die berechnete relative Lage der Kamera 30 und die relative Position ihres Ursprungs in der Kalibrierungsparameter-Speichereinheit 17 als externe Kalibrierungsparameter der Kamera 30. Die Folge der Verarbeitungsschritte bzw. Verarbeitungsprozesse wird dann beendet.
  • Somit können gemäß der zweiten Ausführungsform die Kalibrierungsparameter der Kamera, die an dem Fahrzeug angebracht ist, einfach und schnell unter Verwendung einer Berechnungsverarbeitung bestimmt werden, indem die Position definiert wird, in der die Markierung relativ zu dem Fahrzeug dreidimensional gemäß den Messwerten von neun Abständen aus Kombinationen von drei Punkten am Fahrzeug und drei Punkten auf der Markierung anzuordnen ist.
  • Insbesondere können die Kalibrierungsparameter der am Fahrzeug montierten Kamera einfach und schnell durch Erweiterung der Rechenverarbeitung von zwei Dimensionen auf drei Dimensionen bestimmt werden, auch wenn eine Markierung verwendet wird, die den Boden nicht berührt.
  • Gemäß der zweiten Ausführungsform ist es daher möglich, ein Kalibrierungsverfahren zu realisieren, bei dem die in dem starren körperbasierten Koordinatensystem und dem fahrzeugbasierten Koordinatensystem angegebenen Punkte auf einen dreidimensionalen Bereich erweitert werden und mit dem keine Notwendigkeit besteht, ein spezielles Gerät zu verwenden, um die Markierung anzuordnen, und die Kalibrierungsparameter können in einer kleineren Anzahl von Schritten als bei einem herkömmlichen Verfahren bestimmt werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2013-89984 [0005]

Claims (18)

  1. Kalibrierungsvorrichtung zum Messen von relativen Positionen und relativen Lagen eines starren Körpers, der auf dem Erdboden angeordnet ist, und eines Fahrzeugs, wobei die Kalibrierungsvorrichtung umfasst: eine Gemessener-Abstand-Eingabevorrichtung (20), die auf Grundlage einer von einem Bediener durchgeführten Eingabeoperation Messwerte von jeweiligen Abständen zwischen zwei Punkten auf der Basis mehrerer fahrzeugbasierter Punkte mit bekannten Koordinaten in einem fahrzeugbasierten Koordinatensystem empfängt, das in Übereinstimmung mit einer Stoppposition des Fahrzeugs definiert ist und einen Ursprung und zwei auf dem Erdboden befindliche Achsen enthält, und einer Vielzahl von starren körperbasierten Punkten mit bekannten Koordinaten auf einem starren körperbasierten Koordinatensystem, das durch eine Anordnungsposition einer Markierung definiert ist, die als der starre Körper dient, der auf dem Erdboden angeordnet ist und einen Ursprung und zwei Achsen enthält, die auf dem Erdboden angeordnet sind, wobei die beiden Punkte durch eine Kombination von einem der Vielzahl von fahrzeugbasierten Punkten und einem der Vielzahl von starren körperbasierten Punkten ausgebildet sind; und eine Kalibrierungsparameter-Berechnungseinrichtung (10), die eine relative Lage des starren körperbasierten Koordinatensystems und eine relative Position des Ursprungs davon in dem fahrzeugbasierten Koordinatensystem als Kalibrierungsparameter berechnet, auf Basis der jeweiligen Messwerte und eines erfassten Bilds einschließlich der Markierung, das von einer Kamera erfasst wird, das an dem Fahrzeug montiert und einer Kalibrierung unterzogen wird, wobei die Kalibrierungsparameter-Berechnungsvorrichtung (10) aufweist: ein Koordinatenberechnungsmittel (12, 14), das Koordinaten der Vielzahl von starren körperbasierten Punkten in dem fahrzeugbasierten Koordinatensystem aus den jeweiligen Messwerten berechnet; und ein Parameterberechnungsmittel (15 bis 17), das die relative Lage und die relative Position des Ursprungs als die Kalibrierungsparameter berechnet, aus einer Korrespondenzbeziehung zwischen Positionen von Bildkoordinaten der Vielzahl von starren körperbasierten Punkten, die in dem aufgenommenen Bild enthalten sind, und den Koordinaten der Vielzahl von starren körperbasierten Punkten in dem fahrzeugbasierten Koordinatensystem.
  2. Kalibrierungsvorrichtung nach Anspruch 1, wobei die Vielzahl von fahrzeugbasierten Punkten durch einen Punkt V0, einen Punkt V1, einen Punkt V2 und einen Punkt V3 mit bekannten Erdbodenkoordinaten in dem fahrzeugbasierten Koordinatensystem ausgebildet sind, die Vielzahl von starren körperbasierten Punkten durch einen Punkt R0 und einen Punkt R1 mit bekannten Erdbodenkoordinaten in dem starren körperbasierten Koordinatensystem ausgebildet sind, die Gemessener-Abstand-Eingabevorrichtung (20) als die jeweilige Messwerte vier Messwerte empfängt, und zwar einen Messwert eines Abstandes V0R0 zwischen dem Punkt V0 und dem Punkt R0, einen Messwert eines Abstandes V1R0 zwischen dem Punkt V1 und dem Punkt R0, einen Messwert eines Abstandes V2R1 zwischen dem Punkt V2 und dem Punkt R1 und ein Messwert eines Abstandes V3R1 zwischen dem Punkt V3 und dem Punkt R1, auf Grundlage einer vom Bediener durchgeführten Eingabeoperation, wobei das Koordinatenberechnungsmittel (12, 14) umfasst: eine Trilaterationsberechnungseinheit (12), die Koordinaten des Punktes R0 in einem V0-basierten Koordinatensystem mit dem Punkt V0 als Ursprung und einer Geraden, die den Punkt V0 mit dem Punkt V1 als eine Achse verbindet, und Koordinaten des Punktes R1 in einem V2-basierten Koordinatensystem mit dem Punkt V2 als Ursprung und einer Geraden, die den Punkt V2 mit dem Punkt V3 als eine Achse verbindet, aus den vier Messwerten unter Verwendung eines Trilaterationsverfahrens berechnet; und eine Koordinatentransformationseinheit (14), die die Koordinaten des Punktes R0 in dem V0-basierten Koordinatensystem in Koordinaten des fahrzeugbasierten Koordinatensystems mittels Rotation und Parallelbewegung transformiert, und die Koordinaten des Punktes R1 in dem V2-basiertes Koordinatensystem in Koordinaten in dem fahrzeugbasierten Koordinatensystem durch Rotation und Parallelbewegung transformiert, und das Parameterberechnungsmittel (15 bis 17) die relative Lage und die relative Position des Ursprungs als die Kalibrierungsparameter berechnet, aus einer Korrespondenzbeziehung zwischen Positionen von Bildkoordinaten des Punktes R0 und des Punktes R1, die in dem aufgenommenen Bild enthalten sind, und den Koordinaten des Punktes R0 und des Punktes R1 in dem fahrzeugbasierten Koordinatensystem.
  3. Kalibrierungsvorrichtung nach Anspruch 2, wobei die Koordinatentransformationseinheit (14) eine Koordinatentransformation nur durch Parallelbewegung durchführt, wenn der Punkt V2 und der Punkt V3 gleich dem Punkt V0 bzw. dem Punkt V1 sind und der Punkt V0 und der Punkt V1 derart eingestellt sind, dass die Gerade, die den Punkt V0 mit dem Punkt V1 verbindet, parallel zu einer der Achsen des fahrzeugbasierten Koordinatensystems ist.
  4. Kalibrierungsvorrichtung nach Anspruch 2, wobei dann, wenn das fahrzeugbasierte Koordinatensystem und das starre körperbasierte Koordinatensystem beide dreidimensionale Koordinatensysteme mit einer dritten Achse in einer Höhenrichtung vom Erdboden sind, und zumindest einer von sechs Punkten, und zwar der Punkt V0, der Punkt V1, der Punkt V2, der Punkt V3, der Punkt R0 und der Punkt R1 ein bekannter Punkt ist, der sich nicht auf dem Erdboden befindet, die Trilaterationsberechnungseinheit (12) Punkte bestimmt, die durch Absenken des Punktes V0, des Punktes V1, des Punktes V2, des Punktes V3, des Punktes R0 und des Punktes R1 vertikal auf den Erdboden erhalten werden, als einen Punkt V0G, einen Punkt V1G, einen Punkt V2G, einen Punkt V3G, einen Punkt R0G bzw. einen Punkt R1G, und Koordinaten des Punktes R0G in einem V0G-basierten Koordinatensystem und Koordinaten des Punktes R1G in einem V2G-basierten Koordinatensystem unter Verwendung eines Trilaterationsverfahrens berechnet, die Koordinatentransformationseinheit (14) eine Koordinatentransformation ausführt unter Verwendung der Koordinaten des Punktes R0G in dem V0G-basierten Koordinatensystem und der Koordinaten des Punktes R1G in dem V2G-basierten Koordinatensystem, berechnet durch die Trilaterationsberechnungseinheit (12), und das Parameterberechnungsmittel (15 bis 17) die Kalibrierungsparameter unter Verwendung von Werten berechnet, die als Ergebnis der Koordinatentransformation erhalten werden, die von der Koordinatentransformationseinheit (14) ausgeführt wird.
  5. Kalibrierungsvorrichtung nach Anspruch 2, wobei die Kalibrierungsparameter-Berechnungsvorrichtung (10) ferner eine Eingabefehler-Bestimmungseinheit (13) aufweist, die einen Abstand zwischen dem Punkt R0 und dem Punkt R1 in dem fahrzeugbasierten Koordinatensystem von den jeweiligen Koordinaten davon in dem fahrzeugbasierten Koordinatensystem berechnet, wobei die Koordinaten von der Koordinatentransformationseinheit (14) bestimmt worden sind, als ein berechneter Wert, sowie einen Abstand zwischen dem Punkt R0 und dem Punkt R1 in dem starren körperbasierten Koordinatensystem von den jeweiligen Koordinaten davon in dem starren körperbasierten Koordinatensystem als ein Entwurfswert berechnet, und bestimmt, ob ein Absolutwert einer Differenz zwischen dem berechneten Wert und dem Entwurfswert kleiner als ein vorgegebener Schwellwert ist oder nicht, und ein Bestimmungsergebnis an die Gemessener-Abstand-Eingabevorrichtung (20) überträgt, und wobei die Gemessener-Abstand-Eingabevorrichtung (20), die aus dem empfangenen Bestimmungsergebnis bestimmt hat, dass der Absolutwert gleich dem Schwellenwert ist oder diesen überschreitet, bewirkt, dass eine Anzeigeeinheit (22c) eine Nachricht ausgibt, die den Bediener auffordert, die vier Messwerte zurückzusetzen.
  6. Kalibrierungsvorrichtung nach Anspruch 2, wobei die Gemessener-Abstand-Eingabevorrichtung (20) umfasst: eine Eingabeeinheit (22a) zum Einstellen von numerischen Werten der vier Messwerte; und eine Anzeigeeinheit (22c) zum Anzeigen des aufgenommenen Bildes, das von der Kamera aufgenommen wird, auf einem Bildschirm, wobei das aufgenommene Bild einen Teil des Fahrzeugs und der Markierung enthält.
  7. Kalibrierungsvorrichtung nach Anspruch 6, wobei wobei die Gemessener-Abstand-Eingabevorrichtung (20) bewirkt, dass die Anzeigeeinheit (22c) einen Icon anzeigt, der auf dem aufgenommenen Bild überlagert ist, um so eine Messstelle anzuzeigen, die einem Gegenstand entspricht, für den unter den vier Messwerten ein numerischer Wert an der Eingabeeinheit (22a) eingestellt wurde.
  8. Kalibrierungsvorrichtung nach Anspruch 7, wobei dann, wenn der Icon auf dem aufgenommenen Bild überlagert werden soll, die Gemessener-Abstand-Eingabevorrichtung (20) die Position der Markierung innerhalb des aufgenommenen Bildes detektiert, durch Implementieren einer Bildverarbeitung an dem aufgenommenen Bild, und den Icon auf dem aufgenommenen Bild nach einer Korrektur einer Anzeigeposition des Ions entsprechend einem Detektionsergebnis überlagert.
  9. Kalibrierungsvorrichtung nach Anspruch 1, wobei die Vielzahl von fahrzeugbasierten Punkten aus drei Gruppen von Punkten besteht, und zwar einer ersten Gruppe, die durch einen Punkt V0, einen Punkt V1 und einen Punkt V2 ausgebildet ist, einer zweiten Gruppe, die durch einen Punkt V3, einen Punkt V4 und einen Punkt V5 ausgebildet ist, und eine dritte Gruppe, die durch einen Punkt V6, einen Punkt V7 und einen Punkt V8 ausgebildet ist, wobei die drei Gruppen bekannte dreidimensionale Koordinaten in dem fahrzeugbasierten Koordinatensystem aufweisen und die drei Punkte jeder Gruppe nicht auf einer Gerade sind, die Vielzahl von starren körperbasierten Punkten aus einer Gruppe von Punkten besteht, und zwar einem Punkt R0, einem Punkt R1 und einem Punkt R2, wobei die Gruppe bekannte dreidimensionale Koordinaten in dem starren körperbasierten Koordinatensystem aufweist und die drei Punkte der Gruppe nicht auf einer Geraden sind, die Gemessener-Abstand-Eingabevorrichtung (20) neun Messwerte empfängt, und zwar Messwerte der jeweiligen Abstände zwischen dem Punkt R0 und den drei Punkten, die die erste Gruppe ausbilden, Messwerte jeweiliger Abstände zwischen dem Punkt R1 und den drei Punkten, die die zweite Gruppe ausbilden, und Messwerte jeweiliger Abstände zwischen dem Punkt R2 und den drei Punkten, die die dritte Gruppe ausbilden, als die jeweiligen Messwerte auf der Grundlage der Eingabeoperation, die durch den Bediener durchgeführt wird, wobei das Koordinatenberechnungsmittel (12, 14) umfasst: eine Trilaterationsberechnungseinheit (12), die Koordinaten des Punktes R0 in einem dreidimensionalen V0-basierten Koordinatensystem mit dem Punkt V0 als Ursprung berechnet, sowie eine Gerade, die den Punkt V0 mit dem Punkt V1 als erste Achse verbindet und eine zweite Achse in einer Ebene, die die drei Punkte enthält, die die erste Gruppe ausbilden, sowie Koordinaten des Punktes R1 in einem dreidimensionalen V3-basierten Koordinatensystem mit dem Punkt V3 als Ursprung, eine Gerade, die den Punkt V3 mit dem Punkt V4 als eine erste Achse verbindet, und eine zweite Achse in einer Ebene, die die drei Punkte enthält, die die zweite Gruppe ausbilden, und Koordinaten des Punktes R2 in einem dreidimensionalen V6-basierten Koordinatensystem mit dem Punkt V6 als Ursprung, eine Gerade, die den Punkt V6 mit dem Punkt V7 als erste Achse verbindet und eine zweite Achse in einer Ebene, die die drei Punkte enthält, die die dritte Gruppe ausbilden, aus den neun Messwerten unter Verwendung eines Trilaterationsverfahrens; und eine Koordinatentransformationseinheit (14), die die Koordinaten des Punktes R0 in dem V0-basierten Koordinatensystem in Koordinaten des fahrzeugbasierten Koordinatensystems mittels Rotation und Parallelbewegung transformiert, die Koordinaten des Punktes R1 in dem V3-basiertes Koordinatensystem in Koordinaten des fahrzeugbasierten Koordinatensystems mittels Rotation und Parallelbewegung transformiert und die Koordinaten des Punktes R2 in dem V6-basierten Koordinatensystem in Koordinaten des fahrzeugbasierten Koordinatensystems mittels Rotation und Parallelbewegung transformiert, und das Parameterberechnungsmittel (15 bis 17) die relative Lage und die relative Position des Ursprungs als die Kalibrierungsparameter berechnet, aus einer Korrespondenzbeziehung zwischen Positionen von Bildkoordinaten des Punktes R0, des Punktes R1 und des Punktes R2, die in dem aufgenommenen Bild enthalten sind, und den Koordinaten des Punktes R0, des Punktes R1 und des Punktes R2 in dem fahrzeugbasierten Koordinatensystem.
  10. Kalibrierungsverfahren zum Messen von relativen Positionen und relativen Lagen eines starren Körpers, der auf dem Erdboden angeordnet ist, und eines Fahrzeugs, wobei das Kalibrierungsverfahren umfasst: einen ersten Schritt, in dem jeweilige Koordinaten einer Vielzahl von starren körperbasierten Punkten mit bekannten Koordinaten in einem starren körperbasierten Koordinatensystem im Voraus in einer Speichereinheit gespeichert werden, wobei das starre körperbasierte Koordinatensystem durch eine Anordnungsposition einer Markierung definiert ist, die als der starrer Körper dient, der auf dem Erdboden angeordnet ist, und einen Ursprung und zwei auf dem Erdboden befindliche Achsen enthält; einen zweiten Schritt, in dem Messwerte von jeweiligen Abständen zwischen zwei Punkten über eine Gemessener-Abstand-Eingabevorrichtung (20) empfangen werden, auf Grundlage einer von einem Bediener durchgeführten Eingabeoperation, auf der Basis der Vielzahl von starren körperbasierten Punkten und einer Vielzahl von fahrzeugbasierten Punkten mit bekannten Koordinaten in einem fahrzeugbasierten Koordinatensystem, das in Übereinstimmung mit einer Stoppposition des Fahrzeugs definiert ist und einen Ursprung und zwei auf dem Erdboden befindliche Achsen enthält, wobei die beiden Punkte durch eine Kombination aus einem der Vielzahl von fahrzeugbasierten Punkten und einem der Vielzahl von starren körperbasierten Punkten ausgebildet ist; einen dritten Schritt, in dem ein aufgenommenes Bild mit der Markierung, das von einer Kamera aufgenommen wird, die an dem Fahrzeug angebracht ist und einer Kalibrierung unterworfen wird, erhalten wird; einen vierten Schritt, in dem aus den jeweiligen Messwerten Koordinaten der Vielzahl von starren körperbasierten Punkten in dem fahrzeugbasierten Koordinatensystem berechnet werden; und einen fünften Schritt, in dem eine relative Lage des starren körperbasierten Koordinatensystems und eine relative Position des Ursprungs davon in dem fahrzeugbasierten Koordinatensystem als die Kalibrierungsparameter berechnet werden, aus einer Korrespondenzbeziehung zwischen Positionen von Bildkoordinaten der Vielzahl von starren körperbasierten Punkte, die in dem aufgenommenen Bild enthalten sind, und den Koordinaten der Vielzahl von starren körperbasierten Punkten in dem fahrzeugbasierten Koordinatensystem, wobei die Koordinaten in der Speichereinheit gespeichert worden sind.
  11. Kalibrierungsverfahren nach Anspruch 10, wobei die Vielzahl von fahrzeugbasierten Punkten durch einen Punkt V0, einen Punkt V1, einen Punkt V2 und einen Punkt V3 mit bekannten Erdbodenkoordinaten in dem fahrzeugbasierten Koordinatensystem ausgebildet sind, die Vielzahl von starren körperbasierten Punkten durch einen Punkt R0 und einen Punkt R1 mit bekannten Erdbodenkoordinaten in dem starren körperbasierten Koordinatensystem ausgebildet sind, in dem zweiten Schritt als die jeweilige Messwerte vier Messwerte empfangen werden, und zwar einen Messwert eines Abstandes V0R0 zwischen dem Punkt V0 und dem Punkt R0, einen Messwert eines Abstandes V1R0 zwischen dem Punkt V1 und dem Punkt R0, einen Messwert eines Abstandes V2R1 zwischen dem Punkt V2 und dem Punkt R1 und ein Messwert eines Abstandes V3R1 zwischen dem Punkt V3 und dem Punkt R1, auf Grundlage einer vom Bediener durchgeführten Eingabeoperation, wobei der vierte Schritt umfasst: einen Trilaterationsberechnungsschritt, in dem Koordinaten des Punktes R0 in einem V0-basierten Koordinatensystem mit dem Punkt V0 als Ursprung und einer Geraden, die den Punkt V0 mit dem Punkt V1 als eine Achse verbindet, und Koordinaten des Punktes R1 in einem V2-basierten Koordinatensystem mit dem Punkt V2 als Ursprung und einer Geraden, die den Punkt V2 mit dem Punkt V3 als eine Achse verbindet, aus den vier Messwerten unter Verwendung eines Trilaterationsverfahrens berechnet werden; und eine Koordinatentransformationsschritt, in dem die Koordinaten des Punktes R0 in dem V0-basierten Koordinatensystem in Koordinaten des fahrzeugbasierten Koordinatensystems mittels Rotation und Parallelbewegung transformiert werden, und die Koordinaten des Punktes R1 in dem V2-basiertes Koordinatensystem in Koordinaten in dem fahrzeugbasierten Koordinatensystem durch Rotation und Parallelbewegung transformiert werden, und in dem fünften Schritt die relative Lage und die relative Position des Ursprungs als die Kalibrierungsparameter berechnet werden, aus einer Korrespondenzbeziehung zwischen Positionen von Bildkoordinaten des Punktes R0 und des Punktes R1, die in dem aufgenommenen Bild enthalten sind, und den Koordinaten des Punktes R0 und des Punktes R1 in dem fahrzeugbasierten Koordinatensystem.
  12. Kalibrierungsverfahren nach Anspruch 11, wobei in dem Koordinatentransformationsschritt eine Koordinatentransformation nur durch Parallelbewegung durchführt, wenn der Punkt V2 und der Punkt V3 gleich dem Punkt V0 bzw. dem Punkt V1 sind und der Punkt V0 und der Punkt V1 derart eingestellt sind, dass die Gerade, die den Punkt V0 mit dem Punkt V1 verbindet, parallel zu einer der Achsen des fahrzeugbasierten Koordinatensystems ist.
  13. Kalibrierungsverfahren nach Anspruch 11, wobei dann, wenn das fahrzeugbasierte Koordinatensystem und das starre körperbasierte Koordinatensystem beide dreidimensionale Koordinatensysteme mit einer dritten Achse in einer Höhenrichtung vom Erdboden sind, und zumindest einer von sechs Punkten, und zwar der Punkt V0, der Punkt V1, der Punkt V2, der Punkt V3, der Punkt R0 und der Punkt R1 ein bekannter Punkt ist, der sich nicht auf dem Erdboden befindet, in dem Trilaterationsberechnungsschritt Punkte, die durch Absenken des Punktes V0, des Punktes V1, des Punktes V2, des Punktes V3, des Punktes R0 und des Punktes R1 vertikal auf den Erdboden erhalten werden, als ein Punkt V0G, ein Punkt V1G, ein Punkt V2G, ein Punkt V3G, ein Punkt R0G bzw. ein Punkt R1G berechnet werden, worauf Koordinaten des Punktes R0G in einem V0G-basierten Koordinatensystem und Koordinaten des Punktes R1G in einem V2G-basierten Koordinatensystem unter Verwendung eines Trilaterationsverfahrens berechnet werden, in dem Koordinatentransformationsschritt eine Koordinatentransformation unter Verwendung der Koordinaten des Punktes R0G in dem V0G-basierten Koordinatensystem und der Koordinaten des Punktes R1G in dem V2G-basierten Koordinatensystem ausführt wird, wobei die Koordinaten in dem Trilaterationsberechnungsschritt berechnet wurden, und in dem fünften Schritt die Kalibrierungsparameter unter Verwendung von Werten berechnet, die als Ergebnis der Koordinatentransformation erhalten werden, die in dem Koordinatentransformationsschritt ausgeführt wird.
  14. Kalibrierungsverfahren nach Anspruch 11, wobei der vierte Schritt ferner eine Eingabefehler-Bestimmungsschritt aufweist, in dem ein Abstand zwischen dem Punkt R0 und dem Punkt R1 in dem fahrzeugbasierten Koordinatensystem von den jeweiligen Koordinaten davon in dem fahrzeugbasierten Koordinatensystem berechnet wird, wobei die Koordinaten in dem Koordinatentransformationsschritt bestimmt worden sind, als ein berechneter Wert, sowie ein Abstand zwischen dem Punkt R0 und dem Punkt R1 in dem starren körperbasierten Koordinatensystem von den jeweiligen Koordinaten davon in dem starren körperbasierten Koordinatensystem als ein Entwurfswert berechnet wird, und bestimmt wird, ob ein Absolutwert einer Differenz zwischen dem berechneten Wert und dem Entwurfswert kleiner als ein vorgegebener Schwellwert ist oder nicht, und wobei dann, wenn der Absolutwert als gleich oder größer als der Schwellenwert bestimmt wird, die Gemessener-Abstand-Eingabevorrichtung (20) bewirkt, dass eine Nachricht angezeigt wird, die den Bediener auffordert, die vier Messwerte zurückzusetzen.
  15. Kalibrierungsverfahren nach Anspruch 11, wobei in dem zweiten Schritt eine Anzeigeeinheit (22c) der Gemessener-Abstand-Eingabevorrichtung (20) veranlasst wird, das von der Kamera aufgenommene Bild anzuzeigen, wobei das aufgenommene Bild einen Teil des Fahrzeugs und die Markierung enthält.
  16. Kalibrierungsverfahren nach Anspruch 15, wobei in dem zweiten Schritt die Anzeigeeinheit (22c) veranlasst wird, einen Icon anzuzeigen, der auf dem aufgenommenen Bild überlagert ist, um so eine Messstelle anzugeben, der einem Gegenstand entspricht, für den unter den vier Messwerten ein numerischer Wert eingestellt wurde.
  17. Kalibrierungsverfahren nach Anspruch 16, wobei dann wenn der Icon in dem zweiten Schritt auf dem aufgenommenen Bild überlagert werden soll, die Position der Markierung innerhalb des aufgenommenen Bildes detektiert wird, durch Implementieren einer Bildverarbeitung an dem aufgenommenen Bild, und der Icon auf dem aufgenommenen Bild nach einer Korrektur einer Anzeigeposition des Ions entsprechend einem Detektionsergebnis überlagert wird.
  18. Kalibrierungsverfahren nach Anspruch 10, wobei die Vielzahl von fahrzeugbasierten Punkten aus drei Gruppen von Punkten besteht, und zwar einer ersten Gruppe, die durch einen Punkt V0, einen Punkt V1 und einen Punkt V2 ausgebildet ist, einer zweiten Gruppe, die durch einen Punkt V3, einen Punkt V4 und einen Punkt V5 ausgebildet ist, und eine dritte Gruppe, die durch einen Punkt V6, einen Punkt V7 und einen Punkt V8 ausgebildet ist, wobei die drei Gruppen bekannte dreidimensionale Koordinaten in dem fahrzeugbasierten Koordinatensystem aufweisen und die drei Punkte jeder Gruppe nicht auf einer Gerade sind, die Vielzahl von starren körperbasierten Punkten aus einer Gruppe von Punkten besteht, und zwar einem Punkt R0, einem Punkt R1 und einem Punkt R2, wobei die Gruppe bekannte dreidimensionale Koordinaten in dem starren körperbasierten Koordinatensystem aufweist und die drei Punkte der Gruppe nicht auf einer Geraden sind, in dem zweiten Schritt neun Messwerte empfangen werden, und zwar Messwerte der jeweiligen Abstände zwischen dem Punkt R0 und den drei Punkten, die die erste Gruppe ausbilden, Messwerte jeweiliger Abstände zwischen dem Punkt R1 und den drei Punkten, die die zweite Gruppe ausbilden, und Messwerte jeweiligen Abstände zwischen dem Punkt R2 und den drei Punkten, die die dritte Gruppe ausbilden, als die jeweiligen Messwerte auf der Grundlage der Eingabeoperation, die durch den Bediener durchgeführt wird, wobei der vierte Schritt umfasst: einen Trilaterationsberechnungsschritt, in dem die Koordinaten des Punktes R0 in einem dreidimensionalen V0-basierten Koordinatensystem mit dem Punkt V0 als Ursprung berechnet, sowie eine Gerade, die den Punkt V0 mit dem Punkt V1 als erste Achse verbindet, und eine zweite Achse in einer Ebene, die die drei Punkte enthält, die die erste Gruppe ausbilden, sowie Koordinaten des Punktes R1 in einem dreidimensionalen V3-basierten Koordinatensystem mit dem Punkt V3 als Ursprung, eine Gerade, die den Punkt V3 mit dem Punkt V4 als eine erste Achse verbindet, und eine zweite Achse in einer Ebene, die die drei Punkte enthält, die die zweite Gruppe ausbilden, und Koordinaten des Punktes R2 in einem dreidimensionalen V6-basierten Koordinatensystem mit dem Punkt V6 als Ursprung, eine Gerade, die den Punkt V6 mit dem Punkt V7 als erste Achse verbindet, und eine zweite Achse in einer Ebene, die die drei Punkte enthält, die die dritte Gruppe ausbilden, aus den neun Messwerten unter Verwendung eines Trilaterationsverfahrens berechnet werden; und eine Koordinatentransformationsschritt, in dem die Koordinaten des Punktes R0 in dem V0-basierten Koordinatensystem in Koordinaten des fahrzeugbasierten Koordinatensystems mittels Rotation und Parallelbewegung transformiert werden, die Koordinaten des Punktes R1 in dem V3-basiertes Koordinatensystem in Koordinaten des fahrzeugbasierten Koordinatensystems mittels Rotation und Parallelbewegung transformiert werden und die Koordinaten des Punktes R2 in dem V6-basierten Koordinatensystem in Koordinaten des fahrzeugbasierten Koordinatensystems mittels Rotation und Parallelbewegung transformiert werden, und in dem fünften Schritt die relative Lage und die relative Position des Ursprungs als die Kalibrierungsparameter berechnet werden, aus einer Korrespondenzbeziehung zwischen Positionen von Bildkoordinaten des Punktes R0, des Punktes R1 und des Punktes R2, die in dem aufgenommenen Bild enthalten sind, und den Koordinaten des Punktes R0, des Punktes R1 und des Punktes R2 in dem fahrzeugbasierten Koordinatensystem.
DE102017207696.8A 2016-09-01 2017-05-08 Kalibrierungsvorrichtung und Kalibrierungsverfahren Active DE102017207696B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-170805 2016-09-01
JP2016170805A JP6211157B1 (ja) 2016-09-01 2016-09-01 キャリブレーション装置およびキャリブレーション方法

Publications (2)

Publication Number Publication Date
DE102017207696A1 true DE102017207696A1 (de) 2018-03-01
DE102017207696B4 DE102017207696B4 (de) 2024-01-11

Family

ID=60040443

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017207696.8A Active DE102017207696B4 (de) 2016-09-01 2017-05-08 Kalibrierungsvorrichtung und Kalibrierungsverfahren

Country Status (3)

Country Link
US (1) US10641617B2 (de)
JP (1) JP6211157B1 (de)
DE (1) DE102017207696B4 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039942A (ko) * 2016-10-11 2018-04-19 현대오트론 주식회사 초음파 센서 장치 및 초음파 센서 장치의 센싱 방법
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
WO2019186985A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体
JP7041262B2 (ja) * 2018-06-08 2022-03-23 マクセル株式会社 携帯端末、カメラ位置推定システム、カメラ位置推定方法および標識板
CN109059902B (zh) * 2018-09-07 2021-05-28 百度在线网络技术(北京)有限公司 相对位姿确定方法、装置、设备和介质
JP7336753B2 (ja) * 2018-12-28 2023-09-01 パナソニックIpマネジメント株式会社 測位装置及び移動体
CN111508027B (zh) * 2019-01-31 2023-10-20 杭州海康威视数字技术股份有限公司 摄像机外参标定的方法和装置
CN110319853A (zh) * 2019-07-19 2019-10-11 广州市番通汽车检测有限公司 一种方便校准的汽车姿势测量系统
CN111815719B (zh) * 2020-07-20 2023-12-22 阿波罗智能技术(北京)有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
DE102021201923A1 (de) * 2021-03-01 2022-09-01 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und System zum Kalibrieren mindestens eines in einem Fahrzeug angeordneten Fahrzeugsensors
CN114166161B (zh) * 2021-11-04 2023-06-20 东风汽车集团股份有限公司 白车身测量坐标系建立方法、装置、设备及可读存储介质
CN113946786B (zh) * 2021-11-11 2023-11-28 北京地铁车辆装备有限公司 一种轨道车辆用齿轮箱吊杆的变位校核方法
CN114187337B (zh) * 2021-12-07 2022-08-23 推想医疗科技股份有限公司 图像配准方法、分割方法、装置、电子设备以及存储介质
FR3133474B1 (fr) * 2022-03-11 2024-03-22 Aryballe Dispositif et procédé de caractérisation d’un alignement de caméra dans un capteur à puce photonique

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013089984A (ja) 2011-10-13 2013-05-13 Fujitsu Ten Ltd キャリブレーションシステム、パラメータ取得装置、標識体、及び、パラメータ取得方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4454257B2 (ja) * 2003-06-23 2010-04-21 パナソニック株式会社 車載カメラ校正治具及び車載カメラ校正方法
EP2166510B1 (de) 2008-09-18 2018-03-28 Delphi Technologies, Inc. Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
JP5339124B2 (ja) 2008-09-30 2013-11-13 アイシン精機株式会社 車載カメラの校正装置
JP5471038B2 (ja) 2009-05-27 2014-04-16 アイシン精機株式会社 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
TWI517670B (zh) * 2012-12-28 2016-01-11 財團法人工業技術研究院 車用鏡頭之自動化校正與應用其之影像轉換方法與裝置
JP6447055B2 (ja) * 2014-01-28 2019-01-09 株式会社リコー 校正方法、校正装置、計測用具及びプログラム
JP6337269B2 (ja) * 2014-04-09 2018-06-06 パナソニックIpマネジメント株式会社 車両評価装置
JP6458439B2 (ja) * 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013089984A (ja) 2011-10-13 2013-05-13 Fujitsu Ten Ltd キャリブレーションシステム、パラメータ取得装置、標識体、及び、パラメータ取得方法

Also Published As

Publication number Publication date
US10641617B2 (en) 2020-05-05
US20180058882A1 (en) 2018-03-01
JP2018036189A (ja) 2018-03-08
DE102017207696B4 (de) 2024-01-11
JP6211157B1 (ja) 2017-10-11

Similar Documents

Publication Publication Date Title
DE102017207696B4 (de) Kalibrierungsvorrichtung und Kalibrierungsverfahren
DE112010005646B4 (de) Kameraabstandsmessvorrichtung
EP1376051B1 (de) Kalibrierung eines Bildsensorsystems an einem Kraftfahrzeug mit Kalibrierobjekt und Lagebezugssensor
DE102013021917B4 (de) Robotersystemanzeigevorrichtung
DE102015107390B4 (de) Verfahren und Vorrichtung zum automatischen Kalibrieren von Rundumsichtsystemen
EP2166510B1 (de) Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
EP2603767B1 (de) Verfahren zum kalibrieren eines messsystems und vorrichtung zum durchführen des verfahrens
DE102006055758B4 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
DE102013108070A1 (de) Bildkalibrierung und Entzerrung einer Weitwinkelkamera
DE112018007660T5 (de) Kalibriervorrichtung für eine abbildungsvorrichtung, überwachungsvorrichtung, arbeitsmaschine und kalibrierverfahren
DE102018201692A1 (de) Verfahren zu einer indirekten Abstandsmessung
DE102018127221B4 (de) Koordinatenmesssystem
DE102018121481A1 (de) Entfernungsmesssystem und Entfernungsmessverfahren
EP3707569B1 (de) Kalibrierung eines stationären kamerasystems zur positionserfassung eines mobilen roboters
WO2005031647A1 (de) Verfahren und vorrichtung zur berührungslosen optischen 3d-lagebestimmung eines objekts
DE102014219423B4 (de) Dynamisches Modell zur Kompensation von Verzeichnungen einer Windschutzscheibe
EP3385916A1 (de) Messgerät und korrespondierendes messverfahren
DE102019110729A1 (de) Verfahren zur Ausrichtung mindestens eines Kalibrierkörpers und Vorrichtung zum dreidimensionalen optischen Vermessen von Objekten
DE102019113799A1 (de) Messsystem zum Vermessen eines Messobjekts
DE102010042821B4 (de) Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems
DE102010004233B3 (de) Verfahren zur Bestimmung der Lage eines Kamerasystems bezüglich eines Objekts
DE102019206977B4 (de) Vorrichtung und Verfahren zur Vermessung mindestens eines schräg im Raum stehenden Messobjekts
DE102014219428B4 (de) Selbstkalibrierung eines Stereokamerasystems im Auto
DE112021000229T5 (de) Roboter-System
DE102021111417A1 (de) Verfahren und System zu Bestimmung der Lage eines Markers in einem 2D-Bild und dafür ausgebildeter Marker

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G01C0025000000

Ipc: G01C0011000000

R084 Declaration of willingness to licence
R016 Response to examination communication
R018 Grant decision by examination section/examining division