AT528622A2 - Verfahren und Vorrichtung zur Kalibrierung einer Kamera in einem Fahrzeug - Google Patents

Abstract

Verfahren und Vorrichtung zur Schätzung der dreidimensionalen Position und der dreidimensionalen Ausrichtung einer, im Innenraum eines Fahrzeugs angeordneten Bildaufnahmeeinheit (1) in einem fahrzeuginternen Koordinatensystem, umfassend die Schritte: Aufnahme, durch die Bildaufnahmeeinheit (1), zumindest eines zweidimensionalen Bildes (2) des Innenraums, Entgegennahme, durch eine Datenverarbeitungseinheit (3), des Bildes (1); Detektion, durch eine Bildverarbeitungseinheit (4), einer Zahl N fahrzeugspezifischer Schlüsselpunkte P1 – PN im Bild (2); Abfrage, durch die Datenverarbeitungseinheit (3), einer fahrzeugspezifischen Datenbank (5), sowie Berechnung, durch eine Positionsbestimmungseinheit (6), der absoluten dreidimensionalen Position [x, y, z] und der dreidimensionalen Lagewinkel [α, β, γ] der Bildaufnahmeeinheit (1) durch Vergleich der vorbekannten Positionen der Schlüsselpunkte im fahrzeuginternen Koordinatensystem mit den Projektionen der detektierten Schlüsselpunkte.

Description

Beschreibung

VERFAHREN UND VORRICHTUNG ZUR KALIBRIERUNG EINER KAMERA IN EINEM FAHRZEUG

[0001] Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Kalibrierung einer Kamera in einem Fahrzeug.

[0002] Aus dem Stand der Technik sind Verfahren zur Analyse des Innenraums eines Fahrzeugs durch Verwendung einer im Fahrzeug installierten Kamera bekannt. Beispielsweise können Gesten, Posen, Blickrichtungen und Kopforientierungen der Passagiere erkannt und mit Funktionen des Fahrzeugs verknüpft werden. Dazu ist es erforderlich, die Koordinaten der Kamera in einem fahrzeuginternen Koordinatensystem zu erfassen. Dies betrifft nicht nur die dreidimensionale Position der Kamera, also x-, y- und y-Koordinaten, sondern auch deren dreidimensionale Ausrichtung, also den Rollwinkel, den Nickwinkel und den Gierwinkel der Kamera.

[0003] Dabei ergibt sich jedoch das Problem, dass die Kamera zur Innenraumanalyse oft in beweglichen Komponenten des Fahrzeugs, wie zum Beispiel dem Rückspiegel, verbaut werden. Die Kamera kann also in verschiedene Positionen mit unterschiedlichen Richtungen bewegt werden, sodass die dreidimensionale Position der Kamera und deren Ausrichtung nicht fix vorgegeben werden können.

[0004] Die Aufgabe der Erfindung besteht somit darin, ein Verfahren und eine Vorrichtung zu schaffen, welche es ermöglichen, die dreidimensionale Position und die dreidimensionale Ausrichtung einer beweglichen Kamera in einem Fahrzeug zu bestimmen, ohne dabei zusätzliche Sensoren zu benötigen. Insbesondere soll die Erfindung die Verwendung herkömmlicher 2-dimensionaler Kameras zur Innenraumanalyse des Fahrzeugs ermöglichen.

[0005] Diese und andere Aufgaben der Erfindung werden mit einem Verfahren nach Anspruch 1 gelöst.

[0006] Ein erfindungsgemäßes Verfahren ist zur Schätzung der dreidimensionalen Positionen x, y, Z sowie der dreidimensionalen Lagewinkel, insbesondere des Rollwinkels a, des Nickwinkels ß und des Gierwinkels v, einer Bildaufnahmeeinheit, insbesondere einer Kamera, im Innenraum eines Fahrzeugs in einem fahrzeuginternen Koordinatensystem ausgebildet. Es umfasst die nachfolgenden Schritte:

[0007] In einem ersten Schritt wird, durch eine Bildaufnahmeeinheit, zumindest ein zweidimensionales Bild des Fahrzeuginnenraumes aufgenommen. Bei der Bildaufnahmeeinheit kann es sich um eine herkömmliche 2D-Kamera handeln. Das Bild wird in Folge von einer Datenverarbeitungseinheit entgegengenommen.

[0008] Die Datenverarbeitungseinheit kann als Mikrocontroller oder Mikrocomputer ausgebildet sein und eine zentrale Verarbeitungseinheit (CPU), einen flüchtigen Halbleiterspeicher (RAM), einen nichtflüchtigen Halbleiterspeicher (ROM, SSD- Festplatte), einen magnetischen Speicher (Festplatte) und/oder einen optischen Speicher (CD-ROM) sowie Schnittstelleneinheiten (Ethernet, USB) und dergleichen umfassen. Die Bestandteile derartiger Datenverarbeitungseinheiten sind dem Fachmann grundsätzlich bekannt.

[0009] Im nächsten Schritt erfolgt eine Detektion, durch eine Bildverarbeitungseinheit, der zweidimensionalen Positionen von mehreren, vorzugsweise zumindest N = 3 markanten Schlüsselpunkten P+ı —- P des Fahrzeuginnenraumes im aufgenommenen zweidimensionalen Bild.

[0010] Zu diesem Zweck können bekannte Algorithmen der Mustererkennung, insbesondere aus dem Bereich des maschinellen Lernens herangezogen werden.

[0011] Insbesondere kann dazu ein neuronales Netz herangezogen werden, welche dazu trainiert wurden, markante Schlüsselpunkte eines Fahrzeuginnenraumes aus 2D Bildern zu erkennen und deren Koordinaten abzuschätzen. Trainingsdaten werden zu diesem Zweck für verschiedene Fahrzeugmodelle vorab erstellt, sodass die Genauigkeit der Detektion der fahrzeugspezifischen Schlüsselpunkte im 2D Bild möglichst hoch ist. Erfindungsgemäß kann zu diesem Zweck

278

vorgesehen sein, dass als Trainingsdaten des neuronalen Netzes zweidimensionale Bilder von Fahrzeuginnenräumen verwendet werden, deren Schlüsselpunkte annotiert sind. Statt eines neuronalen Netzes kann aber auch jedes andere Verfahren aus dem Bereich des maschinellen Lernens und der künstlichen Intelligenz herangezogen werden.

[0012] Für die markanten Schlüsselpunkte im Fahrzeug sind erfindungsgemäß in einer Datenbank dreidimensionale Koordinaten relativ zu einem Ursprungspunkt in einem fahrzeuginternen Koordinatensystem vorhanden. Bei dem Ursprungspunkt kann es sich um die herstellerseitig vorgesehene Position des Mittelpunkts der Vorderachse des Fahrzeugs handeln. Die markanten Schlüsselpunkte sind nach Möglichkeit im Fahrzeug so gewählt, dass sie grundsätzlich nicht durch Fahrzeugteile bzw. durch die Passagiere im Fahrzeug verdeckt werden. Weiters ist es notwendig, dass die Punkte nicht beweglich sind, d.h. es handelt sich um Punkte, die unmittelbar mit der Karosserie des Fahrzeugs verknüpft sind, beispielsweise bei den Fenstern oder am Dachhimmel.

[0013] Gegebenenfalls können die markanten Schlüsselpunkte im Innenraum mit einem maschinenlesbaren Code oder einer anderen prägnanten Markierung versehen sein, um deren Detektion zu erleichtern.

[0014] Im nächsten Schritt erfolgt eine Abfrage, durch die Datenverarbeitungseinheit, der fahrzeugspezifischen Datenbank. In der Datenbank sind die vorbekannten, absoluten dreidimensionalen Koordinaten der Schlüsselpunkte P1@S — PyebS) im fahrzeuginternen Koordinatensystem gespeichert.

[0015] Die Datenverarbeitungseinheit übermittelt der Datenbank die ermittelten Schlüsselpunkte Pı —- Py und erhält die entsprechenden dreidimensionalen Koordinaten dieser Schlüsselpunkte.

[0016] Im nächsten Schritt erfolgt die Berechnung, durch eine Positionsbestimmungseinheit, der absoluten dreidimensionalen Position [x, y, z] und der dreidimensionalen Lagewinkel [a, ß, v] der Bildaufnahmeeinheit durch Vergleich der vorbekannten Positionen der Schlüsselpunkte P1@°S — Py@b® im fahrzeuginternen Koordinatensystem mit den Projektionen der detektierten Schlüsselpunkten P+ —- Pn in der Ebene des aufgenommenen zweidimensionalen Bildes.

[0017] Zur Berechnung der Position und der Lagewinkel der Bildaufnahmeeinheit werden intrinsische geometrische Parameter der Bildaufnahmeeinheit herangezogen. Dabei kann es sich insbesondere um die Brennweite, den Bildhauptpunkt und die Verzerrungskoeffizienten einer Kamera handeln. Wenn beispielsweise bekannt ist, dass die Kamera eine Brennweite von 50mm hat, können aus einem Referenzmodell und den zweidimensionalen Schätzungen dieser Schlüsselpunkte die Position und Lagewinkel der Bildaufnahmeeinheit berechnet werden. Bekannte SEN wie QpenCV u und Di 9 verfügen über Eenisprechenden f Routinen, wie in dem Internet-Beitrag bin AaMODEeNOV CONMVASaC- DOSE af beschrieben ist.

MON USE MO

OS ZW SITE

[0018] Als Ergebnis der Berechnung sind die absoluten dreidimensionalen Positionen und die Lagewinkel der Bildaufnahmeeinheit im Koordinatensystem des Fahrzeugs bekannt.

[0019] Sowohl die Bildverarbeitungseinheit, als auch die Positionsbestimmungseinheit können als separate Hardwareeinheiten, oder vorzugsweise als Softwaremodule im RAM oder ROM der Datenverarbeitungseinheit vorgesehen sein. Es kann aber auch vorgesehen sein, dass diese Einheiten extern vorgesehen sind, beispielsweise auf einem Server im Internet, an den die erforderlichen Daten übertragen werden.

[0020] Erfindungsgemäß kann vorgesehen sein, dass die Positionsbestimmungseinheit die Position [x, y, z] und die Lagewinkel [a, ß, y] der Bildaufnahmeeinheit mit früher berechneten oder initialen Werten vergleicht. Insbesondere kann die Positionsbestimmungseinheit einen Korrekturvektor [Ax, Ay, Az] sowie Korrekturwinkel [Aa, Aß, Ay] zur Korrektur applikationsspezifischer Signale berechnen.

[0021] Erfindungsgemäß kann vorgesehen sein, dass Positionen der Schlüsselpunkte in ein topologisches dreidimensionales Datenmodell, insbesondere in einen Graphen übergeführt wer-

378

den. Zur Erstellung des topologischen Datenmodells kann eine vordefinierte Topologie bekannter Fahrzeuginnenräume herangezogen werden. Beispielsweise kann vorbekannt sein, dass Fahrzeuge stets eine Heckscheibe, einen Dachhimmel und zumindest zwei Seitenscheiben haben. So kann die erkannte Position des Dachhimmels als Schlüsselpunkt in Form eines Knoten in einem Graphen mit den Positionen der Seitenscheiben über Kanten verbunden sein.

[0022] Die Erfindung betrifft ferner ein computerlesbares Speichermedium, umfassend Anweisungen, die eine Datenverarbeitungseinheit zur Ausführung eines erfindungsgemäßen Verfahrens veranlassen.

[0023] Die Erfindung betrifft ferner eine Vorrichtung zur Schätzung der dreidimensionalen Position und der dreidimensionalen Ausrichtung einer, im Innenraum eines Fahrzeugs angeordneten Bildaufnahmeeinheit in einem fahrzeuginternen Koordinatensystem, die dazu ausgebildet ist, ein erfindungsgemäßes Verfahren auszuführen.

[0024] Die Erfindung betrifft ferner ein Fahrzeug, umfassend eine erfindungsgemäße Vorrichtung.

[0025] Weitere erfindungsgemäße Merkmale ergeben sich aus den Ansprüchen, den Ausführungsbeispielen und den Figuren.

[0026] Die Erfindung wird im Folgenden an Hand eines exemplarischen, nicht ausschließlichen Ausführungsbeispiels erläutert.

[0027] Fig. 1 zeigt ein schematisches Beispiel einer erfindungsgemäßen Vorrichtung;

[0028] Fig. 2a zeigt eine schematische Darstellung des von der Bildaufnahmeeinheit aufgenommenen Bildes bei der Durchführung eines erfindungsgemäßen Verfahrens;

[0029] Fig. 2b zeigt eine schematische Darstellung der zweidimensionalen und absoluten dreidimensionalen Positionen der fahrzeugspezifischen Schlüsselpunkte bei der Durchführung eines erfindungsgemäßen Verfahrens.

[0030] Fig. 1 zeigt ein schematisches Beispiel einer erfindungsgemäßen Vorrichtung zur Schätzung der dreidimensionalen Position und der dreidimensionalen Ausrichtung einer, im Innenraum eines Fahrzeugs angeordneten Bildaufnahmeeinheit 1 in einem fahrzeuginternen Koordinatensystem. Die Vorrichtung umfasst eine Bildaufnahmeeinheit 1, die zur Aufnahme eines zweidimensionalen Bildes 2 ausgebildet ist und intrinsische geometrische Parameter 7 bereitstellt, insbesondere die Brennweite des Bildes 2. Ferner umfasst die Vorrichtung eine Datenverarbeitungseinheit 3 mit einer Bildverarbeitungseinheit 4, einer Datenbank 5 und einer Positionsbestimmungseinheit 6.

[0031] Die Bildverarbeitungseinheit 4 umfasst ein neuronales Netz, welches dazu trainiert wurde, fahrzeugspezifische Schlüsselpunkte P1 — Pn aus einem zweidimensionalen Bild zu extrahieren. Zum Training dieses Netzes wurden zweidimensionale Bilddaten von Fahrzeugen mit annotierten Schlüsselpunkten verwendet, d.h. die zum Training verwendeten Bilder enthalten Bilder von verschiedenen Fahrzeuginnenräumen, deren Schlüsselpunkte annotiert sind.

[0032] Zunächst wird die Bildverarbeitungseinheit 4 auf das Bild 2 angewandt, sodass in dem zweidimensionalen Bild 2 die Schlüsselpunkte des Fahrzeugs P+1 — Py im Bild 1 erhalten werden. Die Schlüsselpunkte liegen in Form von kartesischen zweidimensionalen Koordinaten vor und werden als Datenobjekt in Form eines Graphen gespeichert.

[0033] Fig. 2a zeigt eine schematische Darstellung des von der Bildaufnahmeeinheit aufgenommenen Bildes 2 bei der Durchführung eines erfindungsgemäßen Verfahrens.

[0034] In diesem Beispiel hat die Bildverarbeitungseinheit 4 im Bild 2 eine Zahl N = 3 markante Schlüsselpunkte P+ — P3 erkannt, nämlich am Dachhimmel und an den beiden Seitenscheiben.

[0035] Im nächsten Schritt erfolgt eine Abfrage, durch die Datenverarbeitungseinheit 3, einer fahrzeugspezifischen Datenbank 5 durch Übermittlung der detektierten Schlüsselpunkte P+1 — Py

418

und des Fahrzeugtyps. Die Datenbank 5 liefert die vordefinierten dreidimensionalen Koordinaten der Schlüsselpunkte P4@9 _ P;@bS im fahrzeuginternen Koordinatensystem, das auch als Referenzsystem bezeichnet werden kann. In diesem fahrzeuginternen Koordinatensystem liegt der Ursprungspunkt an einer herstellerseitig vorgesehen günstigen Position im Fahrzeug, wie zum Beispiel beim Mittelpunkt der vorderen Achse des Fahrzeugs.

[0036] Fig. 2b zeigt eine schematische Darstellung der zweidimensionalen und der dreidimensionalen Positionen der Schlüsselpunkte P+ — P3 bei der Durchführung eines erfindungsgemäßen Verfahrens. Durch die Abfrage der Datenbank 5 sind die absoluten Positionen der Schlüsselpunkte P,@S _ p,@bS) bekannt; ferner sind die zweidimensionalen Koordinaten P+1 — P3 dieser Schlüsselpunkte als Projektion in die Bildebene des Bildes 2 bekannt, wie schematisch dargestellt.

[0037] Im nächsten Schritt berechnet eine Positionsbestimmungseinheit 6 die absolute dreidimensionale Position [x, y, z] und die dreidimensionalen Lagewinkel [a, ß, y] der Bildaufnahmeeinheit 1 durch Vergleich der vorbekannten Positionen der Schlüsselpunkte P1@9 _ p;@b9) im fahrzeuginternen Koordinatensystem mit den Projektionen der detektierten Schlüsselpunkten P+ — P3. Zu diesem Zweck werden die Brennweite, der Bildhauptpunkt und die Verzerrungsparameter der Bildaufnahmeeinheit 1 als geometrische Parameter 7 herangezogen. In Kenntnis dieser Werte kann, wie in Fig. 2b dargestellt, die Position und die dreidimensionalen Lagewinkel der Kamera eruiert werden, sodass die Projektionen der 3D-Punkte P;,@S, P„,@bS und P3@S mit den erkannten 2D-Punkten P+ , P2 und P3 übereinstimmen. In Folge sind die absoluten Koordinaten P,@ebs) , P„,@bS) und P;@S der drei ausgewählten Punkte, sowie die absolute dreidimensionale Position [x, y, z] und die dreidimensionalen Lagewinkel [a, ß, v] der Bildaufnahmeeinheit 1 im fahrzeuginternen Koordinatensystem bekannt.

[0038] Ferner ist in Fig. 1 gezeigt, dass die Datenbank 5 weitere Werte an die Positionsbestimmungseinheit 6 liefert. Dabei handelt es sich um die initiale, also herstellerseitige dreidimensionale Position und Lagewinkel der Bildaufnahmeeinheit 1. Die Positionsbestimmungseinheit 6 vergleicht nun die ermittelte tatsächliche Position [x, y, z] und Lagewinkel [a, ß, y] der Bildaufnahmeeinheit 1 mit den initialen Werten und berechnet einen Korrekturvektor [Ax, Ay, Az] sowie Korrekturwinkel [Aa, AB, Ay], die in Folge zur Korrektur applikationsspezifischer Signale herangezogen werden können.

[0039] Damit können beispielsweise die, von einer Fahrzeugapplikation berechneten Blickrichtungen, Gesten oder Posen der Fahrzeugpassagiere um diesen Korrekturvektor und diese Korrekturwinkel korrigiert werden, um Unterschiede zwischen der, herstellerseitig vorgesehen Position und Lage der Bildaufnahmeeinheit mit der tatsächlich gemessenen Position und Lage der Bildaufnahmeeinheit auszugleichen.

[0040] Die Erfindung beschränkt sich jedoch nicht auf dieses beschriebene Ausführungsbeispiel, sondern umfasst auch weitere Ausführungen der vorliegenden Erfindung im Rahmen der nachfolgenden Patentansprüche

Claims (8)

Patentansprüche

1. Verfahren zur Schätzung der dreidimensionalen Position und der dreidimensionalen Ausrichtung einer, im Innenraum eines Fahrzeugs angeordneten Bildaufnahmeeinheit (1) in einem fahrzeuginternen Koordinatensystem, umfassend die Schritte:

a. Aufnahme, durch die Bildaufnahmeeinheit (1), zumindest eines zweidimensionalen Bildes (2) des Innenraums,

b. Entgegennahme, durch eine Datenverarbeitungseinheit (3), des Bildes (1);

c. Detektion, durch eine Bildverarbeitungseinheit (4), einer Zahl N fahrzeugspezifischer Schlüsselpunkte P+1 — Py im Bild (2),

dadurch gekennzeichnet, dass die nachfolgenden Schritte ausgeführt werden:

d. Abfrage, durch die Datenverarbeitungseinheit (3), einer fahrzeugspezifischen Datenbank (5) und Entgegennahme vorbekannter, absoluter dreidimensionaler Koordinaten der Schlüsselpunkte P4@S — P,y@ebs) im fahrzeuginternen Koordinatensystem;

e. Berechnung, durch eine Positionsbestimmungseinheit (6), der absoluten dreidimensionalen Position [x, y, z] und der dreidimensionalen Lagewinkel [a, ß, y] der Bildaufnahmeeinheit (1) durch Vergleich der vorbekannten Positionen der Schlüsselpunkte pP, @bs) _ py@bs) im fahrzeuginternen Koordinatensystem mit den Projektionen der detektierten Schlüsselpunkten P1 — Pyn unter Berücksichtigung intrinsischer geometrischer Parameter (7) der Bildaufnahmeeinheit (1), insbesondere der Brennweite f und des Bildhauptpunktes.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Positionsbestimmungseinheit (6) die Position [x, y, z] und die Lagewinkel [a, ß, y] der Bildaufnahmeeinheit (1) mit früher berechneten oder initialen Werten vergleicht und einen Korrekturvektor [Ax, Ay, Az] sowie Korrekturwinkel [Aa, Aß, Ay] zur Korrektur applikationsspezifischer Signale berechnet.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass es sich bei den fahrzeugspezifischen Schlüsselpunkten um vordefinierte, fahrzeugspezifische, vorzugsweise unbewegliche Punkte im Innenraum des Fahrzeugs handelt, insbesondere um Punkte am Dachhimmel, an den Seitenfenstern oder am Heckfenster.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Schlüsselpunkte von der Datenverarbeitungseinheit (3) in elektronisch lesbarer Form, beispielsweise in Form einer Tabelle oder eines Graphen, gespeichert werden.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass N größer oder gleich drei ist.

6. Computerlesbares Speichermedium, umfassend Anweisungen, die eine Datenverarbeitungseinheit (3) zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 5 veranlassen.

7. Vorrichtung zur Schätzung der dreidimensionalen Position und der dreidimensionalen Ausrichtung einer, im Innenraum eines Fahrzeugs angeordneten Bildaufnahmeeinheit (1) in einem fahrzeuginternen Koordinatensystem, umfassend

a. eine Bildaufnahmeeinheit (1), die zur Aufnahme zumindest eines zweidimensionalen Bildes (2) des Innenraumes ausgebildet ist,

b. eine Datenverarbeitungseinheit (3) zur Entgegennahme des Bildes (2),

C. eine Bildverarbeitungseinheit (4), die zur Detektion einer Zahl N von fahrzeugspezifischen Schlüsselpunkten P+ — Py im Bild (2) ausgebildet ist,

dadurch gekennzeichnet, dass

d. die Datenverarbeitungseinheit (3) zur Abfrage einer fahrzeugspezifischen Datenbank (5) und zur Entgegennahme vorbekannter, absoluter dreidimensionaler Koordinaten der Schlüsselpunkte P+@9 _ py@bS) im fahrzeuginternen Koordinatensystem ausgebildet ist, wobei

e. eine Positionsbestimmungseinheit (6) vorgesehen ist, die zur Berechnung der absoluten dreidimensionalen Position [x, y, z] und der dreidimensionalen Lagewinkel [a,

ß, v] der Bildaufnahmeeinheit (1) durch Vergleich der vorbekannten Positionen der Schlüsselpunkte P;@°® —_ pyebS) im fahrzeuginternen Koordinatensystem mit den Projektionen der detektierten Schlüsselpunkten P+1 — Py unter Berücksichtigung intrinsischer geometrischer Parameter (7) der Bildaufnahmeeinheit (1), insbesondere der Brennweite f und des Bildhauptpunktes, ausgebildet ist.

8. Fahrzeug, umfassend eine Vorrichtung nach Anspruch 7.

Hierzu 1 Blatt Zeichnungen

718