-
Die Erfindung betrifft ein Verfahren zum Kalibrieren eines Kamerasystems eines Kraftfahrzeugs mit zumindest einer Kamera. Die Kamera erfasst einen Umgebungsbereich des Kraftfahrzeugs und stellt ein Bild des Umgebungsbereichs bereit. Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Kamerasystem.
-
Verfahren zum Kalibrieren eines Kamerasystems sind aus dem Stand der Technik bekannt. Das Kalibrieren der Kamera bezeichnet ein Verfahren, mit welchem Kameraparameter der Kamera bestimmt werden. Die Kameraparameter umfassen beispielsweise die innere Orientierung und die äußere Orientierung der Kamera. Die innere Orientierung beschreibt die Lage des Projektionszentrums der Kamera relativ zur Bildebene. Die äußere Orientierung beschreibt die Lage des Projektionszentrums und der Aufnahmerichtung relativ zum Aufnahmeobjekt. Anhand der inneren Orientierung und der äußeren Orientierung kann die Aufnahmesituation und damit das photogrammetrische Strahlenbündel der zentralperspektivischen Abbildung geometrisch rekonstruiert werden. Die Bilddaten sind dadurch für messtechnische Zwecke verwendbar. Ein Beispiel eines bekannten Verfahrens zum Kalibrieren eines Kamerasystems ist nach Tsai benannt. Die Methode von Tsai versucht am Anfang so viele Parameter wie möglich durch die linearen Methoden der kleinsten Quadrate zu bestimmen.
-
Weiterhin wird eine Kalibrierung beispielsweise mit einem Kalibriermuster oder mit Passpunkten durchgeführt. Die Maße des Kalibriermusters und die Koordinaten der Passpunkte sind hierbei im Vorfeld bekannt und werden dazu verwendet, um die Kameraparameter zu ermitteln. Es ist also beabsichtigt zu ermitteln wie die Kamera eine bekannte reale Situation abbildet. Sind die Kameraparameter nach dem Einbau der Kamera einmal bestimmt worden, so kann abhängig von den Kameraparametern in einem Bild, welches von der Kamera erfasst worden ist, gemessen werden. Es können also beispielsweise anhand des Bilds Objekte in der realen Welt vermessen werden oder deren Lage im Raum bestimmt werden.
-
Eine weitere Möglichkeit zum Kalibrieren einer Kamera wird Selbstkalibrierung genannt. Bei der Selbstkalibrierung wird auf Kalibriermuster oder Passpunkte verzichtet. Für die Selbstkalibrierung werden mehrere Bilder einer unbekannten Szene von unterschiedlichen Standpunkten aufgenommen. Anhand dieser Bilder kann eine 3D-Rekonstruktion durchgeführt werden und die Kameraparameter können ermittelt werden.
-
Die
US 7,949,486 B2 beschreibt ein Verfahren zum Kalibrieren einer Kamera. Es wird ein Versatzfehlerwert anhand eines Referenzelements in einem Bild der Kamera bestimmt und mit einer Versatzkorrekturtransformation korrigiert.
-
Es ist Aufgabe der Erfindung, ein Verfahren, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem beziehungsweise bei welchem das Kalibrieren des Kamerasystems anhand von erfassten Bilddaten besonders effektiv erfolgen kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst.
-
Bei einem erfindungsgemäßen Verfahren wird ein Kamerasystem eines Kraftfahrzeugs mit zumindest einer Kamera kalibriert. Die zumindest eine Kamera erfasst einen Umgebungsbereich des Kraftfahrzeugs und stellt ein Bild des Umgebungsbereichs bereit. Als ein wesentlicher Gedanke der Erfindung ist vorgesehen, dass das Kamerasystem dadurch kalibriert wird, dass zumindest eine plenoptische Kamera des Kamerasystems kalibriert wird. Es wird dazu ein 4D-Lichtfeld und daraus eine Tiefeninformation des von der plenoptischen Kamera aufgenommenen Bilds bereitgestellt. Das Kalibrieren wird abhängig von der Tiefeninformation durchgeführt.
-
Durch die Tiefeninformation des Bilds kann die Kalibrierung effektiv durchgeführt werden. So kann die Kalibrierung auch aufwandsärmer und/oder genauer durchgeführt werden, als wenn keine Tiefeninformation vorhanden wäre. Die Tiefeninformation beschreibt einen Tiefenwert für jeden Bildpunkt des Bilds. Die Tiefeninformation wird an einer dritten Koordinatenachse, welche senkrecht auf die Zeilenkoordinatenachse und die Spaltenkoordinatenachse des Bilds ausgerichtet ist, angetragen. Anhand der Tiefeninformation kann der erfasste Umgebungsbereich dreidimensional rekonstruiert werden. Bei dem Umgebungsbereich handelt es sich insbesondere um einen Teilbereich eines gesamten Umgebungsbereichs des Kraftfahrzeugs. Der Umgebungsbereich wird insbesondere in einem Erfassungsbereich der Kamera erfasst. Die Tiefeninformation kann anhand des 4D-Lichtfelds bestimmt werden. Das 4D-Lichtfeld wiederum wird durch die plenoptische Kamera bereitgestellt. Die plenoptische Kamera wird auch Lichtfeldkamera genannt. Die plenoptische Kamera umfasst ein Mikrolinsenarray, welches vor dem Sensor der plenoptischen Kamera angeordnet ist. Abhängig von dem Mikrolinsenarray kann die Richtung bestimmt werden, aus der ein Lichtstrahl auf die plenoptische Kamera eingefallen ist. Dadurch kann dann das 4D-Lichtfeld bestimmt werden.
-
Mit der Tiefeninformation und der daraus erhaltenen 3D-Information des Umgebungsbereichs kann das Kalibrieren beziehungsweise das Ermitteln von Kameraparametern besonders effektiv und aufwandsarm erfolgen. So ist beispielsweise keine Bewegung der Kamera bei einer Selbstkalibrierung notwendig.
-
Insbesondere ist vorgesehen, dass abhängig von der Tiefeninformation Kameraparameter, insbesondere eine innere Orientierung der Kamera und/oder eine äußere Orientierung der Kamera bestimmt werden. Die innere Orientierung beschreibt die gegenseitige Lage von Bildebene und Projektionszentrum. Mittels der inneren Orientierung wird die Beziehung realisiert, durch die das dingseitige Hauptstrahlenbündel aus den Radialabständen des Bilds wieder hergestellt wird. Die innere Orientierung umfasst beispielsweise die Lage des Bildhauptpunkts in der Bildebene, die Kammerkonstante und/oder die Verzeichnungsparameter. Die äußere Orientierung ist die Orientierung des Bildkoordinatensystems von Einzelbildern nach Lage und Richtung im Objektkoordinatensystem. Die äußere Orientierung bestimmt die Lage des Bildhauptpunkts in einem räumlichen Koordinatensystem und ist Bestandteil der absoluten Orientierung. Die zu bestimmenden sechs Elemente der äußeren Orientierung eines Messbilds sind die drei Koordinaten des Aufnahmeorts beziehungsweise des Projektionszentrums und drei Orientierungswinkel des Bildkoordinatensystems. Die absolute Orientierung bezeichnet in der Photogrammetrie die räumliche Orientierung des Modells, welches für die Stereophotogrammetrie notwendig ist, um Bilder auswerten zu können. Die absolute Orientierung stellt die Beziehung des Modells zum äußeren Koordinatensystem, beispielsweise einem Landeskoordinatensystem, her. Bei der absoluten Orientierung wird zusätzlich zu den Elementen beziehungsweise den Parametern der äußeren Orientierung auch ein Maßstabsfaktor bestimmt. Durch das Bestimmen der inneren Orientierung und/oder der äußeren Orientierung kann in Bildern, welche von der Kamera erfasst wurden, gemessen werden.
-
Vorzugsweise ist vorgesehen, dass das Kalibrieren als kalibriermusterlose Selbstkalibrierung durchgeführt wird. Es ist also vorzugsweise vorgesehen, dass für die Kalibrierung kein Kalibriermuster und keine Passpunkte verwendet werden. Die Kalibrierung erfolgt vorzugsweise so, dass der erfasste Umgebungsbereich eine unbekannte Szene aufweist. Die Selbstkalibrierung kann anhand der Tiefeninformation durchgeführt werden. Es kann dadurch auf eine Bewegung der Kamera während des Kalibrierens verzichtet werden. Die Kalibrierung kann dadurch effektiv und aufwandsarm erfolgen.
-
Weiterhin ist vorzugsweise vorgesehen, dass während dem Kalibrieren das Kraftfahrzeug bewegungslos betrieben wird. Es ist also vorzugsweise vorgesehen, dass das Kraftfahrzeug und somit die Kamera während des Kalibrierens statisch sind. Das Kalibrieren mit einer statischen Kamera, welche das Bild von ausschließlich einer Aufnahmeposition bereitstellt, wird durch die Tiefeninformation des Bilds ermöglicht. Nachdem auf eine Bewegung der Kamera und/oder des Kraftfahrzeugs während der Kalibrierung verzichtet werden kann, kann die Kalibrierung effektiv und mit reduziertem Aufwand durchgeführt werden.
-
In einer weiteren Ausführungsform kann es vorgesehen sein, dass das Kalibrieren ohne eine a-priori Annahme, welche einen Initialisierungswert für die Kalibrierung bereitstellt, über die Ausrichtung der Kamera an dem Kraftfahrzeug durchgeführt wird. So wird üblicherweise bei dem Montieren einer Kamera an dem Kraftfahrzeug eine grobe Ausrichtung der Kamera ermittelt, welche dann in dem mathematischen Modell, welches der Kalibrierung zugrunde liegt, als Initialisierungswert verwendet wird. Die a-priori Annahme bezieht sich also auf die grobe Ausrichtung der Kamera an dem Kraftfahrzeug. Es kann somit vorgesehen sein, dass die Kalibrierung durchgeführt wird, ohne die grobe Ausrichtung beziehungsweise die a-priori Annahme zu bestimmen. Möglich wird das durch die Tiefeninformation und/oder die dreidimensionale Abbildung des Umgebungsbereichs. Das Kalibrieren kann somit wiederum effektiv, und insbesondere somit aufwandsarm durchgeführt werden.
-
In einer weiteren Ausführungsform ist insbesondere vorgesehen, dass das Kamerasystem mit einer weiteren Kamera ausgerüstet wird, durch welche ein weiterer Umgebungsbereich erfasst wird. Das Kamerasystem kann also die weitere Kamera aufweisen, welche den Umgebungsbereich des Kraftfahrzeugs zumindest teilweise zusätzlich erfasst. Durch die weitere Kamera kann beispielsweise derselbe Umgebungsbereich wie mit der plenoptischen Kamera aufgenommen werden oder es wird ein anderer Umgebungsbereich, welcher von dem Umgebungsbereich verschieden ist, aufgenommen. Durch die weitere Kamera wird der Wirkungsbereich des Kamerasystems erhöht.
-
Vorzugsweise ist vorgesehen, dass die weitere Kamera als eine nicht-plenoptische Kamera, welche ein tiefeninformationsloses weiteres Bild bereitstellt, bereitgestellt wird. Die nicht-plenoptische Kamera ist insbesondere eine konventionelle Kamera, welche als das weitere Bild ein 2D-Bild bereitstellt. Das weitere Bild weist somit also keine Tiefeninformation auf. Die nicht-plenoptische Kamera kann beispielsweise den Vorteil aufweisen, dass eine höhere Auflösung des weiteren Bilds in Vergleich mit dem Bild der plenoptischen Kamera bereitgestellt werden kann. Der weitere Umgebungsbereich kann also besonders genau erfasst werden.
-
Weiterhin ist vorzugsweise vorgesehen, dass eine weitere Kalibrierung der weiteren Kamera abhängig von Kameraparametern der plenoptischen Kamera durchgeführt wird. Die Kameraparameter der plenoptischen Kamera umfassen die innere Orientierung und/oder die äußere Orientierung. So kann beispielsweise eine dreidimensionale Abbildung des Umgebungsbereichs genutzt werden, um die weitere Kamera zu kalibrieren. Insbesondere dann, wenn sich der weitere Umgebungsbereich und der Umgebungsbereich überlappen. Die weitere Kalibrierung der weiteren Kamera kann anhand der Kameraparameter der plenoptischen Kamera und/oder der Tiefeninformation des Bilds verbessert beziehungsweise verstärkt werden. Mit anderen Worten, die weitere Kalibrierung der weiteren Kamera kann mit dem Wissen über die Kameraparameter der plenoptischen Kamera genauer ausgeführt werden.
-
Weiterhin ist vorzugsweise vorgesehen, dass bei der weiteren Kalibrierung eine relative Orientierung und/oder eine absolute Orientierung der weiteren Kamera bestimmt wird. Die relative Orientierung beziehungsweise gegenseitige Orientierung ist die Orientierung der Bildkoordinatensysteme von Bildpaaren nach relativer Lage und Richtung so zueinander, dass sich ihre homologen Strahlenbündel schneiden. Die relative Orientierung kann beispielsweise eine Anordnung der plenoptischen Kamera zu der weiteren Kamera beschreiben oder umgekehrt. Die absolute Orientierung stellt eine Beziehung zu beispielsweise einem Weltkoordinatensystem her. Die absolute Orientierung umfasst einen Maßstabsfaktor, das heißt es kann von einem Objekt in dem Bild auf die Größe des Objekts in der Umgebung beziehungsweise in der Realität beziehungsweise in dem Umgebungsbereich geschlossen werden. Vorteilhaft ist also das Vorhandensein von verschiedenen Stufen der Kalibrierung, welche den Anforderungen entsprechend ausgewählt werden können.
-
In einer weiteren Ausführungsform kann es vorgesehen sein, dass der Umgebungsbereich und der weitere Umgebungsbereich nur teilweise überlappend angeordnet sind, und eine Kalibrierung der weiteren Kamera abhängig von der Tiefeninformation des Bilds durchgeführt wird. Damit ist gemeint, dass die plenoptische Kamera mit dem Umgebungsbereich des gesamten Umgebungsbereichs zumindest teilweise dieselbe Szene erfasst, wie die weitere Kamera mit dem weiteren Umgebungsbereich des gesamten Umgebungsbereichs. Vorteilhaft ist beispielsweise, dass der überlappende Umgebungsbereich für die weitere Kamera durch das Bild mit der Tiefeninformation versehen werden kann. Das weitere Bild kann also in dem zumindest teilweise überlappenden Bereich mit der Tiefeninformation bereitgestellt werden. Die weitere Kamera kann also anhand der Tiefeninformation von dem Bild der plenoptischen Kamera auch kalibriert werden, wenn diese beispielsweise statisch also nicht bewegt ist. Somit kann erreicht werden, dass die weitere Kamera als nicht-plenoptische Kamera ohne Bewegung des Kraftfahrzeugs beziehungsweise ohne Bewegung der weiteren Kamera und/oder ohne Kalibriermuster beziehungsweise Passpunkte kalibriert werden kann. Die Tiefeninformation kann dadurch also nicht nur für die Kalibrierung der plenoptischen Kamera verwendet werden, sondern ergänzend oder alternativ für die weitere Kalibrierung der weiteren Kamera. Weiterhin kann eine vorhandene Kalibrierung der weiteren Kamera anhand der Tiefeninformation verbessert werden. Es kann aber auch vorgesehen sein, dass der Umgebungsbereich und der weitere Umgebungsbereich vollständig überlappend angeordnet sind.
-
Weiterhin ist vorzugsweise vorgesehen, dass eine 3D-Information von dem weiteren Umgebungsbereich abhängig von dem weiteren Bild erzeugt wird, und die 3D-Information anhand der Tiefeninformation angepasst wird. So kann beispielsweise eine 3D-Information von dem weiteren Umgebungsbereich vorliegen, welche als Grundlage für die weitere Kalibrierung dient. Die 3D-Information von dem weiteren Umgebungsbereich kann, um das weitere Kalibrieren zu verbessern beziehungsweise die Genauigkeit zu erhöhen, mit der Tiefeninformation und somit einer 3D-Information von der plenoptischen Kamera angepasst beziehungsweise verbessert werden. Die Genauigkeit des weiteren Umgebungsbereichs, welcher als Referenzumgebungsbereich für die weitere Kalibrierung genutzt wird, kann somit erhöht werden. So kann die 3D-Information von dem weiteren Umgebungsbereich beispielsweise auf Basis von einem Stereoprinzip erzeugt werden. Die Tiefeninformation ist jedoch nach dem Prinzip der plenoptischen Kamera bestimmt worden. Es können somit zwei Wege zur Bestimmung der 3D-Information fusioniert werden, um beispielsweise die Genauigkeit der 3D-Information und/oder die Fehlerhaftigkeit der 3D-Information in vorteilhafter Weise anzupassen.
-
Weiterhin kann es vorgesehen sein, dass bei der weiteren Kalibrierung eine a-priori Annahme über die Ausrichtung der weiteren Kamera an dem Kraftfahrzeug anhand der Kameraparameter der plenoptischen Kamera bestimmt wird. Die a-priori Annahme über die Ausrichtung der weiteren Kamera an dem Kraftfahrzeug wird üblicherweise bei der Montage der weiteren Kamera an dem Kraftfahrzeug ermittelt. Die a-priori Annahme beschreibt eine grobe Ausrichtung der Kamera. Die a-priori Annahme geht in das mathematische Verfahren zur Kalibrierung als Initialisierungswert ein. Der Initialisierungswert befindet sich optimalerweise soweit wie möglich an den optimalen Werten der Kameraparameter. Es kann also vorgesehen sein, dass die a-prior Annahme ausschließlich anhand der Kameraparameter der Kamera beziehungsweise der plenoptischen Kamera bestimmt wird. Vorteilhaft ist also, dass eine separate a-priori Annahme ohne das Wissen der Kameraparameter nicht nötig ist. Dies vereinfacht beispielsweise den Einbau der weiteren Kamera in das Kraftfahrzeug. Vereinfacht wird der Einbau unter anderem deswegen, weil beispielsweise auf Messvorgänge zur Bestimmung der a-priori Annahme verzichtet werden kann.
-
Die Erfindung betrifft auch ein Kamerasystem für ein Kraftfahrzeug mit zumindest einer plenoptischen Kamera, welche dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen.
-
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen umfasst ein erfindungsgemäßes Kamerasystem.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Kamerasystem; und
-
2 in schematischer Darstellung ein Umgebungsbereich, welcher mit einer plenoptischen Kamera des Kamerasystems erfasst wird, und ein weiterer Umgebungsbereich, welcher mit einer nicht-plenoptischen Kamera erfasst wird.
-
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Kamerasystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Kamerasystem 2 umfasst im Ausführungsbeispiel nur eine einzige plenoptische Kamera 3, insbesondere nur diese einzige Kamera 3. Die plenoptische Kamera 3 wird auch Lichtfeldkamera genannt und erfasst ein 4D-Lichtfeld eines Motivs. Im Gegensatz dazu erfasst eine konventionelle Kamera nur ein 2D-Bild. Bei dem 4D-Lichtfeld ist nicht nur die Position und Intensität eines Lichtstrahls auf dem Bildsensor bekannt, sondern auch die Richtung, aus der dieser Lichtstrahl eingefallen ist. Möglich wird die Messung des 4D-Lichtfelds durch ein Gitter aus mehreren Mikrolinsen vor dem Bildsensor der plenoptischen Kamera 3.
-
Die plenoptische Kamera 3 ist gemäß dem Ausführungsbeispiel an einem Heck 4 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der plenoptischen Kamera 3 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass ein Umgebungsbereich 5 eines Gesamtumgebungsbereichs des Kraftfahrzeugs 1 erfasst werden kann.
-
In 2 ist das Kraftfahrzeug 1 mit der plenoptischen Kamera 3 gezeigt. Die plenoptische Kamera 3 ist gemäß dem Ausführungsbeispiel an dem Heck 4 angeordnet. Weiterhin ist an dem Kraftfahrzeug 1 eine weitere plenoptische Kamera 6 angeordnet. Die weitere plenoptische Kamera 6 ist an einer ersten Längsseite 7 des Kraftfahrzeugs 1 bezüglich einer Vorwärtsfahrtrichtung 8 des Kraftfahrzeugs 1 angeordnet. Das Kraftfahrzeug 1 umfasst weiterhin eine nicht-plenoptische Kamera 9, welche an einer Front 10 des Kraftfahrzeugs 1 angeordnet ist. An einer zweiten Längsseite 11 des Kraftfahrzeugs 1 ist eine weitere nicht-plenoptische Kamera 12 angeordnet.
-
Die plenoptische Kamera 3 und/oder die weitere plenoptische Kamera 6 und/oder die nicht-plenoptische Kamera 9 und/oder die weitere plenoptische Kamera 12 ist eine CMOS-Kamera (Complementary Metal-oxide-semiconductor) oder aber eine CCD-Kamera (Charge-coupled Device) oder eine beliebige Bildererfassungseinrichtung, welche ein Einzelbild von dem Umgebungsbereich 5 des Kraftfahrzeugs 1 bereitstellen kann. Es können auch mehrere solcher Kameras 3, 6, 9, 12 eingesetzt werden. Die Kameras 3, 6, 9, 12 sind Videokameras, welche kontinuierlich eine Bildsequenz von Einzelbildern (Frame) bereitstellen. Eine Verarbeitungseinheit des Kamerasystems 2 verarbeitet dann die Bildsequenz der Einzelbilder beispielsweise in Echtzeit.
-
Die plenoptische Kamera 3 erfasst im Ausführungsbeispiel durch einen Erfassungsbereich einen ersten Umgebungsbereich 13. Die weitere plenoptische Kamera 6 erfasst durch einen Erfassungsbereich einen zweiten Umgebungsbereich 14. Weiterhin erfasst die nicht-plenoptische Kamera 9 durch einen Erfassungsbereich einen dritten Umgebungsbereich 15 und die weitere nicht- plenoptische Kamera 12 erfasst durch einen Erfassungsbereich einen vierten Umgebungsbereich 16.
-
Die Erfassungsbereiche der Kameras 3, 6, 9, 12 überlappen bereichsweise. Daher weisen der erste Umgebungsbereich 13 und der zweite Umgebungsbereich 14 einen ersten Überlappungsbereich 17 auf. Der erste Umgebungsbereich 13 und der dritte Umgebungsbereich 15 weisen einen zweiten Überlappungsbereich 18 auf. Zudem ergibt sich durch das Überlappen des dritten Umgebungsbereichs 15 und des vierten Umgebungsbereichs 16 ein dritter Überlappungsbereich 19 und durch das Überlappen des vierten Umgebungsbereichs 16 mit dem zweiten Umgebungsbereich 14 ergibt sich ein vierter Überlappungsbereich 20.
-
Ein Bild, welches von dem ersten Umgebungsbereich 13 und/oder dem zweiten Umgebungsbereich 14 mit der plenoptischen Kamera 3 und/oder der weiteren plenoptischen Kamera 6 aufgenommen wird, umfasst eine Tiefeninformation. Die Tiefeninformation kann anhand des 4D-Lichtfelds der plenoptischen Kamera 3 und/oder der weiteren plenoptischen Kamera 6 bestimmt werden. Die Tiefeninformation ist insbesondere ein Tiefenwert für jeden Bildpunkt des Bilds. Das Bild ermöglicht also eine dreidimensionale Abbildung des ersten Umgebungsbereichs 13 und/oder des zweiten Umgebungsbereichs 14.
-
Mit der 3D-Information beziehungsweise der dreidimensionalen Abbildung kann die plenoptische Kamera 3 und/oder die weitere plenoptische Kamera 6 kalibriert werden. Das Kalibrieren umfasst insbesondere, dass Kameraparameter der plenoptischen Kamera 3 und/oder der weiteren plenoptischen Kamera 6 abhängig von der Tiefeninformation ermittelt werden. Die Kameraparameter umfassen insbesondere eine innere Orientierung und/oder eine äußere Orientierung. Die innere Orientierung umfasst beispielsweise den Bildhauptpunkt des Bilds, die Kammerkonstante und Parameter, welche die Verzeichnung des Bilds beschreiben. Die Verzeichnung tritt beispielsweise aufgrund eines Objektivs der Kamera 3, 6, 9, 12 auf. Die äußere Orientierung beschreibt die Anordnung beziehungsweise Ausrichtung der Kamera 3, 6, 9, 12 an dem Kraftfahrzeug 1 bezüglich eines Weltkoordinatensystems also beispielsweise eines erdfesten Koordinatensystems, welches verschieden von dem Kamerakoordinatensystem der Kamera 3, 6, 9, 12 ist. Mit dem Wissen über die Kameraparameter kann dann in dem Bild gemessen werden und beispielsweise von einer Abmessung in dem Bild zu einer Abmessung in der Realität gelangt werden. Durch die Tiefeninformation kann das Kalibrieren der plenoptischen Kamera 3 und/oder der weiteren plenoptischen Kamera 6 kalibriermusterlos, also ohne ein Kalibriermuster, und ohne eine Bewegung der plenoptischen Kamera 3 und/oder der weiteren plenoptischen Kamera 6 ausgeführt werden und somit aufwandsreduziert und dennoch sehr genau erfolgen. Durch die Tiefeninformation ist somit eine Selbstkalibrierung der plenoptischen Kamera 3 und/oder weiteren plenoptischen Kamera 6 mit dem statischen beziehungsweise bewegungslosen Kraftfahrzeug 1 möglich.
-
Weiterhin kann die Kalibrierung der plenoptischen Kamera 3 und/oder der weiteren plenoptischen Kamera 6 ohne eine a-priori Annahme über die Ausrichtung der plenoptischen Kamera 3 und/oder der weiteren plenoptischen Kamera 6 erfolgen. Die a-priori Annahme wird grob bestimmt, um Initialisierungswerte für den Vorgang des Kalibrierens zu erhalten. Die a-priori Annahme kann beispielsweise mit einem Maßband bestimmt werden.
-
In dem ersten Überlappungsbereich 17 kann eine 3D-Rekonstruktion, welche als Grundlage für die Kalibrierung dient und/oder die Tiefeninformation abhängig von einer zusätzlichen Tiefeninformation von der weiteren plenoptischen Kamera 6 verbessert werden.
-
In dem zweiten Überlappungsbereich 18 und/oder dem vierten Überlappungsbereich 20 kann eine weitere Kalibrierung der nicht-plenoptischen Kamera 9 und/oder der weiteren nicht-plenoptischen Kamera 12 anhand der 3D-Rekonstruktion und/oder des Tiefenwerts von dem Bild des ersten Umgebungsbereichs 13 und/oder des zweiten Umgebungsbereichs 14 bestimmt werden. Für das Kalibrieren der nicht-plenoptischen Kamera 9 und/oder der weiteren nicht-plenoptischen Kamera 12 wird üblicherweise ein Kalibriermuster und/oder eine Bildfolge von unterschiedlichen Aufnahmepositionen der nicht-plenoptischen Kamera 9 und/oder der weiteren nicht-plenoptischen Kamera 12 benötigt. Auf diese Bedingung kann jedoch verzichtet werden, wenn in einem weiteren Bild, welches von der nicht-plenoptischen Kamera 9 und/oder der weiteren nicht-plenoptischen Kamera 12 aufgenommen wird, der erste Umgebungsbereich 13 und/oder der zweite Umgebungsbereich 14 erfasst wird. Somit ist in dem weiteren Bild auch die Tiefeninformation aus dem Bild enthalten.
-
Für die weitere Kalibrierung der nicht-plenoptischen Kamera 9 und/oder der weiteren nicht-plenoptischen Kamera 12 kann also der Tiefenwert beziehungsweise die Tiefeninformation genutzt werden.
-
Die nicht-plenoptische Kamera 9 und/oder die weitere nicht-plenoptische Kamera 12 können auch bei statischem Kraftfahrzeug 1 und ohne Kalibriermuster kalibriert werden, sofern der dritte Umgebungsbereich 15 und/oder der vierte Umgebungsbereich 16 nur teilweise von dem ersten Umgebungsbereich 13 und/oder dem zweiten Umgebungsbereich 14 überlappt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
