-
Die Erfindung betrifft ein Verfahren zur Kalibrierung und/oder Überprüfung der Kalibrierung einer Fahrzeugkamera eines Fahrzeugs, ein Fahrzeug mit Fahrzeugkamera, sowie ein Computerprogrammprodukt umfassend einen Bildbearbeitungsalgorithmus welcher zur Emulation einer Kalibrierung und/oder Überprüfung der Kalibrierung einer Fahrzeugkamera ausgebildet ist.
-
Mit anderen Worten:
-
Die Erfindung betrifft primär ein Verfahren zur Überwachung der Kalibrierparameter (Erfassungscharakteristik), sowie Verfahren zur Durchführung einer Kalibrierung (der Erfassungscharakteristik) eines Stereo-Kamera-Systems, insbesondere im Werkstattbereich, über die Lebenszeit des Fahrzeuges und gegebenenfalls sogar während des Fahrbetriebs.
-
Assistenzsysteme mit optischen Umgebungsüberwachungsfunktionen (Kameras) erlangen eine immer höhere Markdurchdringung, da diese neben einem Sicherheitsgewinn auch einen Komfortzuwachs für den Fahrzeugführer bedeuten.
So sind beispielsweise Spurhalteassistenten bekannt, welche den Fahrzeugführer warnen, wenn die Gefahr besteht, dass das Fahrzeug von der Spur abkommt.
-
Ebenso beim Thema „autonome Fahrzeugführung“, bzw. „pilotiertes Fahren“ (automatische Fahrzeugführung) sind Assistenzsysteme mit optischen Umgebungsüberwachungsfunktionen (Kameras) unerlässlich.
-
Da die Assistenzsysteme mit optischen Umgebungsüberwachungsfunktionen die „Schnittstelle“ zwischen Fahrbahn und Fahrzeug bilden, ist es für eine einwandfreie Funktionalität zwingend erforderlich, dass die optischen Umgebungserfassungssysteme sehr genau im Fahrzeug (insbesondere Windschutzscheibe) montiert sind, da bereits geringfügige Abweichungen (Toleranzen) zu Fehlfunktionen führen können.
-
Dies bedeutet im Umkehrschluss, dass immer dann, wenn
- a) nach einem Scheibenwechsel (infolge Steinschlagreparatur), oder
- b) nach einem Kamerawechsel (infolge Kamerasystemfehler),
die optischen Umgebungserfassungssysteme ausgetauscht bzw. neu montiert worden sind, diese auch wieder neu ausgerichtet bzw. die optische Achse des Systems neu Kalibriert werden muss.
-
Dies ist insbesondere im Servicebereich / Werkstattbetrieb (bei kleineren Firmen) oftmals ein Problem, da hierfür ein entsprechendes Equipment erforderlich ist.
-
Ebenso ist es für die Aufrechterhaltung der Funktionsfähigkeit über die Lebensdauer des Fahrzeuges von Vorteil, wenn die Kalibrierung eines Kamera-Systems in (regelmäßigen) zeitlichen Abständen immer wieder erneut daraufhin überprüft wird, ob die Kalibrierung noch gegeben ist, oder ob durch Alterungseffekte die ursprünglichen Kalibriereinstellungen „abgedriftet“ sind.
-
-
Der Stand der Technik, wird nachfolgend anhand der Schrift
DE 10 2017 219 688 A1 unter Zuhilfenahme der darin enthaltenen
1 bis
5, sowie der zugehörigen Figurenbeschreibung, durch Verwendung der
1 bis
5 und Kopie der Figurenbeschreibung zu den
1 bis
5 aus der Offenlegungsschrift
DE 10 2017 219 688 A1 , erläutert.
-
Siehe nachfolgend:
-
Die 1 zeigt ein Fahrzeug (1) mit einer Stereo-Kamera (10), deren Erfassungsbereich in Fahrtrichtung ausgerichtet ist. Die beiden optischen Achsen (10.1, 10.2) der beiden mit einem Abstand montierten Mono-Kameras weisen einen definierten Winkel (α) gegenüber der x-Richtung auf. Aufgrund der beiden Winkel (α) ergibt sich ein Schnittpunkt bei einem Abstand (a). Sofern die beiden optischen Achsen parallel zueinander ausgerichtet sind, kann der Abstand (a) den Abstand zu einem Raumpunkt darstellen, der durch Triangulation aus den jeweiligen Bildpunkten der beiden Kameramodule rekonstruiert wird.
-
Die 2 zeigt beispielhaft und schema-tisch eine Stereokamera (10) mit einem linken (L)und einem rechten (R) Kameramodul mit jeweils einem Bildaufnahmesensor mit Pixeln mit einen aktiven Chip-Bereich (aB) und einer als Ellipse dargestellten Linse. Der optische Erfassungsbereich ist durch die sich in der Linse kreuzenden strichpunktierten Linien symbolisiert. Die optischen Achsen (10.1, 10.2) der beiden Kameramodule (L, R) weisen jeweils einen Winkel (α) gegenüber der x-Richtung auf. Für Kalibrierzwecke ist der aktive Chip-Bereich (aB) variabel wählbar bzw. verschiebbar, was erforderlich ist, um den Erfassungsbereich, bzw. den Schnittpunkt der beiden optischen Achsen (10.1, 10.2) mit dem Abstand (a) zu erzielen. Sofern bei der Überprüfung (Kalibrierung) im Stereo-Kamera-Herstellprozess im Werk, der Schnittpunkt nicht in der vorgesehenen Entfernung (a) gemäß 1 liegen sollte, so kann der Abstand des Schnittpunktes durch Kalibrierung derart zum richtigen Abstand (a) abgeändert werden, indem ein oder beide Chipbereiche (auszuwertende aktive Chipbereiche (aB)) in der horizontalen Ebene beschnitten oder verschoben werden (wie dies beispielhaft in der 3, betreffend der rechten Kamera (R) gezeigt ist) . Selbstverständlich kann auch der Neigungswinkel der optischen Achsen durch Beschneiden und/oder Verschieben des aktiven Chipbereiches in der vertikalen Ebene abgeändert bzw. Kalibriert werden (eine Kombination aus horizontaler und vertikaler Beschneidung und/oder Verschiebung ist ebenso möglich).
-
Wie aus der 3 im rechten Bild hierzu ersichtlich ist, kann der Winkel (α') der optischen Achse (10.2') des rechten Kameramoduls gegenüber der x-Richtung verändert werden, indem der aktive Chip-bereich (aB') in der horizontalen Ebene verschoben wird.
-
Mit anderen Worten:
-
Das zu erfassende Gesamtbild wird elektronisch durch Selektion der künftig (nach der Kalibrierung) auszuwertenden Pixelpunkte (Chipbereiches, aB') derart „beschnitten“ bzw. „verschoben“, dass der Winkel (α') der optischen Achse (10.2') zu dem Wertabgeändert / verschoben wird, wie dieser nach der Kalibrierung erforderlich ist.
-
Diese Art der Kalibrierung kann sowohl beider Produktherstellung im Fertigungswerk der Kamera, wie auch im Einbauzustand im Fahrzeug durchgeführt werden.
-
Durch ein erfindungsgemäßes Verfahren wird insbesondere eine Neuausrichtung einer optischen Achse (10.1, 10.2) der Fahrzeugkamera (2) bzw. eines Kameramoduls (L, R) einer Stereo-Kamera (10) mit einfachen Mitteln und geringem Aufwand ermöglicht.
-
Die 4 zeigt beispielhaft eine schematische Darstellung eines einfachen Kalibrierplatzes. Für den Kalibriervorgang wird das Fahrzeug (1) an Bodenmarkierungen (BM) ausgerichtet, sodass sich zur Kalibriermarke (4) ein definierter Abstand (a) ergibt. Die Kalibriermarke (4) ist ebenfalls an einer Bodenmarkierung (BM) ausgerichtet, sodass die Kalibriermarke (4) mit einer vorgegebenen Höhe (h) und einem definierten Abstand (a) von der Kamera (2) erfasst werden kann.
-
Die 5a und 5b zeigen beispielhaft eine schematische Darstellung eines Kalibriervorganges gemäß der 4, anhand einer Monokamera als Fahrzeugkamera (2) . Die 5a zeigt einen unkalibrierten Zustand. Wie aus der linken 5a beispielhaft ersichtlich ist, befindet sich die Kalibriermarke (4) nicht mittig zum aktiven Bereich (aB), so dass eine Kalibrierung erforderlich ist.
-
Die Kalibrierung wird mittels Verschiebung des aktiven Bereiches (aB) erzielt, indem der aktive Bereich (aB) wie in der 5b gezeigt, soweit nach links verschoben wird, bis die Kalibriermarke (4) mittig zum aktiven Bereich (aB) ist.
-
Bei der Kalibrierung wird der aktive Bereich (aB) quasi durch die Auswahl der entsprechenden Pixel horizontal „verschoben“ (neu definiert), indem nach der Kalibrierung nur noch der selektierte Pixel-Bereich (aktive Bereich (aB)) weiter ausgewertet wird.
-
Die in den 2, 3 und 5 gezeigten Pixel (P) sind von der Anzahl nur beispielhaft und für den Fachmann selbsterklärend, dass in der Realität die Anzahl an Pixeln (P) deutlich mehr sind.
-
Der Vollständigkeitshalber sei angemerkt, dass der sogenannte aktive Chipbereich (aB), sowohl
- a) direkt auf dem Empfänger-Chip / Bildaufnahmechip durch die Definition eines bestimmten Pixelbereiches mit einer vorgebbaren Zeilen- und Spaltenzahl definiert werden kann, und bei der Kalibrierung entsprechend „verschoben“ werden kann, wie auch ersatzweise
- b) indirekt auf dem Bildverarbeitungs-µP durch die Definition eines bestimmten Pixelbereiches mit einer vorgebbaren Zeilen- und Spaltenzahldefiniert werden kann, und bei der Kalibrierung entsprechend „verschoben“ werden kann.
-
Soweit so gut.
-
Wie die nachfolgende Beschreibung zeigt, sind bei der Lösung gemäß dem Stand der Technik bezüglich der Auflösung gewisse Grenzen gesetzt.
-
Aufgabe der Erfindung:
-
Die Aufgabe der Erfindung kann darin gesehen werden, eine Lösung vorzustellen, mittels dieser bei der Durchführung der Kalibrierung und/oder Überprüfung der Kalibrierung eine bessere Auflösung gewährleistet werden kann, bzw. die Lösungen gemäß dem Stand der Technik zu optimieren, damit die Überprüfungsqualität gesteigert / verbessert werden kann. (Wobei auch eine Überprüfungsmöglichkeit im Feld / während des Fahrbetriebs langfristig anzustreben ist).
-
Lösung der Aufgabe:
-
Die Aufgabe wird gelöst durch ein Verfahren zur Kalibrierung und/oder Überprüfung der Kalibrierung einer Fahrzeugkamera, einem Fahrzeug mit Fahrzeugkamera, sowie einem Computerprogrammprodukt gemäß den unabhängigen Ansprüchen 1, 2, 3, 4, 8 und 10. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben, wobei auch nicht näher beschriebene Kombinationen, bzw. sich ergebende logische / für den Fachmann naheliegende Weiterentwicklung mit einbegriffen sind.
-
Mit anderen Worten:
-
Um bei Durchführung der Kalibrierung und/oder Überprüfung der Kalibrierung eine bessere Auflösung zu gewährleisten / erzielen, wird erfindungsgemäß vorgeschlagen, dass bei der Durchführung der Kalibrierung und/oder Überprüfung der Kalibrierung
- a) anstatt eines Vergleichs auf Übereinstimmung auf der Bild-Ebene (y-Signalebene)
- b) ein Vergleich auf Übereinstimmung auf der R-G-B-Signal-Ebene erfolgt.
-
Der daraus sich ergebende Vorteil gegenüber einem Vergleich auf der Bild-Ebene (y-Signalebene) ist darin zu sehen, dass die Signaturen der R-G-B-Signale deutlichere Signalverläufe aufweisen, da es sich quasi um „Rohdaten-Signale“ handelt, wohingegen die Signalverläufe auf der Bild-Ebene (y-Signalebene) durch die Datenfusion bereits „gefiltert“ (vermengt) sind.
-
Die Durchführung der Kalibrierung und/oder Überprüfung der Kalibrierung erstreckt sich selbstverständlich vorzugsweise über alle Zeilen des Bildes, bzw. schließt alle Zeilen des Bildes mit ein, wobei bei der Überprüfung der Kalibrierung, insbesondere während der Lebensdauer bzw. im Fahrzeugbetriebszustand, sich die Überprüfung auf einen oder mehrere Pixel-Cluster, welche markante Punkte innerhalb eines/des erfassten Umgebungsbildes darstellen, begrenzen kann. Ein markanter Punkt, bzw. ein markanter Bereich kann im Lichte der Erfindung als Kalibriermarke angesehen / verwendet werden.
-
Erfindungsgemäß ist ein Verfahren zur Kalibrierung einer Fahrzeugkamera eines Fahrzeugs vorgesehen, wobei die Fahrzeugkamera eine Stereokamera mit zwei Kameramodulen ist, wobei jedes Kameramodul einen Bildaufnahmechip mit einer Gesamtzahl an Pixeln aufweist, wobei ein aktiver Chip-Bereich einstellbar ist, der eine Teilmenge der Pixel oder alle Pixel des Bildaufnahmechips aufweist, wobei zur Aufnahme eines Stereo-Bilds mittels der Stereokamera nur die Pixel des aktiven Chip-Bereichs verwendet werden, wobei in einer Ausgangskonfiguration die beiden aktiven Chip-Bereiche des ersten und des zweiten Kameramoduls derart eingestellt sind, dass sie überlappend denselben Umgebungsbereich erfassen, wobei das Verfahren die folgenden Schritte aufweisend ist:
- - Aufnahme von mindestens einem Stereo-Referenzbild;
- - Bestimmen einer Abweichung der Überlappung der Erfassungsbereiche der beiden Kameramodule infolge einer Veränderung der optischen Achse mindestens eines der Kameramodule;
- - in Abhängigkeit von der bestimmten Abweichung Einstellung eines geänderten aktiven Chip-Bereichs des Bildaufnahmechips des abweichenden Kameramoduls durch Verkleinern oder Verschieben der aktiven Pixel von dem Referenzbild in der Weise, dass die Überlappung der aktiven Chip-Bereiche von erstem und zweitem Kameramodul wieder hergestellt ist;
und sich dadurch auszeichnet, dass
- - bei der Durchführung der Kalibrierung,
- o anstatt eines Vergleichs auf Übereinstimmung auf der Bild-Ebene (y-Signal-Ebene),
- o ein Vergleich auf Übereinstimmung auf der R-G-B-Signal-Ebene erfolgt.
-
Erfindungsgemäß ist ein weiteres Verfahren zur Kalibrierung einer Fahrzeugkamera eines Fahrzeugs vorgesehen, wobei die Fahrzeugkamera einen Bildaufnahmechip mit einer Gesamtzahl an Pixeln aufweist, wobei ein aktiver Chip-Bereich einstellbar ist, der eine Teilmenge der Pixel des Bildaufnahmechips aufweist, wobei zur Aufnahme eines Bilds mittels der Fahrzeugkamera nur die Pixel des aktiven Chip-Bereichs verwendet bzw. ausgewertet werden, wobei das Verfahren die folgenden Schritte aufweisend ist:
- - Aufnahme von mindestens einem Referenzbild entsprechend eines ersten aktiven Chip-Bereichs mit einer in einem Blickfeld der Fahrzeugkamera angeordneten Kalibriermarke;
- - Bestimmen einer Lageabweichung von der Kalibriermarke zu einem Bildzentrum des Referenzbildes;
- - in Abhängigkeit von der bestimmten Lageabweichung Einstellung eines zweiten aktiven Chip-Bereichs durch Verschieben der aktiven Pixel von dem Referenzbild in der Weise, dass die Kalibriermarke mittig im Bildausschnitt korrespondierend dem zweiten aktiven Chip-Bereich angeordnet ist;
- - Festlegen des selektierten Bildausschnitts als ein auszuwertender Bildauswertebereich für die von der Fahrzeugkamera (2) im Fahrbetrieb aufzunehmenden Kamerabilder, und sich dadurch auszeichnet, dass
- - bei der Durchführung der Kalibrierung,
- o anstatt eines Vergleichs auf Übereinstimmung auf der Bild-Ebene (y-Signal-Ebene),
- o ein Vergleich auf Übereinstimmung auf der R-G-B-Signal-Ebene erfolgt.
-
Erfindungsgemäß ist ein weiteres Verfahren zur Kalibrierung einer Fahrzeugkamera eines Fahrzeugs vorgesehen, wobei die Fahrzeugkamera eine Stereokamera mit zwei Kameramodulen ist, wobei jedes Kameramodul einen Bildaufnahmechip mit einer Gesamtzahl an Pixeln aufweist, wobei ein aktiver Chip-Bereich einstellbar ist, der eine Teilmenge der Pixel oder alle Pixel des Bildaufnahmechips aufweist, wobei zur Aufnahme eines Stereo-Bilds mittels der Stereokamera nur die Pixel des aktiven Chip-Bereichs verwendet werden, wobei in einer Ausgangskonfiguration die beiden aktiven Chip-Bereiche des ersten und des zweiten Kameramoduls derart eingestellt sind, dass sie überlappend denselben Umgebungsbereich erfassen, wobei das Verfahren die folgenden Schritte aufweisend ist:
- - Aufnahme von mindestens einem Stereo-Referenzbild;
- - Bestimmen einer Abweichung der Überlappung der Erfassungsbereiche der beiden Kameramodule infolge einer Veränderung der optischen Achse mindestens eines der Kameramodule;
- - in Abhängigkeit von der bestimmten Abweichung Einstellung eines geänderten aktiven Chip-Bereichs des Bildaufnahmechips des abweichenden Kameramoduls durch Verkleinern oder Verschieben der aktiven Pixel von dem Referenzbild in der Weise, dass die Überlappung der aktiven Chip-Bereiche von erstem und zweitem Kameramodul wieder hergestellt ist,
und sich dadurch auszeichnet, dass
die Durchführung der Kalibrierung, nicht zwingend in der Werkstatt erfolgen muss, sondern während des Fahrbetriebes, insbesondere bei einem vorübergehenden Stopp des Fahrzeugs (z.B. bei einer roten Ampelphase), durchführbar ist.
-
Ferner ist erfindungsgemäß ein Verfahren zur Überprüfung einer Kalibrierung einer Fahrzeugkamera eines Fahrzeugs vorgesehen wobei die Fahrzeugkamera eine Stereokamera mit zwei Kameramodulen ist, wobei jedes Kameramodul einen Bildaufnahmechip mit einer Gesamtzahl an Pixeln aufweist, wobei ein aktiver Chip-Bereich einstellbar ist, der eine Teilmenge der Pixel oder alle Pixel des Bildaufnahmechips aufweist, wobei zur Aufnahme eines Stereo-Bilds mittels der Stereokamera nur die Pixel des aktiven Chip-Bereichs verwendet werden, wobei in einer Ausgangskonfiguration die beiden aktiven Chip-Bereiche des ersten und des zweiten Kameramoduls derart eingestellt sind, dass sie überlappend denselben Umgebungsbereich erfassen, wobei das Verfahren die folgenden Schritte aufweisend ist:
- - Aufnahme von mindestens einem Stereo-Referenzbild;
- - Bestimmen einer Abweichung der Überlappung der Erfassungsbereiche der beiden Kameramodule infolge einer Veränderung der optischen Achse mindestens eines der Kameramodule;
- - in Abhängigkeit von der bestimmten Abweichung Erkennung einer Kalibrierabweichung,
und sich dadurch auszeichnet, dass
- - bei der Durchführung der Überprüfung der Kalibrierung,
- o anstatt eines Vergleichs auf Übereinstimmung auf der Bild-Ebene (y-Signal-Ebene),
- o ein Vergleich auf Übereinstimmung auf der R-G-B-Signal-Ebene erfolgt.
-
In einer bevorzugten Ausführungsform der Erfindung zeichnet sich das Verfahren dadurch aus, dass die Durchführung der Kalibrierung und/oder Überprüfung der Kalibrierung, anhand eines einzelnen Pixels mit einer oder mehreren der Basisfarben (R, G, B) des einzelnen Pixels (gemäß 9), erfolgt,
indem ein entsprechender Vergleich mit dem jeweiligen korrespondierenden Pixel/n der Weiteren der beiden Kameramodule der Stereokamera auf Übereinstimmung erfolgt / ausgeführt wird.
-
In einer weiteren bevorzugten Ausführungsform der Erfindung zeichnet sich das Verfahren dadurch aus, dass die Durchführung der Kalibrierung und/oder Überprüfung der Kalibrierung, anhand einer einzelnen Pixelzeile mit mehreren Pixeln mit einer oder mehreren der Basisfarben (R, G, B) der einzelnen Pixel (gemäß 8), erfolgt, indem ein entsprechender Vergleich mit dem jeweiligen korrespondierenden Pixel/n der Weiteren der beiden Kameramodule der Stereokamera auf Übereinstimmung erfolgt / ausgeführt wird.
-
In einer weiteren bevorzugten Ausführungsform der Erfindung zeichnet sich das Verfahren dadurch aus, dass die Durchführung der Kalibrierung und/oder Überprüfung der Kalibrierung, anhand mehreren Pixelzeilen mit mehreren Pixeln mit einer oder mehreren der Basisfarben (R, G, B) der einzelnen Pixel, erfolgt, indem ein entsprechender Vergleich mit dem jeweiligen korrespondierenden Pixel/n der Weiteren der beiden Kameramodule der Stereokamera auf Übereinstimmung erfolgt / ausgeführt wird.
-
Ferner umfasst die Erfindung ein Fahrzeug, welches dadurch gekennzeichnet ist, aufweisend eine Fahrzeugkamera, welche ausgebildet ist, ein Verfahren nach einem der vorhergehenden Beschreibungen auszuführen.
-
In einer bevorzugten Ausführungsform der Erfindung zeichnet sich das Fahrzeug dadurch aus, aufweisend eine Fahrerassistenzvorrichtung, welche ausgebildet ist, ausschließlich den in den von der Fahrzeugkamera aufgenommenen Kamerabildern festgelegten aktiven Chip-Bereich auszuwerten.
-
Ferner umfasst die Erfindung ein Computerprogrammprodukt umfassend einen Bildbearbeitungsalgorithmus welcher zur Emulation einer Kalibrierung einer Fahrzeugkamera eines Fahrzeugs, gemäß einem Verfahren wie oben beschrieben, ausgebildet ist.
-
Im Folgenden wird die Erfindung anhand der 6 bis 9 beispielhaft näher erläutert. Die Figuren und die darin genannten / zu entnehmenden Werteangaben (soweit vorhanden) sind nur beispielhaft und dienen zum leichteren Verständnis.
-
Alle Figuren sind nur Prinzip-Darstellungen (nicht maßstabsgetreu).
-
Es zeigen schematisch:
- 6: Eine Prinzip-Darstellung eines Fahrszenarios.
- 7: Eine Prinzip-Darstellung der Erfassungscharakteristik einer Stereo-Kamera.
- 8: Eine Prinzip-Darstellung der Signale auf R-G-B-Signal-Ebene und y-Signalebene.
- 9: Eine Prinzip-Darstellung der R-G-B-Signale der beiden Kameras des Stereo-Kamera-Systems.
-
Die 6 zeigt eine Prinzip-Darstellung eines Fahrszenarios, bei diesem das Fahrzeug (1) dem Fahrzeug (2), auf der Fahrbahn (5) fahrend, folgt. Im Fahrzeug (1) befindet sich ein Umgebungserfassungssystem (10).
-
Ein Fahrzeug (1) mit einem Umgebungserfassungssystem (10) kann mittlerweile als ein Fahrzeug gemäß dem Stand der Technik betrachtet werden.
-
Die 7 zeigt in einer Prinzip-Darstellung (obere Darstellung), wie die Ausrichtung der beiden Kameramodule der Stereokamera (10) im fehlerfreien Zustand (parallelverlaufend) sein soll, sowie in einer Prinzip-Darstellung (mittlere Darstellung), eine Fehl-Kalibrierung, bei dieser die beiden Kameramodule der Stereokamera (10) nicht parallelverlaufend zueinander ausgerichtet sind.
-
Die untere Darstellung der 7 zeigt schematisch das resultierende Ergebnis;
- - links unten: Eine übereinstimmende Erfassung, wenn die Ausrichtung der beiden Kameramodule der Stereokamera (10) im fehlerfreien Zustand (parallelverlaufend) ist, gemäß der oberen Darstellung;
- - rechts unten: Eine NICHT-übereinstimmende Erfassung, wenn die Ausrichtung der beiden Kameramodule der Stereokamera (10) im fehlerhaften Zustand (parallelverlaufend) ist, gemäß der mittleren Darstellung;
-
Ergibt sich bei der Überprüfung der Kalibrierung ein Ergebnis der rechten unteren Darstellung, so liegt im Ergebnis eine Fehl-kalibrierung vor, bzw. ist es erforderlich, dass eine Re-Kalibrierung erforderlich ist.
-
Selbstverständlich gilt diese (annähernde) „Parallelausrichtung“ (nicht näher dargestellt) auch in der vertikalen Ebene, damit sich die beiden optischen Achsen der beiden Kameras in einem bestimmten Abstand vor dem Fahrzeug schneiden.
-
Die 8 zeigt eine Prinzip-Darstellung der Signale auf R-G-B-Signal-Ebene und y-Signalebene, zur Visualisierung der Unterschiede zwischen den unterschiedlichen Signalverläufen.
-
Unter dem Ausdruck „R-G-B-Signal-Ebene“ ist im Lichte der Erfindung zu verstehen, dass
- a) das Informationssignal eines Pixels, und/oder eines Bildbereiches, nicht als ein „Summen-Informationssignal“, aus den 3 Grundfarben (rot, grün, blau) eines Farb-Bildempfänger-Chips zusammengefasst, ausgewertet werden, sondern
- b) abweichend hiervon, das Informationssignal eines Pixels, und/oder eines Bildbereiches, als ein „Einzel-Informationssignal“, aus einer der 3 Grundfarben (rot, grün, blau) eines Farb-Bildempfänger-Chips, in dessen Basisfarbe (rot, oder blau, oder grün), ausgewertet wird.
-
Es ist also nicht zwingend erforderlich, dass zur Auswertung / beim Vergleich der von den beiden Kameramodulen der Stereokamera stammenden Informationen, alle 3 Basisfarben (rot, grün, blau) mit berücksichtigt werden, sondern es ist ausreichend, wenn bei der Auswertung / beim Vergleich eine einzige beliebige der drei Basisfarben der „R-G-B-Signalebene“ stammend, berücksichtigt wird bzw. herangezogen wird, wobei die zwei verbleibenden Basisfarben der „R-G-B-Signalebene“ stammend, optional mit berücksichtigt werden können. Die Auswahl richtet sich primär nach der Farbe des markanten Objektes, welches ersatzweise als Kalibriermarke verwendet wird.
-
Wie aus der 8 ersichtlich ist, weisen die Signale auf R-G-B-Signal-Ebene deutlichere bzw. leichter auswertbare Verläufe (eine höhere Auflösung) auf, gegenüber einem zusammengefasten (alle 3 Einzel-Farb-Signal-Informationen zu einem resultierenden „Farbpunkt“ zusammengefasst) Signalverlauf, bzw. gegenüber einer Schwarz-Weis- (Y-) Signalerfassung / Signalauswertung.
-
Die Teilfiguren der 8 zeigen hierbei jeweils den Signalverlauf einer ganzen Zeile, wobei sich die Zeile auf markierte gestrichelte Linie des jeweiligen Bildes / Darstellung bezieht, und
- - in der oberen Darstellung den Signalverlauf der drei Basisfarben (R-Signal für rot, G-Signal für grün und B-Signal für blau) zeigt, und
- - in der mittleren und unteren Darstellung den Signalverlauf eines aus den 3 Basisfarben zusammengesetzten Signalverlaufes, bzw. einer Schwarz-Weis- (Y-) Signalerfassung.
-
Die 9 zeigt abweichend zur 8, den Signalverlauf eines einzigen Pixels.
-
Wird bei dem Vergleich der Signalverläufe (8), bzw. der Einzelsignale (9) der beiden Kameramodule der Stereokamera (10) eine Übereinstimmung ermittelt, so kann die Überprüfung der Kalibrierung als positiv (kein Fehler / keine Abweichung) betrachtet werden (siehe 9 untere Vergleichsdarstellung).
-
Die Überprüfung der Kalibrierung, kann anhand
- a) eines einzelnen Pixels (P) mit einer oder mehreren der Basisfarben (R, G, B) des einzelnen Pixels (P) (gemäß 9), und/oder
- b) einer einzelnen Pixelzeile mit mehreren Pixeln (P) mit einer oder mehreren der Basisfarben (R, G, B) der einzelnen Pixel (P) (gemäß 8), und/oder
- c) mehreren Pixelzeilen mit mehreren Pixeln (P) mit einer oder mehreren der Basisfarben (R, G, B) der einzelnen Pixel (P),
erfolgen, indem ein entsprechender Vergleich mit dem jeweiligen korrespondierenden Pixel/n der Weiteren der beiden Kameramodule der Stereokamera (10) auf Übereinstimmung erfolgt / ausgeführt wird.
-
Wird bei dem Vergleich der Signalverläufe (8), bzw. der Einzelsignale (9) der beiden Kameramodule der Stereokamera (10) hingegen eine Abweichung ermittelt, so kann die Überprüfung der Kalibrierung als negativ (Fehler) betrachtet werden, sodass eine Re-Kalibrierung erforderlich ist, bzw. der Kalibriervorgang unter Verschiebung von Spalten bzw. von Zeilen solange wiederholt wird, bis eine Übereinstimmung vorliegt.
-
Wie aus der 9 weiter ersichtlich ist, werden die elektromagnetischen Wellen (Licht) mittels je einer Optik (10.4) je einem lichtempfindlichen Empfänger-Chip (10.3) zugeführt, welcher eine Vielzahl an einzelnen Pixeln (P) aufweisen, wobei ein jedes Pixel (P) in sich je einen sensiblen Bereich für die Farben (Wellenlängen) rot, grün und blau enthält (ein Pixel (P) kann quasi als Pixel-Cluster mit dessen „Grundfarben“ betrachtet werden).
-
Selbstverständlich kann in einer bevorzugten Ausführungsform der Erfindung der Vergleich basierend auf einem Array (Mehrzahl) von einzelnen Pixeln (P) erfolgen.
-
In einer weiteren vorteilhaften Ausführungsform der Erfindung, kann eine Farbspektrum-Analyse und der Vergleich der Ergebnisse der beiden Kameras / der beiden Kameramodule der Stereokamera (10) auch auf Basis einer Farbe eines Verkehrsschildes (z.B. blaues Autobahnschild, rotes Warnsignal, ...) erfolgen, sodass eine Überprüfung der Kalibrierung und/oder eine Durchführung einer ggfls. erforderlichen Kalibrierung auch während des Fahrbetriebs möglich ist.
-
-
Die untere Darstellung der 8 zeigt ein Beispiel einer schlechten Kamera bzw. schlechten Bilderfassung. Wie aus dieser Darstellung ersichtlich ist, ist die Signalauswertung (Schwarz-Weis- (y-) Signalerfassung / Signalauswertung) gegenüber der mittleren Darstellung der 8 schwieriger.
-
Klarstellung:
-
Theoretisch bzw. praktisch könnten alle Pixel des Bildempfänger-Chips (10.3) aktiv (erfassungsbereit) sein, wobei anhand der Selektion eines gewissen Pixelbereiches (aB) bzw. gewisser Pixelbereiche (aB) der/die dann ausgewertet wird/werden, der zu erfassende Umgebungsbereich festgelegt wird. Die Pixel die nicht ausgewertet werden müssen nicht zwangsweise deaktiviert werden.
-
Der äußere Bereich wird quasi abgeschnitten, indem das Chip-Array in diesem Bereich nicht mehr ausgewertet wird, sondern der restliche Bereich (aB) zu 100% definiert wird.
-
Bezugszeichenliste
-
- 1
- Fahrzeug / Kraftfahrzeug
- 2
- Kamera
- 3
- Weiteres Fahrzeug
- 4
- Kalibriermarke
- 5
- Fahrbahn
- 10
- Stereo-Kamera
- 10.1
- Optische Achse
- 10.2
- Optische Achse
- 10.2'
- Verschobene optische Achse
- 10.3
- Empfänger-Chip / Bildempfänger-Chip
- a
- Abstand
- aB
- Aktiver Chipbereich
- aB'
- Verschobener aktiver Chipbereich
- BM
- Bodenmarkierung
- α
- Winkel der optischen Achse zur x-Richtung
- α'
- Veränderter Winkel der optischen Achse zur x-Richtung
- h
- Höhe
- P
- Pixel (R-G-B-Pixel-Cluster)
- L
- Linkes Kameramodul
- R
- Rechtes Kameramodul
- R, G, B
- Basisfarben eines Pixels
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017219688 A1 [0009, 0010, 0061]
- DE 102016208398 A1 [0009, 0061]
