DE102019135190B4

DE102019135190B4 - Verfahren zum Bestimmen eines Korrekturwerts für eine Kamera eines Pritschenfahrzeugs auf Basis eines Maskenvergleichs, Computerprogrammprodukt, elektronische Recheneinrichtung sowie Kamerasystem

Info

Publication number: DE102019135190B4
Application number: DE102019135190.1A
Authority: DE
Inventors: Leroy Francisco Pereira; Mahesh KONDIPARTHI; Chanchal Raj; Narmatha Gopal
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2021-11-11
Anticipated expiration: 2039-12-20
Also published as: DE102019135190A1

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Korrekturwerts für eine Kamera (3) eines Kamerasystems (2) eines Pritschenfahrzeugs (1), mit den Schritten:-Erfassen einer Ladefläche (5) in einem erfassten Bild (12);- Bestimmen von zumindest einer optischen ersten (13a, 13b) entlang einer Längsachse (x) des Pritschenfahrzeugs (1);- Erzeugen einer virtuellen ersten und einer virtuellen zweiten Zusatzlinie (14b);- Erzeugen zumindest einer virtuellen ersten Maske (16a), einer virtuellen zweiten Maske (16b) und einer virtuellen dritten Maske (16c);- Farbliches Vergleichen eines Maskenreferenzbereichs (17) mit den Masken (16a, 16b, 16c);- In Abhängigkeit des Vergleichs Bestimmen zumindest einer ersten Längskantenlinie (11a, 11b) entlang der Längsachse (x) innerhalb einer der Masken (16a, 16b, 16c); und- Bestimmen des Korrekturwerts in Abhängigkeit von der bestimmten Längskantenlinie (11a, 11b).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen eines Korrekturwerts für eine Kamera eines Kamerasystems eines Pritschenfahrzeugs. Ferner betrifft die Erfindung ein Computerprogrammprodukt, eine elektronische Recheneinrichtung sowie ein Kamerasystem.
Aus dem Stand der Technik sind bereits Pritschenfahrzeuge, welche auch als Pickup bezeichnet werden können, bekannt, welche eine Ladefläche aufweisen, wobei die Ladefläche insbesondere durch eine Heckklappe abgeschlossen werden kann. Insbesondere kann die Heckklappe zwischen einer Geschlossenstellung und einer Offenstellung verschwenkt werden. Bei der Geschlossenstellung bildet die Ladefläche einen nach oben geöffneten Laderaum. In der Offenstellung ist zumindest an der Seite der Heckklappe dieser Laderaum geöffnet, sodass ein Beladen von einer Heckseite des Kraftfahrzeugs über die Heckklappe ermöglicht ist. Ferner ist es möglich, dass auf die Ladefläche ein Trailer angeordnet werden kann.
Ferner ist bekannt, dass an dem Pritschenfahrzeug, insbesondere im Bereich des dritten Rücklichts, eine Kamera angeordnet ist. Diese Kamera wird auch als zentrale hochmontierte Stopplichtkamera bezeichnet (Center High Mount Stop Light Camera - CHMSL-Camera). Diese Kamera ist derart an dem Pritschenfahrzeug angeordnet, dass sie einen Heckbereich des Kraftfahrzeugs erfassen kann. Insbesondere erfasst die Kamera dabei eine Ladefläche des Kraftfahrzeugs. In US2018/0342082 A1 ist ein Verfahren und eine Vorrichtung zum Kalibrieren einer Kamera an einer solchen Stelle eines Pritschenfahrzeugs montiert beschrieben.
Insbesondere treten bei der Bestimmung des Korrekturwerts, mit anderen Worten bei der Kalibrierung der Kamera, sowohl räumliche als auch zeitliche Konsistenzprobleme auf.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, eine elektronische Recheneinrichtung sowie ein Kamerasystem zu schaffen, mittels welchem verbessert ein Korrekturwert einer Kamera eines Pritschenfahrzeugs bestimmt werden kann.
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, eine elektronische Recheneinrichtung sowie ein Kamerasystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen eines Korrekturwerts für eine Kamera eines Kamerasystems eines Pritschenfahrzeugs. Es erfolgt ein Erfassen einer Ladefläche des Pritschenfahrzeugs in einem mittels der Kamera erfassten Bild. Es erfolgt ein Bestimmen von zumindest einer optischen ersten Längslinie und einer optischen zweiten Längslinie entlang einer Längsachse des Pritschenfahrzeugs im Bereich der Ladefläche im Bild mittels einer elektronischen Recheneinrichtung des Kamerasystems. Es erfolgt ein Erzeugen einer virtuellen ersten Zusatzlinie auf einer ersten Seite, welche der ersten Längslinie zugeordnet ist und einen vorgegebenen Abstand dazu aufweist, und einer zweiten Zusatzlinie auf einer der ersten Seite gegenüberliegenden zweiten Seite, welche der zweiten Längslinie zugeordnet ist und den vorgegebenen Abstand dazu aufweist mittels der elektronischen Recheneinrichtung. Es erfolgt ein Erzeugen zumindest einer virtuellen ersten Maske zwischen der ersten Zusatzlinie und der ersten Längslinie, einer virtuellen zweiten Maske zwischen der zweiten Zusatzlinie und der zweiten Längslinie und einer virtuellen dritten Maske zwischen der ersten Längslinie und der zweiten Längslinie. Es erfolgt ein farbliches Vergleichen eines Maskenreferenzbereichs mit der ersten Maske, der zweiten Maske und der dritten Maske mittels der elektronischen Recheneinrichtung. In Abhängigkeit des Vergleichs erfolgt ein Bestimmen zumindest einer ersten Längskantenlinie der Ladefläche entlang der Längsachse innerhalb einer der Masken mittels der elektronischen Recheneinrichtung. Es erfolgt ein Bestimmen des Korrekturwerts in Abhängigkeit von der bestimmten Längskantenlinie mittels der elektronischen Recheneinrichtung.
Dadurch ist es ermöglicht, dass auf Basis eines Maskenvergleichs die Längskantenlinie innerhalb des Bilds erfasst werden kann und auf Basis der erfassten Längskantenlinie wiederum der Korrekturwert, insbesondere bezüglich einer Rotation und einer Translation als insbesondere sogenannte extrinsische Parameter der Kamera, bestimmt werden kann. Dadurch ist ermöglicht, dass eine räumliche Konsistenz auf Basis des Maskenvergleichs im Bild geschaffen werden kann.
Mit anderen Worten löst das erfindungsgemäße Verfahren das Problem, dass in dem erfassten Bild eine Vielzahl von unterschiedlichen Längslinien erfasst werden können, welche nicht Gegenstand der eigentlichen Ladefläche sind. Beispielsweise können aufgrund von Verschattungen beziehungsweise aufgrund von einer speziellen geometrischen Form der Ladefläche entsprechende Längslinien erfasst werden, welche jedoch nicht den eigentlichen Längskanten der Ladefläche entsprechen. Diese Längskanten werden allerdings mit im Bild erfasst, was dazu führen kann, dass eine Falschinterpretation dieser Längskanten durchgeführt wird. Sollte dann auf Basis der falsch erkannten Längskanten der Korrekturwert ermittelt werden, so kann dies zu einer Verschlechterung der Bestimmung des Korrekturwerts und somit zu einer verschlechterten Darstellung einer Draufsicht, welche auch als Top-View bezeichnet werden kann, auf die Ladefläche führen. Erfindungsgemäß ist nun vorgeschlagen, dass aufgrund des Maskenvergleichs zuverlässig die Längskantenlinie bestimmt werden kann, wodurch dann wiederum zuverlässig der Korrekturwert bestimmt werden kann.
Das Bestimmen der Längslinie als Längskantenlinie der Ladefläche kann insbesondere auch als sogenanntes „Labeling“ bezeichnet werden. Im Nachfolgenden ist insbesondere unter der Längsrichtung des Kraftfahrzeugs beziehungsweise des Pritschenfahrzeugs eine x-Achse anzusehen. Unter der Querachse des Kraftfahrzeugs ist insbesondere eine y-Achse anzusehen. Unter der Hochachse des Kraftfahrzeugs ist insbesondere eine z-Achse anzusehen.
Bei der Kamera handelt es sich insbesondere um eine zentrale hochmontierte Kamera im Bereich des dritten Bremslichtes des Pritschenfahrzeugs. Diese Kamera wird auch als Center High Mount Stop Light Camera (CHMSL-Camera) bezeichnet. Mittels der Kamera ist es insbesondere ermöglicht, dass eine Ladefläche des Kraftfahrzeugs erfasst werden kann. Das Pritschenfahrzeug kann insbesondere auch als Pickup-Fahrzeug bezeichnet werden. Die Kamera ist insbesondere bereits am Kraftfahrzeug verbaut und beispielsweise zur Beobachtung eines an dem Pickup angeordneten Trailers ausgebildet.
Insbesondere ist es durch die Kamera des Pritschenfahrzeugs ermöglicht, eine sogenannte Top-View-Ansicht, mit anderen Worten eine Draufsicht, auf die Ladefläche zu erzeugen. Aufgrund der Anordnung der Kamera kann es dadurch zu Verzerrungen kommen, welche insbesondere auf Basis des Korrekturwerts ausgeglichen werden können.
Bei dem Orientierungsfehler handelt es sich insbesondere um einen Fehler der Kameraaufstellung. Mit anderen Worten kann die Kamera, beispielsweise bei der Montage der Kamera, insbesondere bezüglich der drei Kraftfahrzeugachsen (Längsachse, Querachse, Hochachse) falsch aufgestellt/montiert worden sein. Insbesondere kann somit die Kamera eine Ist-Lage aufweisen, welche von einer Soll-Lage, insbesondere von einer Referenzkamera, abweicht. Diese Abweichung wird als Orientierungsfehler bezeichnet.
Insbesondere kann die Kamera bei einem rückwärtsgerichteten Stopplicht/Bremslicht, welches auch als drittes Stopplicht/Bremslicht bezeichnet werden kann, angeordnet sein. Insbesondere kann die Kamera als separates Bauteil zum Stopplicht oder als integraler Bestandteil des Stopplichts ausgebildet sein.
Bevorzugt kann vorgesehen sein, dass zum Erkennen des Kalibrierungsobjekts, also der Ladefläche, innerhalb des erfassten Bilds eine entsprechende Auswertung des Bilds, beispielsweise mittels eines Bildverarbeitungsprogramms, durchgeführt wird.
Insbesondere kann vorgesehen sein, dass es sich bei dem Kalibrierungsobjekt um ein Teil des Kraftfahrzeugs handelt und somit nicht um ein separates Bauteil. Somit kann aufwandsreduziert und ohne zusätzliches Bauteil die Bestimmung des Korrekturwerts durchgeführt werden. Des Weiteren kann mittels des Verfahrens innerhalb eines Bilds, mit anderen Worten ohne ein weiteres Bild aufnehmen zu müssen, die Bestimmung des Korrekturwerts durchgeführt werden.
Gemäß einer vorteilhaften Ausgestaltungsform wird der Maskenreferenzbereich auf Basis einer vorgegebenen ersten Region von Interesse im Bild mittels der elektronischen Recheneinrichtung bestimmt. Mit anderen Worten ist vorgesehen, dass die Region von Interesse durch die elektronische Recheneinrichtung vorgeben wird, in welcher sich der Maskenreferenzbereich befindet. Dadurch kann zuverlässig der Maskenreferenzbereich bestimmt werden, wodurch zuverlässig der Maskenvergleich durchgeführt werden kann.
Ebenfalls vorteilhaft ist, wenn eine Farbe des Maskenreferenzbereichs bestimmt wird und die bestimmte Farbe des Maskenreferenzbereichs mit den bestimmten Farben der jeweiligen Masken verglichen wird und bei einer zumindest im Wesentlichen übereinstimmenden Farbe eine der Masken diejenige Maske mittels der elektronischen Recheneinrichtung ausgewählt wird und in dieser Maske die Längskantenlinie mittels der elektronischen Recheneinrichtung bestimmt wird. Mit anderen Worten wird zuerst die Farbe des Maskenreferenzbereichs bestimmt. Dies kann insbesondere in einem sogenannten HSV-Farbraum (Hough-Saturation-Value) durchgeführt werden. Es wird dann die Farbe ebenfalls für jede der drei Masken bestimmt. Jede der drei Masken wird dann wiederum mit dem Maskenreferenzbereich farblich verglichen. Bei einer entsprechenden Übereinstimmung in einer der Masken wird diese Maske wiederum als diejenige Maske angenommen, in welcher die Längskantenlinie liegt. Dies hat insbesondere Hintergrund darin, dass der Maskenreferenzbereich beispielsweise eine Vorderkante der Ladefläche darstellt. Die Ladefläche weist insbesondere zumindest im Wesentlichen die gleiche Farbe auf. Es wird somit innerhalb der drei Masken nach einer Farbe gesucht, welche der Farbe der Ladefläche entspricht. Diese entspricht insbesondere dem Bereich, welcher die Ladeflächenkante aufweist. Daher wird die Maske, welche die Ladeflächenkante aufweist zumindest im Wesentlichen die gleiche Farbe aufweisen wie der Maskenreferenzbereich. Somit wird nach der farblichen Übereinstimmung gesucht, wodurch dann wiederum zuverlässig die Längskante bestimmt werden kann.
Weiterhin vorteilhaft ist, wenn für den farblichen Vergleich ein jeweils normalisiertes Histogramm einer jeweiligen Maske und des Maskendifferenzbereichs mittels der elektronischen Recheneinrichtung erzeugt wird. Mit anderen Worten ist vorgesehen, dass das Histogramm einer jeweiligen Maske mit dem Maskenreferenzbereich verglichen wird. Insbesondere können hierzu unterschiedliche Matching-Verfahren für Histogramme genutzt werden. Beispielsweise kann eine Korrelation, eine Chi-Square-Verfahren, ein Intersektionsverfahren oder ein Bhattacharyya-Distanz-Verfahren genutzt werden. Im vorliegenden Fall wird das Verfahren anhand des Chi-Square-Verfahrens beschrieben. Bei dem Chi-Square-Verfahren wird insbesondere ein Übereinstimmungswert gefunden. Insbesondere wird dies mittels der Formel: $d (H_{1}, H_{2}) = \sum_{I} \frac{{(H_{1} (I) - H_{2} (I))}^{2}}{H_{1} (I)};$
durchgeführt, wobei I den Histogramm-Bins entsprechen und H1, und H2 den normalisierten Histogrammen entsprechen. Insbesondere wird bei einer niedrigeren Distanz eine bessere Übereinstimmung gefunden. Somit ist es ermöglicht, dass auf einfache Art und Weise der Maskenvergleich durchgeführt werden kann.
Ferner hat es sich als vorteilhaft erwiesen, wenn zum Bestimmen der ersten Längslinie und der zweiten Längslinie eine vorgegebene zweite Region von Interesse im Bild mittels der elektronischen Recheneinrichtung ausgewertet wird. Mit anderen Worten ist vorgesehen, dass die zweite Region von Interesse zumindest bereichsweise die Längslinien im Bild umfasst. Dadurch können durch eine geringe Auswertung von Daten und gleichzeitig mit einer hohen Wahrscheinlichkeit die entsprechenden Längslinien im Bild bestimmt werden. Dadurch kann vorteilhaft das Verfahren durchgeführt werden.
Weiterhin vorteilhaft ist, wenn der Maskenreferenzbereich als frontseitige Querkantenlinie der Ladefläche vorgegeben wird. Insbesondere ist die Querkantenlinie entlang einer Querachse des Pritschenfahrzeugs anzusehen. Diese Querachse entspricht insbesondere einer y-Achse des Pritschenfahrzeugs. Insbesondere, da die Kamera im Bereich des dritten Stopplichts angeordnet ist, kann zuverlässig die frontseitige Querkantenlinie im Bild erfasst werden. Insbesondere nimmt die frontseitige Querkantenlinie einen entsprechend großen Bereich im Bild ein, sodass einfach und verbessert die entsprechende Farbe dieses Bereichs ausgewertet werden kann, wodurch ein besserer Vergleich der Masken mit dem Maskenreferenzbereich durchgeführt werden kann.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform werden jeweils zwei Längslinien für eine linke Seite der Ladefläche und für eine rechte Seite der Ladefläche bestimmt. Mit anderen Worten wird das bereits vorgestellte Verfahren sowohl für eine rechte Seite in Längsrichtung, welche auch der x-Achse des Pritschenfahrzeugs entspricht, des Pritschenfahrzeugs betrachtet als auch für eine linke Seite in Längsrichtung des Pritschenfahrzeugs betrachtet durchgeführt. Dadurch ist es ermöglicht, dass sowohl eine linke Längskantenlinie als auch eine rechte Längskantenlinie der Ladefläche erfasst werden kann. Insbesondere durch die entsprechende Erfassung und Auswertung der beiden Längskantenlinien kann dann zuverlässig der Korrekturwert der Kamera bestimmt werden.
In einer weiteren vorteilhaften Ausgestaltungsform wird zusätzlich mittels einer Linien-Homographie der zumindest ein Korrekturwert bestimmt und/oder mittels der Linien-Homographie wird ein Rotationskorrekturwert als Korrekturwert bestimmt. Insbesondere wird dies durchgeführt, sollte beispielsweise aufgrund von unterschiedlichen Einflüssen keine Längsliniendetektion durchgeführt werden können, so kann auf Basis der Linien-Homographie dennoch die Längskantenlinie bestimmt werden. Insbesondere kann auf Basis der Linien-Homographie ein Rotationskorrekturwert als Korrekturwert erfasst werden. Insbesondere handelt es sich somit um einen der zwei extrinsischen Parameter der Kamera. Der Rotationskorrekturwert beschreibt insbesondere eine Rotation der Kamera relativ zum Kraftfahrzeug. Mittels der Linien-Homographie kann insbesondere auch bei einer Falschdetektion der Längslinien dennoch zuverlässig der Korrekturwert bestimmt werden. Hierbei ist lediglich notwendig, dass die erfasste Längslinie parallel zur tatsächlichen Längskantenlinie verläuft. Dadurch kann insbesondere eine Abschätzung bezüglich der Rotation durchgeführt werden.
Ebenfalls vorteilhaft ist, wenn zusätzlich der Korrekturwert in Abhängigkeit von Toleranzwerten für die Anordnung der Kamera am Pritschenfahrzeug mittels der elektronischen Recheneinrichtung bestimmt wird, wobei als Korrekturwert ein Translationskorrekturwert bestimmt wird. Insbesondere kann somit auch die Translation als extrinsischer Parameter der Kamera bestimmt werden. Bei der Kalibrierung der Kamera kann es zu einer möglichen Abweichung bei der Längskantenbestimmung zwischen den Innen- und Außenkanten der Ladefläche kommen. Es gibt also drei mögliche Kombinationen, die in den meisten Fällen auftreten können. Sowohl die linke als auch die rechte Kante können Innenkanten sein. Die linke Kante ist innen und die rechte Kante ist außen oder umgekehrt. Sowohl die linke als auch die rechte Kante sind außen. Die vorgeschlagene Methode ist robust gegenüber einer der vier oben genannten Kombinationen. Die vorgeschlagene Methode nutzt die Tatsache, dass die nominalen extrinsischen Werte vorher bekannt sind. Daher gibt es extrinsische Werte innerhalb der Toleranzgrenzen. Es nutzt auch die Tatsache, dass es nur drei gültige Breiten gibt, nämlich, die Breite innen (Abstand zwischen den Innenkanten), die Breite mittig (Trennung zwischen einer inneren und einer äußeren Kante) sowie die Breite außen (Abstand zwischen den Außenkanten).
Bei dem Verfahren wird mit bekannten Größenangaben allen drei Breiten eine bekannte Größe zugeordnet, um drei verschiedene Translationen zu erhalten. Diese Translationen sind unterschiedlich, jedoch typischerweise mindestens 50mm. Da die Translationstoleranzen innerhalb von 10 mm liegen, sind diese gut genug, um die richtige Kombination von Translationen auszuwählen.
Ferner ist insbesondere vorgesehen, dass eine zeitliche Konsistenz einer Vielzahl von mittels der Kamera aufgenommenen Bilder mittels eines gewichteten Durchschnittswerts bestimmt wird und die zeitliche Konsistenz bei der Bestimmung des Korrekturwerts berücksichtigt wird. Insbesondere über die Zeit hinweg kann es ebenfalls zu Problemen bei der Bestimmung des Korrekturwerts der Kamera kommen, da innerhalb der unterschiedlichen über die Zeit aufgenommene Bilder beispielsweise sich Verschattungen innerhalb dieser Bilder ändern können. Mittels des gewichteten Durchschnittswerts kann auch über mehrere Bilder hinweg eine Konsistenz bestimmt werden. Somit können dann auch dynamische Veränderungen bei der Bestimmung des Korrekturwerts berücksichtigt werden. Insbesondere durch die Nutzung eines gewichteten Durchschnittswerts kann somit kumulativ eine Punktdetektion durchgeführt werden, wodurch sowohl die Rotation als auch die Translation der Kamera über die Zeit hinweg bestimmt werden kann. Dadurch kann verbessert der Korrekturwert der Kamera bestimmt werden.
Ebenfalls vorteilhaft ist, wenn eine zeitliche Konsistenz einer Vielzahl von mittels der Kamera aufgenommenen Bildern mittels eines Medianverfahrens bestimmt wird und die zeitliche Konsistenz bei der Bestimmung des Korrekturwerts berücksichtigt wird. Insbesondere können auf Basis des Medianverfahrens sogenannte Ausreißer berücksichtigt werden, sodass verbessert der Korrekturwert bestimmt werden kann.
Weiterhin vorteilhaft ist, wenn eine zeitliche Konsistenz einer Vielzahl von mittels der Kamera aufgenommenen Bilder mittels eines gewichteten Durchschnittswerts des Medianverfahrens bestimmt wird und die zeitliche Konsistenz bei der Bestimmung des Korrekturwerts berücksichtigt wird. Insbesondere handelt es sich bei diesem vorgestellten Verfahren somit um sowohl die Nutzung eines gewichteten Durchschnittswerts als auch die Nutzung des Medianverfahrens. Insbesondere handelt es sich dabei um ein asynchrones Median verfahren. Beispielsweise hat ein Punkt x, y-Koordinaten. Es wird dann, asynchron, der Median für x und y unabhängig voneinander bestimmt. Daher kann ein x einer der betrachteten Mengen und ein y eines anderen Rahmens der betrachteten Menge zusammengeführt werden, um das finale x,y zu erhalten. Mit den bestimmten Ecken, können wieder zuverlässig die Rotation und die Translation bestimmt werden.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt mit Programmcodemitteln welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Bestimmen eines Korrekturwerts nach dem vorhergehenden Aspekt durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung abgearbeitet wird.
Ein nochmals weiterer Aspekt der Erfindung betrifft eine elektronische Recheneinrichtung mit einem Computerprogrammprodukt nach dem vorhergehenden Aspekt.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kamerasystem für Pritschenfahrzeug mit zumindest einer Kamera und mit einer elektronischen Recheneinrichtung nach dem vorhergehenden Aspekt, wobei das Kamerasystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgewählt ist. Insbesondere wird das Verfahren mittels des Kamerasystems durchgeführt.
Ein nochmal weiterer Aspekt der Erfindung betrifft ein Pritschenfahrzeug mit einem Kamerasystem nach dem vorhergehenden Aspekt.
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen der elektronischen Recheneinrichtung, des Kamerasystems sowie des Pritschenfahrzeugs anzusehen. Die elektronische Recheneinrichtung sowie das Kamerasystem weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Dabei zeigen:

1 eine schematische Perspektivansicht einer Ausführungsform eines Pritschenfahrzeugs mit einer Ausführungsform eines Kamerasystems; und
2 eine schematische Perspektivansicht eines Bildes einer Ausführungsform des Kamerasystems.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt in einer schematischen Perspektivansicht eine Ausführungsform eines Pritschenfahrzeugs 1 mit einer Ausführungsform eines Kamerasystems 2. Das Pritschenfahrzeug 1 ist insbesondere ein Kraftfahrzeug. Das Kamerasystem 2 weist zumindest eine Kamera 3 sowie eine elektronische Recheneinrichtung 4 auf. Die Kamera 3 ist insbesondere als zentrale hochmontierte Bremslichtkamera ausgebildet. Mit anderen Worten ist insbesondere vorgesehen, dass mittels der Kamera 3 eine Ladefläche 5 des Pritschenfahrzeugs 1 erfasst werden kann. Die Kamera 3 ist somit in Richtung eines Hecks 6 des Pritschenfahrzeugs 1 ausgerichtet, sodass ein rückwärtiger Raum 7 des Pritschenfahrzeugs 1 erfasst werden kann.
Bei der Kamera 3 handelt es sich insbesondere um eine zentrale hochmontierte Kamera 3 im Bereich des dritten Bremslichtes des Pritschenfahrzeugs 1. Diese Kamera 3 wird auch als Center High Mount Stop Light Camera (CHMSL-Camera) bezeichnet. Mittels der Kamera 3 ist es insbesondere ermöglicht, dass eine Ladefläche 5 des Pritschenfahrzeugs 1 erfasst werden kann. Das Pritschenfahrzeug 1 kann insbesondere auch als Pickup-Fahrzeug bezeichnet werden. Die Kamera 3 ist insbesondere bereits am Kraftfahrzeug verbaut und beispielsweise zur Beobachtung eines an dem Pickup angeordneten Trailers ausgebildet. Zusätzlich kann nun der Korrekturwert für die Kamera 3 bestimmt werden.
Die Ladefläche 5 ist insbesondere durch die vier Ladeflächenkantenlinien 10a, 10b, 11a, 11b, begrenzt. Zwei Querkantenlinien 10a und 10b, wobei davon eine frontseitige Querkantenlinie 10a und eine heckseitige Querkantenlinie 10b ausgebildet sind, welche insbesondere im Wesentlichen parallel zu einander sind verlaufen entlang einer y-Richtung des Pritschenfahrzeugs 1. Beispielsweise kann die heckseitige Querkantenlinie 10b als Teil einer Heckklappe 9 ausgebildet sein. Zwei Längskantenlinien 11a, 11b, wobei davon eine rechte Längskantenlinie 11a und eine linke Längskantenlinie 11b ausgebildet sind, welche insbesondere im Wesentlichen parallel zu einander sind verlaufen entlang einer x-Richtung des Pritschenfahrzeugs 1. Ferner weist das Pritschenfahrzeug 1 noch eine Hochachse in einer z-Richtung auf.
2 zeigt in einer schematischen Perspektivansicht ein mittels der Kamera 3 aufgenommenes Bild 12.
Beim Verfahren zum Bestimmen eines Korrekturwerts für die Kamera 3 des Kamerasystems 2 des Pritschenfahrzeugs 1 erfolgt ein Erfassen der Ladefläche 5 des Pritschenfahrzeugs 1 in dem mittels der Kamera 3 erfassten Bild 12. Es erfolgt ein Bestimmen von zumindest einer optischen ersten Längslinie 13a und einer optischen zweiten Längslinie 13b entlang der Längsachse x des Pritschenfahrzeugs 1 im Bereich der Ladefläche 5 im Bild 12 mittels der elektronischen Recheneinrichtung 4 des Kamerasystems 2. Es erfolgt ein Erzeugen einer virtuellen ersten Zusatzlinie 14a auf einer ersten Seite 15a, welche der ersten Längslinie 13a zugeordnet ist und einen vorgegebenen Abstand A dazu aufweist, und einer zweiten Zusatzlinie 14b auf einer der ersten Seite 15a gegenüberliegenden zweiten Seite 15b, welche der zweiten Längslinie 13b zugeordnet ist und den vorgegebenen Abstand A dazu aufweist, mittels der elektronischen Recheneinrichtung 4. Es erfolgt ein Erzeugen zumindest einer virtuellen ersten Maske 16a zwischen der ersten Zusatzlinie 14a und der ersten Längslinie 13a, einer virtuellen zweiten Maske 16b zwischen der zweiten Zusatzlinie 14b und der zweiten Längslinie 13b und einer virtuellen dritten Maske 16c zwischen der ersten Längslinie 13a und der zweiten Längslinie 13b. Es erfolgt ein farbliches Vergleichen eines Maskenreferenzbereichs 17 mit der ersten Maske 16a, der zweiten Maske 16b und der dritten Maske 16c mittels der elektronischen Recheneinrichtung 4. Es erfolgt in Abhängigkeit des Vergleichs ein Bestimmen zumindest einer ersten Längskantenlinie 11a, 11b, der Ladefläche 5 entlang der Längsachse x innerhalb einer der Masken 16a, 16b, 16c mittels der elektronischen Recheneinrichtung 4. Es erfolgt ein Bestimmen des Korrekturwerts in Abhängigkeit von der bestimmten Längskantenlinie 11a, 11b mittels der elektronischen Recheneinrichtung 4.
Insbesondere zeigt somit die 2 wie ein „Labeling“ der Längskantenlinien 11a, 11b auf Basis des Maskenvergleichs durchgeführt werden kann. Insbesondere werden hierzu die Masken 16a, 16b, 16c detektiert, welche die potentiellen Längskantenlinien 11a, 11b beinhalten können. Aus der Mehrzahl von Masken 16a, 16b, 16c wird dann insbesondere diejenige gewählt, welche im Vergleich mit dem Maskenreferenzbereich 17 die größte Übereinstimmung aufweist. Innerhalb dieser Maske 16a, 16b, 16c wird dann die Längskantenlinie 11a, 11b bestimmt. Insbesondere wird dies sowohl für die erste Längskantenlinie 11 a sowie für die zweite Längskantenlinie 11b durchgeführt.
Insbesondere zeigt die 2 ferner, dass der Maskenreferenzbereich 17 auf Basis einer vorgegebenen ersten Region von Interesse ROI1 im Bild 12 mittels der elektronischen Recheneinrichtung 4 bestimmt wird. Insbesondere wird dabei die Farbe des Maskenreferenzbereich 17 bestimmt und die bestimmte Farbe des Maskenreferenzbereichs 17 mit den bestimmten Farben der jeweiligen Masken 16a, 16b, 16c verglichen und bei einer zumindest im wesentlichen übereinstimmenden Farbe einer der Masken 16a, 16b, 16c diejenigen Masken 16a, 16b, 16c mittels der elektronischen Recheneinrichtung 4 ausgewählt und in dieser Maske 16a, 16b, 16c die Längskantenlinie 11a, 11b mittels der elektronischen Recheneinrichtung 4 bestimmt.
Insbesondere ist hierzu vorgesehen, dass für den farblichen Vergleich ein jeweils normalisiertes Histogramm einer jeweiligen Maske 16a, 16b, 16c und des Maskenreferenzbereichs 17 mittels der elektronischen Recheneinrichtung 4 erzeugt wird.
Mit anderen Worten ist vorgesehen, dass das Histogramm einer jeweiligen Maske 16a, 16b, 16c mit dem Maskenreferenzbereich 17 verglichen wird. Insbesondere können hierzu unterschiedliche Matching-Verfahren für Histogramme genutzt werden. Beispielsweise kann eine Korrelation, eine Chi-Square-Verfahren, ein Intersektionsverfahren oder ein Bhattacharyya-Distanz-Verfahren genutzt werden. Im vorliegenden Fall wird das Verfahren anhand des Chi-Square-Verfahrens beschrieben. Bei dem Chi-Square-Verfahren wird insbesondere ein Übereinstimmungswert gefunden. Insbesondere wird dies mittels der Formel: $d (H_{1}, H_{2}) = \sum_{I} \frac{{(H_{1} (I) - H_{2} (I))}^{2}}{H_{1} (I)};$
durchgeführt, wobei I den Histogramm-Bins entsprechen und H1, und H2 den normalisierten Histogrammen entsprechen. Insbesondere wird bei einer niedrigeren Distanz eine bessere Übereinstimmung gefunden. Somit ist es ermöglicht, dass auf einfache Art und Weise der Maskenvergleich durchgeführt werden kann.
Ferner kann insbesondere vorgesehen sein, dass zum Bestimmen der ersten Längslinie 13a und der zweiten Längslinie 13b eine vorgegebene zweite Region von Interesse ROI2 im Bild 12 mittels der elektronischen Recheneinrichtung 4 ausgewertet wird. Der Maskenreferenzbereich 17 ist insbesondere als frontseitige Querkantenlinie 10a der Ladefläche 5 vorgegeben. Ferner ist insbesondere vorgesehen, dass jeweils zwei Längslinien 13a, 13b für eine linke Seite der Ladefläche 5 und für eine rechte Seite der Ladefläche 5 bestimmt werden. Im folgenden Ausführungsbeispiel entspricht die linke Seite der Ladefläche 5 insbesondere der zweiten Längskantenlinie 11b und die rechte Seite der Ladefläche 5 entspricht insbesondere der ersten Längskantenlinie 11a.
Ferner ist insbesondere vorgesehen, dass zusätzlich mittels einer Linien-Homographie der zumindest ein Korrekturwert bestimmt wird und/oder mittels einer Linien-Homographie ein Rotationskorrekturwert als Korrekturwert bestimmt wird. Insbesondere wird dies durchgeführt, sollte beispielsweise aufgrund von unterschiedlichen Einflüssen keine Längsliniendetektion durchgeführt werden können, so kann auf Basis der Linien-Homographie dennoch die Längskantenlinie 11a, 11b bestimmt werden. Insbesondere kann auf Basis der Linien-Homographie ein Rotationskorrekturwert als Korrekturwert erfasst werden. Insbesondere handelt es sich somit um einen der zwei extrinsischen Parameter der Kamera 3. Der Rotationskorrekturwert beschreibt insbesondere eine Rotation der Kamera 3 relativ zum Kraftfahrzeug. Mittels der Linien-Homographie kann insbesondere auch bei einer Falschdetektion der Längslinien 13a, 13b dennoch zuverlässig der Korrekturwert bestimmt werden. Hierbei ist lediglich notwendig, dass die erfasste Längslinie 13a, 13b parallel zur tatsächlichen Längskantenlinie 11a, 11b verläuft.
Dadurch kann insbesondere eine Abschätzung bezüglich der Rotation durchgeführt werden.
Weiterhin kann vorgesehen sein, dass zusätzlich der Korrekturwert in Abhängigkeit von einem Toleranzwert für die Anordnung der Kamera 3 am Pritschenfahrzeug 1 mittels der elektronischen Recheneinrichtung 4 bestimmt wird, wobei als Korrekturwert ein Translationskorrekturwert bestimmt wird. Insbesondere kann zusätzlich eine zeitliche Konsistenz einer Vielzahl von mittels der Kamera 3 aufgenommenen Bildern 12 mittels eines gewichteten Durchschnittswerts bestimmt werden und die zeitliche Konsistenz bei der Bestimmung des Korrekturwerts berücksichtigt werden. Bevorzugt ist vorgesehen, dass eine zeitliche Konsistenz einer Vielzahl von mittels der Kamera 3 aufgenommenen Bildern 12 mittels eines Median-Verfahrens bestimmt wird und die zeitliche Konsistenz bei der Bestimmung des Korrekturwerts berücksichtigt werden. Ferner kann insbesondere vorgesehen sein, dass eine zeitliche Konsistenz einer Vielzahl von mittels der Kamera 3 aufgenommen Bilder 12 mittels eine gewichteten Durchschnittswerts und/oder alternativ mittels eines Median-Verfahrens bestimmt wird und die zeitliche Konsistenz bei der Bestimmung des Korrekturwerts berücksichtigt wird. Bevorzugt ist insbesondere vorgesehen, dass die zeitliche Konsistenz der Vielzahl von mittels der Kamera 3 aufgenommenen Bildern 12 mittels eines gewichteten Durchschnittswerts des Median-Verfahrens bestimmt wird und die zeitliche Konsistenz bei der Bestimmung des Korrekturwerts berücksichtigt wird.
Ferner Betrifft die Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Bestimmen des Korrekturwerts, wie es in den Figuren beschrieben ist, durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor der elektronischen Recheneinrichtung 4 abgearbeitet wird.

Claims

Verfahren zum Bestimmen eines Korrekturwerts für eine Kamera (3) eines Kamerasystems (2) eines Pritschenfahrzeugs (1), mit den Schritten: - Erfassen einer Ladefläche (5) des Pritschenfahrzeugs (1) in einem mittels der Kamera (3) erfassten Bild (12); - Bestimmen von zumindest einer optischen ersten Längslinie (13a) und einer optischen zweiten Längslinie (13b) entlang einer Längsachse (x) des Pritschenfahrzeugs (1) im Bereich der Ladefläche (5) im Bild (12) mittels einer elektronischen Recheneinrichtung (4) des Kamerasystems (2); - Erzeugen einer virtuellen ersten Zusatzlinie (14a) auf einer ersten Seite (15a), welche der ersten Längslinie (13a) zugeordnet ist und einen vorgegebenen Abstand (A) dazu aufweist, und einer virtuellen zweiten Zusatzlinie (14b) auf einer der ersten Seite (15a) gegenüberliegenden zweiten Seite (15b), welche der zweiten Längslinie (13b) zugeordnet ist und den vorgegebenen Abstand (A) dazu aufweist, mittels der elektronischen Recheneinrichtung (4); - Erzeugen zumindest einer virtuellen ersten Maske (16a) zwischen der ersten Zusatzlinie (14a) und der ersten Längslinie (13a), einer virtuellen zweiten Maske (16b) zwischen der zweiten Zusatzlinie (14b) und der zweiten Längslinie (13b) und einer virtuellen dritten Maske (16c) zwischen der ersten Längslinie (13a) und der zweiten Längslinie (13b) mittels der elektronischen Recheneinrichtung (4); - Farbliches Vergleichen eines Maskenreferenzbereichs (17) mit der ersten Maske (16a), der zweiten Maske (16b) und der dritten Maske (16c) mittels der elektronischen Recheneinrichtung (4); - In Abhängigkeit des Vergleichs Bestimmen zumindest einer ersten Längskantenlinie (11a, 11b) der Ladefläche (5) entlang der Längsachse (x) innerhalb einer der Masken (16a, 16b, 16c) mittels der elektronischen Recheneinrichtung (4); und - Bestimmen des Korrekturwerts in Abhängigkeit von der bestimmten Längskantenlinie (11a, 11b) mittels der elektronischen Recheneinrichtung (4).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Maskenreferenzbereich (17) auf Basis einer vorgegebenen ersten Region von Interesse (ROI1) im Bild (12) mittels der elektronischen Recheneinrichtung (4) bestimmt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Farbe des Maskenreferenzbereichs (17) bestimmt wird und die bestimmte Farbe des Maskenreferenzbereichs (17) mit den bestimmten Farben der jeweiligen Masken (16a, 16b, 16c) verglichen wird und bei einer zumindest im Wesentlichen übereinstimmenden Farbe einer der Masken (16a, 16b, 16c) diejenige Maske (16a, 16b, 16c) mittels der elektronischen Recheneinrichtung (4) ausgewählt wird und in dieser Maske (16a, 16b, 16c) die Längskantenlinie (11a, 11b) mittels der elektronischen Recheneinrichtung (4) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für den farblichen Vergleich ein jeweils normalisiertes Histogramm einer jeweiligen Maske (16a, 16b, 16c) und des Maskenreferenzbereichs (17) mittels der elektronischen Recheneinrichtung (4) erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Bestimmen der ersten Längslinie (13a) und der zweiten Längslinie (13b) eine vorgegebene zweite Region von Interesse (ROI2) im Bild (12) mittels der elektronischen Recheneinrichtung (4) ausgewertet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Maskenreferenzbereich (17) als frontseitige Querkantenlinie (10a) der Ladefläche (5) vorgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jeweils zwei Längslinien (13a, 13b) für eine linke Seite der Ladefläche (5) und für eine rechte Seite der Ladefläche (5) bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich mittels einer Linien-Homographie der zumindest eine Korrekturwert bestimmt wird und/oder mittels der Linien-Homographie ein Rotationskorrekturwert als Korrekturwert mittels der elektronischen Recheneinrichtung (4) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich der Korrekturwert in Abhängigkeit von Toleranzwerten für die Anordnung der Kamera (3) am Pritschenfahrzeug (1) mittels der elektronischen Recheneinrichtung (4) bestimmt wird, wobei als Korrekturwert ein Translationskorrekturwert mittels der elektronischen Recheneinrichtung (4) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine zeitliche Konsistenz einer Vielzahl von mittels der Kamera (3) aufgenommenen Bildern (12) mittels eines gewichteten Durchschnittswerts bestimmt wird und die zeitliche Konsistenz bei der Bestimmung des Korrekturwerts mittels der elektronischen Recheneinrichtung (4) berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine zeitliche Konsistenz einer Vielzahl von mittels der Kamera (3) aufgenommenen Bildern (12) mittels eines Medianverfahrens bestimmt wird und die zeitliche Konsistenz bei der Bestimmung des Korrekturwerts mittels der elektronischen Recheneinrichtung (4) berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine zeitliche Konsistenz einer Vielzahl von mittels der Kamera (3) aufgenommenen Bildern (12) mittels eines gewichteten Durchschnittswerts eines Medianverfahrens bestimmt wird und die zeitliche Konsistenz bei der Bestimmung des Korrekturwerts mittels der elektronischen Recheneinrichtung (4) berücksichtigt wird.
Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren zum Bestimmen eines Korrekturwerts nach einem der vorhergehenden Ansprüche 1 bis 12 durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung (4) abgearbeitet wird.
Elektronische Recheneinrichtung (4) mit einem Computerprogrammprodukt nach Anspruch 13.
Kamerasystem (2) für ein Pritschenfahrzeug (1) mit zumindest einer Kamera (3) und mit einer elektronischen Recheneinrichtung (4) nach Anspruch 14, wobei das Kamerasystem (2) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 12 ausgebildet ist.