DE102019109882A1 - Verfahren zum Bestimmen zumindest eines Korrekturwerts zur Korrektur eines Orientierungsfehlers einer Kamera für ein Kraftfahrzeug, elektronische Recheneinrichtung sowie Fahrerassistenzsystem - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen zumindest eines Korrekturwerts (K) zur Korrektur eines Orientierungsfehlers einer Kamera (6) für ein Kraftfahrzeug (1) mittels einer elektronischen Recheneinrichtung (9) eines Fahrerassistenzsystems (8), mit den Schritten:
- Erfassen eines Bilds (B) einer Umgebung (7) des Kraftfahrzeugs (1) mit einem Kalibrierungsobjekt (18) des Kraftfahrzeugs (1) mittels der Kamera (6);
- Erkennen des Kalibrierungsobjekt (18) im erfassten Bild (B) mittels der elektronischen Recheneinrichtung (9);
gekennzeichnet durch den Schritt:
- Bestimmen des Korrekturwerts (K) durch eine homographische Matrixzerlegung (23) des Kalibrierungsobjekts (18) im Bild (B). Ferner betrifft die Erfindung eine elektronische Recheneinrichtung (9) sowie ein Fahrerassistenzsystem (8).

Description

• Die Erfindung betrifft ein Verfahren zum Bestimmen zumindest eines Korrekturwerts zur Korrektur eines Orientierungsfehlers einer Kamera für ein Kraftfahrzeug mittels einer elektronischen Recheneinrichtung eines Fahrerassistenzsystems. Ferner betrifft die Erfindung eine elektronische Recheneinrichtung sowie ein Fahrerassistenzsystem.
• Das nachfolgende Interesse richtet sich insbesondere auf Kraftfahrzeuge, welche eine Kamera in dem rückwärts gerichteten Bereich des Kraftfahrzeugs aufweisen. Insbesondere ist die Kamera zur Beobachtung eines Trailers ausgebildet. Die Kamera kann beispielsweise an einem oberen Ende des Dachs des Kraftfahrzeugs angeordnet sein. Insbesondere kann es bei der Montage der Kamera zu Orientierungsfehlern kommen, sodass insbesondere bei der Auswertung der Bilder es zu Fehlern kommen kann. Insbesondere, sollte die Kamera beispielsweise zur Bestimmung einer Trajektorie eines Anhängers genutzt werden, kann dies zu Fehlinterpretationen innerhalb des Bilds führen.
• Die US 79 49 486 B2 offenbart eine Kamera, die an einem Rückfahrkameragehäuse eines Kraftfahrzeugs montiert ist, das ein Grundrissbild des Bodens auf einer Seite des Kraftfahrzeugs zur Anzeige auf einer fahrzeuginternen Anzeigeeinheit aufnimmt. Die Kamera ist kalibriert, um den Versatz der Kamera aus der idealen Position zu korrigieren. Während der Kalibrierung wird ein Bild eines Referenzpunktes am Fahrzeug aufgenommen, indem das Spiegelgehäuse von einer Ruheposition in eine Arbeitsstellung geschwenkt wird. Der Versatz der tatsächlichen Position des Bildes des Referenzpunktes im aufgenommenen Bild von seiner idealen Position wird berechnet, und es wird eine Look-up-Tabelle erstellt, die die Position angibt, an der sich die Pixel der später aufgenommenen Bildrahmen befinden sollten, um Bildrahmen mit Versatzkorrektur zu erzeugen.
• Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, eine elektronische Recheneinrichtung sowie ein Fahrerassistenzsystem zu schaffen, mittels welchen ein Korrekturwert zur Korrektur eines Orientierungsfehlers einer Kamera für ein Kraftfahrzeug zuverlässig bestimmt werden kann.
• Diese Aufgabe wird durch ein Verfahren, durch eine elektronische Recheneinrichtung sowie ein Fahrerassistenzsystem gemäß den unabhängigen Patentansprüchen gelöst.
• Ein Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen zumindest eines Korrekturwerts zur Korrektur eines Orientierungsfehlers einer Kamera für ein Kraftfahrzeug mittels einer elektronischen Recheneinrichtung eines Fahrerassistenzsystems. Es wird ein Bild einer Umgebung des Kraftfahrzeugs mit einem Kalibrierungsobjekt des Kraftfahrzeugs mittels der Kamera erfasst. Es wird das Kalibrierungsobjekt im erfassten Bild mittels der elektronischen Recheneinrichtung erkannt. Es wird der Korrekturwert durch eine homographische Matrixzerlegung des Kalibrierungsobjekts bestimmt wird.
• Insbesondere kann hier als Kalibrierungsobjekt die Ladefläche des Kraftfahrzeugs genutzt werden. Mittels dieser Methode ist es ermöglicht, dass die Kamera nicht mehr direkt entlang einer Längsachse des Kraftfahrzeugs angeordnet werden muss, sondern durch das Verfahren können die entsprechenden Anordnungspositionen der Kamera entsprechend berücksichtigt werden. Hierzu wird insbesondere angenommen, dass die erste Kalibrierungslinie und die dritte Kalibrierungslinie sowie die zweite Kalibrierungslinie und die vierte Kalibrierungslinie in der Realität parallel zueinander sind, wobei ein Winkel θ zwischen der ersten Kalibrierungslinie und der vierten Kalibrierungslinie innerhalb des Bilds ebenfalls als bekannt angenommen wird. Insbesondere werden innerhalb des Bildes Liniensegmente der Kalibrierungslinien erfasst. Von einem jeweiligen Liniensegment (p₁, p₂) innerhalb des Bilds kann ein jeweiliger Strahl (r₁, r₂) definiert werden. Mittels dieser Strahlen kann eine Ebene erzeugt werden, wobei dann deren Normale durch $$n=r1\Lambda r2$$

  

  beschrieben ist. Durch die vier Kalibrierungslinien können somit vier Normalenvektoren n₁, n₂, n₃ und n₄ erzeugt werden. Der erste Normalenvektor n₁ wird der ersten Kalibrierungslinie zugeordnet, der zweite Normalenvektor n₂ wird der zweiten Kalibrierungslinie zugeordnet, der dritte Normalenvektor n₃ wird der dritten Kalibrierungslinie zugeordnet und der vierte Normalenvektor n₄ wird der vierten Kalibrierungslinie zugeordnet.
• In der Realität, also nicht im Bild, liegen die erste Kalibrierungslinie und die dritte Kalibrierungslinie in einer entsprechenden Ebene, welche entlang einer Achse b_y ausgerichtet ist. Dies bedeutet, dass die Achse b_y orthogonal zur ersten Kalibrierungslinie und zur dritten Kalibrierungslinie ausgerichtet sein muss. Dies kann durch das Vektorprodukt $$u_y=n_1\Lambda n_3$$

  

  ausgedrückt werden. Da das Vektorprodukt ein asymmetrischer Operator ist, ist die Richtung v_y von der Ordnung von n₁ und n₃ abhängig. Da insbesondere die Ladefläche in einem zu der negativen z Koordinate entsprechendem Halbraum liegen muss, kann angenommen werden, dass das Punktprodukt c_x.u_y negativ ist, wodurch $$b_y=-sign\left(u_y.c_x\right)\frac{u_y}{\Vert u_y\Vert }$$

  

  bestimmt werden kann. Es kann dann nach zwei Einheitsvektoren x₁ und x₂ gesucht werden, welche lotrecht zu n₂ und n₄ sind. Ferner kann aus Symmetriegründen angenommen werden, dass x₂ - x₁ lotrecht zu n₁ ist. Der Winkel θ ist der Winkel zwischen x₁ und x₂, wobei $\phi =\frac{\pi -\theta }{2}$

  

  ist.
• Es ergeben sich dann weiter die folgenden Formeln: $$n_1^T{x}_1=0$$

  

  $$n_2^T{x}_2=0$$

  

  $$n_3^T\left(x_2-x_1\right)=0$$

  
• Sowie die Formeln: $$n_2^T{x}_1=\text{cos}\left(\theta \right)$$

  

  $$n_1^T{x}_1=1$$

  

  $$n_2^T{x}_2=1$$

  
• Des Weiteren ist bekannt: $$\frac{x_2-x_1}{\Vert x_2-x_1\Vert }=u_y$$

  

  $$\frac{x_1-x_2}{\sqrt{2-2\text{ cos}\left(\theta \right)}}=u_y$$

  

  $$x_2=x_1+\sqrt{2-2\text{ cos}\left(\theta \right)}{u}_y$$

  

  $$u_y^T{x}_1=\text{cos}\left(\phi \right)$$

  
• Mit $\phi =\frac{\pi -\theta }{2}$

  

  ergibt sich: $$\sqrt{2-2\text{ cos}\left(\theta \right)}=\text{2 cos }\left(\phi \right)$$

  
• Es folgen daraus die Formeln: $$n_1^T{x}_1=1$$

  

  $$n_2^T{x}_1=-2\text{ cos }\left(\phi \right)n_2^T{u}_y=c{n}_2^T{u}_y$$

  
• Unter der Voraussetzung, dass $x_1^T{x}_1=\mathrm{1,}$

  

  ergibt sich: $$x_1=\left[\frac{A+B{x}_{1z}}{E}\frac{C+D{x}_{1z}}{E}{x}_{1z}\right]$$

  
• Mit: $$\text{A}={\text{c*n}}_{1\text{y}}*{\text{n}}_{2\text{x}}*{\text{u}}_{\text{yx}}+{\text{c*n}}_{\text{1y}}*{\text{n}}_{2\text{y*}}{\text{u}}_{\text{yy}}+{\text{c*n}}_{1\text{y}}*{\text{n}}_{2\text{z}}*{\text{u}}_{\text{yz}}$$

  

  $$\text{B}={\text{n}}_{1\text{y}}*{\text{n}}_{2\text{z}}-{\text{n}}_{1\text{z}}*{\text{n}}_{2\text{y}}$$

  

  $$\text{C}=-{\text{c*n}}_{1\text{x}}*{\text{n}}_{2\text{x}}*{\text{u}}_{\text{yx}}-{\text{c*n}}_{\text{1x}}*{\text{n}}_{2\text{y}}{\text{*u}}_{\text{yy}}-{\text{c*n}}_{1\text{x}}*{\text{n}}_{2\text{z}}*{\text{u}}_{\text{yz}}$$

  

  $$\text{D}=-{\text{n}}_{1\text{x}}*{\text{n}}_{2\text{z}}+{\text{n}}_{1\text{z}}*{\text{n}}_{2\text{x}}$$

  

  $$\text{E}={\text{n}}_{1\text{x}}*{\text{n}}_{2\text{y}}-{\text{n}}_{1\text{y}}*{\text{n}}_{2\text{x}}$$

  
• Unter den Bedingungen $x_1^T{x}_1=x_{1x}^2+x_{1y}^2+x_{1z}^2=1$

  

  kommt man zu der Gleichung zweiten Grades mit der unbekannten x_1z.
• Hier gibt es zwei Lösungen, eine mit einem positiven x_1z und mit einem negativen x_1z. Insbesondere wird hierzu das negative x_1z gewählt.
• Dadurch kann dann bestimmt werden: $$x_1,u_z=x_1\Lambda u_y$$

  

  und $$b_z=sign\left(u_z.c_y\right)\frac{u_z}{\Vert u_z\Vert }$$

  

  $$b_x=b_y\Lambda b_z$$

  
• In den Kamerakoordinaten ausgedrückt als Rotationsmatrix R: $$R=\left[b_x{b}_y{b}_z\right]$$

  
• Wobei mittels transformieren der Rotationsmatrix die Kameramatrix mit c_x, c_y, c_z erzeugbar ist. Insbesondere kann hierzu die Rückwärtstransformierung R^-1=R^T genutzt werden. Die Eulerwinkel können aus der Rotationsmatrix entsprechend extrahiert werden.
• Bei dem Orientierungsfehler handelt es sich insbesondere um einen Fehler der Kameraaufstellung. Mit anderen Worten kann die Kamera, beispielsweise bei der Montage der Kamera, insbesondere bezüglich der drei Kraftfahrzeugachsen (Längsachse, Querachse, Hochachse) falsch aufgestellt/montiert worden sein. Insbesondere kann somit die Kamera eine Ist-Lage aufweisen, welche von einer Soll-Lage, insbesondere von einer Referenzkamera, abweicht. Diese Abweichung wird als Orientierungsfehler bezeichnet.
• Insbesondere kann die Kamera bei einem rückwärtsgerichteten Stopplicht/Bremslicht, welches auch als drittes Stopplicht/Bremslicht bezeichnet werden kann, angeordnet sein. Insbesondere kann die Kamera als separates Bauteil zum Stopplicht oder als integraler Bestandteil des Stopplichts ausgebildet sein.
• Bevorzugt kann vorgesehen sein, dass zum Erkennen des Kalibrierungsobjekts innerhalb des erfassten Bilds eine entsprechende Auswertung des Bilds, beispielsweise mittels eines Bildverarbeitungsprogramms, durchgeführt wird.
• Insbesondere kann vorgesehen sein, dass es sich bei dem Kalibrierungsobjekt um ein Teil des Kraftfahrzeugs handelt und somit nicht um ein separates Bauteil. Somit kann aufwandsreduziert und ohne zusätzliches Bauteil die Bestimmung des Korrekturwerts durchgeführt werden. Des Weiteren kann mittels des Verfahrens innerhalb eines Bilds, mit anderen Worten ohne ein weiteres Bild aufnehmen zu müssen, die Bestimmung des Korrekturwerts durchgeführt werden.
• Die Erfindung wird vorteilhaft weitergebildet durch Bestimmen zumindest eines ersten Kalibrierungspunktes, eines zweiten Kalibrierungspunktes, eines dritten Kalibrierungspunktes und eines vierten Kalibrierungspunktes des Kalibrierungsobjekts in Abhängigkeit einer äußeren Form des Kalibrierungsobjekts und durch Bestimmen einer ersten Kalibrierungslinie, welche durch den ersten und den zweiten Kalibrierungspunkt verläuft, einer zweiten Kalibrierungslinie, welche durch den zweiten und den dritten Kalibrierungspunkt verläuft, einer dritten Kalibrierungslinie, welche durch den dritten und den vierten Kalibrierungspunkt verläuft, und einer vierten Kalibrierungslinie, welche durch den vierten und den ersten Kalibrierungspunkt verläuft. Dadurch kann zuverlässig das Kalibrierungsobjekt bestimmt werden und somit zuverlässig die homographische Matrixzerlegung durchgeführt werden.
• Insbesondere können eine erste Oberflächen Normale (n1) mittels einer ersten Kalibrierungslinie (K1), eine zweite Oberflächen Normale (n2) mittels einer dritten Kalibrierungslinie (K3) und eine dritte Oberflächen Normale (n3) mittels einer zweiten Kalibrierungslinie (K2) bestimmt werden. Ferner kann das Kalibrierungsobjekt des Kraftfahrzeugs mittels einer ersten orthogonalen Ecke (bx) durch die Nutzung der ersten Oberflächen Normalen und der zweiten Oberflächen Normalen bestimmt werden. Es kann eine zweite orthogonale Ecke (by) mittels der ersten orthogonalen Ecke und der dritten Oberflächen Normale bestimmt werden. Es kann eine dritte orthogonale Ecke (bz) mittels der ersten orthogonalen Ecke und der zweiten orthogonalen Ecke bestimmt werden. Es kann eine Kamera extrinsische Rotationsmatrix mittels der ersten, der zweiten und der dritten orthogonalen Ecke bestimmt werden. Es kann der zumindest eine Korrekturwert durch Transformieren der Rotationsmatrix zu Eulerwinkeln bestimmt werden. Es kann eine Abbildungsfunktion zwischen dem ersten Kalibrierungspunkt im erfassten Bild und dem entsprechenden Kalibrierungsobjekt des Kraftfahrzeugs in einem Kraftfahrzeugkoordinatensystem bestimmt werden. Es kann der zumindest eine Korrekturwert durch Erzeugung der Eulerwinkel mittels der Abbildungsfunktion bestimmt werden.
• Es hat sich weiterhin als vorteilhaft erwiesen, wenn die erste und die dritte Kalibrierungslinie mittels der elektronischen Recheneinrichtung als parallel zueinander definiert werden und die zweite und die vierte Kalibrierungslinie mittels der elektronischen Recheneinrichtung als parallel zueinander definiert werden. Insbesondere in einem euklidischen Raum treffen parallele Linien, mit anderen Worten insbesondere die erste und die dritte Kalibrierungslinie und die zweite und die vierte Kalibrierungslinie, in einem endlichen Punkt einer projizierten Welt zusammen, welche dann die entsprechenden Fluchtpunkte ergeben. Insbesondere können dann beispielsweise die vertikalen Kanten der Ladefläche in Fahrzeuglängsrichtung und die vertikalen Kanten der Ladefläche in Fahrzeugquerrichtung entsprechend als jeweils parallel definiert werden. Unter definieren kann insbesondere ein vorgeben und/oder bewerten der Kalibrierungslinien angesehen werden. Mit andere Worten werden, auch wenn das reale Kalibrierungsobjekt keine parallelen Kanten aufweist, zumindest die bestimmten Kalibrierungslinien als jeweils parallel zueinander angenommen. Insbesondere können dann die entsprechenden Fluchtpunkte in Fahrzeuglängsrichtung und in Fahrzeugquerrichtung bestimmt werden.
• Gemäß einer vorteilhaften Ausgestaltungsform des Verfahrens wird das Kraftfahrzeug als Pritschenfahrzeug bereitgestellt und der zumindest eine Korrekturwert durch Erfassung einer Ladefläche des Pritschenfahrzeugs als Kalibrierungsobjekt bestimmt. Dadurch kann insbesondere ohne zusätzliches Bauteil aufgrund der Nutzung der Ladefläche des Pritschenfahrzeugs der zumindest eine Korrekturwert bestimmt werden. Das Pritschenfahrzeug kann insbesondere auch als Pick-up bezeichnet werden. Insbesondere weißt das Pritschenfahrzeug einen Führerstand beziehungsweise eine Fahrerkabine auf und die Ladefläche ist dazu separat ausgebildet. Die Fahrerkabine und die Ladefläche sind an einem Chassis des Kraftfahrzeugs gemeinsam angeordnet. Insbesondere bei einem Pritschenfahrzeug kann es beispielsweise möglich sein, dass ein Anhänger mit angehängt wird. Insbesondere können dann mittels der Korrektur des Orientierungsfehlers zuverlässig eine Orientierung und eine Trajektorie des Anhängers relativ zum Kraftfahrzeug bestimmt werden. Insbesondere kann es dadurch ermöglicht werden, dass kritische Situationen im Straßenverkehr verhindert werden, welche beispielsweise aufgrund von Ausschermaßnahmen des Anhängers relativ zum Kraftfahrzeug entstehen könnten. Insbesondere kann dadurch zuverlässig ein Kupplungswinkel zwischen dem Kraftfahrzeug und dem Anhänger bestimmt werden. Das Fahrerassistenzsystem kann dann insbesondere als Kupplungswinkelassistenzsystem, welches auch als Hitch-Angle-Detectionsystem bezeichnet werden kann, ausgebildet sein.
• Es hat sich weiterhin als vorteilhaft erwiesen, wenn zumindest zwei, insbesondere drei, Korrekturwerte bestimmt werden, wobei ein Korrekturwert für einen Nickwinkel der Kamera relativ zum Kraftfahrzeug bestimmt wird und/oder eine Korrekturwert von dem Rollwinkel der Kamera relativ zum Kraftfahrzeug und/oder ein Korrekturwert für einen Gierwinkel der Kamera relativ zum Kraftfahrzeug bestimmt werden. Dadurch kann zuverlässig die Korrektur des Orientierungsfehlers, welcher sich insbesondere in dem Nickwinkel, in dem Rollwinkel und in dem Gierwinkel auszeichnet, bestimmt werden.
• Insbesondere kann dadurch jede mögliche relative Position des Anhängers zum Kraftfahrzeug in der Umgebung in alle Raumrichtungen zuverlässig bestimmt werden. Insbesondere kann dann vorgesehen sein, dass eine einzige Korrektur bezüglich des Nickwinkels, des Rollwinkels und des Gierwinkels durchgeführt wird. Dadurch kann zuverlässig der Orientierungsfehler der Kamera am Kraftfahrzeug bestimmt werden, sodass dieser insbesondere korrigiert werden kann.
• In einer weiteren vorteilhaften Ausgestaltungsform kann mittels der Kamera das Bild als Fischaugenbild erfasst werden und das erfasste Fischaugenbild mit dem aufgenommen Kalibrierungsobjekt zur Bestimmung des zumindest einen Korrekturwerts perspektivisch adaptiert werden. Da insbesondere die Rückfahrkameras häufig als Fischaugenkameras mit einem Fischaugenobjektiv bereitgestellt werden, um insbesondere einen großen Erfassungsbereich der Umgebung des Kraftfahrzeugs aufnehmen zu können , wird durch die Adaptierung des Fischaugenbilds eine Verbesserung der Auswertung des Korrekturwerts ermöglicht. Somit kann bei einem großen Erfassungsbereich mittels der Fischaugenkamera dennoch zuverlässig der Korrekturwert des Orientierungsfehlers bestimmt werden. Insbesondere kann vorgesehen sein, dass dies mittels eines Bildverarbeitungsprogramms der Kamera und/oder der elektronischen Recheneinrichtung durchgeführt werden kann.
• Ebenfalls vorteilhaft ist, wenn mittels einer Anzeigeeinrichtung des Kraftfahrzeugs ein in Abhängigkeit des zumindest einen Korrekturwerts korrigiertes Anzeigebild der Umgebung angezeigt wird. Insbesondere kann dadurch beispielsweise für einen Fahrer des Kraftfahrzeugs oder für einen Nutzer des Fahrerassistenzsystems das korrigierte Anzeigebild bereitgestellt werden. Somit ist eine zuverlässigere Anzeige der Umgebung des Kraftfahrzeugs ermöglicht. Insbesondere kann vorgesehen sein, dass das Fahrerassistenzsystem als Kupplungswinkelassistenzsystem bereitgestellt werden kann und dadurch zuverlässig der Kupplungswinkel zwischen einem Anhänger des Kraftfahrzeugs und dem Kraftfahrzeug angezeigt werden kann. Ferner kann mittels des Kupplungswinkelassistenzsystems beispielsweise auch eine Trajektorie des Anhängers relativ zum Kraftfahrzeug bestimmt und angezeigt werden. Durch die Anzeige des korrigierten Anzeigebilds kann somit zuverlässig eine kritische Situation im Straßenverkehr verhindert werden, da sowohl eine verbesserte Bestimmung des Korrekturwerts durchgeführt werden kann, als auch eine verbessere Anzeige des Bilds für einen Fahrer des Kraftfahrzeugs.
• Bevorzugt ist vorgesehen, dass zuerst das Fischaugenbild aufgenommen wird und das Fischaugenbild bezüglich der Verzerrung korrigiert wird. Das korrigierte Fischaugenbild wird dann bezüglich des Orientierungsfehlers korrigiert und kann als Anzeigebild auf der Anzeigeeinrichtung angezeigt werden.
• Insbesondere kann vorgesehen sein, dass der Kupplungswinkel als Gesamtheit des Rollwinkels und des Nickwinkels und des Gierwinkels des Anhängers relativ zum Kraftfahrzeug angesehen werden kann. Insbesondere ist der Kupplungswinkel noch abhängig von weiteren Faktoren, wie beispielsweise einer äußeren Form des Kraftfahrzeugs und des Anhängers. Insbesondere kann dann durch das Kupplungswinkelassistenzsystem ein kritischer Winkel zwischen dem Kraftfahrzeug und dem Anhänger bestimmt werden, wobei sich beim kritischen Winkel das Kraftfahrzeug und der Anhänger berühren würden.
• Ferner hat es sich als vorteilhaft erwiesen, wenn das am Kraftfahrzeug reale Kalibrierungsobjekt mit einer im Wesentlichen rechteckförmigen Grundfläche ausgebildet ist und die bestimmten Kalibrierungspunkte als jeweiliges Eck der rechteckförmigen Grundfläche ausgewählt werden. Mit anderen Worten wird als das Kalibrierungsobjekt ein am Kraftfahrzeug reales Kalibrierungsobjekt mit einer eckigen Grundfläche, insbesondere zur Erfassung mit der Kamera, vorgegeben. Das Kalibrierungsobjekt kann auch mehreckig ausgebildet sein. Die elektronische Recheneinrichtung ist dazu ausgebildet als Kalibrierungspunkte jeweils in der Längsachse des Kraftfahrzeugs betrachtet hintereinander liegende, mit anderen Worten in Flucht liegende, Ecken als Kalibrierungspunkte zu bestimmen. Insbesondere können dann die Kalibrierungspunkte beispielsweise als Ecken der Ladefläche mittels unterschiedlicher Bildverarbeitungstechniken erfasst werden. Beispielsweise kann mittels einer Houghtransformation, oder mittels einer Kantenpixelberechnungsmaske, oder mittels eines Histogramms von orientierten Gradienten (HOG) die Kalibrierungspunkte erfasst werden. Ebenfalls kann vorgesehen sein, dass beispielsweise die intrinsischen und die extrinsischen Parameter der Ladefläche, insbesondere die Größenausmaße, bekannt sind.
• Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird zum Erfassen des Kalibrierungsobjekts im erfassten Bild eine Region von Interesse vorgegeben, in welcher sich das Kalibrierungsobjekt befindet. Insbesondere ist die Region von Interesse ein Teilausschnitt des Bilds. Dadurch ist es ermöglicht, dass bei der Auswertung des Bilds lediglich die Region von Interesse ausgewertet wird, wodurch bei der Auswertung Rechenkapazität der elektronischen Recheneinrichtung eingespart werden kann, da nicht das gesamte erfasste Bild zum Erfassen des Kalibrierungsobjekts ausgewertet werden muss. Beispielsweise kann die Region von Interesse derart vorgegeben werden, dass zumindest die Ladefläche des Kraftfahrzeugs und insbesondere die Kalibrierungspunkte mit erfasst werden. Ferner ergänzend vorgesehen sein, dass ein Mittelteil des Kalibrierungsobjekts nicht Teil der Region von Interesse ist, wobei weiterhin beispielsweise die Kalibrierungspunkte vorhanden sind, aber eine Fläche, welche im Wesentlichen zwischen den Kalibrierungspunkten gelegen ist, nicht Teil der Region von Interesse ist. Dadurch kann noch mehr Rechenkapazität eingespart werden, da ein geringerer Teil des Bilds zum Erfassen des Kalibrierungsobjekts ausgewertet werden muss.
• Es hat sich weiterhin als vorteilhaft erwiesen, wenn die Region von Interesse durch abgespeicherte Parameter des Kalibrierungsobjekts vorgegeben wird und/oder die Region von Interesse mittels eines Toleranzbereichs für das Kalibrierungsobjekt erzeugt wird. Insbesondere können als abgespeicherte Parameter beispielsweise die intrinsischen Parameter der Kamera genutzt werden. Diese können beispielsweise durch ein rechnergestütztes Konstruieren, ein sogenanntes CAD (Computer Aided Design), vorgegeben werden und dann als abgespeicherte Parameter entsprechend abgerufen werden. Insbesondere kann vorgesehen sein, dass ein entsprechender Toleranzbereich erzeugt und vorgegeben wird, so dass auch bei der Fehlausrichtung der Kamera dennoch zuverlässig das Kalibrierungsobjekt erfasst werden kann. Der Toleranzbereich kann insbesondere abhängig von dem abgespeicherten Parameter und/oder von dem CAD vorgegeben werden. Dadurch können eine rechenkapazitätseinsparende Erfassung und Auswertung des Kalibrierungsobjekts durchgeführt werden.
• Ein weiterer Aspekt der Erfindung betrifft eine elektronische Recheneinrichtung, welche zum Durchführen des Verfahrens nach dem vorherigen Aspekt ausgebildet ist. Insbesondere kann vorgesehen sein, dass die elektronische Recheneinrichtung ein Computerprogramm mit Programmcodemitteln aufweist. Das Computerprogrammprodukt kann dabei auf einem computerlesbaren Medium gespeichert sein, um das Verfahren nach dem vorhergehenden Aspekt durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor der elektronischen Recheneinrichtung abgearbeitet wird. Insbesondere wird das Verfahren mittels der elektronischen Recheneinrichtung durchgeführt.
• Ein nochmals weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem mit einer Kamera und mit einer elektronischen Recheneinrichtung nach dem vorhergehenden Aspekt. Insbesondere kann das Fahrerassistenzsystem als Kupplungswinkelassistenzsystem ausgebildet sein. Bei einem zumindest teilweise autonomen, insbesondere bei einem vollautonomen, Fahrbetrieb des Kraftfahrzeugs kann das Fahrerassistenzsystem auch als elektronisches Fahrzeugführungssystem bezeichnet werden.
• Ebenfalls betrifft die Erfindung ein Kraftfahrzeug mit einem Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen, insbesondere als Pritschenwagen, ausgebildet.
• Ein unabhängiger Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen zumindest eines Korrekturwerts zur Korrektur eines Orientierungsfehlers einer Kamera für ein Kraftfahrzeug mittels einer elektronischen Recheneinrichtung eines Fahrerassistenzsystems. Es wird ein Bild einer Umgebung des Kraftfahrzeugs mit einem Kalibrierungsobjekt des Kraftfahrzeugs mittels der Kamera erfasst. Es wird das Kalibrierungsobjekt im erfassten Bild mittels der elektronischen Recheneinrichtung erkannt. Es wird zumindest ein erster Kalibrierungspunkt, ein zweiter Kalibrierungspunkt, ein dritter Kalibrierungspunkt und ein vierter Kalibrierungspunkt des Kalibrierungsobjekts in Abhängigkeit einer äußeren Form des Kalibrierungsobjekts bestimmt. Es wird eine erste Kalibrierungslinie, welche durch den ersten und den zweiten Kalibrierungspunkt verläuft, eine zweite Kalibrierungslinie, welche durch den zweiten und den dritten Kalibrierungspunkt verläuft, eine dritte Kalibrierungslinie, welche durch den dritten und den vierten Kalibrierungspunkt verläuft, und eine vierte Kalibrierungslinie, welche durch den vierten und den ersten Kalibrierungspunkt verläuft, bestimmt. Es wird eine virtuelle erste Position eines ersten Fluchtpunktes des Bilds, welcher als virtueller erster Schnittpunkt der ersten und der dritten Kalibrierungslinie gebildet ist, bestimmt. Es wird eine virtuelle zweite Position eines zweiten Fluchtpunktes des Bilds, welcher als virtueller zweiter Schnittpunkt der zweiten und der vierten Kalibrierungslinie gebildet ist, bestimmt. Es wird der zumindest eine Korrekturwert in Abhängigkeit der virtuellen ersten Position und der virtuellen zweiten Position bestimmt.
• Insbesondere ist es dadurch ermöglicht, dass, ohne die genauen Ausmaße des Kalibrierungsobjektes zu kennen, eine Bestimmung des Korrekturwerts durchgeführt werden kann. Die Bestimmung des Korrekturwerts erlaubt eine hohe Flexibilität der Kameraposition, da diese Bestimmung des Korrekturwerts unabhängig von der Position der Kamera am Kraftfahrzeug ist. Des Weiteren ist insbesondere ein geringer Rechenaufwand benötigt, da keine Vorlagen zum Abgleich des Kalibrierungsobjekts benötigt werden.
• Insbesondere können die Fluchtpunkte (V_x, V_y) mithilfe der Formel: $$s{V}_x=K\left[r_x{r}_y{r}_z|t\right]X_{\infty }$$

  

  $$s{V}_y=K\left[r_x{r}_y{r}_z|t\right]Y_{\infty }$$

  

  bestimmt werden. Insbesondere kann dabei s einem unbekannten Skalierungsfaktor entsprechen. K entspricht dabei der intrinsischen Matrix der Kamera. Die Faktoren r_x, r_y und r_z sind entsprechende Spalten der Rotationsmatrix zwischen den Umgebungs-/ und Kraftfahrzeugkoordinaten zu den Kamerakoordinaten. Der Faktor t ist ein Translationsvektor von den Umgebungs-/Kraftfahrzeugkoordinaten zu den Kamerakoordinaten. Mittels der Annahme X_∞ = [1000]^T und Y_∞ = [0100]^T können dann die entsprechenden Gleichungen für die Fluchtpunkte bestimmt werden.
• Insbesondere kann vorgesehen sein, dass für die Erzeugung der Spalten der Rotationsmatrix die folgenden drei Formeln genutzt werden: $$r_x=K^{-1}s{V}_x;$$

  

  $$r_y=K^{-1}s{V}_y;$$

  

  $$r_z=r_x{r}_y;$$

  
• Der Skalierungsfaktor s kann bei der Bestimmung durch den Einheitsvektor in den Richtungen r_x, r_y und r_z vernachlässigt werden.
• In einer weiteren vorteilhaften Ausgestaltungsform kann mittels einer Anzeigeeinrichtung des Kraftfahrzeugs ein Anzeigebild der Umgebung angezeigt werden, wobei das Anzeigebild in einer Vogelperspektive angezeigt wird. Dadurch ist es ermöglicht, dass insbesondere eine Ladefläche, welche als Kalibrierungsobjekt erfasst wird, vorteilhaft für einen Fahrer angezeigt werden kann. Insbesondere kann dann eine Draufsicht als Vogelperspektive angezeigt werden. Insbesondere sollte beispielsweise das Fahrerassistenzsystem als Kupplungswinkelassistenzsystem bereitgestellt werden, so kann dadurch zuverlässig der Kupplungswinkel und die entsprechenden Trajektorien des Anhängers in der Vogelperspektive angezeigt werden. Dies ermöglicht eine intuitiv für den Benutzer wahrnehmbare Anzeige.
• Ferner hat es sich als vorteilhaft erwiesen, wenn zur Erzeugung des Anzeigebilds in der Vogelperspektive eine Höhe der Kamera relativ zum Kraftfahrzeug mittels der elektronischen Recheneinrichtung bestimmt wird. Insbesondere können dann beispielsweise Orientierungsfehler aufgrund der Höhe beziehungsweise Darstellungsfehler aufgrund der Höhe der Kamera relativ zum Kraftfahrzeug mitberücksichtigt werden. Insbesondere trägt dies dazu bei, dass der Fahrer des Kraftfahrzeugs beispielsweise bei einem angehängten Anhänger die Situation des Anhängers relativ zum Kraftfahrzeug besser einschätzen kann. Dadurch kann insbesondere ein Kupplungswinkel zwischen dem Kraftfahrzeug und dem Anhänger verbessert angezeigt werden.
• Ferner kann in vorteilhafter Weise vorgesehen sein, dass zur Bestimmung der Höhe der Kamera das erfasste Kalibrierungsobjekt im Bild bezüglich des Orientierungsfehlers der Kamera korrigiert wird. Insbesondere wird das Kalibrierungsobjekt zum korrigierten Kalibrierungsobjekt kalibriert. Sollte beispielsweise erkannt werden, dass die Ladefläche als Kalibrierungsobjekt nicht rechteckig innerhalb der Vogelperspektive angezeigt wird, so kann eine entsprechende Anpassung bezüglich des Orientierungsfehlers durchgeführt werden. Insbesondere kann dies durch Anpassung des erfassten Kalibrierungsobjekts an eine rechteckige Form durchgeführt werden.
• Ferner kann vorgesehen sein, dass durch maschinelles Lernen der elektronischen Recheneinrichtung der Orientierungsfehler korrigiert wird. Insbesondere kann dann eine Anpassung an eine rechtwinklige Form durch maschinelles Lernen einfach durchgeführt werden. Insbesondere kann dies zusätzlich zu der Bestimmung des Korrekturwerts durchgeführt werden.
• Es hat sich weiter als vorteilhaft erwiesen, wenn zur Bestimmung der relativen Höhe der Kamera ein abgespeichertes Referenzkalibrierungsobjekt mit dem korrigierten Kalibrierungsobjekt bezüglich der jeweiligen Größe verglichen wird und in Abhängigkeit des Vergleichs die relative Höhe bestimmt wird. Insbesondere kann dazu beispielsweise das Referenzkalibrierungsobjekt durch eine tatsächliche Größe einer Ladefläche des Kraftfahrzeugs vorgegeben sein. Diese können beispielsweise auf einer Speichereinrichtung der elektronischen Recheneinrichtung abgespeichert sein. Insbesondere kann dann beispielsweise eine Abweichung der Höhe der Kamera durch die Formeln: $$dH=\left(\left(\frac{W}{w}\right)-1\right)H;$$

  

  or $$dH=\left(\left(\frac{L}{l}\right)-1\right)H$$

  

  bestimmt werden. Dabei entspricht dH der Abweichung der Kamerahöhe. L und W der erwarteten Länge L und der erwarteten Breite W des Kalibrierungsobjekts. I und w entsprechen den korrigierten Längen I und der korrigierten Breite w im korrigierten Anzeigebild. Somit ist zuverlässig die relative Höhe der Kamera relativ zum Kraftfahrzeug bestimmbar. Insbesondere kann dies ohne eine weitere Bildaufnahme oder komplizierte Rechenverfahren durchgeführt werden. Dies führt insbesondere bei einer Ausgestaltungsform des Fahrerassistenzsystems als Kupplungswinkelassistenzsystem zu einer zuverlässigen Bestimmung des Kupplungswinkels und der Trajektorie eines an dem Kraftfahrzeug angehängten Anhängers.
• In einer weiteren vorteilhaften Ausgestaltungsform ist vorgesehen, dass die bestimmte relative Höhe der Kamera bei der Anzeige des Anzeigebilds als Vogelperspektive mit berücksichtigt wird. Mit anderen Worten wird die entsprechende bestimmte relative Höhe mit bei der Anzeige eingerechnet, sodass zuverlässig das Anzeigebild angezeigt werden kann.
• Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen der elektronischen Recheneinrichtung sowie des Fahrerassistenzsystems zu sehen. Die elektronische Recheneinrichtung sowie das Fahrerassistenzsystem weisen dazu gegenständliche Merkmale auf, die eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.
• Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nahfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch aus separierten Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungsformen, als offenbart anzusehen, die über die in Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
• Nun wird die Erfindung anhand von bevorzugten Ausführungsformen sowie anhand der beigefügten Zeichnungen näher erläutert.
• Dabei zeigen:
• 1 eine schematische Draufsicht auf ein Gespann mit einer Ausführungsform eines Fahrerassistenzsystems;
• 2 eine schematische Ansicht des Verfahrens zur Bestimmung eines Korrekturwerts;
• 3 eine schematische Ansicht des Verfahrens zur Bestimmung einer Höhe einer Ausführungsform der Kamera;
• 4 eine schematische Ansicht einer Ausführungsform eines Kalibrierungsobjekts;
• 5 ein schematisches Blockschaltschaltbild zur Bestimmung des Korrekturwerts;
• 6 eine schematische Perspektivansicht zur Bestimmung einer homographischen Matrixzerlegung; und
• 7 eine schematische Perspektivansicht eines Bilds mit einer Region von Interesse.
• In den Figuren sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
• 1 zeigt ein Kraftfahrzeug 1 mit einem angehängten Anhänger 2, welche im zusammengekoppelten Zustand ein Gespann 3 bilden, schematisch in einer Draufsicht. Das Kraftfahrzeug 1 ist insbesondere als Personenkraftwagen ausgebildet. Insbesondere ist das Kraftfahrzeug 1 als Pritschenfahrzeug bereitgestellt und weist eine Ladefläche 4 auf.
• Das Kraftfahrzeug 1 weist eine Längsachse L1 auf und der Anhänger 2 weist eine Längsachse L2 auf. Der Anhänger 2 ist insbesondere über eine Anhängerkupplung 5 an das Kraftfahrzeug 1 gekoppelt. Das Kraftfahrzeug 1 weist ferner eine Kamera 6 auf, mittels welcher eine Umgebung 7 des Kraftfahrzeugs 1 mit einem Kalibrierungsobjekt, welches im vorliegenden Ausführungsbeispiel der Ladefläche 4 entspricht, erfasst werden kann. Insbesondere kann vorgesehen sein, dass die Kamera 6 mittels eines Bildverarbeitungsprogramms zumindest die Ladefläche 4 und die Umgebung 7 erfassen kann.
• Bei dem Orientierungsfehler handelt es sich insbesondere um einen Fehler der Kameraaufstellung. Mit anderen Worten kann die Kamera 6, beispielsweise bei der Montage der Kamera 6, insbesondere bezüglich der drei Kraftfahrzeugachsen (Längsachse L1, Querachse Q, Hochachse) falsch aufgestellt/montiert worden sein. Insbesondere kann somit die Kamera 6 eine Ist-Lage aufweisen, welche von einer Soll-Lage, insbesondere von einer Referenzkamera, abweicht. Diese Abweichung wird als Orientierungsfehler bezeichnet.
• Insbesondere kann die Kamera 6 bei einem rückwärtsgerichteten Stopplicht/Bremslicht, welches auch als drittes Stopplicht/Bremslicht bezeichnet werden kann, angeordnet sein. Insbesondere kann die Kamera 6 als separates Bauteil zum Stopplicht oder als integraler Bestandteil des Stopplichts ausgebildet sein.
• Ferner weist das Kraftfahrzeug 1 ein Fahrerassistenzsystem 8 auf, welches insbesondere eine elektronische Recheneinrichtung 9 aufweist.
• Es kann ein Bild B (2) der Umgebung 7 des Kraftfahrzeugs 1 mit dem Kalibrierungsobjekt, mit anderen Worten in diesem Ausführungsbeispiel mit der Ladefläche 4, des Kraftfahrzeugs 1 mittels der Kamera 6 erfasst wird. Es wird das Kalibrierungsobjekt im erfassten Bild B mittels der elektronischen Recheneinrichtung 9 erfasst. Es wird zumindest ein erster Kalibrierungspunkt 10, ein zweiter Kalibrierungspunkt 11, ein dritter Kalibrierungspunkt 12 und ein vierter Kalibrierungspunkt 13 des Kalibrierungsobjekts erfasst. Es wird eine erste Kalibrierungslinie K1 (2), welche durch den ersten und den zweiten Kalibrierungspunkt 10, 11 verläuft, eine zweite Kalibrierungslinie K2, welche durch den zweiten und den dritten Kalibrierungspunkt 11, 12 verläuft, eine dritte Kalibrierungslinie K3, welche durch den dritten und den vierten Kalibrierungspunkt 12, 13 verläuft, und eine vierte Kalibrierungslinie K4, welche durch den vierten und den ersten Kalibrierungspunkt 13, 10 verläuft, bestimmt. Es wird eine virtuelle erste Position 14 eines ersten Fluchtpunktes v_y des Bilds B, welcher als virtueller erster Schnittpunkt der ersten und der dritten Kalibrierungslinie K1, K3 gebildet ist, bestimmt. Es wird eine virtuelle zweite Position 15 eines zweiten Fluchtpunkts V_x des Bilds B, welcher als virtueller zweiter Schnittpunkt der zweiten Kalibrierungslinie K2 und der vierten Kalibrierungslinie K4 gebildet ist, bestimmt. Es wird zumindest ein Korrekturwert K (2) in Abhängigkeit der virtuellen ersten Position 14 und der virtuellen zweiten Position 15 bestimmt.
• Es kann mittels des Korrekturwerts K eine Korrektur des Orientierungsfehlers der Kamera 6 relativ zum Kraftfahrzeug 1 mittels der elektronischen Recheneinrichtung 9 durchgeführt werden kann. Insbesondere kann nach der Korrektur ein Kupplungswinkel α zuverlässig und akkurat bestimmt werden.
• Insbesondere kann vorgesehen sein, dass der Kupplungswinkel α als Gesamtheit des Rollwinkels und des Nickwinkels und des Gierwinkels des Anhängers 2 relativ zum Kraftfahrzeug 1 angesehen werden kann. Insbesondere ist der Kupplungswinkel α noch abhängig von weiteren Faktoren, wie beispielsweise einer äußeren Form des Kraftfahrzeugs 1 und des Anhängers 2. Insbesondere kann dann durch das Kupplungswinkelassistenzsystem ein kritischer Winkel zwischen dem Kraftfahrzeug 1 und dem Anhänger 2 bestimmt werden, wobei sich beim kritischen Winkel das Kraftfahrzeug 1 und der Anhänger 2 berühren würden.
• Ferner ist insbesondere vorgesehen, dass zumindest zwei, insbesondere drei, Korrekturwerte K bestimmt werden, wobei ein Korrekturwert K für einen Nickwinkel der Kamera 6 relativ zum Kraftfahrzeug 1 und/oder ein Korrekturwert K für einen Rollwinkel der Kamera 6 relativ zum Kraftfahrzeug 1 und/oder ein Korrekturwert K für einen Gierwinkel der Kamera 6 relativ zum Kraftfahrzeug 1 bestimmt werden.
• Insbesondere kann vorgesehen sein, dass mittels einer Anzeigeeinrichtung 16 des Kraftfahrzeugs 1 ein in Abhängigkeit des zumindest einen Korrekturwerts K korrigiertes Anzeigebild der Umgebung 7 angezeigt wird. Insbesondere kann vorgesehen sein, dass dann zumindest der Kupplungswinkel α auf der Anzeigeeinrichtung 16 angezeigt werden kann.
• Ferner ist insbesondere vorgesehen, dass das Kalibrierungsobjekt mit einer im Wesentlichen rechteckförmigen Grundfläche bereitgestellt wird und die Kalibrierungspunkte 10, 11, 12, 13 als jeweiliges Eck der rechteckförmigen Grundfläche erfasst werden. Insbesondere ist im vorliegenden Beispiel die Ladefläche 4 im Wesentlichen rechteckförmig und die Ecken der Ladefläche 4 werden als die Kalibrierungspunkte 10, 11, 12, 13 ausgewählt. Es kann als das Kalibrierungsobjekt ein am Kraftfahrzeug 1 reales Kalibrierungsobjekt mit einer eckigen Grundfläche, insbesondere zur Erfassung mit der Kamera 6, vorgegeben sein. Das Kalibrierungsobjekt kann auch mehreckig ausgebildet sein. Die elektronische Recheneinrichtung 9 ist dazu ausgebildet als Kalibrierungspunkte 10, 11, 12, 13 jeweils in der Längsachse L1 des Kraftfahrzeugs 1 betrachtet hintereinander liegende, mit anderen Worten in Flucht liegende, Ecken als Kalibrierungspunkte 10, 11, 12, 13 zu bestimmen.
• 2 zeigt schematisch eine Ausführungsform des Verfahrens. Insbesondere wird mittels der Kamera 6 das Bild B als Fischaugenbild erfasst und das erfasste Fischaugenbild B mit dem Kalibrierungsobjekt wird zur Bestimmung des zumindest einen Korrekturwerts K im Schritt S1 perspektivisch adaptiert. Insbesondere werden zur Adaption intrinsische Parameterwerte IP als Eingang zur Bearbeitung im Schritt S1 benutzt. Aus dem Fischaugenbild B wird das korrigierte Bild B_k erzeugt.
• Im Schritt S2 werden die Kalibrierungspunkte 10, 11, 12, 13 beispielsweise durch Houghtransformation oder durch ein Histogramm mit orientierten Gradienten aus dem korrigieren Bild B_k bestimmt.
• Mittels der elektronischen Recheneinrichtung 9 werden die erste und die dritte Kalibrierungslinie K1, K3 als parallel zueinander definiert. Ebenfalls werden mit der elektronischen Recheneinrichtung 9 die zweite Kalibrierungslinie K2 und die vierte Kalibrierungslinie K4 als parallel zueinander definiert.
• Ein Bild B_v zeigt das korrigierte Bild B_k, wobei die Kalibrierungslinien K1, K2, K3, K4 derart verlängert sind, dass die Fluchtpunkte V_x und V_y bestimmt werden können. Insbesondere liegt der Fluchtpunkt V_y in einer Fahrzeugquerrichtung entlang einer Fahrzeugquerachse Q. Der Fluchtpunkt V_x liegt in Richtung der Längsachse L1 des Kraftfahrzeugs 1.
• Im Schritt S4 wird dann in Abhängigkeit der Fluchtpunkte V_x, V_y der zumindest eine Korrekturwert K, insbesondere die drei Korrekturwerte K, bestimmt. Diese Korrekturwerte K können dann wiederum ausgegeben werden und beispielsweise zur Verarbeitung für die Anzeigeeinrichtung 16 herangezogen werden.
• Insbesondere können die Fluchtpunkte V_x, V_y mithilfe der Formel: $$s{V}_x=K\left[r_x{r}_y{r}_z|t\right]X_{\infty }$$

  

  $$s{V}_y=K\left[r_x{r}_y{r}_z|t\right]Y_{\infty }$$

  

  bestimmt werden. Insbesondere kann dabei s einem unbekannten Skalierungsfaktor entsprechen. K entspricht dabei der intrinsischen Matrix der Kamera 6. Die Faktoren r_x, r_y und r_z sind entsprechende Spalten der Rotationsmatrix zwischen den Umgebungs-/ und Kraftfahrzeugkoordinaten zu den Kamerakoordinaten. Der Faktor t ist ein Translationsvektor von den Umgebungs-/Kraftfahrzeugkoordinaten zu den Kamerakoordinaten. Mittels der Annahme X_∞ = [1000]^T und Y_∞ = [0100]^T können dann die entsprechenden Gleichungen für die Fluchtpunkte V_x, V_y bestimmt werden.
• Insbesondere kann vorgesehen sein, dass für die Erzeugung der Spalten der Rotationsmatrix die folgenden drei Formeln genutzt werden: $$r_x=K^{-1}s{V}_x;$$

  

  $$r_y=K^{-1}s{V}_y;$$

  

  $$r_z=r_x{r}_y;$$

  
• Der Skalierungsfaktor s kann bei der Bestimmung durch den Einheitsvektor in den Richtungen r_x, r_y und r_z vernachlässigt werden.
• 3 zeigt in einer schematischen Ansicht das Verfahren zur Bestimmung der Höhe H der Kamera 6. Insbesondere ist vorgesehen, dass mittels der Anzeigeeinrichtung 16 des Kraftfahrzeugs 1 ein Anzeigebild der Umgebung 7 angezeigt wird, wobei das Anzeigebild in einer Vogelperspektive angezeigt wird. Zur Erzeugung des Anzeigebilds in der Vogelperspektive wird die Höhe H der Kamera 6 relativ zum Kraftfahrzeug 1 mittels der elektronischen Recheneinrichtung 9 bestimmt.
• Das Bild B, welches insbesondere als Fischaugenbild dargestellt ist, wird im Schritt S1, wie in der 2, entsprechend korrigiert. Im Schritt S5 erfolgt die Erzeugung des Anzeigebilds in der Vogelperspektive in Abhängigkeit des korrigierten Bilds B_k. Insbesondere können dazu entsprechende Vogelperspektivparameter VP für die Bestimmung der Vogelperspektive verwendet werden. Insbesondere wird zur Bestimmung der Höhe H der Kamera 6 das erfasste Kalibrierungsobjekt im Bild B bezüglich des Orientierungsfehlers der Kamera 6 korrigiert. Dies erfolgt insbesondere im Schritt S6. Insbesondere kann vorgesehen sein, dass diese Korrektur durch maschinelles Lernen der elektronischen Recheneinrichtung 9 durchgeführt wird. Insbesondere ist durch die Fehlausrichtung der Kamera 6 die Ladefläche 4 nicht rechtwinklig im Bild B ausgebildet. Diese Abweichungen können in einem Fehlervektor mit der Formel: $$error=transpose\left(\left[dx1dx2dy1dy2\right]\right);$$

  

  definiert werden. Mittels des Maschinenlernens können dann die entsprechenden Fehler minimalisiert werden und insbesondere können die Korrekturwerte K im Schritt S6 berücksichtigt werden. Ferner werden Referenzkalibrierungsobjektgrößen 4P mit bei der Bestimmung der Höhe H berücksichtigt. Insbesondere handelt es sich bei dem Referenzkalibrierungsobjekt 17 (4) um ein erwartetes Objekt, insbesondere eine erwartete Objektgröße. Im Schritt S7 wird dann insbesondere in Abhängigkeit des Referenzkalibrierungsobjekts 17 und der Referenzkalibrierungsparameter 4P die Höhe h relativ zum Kraftfahrzeug 1 bestimmt und ausgegeben.
• 4 zeigt schematisch die Bestimmung der Höhe H. Das Referenzkalibrierungsobjekt 17 wird mit dem aus 3 korrigierten Kalibrierungsobjekt 18 verglichen. Durch das Gesetz der gleichen Dreiecke ergibt sich die Abweichung der Kamera 6 in der Höhe H durch: $$dH=\left(\left(\frac{W}{w}\right)-1\right)H;or$$

  

  $$dh=\left(\left(\frac{L}{l}\right)-1\right)H$$

  
• Insbesondere entspricht dabei dH der Abweichung der Kamera 6 in der Höhe H. L entspricht dabei der Länge L des Referenzobjekts 17. W entspricht der Breite W des Referenzkalibrierungsobjekts 17. I entspricht der Länge I des korrigierten Kalibrierungsobjekts 18 und w entspricht der Breite w des korrigierten Kalibrierungsobjekts 18. In Abhängigkeit dieser Daten kann dann jeweils die Höhe H bestimmt werden. Insbesondere kann zur Bestimmung der relativen Höhe H der Kamera 6 ein abgespeichertes Referenzkalibrierungsobjekt 17 mit dem korrigierten Kalibrierungsobjekt 18 bezüglich der jeweiligen Größe verglichen werden und in Abhängigkeit des Vergleichs die relative Höhe bestimmt werden.
• Ferner kann vorgesehen sein, dass die bestimmte relative Höhe H der Kamera 6 bei der Anzeige des Anzeigebilds als Vogelperspektive mit berücksichtigt wird.
• 5 zeigt ein schematisches Blockschaltbild einer Ausführungsform des Verfahrens. Gemäß dieser 5 erfolgt die Bildung des Korrekturwerts K mittels einer homographischen Matrixzerlegung. Dem Schritt S1 wird das Bild B und die intrinsischen Parameter der Kamera 6 zugeführt. Es erfolgt eine Kopfobenanzeige 19 aus dem Schritt S1. Es kann eine Region-von-Interesse-Extraktion 20 durchgeführt werden. Daraus wiederum kann insbesondere der Schritt S2 ausgeführt werden. Es kann ein Rotationslöser 21 beziehungsweise eine Homographieschätzung im Anschluss an den Schritt S2 durchgeführt werden. Hierzu können beispielsweise mechanische Daten 22 der Ladefläche genutzt werden. Es erfolgt eine Matrizenzerlegung 23 mit einem Z-Positionslöser 24. Einem Kalibrator 26 zum Erzeugen einer extrinsischen Korrektur werden geschätzte extrinsische Parameter 25, eine Rotationsabweichung von dem Rotationslöser 21 und eine Positionsabweichung von dem Z-Positionslöser zugeführt.
• Im Schritt S1 kann eine intrinsische Matrix erzeugt werden: $$\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_{xyz}& T_{xyz}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]$$

  
• 6 zeigt schematisch in einer Perspektivansicht die Erzeugung des Korrekturwerts K mittels der homographischen Matrixzerlegung 23. Insbesondere kann auch hier als Kalibrierungsobjekt 18 die Ladefläche 4 des Kraftfahrzeugs 1 genutzt werden. Mittels dieser Methode ist es ermöglicht, dass die Kamera 6 nicht mehr direkt entlang einer Längsachse L1 des Kraftfahrzeugs 1 angeordnet werden muss, sondern durch das Verfahren können die entsprechenden Anordnungspositionen der Kamera 6 entsprechend berücksichtigt werden. Hierzu wird insbesondere angenommen, dass die erste Kalibrierungslinie K1 und die dritte Kalibrierungslinie K3 sowie die zweite Kalibrierungslinie K2 und die vierte Kalibrierungslinie K4 in der Realität parallel zueinander sind, wobei ein Winkel θ zwischen der ersten Kalibrierungslinie K1 und der vierten Kalibrierungslinie K4 innerhalb des Bilds B ebenfalls als bekannt angenommen wird. Insbesondere werden innerhalb des Bilds B Liniensegmente der Kalibrierungslinien K1, K2, K3, K4 erfasst. Von einem jeweiligen Liniensegment (p₁, p₂) innerhalb des Bilds B kann ein jeweiliger Strahl (r₁, r₂) definiert werden. Mittels dieser Strahlen kann eine Ebene 27, 28, 29, 30 erzeugt werden, wobei dann deren Normale durch $$n=r1\Lambda r2$$

  

  beschrieben ist. Durch die vier Kalibrierungslinien K1, K2, K3, K4 können somit vier Normalenvektoren n₁, n₂, n₃ und n₄ erzeugt werden. Der erste Normalenvektor n₁ wird der ersten Kalibrierungslinie K1 zugeordnet, der zweite Normalenvektor n₂ wird der zweiten Kalibrierungslinie K2 zugeordnet, der dritte Normalenvektor n₃ wird der dritten Kalibrierungslinie K3 zugeordnet und der vierte Normalenvektor n₄ wird der vierten Kalibrierungslinie K4 zugeordnet.
• In der Realität, also nicht im Bild B, liegen die erste Kalibrierungslinie K1 und die dritte Kalibrierungslinie K3 in einer entsprechenden Ebene, welche entlang einer Achse b_y ausgerichtet ist. Dies bedeutet, dass die Achse b_y orthogonal zur ersten Kalibrierungslinie K1 und zur dritten Kalibrierungslinie K3 ausgerichtet sein muss. Dies kann durch das Vektorprodukt $$u_y=n_1\Lambda n_3$$

  

  ausgedrückt werden. Da das Vektorprodukt ein asymmetrischer Operator ist, ist die Richtung v_y von der Ordnung von n₁ und n₃ abhängig. Da insbesondere die Ladefläche 4 in einem zu der negativen z Koordinate entsprechendem Halbraum liegen muss, kann angenommen werden, dass das Punktprodukt c_x.u_y negativ ist, wodurch $$b_y=-sign\left(u_y.c_x\right)\frac{u_y}{\Vert u_y\Vert }$$

  

  bestimmt werden kann. Es kann dann nach zwei Einheitsvektoren x₁ und x₂ gesucht werden, welche lotrecht zu n₂ und n₄ sind. Ferner kann aus Symmetriegründen angenommen werden, dass x₂ - x₁ lotrecht zu n₁ ist. Der Winkel θ ist der Winkel zwischen x₁ und x₂, wobei $\phi =\frac{\pi -\theta }{2}$

  

  ist.
• Es ergeben sich dann weiter die folgenden Formeln: $$n_1^T{x}_1=0$$

  

  $$n_2^T{x}_2=0$$

  

  $$n_3^T\left(x_2-x_1\right)=0$$

  
• Sowie die Formeln: $$n_2^T{x}_1=\text{cos}\left(\theta \right)$$

  

  $$n_1^T{x}_1=1$$

  

  $$n_2^T{x}_2=1$$

  
• Des Weiteren ist bekannt: $$\frac{x_2-x_1}{\Vert x_2-x_1\Vert }=u_y$$

  

  $$\frac{x_1-x_2}{\sqrt{2-2\text{cos}\left(\theta \right)}}=u_y$$

  

  $$x_2=x_1+\sqrt{2-2\text{cos}\left(\theta \right)}{u}_y$$

  

  $$u_y^T{x}_1=\text{cos}\left(\phi \right)$$

  
• Mit $\phi =\frac{\pi -\theta }{2}$

  

  ergibt sich: $$\sqrt{2-2\text{ cos}\left(\theta \right)}=2\text{ cos}\left(\phi \right)$$

  
• Es folgen daraus die Formeln: $$n_1^T{x}_1=1$$

  

  $$n_2^T{x}_1=-2\text{ cos}\left(\phi \right)n_2^T{u}_y=c{n}_2^T{u}_y$$

  
• Unter der Voraussetzung, dass $x_1^T{x}_1=\mathrm{1,}$

  

  ergibt sich: $$x_1=\left[\frac{A+B{x}_{1z}}{E}\frac{C+D{x}_{1z}}{E}{x}_{1z}\right]$$

  
• Mit: $$\text{A}=\text{c}*{\text{n}}_{1\text{y}}*{\text{n}}_{\text{2x}}{\text{*u}}_{\text{yx}}+\text{c}*{\text{n}}_{1\text{y}}*{\text{n}}_{2\text{y}}\ast {\text{u}}_{\text{yy}}+\text{c}*{\text{n}}_{\text{1y}}*{\text{n}}_{\text{2z}}*{\text{u}}_{\text{yz}}$$

  

  $$\text{B}={\text{n}}_{1\text{y}}*{\text{n}}_{2\text{z}}-{\text{n}}_{1\text{z}}*{\text{n}}_{2\text{y}}$$

  

  $$\text{C}=-\text{c}*{\text{n}}_{\text{1x}}*{\text{n}}_{2\text{x}}*{\text{u}}_{\text{yx}}-\text{c}*{\text{n}}_{1\text{x}}*{\text{n}}_{2\text{y}}*{\text{u}}_{\text{yy}}-\text{c}*{\text{n}}_{\text{1x}}*{\text{n}}_{2\text{z}}*{\text{u}}_{\text{yz}}$$

  

  $$\text{D}={\text{n}}_{\text{1x}}*{\text{n}}_{2\text{z}}+{\text{n}}_{\text{1z}}*{\text{n}}_{\text{2x}}$$

  

  $$\text{E}={\text{n}}_{1\text{x}}*{\text{n}}_{\text{2y}}-{\text{n}}_{\text{1y}}*{\text{n}}_{\text{2x}}$$

  
• Unter den Bedingungen $x_1^T{x}_1=x_{1x}^2+x_{1y}^2+x_{1z}^2=1$

  

  
  kommt man zu der Gleichung zweiten Grades mit der unbekannten x_1z.
• Hier gibt es zwei Lösungen, eine mit einem positiven x_1z und mit einem negativen x_1z. Insbesondere wird hierzu das negative x_1z gewählt.
• Dadurch kann dann bestimmt werden: $$x_1,u_z=s_1\Lambda u_y$$

  

  und $$b_z=sign\left(u_z.c_y\right)\frac{u_z}{\Vert u_z\Vert }$$

  

  $$b_x=b_y\Lambda b_z$$

  
• In den Kamerakoordinaten ausgedrückt als Rotationsmatrix R: $$R=\left[b_x{b}_y{b}_z\right]$$

  
• Wobei mittels transformieren der Rotationsmatrix die Kameramatrix mit c_x, c_y, c_z erzeugbar ist. Insbesondere kann hierzu die Rückwärtstransformierung R^-1=R^T genutzt werden. Die Eulerwinkel können aus der Rotationsmatrix entsprechend extrahiert werden.
• 7 zeigt in einer schematischen Perspektivansicht ein Bild B. Es kann zum Erfassen des Kalibrierungsobjekts 18 im erfassten Bild B eine Region von Interesse ROI vorgegeben, in welcher sich das Kalibrierungsobjekt 18 befindet. Insbesondere ist die Region von Interesse ROI ein Teilausschnitt des Bilds B. Dadurch ist es ermöglicht, dass bei der Auswertung des Bilds B lediglich die Region von Interesse ROI ausgewertet wird, wodurch bei der Auswertung Rechenkapazität der elektronischen Recheneinrichtung 9 eingespart werden kann, da nicht das gesamte erfasste Bild B zum Erfassen des Kalibrierungsobjekts 18 ausgewertet werden muss. Beispielsweise kann die Region von Interesse ROI derart vorgegeben werden, dass zumindest die Ladefläche 4 des Kraftfahrzeugs 1 und insbesondere die Kalibrierungspunkte 10, 11, 12, 13 mit erfasst werden. Ferner kann ergänzend vorgesehen sein, dass ein Mittelteil des Kalibrierungsobjekts 18 nicht Teil der Region von Interesse ROI ist, wobei weiterhin beispielsweise die Kalibrierungspunkte 10, 11, 12, 13 vorhanden sind, aber eine Fläche, welche im Wesentlichen zwischen den Kalibrierungspunkten 10, 11, 12, 13 gelegen ist, nicht Teil der Region von Interesse ROI ist. Dadurch kann noch mehr Rechenkapazität eingespart werden, da ein geringerer Teil des Bilds B zum Erfassen des Kalibrierungsobjekts 18 ausgewertet werden muss.
• Ebenfalls kann vorgesehen sein, dass die Region von Interesse ROI durch abgespeicherte Parameter des Kalibrierungsobjekts 18 vorgegeben wird und/oder die Region von Interesse ROI mittels eines Toleranzbereichs T für das Kalibrierungsobjekt 18 erzeugt wird. Insbesondere können als abgespeicherte Parameter beispielsweise die intrinsischen Parameter der Kamera 6 genutzt werden. Diese können beispielsweise durch ein rechnergestütztes Konstruieren, ein sogenanntes CAD (Computer Aided Design), vorgegeben werden und dann als abgespeicherte Parameter entsprechend abgerufen werden. Insbesondere kann vorgesehen sein, dass ein entsprechender Toleranzbereich T erzeugt und vorgegeben wird, so dass auch bei der Fehlausrichtung der Kamera 6 dennoch zuverlässig das Kalibrierungsobjekt 18 erfasst werden kann. Der Toleranzbereich T kann insbesondere abhängig von dem abgespeicherten Parameter und/oder von dem CAD vorgegeben werden. Dadurch können eine rechenkapazitätseinsparende Erfassung und Auswertung des Kalibrierungsobjekts 18 durchgeführt werden.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 7949486 B2 [0003]

Claims (12)

1. Verfahren zum Bestimmen zumindest eines Korrekturwerts (K) zur Korrektur eines Orientierungsfehlers einer Kamera (6) für ein Kraftfahrzeug (1) mittels einer elektronischen Recheneinrichtung (9) eines Fahrerassistenzsystems (8), mit den Schritten: - Erfassen eines Bilds (B) einer Umgebung (7) des Kraftfahrzeugs (1) mit einem Kalibrierungsobjekt (18) des Kraftfahrzeugs (1) mittels der Kamera (6); - Erkennen des Kalibrierungsobjekt (18) im erfassten Bild (B) mittels der elektronischen Recheneinrichtung (9); gekennzeichnet durch den Schritt: - Bestimmen des Korrekturwerts (K) durch eine homographische Matrixzerlegung (23) des Kalibrierungsobjekts (18) im Bild (B).
2. Verfahren nach Anspruch 1, gekennzeichnet durch: - Bestimmen zumindest eines ersten Kalibrierungspunktes (10), eines zweiten Kalibrierungspunktes (11), eines dritten Kalibrierungspunktes (12) und eines vierten Kalibrierungspunktes (13) des Kalibrierungsobjekts (18) in Abhängigkeit einer äußeren Form des Kalibrierungsobjekts (18); und - Bestimmen einer ersten Kalibrierungslinie (K1), welche durch den ersten und den zweiten Kalibrierungspunkt (10, 11) verläuft, einer zweiten Kalibrierungslinie (K2), welche durch den zweiten und den dritten Kalibrierungspunkt (11, 12) verläuft, einer dritten Kalibrierungslinie (K3), welche durch den dritten und den vierten Kalibrierungspunkt (12, 13) verläuft, und einer vierten Kalibrierungslinie (K4), welche durch den vierten und den ersten Kalibrierungspunkt (10, 13) verläuft.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die erste und die dritte Kalibrierungslinie (K1, K3) mittels der elektronischen Recheneinrichtung (9) als parallel zueinander definiert werden und die zweite und die vierte Kalibrierungslinie (K2, K4) mittels der elektronischen Recheneinrichtung (9) als parallel zueinander definiert werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kraftfahrzeug (1) als Pritschenfahrzeug bereitgestellt wird und der zumindest eine Korrekturwert (K) durch Erfassung einer Ladefläche (4) des Pritschenfahrzeugs als Kalibrierungsobjekt (18) bestimmt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest zwei, insbesondere drei, Korrekturwerte (K) bestimmt werden, wobei ein Korrekturwert (K) für einen Nickwinkel der Kamera (6) relativ zum Kraftfahrzeug (1) bestimmt wird und/oder ein Korrekturwert (K) für einen Rollwinkel der Kamera (6) relativ zum Kraftfahrzeug (1) und/oder ein Korrekturwert (K) für einen Gierwinkel der Kamera (6) relativ zum Kraftfahrzeug (1) bestimmt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der Kamera (6) das Bild (B) als Fischaugenbild erfasst wird und das erfasste Fischaugenbild mit dem aufgenommen Kalibrierungsobjekt (18) zur Bestimmung des zumindest einen Korrekturwerts (K) perspektivisch adaptiert wird. (S1)
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels einer Anzeigeeinrichtung (16) des Kraftfahrzeugs (1) ein in Abhängigkeit des zumindest einen Korrekturwerts (K) korrigiertes Anzeigebild der Umgebung (7) angezeigt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das am Kraftfahrzeug (1) reale Kalibrierungsobjekt (18) mit einer im Wesentlichen rechteckförmigen Grundfläche ausgebildet ist und die Kalibrierungspunkte (10, 11, 12, 13) als jeweiliges Eck der rechteckförmigen Grundfläche ausgewählt werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Erfassen des Kalibrierungsobjekts (18) im erfassten Bild (B) eine Region von Interesse (ROI) vorgegeben wird, in welcher sich das Kalibrierungsobjekt (18) im Bild (B) befindet.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Region von Interesse (ROI) durch abgespeicherte Parameter des Kalibrierungsobjekts (18) vorgegeben wird und/oder die Region von Interesse (ROI) mittels eines Toleranzbereichs (T) für das Kalibrierungsobjekts (18) erzeugt wird.
11. Elektronische Recheneinrichtung (9), welche zum Durchführen des Verfahrens nach einem der Ansprüche 1 bis 10 ausgebildet ist.
12. Fahrerassistenzsystem (8) mit einer Kamera (6) und mit einer elektronischen Recheneinrichtung (9) nach Anspruch 11.

Images