-
Die Erfindung betrifft ein Verfahren zum Bereitstellen eines Bildsignals eines Umgebungsbereichs eines Kraftfahrzeugs. Außerdem betrifft die Erfindung ein Kraftfahrzeug.
-
Für ein Fahrerassistenzsystem eines Kraftfahrzeugs ist häufig eine Erfassung eines Umgebungsbereichs des Kraftfahrzeugs nötig. Beispiele für Fahrerassistenzsysteme sind autonome Steuersysteme zum Steuern einer autonomen Fahrt des Kraftfahrzeugs, toter-Winkel-Assistenten, Abstandsregeltempomat oder Spurhalteassistenten. Die
DE 10 2013 002 671 A1 stellt beispielweise die Erfassung des Umgebungsbereichs durch Ermitteln einer Entfernungsinformation mittels Lichtreflexion vor. Beispielsweise kann der Umgebungsbereich des Kraftfahrzeugs mittels einer Kamera durch ein Bildsignal erfasst werden.
-
Das Bildsignal kann alternativ oder zusätzlich für ein Fahrerassistenzsystem zum Substituieren eines Rückspiegels eingesetzt werden. In diesem Fall ist die Kamera vorzugsweise außenseitig an dem Kraftfahrzeug im Bereich einer A-Säule des Kraftfahrzeugs angeordnet. Das Bildsignal kann einem Fahrer des Kraftfahrzeugs dann auf einem Bildschirm im Innenraum des Kraftfahrzeugs angezeigt werden.
-
Für die Verwendung in dem Fahrerassistenzsystem ist häufig eine Verarbeitung des Bildsignals zu einem verarbeiteten Bildsignal nötig. Beispielsweise wird beim Verarbeiten eine Helligkeit, ein Erfassungsbereich oder eine Geometrie des Bildsignals verarbeitet. Die Verarbeitung wird insbesondere vor dem Darstellen des Bildsignals auf dem Bildschirm und/oder vor dem Bereitstellen des Bildsignals für das Fahrerassistenzsystem durchgeführt.
-
Beispielsweise offenbart die
EP 2 206 075 B1 einen Detektor zum Erkennen einer Fahrspurbegrenzung aus einem digitalisierten optischen Abbild eines Bereichs vor einem Fahrzeug. Der Detektor weist eine Histogramm-Analyseeinheit auf, um extrahierte Kanten zu Paaren zu gruppieren und um eine Häufigkeitsverteilung der Abstände zwischen zwei zu einem Park gruppierten Kanten als Histogramm zu ermitteln.
-
Die
DE 600 32 973 T2 offenbart das Vergleichen zweier Stereobilder in Bezug auf ihre Helligkeitswerte. Hierbei werden mittels einer Stereobilderzeugungseinrichtung ein erstes Bild und ein zweites Bild basierend auf durch eine Kamera aufgenommenen Bildern erzeugt. In dem ersten Bild und dem zweiten Bild werden in einem jeweiligen Überwachungsbereich Helligkeitspegel berechnet. Wenn eine Differenz zwischen den Helligkeitspegeln einen vorgegebenen Wert überschreitet, so wird von einer Störung ausgegangen.
-
Die
US 2016 / 0 205 396 A1 beschreibt ein Verfahren zur Fehlererkennung bei einem Bildverarbeitungssystem. Ein solches Verfahren kann die folgenden Schritte aufweisen: Bilden eines Referenzbildes durch Hinzufügen eines Bildinhalts in ein erstes Bild, Verarbeiten des Referenzbildes mittels des Bildverarbeitungssystems und Vergleichen des Bildinhalts in dem ersten Bild und dem verarbeiteten Bild.
-
Die
DE 102 18 228 A1 hat die Erkennung einer Dejustage einer Videokamera in einem Kraftfahrzeug zum Inhalt, wobei aus den Kameradaten erkannte Umgebungsdaten mit weiteren Sensordaten des Fahrzeugs, wie Gierrate und/oder Querbeschleunigung und/oder Lenkradwinkel zusammen mit einer Fahrgeschwindigkeit auf Plausibilität geprüft werden.
-
Die
DE 10 2015 212 349 A1 beschreibt eine Fehlererfassungsvorrichtung, die einen Fehler einer Abbildungseinrichtung erfasst, aufweisend ein Erlangungsmittel zum Erlangen mehrerer Bilder, die durch mehrere Abbildungseinrichtungen aufgenommen werden, deren Belichtungen individuell gesteuert werden können, wobei die mehreren Bilder eine überlappte Region beinhalten, die eine Region repräsentiert, wo sich Bilder überlappen; ein Regionextrahierungsmittel zum Extrahieren mehrerer überlappter Regionen aus den mehreren durch das Erlangungsmittel erlangten Bildern.
-
Der Stand der Technik besitzt den Nachteil, dass eine Erkennung von Fehlern bei der Verarbeitung des Bildsignals nicht zuverlässig erkannt werden kann. Beispiele für die Erkennung von Verarbeitungsfehlern sind die Überprüfung von Latenzen oder Checksummen, wobei auf diese Weise nur die Datenintegrität überprüft werden kann.
-
Die vorliegende Erfindung hat somit zur Aufgabe, eine verbesserte Erkennung von Fehlern bei einer Verarbeitung eines Bildsignals zu ermöglichen.
-
Diese Aufgabe wird erfindungsgemäß gelöst durch die Gegenstände unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der Unteransprüche.
-
Die Erfindung geht aus von einem Verfahren zum Bereitstellen eines Bildsignals eines Umgebungsbereichs eines Kraftfahrzeugs mit folgenden Schritten:
- - Erfassen eines Rohbildsignals des Umgebungsbereichs mittels einer Kamera,
- - Verarbeiten des Rohbildsignals zu einem verarbeiteten Bildsignal, und
- - Bereitstellen des verarbeiteten Bildsignals.
-
Beispielsweise wird das Rohbildsignal mittels einer Kamera erfasst. Mit anderen Worten erzeugt die Kamera eine Rohbildsignal, welches den Umgebungsbereich betrifft oder abbildet. Das Rohbildsignal kann ein einzelnes Bild oder mehrere Einzelbilder, insbesondere ein Bewegtbild oder Video, umfassen. Das Video umfasst insbesondere eine Vielzahl an Einzelbildern, auch Frames genannt. Insbesondere handelt es sich bei Rohbildsignal um ein digitales Bildsignal.
-
In einem weiteren Schritt wird das Rohbildsignal zu dem verarbeiteten Bildsignal verarbeitet. Dabei kann die Art der Verarbeitung im Einzelfall an den Einsatzzweck angepasst sein. Beispielsweise ist die Verarbeitung an das jeweilige Fahrerassistenzsystem, für welches das verarbeitete Bildsignal bereitgestellt wird, angepasst. Vorzugsweise erfolgt das Verarbeiten des Rohbildsignals digitalen mittels einer Recheneinheit.
-
Beispielsweise wird das verarbeitete Bildsignal für das Fahrerassistenzsystem bereitgestellt. Das Bereitstellen des verarbeiteten Bildsignals kann mittels einer Schnittstelle erfolgen. Mittels der Schnittstelle kann das verarbeitete Bildsignal an das Fahrerassistenzsystem übertragen werden. Handelt es sich bei dem Fahrerassistenzsystem um ein System zum Substituieren eines Rückspiegels, so kann das verarbeitete Bildsignal durch Darstellen auf einem Bildschirm bereitgestellt werden. Mit anderen Worten wird das verarbeitete Bildsignal einem Fahrer des Kraftfahrzeugs auf dem Bildschirm angezeigt.
-
Um nun eine Erkennung von Fehlern bei der Verarbeitung des Bildsignals zu ermöglichen, ist erfindungsgemäß vorgesehen, dass
- - eine Kontrollgröße aus dem verarbeiteten Bildsignal extrahiert wird, wobei die Kontrollgröße eine Eigenschaft des verarbeiteten Bildsignals charakterisiert, und
- - die Kontrollgröße eine Helligkeit in dem verarbeiteten Bildsignal betrifft und zum Verifizieren des Verarbeitens mit einer Referenzgröße verglichen wird, wobei die Referenzgröße aus dem Rohbildsignal extrahiert wird. Hier nicht beansprucht wird, wenn die Referenzgröße aus einem Sensor des Kraftfahrzeugs mit von der Kamera unterschiedlichem Erfassungsprinzip empfangen wird.
-
Durch Vergleichen der Kontrollgröße mit Referenzgröße kann erkannt werden, ob bei dem Verarbeiten Fehler aufgetreten sind. Beispielsweise kann die Recheneinheit bei der Verarbeitung des Rohbildsignals Darstellungsfehler in dem verarbeiteten Bildsignal erzeugen. Beispielsweise wird auf einen Fehler entschieden, wenn sich die Kontrollgröße und die Referenzgröße um mir ein vorbestimmtes Maß unterscheiden. Insbesondere kann durch Vergleichen der Kontrollgröße mit der Referenzgröße eine Plausibilität der Kontrollgröße ermittelt werden. In diesem Fall kann auf einen Fehler bei der Verarbeitung des Bildsignals entschieden werden, wenn die Kontrollgröße nicht plausibel ist. Auf diese Weise ist eine verbesserte Fehlererkennung ermöglicht, welche über ein rein datentechnische Fehlererkennung mittels Latenzen oder Checksummen hinausgeht.
-
Der Sensor des Kraftfahrzeugs kann als weitere Kamera ausgebildet sein. In diesem Fall wird die Referenzgröße aus einem weiteren Bildsignal, welches durch die weitere Kamera erfasst wird, extrahiert. Mit anderen Worten kann das verarbeitete Bildsignal mit dem weiteren Bildsignal verglichen werden, um Verarbeitungsfehler zu erkennen.
-
Beispielsweise betrifft die Eigenschaft, welche durch die Kontrollgröße charakterisiert wird, eine Helligkeit oder einen Vektor in dem verarbeiteten Bildsignal. Die durch die Kontrollgröße charakterisierte Helligkeit kann in diesem Fall mit einer durch die Referenzgröße charakterisierten Helligkeit verglichen werden. Alternativ kann ein durch die Kontrollgröße charakterisierte Vektor in dem verarbeiteten Bildsignal mit einem durch die Referenzgröße charakterisierten Vektor verglichen werden. Die Helligkeit kann beispielsweise eine durchschnittliche Helligkeit, eine maximale Helligkeit oder eine Helligkeit in einem Teilbereich des verarbeiteten Bildsignals sein. Vorzugsweise wird die Helligkeit in Form eines Histogramms extrahiert. In dem Histogramm kann die relative Häufigkeit von unterschiedlichen Helligkeitswerten ermittelt werden. Der Vektor kann beispielsweise ein Verbindungsvektor zwischen zwei Objekten, welche durch das verarbeitete Bildsignal dargestellt werden, sein. Alternativ kann der Vektor ein Bewegungsvektor sein, der aus zwei unterschiedlichen Einzelbildern des verarbeiteten Bildsignals extrahiert wird. Beispielsweise gibt der Bewegungsvektor an, um wie viel sich ein Objekt in einer Zeitspanne zwischen den beiden Einzelbildern bewegt hat.
-
Es ist vorgesehen, dass die Referenzgröße aus dem Rohbildsignal extrahiert wird und die Referenzgröße dieselbe Eigenschaft des Bildsignals repräsentiert wie die Kontrollgröße. Mit anderen Worten wird durch die Referenzgröße eine bestimmte Eigenschaft des Rohbildsignals repräsentiert und durch die Kontrollgröße dieselbe Eigenschaft des verarbeiteten Bildsignals repräsentiert. Mit anderen Worten repräsentieren die Referenzgröße und die Kontrollgröße dieselbe Eigenschaft des jeweiligen Bildsignals vor beziehungsweise nach dem Verarbeiten des Bildsignals. Sind das Rohbildsignal und das verarbeitete Bildsignal aus mehreren Einzelbildern zusammengesetzt, werden die Kontrollgröße und die Referenzgröße vorzugsweise aus korrespondierenden Einzelbildern extrahiert. Ein Einzelbild des verarbeiteten Bildsignals kann dann als korrespondierend mit einem Einzelbild des Rohbildsignals gelten, wenn das Einzelbild des verarbeiteten Bildsignals beim Verarbeiten aus dem Einzelbild des Rohbildsignals erzeugt wird. Beispielsweise wird aus dem Rohbildsignal oder einem Einzelbild des Rohbildsignals ein Helligkeit und/oder ein Vektor als die Referenzgröße extrahiert. Zusätzlich kann aus dem verarbeiteten Bildsignal oder einem korrespondierenden Einzelbild des verarbeiteten Bildsignals die Helligkeit und/oder der Vektor als die Kontrollgröße extrahiert werden. Beispielsweise wird sowohl aus dem Rohbildsignal als auch aus dem verarbeiteten Bildsignal ein jeweiliges Histogramm über die Helligkeit extrahiert. In diesem Fall können die jeweiligen Histogramme verglichen werden. Die Referenzgröße kann auf gleichartige Art und Weise aus dem Rohbildsignal extrahiert werden, wie die Kontrollgröße aus dem verarbeiteten Bildsignal.
-
Insbesondere ist vorgesehen, dass
- - die Kontrollgröße und die Referenzgröße die Relativposition des Referenzobjektes in dem Umgebungsbereich bezogen auf das Kraftfahrzeug betreffen,
- - aus der Kontrollgröße und der Referenzgröße eine Relativgeschwindigkeit des Referenzobjektes bezogen auf das Kraftfahrzeug extrahiert wird, und
- - die Relativgeschwindigkeit mit einem Geschwindigkeitssignal, welches als weitere Referenzgröße ermittelt, verglichen wird. Mit anderen Worten wird aus dem Bildsignal, insbesondere aus zwei Einzelbildern des Bildsignals, die Relativgeschwindigkeit des Referenzobjekts ermittelt beziehungsweise extrahiert und mit dem Geschwindigkeitssignal verglichen. Das Geschwindigkeitssignal wird insbesondere durch einen Geschwindigkeitssensor, beispielsweise einen GPS-Empfänger oder einen Tachometer, ermittelt. Insbesondere wird als Referenzobjekt ein stationäres Objekt gewählt. Weicht in diesem Fall die Relativgeschwindigkeit des Referenzobjektes mehr als ein vorbestimmtes Maß von dem Geschwindigkeitssignal ab, so kann ein Verarbeitungsfehler erkannt werden. Bei dem Geschwindigkeitssensor handelt es sich um ein weiteres Beispiel für einen Sensor mit von der Kamera unterschiedlichem Erfassungsprinzip.
-
Eine Weiterbildung sieht vor, dass die Kontrollgröße und die Referenzgröße die Anwesenheit eines Fremdobjekts in dem Umgebungsbereich betreffen. Beispielsweise wird in dem verarbeiteten Bildsignal das Fremdobjekts erkannt und durch die Kontrollgröße repräsentiert. Die Referenzgröße kann eine Position des Fremdobjekts angeben. Beispielsweise kann das verarbeitete Bildsignal als fehlerhaft erkannt werden, wenn die Anwesenheit des Fremdobjekts entweder durch die Kontrollgröße oder durch die Referenzgröße angegeben wird. Alternativ betreffen die Referenzgröße und die Kontrollgröße eine Relativposition des Fremdobjekts bezogen auf das Kraftfahrzeug. In diesem Fall kann das verarbeitete Bildsignal fehlerhaft erkannt werden, wenn die Relativpositionen für das Fremdobjekts aus der Referenzgröße und der Kontrollgröße mehr als ein vorbestimmtes Maß voneinander abweichen.
-
Alternativ gibt die Kontrollgröße und die Referenzgröße die Anwesenheit des Fremdobjekts in dem Umgebungsbereich an, wobei die Referenzgröße aus dem weiteren Bildsignal der weiteren Kamera extrahiert wird. In diesem Fall können das verarbeitete Bildsignal und das weitere Bildsignal in Bezug auf die Anwesenheit des Fremdobjekts verglichen werden. Dabei ist es nicht notwendig, dass die Kamera und die weitere Kamera das Fremdobjekts zeitgleich erfassen. Beispielsweise erfasst die Kamera einen rückwärtigen Bereich des Kraftfahrzeugs und die weitere Kamera einen seitlichen Bereich des Kraftfahrzeugs. Beispielsweise müsste das Fremdobjekts bei einer Fahrt des Kraftfahrzeugs nacheinander in dem verarbeiteten Bildsignal und dem weiteren Bildsignal erfasst werden. Wird das Fremdobjekts nicht wie erwartet in dem verarbeiteten Bildsignal erkannt, so kann ein fehlerhaftes verarbeitetes Bildsignal erkannt werden.
-
Eine Weiterbildung sieht vor, dass beim Bereitstellen des verarbeiteten Bildsignals eine Fehlermeldung ausgegeben wird, wenn beim Vergleichen ermittelt wird, dass sich die Kontrollgröße und die Referenzgröße sich um mehr als ein vorbestimmtes Maß unterscheiden. Insbesondere wird dann eine Fehlermeldung ausgegeben, wenn eine fehlerhafte Verarbeitung oder ein fehlerhaftes verarbeitetes Bildsignal erkannt wird. Beispielsweise wird die Fehlermeldung auf dem Bildschirm oder über die Schnittstelle an das Fahrerassistenzsystem ausgegeben.
-
Ein zweiter Aspekt der Erfindung betrifft ein Kraftfahrzeug mit,
- - einer Kamera zum Erfassen eines Rohbildsignals eines Umgebungsbereichs des Kraftfahrzeugs,
- - einer Recheneinheit zum Verarbeiten des Rohbildsignals zu einem verarbeiteten Bildsignal, und
- - einer Ausgabeeinheit zum Bereitstellen des verarbeiteten Bildsignals. Die Ausgabeeinheit kann beispielsweise als Bildschirm zum Anzeigen des verarbeiteten Bildsignals für einen Nutzer oder als Schnittstelle zum Bereitstellen des Bildsignals für ein Fahrerassistenzsystem ausgebildet sein, wobei
- - die Recheneinheit dazu eingerichtet ist, eine Kontrollgröße aus dem verarbeiteten Bildsignal zu extrahieren.
-
Erfindungsgemäß ist vorgesehen, dass
- - die Kontrollgröße eine Helligkeit des verarbeiteten Bildsignals charakterisiert, die Recheneinheit dazu eingerichtet ist, eine Referenzgröße aus dem Rohbildsignal zu extrahieren, und
- - die Recheneinheit dazu eingerichtet ist, die Kontrollgröße zum Verifizieren des Verarbeitens mit der Referenzgröße zu vergleichen. Insbesondere ist das Kraftfahrzeug dazu eingerichtet, ein Verfahren nach einem der oben beschriebenen Ausführungsbeispiele auszuführen. Bei dem Kraftfahrzeug handelt es sich insbesondere um einen Kraftwagen, vorzugsweise einen Personenkraftwagen.
-
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs hier nicht noch einmal beschrieben.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Draufsicht auf ein Kraftfahrzeug; und
- 2 einen schematischen Überblick über ein erfindungsgemäßes Verfahren.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 1 schematischen Draufsicht. Das Kraftfahrzeug umfasst eine Kamera 2 zum Erfassen eines Umgebungsbereichs U. Vorliegend ist die Kamera 2 dazu ausgebildet einen rückwärtigen Bereich des Kraftfahrzeugs 1 als den Umgebungsbereich U zu erfassen. Die Kamera 2 ist im vorliegenden Ausführungsbeispiel Teil eines Fahrerassistenzsystems zum Substituieren eines Rückspiegels. Vorliegend ist Kamera 2 beispielhaft im Bereich A-Säule des Kraftfahrzeugs 1 angeordnet. Insbesondere ist die Kamera 2 in einer Position befestigt, wo üblicherweise der Rückspiel des Kraftfahrzeugs 1 angeordnet ist. Das vorliegende Fahrerassistenzsystem zum Substituieren des Rückspiegels ist dazu eingerichtet, den rückwärtigen Umgebungsbereich U zu erfassen und auf einem Bildschirm 7 bereitzustellen.
-
Das Kraftfahrzeug umfasst außerdem ein Steuergerät 5 zum Bereitstellen eines weiteren Fahrerassistenzsystems. Das Steuergerät 5 beziehungsweise das weitere Fahrerassistenzsystem ist beispielsweise zum Steuern einer autonomen Fahrt des Kraftfahrzeugs 1, als Spurhalteassistent oder als Toter-Winkel-Assistent ausgebildet. Dem Steuergerät 5 wird ein Bildsignal aus der Kamera 2 zum Bereitstellen des weiteren Fahrerassistenzsystems bereitgestellt.
-
Die Kamera 2 ist dazu ausgebildet, ein Rohbildsignal 20 des Umgebungsbereichs U zu erfassen. Bei dem Rohbildsignal 20 handelt es sich insbesondere um Videosignal des Umgebungsbereichs U. Das wichtige Signal beziehungsweise das Rohbildsignal 20 umfasst eine Abfolge einer Vielzahl an Einzelbildern 21, 22.
-
Für die Verwendung in einem der Fahrerassistenzsysteme ist zunächst eine Verarbeitung des Rohbildsignals 20 nötig. Im Rahmen der Verarbeitung wird beispielsweise eine Helligkeit des Rohbildsignals 20 angepasst und ein Erfassungsbereich des Rohbildsignals 20 geschnitten. Hierfür weist das Kraftfahrzeug 1 eine Recheneinheit 3 auf. Die Recheneinheit 3 empfängt das Rohbildsignal 20 aus der Kamera 2 und verarbeitet das Rohbildsignal 20 zu einem verarbeiteten Bildsignal 30 (siehe 2). Das verarbeitete Bildsignal 30 ist aus einer Abfolge an Einzelbildern 31, 32 zusammengesetzt. Insbesondere wird beim Verarbeiten jedes der Einzelbilder 21, 22 des Rohbildsignals 20 ein jeweiliges Einzelbild 31, 32 des verarbeiteten Bildsignals 30 überführt. Somit korrespondiert jedes der Einzelbilder 31, 32 des verarbeiteten Bildsignals 30 mit einem der Einzelbilder 21, 22 des Rohbildsignals 20.
-
Durch eine Ausgabeeinheit 4 wird das verarbeitete Bildsignal 30 ausgegeben. Vorliegend weist das Kraftfahrzeug 1 als Ausgabeeinheiten 4 eine Schnittstelle 8 zum Bereitstellen des verarbeiteten Bildsignals 30 für das Steuergerät 5 auf. Vorliegend weist das Kraftfahrzeug 1 als Ausgabeeinheit 4 den Bildschirm 7 zum Bereitstellen des verarbeiteten Bildsignals 30 für einen Fahrer des Kraftfahrzeugs 1 auf.
-
Beim Verarbeiten des Rohbildsignals 20 zu dem verarbeiteten Bildsignal 30 können Fehler auftreten. Um solche Verarbeitungsfehler bei der Signalverarbeitung zu erkennen, wird aus dem verarbeiteten Bildsignal 30 eine Kontrollgröße 33 extrahiert. Die Kontrollgröße 33 wird anschließend mit einer Referenzgröße 9 verglichen. Dies ist in die 2 schematisch dargestellt. Eine Referenzgröße 23 wird aus dem Rohbildsignal 20 extrahiert. Eine Referenzgröße 34 wird aus dem verarbeiteten Bildsignal 30 extrahiert. Eine Referenzgröße 35 wird aus einem Sensor 6 oder einer weiteren Kamera 42 des Kraftfahrzeugs 1 empfangen. Der Sensor 6 arbeitet insbesondere nach einem anderen Erfassungsprinzip als die Kamera 2. Beispielsweise handelt es sich bei dem Sensor 6 um einen Geschwindigkeitssensor 11, einen Radarsensor 10 oder einen Helligkeitssensor 12.
-
Die Kontrollgröße 33 kann beispielsweise eine Helligkeit des verarbeiteten Bildsignals 30 betreffen. Beispielsweise gibt die Kontrollgröße 33 eine durchschnittliche Helligkeit eines der Einzelbilder 31, 32 oder mehrerer der Einzelbilder 31, 32 an. Alternativ oder zusätzlich gibt die Kontrollgröße 33 eine durchschnittliche Helligkeit eines Teilbereichs eines oder mehrerer der Einzelbilder 31, 32 an. Beispielsweise ist die Referenzgröße 35 ein Helligkeitswert aus dem Helligkeitssensor 12. In diesem Fall kann die Kontrollgröße 33, welche die Helligkeit des verarbeiteten Bildsignals 30 betrifft, mit der Referenzgröße 35 verglichen werden. Weichen die Helligkeitswerte der Referenzgröße 35 und der Kontrollgröße 33 mehr als ein vorbestimmtes Maß voneinander ab, so kann auf einen Fehler des verarbeiteten Bildsignals 30 entschieden werden. Vorteilhafterweise wird ein Histogramm über die Helligkeit des verarbeiteten Bildsignals 30 als die Kontrollgröße 33 extrahiert. In dem Histogramm kann eine Verteilung verschiedener Helligkeitswerte in dem verarbeiteten Bildsignal 30 angegeben sein.
-
Beispielsweise betrifft die Kontrollgröße 33 die Anwesenheit eines Fremdobjekts im Umgebungsbereich U. Mit anderen Worten wird aus dem verarbeiteten Bildsignal 30 die Anwesenheit und/oder eine Relativposition bezogen auf das Kraftfahrzeug des Fremdobjekts extrahiert. Das Fremdobjekt kann beispielsweise ein Straßenschild, ein weiteres Kraftfahrzeug, eine Fahrbahnbegrenzung oder ein beliebiges anderes stationäres oder bewegtes Objekt sein. Beispielsweise betrifft die Referenzgröße 35 ebenfalls die Anwesenheit des Fremdobjekts im Umgebungsbereich U. In diesem Fall kann die Referenzgröße 35 beispielsweise aus dem Radarsensor 10 oder der weiteren Kamera 42 empfangen werden. Diesem Fall kann verglichen werden, ob die Kontrollgröße 33 und die Referenzgröße 35 die Anwesenheit desselben Fremdobjekts im Umgebungsbereich U angeben. Alternativ oder zusätzlich kann verglichen werden, ob die Kontrollgröße 33 und die Referenzgröße 35 dieselbe Relativposition für das Fremdobjekts angeben. Weichen Abmessungen, Beschaffenheit und/oder Relativposition des Fremdobjekts gemäß der Kontrollgröße 33 und der Referenzgröße 35 mehr sein vorbestimmtes Maß voneinander ab, so kann auf einen Fehler des verarbeiteten Bildsignals 30 entschieden werden.
-
Die Referenzgröße 23, welche aus dem Rohbildsignal 20 extrahiert wird, wird mit der Kontrollgröße 33 verglichen. Vorzugsweise betreffen die Referenzgröße 23 und die Kontrollgröße 33 jeweils dieselbe Eigenschaft des jeweiligen Bildsignals 20, 30. Die Eigenschaft des Bildsignals 20, 30 beispielsweise die dessen Helligkeit (siehe oben), geometrische Abmessungen des jeweiligen Bildsignals 20, 30 oder jeweilige Vektoren innerhalb des jeweiligen Bildsignals 20, 30. Beispielsweise werden aus dem Rohbildsignal 20 Vektoren als Teil der Referenzgröße 23 extrahiert. Beispielsweise werden aus dem verarbeiteten Bildsignal 30 Vektoren als Teil der Kontrollgröße 33 extrahiert. Beispielsweise werden die Vektoren jeweils zwischen Punkten extrahiert, welche in den Bildsignal 20, 30 denselben Punkt in der Umgebung U repräsentieren. Die jeweiligen Vektoren aus den Bildsignal 20, 30 können diesem Fall verglichen werden. Mit anderen Worten wird eine vektorielle Analyse der Bildsignale 20, 30 vorgenommen, um Fehler bei der Verarbeitung des Rohbildsignals 20 zu dem verarbeiteten Bildsignal 30 zu erkennen. Weichen die jeweiligen Vektoren der Bildsignale 20, 30 mehr sein vorbestimmtes Maß voneinander ab, so kann auf einen Fehler des verarbeiteten Bildsignals 30 entschieden werden.
-
Vorteilhafterweise betrifft die Referenzgröße 23 die Helligkeit des Rohbildsignals 20. Beispielsweise gibt die Referenzgröße 23 eine durchschnittliche Helligkeit eines der Einzelbilder 21, 22 oder mehrerer der Einzelbilder 21, 22 an. Alternativ oder zusätzlich gibt die Referenzgröße 23 eine durchschnittliche Helligkeit eines Teilbereichs eines oder mehrerer der Einzelbilder 21, 22 an. Vorteilhafterweise wird ein Histogramm über die Helligkeit des Rohbildsignals 20 als die Referenzgröße 23 extrahiert. In dem Histogramm kann eine Verteilung verschiedener Helligkeitswerte in dem Rohbildsignal 20 angegeben sein. Die Helligkeit des verarbeiteten Bildsignals 30, welche durch die Kontrollgröße 33 repräsentiert wird, kann mit der Helligkeit des Rohbildsignals 20, welche durch die Referenzgröße 23 repräsentiert wird, verglichen werden. Insbesondere werden die jeweiligen Histogramme über die Helligkeit der Bildsignale 20, 30 miteinander verglichen. Weichen die jeweiligen Helligkeiten beziehungsweise Histogramm mehr sein vorbestimmtes Maß voneinander ab, so kann auf einen Fehler des verarbeiteten Bildsignals 30 entschieden werden.
-
Wird die Kontrollgröße 33 mit der Referenzgröße 23 aus dem Rohbildsignal 20 verglichen, so ist insbesondere vorgesehen, dass jeweils die korrespondierenden Einzelbilder 21, 22, 31, 32 verglichen werden. Insbesondere wird das Einzelbild 21 des Rohbildsignals 20 mit dem korrespondierenden Einzelbild 31 des verarbeiteten Bildsignals 30 verglichen. Insbesondere wird das Einzelbild 22 des Rohbildsignals 20 mit dem korrespondierenden Einzelbild 32 des verarbeiteten Bildsignals 30 verglichen. Das korrespondierende Einzelbild 31 geht beim Verarbeiten aus dem Einzelbild 21 hervor. Das korrespondierende Einzelbild 32 geht beim Verarbeiten aus dem Einzelbild 22 hervor.
-
Die Referenzgröße 34 wird in einem nicht beanspruchten Ausführungsbeispiel aus dem verarbeiteten Bildsignal 30 extrahiert. Die Kontrollgröße 33 und die Referenzgröße 34 werden insbesondere aus unterschiedlichen Einzelbildern 31, 32 des verarbeiteten Bildsignals 30 extrahiert. Beispielsweise wird die Referenzgröße 34 aus dem Einzelbild 31 und die Kontrollgröße 33 aus dem Einzelbild 32 extrahiert. Die Kontrollgröße 33 und die Referenzgröße 34 können eine Relativposition eines Referenzobjekts in der Umgebung U bezogen auf das Kraftfahrzeug 1 betreffen. Beispielsweise ist das Referenzobjekt das Fremdobjekts. Da die unterschiedlichen Einzelbilder 31, 32 zu unterschiedlichen Zeiten aufgenommen wurden, weist das, insbesondere stationäre, Referenzobjekt in der Umgebung U in beiden Einzelbildern 31, 32 eine unterschiedliche Relativposition bezogen auf das Kraftfahrzeug 1 auf. Auf diese Weise kann ein Vektor und/oder eine Relativgeschwindigkeit des Referenzobjekts ermittelt werden. Die auf diese Weise ermittelte Relativgeschwindigkeit kann mit der Referenzgröße 35 aus dem Geschwindigkeitssensor 11 verglichen werden. Weicht die Relativgeschwindigkeit des stationären Referenzobjekts mehr als ein vorbestimmtes Maß von einem Geschwindigkeitswert aus dem Geschwindigkeitssensor 11 ab, so kann auf einen Fehler des verarbeiteten Bildsignals 30 geschlossen werden.
-
Alternativ betrifft die Referenzgröße 34 eine Helligkeit und/oder einen oder mehrere Vektoren. Diesem Fall kann die Referenzgröße 34 analog zu der Referenzgröße 23 ermittelt werden. Beispielsweise wird wie oben für die Referenzgröße 23 beschrieben die Referenzgröße 34 mit der Kontrollgröße 33 auf Basis der Helligkeit und/oder der Vektoren verglichen. Auf diese Weise können unplausible und/oder sprunghafte Änderungen im Bewegungsverlauf und/oder Helligkeitsverlauf erkannt werden und Verarbeitungsfehler erkannt werden.
-
Wird auf eine genannten Arten festgestellt, dass das verarbeitete Bildsignal 30 fehlerhaft ist und/oder dass Verarbeitungsfehler auftreten, so kann mittels der Ausgabeeinheit 4 eine Fehlermeldung bereitgestellt werden. Beispielsweise wird auf dem Bildschirm 7 eine Fehlermeldung dargestellt. Alternativ oder zusätzlich wird mittels der Schnittstelle 8 eine Fehlermeldung an das Steuergerät 5 übermittelt.
-
Das vorliegende Verfahren kann analog für das weitere Bildsignal der weiteren Kamera 42 durchgeführt werden. Beispielsweise wird ein weiteres verarbeitetes Bildsignal der weiteren Kamera 42 auf einem weiteren Bildschirm 44 dargestellt.
-
Insgesamt zeigen die Beispiele, wie durch die Erfindung eine verbesserte Erkennung von Fehlern bei einer Verarbeitung des Rohbildsignals 20 ermöglicht wird.
