DE102020124785A1

DE102020124785A1 - Verfahren zum Überwachen eines Fokus einer an einem Kraftfahrzeug angeordneten Kamera, Computerprogrammprodukt, computerlesbares Speichermedium sowie System

Info

Publication number: DE102020124785A1
Application number: DE102020124785.0A
Authority: DE
Inventors: Michael Buckley; Gerard Conway; Jose Alberto De La Fuente Gamiz
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2020-09-23
Filing date: 2020-09-23
Publication date: 2022-03-24

Abstract

Die Erfindung betrifft ein Verfahren zum Überwachen eines Fokus (3) einer an einem Kraftfahrzeug (1) angeordneten Kamera (4, 5, 6, 7) mittels eines Systems (2) des Kraftfahrzeugs (1), bei welchem mittels der Kamera (4, 5, 6, 7) ein Bild (10) einer Umgebung (11) des Kraftfahrzeugs (1) erfasst wird und das Bild (10) mittels einer elektronischen Recheneinrichtung (9) des Systems (2) ausgewertet wird und in Abhängigkeit von der Auswertung der Fokus (3) der Kamera (4, 5, 6, 7) überwacht wird, wobei mittels einer Lichteinrichtung (8) des Systems (2) ein vordefiniertes Muster (12) auf eine Straße (13), auf welcher sich das Kraftfahrzeug (1) befindet, projiziert wird und das projizierte Muster (12) im erfassten Bild (10) erfasst wird und das projizierte Muster (12) ausgewertet wird und in Abhängigkeit von dem ausgewerteten Muster (12) der Fokus (3) der Kamera (4, 5, 6, 7) überwacht wird. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein System (2).

Description

Die Erfindung betrifft ein Verfahren zum Überwachen eines Fokus einer an einem Kraftfahrzeug angeordneten Kamera mittels eines Systems des Kraftfahrzeugs, bei welchem mittels der Kamera ein Bild einer Umgebung des Kraftfahrzeugs erfasst wird und das Bild mittels einer elektronischen Recheneinrichtung ausgewertet wird und in Abhängigkeit von der Auswertung der Fokus der Kamera überwacht wird. Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein System.
Es ist bekannt, dass eine Kamera, insbesondere einer digitalen Kamera, aufgrund von Alterung und Temperaturen ihren Fokus verlieren kann. Insbesondere kann dann bei der Auswertung eines aufgenommenen Bilds mittels der Kamera ein Fehler auftreten beziehungsweise Fehlauswertungen durchgeführt werden. Insbesondere bei einem zumindest teilweise autonomen Fahrbetrieb des Kraftfahrzeugs, insbesondere bei einem vollautonomen Fahrbetrieb des Kraftfahrzeugs, können somit Probleme entstehen, welche auf dieser Fehlauswertung basieren. Es ist somit von entscheidender Bedeutung, dass der Fokus der Kamera über einen langen Zeitraum hinweg überwacht werden kann.
Die US 2010/0054723 A1 offenbart ein Fokuseinstellgerät, welches den Fokus einer Kamera einstellt, die ein sich bewegendes Objekt abbildet. Die Vorrichtung enthält eine Berechnungseinheit, die einen ersten Unschärfegrad eines dem sich bewegenden Objekt entsprechenden Abschnitts innerhalb eines ersten Bereichs eines von der Kamera aufgenommenen Bildes berechnet und einen zweiten Unschärfegrad eines dem sich bewegenden Objekt entsprechenden Abschnitts innerhalb eines zweiten Bereichs eines Bildes berechnet. Ferner weist die Vorrichtung eine Fokuseinstelleinheit auf, die den Fokus der Kamera in eine Richtung verschiebt, in der die Kamera auf den dem sich bewegenden Objekt entsprechenden Abschnitt innerhalb des ersten Bereichs fokussiert wird, wenn der erste Unschärfegrad größer als der zweite Unschärfegrad ist, und die den Fokus in eine Richtung verschiebt, in der die Kamera auf dem sich bewegenden Objekt entsprechenden Abschnitt innerhalb des zweiten Bereichs fokussiert wird, wenn der zweite Unschärfegrad größer als der erste Unschärfegrad ist.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein System zu schaffen, mittels welchem eine verbesserte Überwachung eines Fokus einer am Kraftfahrzeug angeordneten Kamera durchgeführt werden kann.
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein System gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Überwachen eines Fokus einer an einem Kraftfahrzeug angeordnete Kamera mittels eines Systems des Kraftfahrzeugs, bei welchem mittels der Kamera ein Bild einer Umgebung des Kraftfahrzeugs erfasst wird und das Bild mittels einer elektronischen Recheneinrichtung des Systems ausgewertet wird und in Abhängigkeit von der Auswertung der Fokus der Kamera überwacht wird.
Es ist vorgesehen, dass mittels einer Lichteinrichtung des Systems ein vordefiniertes Muster auf eine Straße, auf welcher sich das Kraftfahrzeug befindet, projiziert wird und das projizierte Muster im erfassten Bild erfasst wird und das projizierte Muster ausgewertet wird und in Abhängigkeit von dem ausgewerteten Muster der Fokus der Kamera überwacht wird.
Somit ist es ermöglicht, dass mittels der Lichteinrichtung ein vordefiniertes Muster auf die Straße projiziert wird, welches dann wiederum mittels der Kamera im Bild erfasst werden kann und entsprechend ausgewertet werden kann. Auf Basis dieses ausgewerteten Bilds kann dann bestimmt werden, ob die Kamera sich noch im Fokus, insbesondere eines vorgegebenen Toleranzbereichs für den Fokus, befindet oder sich außerhalb dieses Fokus, insbesondere außerhalb dieses Toleranzbereichs, befindet. Somit kann der Fokus der Kamera dauerhaft überwacht werden und beispielsweise dazu genutzt werden, dass bei einem zumindest teilweise autonomen Fahrbetrieb, beziehungsweise bei einem vollautonomen Fahrbetrieb, sichergestellt werden kann, dass eine entsprechende visuelle Auswertung der Umgebung verbessert durchgeführt werden kann.
Es ist somit vorgeschlagen, dass mittels der Lichteinrichtung, welche insbesondere eine Lichteinrichtung des Kraftfahrzeugs ist, und insbesondere in den Erfassungsbereich der Kamera ein entsprechendes Licht aussenden kann, ein vordefiniertes Muster, insbesondere innerhalb des Lichtkegels, welcher auch als Lichtaussendebereich bezeichnet werden kann, der Lichteinrichtung, ausgesendet wird, welche mittels der Kamera erfasst werden kann. Insbesondere wird das vordefinierte Muster als ein Muster mit scharfen Kanten und/oder scharfen Linien ausgesendet, wobei dabei in Abhängigkeit der Erfassung der scharfen Kanten und/oder Linien der Fokus entsprechend bestimmt werden kann. Insbesondere kann eine Auswertung des Bilds und des vordefinierten Musters auf Pixelebene durchgeführt werden und auf Basis einer visuellen Auswertung, insbesondere auf Basis einer Videobearbeitung innerhalb des Bildes, kann dann wiederum der Fokus bestimmt werden. Die Überwachung des Fokus kann insbesondere während des Fahrbetriebs des Kraftfahrzeugs beziehungsweise bei einem Beginn des Fahrbetriebs, beispielsweise nach dem Einschalten einer Zündung am Kraftfahrzeug, durchgeführt werden.
Bei der Kamera handelt es sich insbesondere um eine sogenannte digitale Kamera. Mit anderen Worten wird ein Bild digital aufgenommen und entsprechend bearbeitet beziehungsweise ausgewertet. Die Kamera kann hierzu eine Linse aufweisen, durch welche Lichtstrahlen auf eine Bilderfassungseinrichtung der Kamera projiziert werden. Die Bilderfassungseinrichtung wandelt dann die erfassten Lichtstrahlen in ein digitales Signal um. Insgesamt kann durch das erfindungsgemäße Verfahren eine Methode bereitgestellt werden, mittels welcher der Fokus der Kamera überwacht und entsprechend nachgesteuert werden kann. Ferner kann eine verbesserte Durchführung einer Kalibrierung der Kamera mittels der Überwachung des Fokus durchgeführt werden. Des Weiteren hat die Überwachung des Fokus keinen Einfluss auf einen Insassen des Kraftfahrzeugs, da beispielsweise das vordefinierte Muster außerhalb eines Sichtbereichs des Kraftfahrzeugs, jedoch innerhalb des Erfassungsbereichs der Kamera, projiziert werden kann. Ferner ist das Verfahren kostengünstig in bereits bestehende Systeme integrierbar beziehungsweise nachrüstbar.
Gemäß einer vorteilhaften Ausgestaltungsform wird als Lichteinrichtung eine Abblendeinrichtung des Kraftfahrzeugs und/oder eine Hecklichteinrichtung des Kraftfahrzeugs genutzt. Insbesondere kann vorgesehen sein, dass eine Vielzahl von Kameras am Kraftfahrzeug angeordnet ist. Beispielsweise kann eine Frontkamera am Kraftfahrzeug ausgebildet sein, welche dann in Richtung der Abblendeinrichtung die Umgebung erfassen kann. Ferner kann eine Heckkamera am Kraftfahrzeug angeordnet sein, welche dann im Bereich der Hecklichteinrichtung die Umgebung überwacht. Diese Kameras können dann auf Basis des vordefinierten Musters, welches mit der Abblendlichteinrichtung erzeugt werden kann und/oder mittels der Hecklichteinrichtung erzeugt werden kann, entsprechend bezüglich des Fokus überwacht werden.
Insbesondere kann auch bereits mittels eines sogenannten Tagfahrlichts das vordefinierte Muster erzeugt werden und der Fokus auch während eines Tages, mit anderen Worten bei entsprechender Sonneneinstrahlung, durchgeführt werden. Somit ist es möglich, dass bereits mittels einer im Kraftfahrzeug verbauter Lichteinrichtungen der Fokus der Kameras überwacht werden kann.
Weiterhin vorteilhaft ist, wenn das vordefinierte Muster außerhalb eines Sichtbereichs des Insassen des Kraftfahrzeugs auf die Straße projiziert wird. Insbesondere ist die Lichteinrichtung des Kraftfahrzeugs bereits in der Lage, Licht außerhalb des Sichtbereichs des Insassen auf die Straße zu projizieren. Insbesondere ist der Sichtbereich des Insassen aufgrund beispielsweise einer Motorhaube des Kraftfahrzeugs eingeschränkt. In diesem nicht einsehbaren Bereich, welcher durch die Motorhaube verdeckt ist, kann dann wiederum vorteilhaft das vordefinierte Muster erzeugt werden. Der nicht einsehbare Bereich kann jedoch sowohl von der Lichteinrichtung mit Lichtstrahlen ausgeleuchtet werden und mittels der Kamera erfasst werden. Dadurch kann ein Insasse des Kraftfahrzeugs nicht durch das vordefinierte Muster gestört werden, und dennoch kann der Fokus zuverlässig überwacht werden. Es kann hierbei ebenfalls vorgesehen sein, dass beispielsweise zwei vordefinierte Muster in einen linken Bereich und in einen rechten Bereich des Erfassungsbereichs der Kamera projiziert werden, wobei dann eine entsprechend einzelne Auswertung dieser vordefinierten Muster durchgeführt werden kann und eine Fokussierung beziehungsweise Defokussierung auf Basis der beiden vordefinierten Muster verifiziert werden kann. Insbesondere kann ein Abgleich der beiden vordefinierten Muster beispielsweise zur Verifizierung durchgeführt werden.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn das vordefinierte Muster durch eine Anwesenheit von Lichtstrahlen mittels der Lichteinrichtung erzeugt wird und/oder das vordefinierte Muster durch eine Abwesenheit von Lichtstrahlen mittels der Lichteinrichtung erzeugt wird. Beispielsweise kann die Lichteinrichtung einen Lichtkegel, beispielsweise im Frontbereich des Kraftfahrzeugs, aussenden. Es kann dann vorgesehen sein, dass durch das Weglassen von Lichtstrahlen im entsprechenden Bereich das vordefinierte Muster erzeugt wird. Ferner ist es möglich, dass beispielsweise aktiv durch das Erzeugen von Lichtstrahlen das vordefinierte Muster erzeugt wird. Hierbei kann beispielsweise vorgesehen sein, dass innerhalb des Lichtkegels eine unterschiedliche Lichtausstrahlung durchgeführt wird, um das vordefinierte Muster zu erzeugen. Ferner kann außerhalb des eigentlichen Lichtkegels das vordefinierte Muster mittels der Lichtstrahlen erzeugt werden. Sollte beispielsweise ein Abblendlicht nicht eingeschaltet sein, so kann durch aktives Einschalten des Abblendlichts im Bereich des vordefinierten Musters das vordefinierte Muster dort erzeugt werden. Es ist ferner möglich, dass das vordefinierte Muster durch die Anwesenheit von Lichtstrahlen und durch die Abwesenheit von Lichtstrahlen, beispielsweise als Strichcodemuster oder QR-Code Muster erzeugt wird. Somit ist es ermöglicht, dass auf unterschiedliche Arten und Weisen das vordefinierte Muster erzeugt werden kann und der Fokus überwacht werden kann.
In einer weiteren vorteilhaften Ausgestaltungsform wird das vordefinierte Muster dauerhaft, insbesondere zumindest während eines Fahrbetriebs des Kraftfahrzeugs, auf die Straße projiziert. Somit ist es ermöglicht, dass dauerhaft der Fokus während des Fahrbetriebs überwacht werden kann. Insbesondere können dabei bereits einfache Lichteinrichtungen, welche bereist im Kraftfahrzeug verbaut sind, des Kraftfahrzeugs genutzt werden, um das vordefinierte Muster zu erzeugen. Somit ist mit wenig Montageaufwand ein Nachrüsten möglich. Dadurch ist eine permanente Überwachung, insbesondere während des Fahrbetriebs des Kraftfahrzeugs, des Fokus ermöglicht.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn das vordefinierte Muster zeitlich begrenzt, insbesondere während eines Fahrbetriebs des Kraftfahrzeugs, auf die Straße projiziert wird. Beispielsweise kann nur in vorgegebenen zeitlichen Abständen das vordefinierte Muster auf die Straße projiziert werden. Insbesondere kann dann eine Synchronisation zwischen der elektronischen Recheneinrichtung zum Auswerten des Fokus und der Lichteinrichtung durchgeführt werden. Beispielsweise kann die Lichteinrichtung das vordefinierte Muster aussenden und ein Signal an die elektronische Recheneinrichtung übertragen, dass das vordefinierte Muster nun ausgesendet ist, sodass dann die Auswertung über die erfassten Bilder der Kamera in diesem Moment durchgeführt wird. Es kann ebenfalls vorgesehen sein, dass beispielsweise das vordefinierte Muster in einer Art Blitzlicht ausgesendet wird, sodass nur für einen kurzen Zeitraum das vordefinierte Muster ausgesendet und entsprechend ausgewertet werden kann, dadurch kann eine Beeinträchtigung des Insassen oder weiterer Verkehrsteilnehmer reduziert werden. Insbesondere kann dies während des Fahrbetriebs durchgeführt werden, sodass eine Überwachung des Fokus während des Fahrbetriebs realisiert werden kann.
In einer weiteren vorteilhaften Ausgestaltungsform wird das vordefinierte Muster auf Basis einer Modulationsübertragungsfunktions-Technologie erzeugt und die Auswertung des vordefinierten Musters auf Basis der Modulationsübertragungsfunktions-Technologie durchgeführt. Bei der Modulationsübertragungsfunktions-Technologie handelt es sich insbesondere um eine sogenannte MTF (Modulation Transfer Function)-Technologie. Hierbei werden Muster, welche insbesondere durch die Anwesenheit und durch die Abwesenheit von Lichtstrahlen erzeugt werden, beispielsweise als Strichmuster, genutzt, um eine entsprechende Schärfe zu überprüfen. Die Muster weisen dabei scharfe Kanten und Linien auf, wobei auf Basis einer Auswertung dann die aufgenommene Schärfe überprüft werden kann. Auf Basis der erfassten Schärfe kann dann wiederum der Fokus bestimmt werden. Sollten beispielsweise die entsprechenden Kanten und Linien nicht innerhalb eines Toleranzbereichs scharf genug sein, so kann davon ausgegangen werden, dass die Kamera defokussiert ist. Somit kann mittels einer bereits bestehenden Technologie zuverlässig der Fokus überwacht werden. Des Weiteren ist eine einfache visuelle Auswertung auf Basis der Modulationsübertragungsfunktions-Technologie ermöglicht.
Ferner hat es sich als vorteilhaft erwiesen, wenn in Abhängigkeit des überwachten Fokus ein Steuersignal für eine weitere Funktionseinheit des Systems erzeugt wird. Insbesondere kann somit beispielsweise auf eine Defokussierung der Kamera reagiert werden, sodass entsprechende Maßnahmen eingeleitet werden können, um den Fahrbetrieb des Kraftfahrzeugs zuverlässig weiter durchführen zu können.
Ferner hat es sich als vorteilhaft erwiesen, wenn in Abhängigkeit von dem Steuersignal ein Warnsignal mittels einer Warneinrichtung als Funktionseinheit für einen Insassen des Kraftfahrzeugs zum Warnen des Insassen erzeugt wird. Sollte beispielsweise festgestellt werden, dass die Kamera defokussiert ist und ein zuverlässiger Betrieb der Kamera nicht mehr realisiert werden kann, so kann eine entsprechende Warnung für einen Insassen des Kraftfahrzeugs, beispielsweise einen Fahrer des Kraftfahrzeugs, erzeugt werden, sodass dieser gewarnt ist. Sollte beispielsweise das Kraftfahrzeug als zumindest teilweise autonomes Kraftfahrzeug beziehungsweise als vollautonomes Kraftfahrzeug ausgebildet sein, so kann eine Warnung ausgegeben werden, dass ein zuverlässiger zumindest teilweise autonomer Betrieb nicht mehr durchgeführt werden kann und beispielsweise ein Eingriff eines Fahrers notwendig ist, um den sicheren Betrieb des Kraftfahrzeugs weiterhin gewährleisten zu können. Das Warnsignal kann dabei sowohl akustisch und/oder visuell und/oder haptisch erzeugt werden.
In einer weiteren vorteilhaften Ausgestaltungsform wird in Abhängigkeit von dem Steuersignal ein Fokus der Kamera mittels der Kamera justiert und/oder die Lichteinrichtung wird justiert. Sollte beispielsweise die Kamera als sogenannte „intelligente“ Kamera ausgebildet sein, so kann eine Nachjustierung des Fokus durchgeführt werden. Insbesondere kann beispielsweise zwischen der aufnehmenden Einheit der Kamera und der Linse ein Abstand verändert werden, wodurch der Fokus ebenfalls in Abhängigkeit des Steuersignals neu eingestellt werden kann. Ebenfalls kann vorgesehen sein, dass die Lichteinrichtung auf Basis des Steuersignals nachjustiert werden kann. Sollte beispielsweise vorgesehen sein, dass das vordefinierte Muster in einem vorgegebenen Bereich im Erfassungsbereich der Kamera erfasst werden sollte, jedoch das vordefinierte Muster in einem anderen Bereich der Kamera erfasst wurde, so kann festgestellt werden, dass beispielsweise die Lichteinrichtung nicht richtig eingestellt ist. Auf Basis dieser Information kann dann die Lichteinrichtung nachjustiert werden, sodass auch hierbei ein zuverlässiger Betrieb der Lichteinrichtung realisiert werden kann.
Es hat sich weiterhin als vorteilhaft erwiesen, wenn in Abhängigkeit von dem überwachten Fokus eine Kalibrierung der Kamera durchgeführt wird und/oder eine Kalibrierung der Kamera bei der Überwachung des Fokus berücksichtigt wird. Insbesondere kann somit eine „Online-Kalibrierung“ der Kamera durchgeführt werden. Bei der Online-Kalibrierung der Kamera handelt es sich insbesondere darum, dass die Kamera innerhalb eines Toleranzbereichs am Kraftfahrzeug angeordnet ist. Somit ist die Kamera nicht an einer Nominalposition angeordnet, sondern lediglich innerhalb dieses Toleranzbereichs. Um nun eine zuverlässige Auswertung der Bilder der Kamera durchzuführen, findet eine Kalibrierung entsprechend der abweichenden Position gegenüber der Nominalposition statt. Dies erfolgt insbesondere durch die Anpassung von extrinsischen Parametern und intrinsischen Parametern der Kamera, beispielsweise durch eine Neujustierung der Kamera oder innerhalb einer Steuereinrichtung der Kamera. Dies wird als Online-Kalibrierung bezeichnet. Auf Basis des Fokus kann nun vorgesehen sein, dass eine neue Online-Kalibrierung der Kamera durchgeführt wird. Ferner kann auf Basis der Online-Kalibrierung vorgesehen sein, dass diese bei der Bestimmung des Fokus berücksichtigt wird. Insbesondere kann somit berücksichtigt werden, dass das Kraftfahrzeug auf Basis von unterschiedlichen Reifengrößen oder Beladungszuständen eine andere Ausrichtung der Kamera aufweist. Diese kann entsprechend kalibriert werden, wodurch der Fokus zuverlässig bestimmt werden kann beziehungsweise kann auf Basis der Bestimmung des Fokus zuverlässig die Kalibrierung durchgeführt werden.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird das vordefinierte Muster in einen vordefinierten Erfassungsbereich der Kamera projiziert. Insbesondere befindet sich dieser Erfassungsbereich in einem sogenannten Field of View (FOV) der Kamera. Dies ist insbesondere außerhalb eines Sichtbereichs für den Insassen. In diesem Bereich ist dann vorgesehen, dass die Kamera das vordefinierte Muster erfassen kann. Sollte beispielsweise das vordefinierte Muster außerhalb dieses vordefinierten Erfassungsbereichs erfasst, so kann davon ausgegangen werden, dass die Lichteinrichtung und/oder die Kamera falsch ausgerichtet sind. Diese Information kann dann genutzt werden, um eine entsprechende Nachjustierung der Kamera beziehungsweise der Lichteinrichtung durchzuführen.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Speichermedium gespeichert sind, um das Verfahren zum Überwachen eines Fokus nach dem vorhergehenden Aspekt durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung abgearbeitet wird.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein computerlesbares Speichermedium mit einem Computerprogrammprodukt, insbesondere eine elektronische Recheneinrichtung mit einem Computerprogrammprodukt, nach dem vorhergehenden Aspekt.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein System eines Kraftfahrzeugs zum Überwachen eines Fokus einer an einem Kraftfahrzeug angeordneten Kamera, mit zumindest einer Kamera, einer Lichteinrichtung und einer elektronischen Recheneinrichtung, wobei das System zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Systems durchgeführt.
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem System nach dem vorhergehenden Aspekt. Das Kraftfahrzeug ist insbesondere zumindest teilweise autonom, insbesondere vollautonom, ausgebildet.
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts, des computerlesbaren Speichermediums, des Systems sowie des Kraftfahrzeugs anzusehen. Das System und das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens oder eine vorteilhafte Ausgestaltungsform davon ermöglichen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.

1 zeigt eine schematische Draufsicht auf eine Ausführungsform eines Kraftfahrzeugs mit einer Ausführungsform eines Systems;
2 zeigt ein schematisches Blockschaltbild gemäß einer Ausführungsform des Verfahrens; und
3 zeigt ein schematisches Ablaufdiagramm gemäß einer Ausführungsform des Verfahrens.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt in einer schematischen Draufsicht eine Ausführungsform eines Kraftfahrzeugs 1 mit einer Ausführungsform eines Systems 2. Das System 2 ist zum Überwachen eines Fokus 3 (2) einer an dem Kraftfahrzeug 1 angeordneten Kamera 4, 5, 6, 7 ausgebildet. Das System 2 weist ferner eine Lichteinrichtung 8 sowie eine elektronische Recheneinrichtung 9 auf.
Es ist insbesondere ferner vorgesehen, dass zum Durchführen eines erfindungsgemäßen Verfahrens ein Computerprogrammprodukt mit Programmcodemitteln bereitgestellt wird, welche zum Durchführen des Verfahrens entsprechende Computerbefehle aufweist. Ferner kann die elektronische Recheneinrichtung 9 ein computerlesbares Speichermedium aufweisen, auf welchem dann wiederum das Computerprogrammprodukt zum Durchführen des erfindungsgemäßen Verfahrens abgespeichert werden kann.
Im vorliegenden Ausführungsbeispiel ist an dem Kraftfahrzeug 1 eine erste Kamera 4, welche als Frontkamera ausgebildet ist, eine zweite Kamera 5, welche als Heckkamera ausgebildet ist, eine dritte Kamera 6, welche als Seitenkamera für eine linke Seite des Kraftfahrzeugs 1 ausgebildet ist und eine vierte Kamera 7, welche als Seitenkamera für eine rechte Seite des Kraftfahrzeugs 1 ausgebildet ist, angeordnet. In der nachfolgenden Beschreibung ist die Erfindung näher mit der ersten Kamera 4 beschrieben. Es sei jedoch angemerkt an dieser Stelle, dass dies auch für die zweite Kamera 5, die dritte Kamera 6 sowie die vierte Kamera 7 durchgeführt werden kann. Die Erfindung ist somit nicht auf die erste Kamera 4 beschränkt.
Beim Verfahren zum Überwachen des Fokus 3 der an dem Kraftfahrzeug 1 angeordneten Kamera 4, 5, 6, 7 mittels des Systems 2 wird mittels der Kamera 4, 5, 6, 7 ein Bild 10 (2) einer Umgebung 11 des Kraftfahrzeugs 1 erfasst und das Bild 10 wird mittels der elektronischen Recheneinrichtung 9 des Systems 2 ausgewertet und in Abhängigkeit von der Auswertung wird der Fokus 3 der Kamera 4, 5, 6, 7 überwacht.
Es ist vorgesehen, dass mittels der Lichteinrichtung 8 des Systems 2 ein vordefiniertes Muster 12 auf eine Straße 13, auf welcher sich das Kraftfahrzeug 1 befindet, projiziert wird und das projizierte Muster 12 im erfassten Bild 10 erfasst wird und das projizierte Muster 12 ausgewertet wird und in Abhängigkeit von dem ausgewerteten Muster 12 der Fokus 3 der Kamera 4, 5, 6, 7 überwacht wird.
Im vorliegenden Ausführungsbeispiel ist insbesondere gezeigt, dass die erste Kamera 4 einen ersten Erfassungsbereich 14 aufweist. Die zweite Kamera 5 weist einen zweiten Erfassungsbereich 15 auf. Die dritte Kamera 6 weist einen dritten Erfassungsbereich 16 auf. Die vierte Kamera 7 weist einen vierten Erfassungsbereich 17 auf. Ein Insasse des Kraftfahrzeugs 1, welcher nicht dargestellt ist, weist insbesondere einen ersten Sichtbereich 18, welcher frontseitig ausgebildet ist, auf sowie einen zweiten Sichtbereich 19, welcher heckseitig ausgebildet ist. Die Sichtbereiche 18, 19 für den Insassen sind insbesondere baubedingt, beispielsweise aufgrund einer Motorhaube des Kraftfahrzeugs 1, beschränkt. Insbesondere überschneidet sich der erste Erfassungsbereich 14 mit dem ersten Sichtbereich 18 sowie der zweite Erfassungsbereich 15 mit dem zweiten Sichtbereich 19 zumindest teilweise. Die 1 zeigt jedoch auch ferner, dass es einen Bereich 20 gibt, an welchem die Kameras 4, 5, 6, 7 jeweils die Umgebung 11 erfassen können, jedoch außerhalb des Sichtbereichs 18, 19 des Insassen liegen. Insbesondere ist dann vorgesehen, dass in diesen nicht einsehbaren aber ausleichtbaren und erfassbaren Bereichen, mit anderen Worten in den Bereichen 20, das vordefinierte Muster 12 ausgesendet wird. Mit anderen Worten ist vorgesehen, dass das vordefinierte Muster 12 außerhalb eines Sichtbereichs 18, 19 eines Insassen des Kraftfahrzeugs 1 auf die Straße 13 projiziert wird. Insbesondere wird das vordefinierte Muster 12 in einen Lichtkegel mit Lichtstrahlen 30 der Lichteinrichtung 8 ausgesendet.
Die 1 zeigt ferner, dass als Lichteinrichtung 8 eine Abblendeinrichtung 21 des Kraftfahrzeugs 1 und/oder eine Hecklichteinrichtung 22 des Kraftfahrzeugs 1 genutzt werden kann. Es kann ferner vorgesehen sein, dass das vordefinierte Muster 12 dauerhaft, insbesondere zumindest während eines Fahrbetriebs des Kraftfahrzeugs 1, auf die Straße 13 projiziert wird. Alternativ kann das vordefinierte Muster 12 auch zeitlich begrenzt, insbesondere während eines Fahrbetriebs des Kraftfahrzeugs 1, auf die Straße 13 projiziert werden. Ferner kann insbesondere vorgesehen sein, dass das vordefinierte Muster 12 in einen vordefinierten Erfassungsbereich der Kamera 4, 5, 6, 7 projiziert wird.
2 zeigt ein schematisches Blockschaltbild einer Ausführungsform des Systems 2. Vorliegend ist das System 2 insbesondere rein schematisch dargestellt. Vorliegend ist insbesondere gezeigt, wie, im vorliegenden Ausführungsbeispiel mittels der ersten Kamera 4 das vordefinierte Muster 12 erfasst werden kann. Dieses Ausführungsbeispiel gilt analog für die zweite Kamera 5, die dritte Kamera 6 sowie die vierte Kamera 7. Die 2 zeigt insbesondere, dass das vordefinierte Muster 12 auf Basis einer Modulationsübertragungsfunktions-Technologie erzeugt und die Auswertung des vordefinierten Musters 12 auf Basis der Modulationsübertragungsfunktions-Technologie durchgeführt werden kann. Dies ist insbesondere durch ein entsprechendes Fächermuster 23 dargestellt.
Die Lichteinrichtung 8 projiziert somit das vordefinierte Muster 12 auf die Straße 13. Mittels der ersten Kamera 4, welche insbesondere eine Linse 24 aufweisen kann, wird dies erfasst und an eine Bildprozessoreinrichtung 25 der ersten Kamera 4 übertragen. Vorliegend ist insbesondere dargestellt, dass das vordefinierte Muster 12 in einem ersten Fall als scharfes Muster 26 erfasst werden kann und/oder als unscharfes Muster 27 erfasst werden kann. Beim scharfen Muster 26 ist somit der Fokus 3 entsprechend überwacht, wobei die erste Kamera 4 hierbei weiterhin fokussiert ist, was bedeutet, dass der Fokus 3 sich innerhalb eines Toleranzbereichs befindet. Beim unscharfen Muster 27 kann festgestellt werden, dass die erste Kamera 4 defokussiert ist, was bedeutet, dass der Fokus 3 außerhalb des Toleranzbereichs liegt. Insbesondere kann dies dann an die elektronische Recheneinrichtung 9 entsprechend übertragen werden.
Die Fig. zeigt ferner, dass das vordefinierte Muster 12 durch eine Anwesenheit von Lichtstrahlen 30 mittels der Lichteinrichtung 8 erzeugt wird und/oder das vordefinierte Muster 12 durch eine Abwesenheit von Lichtstrahlen 30 mittels der Lichteinrichtung 8 erzeugt wird.
Ferner zeigt die 2, dass in Abhängigkeit des überwachten Fokus 3 ein Steuersignal 28 für eine weitere Funktionseinheit 29 für einen Insassen des Kraftfahrzeugs 1 zum Warnen des Insassen erzeugt werden kann. Insbesondere kann dabei vorgesehen sein, dass in Abhängigkeit von dem Steuersignal 28 der Fokus 3 der ersten Kamera 4 mittels der ersten Kamera 4 justiert wird und/oder die Lichteinrichtung 8 justiert wird. Dies gilt analog für die zweite Kamera 5, die dritte Kamera 6 sowie die vierte Kamera 7. Ferner kann in Abhängigkeit von dem Steuersignal 28 ein Warnsignal mittels einer Warneinrichtung als Funktionseinheit 29 für einen Insassen des Kraftfahrzeugs 1 zum Warnen des Insassen erzeugt werden.
Es kann weiterhin vorgesehen sein, dass in Abhängigkeit von dem überwachten Fokus 3 eine Kalibrierung der ersten Kamera 4 durchgeführt wird und/oder eine Kalibrierung der ersten Kamera 4 bei der Überwachung des Fokus 3 berücksichtigt wird. Dies gilt analog für die zweite Kamera 5, die dritte Kamera 6 sowie die vierte Kamera 7.
3 zeigt ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens. Insbesondere ist auf der linken Seite der 3 ein Ablaufdiagramm gezeigt, wie es beispielsweise durchgeführt werden kann, sollte die elektronische Recheneinrichtung 9 wenig Rechenkapazität aufweisen, sodass eine Kalibrierung der ersten Kamera 4 sowie die Überwachung des Fokus 3 lediglich seriell abgearbeitet werden kann. Insbesondere kann dabei in einem ersten Ausführungsbeispiel vorgesehen sein, dass zuerst eine Kalibrierung der ersten Kamera 4 in einem ersten Schritt S1 überwacht wird. Sollte die hierbei bestimmt werden, dass die erste Kamera 4 unkalibriert ist, so kann ein entsprechender Kalibrierungsvorgang in einem zweiten Schritt S2 durchgeführt werden.
Es findet im Anschluss daran erneut eine Überprüfung der Kalibrierung im ersten Schritt S1 statt. Sollte überprüft werden, dass die erste Kamera 4 entsprechend kalibriert ist, so kann die Überwachung des Fokus 3 in einem dritten Schritt S3 durchgeführt werden. Es kann dann eine entsprechende Rückmeldung für einen Insassen des Kraftfahrzeugs 1 in einem vierten Schritt S4 erzeugt werden. Nach der Bestimmung des Fokus 3 kann dann wiederum in den zweiten Schritt S2 übergegangen werden. Dies gilt analog für die zweite Kamera 5, die dritte Kamera 6 sowie die vierte Kamera 7.
Auf der rechten Seite der 3 ist gezeigt, dass bei der elektronischen Recheneinrichtung 9 auch eine parallele Abarbeitung der Überwachung des Fokus 3 sowie der Kalibrierung der Kamera 4 durchgeführt werden kann. Es kann hierbei in einem fünften Schritt S5 entschieden werden, ob sich eine entsprechende Positionierung der ersten Kamera 4 am Kraftfahrzeug 1 innerhalb des Toleranzbereichs befindet. Sollte dies nicht der Fall sein, so wird eine online-Kalibrierung durchgeführt. Sollte dies der Fall sein, kann dann in einem sechsten Schritt S6 die Bestimmung des Fokus 3 beziehungsweise die Überwachung des Fokus 3 durchgeführt werden. In einem siebten Schritt S7 kann dann wiederum die entsprechende Rückmeldung an den Insassen gegeben werden. Parallel dazu kann die Kalibrierung der ersten Kamera 4 in einem achten Schritt S8 durchgeführt werden.
Es kann ferner vorgesehen sein, dass in Abhängigkeit einer jeweils verbauten Lichteinrichtung 8 eine Nachjustierung durchgeführt werden kann. Sollten beispielsweise Lichteinrichtungen 8 am Kraftfahrzeug 1 genutzt werden, welche lediglich „normale“ Lichtstrahlen 30 aussenden können, so kann mittels des erfindungsgemäßen Verfahrens innerhalb des vordefinierten Erfassungsbereichs nach dem vordefinierten Muster 12 gesucht werden. Hierbei ist insbesondere zu verstehen, dass lediglich eine Lichtausstrahlung ohne weitere Intelligenz der Lichteinrichtung 8 mittels der Lichteinrichtung 8 realisiert werden kann. Das System 1 kann dabei dann insbesondere den Fokus 3 überwachen sowie eine Rückmeldung zur Positionierung der Lichteinrichtung 8 geben. Auf Basis dieser Rückmeldung kann dann wiederum das ausgesendete Licht der Lichteinrichtung 8 angepasst werden.
Sollte die Lichteinrichtung 8 beispielsweise als hochauflösende Lichteinrichtung 8, beziehungsweise als intelligente Lichteinrichtung 8, ausgebildet sein, so kann vorgesehen sein, dass lediglich ein kurzes Blinklicht als vordefiniertes Muster 12 ausgesendet wird und dieses dann wiederum in Synchronisation mit der elektronischen Recheneinrichtung 9 ausgewertet werden kann. Es kann dann wiederum der Fokus 3 bestimmt werden sowie eine Rückmeldung gegeben werden, ob die Lichteinrichtung 8 richtig ausgerichtet ist. Es kann ferner eine weitere Analyse für weitere Details der Lichteinrichtung 8 durchgeführt werden. Auf Basis dessen kann dann wiederum eine Justierung der Lichteinrichtung 8 durchgeführt werden.
Ferner kann vorgesehen sein, sollte die erste Kamera 4 einen festen Fokus 3 aufweisen, dass dann in Abhängigkeit des überwachten Fokus 3 ein Warnsignal an den Insassen ausgegeben wird, sollte beispielsweise die erste Kamera 4 defokussiert sein. Sollte die erste Kamera 4 einen variablen Fokus 3 aufweisen, so kann auf Basis des überwachten Fokus 3 eine Autofokussierung durchgeführt werden. Sollte dann auch nach der AutoFokussierung der Fokus 3 nicht mehr erreicht werden, so kann eine entsprechende Warnmeldung ausgegeben werden.
Wo nicht explizit erwähnt, gelten die Beschreibungen für die erste Kamera 4 analog für die zweite Kamera 5, die dritte Kamera 6 und die vierte Kamera 7.
Insgesamt zeigt die Erfindung eine Fokus-Detektion durch das Nutzen der Lichteinrichtung 8 im Kraftfahrzeug 1.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2010/0054723 A1 [0003]

Claims

Verfahren zum Überwachen eines Fokus (3) einer an einem Kraftfahrzeug (1) angeordneten Kamera (4, 5, 6, 7) mittels eines Systems (2) des Kraftfahrzeugs (1), bei welchem mittels der Kamera (4, 5, 6, 7) ein Bild (10) einer Umgebung (11) des Kraftfahrzeugs (1) erfasst wird und das Bild (10) mittels einer elektronischen Recheneinrichtung (9) des Systems (2) ausgewertet wird und in Abhängigkeit von der Auswertung der Fokus (3) der Kamera (4, 5, 6, 7) überwacht wird, dadurch gekennzeichnet, dass mittels einer Lichteinrichtung (8) des Systems (2) ein vordefiniertes Muster (12) auf eine Straße (13), auf welcher sich das Kraftfahrzeug (1) befindet, projiziert wird und das projizierte Muster (12) im erfassten Bild (10) erfasst wird und das projizierte Muster (12) ausgewertet wird und in Abhängigkeit von dem ausgewerteten Muster (12) der Fokus (3) der Kamera (4, 5, 6, 7) überwacht wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Lichteinrichtung (8) eine Abblendlichteinrichtung (21) des Kraftfahrzeugs (1) und/oder eine Hecklichteinrichtung (22) des Kraftfahrzeugs (1) genutzt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das vordefinierte Muster (12) außerhalb eines Sichtbereichs eines Insassen des Kraftfahrzeugs (1) auf die Straße (13) projiziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das vordefinierte Muster (12) durch eine Anwesenheit von Lichtstrahlen (30) mittels der Lichteinrichtung (8) erzeugt wird und/oder das vordefinierte Muster (12) durch eine Abwesenheit von Lichtstrahlen (30) mittels der Lichteinrichtung (8) erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das vordefinierte Muster (12) dauerhaft, insbesondere zumindest während eines Fahrbetriebs des Kraftfahrzeugs (1), auf die Straße (13) projiziert wird.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass+ das vordefinierte Muster (12) zeitlich begrenzt, insbesondere während eines Fahrbetriebs des Kraftfahrzeugs (1), auf die Straße (13) projiziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das vordefinierte Muster (12) auf Basis einer Modulationsübertragungsfunktion-Technologie erzeugt und die Auswertung des vordefinierten Musters (12) auf Basis der Modulationsübertragungsfunktion-Technologie durchgeführt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit des überwachten Fokus (3) ein Steuersignal (28) für eine weitere Funktionseinheit (29) des Systems (2) erzeugt wird.
Verfahren nach Ansprüche 8, dadurch gekennzeichnet, dass in Abhängigkeit von dem Steuersignal (28) ein Warnsignal mittels einer Warneinrichtung als Funktionseinheit (29) für einen Insassen des Kraftfahrzeugs (1) zum Warnen des Insassen erzeugt wird.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass in Abhängigkeit von dem Steuersignal (28) ein Fokus (3) der Kamera (4, 5, 6, 7) mittels der Kamera (4, 5, 6, 7) justiert wird und/oder die Lichteinrichtung (8) justiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit von dem überwachten Fokus (3) eine Kalibrierung der Kamera (4, 5, 6, 7) durchgeführt wird und/oder eine Kalibrierung der Kamera (4, 5, 6, 7) bei der Überwachung des Fokus (3) berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das vordefinierte Muster (12) in einen vordefinierten Erfassungsbereich der Kamera (4, 5, 6, 7) projiziert wird.
Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Speichermedium gespeichert sind, um das Verfahren nach einem der vorhergehenden Ansprüche 1 bis 12 durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Recheneinrichtung (9) abgearbeitet wird.
Computerlesbares Speichermedium mit einem Computerprogrammprodukt nach Anspruch 13.
System (2) eines Kraftfahrzeugs (1) zum Überwachen eines Fokus (3) einer an einem Kraftfahrzeug (1) angeordneten Kamera (4, 5, 6, 7), mit zumindest einer Kamera (4, 5, 6, 7), einer Lichteinrichtung (8) und einer elektronischen Recheneinrichtung (9), wobei das System (1) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 12 ausgebildet ist.