-
Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen von Bilddaten von einem Kamerasystem für ein Kraftfahrzeug nach dem Oberbegriff des Anspruchs 1, ein Kamerasystem für ein Kraftfahrzeug nach dem Oberbegriff des Anspruchs 11 sowie ein Kraftfahrzeug nach dem Oberbegriff des Anspruchs 12.
-
Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik in vielfältiger Ausgestaltung bekannt. Ein solches Kamerasystem beinhaltet bekanntlich eine Kamera, welche an dem Kraftfahrzeug angeordnet ist und welche einen Umgebungsbereich des Kraftfahrzeugs erfasst. Das Kamerasystem kann auch mehrere solche Kameras aufweisen, welche die gesamte Umgebung um das Kraftfahrzeug herum erfassen können. Die an dem Kraftfahrzeug angeordnete Kamera stellt Bilddaten in Form eines digitalen, elektronischen Bilds oder einer Sequenz von digitalen, elektronischen Bildern des Umgebungsbereichs bereit und erfasst somit eine Vielzahl von Bildern pro Sekunde. Diese Sequenz von Bildern kann dann mit Hilfe einer elektronischen Bildverarbeitungseinrichtung verarbeitet werden. Somit können beispielsweise Objekte in dem Umgebungsbereich des Kraftfahrzeugs erkannt werden.
-
Hierbei ist es erforderlich, dass die Objekte in den Bilddaten bzw. Bildern, die mit der Kamera bereitgestellt werden, zuverlässig erkannt werden. Insbesondere müssen die Objekte hierbei, also beispielsweise Hindernisse, weitere Verkehrsteilnehmer oder Fußgänger, von anderen Objekten im Umgebungsbereich unterschieden werden können.
-
Aus der
DE 10 2016 114 168 A1 ist ein Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels eines Kamerasystems sowie ein derartiges Kamerasystem für ein Kraftfahrzeugs bekannt. Aus den von dem Kamerasystem bereitgestellten Bilddaten wird durch reine Bildverarbeitung eine Objektverfolgung ermöglicht. Hierzu wird eine Bildfolgenanalyse durchgeführt, anhand welcher bewegte Objekte in den Bildern verfolgt, durch Merkmale klassifiziert und detektiert werden.
-
Die
DE 2014 115 292 A1 offenbart ein Verfahren zum Bereitstellen von Bilddaten von einem Kamerasystem für ein Kraftfahrzeug, wobei eine plenoptische Kamera zur Gewinnung der Bilddaten verwendet wird, um die Tiefenschärfe bzw. Fokussierungsebene nachträglich, das heißt nach der Erzeugung und Bereitstellung der Bilder durch das Kamerasystem, durch alleinige Softwareverarbeitung der bereitgestellten Kamerabilder zu ändern.
-
Weiter beschreibt die
DE 10 2016 112 483 A1 ein Verfahren zum Reduzieren von Störsignalen in einem Draufsichtbild, welches ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs zeigt. Das Draufsichtbild wird auf Basis von Rohbildern bestimmt, die durch mindestens zwei fahrzeugseitige Kameras aufgenommen und dann mittels elektronischer Bildverarbeitung kombiniert werden.
-
Die
DE 10 2009 000 004 A1 offenbart eine Kameraanordnung für ein Kraftfahrzeug, wobei die Kameraanordnung eine Kamera mit einem Bildsensor zur Ausgabe von Bilddaten und eine Kameraoptik zum Erfassen eines ersten Umfelds und Abbilden des ersten Umfelds mit einer ersten, statischen Gegenstandsweite auf dem Bildsensor aufweist. Außerdem weist die beschriebene Kameraanordnung eine im Strahlengang der Kameraoptik angeordnete Kamerazusatzoptik auf, durch die ein zweites Umfeld, insbesondere eine Fensterscheibe des Fahrzeugs, mit einer zweiten, statischen Gegenstandsweite auf dem Bildsensor abgebildet wird.
-
Vor diesem Hintergrund liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein Verfahren zum Bereitstellen von Bilddaten von einem Kamerasystem für ein Kraftfahrzeug, ein Kamerasystem für ein Kraftfahrzeug sowie ein Kraftfahrzeug bereitzustellen, die eine bezüglich der Qualität des Auswertungsergebnisses und/oder der benötigten Auswertungsgeschwindigkeit und/oder der mindestens bereitzuhaltenden Rechenressourcen und/oder der Erkennungsfähigkeit von Objekten und/oder Objektbewegungen in der Fahrzeugumgebung sowie weiteren, für den Betrieb des Kraftfahrzeugs relevanten Eigenschaften der Fahrzeugumgebung (z. B. Fahrbahnbeschaffenheit) deutlich verbesserte Bilddatenverarbeitung ermöglichen, um hierdurch nicht zuletzt auch die Fahrsicherheit weiter zu steigern. Insbesondere soll das Bilddatenverarbeitungsergebnis erheblich geringer von äußeren Störeinflüssen in der Fahrzeugumgebung, beispielsweise Nebel, Regen, Schneefall, verminderte bzw. eingeschränkte Sicht bei Nacht und/oder Blendung (z. B. direkte Sonneneinstrahlung, Gegenverkehr), beeinflusst werden. Darüber hinaus soll die Bilddatenverarbeitung auch dynamisch auf Änderungen des Fahrzustands, beispielsweise Fahrzeuggeschwindigkeit wie bei Autobahn- oder Stadtfahrten, bei Parkmanövern und dergleichen, reagieren und auf diese Weise die vorstehend genannten Ziele erreichen können. Das Kamerasystem sowie das Kraftfahrzeug sollen ferner einfach bauen und kostengünstig herzustellen sein.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch ein Kamerasystem mit den Merkmalen des Anspruchs 11 und durch ein Kraftfahrzeug mit den Merkmalen des Anspruchs 12 gelöst. Weitere, besonders vorteilhafte Ausgestaltungen der Erfindung offenbaren die jeweiligen Unteransprüche.
-
Es ist darauf hinzuweisen, dass die in den Ansprüchen einzeln aufgeführten Merkmale in beliebiger, technisch sinnvoller Weise miteinander kombiniert werden können und weitere Ausgestaltungen der Erfindung aufzeigen. Die Beschreibung charakterisiert und spezifiziert die Erfindung insbesondere im Zusammenhang mit den Figuren zusätzlich.
-
Es sei ferner angemerkt, dass eine hierin verwendete, zwischen zwei Merkmalen stehende und diese miteinander verknüpfende Konjunktion „und/oder“ stets so auszulegen ist, dass in einer ersten Ausgestaltung des erfindungsgemäßen Gegenstands lediglich das erste Merkmal vorhanden sein kann, in einer zweiten Ausgestaltung lediglich das zweite Merkmal vorhanden sein kann und in einer dritten Ausgestaltung sowohl das erste als auch das zweite Merkmal vorhanden sein können.
-
Bei einem erfindungsgemäßen Verfahren zum Bereitstellen von Bilddaten von wenigstens einer Kamera, insbesondere Digitalkamera, für ein Kraftfahrzeug, zum Beispiel zweispurige Landfahrzeuge wie PKW, Bus, LKW und dergleichen oder einspurige Landfahrzeuge wie beispielsweise Motorräder, werden die Bilddaten von einem Bildsensor der Kamera, beispielsweise in Form eines elektronischen Sensorarrays, erzeugt. Die erzeugten Bilddaten repräsentieren einen Abbildungsbereich aus einer Umgebung des Kraftfahrzeugs. Vorzugsweise ist diese Umgebung des Kraftfahrzeugs eine Außenumgebung des Fahrzeugs. Die Erfindung ist jedoch nicht zwingend hierauf beschränkt. Die Umgebung des Fahrzeugs kann ebenso ein sich im Fahrzeuginnenraum befindender Bereich sein, zum Beispiel ein Fahrgastinnenraum, Laderaum und dergleichen.
-
Weiterhin werden die Bilddaten gemäß der Erfindung einer Auswerteeinrichtung zur elektronischen Auswertung zugeführt. Der Begriff „Auswerteeinrichtung“ ist im Sinne der vorliegenden Erfindung weit auszulegen und umfasst beispielsweise allgemein eine elektronische Rechen- und Speichereinheit, die wenigstens eine Funktion oder auch mehrere Funktionen parallel ausführen kann. Als Funktion ist wiederum eine vorzugsweise in Software realisierte Anwendung zu verstehen, die von der Rechen- und Speichereinheit ausgeführt wird. Die Erfindung ist jedoch nicht auf softwarerealisierte Funktionen beschränkt, sondern kann auch in Hardware realisierte Funktionen und Kombinationen hiervon beinhalten. Weiterhin muss die Auswerteeinrichtung nicht zwingend eine einzige bauliche Einheit bilden - auch wenn eine auf diese Weise erzielbare kompakte Bauweise bevorzugt ist - sondern es können auch mehrere voneinander räumlich getrennte Rechen- und Speichereinheiten, die jeweils eine oder mehrere Funktionen realisieren bzw. ausführen, zu einer Auswerteeinrichtung im Sinne der vorliegenden Erfindung zusammengeschaltet sein, das heißt entsprechend in datenübertragender Weise (z. B. über ein Netzwerk oder einen Bus) miteinander verbunden sein.
-
Die Erfindung sieht weiter vor, dass der durch die Kamera abgebildete Abbildungsbereich von der Auswerteeinrichtung mittels wenigstens eines vorgegebenen, die kameraseitige Erzeugung der Bilddaten beeinflussenden Kameraparameters gesteuert wird. Mit anderen Worten ist die Auswerteeinrichtung mit der Kamera in funktionssteuernder Weise derart rückgekoppelt, dass die Auswerteeinrichtung unmittelbar die kameraseitige Erzeugung der Bilddaten mittels des wenigstens einen Kameraparameters und damit letztendlich kameraseitig den durch Kamera abgebildeten Abbildungsbereich der Umgebung steuern kann. Insbesondere kann die Beeinflussung der Erzeugung der Bilddaten kameraseitig zum Beispiel eine direkte Beeinflussung der auf den Bildsensors einfallenden Lichtstrahlen beinhalten (z. B. Steuerung einer Blendengröße und/oder Brennweite einer dem Bildsensor vorgelagerten, die Lichtstrahlen auf den Bildsensor führenden Kameraoptik, Steuerung einer Gegenstandsweite, Breite/Höhe (= Gesichtsfeld) des Abbildungsbereichs und/oder Fokussierungsebene im Abbildungsbereich, Steuerung einer Belichtungszeit etc.) oder zum Beispiel eine Beeinflussung der Aufnahmeempfindlichkeit des Bildsensors. Weitere bereits bekannte, aber auch zukünftige Möglichkeiten einer Kamera zur direkten Beeinflussung der von ihrem Bildsensor infolge der auf diesen einfallenden und ggfs. von einer vorgelagerten Kameraoptik geführten Lichtstrahlen erzeugten Bilddaten sollen ebenfalls von der hierin dargelegten Offenbarung beinhaltet sein.
-
Die so erzeugten Bilddaten können dann im Wesentlichen unverändert, also unmittelbar und ohne datenverändernden Zwischenschritt, der Auswerteeinrichtung zur Auswertung, insbesondere zur digitalen Bildverarbeitung bzw. Bildauswertung, zugeführt werden. Auf eine ansonsten beispielsweise erst nach der kameraseitigen Erzeugung der Bilddaten, jedoch vor der eigentlichen Bildauswertung durch die Auswerteeinrichtung vorgenommene Umrechnung (= Datenveränderung) der kameraseitig erzeugten Bilddaten kann bei der vorliegenden Erfindung in vorteilhafter Weise verzichtet werden, da die Bilddaten erfindungsgemäß bereits kameraseitig in der für die eigentliche Bildauswertung gewünschten Form erzeugt werden und damit unmittelbar vorliegen. Dies verringert u. a. die für die digitale Bildauswertung erforderliche Rechen- und Speicherkapazität und/oder Rechenzeit bzw. ermöglicht andererseits bei unveränderter Rechen- und Speicherkapazität die Handhabung einer von der Kamera bereitgestellten höheren Bildauflösung.
-
Somit lässt sich grundsätzlich die Qualität des Verarbeitungs- bzw. Auswerteergebnisses - insbesondere zum Beispiel eine schnellere und genauere Objekterkennung und Objektverfolgung - deutlich verbessern, ohne jedoch im Wesentlichen die Rechen- und Speicheranforderungen der Auswerteeinrichtung erhöhen zu müssen, was sich wiederum positiv auf die Herstellungskosten auswirkt. Zudem vereinfacht sich der Aufbau und Betrieb des aus der Kamera und der Auswerteeinrichtung gebildeten Systems, da die Bilddaten lediglich unmittelbar der Kamera entnommen werden und der Auswertung zugeführt werden können.
-
Darüber hinaus ermöglicht die Vorgabe des wenigstens einen Kameraparameters zur Steuerung bzw. Festlegung des Abbildungsbereichs der Auswerteeinrichtung mittels lediglich einer Kamera eine Vielzahl unterschiedlicher Informationen aus der Umgebung des Fahrzeugs zu erfassen, die insbesondere erheblich verschiedene Gegenstandsweiten zur Kamera aufweisen können. Darüber hinaus können auch noch weitere, ebenso für den Betrieb des Kraftfahrzeugs relevante Eigenschaften der Fahrzeugumgebung wie beispielsweise eine Fahrbahnbeschaffenheit (z. B. Reibwert, Schlaglöcher etc.) erfasst und ausgewertet werden, wodurch sich nicht zuletzt die Fahrsicherheit weiter steigern lässt.
-
Weiterhin kann durch gezielte Auswahl des Abbildungsbereichs, beispielsweise die Abbildungsdistanz und/oder das Abbildungsgesichtsfeld, das heißt die vertikale Abbildungshöhe und horizontale Abbildungsbreite, unter Berücksichtigung von die Abbildung des Abbildungsbereichs beeinträchtigenden Störeinflüssen in der Fahrzeugumgebung, beispielsweise Wetterbedingungen wie Nebel, Regen, Schneefall, verminderte bzw. eingeschränkte Sicht bei Nacht und/oder Blendung (z. B. durch direkte Sonneneinstrahlung, Gegenverkehr etc.), dennoch ein qualitativ hochwertiges Verarbeitungs- bzw. Auswertungsergebnis erzielt werden.
-
Außerdem kann der Abbildungsbereich durch die Auswerteeinrichtung auch dynamisch entsprechend eines aktuellen Fahrzustands des Fahrzeugs angepasst werden, beispielsweise in Abhängigkeit von der aktuellen Fahrzeuggeschwindigkeit, z. B. bei Autobahn- oder Stadtfahrten, Parkmanövern und dergleichen. Bei hohen Geschwindigkeiten erweist sich beispielsweise die Wahl einer deutlich größeren Abbildungsdistanz (Gegenstandsweite) gegenüber Stadtfahrten als deutlicher Vorteil. Bei Parkmanövern ist insbesondere eine konstant kurze Abbildungsdistanz im nahen Umfeld des Fahrzeugs wünschenswert, um Objekte bzw. Hindernisse in unmittelbarer Nähe zum Fahrzeug erkennen zu können.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird durch den wenigstens einen Kameraparameter wenigstens eine Eigenschaft der Kamera gesteuert, die eine räumliche Abbildungsdistanz des Abbildungsbereichs zur Kamera, ein Gesichtsfeld des Abbildungsbereichs, eine Fokussierungsebene im Abbildungsbereich, eine Einzelbildbelichtungszeit der Kamera, eine Aufnahmeempfindlichkeit des Bildsensors, eine Blendengröße einer Kameraoptik und/oder eine Brennweite einer Kameraoptik sein kann.
-
Eine weitere vorteilhafte Ausgestaltung der Erfindung sieht vor, dass der Kameraparameter ereignisgesteuert in Abhängigkeit von einem Zustand der Umgebung des Kraftfahrzeugs und/oder einem Fahrzustand des Kraftfahrzeugs durch die Auswerteeinrichtung vorgegeben wird. Mit anderen Worten kann sich der von der Auswerteeinrichtung gesteuerte Kameraparameter während des Fahrzeugbetriebs bei Eintreten bestimmter Ereignisse dynamisch ändern. Wie bereits weiter oben erläutert wurde, können solche Ereignisse Änderungen der Sichtbedingungen infolge des Wetters, der Lichtverhältnisse bei Tag oder Nacht oder Blendung durch Sonneneinstrahlung, Gegenverkehr und dergleichen und/oder ebenso das Erreichen eines bestimmten fahrdynamischen Zustandssein des Kraftfahrzeugs (z. B. Geschwindigkeit) sein.
-
Gemäß einer noch weiteren vorteilhaften Ausgestaltung der Erfindung wird der Kameraparameter funktionsgesteuert gemäß einer Anforderung einer von der Auswerteeinrichtung ausgeführten Funktion vorgegeben. Mit anderen Worten wird der Kameraparameter bei dieser Ausgestaltung abhängig von der durch die Auswerteeinrichtung konkret ausgeführten Funktion vorgegeben. Von der Auswerteeinrichtung ausgeführte Funktionen können insbesondere beispielsweise Fahrassistenzfunktionen wie Spurerkennungsassistent, Kollisionswarnassistent, (Not-)Bremsassistent, Einparkhilfe, (adaptiver) Fernlichtassistent, (adaptive) Geschwindigkeitsregelung, Verkehrszeichenerkennung, Nachtsichtassistent, Reibwerterkennung, Schlaglocherkennung und dergleichen sein. Der durch die spezifische Funktion vorgegebene Kameraparameter kann ein während der gesamten Funktionsausführung konstanter, einmalig vorherbestimmter Parameterwert sein (z. B. Fokussierungsebene, Abbildungsgesichtsfeld und dergleichen für eine automatische Einparkhilfe). Auf diese Weise kann im Voraus für derartige, von der Auswerteeinrichtung auszuführende Funktionen der bzw. die vorzugebende(n) Kameraparameter einmalig festgelegt, gespeichert und zu gegebenem Zeitpunkt der Kamera vorgegeben werden.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird der wenigstens Kameraparameter abhängig von einem Ergebnis der Bilddatenauswertung durch die jeweilig ausgeführte Funktion dynamisch vorgegeben. Bei dieser Ausgestaltung wird der Kameraparameter dynamisch abhängig von dem Auswertungsergebnis der bereitgestellten Bilddaten geändert. So kann es beispielsweise für eine genaue und rasche Objekterkennung in den Bilddaten vorteilhaft sein, die Fokussierungsebene im von der Kamera erfassten Abbildungsbereich und/oder das Abbildungsgesichtsfeld zu verändern, um weitere Details des zu erfassenden Objekts im Abbildungsbereich deutlicher abzubilden und hierdurch eine genauere und schnellere Objekterkennung oder Objektverfolgung erzielen zu können.
-
Nach einer weiterhin bevorzugten Ausgestaltung der Erfindung werden durch die Auswerteeinrichtung parallel mehrere Funktionen, beispielsweise die hierin erwähnten Fahrassistenzfunktionen, ausgeführt. Hierbei wird der Kamera jeweils für jede ausgeführte Funktion mittels einer Steuereinheit der Auswerteeinrichtung nach Art einer Zeitmultiplexsteuerung mit wenigstens einem Zeitschlitz je ausgeführter Funktion und Multiplexzyklus der wenigstens eine Kameraparameter zur Steuerung der Kameraeigenschaft(en) vorgegeben. Dann werden der entsprechenden, ausgeführten Funktion die von der Kamera bereitgestellten Bilddaten zur Auswertung zugeführt. Das heißt, innerhalb des der jeweils ausgeführten Funktion zugeordneten Zeitschlitzes wird der bzw. werden die Kameraparameter der Kamera vorgegeben und die Bilddaten anschließend von der Kamera an die Auswerteeinrichtung bzw. die augenblicklich ausgeführte Funktion übertragen. Ein Multiplexzyklus setzt sich aus der Gesamtzahl zugeordneter Zeitschlitze zusammen.
-
Während der Ausführung der Zeitmultiplexsteuerung werden dann die Multiplexzyklen wiederholt ausgeführt.
-
Die Steuereinheit wird hierin auch als „Multiplexer“ oder „Funktionsmanager“ bezeichnet und kann ebenfalls wie die Funktionen selbst in von der Auswerteeinrichtung ausgeführter Software realisiert sein, ohne jedoch hierauf beschränkt zu sein.
-
Die vorliegende Ausgestaltung ermöglicht in besonders vorteilhafter Weise die Verwendung lediglich einer Kamera für eine Vielzahl an von der Auswerteeinrichtung auszuführenden Funktionen, was den Aufbau des aus der wenigstens einen Kamera und der Auswerteeinrichtung gebildeten Systems sowohl vereinfacht sowie kompakter als auch kostengünstiger macht.
-
Vorzugsweise kann eine durch eine Gesamtanzahl und/oder Zuordnung der Zeitschlitze zu jeweiligen Funktionen bestimmte Zusammensetzung des Multiplexzyklus in regelmäßigen Zeitabständen neu bestimmt werden. Mit anderen Worten können gemäß einer solchen Ausgestaltung die einen Multiplexzyklus bildenden Zeitschlitze in regelmäßigen Zeitabständen neu vergeben bzw. anderen Funktionen zugeordnet werden. Beispielsweise kann eine Funktion durch einen Fahrer des Fahrzeugs und/oder anderweitig wie hierin erläutert ereignisgesteuert aktiviert und/oder deaktiviert werden, so dass sich die Anzahl und Art der von der Auswerteeinrichtung ausgeführten Funktionen zu einem gegebenen Zeitpunkt ändern kann. Die regelmäßig wiederholte Neuzuordnung bzw. Neuzusammenstellung des Multiplexzyklus gewährleisten eine korrekte und schnelle Berücksichtigung derartiger Änderungen. Zum Beispiel kann die Neuzusammenstellung des Multiplexzyklus in verhältnismäßig kurzen Zeitintervallen, beispielsweise innerhalb von 10 ms bis einige 10 ms bis hin zu 100 ms bis einige wenige 100 ms durchgeführt werden. Bevorzugt wird der Multiplexzyklus in Zeitintervallen kleiner als 5 s, besonders bevorzugt kleiner als 1 s regelmäßig neu bestimmt.
-
Alternativ lässt sich die Gesamtzahl an bereitzustellenden Zeitschlitzen im Multiplexzyklus auch anhand der insgesamt von der Auswerteeinrichtung auszuführenden Funktionen einmalig vorab festlegen, so dass der Multiplexzyklus anschließend während der gesamten Ausführung der Zeitmultiplexsteuerung einen konstanten Umfang an Zeitschlitzen aufweist. Der Zeitschlitz einer deaktivierten Funktion kann in diesem Fall jedoch nicht von anderen, aktiven Funktionen genutzt werden, wie dies im vorbeschriebenen Fall einer dynamischen Zusammensetzung des Multiplexzyklus möglich ist.
-
Auch eine Kombination der beiden vorstehenden Ausführungsvarianten ist möglich, so dass beispielsweise einerseits eine vorab vorgegebene feste Anzahl an Zeitschlitzen je Multiplexzyklus zum Beispiel für sicherheitsrelevante oder anderweitig betriebskritische und daher stets auszuführende Funktionen reserviert ist und andererseits weniger kritische Funktionen variabel in den Multiplexzyklus aufgenommen oder aus diesem entfernt werden können.
-
Gemäß einer noch weiteren vorteilhaften Ausgestaltung der Erfindung wird eine Zeitdauer des jeweils einer auszuführenden Funktion zugeordneten Zeitschlitzes im Multiplexzyklus abhängig von der auszuführenden Funktion individuell festgelegt. So können unterschiedliche Funktionen entsprechend ihrer individuell festgelegten Zeitschlitzdauer in jedem Multiplexzyklus unterschiedlich lange mit Bilddaten von der Kamera versorgt werden, beispielsweise um während eines Zeitschlitzes weitere Details des auszuwertenden, von der Kamera erfassten Abbildungsbereichs erfassen bzw. detektieren zu können. Die Zeitschlitzdauer kann jedoch auch für alle Funktionen identisch festgelegt werden.
-
Eine weitere vorteilhafte Ausgestaltung der Erfindung sieht vor, dass der einer auszuführenden Funktion zugeordnete Zeitschlitz innerhalb desselben Multiplexzyklus mehrfach vorgesehen wird. Mit anderen Worten können auf diese Weise derselben Funktion innerhalb desselben Multiplexzyklus mehrfach die Kontrolle über die Kamera (Vorgabe des Kameraparameters) zugeteilt und anschließend die entsprechenden Bilddaten zur Auswertung von der Kamera an die Funktion übertragen werden. Somit lässt sich die Auswertungshäufigkeit bzw. Auswertungsfrequenz einer bestimmten Funktion relativ zu anderen Funktionen vorgeben, das heißt erhöhen oder verringern, wodurch in einfacher Weise eine Priorisierung unter den von der Auswerteeinrichtung auszuführenden Funktionen realisiert werden kann.
-
Eine noch weitere vorteilhafte Ausgestaltung der Erfindung sieht vor, dass Bilddaten von wenigstens zwei Kameras bereitgestellt und der Auswerteeinrichtung zugeführt werden, wobei die von den jeweiligen Kameras abgebildeten Abbildungsbereiche von der Auswerteeinrichtung je Kamera anhand wenigstens eines vorgegebenen, die jeweilige kameraseitige Erzeugung der Bilddaten beeinflussenden Kameraparameters unabhängig voneinander gesteuert werden. Auf diese Weise lassen sich gleichzeitig zum Beispiel unterschiedliche Fokussierungsebenen, Abbildungsdistanzen, Gesichtsfelder etc. desselben Abbildungsbereichs durch die mehreren Kameras abbilden und der Auswerteeinrichtung bzw. der von dieser ausgeführten Funktion/Funktionen zur Verfügung stellen, so dass eine noch schnellere Objekterkennung ermöglicht wird. Die unterschiedlichen Bilddaten der mehreren Kameras desselben Abbildungsbereichs können ebenfalls geeignet miteinander verknüpft, zum Beispiel überlagert, werden, bevor sie einer ausgeführten Funktion zugeführt werden, wodurch sich weitere Details des aufgenommenen Abbildungsbereichs und/oder eine noch genauere oder noch schnellere Objekterkennung im Abbildungsbereich erzielen lassen. Unterschiedliche Kameras können jedoch auch unterschiedliche Abbildungsbereiche aufnehmen und bereitstellen, beispielsweise einen zentralen, schmalen sowie einen peripheren, breiten Abbildungsbereich zur Erfassung unterschiedlicher Fahrbahnbereiche.
-
Die Bilddaten der mehreren Kameras können von einer einzigen Steuereinheit der Auswerteeinrichtung an die jeweiligen, ausgeführten Funktionen weitergereicht werden (entsprechend ebenso die jeweiligen, von den Funktionen vorgegebenen Kameraparameter). Die Auswerteeinrichtung kann jedoch auch mehrere Steuereinheiten vorsehen, um mit je einer Steuereinheit den Datenfluss zwischen einer Kamera und den jeweils zugeordneten Funktionen zu steuern.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein Kamerasystem für ein Kraftfahrzeug offenbart, das wenigstens eine Kamera zum Bereitstellen von durch einen Bildsensor der Kamera erzeugten Bilddaten, die einen Abbildungsbereich aus einer Umgebung des Kraftfahrzeugs repräsentieren, und eine mit der Kamera in datenübertragender Weise verbundene elektronischen Auswerteeinrichtung zum Auswerten der zugeführten Bilddaten aufweist. Der durch die Kamera abgebildete Abbildungsbereich ist durch Vorgabe wenigstens eines die kameraseitige Erzeugung der Bilddaten beeinflussenden Kameraparameters steuerbar und die Auswerteeinrichtung ist zum Durchführen eines Verfahrens nach einer der vorstehend beschriebenen Ausgestaltungen ausgebildet.
-
Gemäß einem noch weiteren Aspekt der Erfindung wird ein Kraftfahrzeug mit einem Kamerasystem wie vorstehend definiert offenbart.
-
Bezüglich vorrichtungsbezogener Begriffsdefinitionen sowie der Wirkungen und Vorteile vorrichtungsgemäßer Merkmale wird vollumfänglich auf die vorstehenden Erläuterungen sinngemäßer Definitionen, Wirkungen und Vorteile bezüglich des erfindungsgemäßen Verfahrens verwiesen. Offenbarungen hierin bezüglich der erfindungsgemäßen Vorrichtungen sollen in sinngemäßer Weise auch zur Definition des erfindungsgemäßen Verfahrens herangezogen werden können, sofern dies hierin nicht ausdrücklich ausgeschlossen ist. Ebenso sollen Offenbarungen hierin bezüglich des erfindungsgemäßen Verfahrens in sinngemäßer Weise zur Definition der erfindungsgemäßen Vorrichtungen herangezogen werden können, sofern dies hierin nicht ebenfalls ausdrücklich ausgeschlossen ist. Insofern wird hierin auf eine Wiederholung von Erläuterungen sinngemäß gleicher Merkmale, deren Wirkungen und Vorteile bezüglich der hierin offenbarten erfindungsgemäßen Vorrichtungen sowie des hierin offenbarten erfindungsgemäßen Verfahrens zugunsten einer kompakteren Beschreibung weitgehend verzichtet.
-
Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass das Kamerasystem des Kraftfahrzeugs mehrere Kameras aufweist, die derart angeordnet, insbesondere ausgerichtet sind, dass deren Bilddaten jeweils einen Abbildungsbereich aus der Umgebung des Kraftfahrzeugs aus unterschiedlichen Blickrichtungen repräsentieren. Mit anderen Worten können die mehreren Kameras in dem Kraftfahrzeug so angeordnet sein, dass diese unterschiedliche Umgebungsbereich erfassen, insbesondere Umgebungsbereiche aus sich voneinander unterscheidenden Blickrichtungen. Zum Beispiel kann eine der mehreren Kameras in Fahrtrichtung nach vorne ausgerichtet sein, um einen sich vor dem Kraftfahrzeug befindenden Umgebungsbereich (insbesondere eine Fahrbahn oder wenigstens einen Teil davon) zu erfassen. Eine weitere Kamera der mehreren Kameras kann beispielsweise nach hinten ausgerichtet sein, so dass diese einen rückwärtigen Umgebungsbereich des Fahrzeugs erfassen kann. Ebenfalls können noch weitere Kameras beispielsweise auch seitliche Umgebungsbereiche des Kraftfahrzeugs erfassen, indem diese jeweils zu einer Fahrzeugseite ausgerichtet sind. So lässt sich die Qualität des Auswertungsergebnisses beispielsweise durch Kombination der Bilddaten der mehreren Kameras noch weiter verbessern.
-
Bevorzugt ist die wenigstens eine Kamera des erfindungsgemäßen Kamerasystem eine digitale Kamera, deren durch den wenigstens einen Kameraparameter beeinflussten Abbildungseigenschaften, beispielsweise die Einstellung der Fokussierungsebene, der Gegenstandsweite, des Gesichtsfelds etc., in verhältnismäßig kurzer Zeit, beispielsweise zwischen 5 ms und 100 ms, bevorzugter zwischen 10 ms und 50 ms, zum Beispiel zwischen 15 ms und 25 ms, veränderbar und einstellbar ist. Auf diese Weise lassen sich eine Vielzahl an Änderungen der Abbildungseigenschaften der Kamera pro Sekunde durchführen, beispielsweise 10 bis 200 Änderungen pro Sekunde, um somit eine Vielzahl an unterschiedlichen Funktionen, die unterschiedliche Kameraparameter erfordern, mit Bilddaten einer einzigen Kamera versorgen zu können.
-
Zusätzlich oder alternativ zu den im von Menschen optisch wahrnehmbaren Spektralbereich arbeitenden Kameras kann im Rahmen der vorliegenden Erfindung gleichfalls die Verwendung von Kameras vorgesehen sein, die beispielsweise nur oder zusätzlich im infraroten Spektralbereich arbeiten.
-
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung eines nicht einschränkend zu verstehenden Ausführungsbeispiels der Erfindung, die im Folgenden unter Bezugnahme auf die Zeichnung näher erläutert wird. In dieser Zeichnung zeigen schematisch:
- 1 ein Ausführungsbeispiel eines Kraftfahrzeugs mit einem Ausführungsbeispiel eines Kamerasystems zum Bereitstellen von Bilddaten gemäß der Erfindung und
- 2 eine vergrößerte Detailansicht des Kamerasystems aus 1.
-
In den unterschiedlichen Figuren sind hinsichtlich ihrer Funktion gleichwertige Teile stets mit denselben Bezugszeichen versehen, so dass diese in der Regel auch nur einmal beschrieben werden.
-
Nachstehend wird Bezug sowohl auf 1 als auch auf 2 genommen, wobei 1 schematisch ein Ausführungsbeispiel eines Kraftfahrzeugs 1 mit einem Ausführungsbeispiel eines Kamerasystems 2 zum Bereitstellen von Bilddaten gemäß der Erfindung darstellt und 2 eine vergrößerte Detailansicht des Kamerasystems 2 aus 1.
-
Eine Front des Fahrzeugs 1 ist in 1 bei 3, ein Heck in 1 bei 4 angezeigt.
-
Das in 1 dargestellte Kamerasystem 2 weist vorliegend eine Kamera 5 mit einem Bildsensor 6 (s. 2) auf. Die von der Kamera 5 bereitgestellten Bilddaten werden in an sich bekannter Weise von dem Bildsensor 6 erzeugt. Die Bilddaten repräsentieren einen Abbildungsbereich 7 bzw. 7' aus einer Umgebung 8, vorliegend eine Außenumgebung, insbesondere ein vorderer, frontseitiger Umgebungsbereich, des Kraftfahrzeugs 1. Ferner weist das Kamerasystem 2 eine Auswerteeinrichtung 9, vorliegend eine elektronische Rechen- und Speichereinheit, auf, welcher die von der Kamera 5 bereitgestellten Bilddaten zugeführt werden bzw. zuführbar sind. Der Datenaustausch zwischen der Kamera 5 und der Auswerteeinrichtung 9 ist bidirektional ausgebildet, wie in 2 durch den Doppelpfeil verdeutlicht ist.
-
In an sich bekannter Weise werden von dem Abbildungsbereich 7 bzw. 7' ausgehende Lichtstrahlen durch eine Kameraoptik 10 zum Bildsensor 6 geführt. Die Kameraoptik 10 kann eine oder mehrere optische Linsen (nicht dargestellt), eine Blende (nicht dargestellt) und dergleichen aufweisen.
-
Die beispielhaft in 2 dargestellten zwei unterschiedlichen Abbildungsbereiche 7 und 7', die sich vorliegend durch unterschiedliche Abbildungsdistanzen 11, 11' (= Gegenstandsweiten) zur Kamera 5 sowie durch unterschiedliche Abbildungsgesichtsfelder 12, 12' unterscheiden, lassen sich durch die Auswerteeinrichtung 9 durch Vorgabe wenigstens eines die kameraseitige Erzeugung der Bilddaten beeinflussenden Kameraparameters P1-P6 steuern.
-
Wie in 2 verdeutlicht ist, sind durch die Auswerteeinrichtung 9 des vorliegenden Kamerasystems 2 parallel mehrere Funktionen F1-F6 ausführbar. Die Funktionen F1-F6, die beispielsweise Fahrassistenzfunktionen des Kraftfahrzeugs 1 sein können, sind bei dem Kamerasystem 2 in Form von Software (= maschinenausführbare Programmanweisungen) ausgebildet, die von der Auswerteeinrichtung 9 bzw. der sie bildenden elektronischen Rechen- und Speichereinheit ausgeführt werden. Die Auswerteeinrichtung 9 muss nicht als eine einzige bauliche Einheit vorgesehen sein, sondern kann auch aus mehreren, räumlich voneinander getrennt angeordneten einzelnen Einheiten (nicht dargestellt) gebildet sein, die dann in datenübertragender Weise miteinander verbunden sein können.
-
2 stellt einen Betriebszustand der Auswerteeinrichtung 9 dar, bei dem die Funktionen F1-F3 aktiviert sind (d. h. im dargestellten Zustand ausgeführt werden) und die Funktionen F4-F6 deaktiviert sind und augenblicklich nicht ausgeführt werden. Die Kameraparameter P1-P6 (sowie wahlweise weitere zur Ausführung der jeweiligen Funktionen F1-F6 von der Auswerteeinrichtung zu berücksichtigenden Ausführungsparameter wie beispielsweise eine Ausführungspriorität, Ausführungsfrequenz, Sicherheitsrelevanz und dergleichen), sind in den jeweiligen Parametersätzen P1-P6 gespeichert und den entsprechenden Funktionen F1-F6 zugeordnet.
-
Des Weiteren ist 2 eine Steuereinheit 13 (vorliegend ebenfalls in Form von maschinenausführbaren Programmanweisungen realisiert) der Auswerteeinrichtung 9 zu entnehmen, die den bidirektionalen Datenaustausch zwischen der Kamera 5 und den jeweiligen, ausgeführten Funktionen F1-F6 bzw. den augenblicklich aktiven Funktionen F1-F3 nach Art einer Zeitmultiplexsteuerung mit wenigstens einem Zeitschlitz je ausgeführter Funktion F1-F6 und je Multiplexzyklus steuert. Das heißt, der bzw. die einzustellenden Kameraparameter P1-P6 der mit der Kamera 5 zu einem gegebenen Zeitpunkt datenübertragend verbundenen Funktion F1-F6 werden von der Steuereinheit 13 der Auswerteeinrichtung 9 an die Kamera 5 übertragen, wodurch die Abbildungseigenschaften der Kamera 5 zur Festlegung des aufzunehmenden Abbildungsbereichs 7, 7' entsprechend gesteuert werden. Dann werden die von dem Bildsensor erzeugten Bilddaten von der Steuereinheit 13 an die zum gegebenen Zeitpunkt entsprechend ausgewählte Funktion F1-F6 übertragen, um von der jeweiligen Funktion F1-F6 wie hierin dargelegt ausgewertet zu werden. Die Steuereinheit 13 synchronisiert also die Datenübertragung zwischen der Kamera 5 und den jeweiligen, von der Auswerteeinrichtung 9 ausgeführten Funktionen F1-F6.
-
Eine je nach gewünschtem Abbildungsbereich 7, 7' funktionsabhängig vorgegebene, genauere Fokussierung bietet im Wesentlichen deutliche Vorteile hinsichtlich:
- - Erkennung von Objekten bzw. deren Merkmale (genauere Abbildung liefert genauere Entscheidungsschwellen und schneller Erkennung bei Bildfolgen)
- - Bessere Bestimmung der Objektgröße durch bessere Fokussierung infolge genauerer Distanzbestimmungen; ebenso genauere Bestimmungen von Bewegungsvektoren bei der Objektverfolgung
- - Bessere Erkennung von Objekten in einem Objekt oder auch von Teilen des Objektes (z. B. Erkennung von Menschen, die über Partikelfilter der einzelnen Gliedmaßen durchgeführt werden kann)
-
Weiterhin kann beispielsweise bei Nebel, Regen oder Schneefall die Abbildungsdistanz/Gegenstandsweite/Fokussierungsebene des von der Kamera abgebildeten Abbildungsbereichs an die durch derartige Wetterbedingungen vorgegebene reduzierte Sichtweite angepasst werden, um eine größtmögliche Auflösung für die Abbildung des Abbildungsbereichs auf dem Bildsensor innerhalb der maximal erzielbaren Sichtweite zu gewährleisten.
-
Bei deutlich verringerter Beleuchtung der Fahrbahn, z. B. bei Nachtfahrten, kann beispielsweise das Gesichtsfeld, insbesondere das horizontale Gesichtsfeld, des Abbildungsbereichs im Vergleich zu Tagfahrten vergrößert werden, um zusätzlich auch Randbereiche der Fahrbahn zu erfassen und hierdurch potentielle Gefahren, beispielsweise durch Tiere am Fahrbahnrand, die aufgrund der gewöhnlich im Wesentlichen lediglich zentral nach vorne gerichteten Ausleuchtung der Fahrbahn durch Fahrzeugscheinwerfer deutlich früher erkannt werden können.
-
Zur Realisierung beispielsweise eines Einparkassistenten kann die Gegenstandsweite des aufzunehmenden Abbildungsbereichs in vorteilhafter Weise temporär auf einen in dieser Situation besonders relevanten kurzen Abstand um das Fahrzeug vorgegeben werden, um Hindernisse beim Einparken frühzeitig erkennen zu können. Die Fokussierung der Kamera kann insbesondere zusätzlich auch auf die Fahrbahnoberfläche gerichtet werden, um durch eine verbesserte Auflösung der Abbildung der Fahrbahnoberfläche insbesondere auch kleine Objekte auf der Parkflächen erkennen zu können, die möglicherweise die Reifen des Fahrzeugs beschädigen können (z. B. Bruchglas, Nägel/Schrauben etc.).
-
Das hierin offenbarte erfindungsgemäße Verfahren sowie das hierin offenbarte erfindungsgemäße Kamerasystem für ein Kraftfahrzeug zum Bereitstellen von Bilddaten sind nicht auf die hierin jeweils offenbarten Ausführungsformen beschränkt, sondern umfassen auch gleich wirkende weitere Ausführungsformen, die sich aus technisch sinnvollen weiteren Kombinationen der hierin beschriebenen Merkmale sowohl des Verfahrens als auch des Kamerasystems ergeben. Insbesondere sind die vorstehend in der allgemeinen Beschreibung und der Figurenbeschreibung der vorliegenden Erfindung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen nicht nur in den jeweils angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der vorliegenden Erfindung zu verlassen. So kann ein Kamerasystem eines Fahrzeugs auch mehrere Kameras aufweisen, die in unterschiedliche Blickrichtungen ausgerichtet sein, um zum Beispiel einen frontseitigen und/oder einen heckseitigen Umgebungsbereich des Fahrzeugs zu erfassen. Alternativ oder zusätzlich kann/können auch seitliche Umgebungsbereiche des Fahrzeugs durch Vorsehen und entsprechendes Ausrichten einer oder mehrerer Kameras zu einer jeweiligen Fahrzeugseite durch das Kamerasystem erfasst werden. Damit erlaubt eine Kombination der Auswertungsergebnisse der durch mehrere Kameras mit unterschiedlichen Blickrichtungen erfassten Bilddaten eine noch weitere Steigerung der Auswertungsqualität und noch präzisere und/oder schneller erzielbare Auswertungsergebn isse.
-
In besonders bevorzugter Ausführungsform werden sowohl das erfindungsgemäße Verfahren als auch das erfindungsgemäße Kamerasystem in einem Kraftfahrzeug zum Bereitstellen von Bilddaten einer Fahrzeugumgebung zur verbesserten Bilddatenverarbeitung durch eine Auswerteeinrichtung verwendet.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Kamerasystem
- 3
- Front von 1
- 4
- Heck von 1
- 5
- Kamera
- 6
- Bildsensor
- 7
- Erster Abbildungsbereich
- 7'
- Zweiter Abbildungsbereich
- 8
- Außenumgebung von 1
- 9
- Auswerteeinrichtung
- 10
- Kameraoptik
- 11
- Erste Abbildungsdistanz
- 11'
- Zweite Abbildungsdistanz
- 12
- Erstes Abbildungsgesichtsfeld
- 12'
- Zweites Abbildungsgesichtsfeld
- 13
- Steuereinheit
- 14
- Windschutzscheibe von 1
- 15
- Heckscheibe von 1
- 16
- Seitenscheibe von 1
- F1-F6
- Erste bis sechste von 7 ausgeführte Funktion
- P1-P6
- Kameraparameter der jeweiligen Funktionen F1-F6
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016114168 A1 [0004]
- DE 2014115292 A1 [0005]
- DE 102016112483 A1 [0006]
- DE 102009000004 A1 [0007]
