-
Die Erfindung betrifft ein Verfahren zum Betrieb eines Kamerasystems in einem Kraftfahrzeug, umfassend wenigstens eine auf die Umgebung des Kraftfahrzeugs gerichtete Kamera und ein die Bilddaten der Kamera auswertendes Steuergerät. Daneben betrifft die Erfindung ein Kraftfahrzeug.
-
Fahrzeugsysteme, insbesondere Fahrerassistenzsysteme und/oder Sicherheitssysteme, werten häufig Bilddaten von auf die Umgebung des Kraftfahrzeugs gerichteten Kameras aus. Dabei ist es beispielsweise bekannt, ein sogenanntes Top-view-System einzusetzen, bei dem vier Weitwinkel-Kameras unterschiedliche Erfassungsbereiche um das Kraftfahrzeug derart überwachen, dass von einer Abdeckung eines 360°-Winkelbereichs gesprochen werden kann. Auch eine auf das Vorfeld gerichtete Kamera ist in Kraftfahrzeugen bekannt, beispielsweise im Bereich des Rückspiegels hinter der Windschutzscheibe verbaut.
-
Durch Bildverarbeitungsalgorithmen können die Bilddaten solcher Kameras insbesondere genutzt werden, um die Gegenwart und Eigenschaften von Objekten in der Umgebung des Kraftfahrzeugs zu ermitteln. Beispielsweise ist es möglich, einen im Bild dargestellten menschlichen Verkehrsteilnehmer, beispielsweise einen Passanten, zu detektieren und, beispielsweise durch Betrachtung aufeinanderfolgender Bilder der Kamera, ein Bewegungsmuster festzustellen und dergleichen. Dies gilt analog für sonstige Verkehrsteilnehmer, beispielsweise Kraftfahrzeuge, oder Hindernisse, insbesondere solche, für die eine Kollisionsgefahr mit dem Kraftfahrzeug besteht.
-
Problematisch hierbei ist, dass die Auflösung der Kameras, insbesondere aufgrund der großen gewünschten Erfassungsbereiche, begrenzt ist. Auf der Grundlage eines Kamerabildes können nur Objekte erkannt werden, die hinreichend gut aufgelöst werden. Ist ein Objekt zu klein oder zu weit entfernt, kann es nicht mehr erkannt werden. Ferner wäre es für viele Funktionen von Fahrzeugsystemen nützlich, genauere Informationen über ein Objekt zu erhalten, die aber aufgrund der Auflösung der Kameras nicht gegeben sind. Diesen Problemen kann entgegengewirkt werden, indem Kameras einer höheren Vergrößerungsstufe gewählt werden, welche beispielsweise durch die Verwendung von Optikelementen, beispielsweise Zoom-Objektiven, erhalten werden können. Da aber auch eine höhere Auflösung erzielt werden soll, hat die Erhöhung der Vergrößerungsstufe ein deutlich kleineres Sichtfeld der Kamera zur Folge.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein Kamerasystem und ein Verfahren zu dessen Betrieb anzugeben, welches eine genauere Analyse von Objekten im Erfassungsbereich ermöglicht.
-
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass mehrere, in Gruppen gleicher Vergrößerungsstufen mit wenigstens einer Kamera eingeteilte Kameras zur Erfassung eines vorbestimmten Erfassungsbereichs vorhanden sind, wobei eine insbesondere den gesamten Erfassungsbereich aufnehmende, zu einer ersten Gruppe gehörende Kamera eine geringste Vergrößerungsstufe aufweist und die Kameras höherer Vergrößerungsstufen wenigstens eine ansteuerbare Verstelleinrichtung aufweisen, um einen von mehreren den gesamten Erfassungsbereich abdeckenden Suberfassungsbereichen einzustellen, wobei die Bilddaten einer Kamera einer Gruppe mit kleinerer Vergrößerungsstufe als wenigstens eine andere Gruppe hinsichtlich wenigstens eines interessierenden Objekts ausgewertet werden und wenigstens eine Kamera der Gruppe der nächsthöheren Vergrößerungsstufe in Abhängigkeit der Auswertung zur Aufnahme von wenigstens einen Teil des wenigstens einen Objekts vergrößert zeigenden Bilddaten angesteuert wird.
-
Die das wenigstens eine Objekt zumindest teilweise vergrößert zeigenden Bilddaten können dann zur Ermittlung weiterer Detaileigenschaften des Objekts ausgewertet werden. Mithin ist die der Erfindung zugrunde liegende Idee, anstelle von einzelnen Kameras für einen Erfassungsbereich einen Verbund aus Kameras mit unterschiedlicher Vergrößerungsstufe zu nutzen, um kleine Details und weit entfernte Objekte verbessert zu erkennen. Dabei existiert zunächst wenigstens eine Kamera der ersten Gruppe, die den Erfassungsbereich möglichst vollständig erfasst. Nun kann beispielsweise auf Basis der Bilddaten dieser Kamera zunächst eine grobe Objekterkennung erfolgen, da die Objekte aufgrund des großen Abdeckungsbereichs und der geringeren Vergrößerungsstufe nicht im Detail zu erkennen sind. Beispielsweise kann in dieser niedrigen Vergrößerungsstufe bereits ein Passant als menschlicher Verkehrsteilnehmer erkannt werden. Eine Detektion eines Objekts hat aber zur Folge, dass die Position im Koordinatensystem der detektierenden Kamera bekannt ist. Da die Kameras miteinander registriert sind, ergibt sich unmittelbar, wie die Verstelleinrichtung der Kamera der nächsthöheren Vergrößerungsstufe angesteuert werden muss, um das Objekt bzw. den gewünschten Teil des Objekts aufnehmen zu können. Mithin wird in der folgenden Vergrößerungsstufe von den Ergebnissen der vorangegangenen, niedrigeren Vergrößerungsstufe profitiert. Mit anderen Worten wird die Position des Objekts an eine oder mehrere weitere Kameras übermittelt, welche eine stärkere Vergrößerung und damit einhergehend einen geringeren Sichtbereich, also ein geringeres Sichtfeld, aufweisen. Mittels der Verstelleinrichtung kann diese wenigstens eine Kamera elektrisch und vollständig automatisch auf das erkannte Objekt, im Beispiel den Menschen, ausgerichtet werden.
-
Die unterschiedlichen Vergrößerungsstufen können dabei insbesondere durch wenigstens ein Optikelement, beispielsweise ein Zoom-Objektiv, bei wenigstens einem Teil der Gruppen erreicht werden. Durch die Vergrößerung ist eine verbesserte Auflösung des Objekts (und möglicherweise von Subobjekten) gegeben. Mithin weisen Kameras höherer Vergrößerungsstufen insbesondere ein kleineres Sichtfeld auf als Kameras niedrigerer Vergrößerungsstufen, weshalb das erfindungsgemäße Verfahren die Verwendung einer Verstelleinrichtung vorsieht. Dabei sei insbesondere bezüglich der wenigstens einen Gruppe höherer Vergrößerungsstufe angemerkt, dass es sowohl denkbar ist, dass jede Kamera einer Gruppe den gesamten Erfassungsbereich durch ihre Verstellmöglichkeiten abdeckt, wobei es jedoch auch möglich ist, dass wenigstens alle Kameras einer Gruppe, also einer Vergrößerungsstufe, den gesamten Erfassungsbereich abdecken, sich in ihren Verstellmögichkeiten mithin entsprechend ergänzen.
-
Ein solches Kamerasystem kann über eine beliebige Anzahl von Vergrößerungsstufen verfügen und pro Vergrößerungsstufe aus einer beliebigen Anzahl an Kameras bestehen. Sind mehrere Kameras pro Vergrößerungsstufe vorgesehen, wird beispielsweise das parallele Untersuchen von mehreren Objekten ermöglicht, worauf im Folgenden noch näher eingegangen werden soll. Beispielsweise ist also ein Kamerasystem denkbar, bei dem eine Kamera der ersten Gruppe mit einer Vergrößerungsstufe „1×” den gesamten gewollten Erfassungsbereich in einer recht niedrigen Auflösung erfassen kann. In einer zweiten Gruppe der nächsthöheren Vergrößerungsstufe, beispielsweise „2×”, kann nun eine gewünschte Anzahl von weiteren Kameras vorhanden sein, die mit höherer, insbesondere also doppelter, Auflösung ein interessierendes Objekt aufnehmen können. Diesem kann wenigstens eine weitere Gruppe höherer Vergrößerungsstufe, beispielsweise „4×”, nachgeschaltet sein, um in noch höher aufgelösten Bildern noch kleinere Detailstrukturen auflösen zu können. Dabei sei an dieser Stelle noch angemerkt, dass grundsätzlich Bildverarbeitungsalgorithmen, die die Detektion, also Identifikation und Lokalisierung, von Objekten, beispielsweise Fußgängern, anderen Kraftfahrzeugen und dergleichen ermöglichen, im Stand der Technik bereits hinreichend bekannt sind und hier nicht näher dargelegt werden müssen. Derartige Bildverarbeitungsalgorithmen lassen sich beispielsweise als Objekterkennungsalgorithmen zusammenfassen.
-
Die vorliegende Erfindung ermöglicht es insbesondere, mit deutlich weniger Kameras auszukommen als ein System aus starren, voneinander unabhängigen Kameras, die nötig wären, um einen ähnlich großen Gesamt-Bildausschnitt vollständig abzudecken. Mithin ist eine Kostenersparnis gegeben. Zudem ermöglicht das beschriebene Kamerasystem und sein Betrieb, eine Objekterkennung bis zu einem sehr hohen Detailgrad durchzuführen.
-
Somit lässt sich eine Vielzahl weiterer Informationen über Objekte in der Umgebung des Kraftfahrzeugs sammeln, die nützlich in Fahrerassistenzsystemen, Sicherheitssystemen und anderen Fahrzeugsystemen eingesetzt werden können.
-
Ein Kerngedanke der vorliegenden Erfindung ist es dabei, eine geschachtelte Objekterkennung zu realisieren, bei der der Detailgrad stufenweise ansteigt und dabei von den Ergebnissen der vorangehenden Stufe, hier Vergrößerungsstufe, profitiert. Das bedeutet, die Ergebnisse der Auswertung der Bilddaten einer niedrigeren Vergrößerungsstufe führen direkt zur physikalischen Ansteuerung der höheren Vergrößerungsstufe, wobei eine am Inhalt der Bilddaten orientierte Logik herangezogen wird. Wird beispielsweise durch die erste Gruppe als Objekt ein Mensch detektiert, ist bekannt, dass für diesen interessante weitere Eigenschaften durch genauere Auswertung des Kopfes oder sogar der Augen möglich sind, so dass sukzessive die physikalische Ansteuerung der höheren Vergrößerungsstufen so erfolgen kann, dass zunächst Bilddaten des Kopfes entstehen, aus denen Informationen abgeleitet werden können, die die Position des Auges als Subobjekt angeben, welche wiederum genutzt werden können, um die nächsthöheren Vergrößerungsstufe entsprechend anzusteuern, um auch diesbezüglich Detailinformationen bestimmen zu können.
-
In diesem Kontext ist es mit besonderem Vorteil auch denkbar, dass weitere im Rahmen der Auswertung gewonnene, wenigstens eine Eigenschaft des Objekts neben der Position, insbesondere eine Klassifizierung des Objekts, beschreibende Auswertungsdaten des Objekts bei der Ansteuerung der Kamera höherer Vergrößerungsstufe berücksichtigt werden. Die beschriebene inhaltsorientierte Logik in der Kombination der Vergrößerungsstufen wird hierdurch letztlich erweitert, da beispielsweise dann, wenn ein Objekt als Mensch klassifiziert wird, mithin die weiteren Auswertungsdaten in diesem Beispiel eine Klassifizierungsinformation betreffen, bereits grob auf die Position des Kopfes geschlossen werden kann, so dass dann, wenn dessen Blickrichtung bestimmt und/oder die Augen als Subobjekte betrachtet werden sollen, der gewünschte Suberfassungsbereich noch genauer eingestellt werden kann, so dass er den Kopf/die Augen verlässlich zeigt.
-
Wie bereits angedeutet wurde, kann die schrittweise Verfeinerung der Informationen zum Objekt, insbesondere durch Auswertung höheraufgelöster Bilddaten, auch die gezielte Betrachtung von Subobjekten des Objekts umfassen. So kann in einer vorteilhaften Ausführungsform der vorliegenden Erfindung vorgesehen sein, dass in Bilddaten der ersten Gruppe wenigstens ein wenigstens ein interessierendes Subobjekt aufweisendes, interessierendes Objekt detektiert wird, woraufhin wenigstens eine Kamera der zweiten Gruppe der nächsthöheren Vergrößerungsstufe zur Aufnahme von bezüglich des Subobjekts auswertbaren Bilddaten angesteuert wird. Dabei sind im Wesentlichen zwei Möglichkeiten zu unterscheiden. Zum einen kann das Subobjekt bereits in den Bilddaten der Kamera der ersten Gruppe erkennbar sein, oder aber die Position kann aus Hintergrundwissen/weiteren Auswertungsdaten, beispielsweise einer Klassifizierung, abgeschätzt werden. Dann ist bereits nach Auswertung der Bilddaten der Kamera der ersten Gruppe eine bestimmte Ausrichtung der Kamera höherer Vergrößerungsstufe möglich, die auf das Subobjekt zentriert. Denkbar ist es jedoch auch, dass das Subobjekt erst in den Bilddaten der Kamera der nächsthöheren Vergrößerungsstufe in seiner Position detektierbar wird, so dass die Bilddaten der Kamera der nächsthöheren Vergrößerungsstufe entsprechend diesbezüglich ausgewertet werden können, um eine wiederum weitere, höhere Vergrößerungsstufe derart ansteuern zu können, dass dann ein detailreiches, hochaufgelöstes Bild des Subobjekts erhalten wird. Ein Beispiel hierfür ist ein Mensch, der als interessierendes Subobjekt Augen aufweisen kann. Hierbei ist es möglich, anhand der grob aufgelösten Bilddaten der ersten Gruppe einen Mensch als Objekt zu lokalisieren und zu klassifizieren. Das Objekt wird durch die Kamera der nächsthöheren Vergrößerungsstufe, die anhand der Position des Menschen als Objekt und gegebenenfalls der Auswertungsdaten zu dessen höher aufgelöster Aufnahme ansteuerbar ist, aufgenommen, so dass eine Identifikation und Ermittlung der Position der Augen als Subobjekte vorgenommen werden. Dies wird genutzt, um eine Kamera bzw. deren Verstelleinrichtung einer nochmals höheren Vergrößerungsstufe derart anzusteuern, dass hochaufgelöste Bilddaten des Auges erhalten werden können, aus denen beispielsweise gefolgert werden kann, ob die Augen geweitet sind oder dergleichen, was eine nützliche Information für Funktionen von Fahrzeugsystemen darstellen kann.
-
Insgesamt ist es also bevorzugt, dass basierend auf der Auswertung der Bilddaten eines Subobjekts, die von einer Kamera einer Vergrößerungsstufe aufgenommen wurden, wenigstens eine Kamera der nächsthöheren Vergrößerungsstufe zur Aufnahme von bezüglich eines Details und/oder Subobjekts des Subobjekts auszuwertenden Bilddaten angesteuert wird. Dies zeigt, wie es anhand der Gruppen unterschiedlicher Vergrößerungsstufen möglich ist, sukzessive weitere Detailinformationen zu ermitteln, wobei selbstverständlich die Subobjekte auch gestaffelt betrachtet werden können, beispielsweise zunächst der Mensch an sich als Objekt, dann das Gesicht als Subobjekt, worauf als Subobjekt des Subobjekts die Augen betrachtet werden können und dergleichen. Selbstverständlich stellen dabei die Augen selbst auch ein Subobjekt des ursprünglichen Objekts dar.
-
Existieren mehrere, insbesondere räumlich getrennte Subobjekte, kann auch vorgesehen sein, dass wenigstens ein Teil dieser Subobjekte durch unterschiedliche Kameras der nächsthöheren Vergrößerungsstufe aufgenommen werden. Dann wird letztendlich von den mehreren Kameras der nächsthöheren Vergrößerungsstufe jeweils eine einem Subobjekt zugeordnet und auf dieses ausgerichtet.
-
Jedoch kann auch allgemein, also insbesondere bezüglich der ersten Gruppe, der Fall eintreten, dass mehrere interessierende Objekte erfasst werden können. In diesem Kontext kann vorgesehen sein, dass bei Erfassung mehrerer interessierender Objekte, die vergrößert aufgenommen werden sollen, eine Mehrzahl von Kameras der nächsthöheren Vergrößerungsstufe zur Aufnahme jeweils eines der Objekte und/oder zur zeitlich aufeinanderfolgenden Aufnahme wenigstens eines Teils der Objekte angesteuert werden und/oder den Objekten ein Prioritätswert zugeordnet wird, wobei wenigstens eine Kamera der nächsthöheren Vergrößerungsstufe zur Aufnahme von Bilddaten wenigstens eines höchstpriorisierten Objekts angesteuert wird. Insbesondere dann, wenn häufig mehrere interessierende Objekte auftreten können, kann es zweckmäßig sein, wenn zumindest in Gruppen größerer Vergrößerungsstufen mehrere Kameras vorliegen, die unterschiedliche dieser interessierenden Objekte hochauflösender aufnehmen können. Selbstverständlich ist es auch, insbesondere hiermit kombinierbar, möglich, dass neben der parallelen Untersuchung von mehreren Objekten zumindest für einen Teil der interessierenden Objekte eine sukzessive Untersuchung durch eine Kamera einer höheren Vergrößerungsstufe erfolgt, indem diese Kamera nacheinander die von der Kamera der nächstniedrigeren Vergrößerungsstufe erkannten Objekte erfasst und aufnimmt. Gerade dann, wenn eine Vielzahl von gegebenenfalls interessierenden Objekten aufgefunden wird, kann vorgesehen sein, den Objekten zugeordnet einen Prioritätswert zu ermitteln. Entsprechend der Priorität können die interessierenden Objekte dann an die verfügbaren Kameras der nächsthöheren Vergrößerungsstufe verteilt werden, gegebenenfalls auch zur sukzessiven Aufnahme von Bilddaten mehrerer Objekte mit einer einzigen Kamera. Zuerst wird dann also das wenigstens eine am höchsten priorisierte Objekt mittels der wenigstens einen Kamera der nächsthöheren Vergrößerungsstufe untersucht, wobei zeitlich danach auch noch niedriger priorisierte Objekte betrachtet werden können, insbesondere, wenn deren Priorität weiterhin oberhalb der Priorität neu detektierter Objekte liegt.
-
Zweckmäßig ist es in diesem Kontext, wenn der Prioritätswert unter Berücksichtigung von die aktuelle Fahrsituation des Kraftfahrzeugs beschreibenden Fahrsituationsdaten, insbesondere im Rahmen einer Fahrsituationsanalyse, ermittelt wird. Beispielsweise können also Objekte, die sich im Fahrweg des Kraftfahrzeugs befinden und/oder für die eine besonders hohe Kollisionsgefahr besteht, mit höheren Prioritätswerten belegt werden als solche, die vom weiteren Betrieb des Kraftfahrzeugs voraussichtlich nicht berührt werden. Denkbar ist es also beispielsweise, Kollisionswahrscheinlichkeiten oder dergleichen heranzuziehen, um anhand solcher Relevanzgrößeren einen geeigneten Prioritätswert abzuleiten. Selbstverständlich können auch eine Vielzahl weiterer Kriterien hier eingehen, beispielsweise eine Gefährdung des Objekts selbst und dergleichen.
-
In zweckmäßiger Weiterbildung der Erfindung kann vorgesehen sein, dass die insbesondere elektrisch betriebene Versteileinrichtung wenigstens eine Schwenkeinrichtung aufweist. Eine Schwenkmöglichkeit von Kameras hat sich als besonders nützlich erwiesen, um den Suberfassungsbereich so anzupassen, dass das von der Kamera niedrigerer Vergrößerungsstufe in seiner Position detektierte Objekt erfasst werden kann. Selbstverständlich können zusätzlich zu einer Schwenkeinrichtung auch weitere Komponenten der Verstelleinrichtung vorgesehen sein, insbesondere solche, die sich auf Optikelemente der Kamera beziehen.
-
Es hat sich ferner als zweckmäßig erwiesen, wenn wenigstens eine Kamera einer höheren Vergrößerungsstufe über ihre Verstelleinrichtung an einer Kamera der nächstniedrigeren Vergrößerungsstufe befestigt ist, so dass die Kamera der höheren Vergrößerungsstufe mit der Kamera der nächstniedrigeren Vergrößerungsstufe mitbewegt wird. Es ist mithin möglich, dass insbesondere schwenkbare Kameras mit stärkerer Vergrößerung an schwenkbaren Kameras mit niedrigerer Vergrößerung befestigt werden, so dass die Kameras mit höherer Vergrößerungsstufe automatisch zumindest teilweise auf das Ziel der Kamera niedrigerer Vergrößerungsstufe ausgerichtet werden, so dass bezüglich der Kamera mit der höheren Vergrößerungsstufe weniger Verschwenkungsaufwand besteht.
-
Wie bereits erwähnt, ist es besonders zweckmäßig, wenn als Kameras der ersten Gruppe Weitwinkelkameras verwendet werden. Derartige Weitwinkelkameras ermöglichen es, einen großen Erfassungsbereich, wenn auch mit geringer Auflösung, zu erfassen, wobei eine verbesserte Auflösung dann ja durch die weiteren Kameras höherer Vergrößerungsstufe geliefert werden kann.
-
Als interessierendes Objekt kann, wie bereits dargelegt wurde, vorteilhaft wenigstens ein humanoider Verkehrsteilnehmer detektiert werden. Menschen als Verkehrsteilnehmer sind besonders gefährdet und stellen äußerst relevante Objekte insbesondere für Sicherheitssysteme dar, die sich mit dem Schutz von Fußgängern beschäftigen. Durch mehr Detailinformationen, insbesondere auch, was den Gesichtsausdruck und/oder den Augenzustand der detektierten Menschen angeht, kann deutlicher auf die Situation, ihre Kritikalität und ihre weitere Entwicklung/ihre weiteren Handlungen geschlossen werden.
-
Wie bereits erwähnt, zielt das beschriebene Betriebsverfahren für das Kamerasystem hauptsächlich auf Funktionen von Fahrzeugsystemen ab, so dass mithin vorgesehen sein kann, dass die Auswahl interessierender Objekte im Hinblick auf und/oder durch wenigstens eine Funktion eines Fahrzeugsystems des Kraftfahrzeugs erfolgt, wobei wenigstens aus den Bilddaten der zur Aufnahme des interessierenden Objekts verwendeten Kamera mit der größten Vergrößerungsstufe wenigstens ein für die Funktion verwendbares Eingangsdatum ermittelt wird. Besonders bevorzugt ist es jedoch, wenn nützliche Eingangsdaten für die Funktion aus mehreren, insbesondere allen, Vergrößerungsstufen erhalten werden können.
-
Es sei an dieser Stelle noch angemerkt, dass es im Rahmen der vorliegenden Erfindung durchaus möglich ist, eine parallele Bildverarbeitung für Bilddaten verschiedener Kameras, die sich auf ein Objekt beziehen, genauso möglich ist wie für mehrere interessierende Objekte, von denen Bilddaten von mehreren Kameras des Kamerasystems geliefert werden.
-
Ferner sei darauf hingewiesen, dass es durchaus auch denkbar ist, auf Höheren Vergrößerungsstufen auch Kameras mit Zoomobjektiven einzusetzen, mithin mehrere höhere Vergrößerungsstufen, insbesondere im Vergleich zur ersten Gruppe, durch eine einzige Gruppe an Kameras zu realisieren. Zwar würden dann weniger Kameras benötigt und eine stufenlose Vergrößerung erreicht, allerdings ist dies weniger bevorzugt, da Kameras mit Zoomobjektiven technisch deutlich komplexer, somit teuer und größer, sind als Kameras ohne veränderlichen Zoom und zudem mit den Verschleißerscheinungen der Zoomeinrichtung zu rechnen ist. Zu beachten ist ferner, dass bei der Verwendung von Zoom im Vergleich zu zwei Gruppen die zoomfähige Kamera immer langsamer sein wird, wodurch wertvolle Zeit verloren geht.
-
Neben dem Verfahren betrifft die Erfindung auch ein Kraftfahrzeug, aufweisend ein Kamerasystem mit wenigstens einer auf die Umgebung des Kraftfahrzeugs gerichteten Kamera, wobei mehrere, in Gruppen gleicher Vergrößerungsstufen mit jeweils wenigstens einer Kamera eingeteilte Kameras zur Erfassung eines vorbestimmten Erfassungsbereichs vorhanden sind, wobei eine insbesondere den gesamten Erfassungsbereich aufnehmende, zu einer ersten Gruppe gehörende Kamera eine geringste Vergrößerungsstufe aufweist und die Kameras höherer Vergrößerungsstufen wenigstens eine ansteuerbare Verstelleinrichtung aufweisen, um einen von mehreren den gesamten Erfassungsbereich abdeckenden Suberfassungsbereichen einzustellen, und ein die Bilddaten der Kamera auswertendes, zur Durchführung des erfindungsgemäßen Verfahrens ausgebildetes Steuergerät. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Kraftfahrzeug übertragen, mit welchem mithin ebenso die bereits genannten Vorteile erhalten werden können.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:
-
1 eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs,
-
2 eine Verkehrssituation und Kamerazustände zur Erläuterung eines ersten Schrittes des erfindungsgemäßen Verfahrens,
-
3 die Verkehrssituation der 1 und die Kamerazustände zu einem späteren Zeitpunkt,
-
4 die Verkehrssituation und die Kamerazustände zu einem dritten Zeitpunkt, und
-
5 eine mögliche Anordnung zur gekoppelten Bewegung von Kameras.
-
1 zeigt eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs 1. Dieses weist in einem Kamerasystem mehrere Kameras 2, 3a, 3b, 4a, 4b auf. Die Kamera 2 ist dabei auf einen Erfassungsbereich im Vorfeld des Kraftfahrzeugs 1 gerichtet und als Weitwinkel-Kamera ausgebildet. Sie weist eine bestimmte Vergrößerungsstufe auf, die hier, da die Vergrößerungsstufe relativ zu dieser Kamera 2 beschrieben werden, als 1-fach festgelegt ist. Die Kameras 3a und 3b weisen eine höhere Vergrößerungsstufe, beispielsweise 2-fach, auf und somit ein geringeres Sichtfeld, in dem jedoch aufgrund der höheren Vergrößerungsstufe mit höherer Auflösung abgebildet wird. Damit ihre möglichen Suberfassungsbereiche den gesamten Erfassungsbereich der Kamera 2 abdecken können, ist ihnen eine Verstelleinrichtung 5 zugeordnet, die vorliegend eine Schwenkeinrichtung umfasst. Während die Kamera 2 das einzige Mitglied einer ersten Gruppe des Kamerasystems ist, die alle Kameras 2 der Vergrößerungsstufe „1-fach” umfasst, wird eine zweite Gruppe der Vergrößerungsstufe „2-fach” vorliegend von den Kameras 3a und 3b gebildet. Die weiteren vorgesehenen Kameras 4a, 4b weisen eine Vergrößerungsstufe „4-fach” auf und sind ebenso mit einer Verstelleinrichtung 5 versehen. Mithin existieren vorliegend drei Gruppen von Kameras 2, 3a, 3b, 4a, 4b. Nachdem die Kamera 2 eine Weitwinkel-Kamera ist, ist hier eine Verstelleinrichtung 5 nicht erforderlich.
-
Die Bilddaten der Kameras 2, 3a, 3b, 4a, 4b werden an ein Steuergerät 6 übertragen, über welches auch die Stelleinrichtungen 5 ansteuerbar sind. Das Steuergerät 6 ist zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet, wie es im Folgenden näher erläutert werden wird. Es sei noch angemerkt, dass die unterschiedlichen Vergrößerungsstufen vorliegend durch Zoom-Objektive als Optikelemente der Kameras 3a, 3b, 4a, 4b realisiert sind.
-
Die 2 bis 4 erläutern nun den Betrieb des Kamerasystems des Kraftfahrzeugs 1 anhand einer schematisch dargestellten Verkehrssituation, in der vorliegend als einziges interessierendes Objekt 7 ein Fußgänger 8 in den Bilddaten der Kamera 2 der ersten Gruppe detektiert wurde. Deren Weitwinkel-Erfassungsbereich 9 ist ebenso in 2 angedeutet. Von den Kameras 3a, 3b, 4a, 4b der weiteren Gruppen sind hier nur schematisch die Kamera 3b und die Kamera 4a mit ihren jeweiligen Schwenkeinrichtungen 10 gezeigt, um das Vorgehen besser illustrieren zu können.
-
Die Bilddaten der Kamera 2 werden mithin ständig durch das Steuergerät 6 ausgewertet, und zwar im Rahmen einer Objekterkennung. Dort wird vorliegend das Objekt 7, also der Fußgänger 8, erkannt. Zudem wird der Fußgänger 8 als solcher klassifiziert, was ebenso als Auswertungsdaten vorliegt. Nachdem der Fußgänger 8 detektiert und klassifiziert ist, ist nicht nur seine Position (die Kameras sind selbstverständlich miteinander registriert) bekannt, sondern auch, dass dieser Fußgänger 8 einen Kopf mit einem Gesicht aufweist, wo sich ein solcher Kopf üblicherweise befindet und dass es für die Funktion eines Sicherheitssystems, die vorliegend auch durch das Steuergerät 6 durchgeführt wird, nützlich ist, weitere Informationen über den Fußgänger 8 als Eingangsdaten hinsichtlich des Gesichts und/oder der Augen abzuleiten.
-
Die Bilddaten der Kamera 2 sind allerdings zu grob, um das Auge bereits zu erkennen, so dass das Ergebnis der Auswertung, insbesondere also die Position und Klassifizierung des Fußgängers 8, die Schwenkeinrichtung 10 der Kamera 3b der nächsthöheren Vergrößerungsstufe so angesteuert wird, dass, vgl. 2, der Suberfassungsbereich 11 der Kamera 3b den Fußgänger 8 und dessen Kopf, der als Subobjekt betrachtet werden kann, möglichst sicher erfasst. Die Bilddaten der Kamera 3b werden nun wiederum durch das Steuergerät 6 ausgewertet, vorliegend, um die Position von Augen 12 als Subobjekte des Objekts 7 detektieren zu können. Nachdem die Bilddaten der Kamera 3b höher aufgelöst sind, ist dies möglich. Mit der bekannten Position der Augen ist es nun in einem weiteren Schritt, vgl. 4, möglich, die Schwenkeinrichtung 10 der Kamera 4a der nächsthöheren Vergrößerungsstufe so anzusteuern, dass deren wiederum kleinerer Suberfassungsbereich 13 die Augen 12 des Fußgängers 8 möglichst genau erfasst, so dass beispielsweise aufgrund der nun gegebenen, äußerst hohen Auflösung schreckgeweitete Augen oder dergleichen festgestellt werden können.
-
Es sei noch darauf hingewiesen, dass bei mehreren detektierten interessierenden Objekten 7 diese entsprechend auf die Kameras 3a, 3b, 4a, 4b der nächsthöheren Vergrößerungsstufe verteilt werden können, mithin die unterschiedlichen Kameras 3a, 3b bzw. 4a, 4b einer Vergrößerungsstufe unterschiedlicher Objekte genauer aufnehmen, wobei allerdings zu den detektierten interessierenden Objekten 7 auch ein Prioritätswert bestimmt wird, so dass eine Auswahl getroffen werden kann, wenn mehrere Objekte 7 vorliegen, welche vordringlich genauer zu untersuchen sind. Der Prioritätswert wird im Rahmen einer Fahrsituationsanalyse derart bestimmt, dass die sicherheitskritischsten Objekte 7 am höchsten priorisiert werden. Es ist denkbar, die Kameras 3b, 3b, 4a, 4b der höheren Vergrößerungsstufen so anzusteuern, dass sie sukzessive auf unterschiedliche Objekte 7 ausgerichtet werden, geordnet nach deren Prioritätswert.
-
Das hier dargestellte Ausführungsbeispiel lässt sich natürlich auf weniger oder mehr Gruppen/Vergrößerungsstufen, weniger oder mehr Kameras 2, 3a, 3b, 4a, 4b pro Vergrößerungsstufe und dergleichen erweitern.
-
5 zeigt schließlich eine Möglichkeit, wie eine Vorpositionierung von Kameras 4 einer höheren Vergrößerungsstufe mit einer Kamera 3 der nächstniedrigeren Vergrößerungsstufe erfolgen kann. Dabei ist die Kamera 3 der nächstniedrigeren Vergrößerungsstufe vorliegend über die Schwenkeinrichtung 10 an dem Kraftfahrzeug 1 befestigt. Das Schwenkmittel 10 der Kamera 4 mit der größeren Vergrößerungsstufe dient jedoch zu deren Befestigung an der Kamera 3 mit der nächstniedrigeren Vergrößerungsstufe, so dass durch ein Verfahren der Kamera 3 mit der nächstniedrigeren Vergrößerungsstufe auch die Kamera 3 mit der größeren Vergrößerungsstufe bereits grob in die korrekte Richtung ausgerichtet wird und dann nur noch wenig verstellt werden muss, um das gewünschte Objekt 7 bzw. Subobjekt zu erfassen.
