-
Die Erfindung betrifft ein Kamerasystem mit einer 3D-Kamera und einer aktiven Beleuchtung sowie ein Verfahren zum Betreiben einer solchen Kamera nach der Gattung der unabhängigen Ansprüche.
-
Aus dem Stand der Technik sind Systeme zur dreidimensionalen Bilderfassung bekannt, welche mit Hilfe einer aktiven Beleuchtung arbeiten. Dazu gehören so genannten Time-offlight- (TOF-) oder Laufzeitmesssysteme. Diese verwenden eine amplitudenmodulierte oder gepulste Beleuchtung, zur Ausleuchtung der zu erfassenden dreidimensionalen Szenerie.
-
Mit Licht-Laufzeitmesssystem sollen insbesondere auch alle 3D-Kamerasystem mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als 3D-Kamera bzw. PMD-Kamera sind insbesondere so genannte Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen
EP 1 777 747 B1 ,
US 6 587 186 B2 und auch
DE 197 04 496 A1 beschrieben sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
-
Aus der
DE 100 11 263 A1 ist ein Objektdirektionssystem bekannt, bei dem der Objektdetektor in einem ersten und zweiten Betriebsmodus umgeschaltet werden kann, um beispielsweise zwischen einem kleinen und großen Winkelerfassungsbereich umschalten zu können. Für den weit reichenden Bereich wird ein Radarsensor und für den Nahbereich ein Ultraschallsensor eingesetzt.
-
Aus der
DE 10 2006 004 019 B3 ist ferner ein PMD-System zur Abstandsmessung bekannt, bei dem mit einer ersten Sendeeinheit ein Fernbereich und mit einer zweiten Sendeeinheit ein Nahbereich vor dem Kraftfahrzeug ausgeleuchtet wird. Die Öffnungswinkel dieser Sendebereiche sind so ausgelegt, dass sich alle Sendebereichsraumwinkel vor dem Kraftfahrzeug überlappen, so dass das interessierende Umfeld vollständig ausgeleuchtet werden kann.
-
Aus der
DE 103 36 681 A1 ist eine Einrichtung zur Umfelderfassung offenbart, bei der bestimmte Beleuchtungsbereiche in Abhängigkeit eines ermittelten Objektes individuell beleuchtbar sind.
-
Aus der
DE 103 36 682 A1 und der
DE 10 2005 046 000 A1 sind darüber hinaus Vorrichtungen und Verfahren zur Abstandsbestimmung bekannt, bei denen die Sendeeinrichtungen alternierend betrieben werden können.
-
Ferner ist aus der
US 2008/0237445 eine Lichtquelle für ein Abstandsmesssystem bekannt, die aus einer Vielzahl von Leuchtdioden aufgebaut ist. Die Leuchtdioden sind segmentweise verschiedenen Erfassungsbereichen zugeordnet, wobei ein Kontroller die Lichtleistung der Leuchtdioden in Abhängigkeit der empfangenen Lichtintensität segmentweise regelt, und so eine korrekte Belichtung der erfassten Objekte ermöglicht.
-
Aufgabe der Erfindung ist es den Sensoraufwand beim Betreiben des Kamerasystems in verschiedenen Betriebsmoden zu verringern.
-
Die Aufgabe wird in vorteilhafter Weise durch die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren der unabhängigen Ansprüche gelöst.
-
Vorteilhaft ist ein Kamerasystem mit einer 3D-Kamera basierend auf einer Photomischdetektion und einer aktiven Beleuchtung zur Beleuchtung eines Erfassungsbereichs der 3D-Kamera vorgesehen, bei der die aktive Beleuchtung derart ausgestaltet ist, dass mindestens zwei Bereiche des Erfassungsbereichs der 3D-Kamera unterschiedlich beleuchtbar sind. Dieses Vorgehen hat den Vorteil, dass für bestimmte bevorzugte Erfassungsbereiche, beispielsweise Seitenstreifen oder entfernte Objekte die Beleuchtung entsprechend des gewünschten Erfassungsbedarfs angepasst werden kann.
-
Die Aufgabe wird ferner durch das erfindungsgemäße Verfahren für das genannten System gelöst, in dem die von der 3D-Kamera erfassten und unterschiedlich ausgeleuchteten Beleuchtungsbereiche auch unterschiedlich ausgewertet und/oder bewertet werden.
-
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der in den unabhängigen Ansprüchen angegebenen Erfindung möglich.
-
Vorzugsweise ist die aktive Beleuchtung in mehrere Beleuchtungsmodule aufgeteilt Diese Beleuchtungsmodule können insbesondere in Gruppen zu einem oder mehreren Beleuchtungsmodulen aufgeteilt werden, wobei eine jeweilige Gruppe zur Ausleuchtung eines bestimmten Beleuchtungsbereiches ausgebildet ist.
-
Die Einteilung der Beleuchtungsmodule in Gruppen hat den Vorteil, dass die Beleuchtungsbereiche durch Ausrichtung der Module der entsprechenden Gruppe bereits angepasst werden kann. Alternativ oder ergänzend kann es auch vorgesehen sein mindestens eine Strahlführungsoptik eines Beleuchtungsmoduls für einen bestimmten Beleuchtungsbereich anzupassen.
-
Bezüglich des Verfahrens zum Betreiben des Kamerasystems kann es vorgesehen sein, dass die bestimmten Beleuchtungsbereiche entweder gleichzeitig oder sequenziell beleuchtet werden.
-
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
-
Es zeigen:
- 1 schematisch das grundlegende Prinzip der Fotomischdetektion,
- 2, ein Fahrzeug mit zwei Beleuchtungsmodulgruppen,
- 3, schematisch verschiedene Beleuchtungs- und Erfassungsbereiche,
- 4, eine seitliche Ansicht der verschiedenen Beleuchtungs- und Erfassungsbereiche,
- 5 und 6 eine serielle und sequenzielle Auswertung der unterschiedlichen Beleuchtungsbereiche.
-
1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einem TOF-Kamerasystem, wie es beispielsweise aus der
DE 197 04 496 bekannt ist.
-
Das TOF-Kamerasystem umfasst hier eine Sendeeinheit bzw. ein Beleuchtungsmodul 100 mit einer Lichtquelle 12 und einer dazugehörigen Strahlformungsoptik 50 sowie eine Empfangseinheit bzw. 3D-Kamera 200 mit einer Empfangsoptik 150 und einem Fotosensor 15. Der Fotosensor 15 ist vorzugsweise als Pixel-Array, insbesondere als PMD-Sensor, ausgebildet. Die Empfangsoptik besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 50 der Sendeeinheit 100 ist vorzugsweise als Reflektor ausgebildet Es können jedoch auch diffraktive Elemente oder Kombinationen aus reflektierenden und diffraktiven Elementen eingesetzt werden.
-
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasendifferenz des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle und der Fotosensor 15 über einen Modulator 18 gemeinsam mit einer bestimmten Modulationsfrequenz mit einer ersten Phasenlage a beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 20 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Fotosensor 15. Im Fotosensor 15 wird das Signal der ersten Phasenlage a des Modulators 18 mit dem empfangenen Signal, das mittlerweile eine zweite Phasenlage b angenommen hat, gemischt und aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung ermittelt.
-
2 zeigt schematisch eine Frontansicht eines Kraftfahrzeuges. Im oberen Bereich der Windschutzscheibe ist eine 3D-Kamera 200 angeordnet in der Nähe der Frontscheinwerfer befinden sich auf der rechten und linken Seite des Kraftfahrzeuges verschiedene Beleuchtungsmodule. Die Beleuchtungsmodule 101 zur ersten Gruppe beleuchten einen ersten Beleuchtungsbereich B1 im Fernfeld des Kraftfahrzeuges. Die Beleuchtungsmodule 102 zur zweiten Gruppe beleuchten einen seitlichen Nahbereich des Kraftfahrzeuges in einem ersten und zweiten Beleuchtungsbereich B2, B3. Die seitlichen Beleuchtungsbereiche B2, B3 können beispielsweise zur Erkennung der Fahrbahnränder oder Fahrbahnmarkierung verwendet werden, während der Fernbereich B1 bezüglich einer Hinderniserkennung ausgewertet werden kann.
-
Die Beleuchtungsbereiche sind vorzugsweise so gewählt dass sie innerhalb des Erfassungsbereiches der 3D-Kamera 200 liegen, wie dies exemplarisch in der 3 dargestellt ist In der 3 sind schematisch die verschiedenen Beleuchtungsgruppen 101 und 102 dargestellt Das durch die erste Beleuchtungsgruppe 101 aufgespannte Beleuchtungsfeld beleuchtet den Erfassungsbereich E der 3D-Kamera vollständig und geht sogar darüber hinaus. Die Beleuchtungsbereiche B2, B3 der zweiten Beleuchtungsgruppe 102 liegen vollständig innerhalb des Erfassungsbereiches E der 3D-Kamera und sind zudem räumlich voneinander getrennt.
-
Diese zur Verfügungstellung verschiedener gegebenenfalls auch räumlich voneinander getrennten Beleuchtungsbereichen hat den Vorteil, dass mit nur einer einzigen 3D-Kamera mehrere und verschiedene Applikationen abgedeckt werden können. Insbesondere besteht die Möglichkeit die Applikationen nicht nur sequenziell sondern auch simultan einzusetzen.
-
Aus der Seitenansicht in 4 ist ferner zu entnehmen, dass die Beleuchtungsbereiche nicht nur in der Geometrie, sondern auch in der Reichweite angepasst werden können. Im dargestellten Fall ist die erste Beleuchtungsgruppe für die Beleuchtung entfernter Objekte ausgebildet während die zweite Beleuchtungsgruppe 102 vornehmlich den Nahbereich beleuchtet. Die 3D-Kamera ist vorzugsweise so ausgebildet, dass sie sowohl den Fernbereich als auch den Nahbereich gleichzeitig erfassen kann.
-
Die Beleuchtungsmodule können mit einer und mehreren Lichtquellen ausgestattet sein, wobei jede Lichtquelle mit einer eigenen Strahlführungsoptik vorzugsweise einem Reflektor ausgestattet ist Prinzipiell ist es möglich, die Strahlführungsoptik einer jeden Lichtquelle für den gewünschten Beleuchtungsbereich zu optimieren. In einer einfacheren Ausgestaltung ist es jedoch vorgesehen, die Strahlfuhrungsoptiken der einzelnen Lichtquellen gleich auszugestalten und den Beleuchtungsbereich durch eine geeignete Gruppierung der Lichtquellen, Positionierung des Beleuchtungsmoduls oder Bilden von Beleuchtungsmodulgruppen festzulegen. Ferner könnte ein Beleuchtungsmodul auch in eine vorhandene Beleuchtungseinheit, zum Beispiel dem PKW-Scheinwerfer, integriert werden.
-
Die unterschiedlich beleuchteten Bereiche können nun mit einer nachgelagerten Bildverarbeitung gegebenenfalls mit verschiedenen Algorithmen bzw. Parametrisierungen ausgewertet und/oder bewertet werden. Durch die gezielte Fokussierung des Lichts in die jeweiligen Beleuchtungsbereiche wird ferner sichergestellt, dass ausreichend Licht für eine geeignete Auswertung in diesem Beleuchtungsbereichen ankommt Um Energie zu sparen oder die Belastung der Beleuchtungsmodule zu verringern, kann es insbesondere vorgesehen sein, bestimmte Beleuchtungsbereiche nur kurzfristig zu beleuchten.
-
Weiterhin ist es denkbar, dass bestimmte Beleuchtungsbereiche B1, B2, B3 nur dann beleuchtet werden, wenn dies eine bestimmte Messsituation erfordert.
-
Prinzipiell ist eine gleichzeitige oder sequenzielle Ausleuchtung der verschiedenen Beleuchtungsbereiche denkbar. Mögliche Auswertungen derartiger Beleuchtungssituationen sind exemplarisch in den 5 und 6 dargestellt.
-
5 zeigt eine gleichzeitige Erfassung der Beleuchtungsbereiche B1, B2, B3 während eines Zeitintervalls t1. Dieses Zeitintervall kann im vorliegenden Fall auch ein Dauerbetrieb sein. Die erfassten Daten der einzelnen Beleuchtungsbereiche werden einer nachfolgenden Bildverarbeitung zugeführt, wobei die Daten des ersten erfassten Bereiches einer ersten Bildverarbeitung BV1 und die Daten aus dem zweiten und dritten Beleuchtungsbereich einer zweiten Bildverarbeitung BV2 zugeführt werden.
-
Die Beleuchtungsbereiche B1, B2, B3 sind vorzugsweise so genannten Region-of-interest zugeordnet. Eine derartige „Region-of-interest“ könnten beispielsweise ein Fernfeld oder ein Nahfeld sein. So kann beispielsweise für die erste Bildverarbeitung BV1 des ersten Beleuchtungsbereich B1 ein Algorithmus und eine Parametrisierung für die Erkennung von Hindernissen, Fahrzeugen, Verkehrsschildern etc. verwendetet werden, während für die zweite Bildverarbeitung BV2 des zweiten und dritten Beleuchtungsbereich B2, B3 der Algorithmus und/oder die verwendeten Parameter vorzugsweise für die Erkennung von Seitenstreifen und/oder Fahrbahnunebenheiten o.ä. optimiert sind.
-
Weiterhin ist es denkbar, für bestimmte Fahrsituationen oder Sicherheitsüberprüfungen die verschiedenen Beleuchtungsbereiche bzw. Region-of-interest mittels unterschiedlichen Bildverarbeitungen zu untersuchen. Im dargestellte Beispiel ist beispielhaft mit gestrichelter Linie eine optionale Auswertung des zweiten Beleuchtungsbereichs B2 mit der ersten Bildverarbeitung BV1 gezeigt Beispielsweise könnte dieser Beleuchtungsbereich zunächst mit der zweiten Bildverarbeitung im Hinblick auf Erfassung eines Seitenstreifens untersucht werden und vorzugsweise parallel in der ersten Bildverarbeitung beispielsweise auf Hindernisse.
-
Selbstverständlich sind auch weitere Zuordnungen der Beleuchtungsbereiche zu den verschiedenen Bildverarbeitungen denkbar, wie auch die Verwendung weiterer Bildverarbeitungen mit verschiedenen Algorithmen und/oder Parametern.
-
Die von den Bildverarbeitungen BV1, BV2 gewonnen Daten können seriell oder auch parallel weiteren Prozessen zur Verfügung gestellt werden. Als Schnittstelle bzw. Datenbus kommen beispielsweise Ethernet, LVDS, CAN, Flexray etc. in Betracht.
-
6 zeigt im Wesentlichen die bereits in 5 dargestellte Bildverarbeitung, wobei die Beleuchtungsbereiche nicht zwingend parallel, sondern vorzugsweise sequentiell betrieben werden. Im dargestellten Beispiel ist es vorgesehen, den ersten Beleuchtungsbereich B1 in einem Zeitintervall t1 und den zweiten und dritten Beleuchtungsbereich B2, B3 in einem zweiten Zeitintervall t2 zu betreiben.
-
Die Zeitdauer und Häufigkeit der Zeitintervalle kann hierbei völlig unabhängig gewählt werden. So kann beispielsweise zunächst der erste Beleuchtungsbereich B1 und dann die beiden anderen Beleuchtungsbereiche B2, B3 betrieben und erfasst werden. Es ist jedoch auch möglich, den ersten Beleuchtungsbereich B1 dauerhaft zu betreiben und den zweiten oder dritten Beleuchtungsbereich B2, B3 nur bei Bedarf zuzuschalten und zu erfassen. Auch das Hinzunehmen weiterer Beleuchtungsbereiche oder Bildverarbeitungen sowie weiteren Zeitintervallen ist denkbar.
-
So kann es auch vorgesehen sein, je nach Auswerte-, Umgebungs- und/oder Fahrsituation unterschiedliche Zeitintervalle, Algorithmen, Parameter zu verwenden oder auch zwischen sequenzieller oder paralleler Beleuchtung oder Bildverarbeitung zu wechseln.
-
In einer weiterführenden Ausbaustufe ist es möglich, über einen externen Befehl, beispielsweise über CAN, Flexray, LIN, Ethernet, oder ähnliches, den auszuleuchtenden Bereich und den anzuwendenden Algorithmus oder die anzuwendende Algorithmus-Parametrisierung zu definieren.
