-
Die
Erfindung betrifft eine Vorrichtung zur Detektion von Objekten mit
mehreren Bilderfassungssensoren, die jeweils mindestens ein Bild
der Abbildung eines Erfassungsbereiches der Vorrichtung aufnehmen
und dem Bild entsprechende Bilddaten erzeugen. Ferner betrifft die
Erfindung ein Verfahren zur Detektion von Objekten.
-
Bekannte
Vorrichtungen zur Detektion von Objekten umfassen entweder eine
Stereokamera oder eine Monokamera, wobei diese Kameras abhängig
von den verwendeten Bilderfassungssensoren Grauwertkamera oder Farbkamera
sind. Mit Hilfe einer Grauwertkamera können Objekte in
einer größeren Entfernung detektiert werden als
mit einer gleichartigen Farbkamera, da bei der Grauwertkamera auch
die bei der Farbkamera zur Erfassung der Farbe verwendeten Bildpunkterfassungselemente/Pixel
zur Objektdetektion zur Verfügung stehen. Nachteil einer
Graubildkamera dagegen ist, dass keine Farbinformationen über
ein detektiertes Objekt ermittelt werden kann. Eine Farbkamera dagegen
liefert die gewünschten Farbinformationen über
ein zu detektierendes Objekt, kann diese Farbinformation aber erst
dann erfassen, wenn sich das Objekt nah genug an der Farbkamera
befindet, da für die Bestimmung der Farbinformation mindestens
drei Bildpunkterfassungelemente beleuchtet werden müssen.
-
Aus
dem Dokument
EP 1758783
B1 ist eine Überwachungseinheit für den
Außenraum in Fahrtrichtung eines Kraftfahrzeuges mit wenigstens
einem Kamerasystem bekannt. Das Kamerasystem umfasst einen Bildaufnahmesensor,
welcher in partiellen Bereichen Farbcodierungen besitzt und in anderen Bereichen
monochrome Codierungen aufweist. Somit können mit nur einer
Aufnahmeeinheit sowohl Farb- als auch Grauwertinformationen eines
detektierten Objektes erzeugt werden.
-
Ein
solches Kamerasystem hat den Nachteil, dass durch die Verwendung
nur einer Bildaufnahmeeinheit nicht die Entfernung zwischen dem
detektierten Objekt und dem Kamerasystem bestimmt werden kann. Um
die Entfernung des detektierten Objektes von dem Kamerasystem zu
bestimmen, ist ein Stereokamerasystem erforderlich, das mindestens
zwei Bilderfassungssensoren umfasst.
-
Aus
dem Dokument
DE 196
33 868 A1 und dem parallelen Dokument
EP 009 189 79 B1 ist ein Stereokamerasystem
für digitale Fotogrammetrie bekannt. Das Stereokamerasystem
umfasst eine Eingangsoptik und in der Fokalebene der Eingangsoptik angeordnete
optische Detektoren. Die Ausgangssignale der optischen Detektoren
werden in eine Auswerteeinrichtung zu einer Bildinformation verarbeitet. In
der Fokalebene sind eine Vielzahl von optischen Detektoren angeordnet,
wobei mindestens zwei der optischen Detektoren wahlweise zusammen
ansteuerbar sind.
-
Aus
dem Dokument
DE 197
27 999 A1 ist ein Stereokamerasystem durch elektrische
Kopplung von zwei vollelektronischen Kameras durch Parallelschaltung
der Zielkontakte der ersten Kamera und der Zielkontakte der zweiten
Kamera bekannt.
-
Aus
dem Dokument
DE 199
05 452 A1 ist eine digitale Stereokamera mit zwei horizontal
nebeneinander um eine Basislange versetzt angeordneten Objektiven
zur Bildung eines Bildpaares eines Objektes, einer zwei Einzelverschlüsse
enthaltenden Verschlusseinrichtung und einer elektronischen Bildsensoreinrichtung
bekannt. Die Bildsensoreinrichtung nimmt die beiden über
die beiden Objektive und Einzelverschlüsse synchron erfassten
Bilder auf und gibt die elektronischen Bildsignale an einen Analog-Digital-Wandler
zur wei teren elektrischen Verarbeitung aus. Das Stereokamerasystem
umfasst ein Hauptkamerateil und ein Nebenkamerateil. Das Nebenkamerateil
ist mechanisch mit dem Hauptkamerateil verbunden. Das Hauptkamerateil
umfasst den Analog-Digital-Wandler und eine Schnittstelle und/oder
eine Speichereinrichtung mit einem Speichermedium zum Abspeichern
der digitalen Bilddaten. Das Nebenkamerateil weist keine digitale Schnittstelle
bzw. Speichereinrichtung auf. Das Nebenkamerateil ist über
eine optische Strahlverbindung oder eine elektrische Signalleitungsverbindung mit
dem Hauptkamerateil verbunden.
-
Aus
dem Dokument
DE 100
33 355 A1 ist ein Stereokamerasystem mit einem rechten
Bildsensor und einem linken Bildsensor sowie mit einer die Bildsensoren
Pixelweise auslesenden Ausleseanordnung, welche die vom rechten
und die vom linken Bildsensor kommende Bildsignalfolge parallel
an eine Auswerteeinheit übergibt, bekannt. Sowohl der rechte
als auch der linke Bildsensor umfassen jeweils mindestens ein ortsfestes
Markierungspixel, um Bildsignalausleseschwankungen und Bildsignallaufzeitschwankungen
korrigieren zu können.
-
Aus
dem Dokument
EP 01
842 382 A2 sind ein Verfahren und eine Vorrichtung zum
Bestimmen einer Objekteigenschaft eines Objektes mit Hilfe von Bildern,
die mit Hilfe einer Kamera erfasst werden, bekannt. Ferner wird
ein Verfahren zum Ermitteln eines Kalibrierparameters für
eine Stereokamera beschrieben. Zum Bestimmen einer Objekteigenschaft eines
Objektes wird das Objekt in einem ersten mit Hilfe der Kamera erfassten
Bild detektiert und die Helligkeit eines bestimmten Objektes ermittelt.
Jeweils in einem voreingestellten Zeitintervall wird ein weiteres
Bild mit Hilfe der Kamera erfasst. Das Objekt wird in jedem der
weiteren Bilder detektiert und jeweils die Helligkeit des detektierten
Objektes in jedem Bild ermittelt. Abhängig vom Verlauf
der Helligkeit wird dem Objekt eine Objekteigenschaft zugewiesen.
-
Aus
dem Dokument
EP 00
174 091 A1 ist eine Stereokamera mit zwei Linsen bekannt,
bei der jede Linse in einer Haltevorrichtung angeordnet ist und
die Haltevorrichtungen fest auf zwei parallel angeordneten biegsamen
Platten gelagert sind. Die simultane Fokussierung und Konvergenz
der Linsen wird über eine Nocke erreicht, durch die die
Platten gebogen werden. Hierdurch wird erreicht, dass die beiden
Linsen entlang der gewünschten geraden Ortslinien blicken.
-
Aufgabe
der Erfindung ist es, eine Vorrichtung zur Detektion von Objekten
anzugeben, bei der die Objekte auf einfache Weise bei geringem Verarbeitungsaufwand
sicher detektiert werden können.
-
Diese
Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Patentanspruchs
1 und durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs
17 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind
in den abhängigen Patentansprüchen angegeben.
-
Durch
eine Vorrichtung mit den Merkmalen des Patentanspruches 1 wird erreicht,
dass mit nur einer Vorrichtung sowohl mindestens ein Bildpaar mit schwarzweißen
Einzelbildern mit Abbildungen des zu detektierenden Objektes und
ein Farbbild mit Abbildung des zu detektierenden Objektes erzeugbar sind.
Sowohl die aus den Schwarzweißbildern als auch die aus
den Farbbild gewonnenen Informationen können bei der Detektion
und/oder Klassifizierung von Objekten berücksichtigt werden.
Da die Vorrichtung ein Stereokamerasystem mit mindestens zwei Grauwertbilderfassungssensoren
umfasst, kann sowohl die Entfernung eines Objekts zur Vorrichtung als
auch eine Farbinformation über eine Farbe des Objekts ermittelt
werden.
-
Vorzugsweise
sind die Grauwertbilderfassungssensoren des Stereokamerasystems
und der Farbbilderfassungssensor des Monokamerasystems derart angeordnet,
dass der Erfassungsbereich des Farbbilderfassungssensors und der
Erfassungsbereich des Stereokamerasystems sich schneiden. Hierdurch
kann zeitgleich ein Schwarzweißbildpaar mit Abbildungen
des detektierten Objektes und ein Farbbild mit einer Abbildung des
detektierten Objektes erzeugt werden.
-
Ferner
ist es vorteilhaft, dass die Vorrichtung eine Platine hat, wobei
die Bilderfassungssensoren jeweils fest mit der Platine verbunden
sind, so dass die Lage der Bilderfassungssensoren zueinander fix und
unveränderbar ist. Durch die fixe Position der Bilderfassungssensoren
zueinander wird der Kalibrierungsaufwand reduziert. Es ist nur ein
einmaliges Kalibrieren bei der Montage der Bilderfassungssensoren
notwendig, ein Nachkalibrieren während des Betriebes der
Vorrichtung ist nicht notwendig.
-
Als
Bilderfassungssensoren werden insbesondere optische Halbleitersensoren,
CCD-Bilderfassungssensoren und/oder CMOS-Bilderfassungssensoren
eingesetzt.
-
Ferner
ist es vorteilhaft, dass die Vorrichtung mindestens eine Auswerteeinheit
hat und mindestens ein Bauteil dieser Auswerteeinheit fest mit der Platine
verbunden ist. In der Auswerteeinheit wird insbesondere mindestens
ein Bildverarbeitungsprogramm zur Verarbeitung der von den Bilderfassungssensoren
erzeugten Bilddaten abgearbeitet.
-
Die
Bilderfassungssensoren und/oder das mindestens ein Bauelement der
Auswerteeinheit sind vorteilhafterweise mit der Platine durch eine
Lötverbindung, Steckverbindung und/oder Pressverbindung
verbunden.
-
Die
Bilderfassungssensoren haben jeweils einen Bilderfassungsbereich.
Der Abstand zwischen den Mittelpunkten der Bilderfassungsbereiche
der Grauwertbilderfassungssensoren des Stereokamerasystems hat vorteilhafterweise
einen Wert im Bereich zwischen 80 mm und 300 mm. Hierdurch wird eine
ausreichend genaue Messung der Entfernung eines Objektes zur Vorrichtung
sichergestellt.
-
Ferner
ist es besonders vorteilhaft, wenn die Bilderfassungssensoren derart
angeordnet sind, dass die Mittelpunkte der Bilderfassungsbereiche
der Bilderfassungssensoren auf einer ersten Gerade liegen und eine
Randlinie des Bilderfassungsbereiches des ersten Grauwertbilderfassungssensors
und einer Randlinie des Bilderfassungsbereiches des zweiten Grauwertbilderfassungssensors
auf einer zweiten Geraden liegen und eine Randlinie des Bilderfassungsbereiches
des Farbbilderfassungssensor auf der zweiten Geraden liegt oder
auf einer parallel zur zweiten Geraden angeordneten dritten Geraden
liegt und der Abstand des Mittelpunktes des Bilderfassungsbereiches
des Farbbilderfassungssensors zum Mittelpunkt des Bilderfassungsbereiches
des ersten Grauwertbilderfassungssensors und der Abstand des Mittelpunktes
des Bilderfassungsbereiches des Farbbilderfassungssensors zum Mittelpunkt
des Bilderfassungsbereiches des zweiten Grauwertbilderfassungssensors
gleich sind. Durch eine derartige Anordnung der Bilderfassungssensoren
wird zum Einen der Montageaufwand und zum Anderen der Rechenaufwand
reduziert. Die Randlinien der Bilderfassungsbereiche der Bilderfassungssensoren
werden jeweils durch Bildpunkterfassungselemente gebildet.
-
Ferner
ist es vorteilhaft, dass die Bilderfassungssensoren so auf der Platine
angeordnet sind, dass die Bilderfassungsbereiche der Bilderfassungssensoren
in einer Ebene liegen.
-
Außerdem
umfasst die Vorrichtung vorzugsweise mindestens zwei Objektive,
die so mit der Platine verbunden und/oder zur Platine angeordnet
sind, dass jeweils eine Abbildung eines Erfassungsbereiches des
Stereokamerasystems auf jeweils einen Bilderfassungsbereich der
Grauwertbilderfassungssensoren abgebildet und/oder fokussiert sind.
Ferner hat die Vorrichtung mindestens ein Objektiv, das so mit der
Platine verbunden und/oder so zur Platine angeordnet ist, dass eine
Abbildung des Erfassungsbereiches des Monokamerasystems auf den
Bilderfassungsbereich des Farbbilderfassungssensors abgebildet und/oder
fokussiert ist. Über die Wahl der Objektive kann eine Anpassung
des Stereokamerasystems und/oder des Monofarbkamerasystems an die gewünschte
Brennweite, Lichtstärke und/oder optische Apertur erfolgen.
Durch die Verbindung der Objektive mit der Platine wird die Lage
der Objektive zum Bilderfassungsbereich des jeweiligen Bilderfassungssensors
auf einfache Weise festgelegt. Es ist besonders vorteilhaft, wenn
die optische Achse eines jeden Objektivs durch den Mittelpunkt des
Bilderfassungsbereiches des zugehörigen Bilderfassungssensors
oder in der Nähe des Bildmittelpunkts durch den Bilderfassungsbereich
verläuft. Dadurch kann das Erfassen von zur Weiterverarbeitung
geeigneter Bilder sichergestellt werden.
-
Des
Weiteren ist es vorteilhaft, dass die Objektive des Stereokamerasystems
eine größere Brennweite als das Objektiv des Monokamerasystems
haben. Hierdurch können in den mit Hilfe des Stereokamerasystems
erzeugten Bildpaaren Abbildungen von Objekten bereits dann detektiert werden, wenn
sich das Objekt in großer Entfernung zur Vorrichtung befindet.
Mit Hilfe der durch das Monokamerasystem erzeugten Farbbilder kann
die Farbe des detektierten Objekts ermittelt werden, sobald sich das
detektierte Objekt in ausreichender Nähe zur Vorrichtung
befindet.
-
Eine
größere Brennweite der Objektive der Stereokamerasystems
im Vergleich zu dem Objektiv des Monokamerasystems kann dadurch
erreicht werden, dass die Objektive des Stereokamerasystems Teleobjektive
und das Objektiv des Monokamerasystems ein Normalobjektiv sind,
oder dadurch, dass die Objektive des Stereokamerasystems Teleobjektive sind
und das Objektiv des Monokamerasystems ein Weitwinkelobjektiv ist,
oder dadurch, dass die Objektive des Stereokamerasystems Normalobjektive
und das Objektiv des Monokamerasystems ein Weitwinkelobjektiv sind.
-
Darüber
hinaus ist es vorteilhaft, dass mit Hilfe des Stereokamerasystems
mehrere Bildpaare mit Abbildungen des Erfassungsbereiches nacheinander als
Bildfolge erfasst werden und in mindestens einem Einzelbild eines
ersten Bildpaares mindestens eine Abbildung mindestens eines Objektes
detektiert wird. Anschießend wird die Position des detektierten
Objektes in mindestens einem Einzelbild eines zweiten Bildpaares
der nacheinander als Bildfolge aufgenommenen Bildpaare ermittelt.
Hierdurch ist ein Tracking des detektierten Objekts möglich.
-
Besonders
vorteilhaft ist es, wenn auf der Platine Elemente einer Infrarotbeleuchtungsvorrichtung
angeordnet sind. Insbesondere sind Infrarotleuchtdioden auf der
Platine angeordnet und über Lötverbindungen mit
dieser verbunden. Dadurch ist eine Beleuchtung des Erfassungsbereichs
des Stereokamerasystems mit Hilfe dieser Infrarotleuchtdioden möglich, so
dass auch bei Dunkelheit verwertbare Bilder mit Hilfe des Stereokamerasystems
aufgenommen werden können.
-
Ein
weiterer Aspekt der Erfindung betrifft ein Verfahren zur Detektion
von mindestens einem Objekt. Mit Hilfe eines Stereokamerasystems,
das mindestens zwei Grauwertbilderfassungssensoren hat, wird mindestens
ein erstes Bildpaar mit jeweils einer Abbildung eines Erfassungsbereiches
erfasst. In mindestens einem Einzelbild dieses erfassten Bildpaares
wird mindestens eine Abbildung mindestens eines Objekts detektiert.
Ferner wird mit Hilfe eines Farbbilderfassungssensors eines Monokamerasystems
mindestens ein Bild mit einer Abbildung eines Erfassungsbereiches
erfasst und in diesem durch den Farbbilderfassungssensor aufgenommenen
Bild mindestens eine Abbildung des im ersten Bildpaar detektierten
Objekts detektiert. Des Weiteren wird mindestens eine Farbe des
detektierten Objekts ermittelt.
-
Es
ist vorteilhaft, mit Hilfe des Grauwertstereokamerasystems mehrere
Bildpaare mit Abbildungen des Erfassungsbereichs nacheinander als
Bildfolge zu erfassen, in mindestens einem Einzelbild des ersten
Bildpaares mindestens eine Abbildung mindestens eines Objektes zu
detektieren und die Position des detektierten Objektes in mindestens
einem Einzelbild eines zweiten Bildpaares der nacheinander als Bildfolge
aufgenommenen Bildpaare zu ermitteln. Hierdurch ist ein Tracking
des detektierten Objekts möglich.
-
Ferner
ist vorteilhaft, dass das mit Hilfe des Stereokamerasystems aufgenommene
Bildpaar und das mit Hilfe des Monokamerasystems aufgenommene Bild
gleichzeitig erfasst werden.
-
Das
durch den unabhängigen Verfahrensanspruch spezifizierte
Verfahren kann in gleicher Weise weitergebildet werden wie die Vorrichtung
nach Anspruch 1. Insbesondere kann das Verfahren mit den in den
auf die Vorrichtung rückbezogenen abhängigen Patentansprüchen
angegebenen Merkmalen bzw. den entsprechenden Verfahrensmerkmalen weitergebildet
werden.
-
Weitere
Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden
Beschreibung, welche in Verbindung mit den beigefügten
Figuren die Erfindung anhand von Ausführungsbeispielen
näher erläutert.
-
Es
zeigen:
-
1 eine
Draufsicht auf eine schematisch dargestellte Vorrichtung zur Detektion
von Objekten; und
-
2 eine
perspektivische Draufsicht auf die Vorrichtung nach 1 und
drei mit der Platine koppelbare Objektive.
-
In 1 ist
eine Draufsicht auf eine schematisch dargestellte Vorrichtung 9 zur
Detektion von Objekten dargestellt. Die Vorrichtung 9 hat
eine Platine 1 und weitere mit der Platine 1 verbundene
Bauteile 2 bis 5, 8a bis 8d.
Die Platine 1 umfasst einen Träger aus isolierendem
Material, der elektrisch leitende Verbindungen hat, die die elektrischen
Anschlüsse der mit der Platine 1 verbundenen Bauteile 2 bis 5, 8a bis 8d elektrisch
miteinander verbinden. Die elektrisch leitende Verbindungen sind
vorzugsweise als Leiterbahnen in Form einer gedruckten Schaltung ausgeführt.
Die Platine 1 ist beispielsweise aus Phenolharz und Papier,
aus Epoxydharz und Papier oder aus Epoxydharz und Glasfasergewebe
und Leiter bahnen aus Kupfer hergestellt. Eine solche Platine 1 wird
auch als Leiterplatte bezeichnet. Sowohl die Signalanschlüsse
als auch die Anschlüsse zur Stromversorgung der Bauteile 2 bis 5, 8a bis 8d sind
mit elektrischen Verbindungen der Platine 1 verbunden. Zusätzlich
zu den durch die Platine 1 bereitgestellten elektrischen
Verbindungen können elektrische Verbindungen über
Verbindungsleitungen zur elektrischen Verbindung von Bauteilen 2 bis 5, 8a bis 8d auf der
Platine 1 und/oder zum Verbinden der Platine 1 mit
weiteren Baueinheiten vorgesehen sein.
-
Auf
der Platine 1 sind drei Bilderfassungssensoren 2 bis 4 angeordnet
und über geeignete Verbindungen mit den Leiterbahnen der
Platine 1 elektrisch verbunden. Die beiden äußeren
Bilderfassungssensoren 2, 3 sind Grauwertbilderfassungssensoren.
Der mittlere Bilderfassungssensor 4 ist ein Farbbilderfassungssensor.
Die Grauwertbilderfassungssensoren 2, 3 sind vorzugsweise
identisch. Die Abstände 6, 7 zwischen
Bilderfassungssensoren 2 bis 4 sind durch die
gedruckte Schaltung der Platine 1 vorgebeben. Der Abstand 6 zwischen
den Grauwertbilderfassungssensoren 2, 3 hat vorzugsweise einen
Wert im Bereich von 80 mm bis 300 mm. Der Abstand 7 zwischen
dem Farbbilderfassungssensor 4 und einem der Grauwertbilderfassungssensoren 2, 3 ist
vorzugsweise halb so groß wie der Abstand 6 zwischen
den Grauwertbilderfassungssensoren 2, 3. Der Abstand
des Farbbilderfassungssensors 4 zu dem Grauwertbilderfassungssensor 2 und
der Abstand zwischen dem Farbbilderfassungssensor 4 und
dem Grauwertbilderfassungssensor 3 sind somit identisch.
Die Bilderfassungssensoren 2 bis 4 sind mit der
Platine 1 über mindestens eine Lötverbindung verbunden.
Alternativ können die Bilderfassungssensoren 2 bis 4 in
jeweils einem mit der Platine 1 jeweils über mindestens
eine Lötverbindung verbundenen Sockel gesteckt sein. Durch
die fixe Position der Bilderfassungssensoren 2 bis 4 zueinander
ist der Kalibrierungsaufwand zur Kalibrierung der Vorrichtung 9 reduziert.
Es ist nur ein einmaliges Kalibrieren bei der Montage der Bilderfassungssensoren 2 bis 4 notwendig.
Ein Nachkalibrieren während des Betriebes der Vorrichtung 9 ist
nicht notwendig. Die Bilderfassungssensoren 2 bis 4 sind
vorzugsweise optische Halbleitersensoren. Als Bilderfassungssensoren 2 bis 4 eigenen
sich beispielsweise CCD-Bilderfassungssensoren oder CMOS-Bilderfassungssensoren.
-
Die
Bilderfassungssensoren 2 bis 4 sind so auf der
Platine 1 angeordnet und mit dieser verbunden, dass zumindest
die Bilderfassungsbereiche der Grauwertbilderfassungssensoren 2, 3 abgesehen von
geringen Fertigungstoleranzen in einer Ebene angeordnet sind. Vorzugsweise
sind alle Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 4 in einer
Ebene angeordnet. Die Mittelpunkte der durch Bildpunkterfassungselemente
gebildeten Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 4 liegen
im in 1 dargestellten Ausführungsbeispiel auf
einer ersten Geraden. Ferner liegen die durch die Bildpunkterfassungselemente
gebildeten oberen Randlinien der Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 4 auf
einer zweiten Geraden, die parallel zur ersten Geraden verläuft.
Sowohl die erste Gerade als auch die zweite Gerade verlaufen parallel
zur oberen Kante der Platine 1. Alternativ sind auch andere
Anordnungen der Bilderfassungssensoren 2 bis 4 möglich.
Insbesondere kann der Farbbilderfassungssensor 4 eine von
der Größe der Grauwertbilderfassungssensoren 2, 3 abweichende Größe
haben. Die Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 4 befinden
sich auf der der Platine 1 abgewandten Seite des jeweiligen
Bilderfassungssensors 2 bis 4.
-
Ferner
ist auf der Platine 1 ein Bauelement 5 einer Auswerteeinheit
angeordnet, zu der die von den Bilderfassungssensoren 2 bis 4 erzeugten
Bild daten über die von der Platine 1 bereitgestellten
elektrische Verbindung übertragen werden. Die Verarbeitung
der Bilddaten in der Auswerteeinheit erfolgt mit Hilfe von durch
ein Bildverarbeitungsprogramm bereitgestellten Bildverarbeitungsalgorithmen.
Hierzu ist in der Auswerteeinheit mindestens ein Bildverarbeitungsprogramm
gespeichert und wird von der Auswerteeinheit beim Betrieb der Vorrichtung 9 abgebildet.
Für die Bildverarbeitung können beispielsweise
Digitalsignalprozessoren (DSP), ASIC's, FPGA's, und/oder Vektorprozessoren
als Auswerteeinheit eingesetzt und insbesondere auf der Platine 1 angeordnet
werden. Zusätzlich oder alternativ können zur
Bildverarbeitung auch sogenannte Logik Arrays, wie Programable Logic
Devices (PLD), eingesetzt werden.
-
Der
erste Grauwertbilderfassungssensoren 2 bildet zusammen
mit einem dem ersten Grauwertbilderfassungssensoren 2 zugeordneten,
nicht dargestellten ersten Objektiv eine erste Einzelkamera eines
Stereokamerasystems. Der zweite Grauwertbilderfassungssensoren 3 bildet
zusammen mit einem dem zweiten Grauwertbilderfassungssensoren 3 zugeordneten,
nicht dargestellten zweiten Objektiv eine zweite Einzelkamera des
Stereokamerasystems. Der Farbbilderfassungssensor 4 bildet
zusammen mit einem dem Farbbilderfassungssensor 4 zugeordneten, nicht
dargestellten dritten Objektiv und der Auswerteeinheit ein Monokamerasystem.
-
Ferner
sind auf der Platine 1 Bauteile 8a bis 8d einer
Infrarotbeleuchtungsvorrichtung angeordnet. Die Bauteile 8a bis 8d sind
insbesondere Infrarotleuchtdioden. Durch die Verwendung von Infrarotlicht
kann die Vorrichtung 9 auch bei Dunkelheit zur Bilderfassung
genutzt werden, da der Erfassungsbereich des Monokamerasystems und
die Erfassungsbereiche der Einzelkameras der Stereokamerasystems
mit Hilfe der Infrarotbeleuchtungsvorrichtung zumindest teilweise
beleuchtet werden können.
-
In 2 ist
eine perspektivische Draufsicht auf die Vorrichtung 9 nach 1 mit
drei mit der Platine 1 koppel- und entkoppelbaren Objektiven 10 bis 12 dargestellt.
Elemente mit gleichem Aufbau oder gleicher Funktion haben dieselben
Bezugszeichen. Die Objektive 10 bis 12 sind so
mit der Platine 1 koppelbar, dass jeweils die optische
Achse eines Objektives 10 bis 12 durch den Mittelpunkt
des Bilderfassungsbereiches eines Bilderfassungssensors 2 bis 4 verläuft
oder den Bilderfassungsbereich nahe des Mittelpunkts schneidet.
Die Objektive 10 bis 12 werden beispielsweise
auf die Platine 1 geklebt, mit der Platine 1 verschraubt, über
geeignete Rastelemente mit der Platine 1 verbunden oder über
geeignete Klemmverbindungen mit der Platine 1 verbunden.
-
Alternativ
können die Objektive 10 bis 12 auch in
ein nicht dargestelltes Gehäuse integriert sein. Die Lage
der Objektive 10 bis 12 zu den Bilderfassungsbereichen
der Bilderfassungssensoren 2 bis 4 ist in diesem
Fall über die Lage des Gehäuses zu der Platine 1 festgelegt.
Das Gehäuse kann zum dauerhaften Schutz der Vorrichtung 9,
beispielsweise gegen Umwelteinflüsse, wie Spritzwasser,
Kälte, Regen und/oder Vandalismus, dienen. Die Grauwertbilderfassungssensoren 2, 3 bilden
zusammen mit den den Grauwertbilderfassungssensoren 2, 3 zugeordneten Objektiven 10, 11 und
der Auswerteeinheit ein Stereokamerasystem. Der Farbbilderfassungssensor 4 bildet
zusammen mit dem dem Farbbilderfassungssensor 4 zugeordneten
Objektiv 12 und der Auswerteeinheit ein Monokamerasystem.
Die Kombination eines Stereokamerasystems und eines Monokamerasystems
zu einer Vorrichtung 9 wird auch als Kombikamerasystem
bezeichnet.
-
Die
Objektive 10 bis 12 haben jeweils eine oder mehrere
Linsen und/oder weitere optische Elemente und dienen insbesondere
zur Fokussierung von Abbildungen auf die Bilderfassungsbereiche
der Bilderfassungssensoren 2 bis 4. Über
die Wahl der Objektive 10 bis 12 kann eine Anpassung
des Stereokamerasystems und des Monokamerasystems an die gewünschte
Brennweite, Lichtstärke und/oder optische Apertur erfolgen.
Die Objektive 10, 11, die den Grauwertbilderfassungssensoren 2, 3 des
Stereokamerasystems zugeordnet sind, sind vorzugsweise identisch.
Ferner haben die Objektive 10, 11 des Stereokamerasystems
vorzugsweise eine größere Brennweite als das Objektiv 12 des
Monokamerasystems. Um dies zu erreichen sind drei Alternativen möglich:
- 1. Die Objektive 10, 11 des
Stereokamerasystems sind Teleobjektive und das Objektiv 12 des
Monokamerasystems ist ein Weitwinkelobjektiv.
- 2. Die Objektive 10, 11 des Stereokamerasystems sind
Normalobjektive und das Objektiv 12 des Monokamerasystems
ist ein Weitwinkelobjektiv.
- 3. Die Objektive 10, 11 des Stereokamerasystems sind
Teleobjektive und das Objektiv 12 des Monokamerasystems
ist ein Normalobjektiv.
-
Mit
Hilfe der Einzelbildkameras des Stereokamerasystems wird mindestens
ein erstes Bildpaar mit jeweils einer Abbildung des jeweiligen Erfassungsbereiches
erfasst. In mindestens einem Einzelbild dieses erfassten Bildpaares
wird mindestens eine Abbildung mindestens eines Objektes detektiert. Vorteilhafterweise
werden durch die Stereokamera mehrere Bildpaare mit Abbildung des
Erfassungsbereiches nacheinander als Bildfolge erfasst. Mit Hilfe einer
in der Auswerteeinheit hinterlegten Trackingfunktion wird die Position
des im ersten Bildpaar detektierten Objekts in Einzelbildern weiterer
der als Bildfolge aufgenommenen Bildpaare ermittelt.
-
Ferner
wird mit Hilfe des Monokamerasystems ein Farbbild des Erfassungsbereichs
des Monokamerasystems erfasst. In dem Farbbild des Monokamerasystems
wird eine Abbildung des in dem Bildpaar des Grauwertstereokamerasystems
detektierten Objektes detektiert. In dem Farbbild können
eine oder mehrere Farben des detektierten Objekts und/oder ein Farbverlauf
ermittelt werden.
-
Im
beschriebenen Ausführungsbeispiel wird durch die Kombination
eines Grauwertstereokamerasystems und eines Farbmonokamerasystems
zu einem Kombikamerasystem erreicht, dass das Kombikamerasystem
die große Brennweite und hohe Auflösung und somit
einen großen Erfassungsbereich eines Grauwertstereokamerasystems
hat und zusätzlich mit Hilfe des Farbmonokamerasystems
Farbinformationen über das Objekt ermittelt werden können,
sobald das detektierte Objekt sich ausreichend nah vor dem Kombikamerasystem
im Erfassungsbereich des Monokamerasystems befindet. Diese zusätzlich
gewonnenen Farbinformationen können beispielsweise bei
der Klassifizierung des detektierten Objektes genutzt werden oder
es kann eine bereits anhand der durch das Grauwertstereokamerasystems
aufgenommenen Bildpaaren erfolgte Klassifizierung des detektierten
Objektes anhand der durch das Farbmonokamerasystem gewonnenen Farbinformationen
verifiziert werden. Mit Hilfe des Stereokamerasystems kann zusätzlich
die Entfernung des detektierten Objektes zur Vorrichtung 9 ermittelt
werden. Mit Hilfe des Grauwertstereokamerasystems können
Objekte vorteilhafterweise in einem Bereich bis zu einer Entfernung
von 500 m bis 1000 m erfasst werden. Der Erfassungsbereich des Farbmonokamerasystems
erstreckt sich vorzugsweise bis zu einer Entfernung zwischen 50
m und 80 m.
-
Das
beschriebene Verfahren wird zur Erfassung, zur Aufzeichnung, zur
Bewertung und zum Zählen von statischen oder bewegten Objekten
sowie zur Verfolgung und zur Analyse des Bewegungsverhaltens von
Personen und/oder Objekten und zur Vermessung von Objekten und/oder
Personen, genutzt. Die Vorrichtung 9 kann zur Objekterkennung
in Kraftfahrzeugen, für Kraftfahrzeugassistenzsysteme, im
Straßenverkehr, in Fertigungseinrichtungen, in Veranstaltungseinrichtungen,
im Fern- und Nahverkehr, in landwirtschaftlichen Betrieben, in öffentlichen Einrichtungen,
in Einrichtungen zum Kontrollieren von Massenflüssen und
in Industrieprozessen zum Einsatz kommen. Insbesondere eignen sich
die Vorrichtung und das Verfahren für die Überwachung
von Räumen mit vielen Objekten, insbesondere mit einer großen
Anzahl von Menschen, speziell Bahnhöfen, Stadien und Shopping-Centern.
Insbesondere bei der Verfolgung von Objekten in Abläufen
mit einer Vielzahl verschiedener Objekte erleichtert die durch die
mit Hilfe der Farbmonokamera aufgenommenen Bilddaten ermittelte
Farbe des zu verfolgenden Objektes die Verfolgung erheblich.
-
- 1
- Platine
- 2
bis 4
- Bilderfassungssensor
- 5
- Bauelement
- 6,
7
- Abstände
- 8a
bis 8d
- Infrarotbeleuchtungsvorrichtung
- 9
- Vorrichtung
- 10
bis 12
- Objektiv
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - EP 1758783
B1 [0003]
- - DE 19633868 A1 [0005]
- - EP 00918979 B1 [0005]
- - DE 19727999 A1 [0006]
- - DE 19905452 A1 [0007]
- - DE 10033355 A1 [0008]
- - EP 01842382 A2 [0009]
- - EP 00174091 A1 [0010]