DE10131196A1 - Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen - Google Patents

Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen

Info

Publication number
DE10131196A1
DE10131196A1 DE10131196A DE10131196A DE10131196A1 DE 10131196 A1 DE10131196 A1 DE 10131196A1 DE 10131196 A DE10131196 A DE 10131196A DE 10131196 A DE10131196 A DE 10131196A DE 10131196 A1 DE10131196 A1 DE 10131196A1
Authority
DE
Germany
Prior art keywords
vehicle
image sensors
image
optical axes
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10131196A
Other languages
English (en)
Inventor
Christoph Stiller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=7689770&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE10131196(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE10131196A priority Critical patent/DE10131196A1/de
Priority to PCT/DE2002/002190 priority patent/WO2003002375A1/de
Priority to DE50208716T priority patent/DE50208716D1/de
Priority to US10/481,971 priority patent/US7652686B2/en
Priority to EP02750789A priority patent/EP1404545B1/de
Publication of DE10131196A1 publication Critical patent/DE10131196A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

Um eine Vorrichtung (100) zur Detektion von Gegenständen, Personen oder dergleichen, insbesondere im Umfeld eines Fahrzeuges (10), mit einer stereosensitiven Bildaufzeichnungseinheit, die wenigstens zwei Bildsensoren (14, 14') umfasst, und einer Auswerteeinheit (32) zur Auswertung der von den Bildsensoren gelieferten Signale, zu schaffen, mittels der in einfacher Weise eine dreidimensionale Geometrie eines Fahrzeugumfeldes sowohl mit großer Reichweite als auch mit großem Blickwinkel variabel erfassbar ist, ist vorgesehen, dass die optischen Achsen (16, 16') der Bildsensoren (14, 14') relativ zueinander und/oder relativ zum Fahrzeug (10) veränderbar ausrichtbar sind.

Description

    Technisches Gebiet
  • Die Erfindung betrifft eine Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen, insbesondere im Umfeld eines Fahrzeuges.
  • Stand der Technik
  • Aus der Druckschrift IEEE Intelligent Vehicles Symposium, Okt. 2000, "Real-time stereo vision for for urban traffic scene understanding", U. Franke ist bekannt, das Umfeld eines Fahrzeuges mit einer Bildaufzeichnungseinheit zu erfassen, die zur Aufnahme dreidimensionaler Bilder eine Stereokamera umfasst. Durch Auswertung der aufgenommenen Szene kann die Position, beispielsweise weiterer Fahrzeuge, Personen oder Gegenstände, im Umfeld des Fahrzeuges ermittelt werden. Anhand dieser Informationen kann die Längs- und/oder Querführung des Fahrzeuges durch einen Regler beeinflusst werden, so dass der Fahrer bei der Fahrzeugführung unterstützt wird und der Fahrkomfort und die Verkehrssicherheit verbessert werden können. Beispielsweise kann im Falle einer drohenden Kollision ein automatisches Ausweich- oder Bremsmanöver die Kollision vermeiden oder wenigstens die Kollisionsenergie reduzieren.
  • Aus dem Dokument MIT Press, 1995, "Three dimensional Computer vision: a geometric viewpoint", O. Faugeras ist bekannt, wie ein Stereokamerasystem die dreidimensionale Geometrie der auf das Bildpaar projizierten Umwelt durch Triangularisierung ermittelt, das heißt durch Bestimmung des Schnittpunktes der in die jeweils linke und rechte Kamera einfallenden Lichtstrahlen. Hierbei wird festgestellt, dass die Position der Kameraköpfe, also die Ausrichtung von deren optischen Achsen, einer Stereokamera die Detektionseigenschaften erheblich beeinflusst und manche Objekte aufgrund ihrer Position oder Textur eine Stereosensierung erschweren.
  • Die Wahl der optischen Brennweite einer starren Stereoanordnung erfordert grundsätzlich einen Kompromiss zwischen Reichweite und Blickwinkel. In Fahrzeuganwendungen sind jedoch an beide Größen hohe Anforderungen gestellt. So ist bei Fahrgeschwindigkeiten von zirka 200 km/h - beispielsweise nach der so genannten "Halbe-Tacho-Regel" - eine Reichweite von mehr als 100 m erforderlich. Gleichzeitig erfordert eine zuverlässige Erfassung von Verkehrzeichen große Blickwinkel von beispielsweise 70°. Diese Anforderungen sind mit den bekannten Stereokameras nicht einhaltbar.
  • Zur Abhilfe ist in IEEE Intelligent Vehicles Symposium, Okt. 2000, "EMS- Vision: Gaze control in autonomous vehicles", M. Pellkofer und E. D. Dickmanns vorgeschlagen worden, auf eine drehbare Plattform einzelne Monokameras mit unterschiedlicher Brennweite zu montieren. Hierdurch wird eine Vergrößerung des erfassbaren Blickwinkels möglich. Die Kameraplattform wird hierbei auf ein fernes Objekt oder auf ein seitlich zur Fahrtrichtung befindliches Objekt, beispielsweise ein Verkehrszeichen, ausgerichtet.
  • Darstellung der Erfindung, Aufgabe, Lösung, Vorteile
  • Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung der gattungsgemäßen Art anzugeben, mittels der in einfacher Weise eine dreidimensionale Geometrie eines Fahrzeugumfeldes sowohl mit großer Reichweite als auch mit großem Blickwinkel variabel erfassbar ist.
  • Erfindungsgemäß wird diese Aufgabe durch eine Vorrichtung mit den im Anspruch 1 genannten Merkmalen gelöst. Dadurch, dass die Bildaufzeichnungseinheit wenigstens zwei Bildsensoren umfasst, wobei die optischen Achsen der Bildsensoren relativ zueinander und/oder relativ zum Fahrzeug veränderbar ausrichtbar sind, ist vorteilhaft möglich, die Geometrie der Bildaufzeichnungseinheit an die aktuell erforderliche Reichweite beziehungsweise den Blickwinkel anzupassen. Es wird eine generell hohe Reichweite durch Wahl einer langen Brennweite möglich, wobei ein augenblicklich geringerer Blickwinkel in Kauf genommen werden kann, da die erfindungsgemäße Vorrichtung eine Vergrößerung des Blickwinkels jederzeit wieder erlaubt. Ferner ist vorteilhaft möglich, durch die relativ zueinander veränderbar ausrichtbaren optischen Achsen der Bildsensoren eine Variation eines Stereobereiches der Bildaufzeichnungseinheit zu erzielen. Entsprechend der Ausrichtung der optischen Achsen relativ zueinander kann der Überlappungsbereich der Erfassungsbereiche der einzelnen Bildsensoren vergrößert beziehungsweise verkleinert werden. Denkbar sind hier vorzugsweise auch Varianten, nach denen wenigstens einer der Bildsensoren in Fahrtrichtung ausgerichtet ist, während ein anderer der Bildsensoren quer zur Fahrtrichtung ausgerichtet ist. So lässt sich auch eine zeitweise monokulare Bildauswertung jeder der von den Bildsensoren gelieferten Signale erreichen, wenn dies bei entsprechender Situation erforderlich beziehungsweise ausreichend erscheint. Dadurch, dass die optischen Achsen zusätzlich relativ zum Fahrzeug veränderbar ausrichtbar sind, kann vorzugsweise der Überlappungsbereich der Erfassungsbereiche der Bildsensoren auch relativ zum Fahrzeug verschwenkt werden und auch dort in seiner Größe variiert werden. So kann vorzugsweise beispielsweise während eines Einparkvorganges eine Stereovermessung einer angepeilten Parklücke, die sich beispielsweise seitlich vom Fahrzeug befindet, erfolgen. Ferner ist vorteilhaft, dass durch die variable Einstellbarkeit der optischen Achsen auch sich im Umfeld befindliche, aufgrund ihrer Form und/oder Textur nur schwierig stereosensierbare Körper oder dergleichen erfassen und auswerten lassen.
  • Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen.
    • Kurze Beschreibung der Zeichnungen
  • Nachstehend wird die Erfindung in Ausführungsbeispielen anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
  • Fig. 1a und 1b schematische Ansichten eines Fahrzeuges mit einer erfindungsgemäßen Vorrichtung;
  • Fig. 2 bis 6 schematisch verschiedene Ausrichtmöglichkeiten der erfindungsgemäßen Vorrichtung und
  • Fig. 7 ein Flussdiagramm einer Steuerung der erfindungsgemäßen Vorrichtung.
    • Bester Weg zur Ausführung der Erfindung
  • In Fig. 1a und 1b ist jeweils ein Kraftfahrzeug 10 schematisch in Draufsicht und in Seitenansicht gezeigt. Das Kraftfahrzeug 10 besitzt eine insgesamt mit 100 bezeichnete Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen in einem Umfeld des Kraftfahrzeuges. Die Vorrichtung 100 umfasst eine Bildaufzeichnungseinheit 12, die zwei Bildsensoren 14 beziehungsweise 14' (nachfolgend auch Kameras 14 beziehungsweise 14' genannt) aufweist. Die Kameras 14 beziehungsweise 14' werden beispielsweise von CMOS-Kameras gebildet. Entsprechend dem Aufbau der Kameras 14 beziehungsweise 14' besitzen diese optische Achsen 16 beziehungsweise 16'. Diese sind lediglich in Fig. 1a schematisch angedeutet. Die optischen Achsen 16 beziehungsweise 16' bestimmen die Ausrichtung der Kameras 14 beziehungsweise 14' und somit deren Bilderfassungsbereich.
  • Der Kamera 14 ist eine erste Antriebseinrichtung 18 und der Kamera 14' eine zweite Antriebseinrichtung 20 zugeordnet. Die Antriebseinrichtungen 18 und 20 sind auf einem Träger 22 angeordnet, dem wiederum eine dritte Antriebseinrichtung 24 zugeordnet ist. Die Antriebseinrichtungen 18, 20 beziehungsweise 24 werden beispielsweise von Schrittmotoren oder kontinuierlich verstellbaren Motoren gebildet. Mittels der Antriebseinrichtungen 18, 20 und 24 ist die relative Lage der optischen Achsen 16 beziehungsweise 16' der Kameras 14 beziehungsweise 14' zueinander und/oder zum Kraftfahrzeug 10 veränderbar. Hierbei kann prinzipiell eine Verschwenkung der optischen Achsen 16 beziehungsweise 16' zu einer Fahrzeuglängsachse 26, zu einer Fahrzeugquerachse 28 und/oder zu einer Fahrzeughochachse 30 erfolgen. Gemäß dem dargestellten Ausführungsbeispiel wird davon ausgegangen, dass die Kameras 14 beziehungsweise 14' um die Fahrzeughochachse 30 mittels der Antriebseinrichtungen 18, 20 beziehungsweise 24 drehbar sind. Hierbei ist die Kamera 14 über die Antriebseinrichtung 18, die Kamera 14' über die Antriebseinrichtung 20 und der Träger 22 über die Antriebseinrichtung 24 jeweils separat um die Fahrzeughochachse 30 drehbar, so dass es entsprechend den Ansteuerungen der Antriebseinrichtungen 18, 20 und 24 zu beliebigen Ausrichtungen der optischen Achsen 16 beziehungsweise 16' in der Horizontalebene kommt. Entsprechend einer eventuellen Winkelstellung der Kameras 14 und 14' und somit einer entsprechenden Winkelstellung der optischen Achsen 16 beziehungsweise 16' zur Horizontalebene können diese optischen Achsen 16 und 16' auch auf einer Kegelmantelfläche relativ zueinander und/oder relativ zum Kraftfahrzeug 10 veränderbar ausrichtbar sein. Die Bildaufzeichnungseinheit 12 ist vorzugsweise an einem Dachmodul des Fahrzeuges 10 angeordnet.
  • Sowohl die Kameras 14 und 14' als auch die Antriebseinrichtungen 18, 20 und 24 sind mit einer Auswerteeinheit 32 verbunden, die wenigstens einen Signalverarbeitungsprozessor umfasst. Mittels der Auswerteeinheit 32 werden die von den Kameras 14 und 14' gelieferten Bildsignale verarbeitet und Steuersignale für die Antriebseinrichtungen 18, 20 und 24 generiert. Über die Auswerteeinheit 32 sind ferner weitere Aktoren des Kraftfahrzeuges 10, beispielsweise in Abhängigkeit der mittels der Bildaufzeichnungseinheit 12 gelieferten Bilder, ansteuerbar. Derartige Aktoren können beispielsweise Stellglieder von Bremseinrichtungen, E-Gaseinrichtungen, Lenkeinrichtungen oder dergleichen sein. Zur Signalverarbeitung kann die Auswerteeinheit ferner mit weiteren, nicht dargestellten Sensoren verbunden sein, von denen zusätzliche Informationen, wie Betriebsparameter des Kraftfahrzeuges 10, bereitstellbar sind.
  • Die Funktion der erfindungsgemäßen Vorrichtung wird anhand der Fig. 2 bis 7 näher erläutert.
  • Fig. 7 zeigt ein Flussdiagramm, wonach in einem ersten Schritt 34 von der Auswerteeinheit 32 ein von den Kameras 14 beziehungsweise 14' aufgenommenes Bildpaar erfasst wird. In einem nächsten Schritt 36 werden korrespondierende Bildbereiche in den beiden, aus geringfügig unterschiedlichen Blickwinkeln (entsprechend dem Abstand der Kameras 14 beziehungsweise 14' zueinander) aufgenommenen Bildern gesucht. Wo diese korrespondierenden Bildbereiche liegen, erstellt die Auswerteeinheit 32 aus der ungefähren Kenntnis der Kamerastellungen (über die Ansteuerung der Antriebseinrichtungen 18, 20 und 24 bekannt) und gegebenenfalls aus vorhergehender Auswertung der Kalibrierung und der dreidimensionalen Geometrie der aufgenommenen Szene. Mit Hilfe dieser groben Kenntnis korrespondierender Bildpositionen lassen sich mit an sich bekannten Suchverfahren zur Verschiebungsschätzung die genauen Orte korrespondierender Bereiche in den beiden Bildern ermitteln. Aus der nunmehr vorliegenden Kenntnis der korrespondierenden Bildbereiche lässt sich die relative Orientierung zwischen den beiden Kameras 14 beziehungsweise 14' bestimmen (Schritt 38). Dies kann beispielsweise durch Ermittlung der so genannten Essential Matrix E durch geeignete Auflösung des Gleichungssystems


    erfolgen, wobei die 3 × 3 Matrix die Bedingungen einer Essential Matrix erfüllt, und x und y die korrespondierenden Koordinaten im Bild der rechten und linken Kamera 14 beziehungsweise 14' bildet. Somit erhält man je korrespondierendem Punktepaar eine Bestimmungsgleichung. Mit einer ausreichenden Zahl von Punktpaaren lässt sich die Essential Matrix daher bestimmen. Die bisherige Ansteuerung der Antriebseinrichtungen 18, 20 beziehungsweise 24, sowie eine Kenntnis der Szenengeometrie aus vorausgegangenen Messungen, kann vorteilhaft zusätzlich als Vorkenntnis zur Stabilisierung des Gleichungssystems genutzt werden. Als geeignetes Lösungsverfahren können Standardverfahren, beispielsweise ein robustes extended Kalmanfilter, verwendet werden.
  • In einem nächsten Schritt 40 wird die erfasste Szene einer Stereobildauswertung mit bekannter Kalibrierung unterzogen, das heißt, die Geometrie von Straße und von Objekten, Personen oder dergleichen wird dreidimensional vermessen. Dabei werden die zuvor bestimmte Orientierung der beiden Kameras 14 beziehungsweise 14' und die Punktkorrespondenzen im an sich bekannten Triangularisierungsverfahren zusammengebracht.
  • In einem nächsten Schritt 42 wird die aufgenommene Szene analysiert und daraus geeignete Bereiche für eine Monoerfassung und eine Stereoerfassung situationsabhängig identifiziert. Entsprechend dieser Identifizierung von Monobereichen und Stereobereichen werden die Antriebseinrichtungen 18, 20 und 24 durch die Auswerteeinheit 32 entsprechend angesteuert, so dass es zu einer relativen Verstellung der optischen Achsen 16 beziehungsweise 16' zueinander beziehungsweise gegebenenfalls zum Kraftfahrzeug 10 kommt. Entsprechend der Ausrichtung der optischen Achsen 16 und 16' werden die Bilderfassungsbereiche der Kameras 14 beziehungsweise 14' mehr oder weniger überlagert. Ein sich herausbildender Überlagerungsbereich definiert dann die Stereoerfassung der aufgenommenen Szene und die nicht überlagerten Bereiche definieren die Monoerfassung der aufgenommenen Szene.
  • Anhand der Fig. 2 bis 6 sind hierzu einige Beispiele schematisch angedeutet, ohne jedoch Anspruch auf Vollständigkeit für die möglichen Varianten zu erheben.
  • In den Fig. 2 bis 6 ist jeweils der Bilderfassungsbereich der Kamera 14 mit 43 und der Bilderfassungsbereich der Kamera 14' mit 44 bezeichnet. Entsprechend der Ausrichtung der optischen Achsen 16 beziehungsweise 16' kommt es zu einem Überlagerungsbereich 46 der beiden Bilderfassungsbereiche 43 beziehungsweise 44. Der Überlagerungsbereich 46 definiert die Stereoerfassung der aufgenommenen Szene und die übrigen Abschnitte der Bilderfassungsbereiche 43 beziehungsweise 44 (außerhalb des Überlagerungsbereiches 46) definieren die Monoerfassung der aufgenommenen Szene.
  • Fig. 2 zeigt beispielhaft, dass die Kameras 14 beziehungsweise 14' in Fahrzeuglängsachse 26 parallel zueinander ausgerichtet sind. Hierdurch wird ein günstiger Stereoerfassungsbereich 46 in Fahrtrichtung erhalten, während Randbereiche von untergeordneter Bedeutung sind.
  • Fig. 3 veranschaulicht eine Variante, bei der die Kameras 14 beziehungsweise 14' jeweils nach rechts zur Fahrzeuglängsachse 26 verschwenkt parallel ausgerichtet sind. Hierdurch ergibt sich ein großer, sich nach rechts orientierender Stereoerfassungsbereich 46, der beispielsweise bei der Vermessung von Einparkszenen oder dergleichen vorteilhaft ist.
  • Im Unterschied zu Fig. 3 ist in Fig. 4 eine Ausführungsvariante gezeigt, bei der nicht die Kameras 14 beziehungsweise 14' einzeln durch die Antriebseinrichtungen 18 und 20 um die Fahrzeughochachse 30 verschwenkt werden, sondern der Träger 22 insgesamt durch die Antriebseinrichtung 24um die Fahrzeughochachse 30 verschwenkt wird. Hierdurch bleibt ebenfalls eine parallele Ausrichtung der Kameras 14 und 14' erhalten und gleichzeitig wird ein gegenüber Fig. 3 vergrößerter Blickwinkel realisiert.
  • Fig. 5 zeigt eine Variante, bei der die Kamera 14' in Fahrzeuglängsachse 26 ausgerichtet bleibt, während die Kamera 14 nach rechts zur Fahrzeuglängsachse 26 verschwenkt ist. Hierdurch wird beispielsweise möglich, am rechten Fahrbahnrand sich befindende Verkehrszeichen oder dergleichen mit großem Blickwinkel zu erfassen, gleichzeitig jedoch die Szene vor dem Kraftfahrzeug in Fahrtrichtung zu beobachten.
  • Fig. 6 zeigt eine Ausführungsvariante, bei der die Kamera 14 rechts zur Fahrzeuglängsachse 26 und die Kamera 14' links zur Fahrzeuglängsachse 26 verschwenkt ist. Hierdurch wird der Blickwinkel der Bildaufzeichnungseinheit 12 insgesamt vergrößert, während sich der Stereoerfassungsbereich 46 verkleinert. Mittels einer derartigen Ausrichtung der Kameras 14 beziehungsweise 14' kann insbesondere eine monokulare Bildverarbeitung, das heißt mit relativ großen Monoerfassungsbereichen 43 beziehungsweise 44, erfolgen. Dies ist beispielsweise zu einer Verkehrszeichenerkennung ausreichend.
  • Die gezeigten Ausführungsbeispiele verdeutlichen ohne weiteres die variable Einsatzmöglichkeit der Bildaufzeichnungseinheit 12 durch die jeweils einzeln ansteuerbaren Antriebseinrichtungen 18, 20 und 24. Somit lassen sich unterschiedlichste Blickwinkel und Reichweiten mit verschiedensten Stereoerfassungsbereichen 46 und Monoerfassungsbereichen 43 beziehungsweise 44 in einfacher Weise kombinieren. Insbesondere wird hierdurch auch vorteilhaft eine Auflösung von Unsicherheit der Stereoanalyse möglich, die dann eintritt, wenn die Textur eines Objektes parallel zur Epipolaren (Gerade, welche die Orte möglicher Punktkorrespondenzen beschreibt) ins Bild projiziert wird. Durch Drehung der Kamerabasis um wenigstens eine der Achsen 26, 28 und 30 kann die Epipolare im Bild gedreht werden, so dass die Textur nicht mehr parallel verläuft und die Punktkorrespondenz eindeutig hergestellt wird.

Claims (10)

1. Vorrichtung (100) zur Detektion von Gegenständen, Personen oder dergleichen, insbesondere im Umfeld eines Fahrzeuges (10), mit einer stereosensitiven Bildaufzeichnungseinheit (12), die wenigstens zwei Bildsensoren (14, 14'), umfasst, und einer Auswerteeinheit (32) zur Auswertung der von den Bildsensoren gelieferten Signale, dadurch gekennzeichnet, dass die optischen Achsen (16, 16') der Bildsensoren (14, 14') relativ zueinander und/oder relativ zum Fahrzeug (10) veränderbar ausrichtbar sind.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die optischen Achsen (16, 16') zu einer Fahrzeuglängsachse (26) und/oder einer Fahrzeugquerachse (28) und/oder einer Fahrzeughochachse (30) veränderbar ausrichtbar sind.
3. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jedem der Bildsensoren (14, 14') eine Antriebseinrichtung (18, 20) zugeordnet ist.
4. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildsensoren (14, 14') auf einem Träger (22) angeordnet sind, dem eine Antriebseinrichtung (24) zugeordnet ist.
5. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die optischen Achsen (16, 16') in einer Horizontalebene ausrichtbar sind.
6. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die optischen Achsen (16, 16') auf Kegelmantelflächen ausrichtbar sind.
7. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildaufzeichnungseinheit (12) im, am oder auf einem Dachbereich des Fahrzeuges (10) angeordnet ist.
8. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildsensoren (14, 14') CMOS-Kameras sind.
9. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Antriebseinrichtungen (18, 20, 24) Schrittmotoren oder kontinuierlich verstellbare Motoren sind.
10. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass von der Auswerteeinheit (32) in Abhängigkeit gelieferter Bildsignale der Bildsensoren (14, 14') Steuersignale für die Antriebseinrichtungen (18, 20, 24) generierbar sind.
DE10131196A 2001-06-28 2001-06-28 Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen Withdrawn DE10131196A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE10131196A DE10131196A1 (de) 2001-06-28 2001-06-28 Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen
PCT/DE2002/002190 WO2003002375A1 (de) 2001-06-28 2002-06-15 Vorrichtung zur bilddetetion von gegenstand, personen oder dergleichen im umfeld eines fahrzeuges
DE50208716T DE50208716D1 (de) 2001-06-28 2002-06-15 Vorrichtung zur bilddetektion von gegenständen, personen oder dergleichen im umfeld eines fahrzeuges
US10/481,971 US7652686B2 (en) 2001-06-28 2002-06-15 Device for image detecting objects, people or similar in the area surrounding a vehicle
EP02750789A EP1404545B1 (de) 2001-06-28 2002-06-15 Vorrichtung zur bilddetektion von gegenständen, personen oder dergleichen im umfeld eines fahrzeuges

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10131196A DE10131196A1 (de) 2001-06-28 2001-06-28 Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen

Publications (1)

Publication Number Publication Date
DE10131196A1 true DE10131196A1 (de) 2003-01-16

Family

ID=7689770

Family Applications (2)

Application Number Title Priority Date Filing Date
DE10131196A Withdrawn DE10131196A1 (de) 2001-06-28 2001-06-28 Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen
DE50208716T Expired - Lifetime DE50208716D1 (de) 2001-06-28 2002-06-15 Vorrichtung zur bilddetektion von gegenständen, personen oder dergleichen im umfeld eines fahrzeuges

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE50208716T Expired - Lifetime DE50208716D1 (de) 2001-06-28 2002-06-15 Vorrichtung zur bilddetektion von gegenständen, personen oder dergleichen im umfeld eines fahrzeuges

Country Status (4)

Country Link
US (1) US7652686B2 (de)
EP (1) EP1404545B1 (de)
DE (2) DE10131196A1 (de)
WO (1) WO2003002375A1 (de)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10335757A1 (de) * 2003-08-05 2005-03-03 Audi Ag Vorrichtung und Verfahren zur Abstandsbestimmung von Objekten im Umfeld eines Kraftfahrzeuges
EP1515293A1 (de) * 2003-09-11 2005-03-16 Valeo Vision Vorrichtung zur Hindernisserkennung mit einem stereoskopischen Abbildungssystem mit zwei optischen Sensoren
DE102005039701A1 (de) * 2005-08-23 2007-03-01 Adc Automotive Distance Control Systems Gmbh Sensor zur Umgebungsüberwachung
DE102007013501A1 (de) * 2007-03-21 2008-09-25 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem mit unterschiedlich ausgerichteten Kameras
DE102009022277A1 (de) 2009-05-22 2010-01-21 Daimler Ag Vorrichtung zur Erfassung von Objekten
DE102012018121A1 (de) 2012-09-13 2013-04-04 Daimler Ag Bilderfassungsvorrichtung
WO2013102529A1 (de) 2012-01-05 2013-07-11 Robert Bosch Gmbh Verfahren zur bildbasierten detektion von objekten
DE102013019226A1 (de) 2013-11-16 2015-05-21 Daimler Ag Vorrichtung zur kamerabasierten Umgebungserfassung für ein Fahrzeug
EP1602117B2 (de) † 2003-02-21 2015-11-18 Gentex Corporation Automatische fahrzeugaussenlicht-überwachungssystem-konstruktionen
DE102014209782A1 (de) 2014-05-22 2015-11-26 Robert Bosch Gmbh Kamerasystem zum Erfassen einer Umgebung eines Fahrzeuges
DE102014220558A1 (de) * 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Bilderfassungsvorrichtung für ein fahrzeug und verfahren
DE102016008692A1 (de) 2016-07-16 2017-02-09 Daimler Ag Vorrichtung und Verfahren zum Betrieb einer Bilderfassungseinheit eines Fahrzeugs
DE102015220786A1 (de) * 2015-10-23 2017-04-27 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einer Vorrichtung zum Überwachen der Umgebung des Kraftfahrzeugs
DE102019202060A1 (de) * 2019-02-15 2020-08-20 Zf Friedrichshafen Ag Kameramodul, Verfahren und Fahrautomat für ein Kraftfahrzeug und Kraftfahrzeug
DE102021207211A1 (de) 2021-04-23 2022-10-27 Zf Friedrichshafen Ag Lagerungskonzept für einen Sensor zur Umfelderfassung eines Fahrzeugs

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117090B2 (en) * 2003-08-28 2006-10-03 Siemens Aktiengesellschaft Moving vehicle in cuboidal panorama
FR2885860B1 (fr) * 2005-05-20 2007-08-17 Valeo Vision Sa Dispositif de detection d'obstacles comportant un systeme d'imagerie pour vehicule automobile
FR2893173B1 (fr) * 2005-11-10 2008-01-18 Valeo Vision Sa Procede d'evaluation, par un vehicule automobile, des caracteristiques d'un element frontal.
DE102008061749A1 (de) * 2007-12-17 2009-06-25 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zum optischen Erfassen einer Fahrzeugumgebung
NL2004996C2 (nl) * 2010-06-29 2011-12-30 Cyclomedia Technology B V Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto.
US8675072B2 (en) * 2010-09-07 2014-03-18 Sergey G Menshikov Multi-view video camera system for windsurfing
IT1404235B1 (it) * 2010-12-30 2013-11-15 Space S R L Con Unico Socio Dispositivo di rilevamento, e relativo sistema di determinazione dell'orientamento delle ruote di un veicolo
EP2846531A4 (de) * 2012-05-01 2015-12-02 Central Engineering Co Ltd Stereokamera und stereokamerasystem
DE102012012501B4 (de) 2012-06-21 2019-10-24 Volkswagen Aktiengesellschaft Kamerasystem für ein Kraftfahrzeug
DE112012006758T5 (de) * 2012-07-31 2015-08-27 Harman International Industries, Incorporated System und Verfahren zum Erkennen von Hindernissen unter Verwendung einer einzigen Kamera
US20140218482A1 (en) * 2013-02-05 2014-08-07 John H. Prince Positive Train Control Using Autonomous Systems
US9576492B2 (en) 2013-05-21 2017-02-21 Autoliv Development Ab Collision mitigation systems with adjustable trigger width
WO2015056105A1 (en) * 2013-10-14 2015-04-23 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
US9562773B2 (en) * 2014-03-15 2017-02-07 Aurora Flight Sciences Corporation Autonomous vehicle navigation system and method
JP6553762B2 (ja) * 2018-03-05 2019-07-31 株式会社ユピテル ドライブレコーダ本体及び機器
DE102020107108A1 (de) * 2020-03-16 2021-09-16 Kopernikus Automotive GmbH Verfahren und System zum autonomen Fahren eines Fahrzeugs
DE102020005343A1 (de) * 2020-08-31 2022-03-03 Daimler Ag Verfahren zur Objektverfolgung von mindestens einem Objekt, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung
EP4248170A1 (de) * 2020-11-23 2023-09-27 Bioseco Sp. z o.o. Stereovisionsverfahren und -system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8430980D0 (en) * 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
DE9110846U1 (de) * 1991-04-29 1991-11-28 Nielsen, Bent Johannes, Broby Fahrzeug zum Einmessen und zur Punkt- und/oder Linienmarkierung von Fahrwegen
US6002430A (en) * 1994-01-31 1999-12-14 Interactive Pictures Corporation Method and apparatus for simultaneous capture of a spherical image
US5241380A (en) 1991-05-31 1993-08-31 Video Sentry Corporation Track mounted surveillance system having multiple use conductors
JP2888713B2 (ja) * 1993-01-14 1999-05-10 キヤノン株式会社 複眼撮像装置
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5473364A (en) * 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
DE4420422C2 (de) 1994-06-10 1997-09-18 Dickmanns Ernst Dieter Prof Dr Technisches Komplexauge für dynamisches maschinelles Sehen
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
KR100466458B1 (ko) 1999-09-20 2005-01-14 마츠시타 덴끼 산교 가부시키가이샤 운전지원장치
JP3349121B2 (ja) * 1999-09-22 2002-11-20 富士重工業株式会社 ステレオカメラの取付構造
DE60029335T2 (de) 1999-10-12 2006-11-16 Matsushita Electric Industrial Co., Ltd., Kadoma Überwachungskamera, verfahren zum anpassen einer kamera und fahrzeugüberwachungssystem
JP3627914B2 (ja) * 2000-05-23 2005-03-09 シャープ株式会社 車両の周囲監視システム
US6611664B2 (en) * 2000-06-26 2003-08-26 Kabushiki Kaisha Topcon Stereo image photographing system

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1602117B2 (de) † 2003-02-21 2015-11-18 Gentex Corporation Automatische fahrzeugaussenlicht-überwachungssystem-konstruktionen
DE10335757A1 (de) * 2003-08-05 2005-03-03 Audi Ag Vorrichtung und Verfahren zur Abstandsbestimmung von Objekten im Umfeld eines Kraftfahrzeuges
EP1515293A1 (de) * 2003-09-11 2005-03-16 Valeo Vision Vorrichtung zur Hindernisserkennung mit einem stereoskopischen Abbildungssystem mit zwei optischen Sensoren
FR2859860A1 (fr) * 2003-09-11 2005-03-18 Valeo Vision Dispositif de detection d'obstacle comportant un systeme d'imagerie stereoscopique incluant deux capteurs optiques
DE102005039701A1 (de) * 2005-08-23 2007-03-01 Adc Automotive Distance Control Systems Gmbh Sensor zur Umgebungsüberwachung
DE102007013501A1 (de) * 2007-03-21 2008-09-25 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem mit unterschiedlich ausgerichteten Kameras
DE102007013501B4 (de) 2007-03-21 2019-06-06 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem mit unterschiedlich ausgerichteten Kameras
DE102009022277A1 (de) 2009-05-22 2010-01-21 Daimler Ag Vorrichtung zur Erfassung von Objekten
DE102012200135A1 (de) 2012-01-05 2013-07-11 Robert Bosch Gmbh Verfahren zu bildbasierenden Detektionen von Objekten
WO2013102529A1 (de) 2012-01-05 2013-07-11 Robert Bosch Gmbh Verfahren zur bildbasierten detektion von objekten
DE102012018121A1 (de) 2012-09-13 2013-04-04 Daimler Ag Bilderfassungsvorrichtung
DE102013019226A1 (de) 2013-11-16 2015-05-21 Daimler Ag Vorrichtung zur kamerabasierten Umgebungserfassung für ein Fahrzeug
DE102014209782A1 (de) 2014-05-22 2015-11-26 Robert Bosch Gmbh Kamerasystem zum Erfassen einer Umgebung eines Fahrzeuges
DE102014220558A1 (de) * 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Bilderfassungsvorrichtung für ein fahrzeug und verfahren
DE102015220786A1 (de) * 2015-10-23 2017-04-27 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einer Vorrichtung zum Überwachen der Umgebung des Kraftfahrzeugs
DE102016008692A1 (de) 2016-07-16 2017-02-09 Daimler Ag Vorrichtung und Verfahren zum Betrieb einer Bilderfassungseinheit eines Fahrzeugs
DE102019202060A1 (de) * 2019-02-15 2020-08-20 Zf Friedrichshafen Ag Kameramodul, Verfahren und Fahrautomat für ein Kraftfahrzeug und Kraftfahrzeug
DE102021207211A1 (de) 2021-04-23 2022-10-27 Zf Friedrichshafen Ag Lagerungskonzept für einen Sensor zur Umfelderfassung eines Fahrzeugs
DE102021207211B4 (de) 2021-04-23 2022-11-10 Zf Friedrichshafen Ag Lagerungskonzept für einen Sensor zur Umfelderfassung eines Fahrzeugs

Also Published As

Publication number Publication date
US20050030378A1 (en) 2005-02-10
EP1404545A1 (de) 2004-04-07
US7652686B2 (en) 2010-01-26
WO2003002375A1 (de) 2003-01-09
DE50208716D1 (de) 2006-12-28
EP1404545B1 (de) 2006-11-15

Similar Documents

Publication Publication Date Title
EP1404545B1 (de) Vorrichtung zur bilddetektion von gegenständen, personen oder dergleichen im umfeld eines fahrzeuges
DE102014116140B4 (de) Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug
DE60215718T2 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE69932021T2 (de) Dreidimensionales Darstellungssystem mit einer einzelnen Kamera für Fahrzeuge
DE102008031784B4 (de) Verfahren und Vorrichtung zur Verzerrungskorrektur und Bildverbesserung eines Fahrzeugrückblicksystems
DE60124345T2 (de) Bildzusammensetzungssystem und -verfahren
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102013220669A1 (de) Dynamische Rückspiegelanzeigemerkmale
DE102007059735A1 (de) Stereo-Sichtsystem für Fahrzeuge zur Erkennung seitlich liegender Hindernisse
WO2012152475A1 (de) Verfahren und vorrichtung zur kalibrierung einer projektionseinrichtung eines fahrzeugs
DE102018218955B4 (de) Fahrzeuganzeigevorrichtung
DE102017209427B3 (de) Vorrichtung zur Fahrschlauchabsicherung
DE102017011177A1 (de) Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeug-Gespanns, Ermittlungseinrichtung sowie Fahrzeug-Gespann
DE102019103197B4 (de) Insassenüberwachungsvorrichtung
EP1028387B1 (de) Einrichtung zur Umfelderkennung, insbesondere zur Verkehrszeichenerkennung
EP2394247B1 (de) Verfahren und vorrichtung zum betrieb eines videobasierten fahrerassistenzsystems in einem fahrzeug
DE102007016055A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungs-Videoanzeigeverfahren
EP2603403B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug
DE102014206677A1 (de) Kamerasystem und Verfahren zum Erfassen eines Umfeldes eines Fahrzeuges
WO2022268272A1 (de) Kamerasystem sowie verfahren für ein kamerasystem
DE102019200099A1 (de) Sensorvorrichtung für ein Ego-Fahrzeug, Fahrerassistenzvorrichtung und Fahrzeug mit einer solchen Sensorvorrichtung
DE112021003430T5 (de) Bildverarbeitungsvorrichtung
DE102012000630B4 (de) System zur Erfassung eines Hindernisses für ein Fahrzeug sowie Fahrzeug mit einem System zur Erfassung eines Hindernisses
EP2449343B1 (de) Vorrichtung, sensor und verfahren zur visuellen entfernungsbestimmung zu einem objekt
DE102012024289A1 (de) Verfahren zum Umschalten eines Kamerasystems in einen Unterstützungsmodus, Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
8139 Disposal/non-payment of the annual fee