DE102005016288A1 - Vorrichtung zur Erfassung eines Objekts vor einem Fahrzeug - Google Patents

Vorrichtung zur Erfassung eines Objekts vor einem Fahrzeug Download PDF

Info

Publication number
DE102005016288A1
DE102005016288A1 DE102005016288A DE102005016288A DE102005016288A1 DE 102005016288 A1 DE102005016288 A1 DE 102005016288A1 DE 102005016288 A DE102005016288 A DE 102005016288A DE 102005016288 A DE102005016288 A DE 102005016288A DE 102005016288 A1 DE102005016288 A1 DE 102005016288A1
Authority
DE
Germany
Prior art keywords
image
distance
stored
vehicle
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102005016288A
Other languages
English (en)
Other versions
DE102005016288B4 (de
Inventor
Noriaki Kariya Shirai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE102005016288A1 publication Critical patent/DE102005016288A1/de
Application granted granted Critical
Publication of DE102005016288B4 publication Critical patent/DE102005016288B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

Eine Vorrichtung, die ein Radar (10) und eine Kamera (20) zur Erfassung eines vor einem Fahrzeug befindlichen Objekts wie etwa ein Vorausfahrzeug umfasst, ist in dem Fahrzeug eingebaut. Das Radar (10) erfasst einen Abstand zwischen dem Fahrzeug zu dem Objekt, und die Kamera nimmt ein Bild des Objekts auf. Wenn sich das Objekt aus dem von dem Radar (10) erfassbaren Bereich herausbewegt, während es in dem von der Kamera (20) abgedeckten Bereich bleibt, wird ein momentaner Abstand (Zd) zu dem Objekt auf der Grundlage des von dem Radar zuvor erfassten und in einem Speicher gespeicherten Abstandes (Z0) und einem von der Kamera (20) aufgenommenen momentanen Objektbild berechnet. Insbesondere wird der momentane Abstand (Zd) berechnet, indem der gespeicherte Abstand (Z0) mit einem Verhältnis zwischen einer Objektgröße (Wd0) in dem gespeicherten Bild und einer Objektgröße (Wd1) in dem momentanen Bild multipliziert wird.

Description

  • Die vorliegende Erfindung betrifft eine Vorrichtung zur Erfassung eines vor einem Fahrzeug befindlichen Objekts wie etwa einer weiteren Fahrzeugs (im Folgenden als "Vorausfahrzeug" bezeichnet).
  • Ein Bildverarbeitungssystem, welches von einem Radar erfasste Daten verwendet, ist im Stand der Technik bekannt. In der JP-A-9-264954 ist zum Beispiel ein solches System offenbart, in dem unter Verwendung von durch ein Radar erfassten Daten wie etwa einem Abstand zu einem Vorausfahrzeug oder einer Position des Vorausfahrzeugs relativ zu dem Fahrzeug, in dem das System eingebaut ist, eine Bildregion in einem Bildrahmen gesucht wird. In diesem System kann jedoch die Suche der Bildregion nicht ausgeführt werden, wenn die Daten von dem Radar nicht verfügbar sind.
  • Um dieses Problem zu lösen, wird in der JP-A-11-44533 ein System vorgeschlagen, in dem ein Bild eines Objekts (Objektbild) als Schablone gespeichert wird, wenn die von einem Radar erfassten Abstandsdaten verfügbar sind, und eine Bildregion, die der gespeicherten Schablone am ähnlichsten ist, wird in dem Bildrahmen gesucht, der aufgenommen wird, wenn die Daten von dem Radar nicht mehr verfügbar sind. Der Abstand zu dem Vorausfahrzeug wird auf der Grundlage der so geschätzten Position in dem Bildrahmen berechnet.
  • In den herkömmlichen System ist es jedoch schwierig, den Abstand zu dem Vorausfahrzeug auf der Grundlage einer geschätzten Position des Vorausfahrzeugs in dem Bildrahmen exakt zu berechnen, da sich die Position des Vorausfahrzeugs in dem Bildrahmen nach oben und nach unten bewegt, wenn das Fahrzeug eine Nickbewegung ausführt. In dem in der JP-A-11-44533 offenbarten herkömmlichen System kann der Abstand zu dem Vorausfahrzeug auf der Grundlage der gespeicherten Schablone nicht exakt berechnet werden, wenn sich der Abstand zu dem Vorausfahrzeug während einer Zeitspanne ändert, in der die Daten von dem Radar nicht verfügbar sind.
  • Die vorliegende Erfindung ist angesichts der oben genannten Probleme gemacht worden, und es ist ein Ziel der vorliegenden Erfindung, eine verbesserte Vorrichtung zur Erfassung eines vor einem Fahrzeug befindlichen Objekts wie zum Beispiel eines Vorausfahrzeugs bereitzustellen, wobei der Abstand zu dem Objekt auf der Grundlage von Objektdaten berechnet wird, wenn der Abstand nicht von einem Radar erfasst wird.
  • Die Vorrichtung zur Erfassung eines vor dem Fahrzeug befindlichen Objekts (Objekterfassungsvorrichtung) ist in dem Fahrzeug angeordnet. Die Objekterfassungsvorrichtung umfasst ein Radar zur Erfassung eines Abstandes zwischen dem Fahrzeug und dem Objekt. Die Objekterfassungsvorrichtung umfasst ferner eine Kamera wie etwa eine CCD-Kamera, um ein Bild (im Folgenden als "Kamerabild" bezeichnet) eines Bereichs vor dem Fahrzeug (im Folgenden als "Vorausbereich" bezeichnet) aufzunehmen, in dem sich das Objekt befindet. von dem Radar erfasste Objektdaten (im Folgenden als "Radardaten" bezeichnet) und die Daten des von der Kamera aufgenommenen Kamerabildes (im Folgenden als "Bilddaten" bezeichnet) werden zu einem Fahrzeugcontroller gesendet, der ein Fahrer-Assistentensystem steuert.
  • Wenn sich das Objekt in einem Bereich befindet, der sowohl von dem Radar als auch der Kamera erfasst wird (im Folgenden als "Radarbereich" bzw. "Kamerabereich" bezeichnet), werden ein von dem Radar erfasster Abstand zwischen dem Fahrzeug und dem Objekt und ein Kamerabild in einem Speicher gespeichert. Wenn sich das Objekt aus dem Radarbereich heraus bewegt, dabei jedoch innerhalb des Kamerabereichs bleibt, wird auf der Grundlage des gespeicherten Abstandes Z0 und eines Verhältnisses zwischen einer Objektgröße Wd0 in dem gespeicherten Kamerabild und einer Objektgröße Wd1 in dem momentanen Kamerabild ein momentaner Abstand Zd zu dem Objekt gemäß der Formel Zd = Z0 × Wd0/Wd1 berechnet.
  • Der Radarbereich wird auf einen Winkelbereich von ±10 Grad bezüglich der Fahrtrichtung des Fahrzeugs eingestellt, während der Kamerabereich auf einen Winkelbereich von ±20 Grad bezüglich derselben Richtung eingestellt ist, so dass der Radarbereich einen Winkel von 20 Grad und der Kamerabereich einen Winkel von 40 Grad einschließt. Der Radarbereich ist in dem Kamerabereich enthalten. Daher kann es sein, dass sich das Objekt zwar aus dem Radarbereich heraus bewegt, jedoch in dem Kamerabereich bleibt.
  • Um eine zu suchende Bildregion in dem momentanen Bild einzugrenzen, aus der ein Objektbild, das dem gespeicherten Objektbild entspricht, extrahiert werden soll, kann die Größe des Objektbildes in vertikaler Richtung auf eine vorbestimmte Größe begrenzt sein. Die zu suchende Bildregion kann auf beiden Seiten einer Mittenposition des Objekts definiert sein. Alternativ kann die Größe des gespeicherten Objektbildes vergrößert oder verkleinert werden, um das Objektbild zu finden, das dem gespeicherten Objektbild des momentanen Bildes entspricht.
  • Gemäß der vorliegenden Erfindung kann selbst dann, wenn sich das Objekt aus dem Radarbereich heraus bewegt, der Abstand zu dem Objekt genau auf der Grundlage des gespeicherten Abstandes und des momentan durch die Kamera aufgenommenen Kamerabildes berechnet werden, solange sich das Objekt in dem Kamerabereich befindet.
  • Die obigen und weitere Aufgaben, Eigenschaften und Vorteile der vorliegenden Erfindung sind aus der nachfolgenden detaillierten Beschreibung, die unter Bezugnahme auf die beigefügte Zeichnung gemacht wurde, deutlicher ersichtlich.
  • 1 ist ein Blockdiagramm, das einen Gesamtaufbau eines Fahrer-Assistentensystems zeigt, das eine Objekterfassungsvorrichtung gemäß der vorliegenden Erfindung zeigt;
  • 2 zeigt Positionen eines Radars und einer Kamera, die in einem Fahrzeug eingebaut sind;
  • 3 zeigt eine horizontale Ebene (XZ-Ebene), die ein Fahrzeug in der Draufsicht zeigt;
  • 4 ist eine schematische Ansicht, die Bereiche vor dem Fahrzeug zeigt, die durch eine Radar und eine Kamera erfasst werden können;
  • 5 zeigt ein extrahiertes Objektbild in dem von der Kamera aufgenommenen Bild;
  • 6 zeigt ein gespeichertes Bild und ein momentanes Bild eines Objekts; und
  • 7 ist ein Flussdiagramm, das einen Bildverarbeitungsprozess in der Objekterfassungsvorrichtung zeigt.
  • Im Folgenden ist eine bevorzugte Ausführungsform der vorliegenden Erfindung mit Bezug auf die beigefügten Zeichnungen beschrieben. 1 zeigt ein Fahrer-Assistentensystem 100, das eine Objekterfassungsvorrichtung gemäß der vorliegenden Erfindung umfasst. Das Fahrer-Assistentensystem 100 ist in einem Fahrzeug installiert und unterstützt den Fahrer, indem es ein Antriebssystem, ein Bremssystem und ein Lenksystem des Fahrzeugs ansteuert. Zum Beispiel wird ein Abstand zwischen dem Fahrzeug und einem Vorausfahrzeug automatisch konstant gehalten, um so eine Kollision zu vermeiden.
  • Wie in 1 gezeigt ist, umfasst das Fahrer-Assistentensystem 100 ein Radar 10, eine Kamera 20, einen Prozessor 30 und eine Fahrzeugregelungseinheit (Controller) 40. Das Radar 10 ist in einem vorderen Bereich des Fahrzeugs eingebaut, wie es in 2 gezeigt ist, und kann z.B. ein Laser-Radar, ein Millimeterwellen-Radar oder dergleichen sein. Die von dem Radar 10 ausgesendeten Radarstrahlen werden von dem Fahrzeug nach vorn ausgesendet, und von einem Objekt wie etwa einem Vorausfahrzeug reflektierte Radarstrahlen werden empfangen, so dass das Objekt auf der Grundlage der von einem Empfänger empfangenen reflektierten Strahlen erfasst wird.
  • Eine horizontale Ebene, die das Fahrzeug enthält, in dem die Objekterfassungsvorrichtung eingebaut ist, ist als XZ-Ebene definiert, wie es in 3 gezeigt ist, in der das Fahrzeug in der Draufsicht gezeigt ist. Die X-Achse erstreckt sich in einer zu einer Fahrtrichtung des Fahrzeugs senkrechten Richtung, und die Z-Achse erstreckt sich in Fahrtrichtung. Der Ursprung des Koordinatensystems befindet sich am vorderen Ende des Fahrzeugs, in X-Richtung mittig an diesem, wie es in 3 gezeigt ist. Das Radar 10 erfasst Objekte, die sich in einem Radarbe reich befinden, der einen Winkelbereich in der XZ-Ebene von 20 Grad einschließt, wie es in 4 gezeigt ist. Das Radar 10 erfasst einen Abstand Z und eine Relativgeschwindigkeit Vz zwischen dem Fahrzeug und dem Objekt sowie eine X-Richtungsposition X des Objekts. Der Abstand Z, die Relativgeschwindigkeit Vz und die Position X bilden Radardaten, die zum Beispiel alle 100 Millisekunden von dem Radar 10 zu dem Prozessor 30 und dem Controller 40 gesendet werden.
  • Die Kamera 20 ist eine Kamera, die einen Bildsensor wie etwa ein CCD (charge coupled device) enthält und in einem vorderen Bereich des Fahrzeugs installiert ist, wie es in 2 gezeigt ist. Die Kamera 20 nimmt ein Bild des Kamerabereichs auf, der einen Winkel in der XZ-Ebene von 40 Grad einschließt, wie es in 4 gezeigt ist. Da der Kamerabereich den Radarbereich als Teilbereich enthält, kann es sein, dass Objekte, die nicht von dem Radar erfasst werden, dennoch von der Kamera aufgenommen werden. Im allgemeinen ist ein von der Kamera 20 erfassbarer Bereich breiter als ein von dem Radar 10 erfassbarer Bereich. Es gibt daher einen Bereich, der zwar nicht von dem Radar 10, jedoch von der Kamera 20 erfasst werden kann. Die Belichtungszeit, die Bildfrequenz und die Verstärkung der Kamera 20 werden von einem (nicht gezeigten) Controller geregelt, und ein Pixelwert, d.h. eine Helligkeitspegel, jedes Pixels wird zusammen mit horizontalen und vertikalen Synchronisationsdaten als Bilddaten zu dem Prozessor 30 gesendet.
  • Der Prozessor 30 berechnet dem Objekt zugeordnete Daten (Objektdaten) wie etwa einen Abstand zwischen dem Fahrzeug und dem Objekt, eine Relativgeschwindigkeit zwischen dem Fahrzeug und dem Objekt, eine Position des Objekts in X-Richtung und eine Breite (in X-Richtung) des Objekts auf der Grundlage der Radardaten von dem Radar 10 und den Bilddaten von der Kamera 20. Die Objektdaten werden zum Beispiel in Intervallen von 100 Millisekunden von dem Prozessor 30 an den Controller 40 gesendet. Der Controller 40 steuert das Antriebssystem, das Bremssystem und das Lenksystem auf der Grundlage der Objektdaten und der Radardaten an. In Situationen, in denen sich das Objekt aus dem Radarbereich heraus bewegt oder in denen Radardaten durch eine Fehlfunktion des Radars 10 nicht verfügbar sind, kann der Abstand zu dem Objekt auf der Grundlage der Bilddaten von der Kamera 20 berechnet werden, wie es weiter unten erläutert ist.
  • Nachfolgend ist ein von dem Prozessor 30 ausgeführter Datenverarbeitungsprozess mit Bezug auf 7 beschrieben. In Schritt S10 werden die Radardaten, die aus dem Abstand Z, der Relativgeschwindikeit Vz und der Position X bestehen, von dem Radar 10 übertragen. In Schritt S20 werden die Bilddaten von der Kamera 20 übertragen. In Schritt S30 wird bestimmt, ob das Objekt immer noch von dem Radar 10 erfasst wird. Das heißt, in Schritt S30 wird bestimmt, ob sich das Objekt aus dem Radarbereich heraus bewegt hat. Wenn das Objekt durch das Radar 10 erfasst wird, fährt der Prozess mit Schritt S100 fort, wenn nicht, fährt der Prozess mit Schritt S200 fort.
  • In Schritt S100 wird ein Bild des Objekts (Objektbild) aus dem von der Kamera 20 aufgenommenen Bild (Kamerabild) extrahiert, wie es in 5 gezeigt ist. Genauer gesagt, in diesem Schritt wird eine Bildregion in dem Kamerabild, die das Objekt enthält, gesucht, wobei die Bildregion in der horizontalen und der vertikalen Richtung auf der Grundlage des durch das Radar 10 erfassten Abstandes Z und der von dem Radar 10 erfassten Position X eingegrenzt wird.
  • Da die Größe des Objektbildes umgekehrt proportional zum Abstand Z ist und die horizontale Position des Objekts durch die Position X bestimmt ist, kann die Bildregion auf der Grundlage des Abstandes Z und der Position X auf einen bestimmten Bereich eingegrenzt werden. Durch Eingrenzen der Bildregion auf den Bereich, der das Objektbild enthält, kann das Objektbild schnell und wirksam aus dem von der Kamera 20 aufgenommenen Kamerabild extrahiert werden. Das Objektbild wird aus der Bildregion unter Verwendung eines bekannten Verfahrens wie etwa eines Kantenerkennungs-Verfahrens oder eines Mustererkennungsverfahrens extrahiert. Es ist vorteilhaft, eine Neigung der Straße, auf der das Objekt fährt, zu berücksichtigen, um auch die vertikale Position der Bildregion in dem von der Kamera 20 aufgenommenen Kamerabild besser zu bestimmen.
  • Die Größe des Objekts (oder der Bildregion) kann auf der Grundlage des Abstandes Z zu dem Objekt auf folgende Weise bestimmt werden. Geht man davon aus, dass der Kamerabereich in der horizontalen Ebene (XZ-Ebene) einen Winkel von 40 Grad einschließt, wie es in 4 gezeigt ist, die Größe eines Bildaufnahmeelements 7μm × 7μm und die Bildauflösung 640 × 640 Pixel beträgt (VGA), so ergibt sich die Anzahl Np der Pixel, die das Objekt zeigen, zu: Np = (tatsächliche Größe des Objekts) × 879/Z
  • Folglich ist die Anzahl der Pixel, die das Objekt zeigen, 21-44, wenn die tatsächliche Größe (Breite) des Objekts 1,2–2,5 Meter und der Abstand Z 50 Meter betragen. Dies bedeutet, dass die Größe des aus dem von der Kamera 20 aufgenommenen Kamerabild zu extrahierenden Objekts aus dem Abstand Z bestimmt werden kann. Durch Eingrenzen der Größe des zu extrahierenden Objekts, kann der Extrahierungsprozess in kurzer Zeit ausgeführt werden, und die Genauigkeit des Extrahierens erhöht ist.
  • In Schritt S110 wird der Abstand Z als Abstandsdaten Zd gesetzt, die dem Controller 40 zugeführt werden. In Schritt S120 wird die Relativgeschwindigkeit Vz als Relativgeschwindigkeitsdaten Vzd gesetzt und dem Controller 40 zugeführt. In Schritt S130 werden das in Schritt S100 extrahierte Bild des Objekts und der Abstand Z zu dem Objekt als Paar gespeichert. Der gespeicherte Abstand wird als Z0 bezeichnet. Das gespeicherte Bild und der Abstand werden kontinuierlich aktualisiert, solange das Objekt von dem Radar 10 erfasst wird. In Schritt S400 wird ein geschätzter Abstand Zn zu dem Objekt, der nach einer vorbestimmten Zeitspanne ΔT (z.B. 100 ms) bei der nächsten Bildaufnahme durch die Kamera 20 erwartet wird, nach folgender Formel berechnet: Zn = Zd + Vzd × ΔT
  • In Schritt S410 werden eine Mittenposition Xd des Objekts in X-Richtung in der XZ-Ebene und eine Breite Wd des Objekts von dem extrahierten Objektbild berechnet. In Schritt S500 werden die Daten des Objekts, d.h. Zd, Xd, Wd und Vzd dem Controller 40 zugeführt.
  • Wie es oben beschrieben ist, fährt der Prozess von Schritt S30 mit Schritt 200 fort, wenn das Radar 10 das Objekt nicht mehr erfasst. In Schritt S200 wird das in Schritt S130 gespeicherte Bild des Objekts auf eine Größe vergrößert oder verkleinert, die am besten mit dem Objektbild auf einem in Schritt S20 aufgenommenen momentanen Bild des Objekts übereinstimmt. Zum Beispiel wird der Absolutbetrag einer Differenz aus einem Pixelwert eines Pixels in dem gespeicherten Bild und einem Pixelwert eines entsprechenden Pixels in dem momentanen Bild für je des Pixel gebildet und diese Differenzen über alle Pixel summiert, um eine Summe Sm von Pixelwertdifferenzen zu erhalten. Die Bildregion auf dem von der Kamera 20 aufgenommenen momentanen Bild wird bei einer Position bestimmt, bei der die Summe von Pixelwertdifferenzen Sm ein Minimum annimmt. Auf diese Weise kann die Bildregion, in dem das Objekt enthalten ist, auf dem momentanen Bild gesucht werden, selbst wenn sich das Objekt außerhalb des Radarbereichs befindet und der Abstand Z von dem gespeicherten Abstand Z0 verschieden ist, solange sich das Objekt in dem Kamerabereich befindet.
  • Eine geschätzte Größe und/oder Position des Objekts auf dem momentanen Bild kann auf der Grundlage des in Schritt S400 berechneten geschätzten Abstandes Zn berechnet werden. Ein Vergrößerungs- oder Verkleinerungsverhältnis kann entsprechend der geschätzten Größe eingestellt werden. Wenn das auf diese Weise gewonnene Vergrößerungs- oder Verkleinerungsverhältnis beim Suchen der Bildregion in Schritt S200 verwendet wird, kann eine Suchzeit im Vergleich zu einem Fall, in dem die gespeicherte Objektgröße zufällig vergrößert oder verkleinert wird, verkürzt werden. Ferner kann der Suchbereich in dem momentanen Bild eingeschränkt werden und die Suchzeit kann verkürzt werden, indem die geschätzte Position des Objekts und die Position des Mitte des Objekts in dem gespeicherten Bild verwendet werden.
  • In Schritt S210 wird beurteilt, ob die in Schritt S200 berechnete Summe Sm von Pixelwertdifferenzen kleiner als ein Schwellenwert Sth ist. Wenn Sm kleiner als Sth ist, fährt der Prozess mit Schritt S220 fort, da dies bedeutet, dass sich das Objekt in dem Kamerabereich befindet. Wenn nicht, fährt der Prozess mit Schritt S300 fort, wo die Objektdaten gelöscht werden, da dies bedeutet, dass sich das Objekt außerhalb des Kamerabereichs befin det. In Schritt S500 werden Daten, die zeigen, dass kein Objekt vorhanden ist, zu dem Controller 40 gesendet.
  • In Schritt S220 wird ein Größenverhältnis des Objekts aus der Größe in dem gespeicherten Objektbild und der Größe in dem Objektbild in der Bildregion, die in Schritt S200 gesucht wurde. Insbesondere wird, wie es in 6 gezeigt ist, das Größenverhältnis berechnet, indem die Objektbreite Wd0 in dem gespeicherten Bild durch die Objektbreite Wd1 in dem momentanen Bild dividiert wird: Größenverhältnis = Wd0/Wd1. In Schritt S230 wird der momentane Abstand Zd zu dem Objekt nach folgender Formel berechnet: Zd = Z0 × Wd0/Wd1
  • In Schritt S240 wird eine momentane Relativgeschwindigkeit auf der Grundlage des momentanen Abstandes Zd, eines vorherigen Abstandes und einer vorherigen Relativgeschwindigkeit berechnet. In Schritt S400 wird der geschätzte Abstand Zn wie oben erwähnt berechnet. In Schritt S410 werden die Mittenposition Xd und die Breite Wd des Objekts berechnet. Dann fährt der Prozess mit Schritt S500 fort, in dem die Objektdaten an den Controller 40 gegeben werden.
  • Wie oben beschrieben ist, werden in der Objekterfassungsvorrichtung gemäß der vorliegenden Erfindung der von dem Radar 10 erfasste Abstand Z0 zu dem Objekt und das von der Kamera 20 aufgenommene Bild als Paar gespeichert. Wenn sich das Objekt aus dem Radarbereich heraus bewegt, aber im Kamerabereich bleibt, wird ein momentaner Abstand zu dem Objekt auf der Grundlage des gespeicherten Bildes und einem momentanen Bild berechnet. Insbesondere wird der momentane Abstand Zd zu dem Objekt durch folgende Formel berechnet: Zd = Z0 × Wd0/wd1, wobei Wd0/Wd1 ein Objektgrößenverhältnis in dem gespeicherten Bild und dem momentanen Bild ist.
  • Auf diese Weise kann der Abstand zu dem Objekt exakt berechnet werden, selbst wenn sich das Objekt außerhalb des Radarbereichs befindet, solange es sich immer noch in dem Kamerabereich befindet. Wenn sich das Objekt durch Nickbewegungen des Fahrzeugs in dem von der Kamera 20 aufgenommenen Bild nach oben und unten bewegt, kann der Abstand zu dem Objekt exakt berechnet werden, da sich die Größe des Objekts in dem Bild durch die Nickbewegung nicht ändert. Da der Abstand Z0 und das Bild des Objekts als Paar gespeichert werden, kann der momentane Abstand zu dem Objekt exakt berechnet werden, selbst wenn sich der Abstand zu dem Objekt während einer Zeitspanne ändert, in der das Radar 10 das Objekt nicht erfassen kann.
  • Die vorliegende Erfindung ist nicht auf die oben beschriebene Ausführungsform begrenzt, sondern kann verschiedentlich modifiziert werden. Wenn zum Beispiel in Schritt S210 bestimmt wird, dass das Objekt in dem momentanen Bild enthalten ist (siehe 7), kann das momentane Bild an Stelle des zuvor gespeicherten Bildes gespeichert werden. In diesem Fall werden das momentane Bild und der in Schritt S230 berechnete Abstand als Paar gespeichert. Eine große Differenz im Pixelwert zwischen dem gespeicherten Bild und dem momentanen Bild, die auftreten kann, wenn das gespeicherte Bild nicht aktualisiert wird, kann vermieden werden. Wenn das Objekt eine Kurve durchfährt, wird die Seite des Objekts, die in dem zuvor gespeicherten Bild nicht sichtbar war, in dem momentanen Bild sichtbar. Dies macht es schwierig, den Abstand zu dem Objekt auf der Grundlage des Verhältnisses der Objektgrößen zu berechnen. Dieses Problem wird auch durch eine Aktualisierung des gespeicherten Bildes gelöst.
  • Obgleich die vorliegende Erfindung bezüglich der bevorzugten Ausführungsformen offenbart worden ist, um ein besseres Verständnis von diesen zu ermöglichen, sollte wahrgenommen werden, dass die Erfindung auf verschiedene Weisen verwirklicht werden kann, ohne den Umfang der Erfindung zu verlassen. Deshalb sollte die Erfindung derart verstanden werden, dass sie alle möglichen Ausführungsformen und Ausgestaltungen zu den gezeigten Ausführungsformen beinhaltet, die realisiert werden können, ohne den Umfang der Erfindung zu verlassen, wie er in den beigefügten Ansprüchen dargelegt ist.

Claims (10)

  1. Vorrichtung zur Erfassung eines vor einem Fahrzeug befindlichen Objekts, mit: – einem Erfassungsmittel (10) zur Erfassung eines Abstandes zu dem Objekt; – einem Aufnahmemittel (20) zur Aufnahme eines Bildes eines Bereichs vor dem Fahrzeug, das das Objekt enthält; – einem Speichermittel (S130) zum Speichern des von dem Erfassungsmittel (10) erfassten Abstandes und des von dem Aufnahmemittel (20) aufgenommenen Bildes, wobei der Abstand und das Bild als Paar gespeichert werden; – einem Beurteilungsmittel (S30) zur Beurteilung, ob das Erfassungsmittel den Abstand zu dem Objekt erfasst; und – einem Berechnungsmittel (S320) zur Berechnung des Abstandes zu dem Objekt, wenn das Erfassungsmittel den Abstand zu dem Objekt nicht erfasst und das Aufnahmemittel das Bild von dem Objekt aufnimmt, auf der Grundlage des gespeicherten Abstandes und eines Verhältnisses einer Objektgröße in dem gespeicherten Bild zu einer Objektgröße in dem momentanen Bild.
  2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass: – ein erster Bereich, in dem der Abstand zu dem Objekt durch das Erfassungsmittel (10) erfassbar ist, schmaler als ein zweiter Bereich ist, in dem das Bild von dem Aufnahmemittel (20) aufgenommen werden kann, wobei der erste Bereich in dem zweiten Bereich enthalten ist; und – das Beurteilungsmittel (S30) beurteilt, dass das Erfassungsmittel den Abstand nicht erfasst, wenn sich das Objekt außerhalb des ersten Bereichs befindet.
  3. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass sie ferner ein Extrahierungsmittel (S200) zum Extrahieren des Objektbildes von dem Bild umfasst, wobei entweder die Größe des zu extrahierenden Objektbildes oder eine Bildregion, die zum Extrahieren des Objektbildes gesucht wird, auf der Grundlage des Abstandes zu dem von dem Erfassungsmittel (10) erfassten Objekt eingeschränkt wird.
  4. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass das Extrahierungsmittel (S200) das Objektbild aus einer Bildregion mit einer eingeschränkten vertikalen Größe extrahiert.
  5. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass: – das Erfassungsmittel (10) ferner eine horizontale Position (X) des Objekts erfasst, die von einer Linie gemessen wird, die sich von einer Mitte des Fahrzeugs in dessen Fahrtrichtung erstreckt; und – das Extrahierungsmittel (S200) das Objektbild von der Bildregion extrahiert, die auf der Grundlage der horizontalen Position (X) des von dem Erfassungsmittel (10) erfassten Objekts weiter eingeschränkt ist.
  6. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass: – das Extrahierungsmittel (S200) eine zum Extrahieren des Objektbildes aus dem von dem Aufnahmemittel (20) aufgenommenen Bild zu suchenden Bildregion durch Vergrößern oder Verkleinern der Bildregion in dem gespeicherten Bild einstellt; und – das Berechnungsmittel (S320) einen momentanen Abstand zu dem Objekt berechnet, wenn die Bildregion, die dem Kamerabild entspricht, in dem momentanen Kamerabild gesucht wird.
  7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass: – das Erfassungsmittel (10) ferner eine Relativgeschwindigkeit (Vz) zwischen dem Objekt und dem Fahrzeug erfasst; – das Aufnahmemittel (20) das Bild in einem vorbestimmten Zeitintervall (ΔT) wiederholt aufnimmt; – das Berechnungsmittel (S320) einen geschätzten Abstand (Zn) zu dem Objekt, der erwartet wird, wenn das nächste Mal das Bild aufgenommen wird, auf der Grundlage des Abstandes (Z) zu dem Objekt und der Relativgeschwindigkeit (Vzd) berechnet; – das Extrahierungsmittel (S200) eine geschätzte Objektgröße und/oder eine geschätzte Objektposition in dem momentanen Bild auf der Grundlage des geschätzten Abstandes (Zn) einstellt, und eine zum Extrahieren des Objektbildes zu durchsuchende Bildregion auf der Grundlage der geschätzten Objektgröße und/oder der geschätzten Objektposition einstellt.
  8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass das Extrahierungsmittel (S200) ferner eine Mittenposition (Xd) des Objekts berechnet und eine zum Extrahieren des Objektbildes zu suchende Bildregion so einstellt, dass die Bildregion auf beiden horizontalen Seiten der Mittenposition des Objekts definiert ist.
  9. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass die Relativgeschwindigkeit (Vz) auf der Grundlage des gespeicherten Abstandes (Z0) zu dem Objekt und einem momentanen Abstand (Zd) zu dem Objekt berechnet wird.
  10. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass: – der in dem Speichermittel (S130) gespeicherte Abstand (Z0) durch den von dem Berechnungsmittel (S320) berechneten Abstand (Zd) ersetzt wird, wenn der Abstand zu dem Objekt von dem Erfassungsmittel (10) nicht erfasst werden kann; und – der berechnete Abstand (Zd) und das von dem Aufnahmemittel (20) momentan aufgenommene Bild als Paar in dem Speichermittel (S130) gespeichert werden.
DE102005016288.6A 2004-04-09 2005-04-08 Vorrichtung zur Erfassung eines Objekts vor einem Fahrzeug Expired - Fee Related DE102005016288B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004115839A JP4763250B2 (ja) 2004-04-09 2004-04-09 物体検出装置
JP2004-115839 2004-04-09

Publications (2)

Publication Number Publication Date
DE102005016288A1 true DE102005016288A1 (de) 2005-10-27
DE102005016288B4 DE102005016288B4 (de) 2014-08-21

Family

ID=35060049

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102005016288.6A Expired - Fee Related DE102005016288B4 (de) 2004-04-09 2005-04-08 Vorrichtung zur Erfassung eines Objekts vor einem Fahrzeug

Country Status (3)

Country Link
US (1) US7042389B2 (de)
JP (1) JP4763250B2 (de)
DE (1) DE102005016288B4 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1787847A2 (de) * 2005-11-21 2007-05-23 Robert Bosch Gmbh Fahrerassistenzsystem mit Abstandserfassung
DE102006035207B4 (de) 2006-07-29 2022-06-09 Volkswagen Ag Fahrzeug-Objekterfassungsvorrichtung

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7406182B2 (en) * 2004-03-31 2008-07-29 Fujifilm Corporation Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US11632498B1 (en) * 2005-06-03 2023-04-18 Craig P. Mowry Multi-dimensional imaging system and method
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP4684954B2 (ja) * 2005-08-31 2011-05-18 本田技研工業株式会社 車両の走行安全装置
JP4218670B2 (ja) * 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置
JP2007155469A (ja) * 2005-12-05 2007-06-21 Alpine Electronics Inc 車間距離検出装置および車間距離検出方法
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP4818002B2 (ja) * 2006-07-12 2011-11-16 アルパイン株式会社 周辺監視システム及び他車検出方法
US7504993B2 (en) * 2006-10-12 2009-03-17 Agilent Technolgoies, Inc. Coaxial bi-modal imaging system for combined microwave and optical imaging
EP2122599B1 (de) * 2007-01-25 2019-11-13 Magna Electronics Inc. Radarerfassungssystem für ein fahrzeug
EP1978432B1 (de) * 2007-04-06 2012-03-21 Honda Motor Co., Ltd. Routingvorrichtung für eine autonome mobile Einheit
JP4830958B2 (ja) * 2007-04-17 2011-12-07 株式会社デンソー 車両用物体検出装置
US20090005948A1 (en) * 2007-06-28 2009-01-01 Faroog Abdel-Kareem Ibrahim Low speed follow operation and control strategy
JP2011133273A (ja) * 2009-12-22 2011-07-07 Canon Inc 推定装置及びその制御方法、プログラム
DE102010042821B4 (de) * 2010-10-22 2014-11-20 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems
JP5632762B2 (ja) * 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
JP2013002927A (ja) * 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム
DE102011112150A1 (de) * 2011-09-01 2013-03-07 Valeo Schalter Und Sensoren Gmbh Verfahren zur Bestimmung eines Ausmaßes eines Objekts in einer Umgebung eines Fahrzeugs sowie eine entsprechende Vorrichtung und ein Fahrzeug mit einer derartigen Vorrichtung.
WO2013141922A2 (en) * 2011-12-20 2013-09-26 Sadar 3D, Inc. Systems, apparatus, and methods for data acquisiton and imaging
JP5862785B2 (ja) * 2012-09-03 2016-02-16 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
US20140176714A1 (en) * 2012-12-26 2014-06-26 Automotive Research & Test Center Collision prevention warning method and device capable of tracking moving object
US9052393B2 (en) * 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
JP6048246B2 (ja) * 2013-03-19 2016-12-21 株式会社デンソー 車間距離計測装置及び車間距離計測方法
US9058524B2 (en) 2013-06-28 2015-06-16 Bendix Commercial Vehicle Systems Llc Measuring the range to an object, in an image, using size categorization
US9582886B2 (en) * 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
JP6222353B2 (ja) * 2014-05-20 2017-11-08 日産自動車株式会社 物標検出装置及び物標検出方法
KR101694837B1 (ko) * 2015-05-29 2017-01-11 연세대학교 산학협력단 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
US10282591B2 (en) * 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US11150342B2 (en) 2017-09-07 2021-10-19 Magna Electronics Inc. Vehicle radar sensing system with surface segmentation using interferometric statistical analysis
US10877148B2 (en) 2017-09-07 2020-12-29 Magna Electronics Inc. Vehicle radar sensing system with enhanced angle resolution using synthesized aperture
US10962641B2 (en) 2017-09-07 2021-03-30 Magna Electronics Inc. Vehicle radar sensing system with enhanced accuracy using interferometry techniques
US10962638B2 (en) 2017-09-07 2021-03-30 Magna Electronics Inc. Vehicle radar sensing system with surface modeling
DE112018004507T5 (de) * 2017-10-12 2020-06-10 Sony Corporation Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm
CN111492260B (zh) * 2017-12-28 2023-11-07 古河电气工业株式会社 雷达装置以及雷达装置的对象物检测方法
JP7163589B2 (ja) * 2018-02-14 2022-11-01 株式会社デンソー 運転支援装置
CN110609274B (zh) * 2018-06-15 2022-07-01 杭州海康威视数字技术股份有限公司 一种测距方法、装置及系统
CN110857088B (zh) * 2018-08-15 2021-01-19 比亚迪股份有限公司 目标识别方法、装置、计算机可读存储介质及车辆
US10937232B2 (en) 2019-06-26 2021-03-02 Honeywell International Inc. Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09264954A (ja) 1996-03-29 1997-10-07 Fujitsu Ten Ltd レーダを用いた画像処理システム
JP3562250B2 (ja) 1997-07-29 2004-09-08 日産自動車株式会社 先行車両検出装置
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
US6326915B1 (en) * 2000-01-26 2001-12-04 Tung Thih Enterprise Co., Ltd. Radar device with multiplexed display functions for use in backing up a vehicle
JP2002189075A (ja) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
JP2003121547A (ja) * 2001-10-18 2003-04-23 Fuji Heavy Ind Ltd 車外監視装置
JP3880837B2 (ja) * 2001-11-02 2007-02-14 富士重工業株式会社 車外監視装置
JP3880841B2 (ja) * 2001-11-15 2007-02-14 富士重工業株式会社 車外監視装置
JP3861781B2 (ja) * 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
JP3862015B2 (ja) * 2002-10-25 2006-12-27 オムロン株式会社 車載用レーダ装置
KR100471268B1 (ko) * 2002-10-28 2005-03-10 현대자동차주식회사 차간거리 측정 방법
JP3779280B2 (ja) * 2003-03-28 2006-05-24 富士通株式会社 衝突予測装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1787847A2 (de) * 2005-11-21 2007-05-23 Robert Bosch Gmbh Fahrerassistenzsystem mit Abstandserfassung
EP1787847A3 (de) * 2005-11-21 2007-07-11 Robert Bosch Gmbh Fahrerassistenzsystem mit Abstandserfassung
DE102006035207B4 (de) 2006-07-29 2022-06-09 Volkswagen Ag Fahrzeug-Objekterfassungsvorrichtung

Also Published As

Publication number Publication date
DE102005016288B4 (de) 2014-08-21
JP2005300315A (ja) 2005-10-27
US7042389B2 (en) 2006-05-09
JP4763250B2 (ja) 2011-08-31
US20050225479A1 (en) 2005-10-13

Similar Documents

Publication Publication Date Title
DE102005016288B4 (de) Vorrichtung zur Erfassung eines Objekts vor einem Fahrzeug
DE60009000T2 (de) System zur Einparkhilfe
EP1928687B1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
DE19629775B4 (de) Verfahren und Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs und zur Erfassung eines Ausfalls der Überwachungsvorrichtung
DE69937699T2 (de) Vorrichtung zum Überwachen der Umgebung eines Fahrzeuges
DE10026586B4 (de) Objekterfassungssystem
DE602004003811T2 (de) Objektdetektionssystem und verfahren zum erkennen eines objekts
DE102009005860B4 (de) Umgebungs-Erkennungssystem
DE102008064411B4 (de) Belichtungssteuerungsvorrichtung und Belichtungssteuerungsprogramm für eine in einem Fahrzeug installierte elektronische Kamera
DE4130010C2 (de) Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes
DE112017002651T5 (de) Zielerfassungsvorrichtung
DE112010002047T5 (de) Objekterfassungsvorrichtung
DE102007034354B4 (de) Verfahren und Vorrichtung zum Schätzen des Verhaltens eines Fahrzeugs unter Verwendung von GPS-Signalen
DE102005056647B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102004012811A1 (de) Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs
WO2004111943A1 (de) Verfahren und vorrichtung zur objektortung für kraftfahrzeuge
DE102008001363A1 (de) Verfahren zum Erfassen einer Parkfläche unter Verwendung eines Entfernungssensors
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102019106375A1 (de) Fahrzeugsteuervorrichtung
DE102007019491A1 (de) Fahrzeugumgebungs-Überwachungsvorrichtung, Fahrzeug, Fahrzeugumgebungs-Überwachungsverfahren und Fahrzeugumgebungs-Überwachungsprogramm
DE102015225900B3 (de) Verfahren und Vorrichtung zur kamerabasierten Verkehrszeichenerkennung in einem Kraftfahrzeug
DE102018100215A1 (de) Bildanzeigevorrichtung
DE102017127449B4 (de) Bildanzeigevorrichtung
WO2009049976A1 (de) Verfahren zur schätzung der relativbewegung von video-objekten und fahrerassistenzsystem für kraftfahrzeuge
DE102011005970A1 (de) Verfahren und Vorrichtung zum Schätzen einer Straßenform

Legal Events

Date Code Title Description
R012 Request for examination validly filed

Effective date: 20110408

R018 Grant decision by examination section/examining division
R020 Patent grant now final
R084 Declaration of willingness to licence
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee