-
Die vorliegende Erfindung betrifft eine Vorrichtung zur Erfassung eines vor einem Fahrzeug befindlichen Objekts wie etwa einer weiteren Fahrzeugs (im Folgenden als ”Vorausfahrzeug” bezeichnet).
-
Ein Bildverarbeitungssystem, welches von einem Radar erfasste Daten verwendet, ist im Stand der Technik bekannt. In der
JP-A-9-264954 ist zum Beispiel ein solches System offenbart, in dem unter Verwendung von durch ein Radar erfassten Daten wie etwa einem Abstand zu einem Vorausfahrzeug oder einer Position des Vorausfahrzeugs relativ zu dem Fahrzeug, in dem das System eingebaut ist, eine Bildregion in einem Bildrahmen gesucht wird. In diesem System kann jedoch die Suche der Bildregion nicht ausgeführt werden, wenn die Daten von dem Radar nicht verfügbar sind.
-
Um dieses Problem zu lösen, wird in der
JP-A-11-44533 ein System vorgeschlagen, in dem ein Bild eines Objekts (Objektbild) als Schablone gespeichert wird, wenn die von einem Radar erfassten Abstandsdaten verfügbar sind, und eine Bildregion, die der gespeicherten Schablone am ähnlichsten ist, wird in dem Bildrahmen gesucht, der aufgenommen wird, wenn die Daten von dem Radar nicht mehr verfügbar sind. Der Abstand zu dem Vorausfahrzeug wird auf der Grundlage der so geschätzten Position in dem Bildrahmen berechnet.
-
In den herkömmlichen System ist es jedoch schwierig, den Abstand zu dem Vorausfahrzeug auf der Grundlage einer geschätzten Position des Vorausfahrzeugs in dem Bildrahmen exakt zu berechnen, da sich die Position des Vorausfahrzeugs in dem Bildrahmen nach oben und nach unten bewegt, wenn das Fahrzeug eine Nickbewegung ausführt. In dem in der
JP-A-11-44533 offenbarten herkömmlichen System kann der Abstand zu dem Vorausfahrzeug auf der Grundlage der gespeicherten Schablone nicht exakt berechnet werden, wenn sich der Abstand zu dem Vorausfahrzeug während einer Zeitspanne ändert, in der die Daten von dem Radar nicht verfügbar sind.
-
Die vorliegende Erfindung ist angesichts der oben genannten Probleme gemacht worden, und es ist ein Ziel der vorliegenden Erfindung, eine verbesserte Vorrichtung zur Erfassung eines vor einem Fahrzeug befindlichen Objekts wie zum Beispiel eines Vorausfahrzeugs bereitzustellen, wobei der Abstand zu dem Objekt auf der Grundlage von Objektdaten berechnet wird, wenn der Abstand nicht von einem Radar erfasst wird.
-
Gelöst wird die Aufgabe mit einer Vorrichtung nach Anspruch 1. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
Die Vorrichtung zur Erfassung eines vor dem Fahrzeug befindlichen Objekts (Objekterfassungsvorrichtung) ist in dem Fahrzeug angeordnet. Die Objekterfassungsvorrichtung umfasst ein Radar zur Erfassung eines Abstandes zwischen dem Fahrzeug und dem Objekt. Die Objekterfassungsvorrichtung umfasst ferner eine Kamera wie etwa eine CCD-Kamera, um ein Bild (im Folgenden als ”Kamerabild” bezeichnet) eines Bereichs vor dem Fahrzeug (im Folgenden als ”Vorausbereich” bezeichnet) aufzunehmen, in dem sich das Objekt befindet. Von dem Radar erfasste Objektdaten (im Folgenden als ”Radardaten” bezeichnet) und die Daten des von der Kamera aufgenommenen Kamerabildes (im Folgenden als ”Bilddaten” bezeichnet) werden zu einem Fahrzeugcontroller gesendet, der ein Fahrer-Assistentensystem steuert.
-
Wenn sich das Objekt in einem Bereich befindet, der sowohl von dem Radar als auch der Kamera erfasst wird (im Folgenden als ”Radarbereich” bzw. ”Kamerabereich” bezeichnet), werden ein von dem Radar erfasster Abstand zwischen dem Fahrzeug und dem Objekt und ein Kamerabild in einem Speicher gespeichert. Wenn sich das Objekt aus dem Radarbereich heraus bewegt, dabei jedoch innerhalb des Kamerabereichs bleibt, wird auf der Grundlage des gespeicherten Abstandes Z0 und eines Verhältnisses zwischen einer Objektgröße Wd0 in dem gespeicherten Kamerabild und einer Objektgröße Wd1 in dem momentanen Kamerabild ein momentaner Abstand Zd zu dem Objekt gemäß der Formel Zd = Z0 × Wd0/Wd1 berechnet.
-
Der Radarbereich wird auf einen Winkelbereich von ±10 Grad bezüglich der Fahrtrichtung des Fahrzeugs eingestellt, während der Kamerabereich auf einen Winkelbereich von ±20 Grad bezüglich derselben Richtung eingestellt ist, so dass der Radarbereich einen Winkel von 20 Grad und der Kamerabereich einen Winkel von 40 Grad einschließt. Der Radarbereich ist in dem Kamerabereich enthalten. Daher kann es sein, dass sich das Objekt zwar aus dem Radarbereich heraus bewegt, jedoch in dem Kamerabereich bleibt.
-
Um eine zu suchende Bildregion in dem momentanen Bild einzugrenzen, aus der ein Objektbild, das dem gespeicherten Objektbild entspricht, extrahiert werden soll, kann die Größe des Objektbildes in vertikaler Richtung auf eine vorbestimmte Größe begrenzt sein. Die zu suchende Bildregion kann auf beiden Seiten einer Mittenposition des Objekts definiert sein. Alternativ kann die Größe des gespeicherten Objektbildes vergrößert oder verkleinert werden, um das Objektbild zu finden, das dem gespeicherten Objektbild des momentanen Bildes entspricht.
-
Gemäß der vorliegenden Erfindung kann selbst dann, wenn sich das Objekt aus dem Radarbereich heraus bewegt, der Abstand zu dem Objekt genau auf der Grundlage des gespeicherten Abstandes und des momentan durch die Kamera aufgenommenen Kamerabildes berechnet werden, solange sich das Objekt in dem Kamerabereich befindet.
-
Die obigen und weitere Aufgaben, Eigenschaften und Vorteile der vorliegenden Erfindung sind aus der nachfolgenden detaillierten Beschreibung, die unter Bezugnahme auf die beigefügte Zeichnung gemacht wurde, deutlicher ersichtlich.
-
1 ist ein Blockdiagramm, das einen Gesamtaufbau eines Fahrer-Assistentensystems zeigt, das eine Objekterfassungsvorrichtung gemäß der vorliegenden Erfindung zeigt;
-
2 zeigt Positionen eines Radars und einer Kamera, die in einem Fahrzeug eingebaut sind;
-
3 zeigt eine horizontale Ebene (XZ-Ebene), die ein Fahrzeug in der Draufsicht zeigt;
-
4 ist eine schematische Ansicht, die Bereiche vor dem Fahrzeug zeigt, die durch eine Radar und eine Kamera erfasst werden können;
-
5 zeigt ein extrahiertes Objektbild in dem von der Kamera aufgenommenen Bild;
-
6 zeigt ein gespeichertes Bild und ein momentanes Bild eines Objekts; und
-
7 ist ein Flussdiagramm, das einen Bildverarbeitungsprozess in der Objekterfassungsvorrichtung zeigt.
-
Im Folgenden ist eine bevorzugte Ausführungsform der vorliegenden Erfindung mit Bezug auf die beigefügten Zeichnungen beschrieben. 1 zeigt ein Fahrer-Assistentensystem 100, das eine Objekterfassungsvorrichtung gemäß der vorliegenden Erfindung umfasst. Das Fahrer-Assistentensystem 100 ist in einem Fahrzeug installiert und unterstützt den Fahrer, indem es ein Antriebssystem, ein Bremssystem und ein Lenksystem des Fahrzeugs ansteuert. Zum Beispiel wird ein Abstand zwischen dem Fahrzeug und einem Vorausfahrzeug automatisch konstant gehalten, um so eine Kollision zu vermeiden.
-
Wie in 1 gezeigt ist, umfasst das Fahrer-Assistentensystem 100 ein Radar 10, eine Kamera 20, einen Prozessor 30 und eine Fahrzeugregelungseinheit (Controller) 40. Das Radar 10 ist in einem vorderen Bereich des Fahrzeugs eingebaut, wie es in 2 gezeigt ist, und kann z. B. ein Laser-Radar, ein Millimeterwellen-Radar oder dergleichen sein. Die von dem Radar 10 ausgesendeten Radarstrahlen werden von dem Fahrzeug nach vorn ausgesendet, und von einem Objekt wie etwa einem Vorausfahrzeug reflektierte Radarstrahlen werden empfangen, so dass das Objekt auf der Grundlage der von einem Empfänger empfangenen reflektierten Strahlen erfasst wird.
-
Eine horizontale Ebene, die das Fahrzeug enthält, in dem die Objekterfassungsvorrichtung eingebaut ist, ist als XZ-Ebene definiert, wie es in 3 gezeigt ist, in der das Fahrzeug in der Draufsicht gezeigt ist. Die X-Achse erstreckt sich in einer zu einer Fahrtrichtung des Fahrzeugs senkrechten Richtung, und die Z-Achse erstreckt sich in Fahrtrichtung. Der Ursprung des Koordinatensystems befindet sich am vorderen Ende des Fahrzeugs, in X-Richtung mittig an diesem, wie es in 3 gezeigt ist. Das Radar 10 erfasst Objekte, die sich in einem Radarbereich befinden, der einen Winkelbereich in der XZ-Ebene von 20 Grad einschließt, wie es in 4 gezeigt ist. Das Radar 10 erfasst einen Abstand Z und eine Relativgeschwindigkeit Vz zwischen dem Fahrzeug und dem Objekt sowie eine X-Richtungsposition X des Objekts. Der Abstand Z, die Relativgeschwindigkeit Vz und die Position X bilden Radardaten, die zum Beispiel alle 100 Millisekunden von dem Radar 10 zu dem Prozessor 30 und dem Controller 40 gesendet werden.
-
Die Kamera 20 ist eine Kamera, die einen Bildsensor wie etwa ein CCD (charge coupled device) enthält und in einem vorderen Bereich des Fahrzeugs installiert ist, wie es in 2 gezeigt ist. Die Kamera 20 nimmt ein Bild des Kamerabereichs auf, der einen Winkel in der XZ-Ebene von 40 Grad einschließt, wie es in 4 gezeigt ist. Da der Kamerabereich den Radarbereich als Teilbereich enthält, kann es sein, dass Objekte, die nicht von dem Radar erfasst werden, dennoch von der Kamera aufgenommen werden. Im allgemeinen ist ein von der Kamera 20 erfassbarer Bereich breiter als ein von dem Radar 10 erfassbarer Bereich. Es gibt daher einen Bereich, der zwar nicht von dem Radar 10, jedoch von der Kamera 20 erfasst werden kann. Die Belichtungszeit, die Bildfrequenz und die Verstärkung der Kamera 20 werden von einem (nicht gezeigten) Controller geregelt, und ein Pixelwert, d. h. eine Helligkeitspegel, jedes Pixels wird zusammen mit horizontalen und vertikalen Synchronisationsdaten als Bilddaten zu dem Prozessor 30 gesendet.
-
Der Prozessor 30 berechnet dem Objekt zugeordnete Daten (Objektdaten) wie etwa einen Abstand zwischen dem Fahrzeug und dem Objekt, eine Relativgeschwindigkeit zwischen dem Fahrzeug und dem Objekt, eine Position des Objekts in X-Richtung und eine Breite (in X-Richtung) des Objekts auf der Grundlage der Radardaten von dem Radar 10 und den Bilddaten von der Kamera 20. Die Objektdaten werden zum Beispiel in Intervallen von 100 Millisekunden von dem Prozessor 30 an den Controller 40 gesendet. Der Controller 40 steuert das Antriebssystem, das Bremssystem und das Lenksystem auf der Grundlage der Objektdaten und der Radardaten an. In Situationen, in denen sich das Objekt aus dem Radarbereich heraus bewegt oder in denen Radardaten durch eine Fehlfunktion des Radars 10 nicht verfügbar sind, kann der Abstand zu dem Objekt auf der Grundlage der Bilddaten von der Kamera 20 berechnet werden, wie es weiter unten erläutert ist.
-
Nachfolgend ist ein von dem Prozessor 30 ausgeführter Datenverarbeitungsprozess mit Bezug auf 7 beschrieben. In Schritt S10 werden die Radardaten, die aus dem Abstand Z, der Relativgeschwindikeit Vz und der Position X bestehen, von dem Radar 10 übertragen. In Schritt S20 werden die Bilddaten von der Kamera 20 übertragen. In Schritt S30 wird bestimmt, ob das Objekt immer noch von dem Radar 10 erfasst wird. Das heißt, in Schritt S30 wird bestimmt, ob sich das Objekt aus dem Radarbereich heraus bewegt hat. Wenn das Objekt durch das Radar 10 erfasst wird, fährt der Prozess mit Schritt S100 fort, wenn nicht, fährt der Prozess mit Schritt S200 fort.
-
In Schritt S100 wird ein Bild des Objekts (Objektbild) aus dem von der Kamera 20 aufgenommenen Bild (Kamerabild) extrahiert, wie es in 5 gezeigt ist. Genauer gesagt, in diesem Schritt wird eine Bildregion in dem Kamerabild, die das Objekt enthält, gesucht, wobei die Bildregion in der horizontalen und der vertikalen Richtung auf der Grundlage des durch das Radar 10 erfassten Abstandes Z und der von dem Radar 10 erfassten Position X eingegrenzt wird.
-
Da die Größe des Objektbildes umgekehrt proportional zum Abstand Z ist und die horizontale Position des Objekts durch die Position X bestimmt ist, kann die Bildregion auf der Grundlage des Abstandes Z und der Position X auf einen bestimmten Bereich eingegrenzt werden. Durch Eingrenzen der Bildregion auf den Bereich, der das Objektbild enthält, kann das Objektbild schnell und wirksam aus dem von der Kamera 20 aufgenommenen Kamerabild extrahiert werden. Das Objektbild wird aus der Bildregion unter Verwendung eines bekannten Verfahrens wie etwa eines Kantenerkennungs-Verfahrens oder eines Mustererkennungsverfahrens extrahiert. Es ist vorteilhaft, eine Neigung der Straße, auf der das Objekt fährt, zu berücksichtigen, um auch die vertikale Position der Bildregion in dem von der Kamera 20 aufgenommenen Kamerabild besser zu bestimmen.
-
Die Größe des Objekts (oder der Bildregion) kann auf der Grundlage des Abstandes Z zu dem Objekt auf folgende Weise bestimmt werden. Geht man davon aus, dass der Kamerabereich in der horizontalen Ebene (XZ-Ebene) einen Winkel von 40 Grad einschließt, wie es in 4 gezeigt ist, die Größe eines Bildaufnahmeelements 7 μm × 7 μm und die Bildauflösung 640×640 Pixel beträgt (VGA), so ergibt sich die Anzahl Np der Pixel, die das Objekt zeigen, zu: Np = (tatsächliche Größe des Objekts) × 879/Z
-
Folglich ist die Anzahl der Pixel, die das Objekt zeigen, 21–44, wenn die tatsächliche Größe (Breite) des Objekts 1,2–2,5 Meter und der Abstand Z 50 Meter betragen. Dies bedeutet, dass die Größe des aus dem von der Kamera 20 aufgenommenen Kamerabild zu extrahierenden Objekts aus dem Abstand Z bestimmt werden kann. Durch Eingrenzen der Größe des zu extrahierenden Objekts, kann der Extrahierungsprozess in kurzer Zeit ausgeführt werden, und die Genauigkeit des Extrahierens erhöht ist.
-
In Schritt S110 wird der Abstand Z als Abstandsdaten Zd gesetzt, die dem Controller 40 zugeführt werden. In Schritt S120 wird die Relativgeschwindigkeit Vz als Relativgeschwindigkeitsdaten Vzd gesetzt und dem Controller 40 zugeführt. In Schritt S130 werden das in Schritt S100 extrahierte Bild des Objekts und der Abstand Z zu dem Objekt als Paar gespeichert. Der gespeicherte Abstand wird als Z0 bezeichnet. Das gespeicherte Bild und der Abstand werden kontinuierlich aktualisiert, solange das Objekt von dem Radar 10 erfasst wird. In Schritt S400 wird ein geschätzter Abstand Zn zu dem Objekt, der nach einer vorbestimmten Zeitspanne ΔT (z. B. 100 ms) bei der nächsten Bildaufnahme durch die Kamera 20 erwartet wird, nach folgender Formel berechnet: Zn = Zd + Vzd × ΔT
-
In Schritt S410 werden eine Mittenposition Xd des Objekts in X-Richtung in der XZ-Ebene und eine Breite Wd des Objekts von dem extrahierten Objektbild berechnet. In Schritt S500 werden die Daten des Objekts, d. h. Zd, Xd, Wd und Vzd dem Controller 40 zugeführt.
-
Wie es oben beschrieben ist, fährt der Prozess von Schritt S30 mit Schritt 200 fort, wenn das Radar 10 das Objekt nicht mehr erfasst. In Schritt S200 wird das in Schritt S130 gespeicherte Bild des Objekts auf eine Größe vergrößert oder verkleinert, die am besten mit dem Objektbild auf einem in Schritt S20 aufgenommenen momentanen Bild des Objekts übereinstimmt. Zum Beispiel wird der Absolutbetrag einer Differenz aus einem Pixelwert eines Pixels in dem gespeicherten Bild und einem Pixelwert eines entsprechenden Pixels in dem momentanen Bild für jedes Pixel gebildet und diese Differenzen über alle Pixel summiert, um eine Summe Sm von Pixelwertdifferenzen zu erhalten. Die Bildregion auf dem von der Kamera 20 aufgenommenen momentanen Bild wird bei einer Position bestimmt, bei der die Summe von Pixelwertdifferenzen Sm ein Minimum annimmt. Auf diese Weise kann die Bildregion, in dem das Objekt enthalten ist, auf dem momentanen Bild gesucht werden, selbst wenn sich das Objekt außerhalb des Radarbereichs befindet und der Abstand Z von dem gespeicherten Abstand Z0 verschieden ist, solange sich das Objekt in dem Kamerabereich befindet.
-
Eine geschätzte Größe und/oder Position des Objekts auf dem momentanen Bild kann auf der Grundlage des in Schritt S400 berechneten geschätzten Abstandes Zn berechnet werden. Ein Vergrößerungs- oder Verkleinerungsverhältnis kann entsprechend der geschätzten Größe eingestellt werden. Wenn das auf diese Weise gewonnene Vergrößerungs- oder Verkleinerungsverhältnis beim Suchen der Bildregion in Schritt S200 verwendet wird, kann eine Suchzeit im Vergleich zu einem Fall, in dem die gespeicherte Objektgröße zufällig vergrößert oder verkleinert wird, verkürzt werden. Ferner kann der Suchbereich in dem momentanen Bild eingeschränkt werden und die Suchzeit kann verkürzt werden, indem die geschätzte Position des Objekts und die Position des Mitte des Objekts in dem gespeicherten Bild verwendet werden.
-
In Schritt S210 wird beurteilt, ob die in Schritt S200 berechnete Summe Sm von Pixelwertdifferenzen kleiner als ein Schwellenwert Sth ist. Wenn Sm kleiner als Sth ist, fährt der Prozess mit Schritt S220 fort, da dies bedeutet, dass sich das Objekt in dem Kamerabereich befindet. Wenn nicht, fährt der Prozess mit Schritt S300 fort, wo die Objektdaten gelöscht werden, da dies bedeutet, dass sich das Objekt außerhalb des Kamerabereichs befindet. In Schritt S500 werden Daten, die zeigen, dass kein Objekt vorhanden ist, zu dem Controller 40 gesendet.
-
In Schritt S220 wird ein Größenverhältnis des Objekts aus der Größe in dem gespeicherten Objektbild und der Größe in dem Objektbild in der Bildregion, die in Schritt S200 gesucht wurde. Insbesondere wird, wie es in 6 gezeigt ist, das Größenverhältnis berechnet, indem die Objektbreite Wd0 in dem gespeicherten Bild durch die Objektbreite Wd1 in dem momentanen Bild dividiert wird: Größenverhältnis = Wd0/Wd1. In Schritt S230 wird der momentane Abstand Zd zu dem Objekt nach folgender Formel berechnet: Zd = Z0 × Wd0/Wd1
-
In Schritt S240 wird eine momentane Relativgeschwindigkeit auf der Grundlage des momentanen Abstandes Zd, eines vorherigen Abstandes und einer vorherigen Relativgeschwindigkeit berechnet. In Schritt S400 wird der geschätzte Abstand Zn wie oben erwähnt berechnet. In Schritt S410 werden die Mittenposition Xd und die Breite Wd des Objekts berechnet. Dann fährt der Prozess mit Schritt S500 fort, in dem die Objektdaten an den Controller 40 gegeben werden.
-
Wie oben beschrieben ist, werden in der Objekterfassungsvorrichtung gemäß der vorliegenden Erfindung der von dem Radar 10 erfasste Abstand Z0 zu dem Objekt und das von der Kamera 20 aufgenommene Bild als Paar gespeichert. Wenn sich das Objekt aus dem Radarbereich heraus bewegt, aber im Kamerabereich bleibt, wird ein momentaner Abstand zu dem Objekt auf der Grundlage des gespeicherten Bildes und einem momentanen Bild berechnet. Insbesondere wird der momentane Abstand Zd zu dem Objekt durch folgende Formel berechnet: Zd = Z0 × Wd0/Wd1, wobei Wd0/Wd1 ein Objektgrößenverhältnis in dem gespeicherten Bild und dem momentanen Bild ist.
-
Auf diese Weise kann der Abstand zu dem Objekt exakt berechnet werden, selbst wenn sich das Objekt außerhalb des Radarbereichs befindet, solange es sich immer noch in dem Kamerabereich befindet. Wenn sich das Objekt durch Nickbewegungen des Fahrzeugs in dem von der Kamera 20 aufgenommenen Bild nach oben und unten bewegt, kann der Abstand zu dem Objekt exakt berechnet werden, da sich die Größe des Objekts in dem Bild durch die Nickbewegung nicht ändert. Da der Abstand Z0 und das Bild des Objekts als Paar gespeichert werden, kann der momentane Abstand zu dem Objekt exakt berechnet werden, selbst wenn sich der Abstand zu dem Objekt während einer Zeitspanne ändert, in der das Radar 10 das Objekt nicht erfassen kann.
-
Die vorliegende Erfindung ist nicht auf die oben beschriebene Ausführungsform begrenzt, sondern kann verschiedentlich modifiziert werden. Wenn zum Beispiel in Schritt S210 bestimmt wird, dass das Objekt in dem momentanen Bild enthalten ist (siehe 7), kann das momentane Bild an Stelle des zuvor gespeicherten Bildes gespeichert werden. In diesem Fall werden das momentane Bild und der in Schritt S230 berechnete Abstand als Paar gespeichert. Eine große Differenz im Pixelwert zwischen dem gespeicherten Bild und dem momentanen Bild, die auftreten kann, wenn das gespeicherte Bild nicht aktualisiert wird, kann vermieden werden. Wenn das Objekt eine Kurve durchfährt, wird die Seite des Objekts, die in dem zuvor gespeicherten Bild nicht sichtbar war, in dem momentanen Bild sichtbar. Dies macht es schwierig, den Abstand zu dem Objekt auf der Grundlage des Verhältnisses der Objektgrößen zu berechnen. Dieses Problem wird auch durch eine Aktualisierung des gespeicherten Bildes gelöst.
-
Obgleich die vorliegende Erfindung bezüglich der bevorzugten Ausführungsformen offenbart worden ist, um ein besseres Verständnis von diesen zu ermöglichen, sollte wahrgenommen werden, dass die Erfindung auf verschiedene Weisen verwirklicht werden kann, ohne den Umfang der Erfindung zu verlassen. Deshalb sollte die Erfindung derart verstanden werden, dass sie alle möglichen Ausführungsformen und Ausgestaltungen zu den gezeigten Ausführungsformen beinhaltet, die realisiert werden können, ohne den Umfang der Erfindung zu verlassen, wie er in den beigefügten Ansprüchen dargelegt ist.