DE102009005184A1 - Fahrzeugabtastsystem - Google Patents

Fahrzeugabtastsystem Download PDF

Info

Publication number
DE102009005184A1
DE102009005184A1 DE102009005184A DE102009005184A DE102009005184A1 DE 102009005184 A1 DE102009005184 A1 DE 102009005184A1 DE 102009005184 A DE102009005184 A DE 102009005184A DE 102009005184 A DE102009005184 A DE 102009005184A DE 102009005184 A1 DE102009005184 A1 DE 102009005184A1
Authority
DE
Germany
Prior art keywords
vehicle
vah
image
lateral position
lateral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102009005184A
Other languages
English (en)
Inventor
Toru Saito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK, Fuji Heavy Industries Ltd filed Critical Fuji Jukogyo KK
Publication of DE102009005184A1 publication Critical patent/DE102009005184A1/de
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

Ein Fahrzeugabtastsystem (1) weist eine Bildaufnahmeeinrichtung (2) zum Aufnehmen eines Bildes von der Umgebung eines betreffenden Fahrzeugs (A), eine Fahrzeugerfassungseinrichtung (11) zum Erfassen eines Fahrzeugs (Vah) aus dem aufgenommenen Bild (T) sowie eine Lateralpositions-Erfassungseinrichtung (12) zum Erfassen einer lateralen Position des Fahrzeugs (Vah) in dem aufgenommenen Bild (T) auf. Die Lateralpositions-Erfassungseinrichtung (12) unterteilt eine Region (R), die in einem Bereich des aufgenommenen Bildes (T) vorgegeben ist, in dem ein Bild des Fahrzeugs (Vah) enthalten ist oder wahrscheinlich enthalten ist, in Vertikalrichtung in eine Vielzahl von Segmenten (R1, R2, R3). Die Lateralpositions-Erfassungseinrichtung (12) berechnet durchschnittliche Helligkeiten von Pixeln, die zu in den Segmenten (R1, R2, R3) in Vertikalrichtung verlaufenden Pixelspalten gehören und eine Breite aufweisen, die einem Pixel oder einer Vielzahl von Pixeln entspricht. Die Lateralpositions-Erfassungseinrichtung (12) berechnet Differenzen in der durchschnittlichen Helligkeit zwischen in lateraler Richtung benachbarten Pixelspalten und erfasst die laterale Position des Fahrzeugs (Vah) auf der Basis von Absolutwerten der Differenzen.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung befaßt sich mit Fahrzeugabtastsystemen und betrifft insbesondere ein Fahrzeugabtastsystem, das eine Bildaufnahmeeinrichtung aufweist, die Bilder zum Erfassen zumindest eines Fahrzeugs aufnimmt.
  • 2. Beschreibung des einschlägigen Standes der Technik
  • In den letzten Jahren sind Techniken zum Erfassen von Objekten, die um ein Fahrzeug, beispielsweise ein Kraftfahrzeug, herum vorhanden sind, durch Analysieren eines von einer Bildaufnahmeeinrichtung, wie einer CCD-Kamera (Kamera mit ladungsgekoppelter Vorrichtung), aufgenommenen Bildes oder durch Analysieren von reflektierten Wellen von durch ein Radargerät ausgesendeten Funkwellen entwickelt worden (siehe z. B. ungeprüfte japanische Patentanmeldungsveröffentlichung JP-A-2006-140 636 ).
  • Diese Techniken finden bei Fahrsicherheitstechnologien für Fahrzeuge Anwendung. Für einen sicheren Fahrvorgang wird z. B. die Wahrscheinlichkeit einer Kollision mit einem erfaßten Objekt beurteilt, es wird ein Alarm zum Warnen des Fahrers erzeugt, und es erfolgen eine automatische Lenksteuerung und eine automatische Bremssteuerung, um eine Kollision zu vermeiden.
  • Bei dieser Objekterfassung ist es wichtig, die Positionen von anderen Fahrzeugen, insbesondere eines vorausfahrenden Fahrzeugs, exakt zu erfassen. Auch ist es wichtig, nicht nur die in Vorwärts-Rückwärts-Richtung bzw. Längsrichtung vorhandene Distanz zwischen einem betreffenden Fahrzeug und einem vorausfahrenden Fahrzeug exakt zu erfassen, sondern auch die Position des vorausfahrenden Fahrzeugs in der lateralen Richtung (im folgenden als laterale Position bezeichnet), um die Wahrscheinlichkeit eines Kontakts oder einer Kollision mit einem Objekt zu beurteilen.
  • In dieser Hinsicht kann die vorstehend beschriebene Erfassungstechnik unter Verwendung eines Radargeräts im allgemeinen die Distanz in Längsrichtung exakt ermitteln, jedoch ist sie nicht so leicht in der Lage, die Genauigkeit bei der Erfassung der lateralen Position zu erhöhen.
  • Dagegen liefert die vorstehend beschriebene Bildanalyse eines aufgenommenen Bildes ein hohes Maß an Genauigkeit bei der Erfassung der lateralen Position aufgrund der Fähigkeit, die Form des Fahrzeugs exakt zu erfassen. Da jedoch das aufgenommene Bild in Form von Pixeln vorliegt, nimmt die Genauigkeit der Daten über die Distanz von dem betreffenden Fahrzeug insbesondere zu einem in der Ferne befindlichen Fahrzeug manchmal ab.
  • Zum Ausnutzen der Vorteile der Abtasttechniken, die ein Radargerät und eine Bildanalyse des aufgenommenen Bildes verwenden, sowie zum Überwinden der Nachteile der Techniken schlägt die vorstehend beschriebene Veröffentlichung ein Abtastsystem vor, das Radar und Bildanalyse in Kombination verwendet.
  • Bei diesem Abtastsystem wird eine ungefähre Position beispielsweise eines vorausfahrenden Fahrzeugs als ein von dem Radar zu verarbeitender Bereich erfaßt, mehrere Histogramme werden durch Erfassen von Rändern in dem Bereich mittels einer Bildaufnahmeeinrichtung berechnet, und die laterale Position des vorausfahrenden Fahrzeugs wird dadurch erfaßt, daß das vorausfahrende Fahrzeug unter Bezugnahme auf die gespeicherten Histogramme verfolgt wird.
  • Leider ist es bei dem vorstehend beschriebenen Abtastsystem notwendig, mehrere Histogramme zu berechnen und große Datenmengen zu speichern. Da es ferner erforderlich ist, aus den Daten Werte zu extrahieren, die zeitliche Kontinuität aufweisen, ist viel Zeit für die Verarbeitung notwendig, mit anderen Worten, die Verarbeitung wird langsam.
  • Wenn eine falsche Position gespeichert worden ist, dann ist es nicht unbedingt leicht, die Position in eine korrekte Position zu korrigieren. Wenn das Helligkeitsmuster eines vorausfahrenden Fahrzeugs sich mit der Zeit und dem Ort verändert, ist eine Stabilität des Verarbeitungsresultats nicht unbedingt in wirksamer Weise gewährleistet.
  • Es ist vorstellbar, die laterale Position des vorausfahrenden Fahrzeugs auf der Basis nur von solchen Histogrammen zu schätzen, denen seitliche Ränder des vorausfahrenden Fahrzeugs hinzugefügt sind, ohne eine Überprüfung anhand der gespeicherten Daten vorzunehmen. Wenn das vorausfahrende Fahrzeug jedoch an einem Objekt vorbeifährt, dessen Ränder dicht sind, beispielsweise einem Busch, sind in dem Busch mehr Ränder vorhanden als bei dem vorausfahrenden Fahrzeug, so daß es schwierig ist, die lateralen Enden des vorausfahrenden Fahrzeugs exakt zu erfassen.
  • KURZBESCHREIBUNG DER ERFINDUNG
  • Die vorliegende Erfindung ist in Anbetracht dieser Umstände erfolgt, und ein Ziel der Erfindung besteht in der Schaffung eines Fahrzeugabtastsystems, das eine laterale Position eines Fahrzeugs, wie z. B. eines vorausfahrenden Fahrzeugs, aus einem aufgenommenen Bild mittels relativ einfacher Verarbeitung exakt erfassen kann.
  • Zum Überwinden der vorstehend geschilderten Probleme weist ein Fahrzeugabtastsystem gemäß einem Aspekt der vorliegenden Erfindung folgendes auf:
    eine Bildaufnahmeeinrichtung zum Aufnehmen eines Bildes von der Umgebung eines betreffenden Fahrzeugs;
    eine Fahrzeugerfassungseinrichtung zum Erfassen eines Fahrzeugs aus dem aufgenommenen Bild; und
    eine Lateralpositions-Erfassungseinrichtung zum Erfassen einer lateralen Position des erfaßten Fahrzeugs in dem aufgenommen Bild.
  • Die Lateralpositions-Erfassungseinrichtung teilt eine Region, die in einem Bereich des aufgenommenen Bildes vorgegeben ist, in dem ein Bild des Fahrzeugs enthalten ist oder wahrscheinlich enthalten ist, in Vertikalrichtung in eine Vielzahl von Segmenten.
  • Die Lateralpositions-Erfassungseinrichtung berechnet durchschnittliche Helligkeiten von Pixeln, die zu in den Segmenten in Vertikalrichtung verlaufenden Pixelspalten gehören und eine Breite aufweisen, die einem Pixel oder einer Vielzahl von Pixeln entspricht. Die Lateralpositions-Erfassungseinrichtung berechnet Differenzen zwischen den durchschnittlichen Helligkeiten der Pixelspalten und den durchschnittlichen Helligkeiten von in lateraler Richtung benachbarten Pixelspalten und erfaßt die laterale Position des Fahrzeugs auf der Basis von Absolutwerten der Differenzen.
  • Hierbei wird eine Region in einem Bereich des aufgenommenen Bildes vorgegeben, in dem ein Bild des Fahrzeugs, wie z. B. eines vorausfahrenden Fahrzeugs, enthalten ist oder wahrscheinlich enthalten ist, und die Region wird vertikal in eine Vielzahl von Segmenten unterteilt. Die Durchschnittswerte der Helligkeiten (die im folgenden als durchschnittliche Helligkeiten bezeichnet werden) der Pixel werden für die Pixelspalten in den Segmenten berechnet. Es werden Differenzen von den durchschnittlichen Helligkeiten von benachbarten Pixelspalten berechnet, und die laterale Position des Fahrzeugs wird auf der Basis der Absolutwerte der Differenzen erfaßt.
  • Aus diesem Grund handelt es sich bei den zum Erfassen der lateralen Position erforderlichen Rechenvorgängen lediglich um Addition, Mittelung (Division), Subtraktion und Ermittelung des Absolutwertes. Die laterale Position des vorausfahrenden Fahrzeugs oder dergleichen kann somit aus dem aufgenommenen Bild mittels einer einfacheren Berechnung als bei dem Verfahren, das eine Vielzahl von Histogrammen verwendet, exakt erfaßt werden.
  • Bei einem Busch z. B. werden mehrere Bilder von Blättern sowie den Schatten von diesen aufgenommen. Bei der Berechnung der seitlichen Randstärke für jedes Pixel werden somit mehrere Ränder in dem Bild des Busches erfaßt, und dies macht eine Unterscheidung zwischen dem Busch und dem Fahrzeug schwierig.
  • Wenn jedoch die durchschnittliche Helligkeit der Pixel für jede in Vertikalrichtung verlaufende Pixelspalte berechnet wird, wie bei einem Aspekt der vorliegenden Erfindung, werden die Helligkeiten und die Dunkelheit der Blätter und der Schatten in jeder Pixelspalte gleichmäßig gemacht. Da sich ferner die Helligkeit des Busches insgesamt selbst bei einer Pixelspalten-Verlagerung nicht so stark verändert, sind die durchschnittlichen Helligkeiten der Pixelspalten im wesentlichen gleich, und es treten keine Pixelspalten in Erscheinung, bei denen sich die durchschnittliche Helligkeit stark verändert.
  • Wenn dagegen die durchschnittliche Pixelhelligkeit für jede in Vertikalrichtung verlaufende Pixelspalte in Bereichen berechnet wird, die Säulen des Fahrzeugs (vgl. 12A, die im folgenden beschrieben wird), sowie durch die Fahrzeugkarosserie unter dem Stoßfänger verdeckten Bereichen entsprechen (vgl. 12C), kommt es zu einer starken Änderung bei der durchschnittlichen Helligkeit in diesen Bereichen, und die Differenz in der lateralen Richtung ändert sich stark.
  • Aus diesem Grund kann durch das Berechnen der durchschnittlichen Helligkeit der Pixel in jeder in Vertikalrichtung verlaufenden Pixelspalte sowie durch Berechnen der Differenz der durchschnittlichen Helligkeit in der Lateralrichtung, um dadurch eine Pixelspalte aufzufinden, bei der sich die Differenz stark verändert, festgestellt werden, daß es sich bei einer Pixelspalte, in der sich die durchschnittliche Helligkeit stark ändert, um eine laterale Position des Fahrzeugs handelt. Ferner ist es möglich, zwischen einem Busch und einem Fahrzeug klar zu unterscheiden sowie die laterale Position des Fahrzeugs, wie z. B. eines vorausfahrenden Fahrzeugs, aus dem aufgenommenen Bild exakt zu erfassen.
  • Vorzugsweise erfaßt die Lateralpositions-Erfassungseinrichtung die laterale Position des Fahrzeugs auf der Basis der Summe der Absolutwerte der Differenzen der Pixelspalten in den Segmenten, die die gleiche laterale Koordinate in dem aufgenommen Bild haben.
  • Da hierbei die laterale Position des Fahrzeugs auf der Basis der Summe der Absolutwerte der Differenzen der Pixelspalten in den Segmenten erfaßt wird, die die gleiche laterale Koordinate in dem aufgenommen Bild aufweisen, können die durchschnittlichen Helligkeiten der Pixelspalten, die in den Segmenten in unabhängiger Weise erfaßt werden, zusammen behandelt werden.
  • Da ferner die durchschnittlichen Helligkeiten der Pixelspalten sich an dem rechten und dem linken Endbereich des Fahrzeugs in jedem Segment ändern, werden die Endbereiche betont und diese sind in einfacher Weise zu erfassen, indem die Absolutwerte der Differenzen der durchschnittlichem Helligkeiten hinzuaddiert werden. Infolgedessen kann die laterale Position des Fahrzeugs aus dem aufgenommenen Bild exakt erfaßt werden, und die vorstehend geschilderten Vorteile der vorliegenden Erfindung lassen sich in zuverlässigerer Weise erzielen.
  • Vorzugsweise erfassen die Lateralpositions-Erfassungseinrichtungen als laterale Position des Fahrzeugs eine Position einer Pixelspalte, die den höchsten Spitzenwert erbringt von Spitzenwerten in der Summe der Absolutwerte der für die Segmente berechneten Differenzen oder von der Summe der Absolutwerte der Differenzen von Pixelspalten in den Segmenten, die die gleiche laterale Koordinate in dem aufgenommenen Bild aufweisen, wobei die Spitzenwerte einen vorbestimmten Schwellenwert übersteigen, eine Position einer Pixelspalte mit einem Spitzenwert, der am nächsten bei einer zuvor erfaßten lateralen Position des Fahrzeugs erfaßt worden ist, oder eine Position einer Pixelspalte mit einem Spitzenwert, der von einer zentralen Position des Fahrzeugs am weitesten entfernt erfaßt worden ist.
  • In diesem Fall wird die laterale Position des Fahrzeugs auf der Basis der Absolutwerte der Differenzen in dem Segmenten oder der Summe der Absolutwerte der Differenzen erfaßt. Da es hierdurch möglich ist, die laterale Position des Fahrzeugs deutlich festzustellen und die laterale Position des Fahrzeugs aus dem aufgenommenen Bild exakt zu erfassen, lassen sich die vorstehend beschriebenen Vorteile der vorliegenden Erfindung in zuverlässigerer Weise erzielen.
  • Vorzugsweise teilen die Lateralpositions-Erfassungseinrichtungen die Region in Vertikalrichtung zumindest in ein unteres Segment, das als Bildbereich dient, in dem wahrscheinlich ein durch die Fahrzeugkarosserie verdeckter Bereich des Fahrzeugs vorhanden ist, sowie in ein übriges Segment.
  • In dem unteren Segment ist ein hinter einem Reifen unter dem Stoßfänger oder der Fahrzeugkarosserie, wie z. B. dem Unterbau, verdeckter Bereich dunkler als die Umgebung, und die Helligkeiten der Pixel in dem verdeckten Bereich sind deutlich geringer als die in der Umgebung. Daher ist eine klare Unterscheidung zwischen dem verdeckten Bereich und der Umgebung möglich, indem die Differenzen in der durchschnittlichen Helligkeit zwischen den Pixelspalten ermittelt werden.
  • Da bei der vorliegenden Erfindung der Durchschnittswert der Helligkeiten der Pixel berechnet wird, die zu jeder in Vertikalrichtung der Segmente verlaufenden Pixelspalte gehören, wird bei einer unangemessenen Unterteilung der Region die Dunkelheit des verdeckten Bereichs, der deutlich von der Umgebung unterschieden werden kann, mit der Helligkeit in dem oberen Teil des Fahrzeugkörpers kompensiert. Dabei kann es unmöglich sein, klar zwischen dem verdeckten Bereich und der Umgebung zu unterscheiden.
  • Aus diesem Grund wird beim Unterteilen der Region ein unteres Segment zumindest in dem verdeckten Bereich vorgesehen, um eine Unterscheidung von dem übrigen Bereich des Fahrzeugs zu ermöglichen. Daher ist es möglich, zwischen dem verdeckten Bereich und der Umgebung klar zu unterscheiden und die laterale Position des Fahrzeugs exakt zu erfassen. Infolgedessen lassen sich die vorstehend beschriebenen Vorteile der vorliegenden Erfindung in zuverlässigerer Weise erzielen.
  • Vorzugsweise unterteilen die Lateralpositions-Erfassungseinrichtungen die Region in Vertikalrichtung in zumindest ein unteres Segment, das als Bildbereich dient, in dem wahrscheinlich ein durch einen Körperbereich des Fahrzeugs verdeckter Bereich vorhanden ist, ein oberes Segment, das als Bildbereich dient, in dem wahrscheinlich ein Bild einer Fensterscheibe vorhanden ist, sowie das übrige Segment.
  • Wenn es sich bei dem Fahrzeug um ein Auto mit einer Fensterscheibe (z. B. einer Heckscheibe oder einer Frontscheibe) in seinem oberen Teil handelt, werden dann, wenn ein oberes Segment in einem Bildbereich vorhanden ist, der wahrscheinlich ein Bild der Fensterscheibe enthält, helle Bilder von Säulen zwischen der dunklen Fensterscheibe und der Umgebung geschaffen. Somit Werden die Säulen manchmal durch Ermitteln von Differenzen in der durchschnittlichen Helligkeit zwischen den Pixelspalten deutlich erfaßt.
  • Aus diesem Grund wird beim Unterteilen der Region nicht nur das untere Segment vorgesehen, sondern auch das obere Segment wird an der Fensterscheibe in dem oberen Teil des Fahrzeugs vorgesehen. Dies gestattet eine klare Erfassung der lateralen Position des Fahrzeugs, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich in zuverlässigerer Weise erzielen.
  • Vorzugsweise unterteilen die Lateralpositions-Erfassungseinrichtungen die Region in das untere Segment und das übrige Segment oder in das untere Segment, das obere Segment und das übrige Segment auf der Basis eines vertikalen proportionalen Anteils sowie der Anzahl von Segmenten, die gemäß einer aktuell oder zuvor erfaßten Formgebung des Fahrzeugs vorgegeben werden.
  • Wenn die Region in diesem Fall in das untere Segment und das übrige Segment oder in das untere Segment, das obere Segment und das übrige Segment unterteilt wird, wird der Anteil für die Unterteilung in Vertikalrichtung vorab vorgegeben. Dies erlaubt ein Vorgeben des unteren Segments usw. an den geeigneten Positionen, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich in zuverlässigerer Weise erzielen.
  • Während eine Fensterscheibe in dem oberen Teil des Fahrzeugs in dem aufgenommenen Bild vorhanden ist, wenn es sich bei dem Fahrzeug um ein Auto handelt, ist dies nicht der Fall, wenn es sich bei dem Fahrzeug um einen Lastkraftwagen oder einen Kipper, betrachtet von der Rückseite des Fahrzeugs, handelt. Anhand der Formgebung des aktuell oder zuvor erfaßten Fahrzeugs kann in gewissem Ausmaß spezifiziert werden, ob es sich bei dem Fahrzeug um einen Pkw oder einen Lkw handelt oder nicht.
  • Wenn die Anzahl der Segmente in Abhängigkeit von der Formgebung des Fahrzeugs vorgegeben wird und eine Unterteilung auf der Basis der Anzahl stattfindet, können somit das untere Segment usw. an den korrekten Positionen vorgegeben werden, und die Region kann korrekt unterteilt werden. Infolgedessen können die vorstehend beschriebenen Vorteile der vorliegenden Erfindung zuverlässig erzielt werden.
  • Vorzugsweise bestimmen die Lateralpositions-Erfassungseinrichtungen beim Unterteilen der Region in die Segmente einen vertikalen proportionalen Anteil zum Unterteilen der Region und der durch Division ermittelten Anzahl von Segmenten auf der Basis einer Verteilung der Helligkeiten von Pixeln, die zu einer in Vertikalrichtung der Region verlaufenden Pixelspalte gehören und eine Breite aufweisen, die gleich einem Pixel oder einer vorbestimmten Anzahl von Pixeln ist.
  • In diesem Fall wird eine Verteilung der Helligkeiten der Pixel in einer von dem oberen Ende bis zu dem unteren Ende der Region verlaufenden Pixelspalte erfaßt, und der vertikale Anteil zum Unterteilen der Region sowie die Anzahl von Segmenten werden folgendermaßen bestimmt: Ein Pixelbereich in dem unteren Teil der Pixelspalte, der eine geringe Helligkeit aufweist und in dem der Wahrscheinlichkeit nach ein Bereich des Fahrzeugs enthalten ist, der durch einen Reifen oder die Fahrzeugkarosserie, wie z. B. den Fahrzeugunterbau, unterhalb des Stoßfängers verdeckt ist, wird als unteres Segment vorgegeben. Ein Pixelbereich in dem oberen Teil der Pixelspalte, der eine geringe Helligkeit aufweist und in dem der Wahrscheinlichkeit nach ein Bild einer Fensterscheibe enthalten ist, wird als oberes Segment vorgegeben. Der restliche Bereich wird als übriges Segment vorgegeben.
  • Dies ermöglicht eine exakte Erfassung der lateralen Position des Fahrzeugs auf der Basis der Absolutwerte von Differenzen in der durchschnittlichen Helligkeit in den Segmenten. Aus diesem Grund können die lateralen Positionen des Fahrzeugs, wie z. B. die eines vorausfahrenden Fahrzeugs, aus dem aufgenommenen Bild exakter und zuverlässiger erfaßt werden, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich in zuverlässigerer Weise erzielen.
  • Vorzugsweise greifen die Lateralpositions-Erfassungseinrichtungen von den Lateralpositions-Erfassungseinrichtungen erfaßte rechte und linke laterale Positionen des Fahrzeugs oder von der Fahrzeugerfassungseinrichtung oder einem Sensor erfaßte rechte und linke laterale Positionen auf. Die aufgegriffenen Positionen liefern eine laterale Breite des Fahrzeugs, die näher bei einer zuvor erfaßten lateralen Breite des Fahrzeugs ist.
  • In diesem Fall werden von den von den Lateralpositions-Erfassungseinrichtungen erfaßten rechten und linken lateralen Positionen des Fahrzeugs oder den von der Fahrzeugerfassungseinrichtung oder einem Sensor erfaßten rechten und linken lateralen Positionen diejenigen lateralen Positionen aufgegriffen, die eine laterale Breite liefern, die näher bei der zuvor erfaßten lateralen Breite des Fahrzeugs liegt. Somit können die rechte und die linke laterale Position des Fahrzeugs, die die tatsächlichen lateralen Breite des Fahrzeugs entsprechen, erfaßt werden, und die vorstehend beschriebenen Vorteile lassen sich in zuverlässigerer Weise erzielen.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • In den Zeichnungen zeigen:
  • 1 ein Blockdiagramm zur Erläuterung einer Konfiguration eines Fahrzeugabtastsystems gemäß einem Ausführungsbeispiel;
  • 2 ein Beispiel eines Referenzbildes;
  • 3 ein Distanzbild, das auf der Basis des in 2 gezeigten Referenzbildes berechnet wird;
  • 4 eine Darstellung, die durch Auftragen von Distanzen von Objekten in Segmenten im realen Raum gebildet ist;
  • 5 eine Darstellung von Objekten, die durch lineare Approximation von in 4 gezeigten Punkten gebildet wird;
  • 6 eine Darstellung von Objekten und eines vorausfahrenden Fahrzeugs, die erfaßt werden und von Rahmen in dem Referenzbild umgeben sind;
  • 7 eine Darstellung eines Bewegungsortes und einer Bewegungsbahn eines betreffenden Fahrzeugs und eines vorausfahrenden Fahrzeugs im realen Raum;
  • 8 ein Flußdiagramm zur Erläuterung eines Ablaufs, wie er von dem Fahrzeugabtastsystem gemäß dem Ausführungsbeispiel ausgeführt wird;
  • 9 ein Beispiel eines Referenzbildes;
  • 10 eine Darstellung zur Erläuterung von einer Region und Segmenten, die in dem in 9 dargestellten Referenzbild vorgegeben sind;
  • 11 eine Darstellung zur Erläuterung von Pixelspalten, die in Vertikalrichtung der Segmente verlaufen, sowie der durchschnittlichen Helligkeiten der Pixel;
  • 12A eine graphische Darstellung zur Erläuterung der durchschnittlichen Helligkeit eines oberen Segments in 11,
  • 12B eine graphische Darstellung zur Erläuterung der durchschnittlichen Helligkeit eines mittleren Segments, und
  • 12C eine graphische Darstellung zur Erläuterung der durchschnittlichen Helligkeit eines unteren Segments;
  • 13A eine graphische Darstellung zur Erläuterung einer Differenz in der durchschnittlichen Helligkeit des oberen Segments in 11,
  • 13B eine graphische Darstellung zur Erläuterung einer Differenz in der durchschnittlichen Helligkeit des mittleren Segments, und
  • 13C eine graphische Darstellung zur Erläuterung einer Differenz in der durchschnittlichen Helligkeit des unteren Segments;
  • 14A eine graphische Darstellung zur Erläuterung der Summe von Absolutwerten der Differenzen in den 13A bis 13C, und
  • 14B eine Darstellung zur Erläuterung von rechten und linken lateralen Positionen eines erfaßten vorausfahrenden Fahrzeugs;
  • 15A eine graphische Darstellung auf der Basis von Parallaxen in einem normalen Fall, und
  • 15B eine graphische Darstellung auf der Basis von Parallaxen in einem Fall, in dem das vorausfahrende Fahrzeug in integraler Weise mit einer Hecke erfaßt wird;
  • 16 ein Beispiel eines aufgenommenen Referenzbildes, in dem das vorausfahrende Fahrzeug und die Hecke nahe beieinander vorhanden sind; und
  • 17 eine Darstellung einer in Vertikalrichtung verlaufenden Pixelspalte, die in einer Region vorgegeben ist, gemäß einer Modifikation eines Fahrzeugabtastsystems.
  • BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
  • Ein Fahrzeugabtastsystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung wird im folgenden unter Bezugnahme auf die Zeichnungen beschrieben.
  • Während bei dem vorliegenden Ausführungsbeispiel Stereobilder von zwei Kameras aufgenommen werden, die als Bildaufnahmeeinrichtung 2 dienen, kann die Bildaufnahmeeinrichtung 2 von einer Einzelkamera oder drei oder mehr Kameras gebildet sein. Ferner ist die Ausbildung einer im folgenden beschriebenen Fahrzeugerfassungseinrichtung 11 nicht auf eine bei dem Ausführungsbeispiel verwendete Ausbildung beschränkt, solange die Fahrzeugerfassungseinrichtung 11 ein Fahrzeug, wie z. B. ein vorausfahrendes Fahrzeug, aus einem aufgenommenen Bild erfassen kann.
  • Wie unter Bezugnahme auf 1 ersichtlich, beinhaltet ein Fahrzeugabtastsystem 1 gemäß dem Ausführungsbeispiel in erster Linie eine Positionsinformations-Sammeleinrichtung 9 und eine Erfassungseinrichtung 10. Die Positionsinformations-Sammeleinrichtung 9 beinhaltet eine Bildaufnahmeeinrichtung 2, eine Wandlereinrichtung 3 und eine Bildverarbeitungseinrichtung 6 usw., und die Erfassungseinrichtung 10 beinhaltet eine Fahrzeugerfassungseinrichtung 11 und eine Lateralpositions-Erfassungseinrichtung 12.
  • Die Positionsinformations-Sammeleinrichtung 9 beinhaltet die Bildaufnahmeeinrichtung 2 zum Aufnehmen von Bildern von der Umgebung eines betreffenden Fahrzeugs. Die Positionsinformations-Sammeleinrichtung 9 nimmt Bilder von Objekten um das betreffende Fahrzeug herum auf und sammelt Information über die Positionen der Objekte im realen Raum, einschließlich der Distanzen von dem betreffenden Fahrzeug zu den Objekten.
  • Bei dem vorliegenden Ausführungsbeispiel basiert die Positionsinformations-Sammeleinrichtung 9 auf ein Fahrzeugabtastsystem usw. gemäß der Offenbarung in den ungeprüften japanischen Patentanmeldungsveröffentlichungen JP-A-5-114 099 , JP-A-5-265 547 , JP-A-6-266 828 , JP-A-10-283 461 , JP-A-10-283 477 und JP-A-2006-072 495 , die von der vorliegenden Anmelderin zu einem früheren Zeitpunkt eingereicht worden sind. Daher wird die Positionsinformations-Sammeleinrichtung 9 im folgenden nur kurz erläutert.
  • Bei der Positionsinformations-Sammeleinrichtung 9, wie sie in 1 gezeigt ist, werden ein Paar Bilder von der Umgebung eines betreffenden Fahrzeugs von der Bildaufnahmeeinrichtung 2 aufgenommen, die eine Hauptkamera 2a und eine Zusatzkamera 2b beinhaltet, die durch CCD-Kamera gebildet sind. Die Hauptkamera 2a und die Zusatzkamera 2b sind mit einer feststehenden Beabstandung voneinander in Fahrzeugbreitenrichtung angeordnet.
  • Die aufgenommenen Bilder werden von in der Wandlereinrichtung 3 vorgesehenen A/D-Wandlern 3a und 3b in digitale Bilder umwandelt und mittels einer Bildkorrektureinheit 4 einer Bildkorrektur unterzogen, bei der zum Beispiel Verzerrungen und Rauschen eliminiert werden sowie die Helligkeit korrigiert wird. Die korrigierten Bilder werden in einem Bilddatenspeicher 5 gespeichert und zu der Erfassungseinrichtung 10 übertragen.
  • Nach der Bildkorrektur werden die aufgenommenen Bilder ferner zu der Bildverarbeitungseinrichtung 6 übertragen. Durch einen Bildprozessor 7 wird ein von der Hauptkamera 2a aufgenommenes Bild, wie es in 2 gezeigt ist (und das im folgenden als Referenzbild T bezeichnet wird) in eine Vielzahl von Pixelblöcken unterteilt.
  • Den Pixelblöcken entsprechend werden Pixelblöcke eines von der Zusatzkamera 2a aufgenommenen Bildes durch Stereoabgleich ermittelt, und es wird eine Parallaxe für jeden Pixelblock berechnet. Die Berechnung der Parallaxe ist in den vorstehend genannten Veröffentlichungen ausführlich beschrieben.
  • Die Parallaxe kann mit der Position im realen Raum nach dem Triangulationsprinzip korreliert werden. Insbesondere weisen ein Punkt (X, Y, Z) im realen Raum, eine Parallaxe dp und die Koordinaten (i, j) des Pixelblocks in dem Referenzbild T eine Beziehung auf, wie sie durch die nachfolgenden Ausdrücke veranschaulicht wird: X = CD/2 + Z × PW × (i – IV) (1) Y = CH + Z × PW × (j – JV) (2) Z = CD/(PW × (dp – DP)) (3);dabei wird ein Punkt auf der Straßenoberfläche unmittelbar unter dem Mittelpunkt zwischen der Hauptkamera 2a und der Zusatzkamera 2b als Null- bzw. Ausgangspunkt bezeichnet, die X-Achse stellt die Breitenrichtung, d. h. die Querrichtung, des betreffenden Fahrzeugs dar, die Y-Achse stellt die Richtung der Fahrzeughöhe dar, und die Z-Achse stellt die Fahrzeuglängsrichtung, d. h. die Distanzrichtung dar.
  • Dabei stellt CD die Distanz zwischen der Hauptkamera 2a und der Zusatzkamera 2b dar, PW stellt den Betrachtungswinkel für ein Pixel dar, CH stellt die Montagehöhe der Hauptkamera 2a und der Zusatzkamera 2b dar, IV und JV stellen die Koordinaten i bzw. j des Unendlichkeitspunktes vor dem betreffenden Fahrzeug dar, und DP stellt den Offset-Betrag dar, der auch als Fluchtpunkt-Parallaxe bezeichnet wird.
  • Die Bildverarbeitungseinrichtung 6 nimmt eine Zuordnung von Parallaxen dp zu den Pixelblöcken in dem Referenzbild T vor, speichert die Parallaxen dp in einem Distanzdatenspeicher 8 und überträgt Information über die Parallaxen dp zu der Erfassungseinrichtung 10.
  • Im folgenden wird ein Bild, das durch die Pixelblöcke mit den zugeordneten Parallaxen dp in dem Referenzbild T gebildet wird, als Distanzbild Tz bezeichnet. Bei dem Distanzbild Tz handelt es sich um bildartige Daten, bei denen die Parallaxe dp jeweils Pixelblöcken zugeordnet sind, wie dies in 3 gezeigt ist.
  • Das Verfahren zum Sammeln von Positionsinformation hinsichtlich Objekten ist nicht auf ein spezielles Verfahren beschränkt. Zusätzlich zu dem bei dem vorliegenden Ausführungsbeispiel aufgegriffenen Verfahren kann z. B. auch die Distanz Z zwischen dem betreffenden Fahrzeug und dem vorausfahrenden Fahrzeug mittels eines Radargeräts gemessen werden, bei dem die Distanz Z zu einem Objekt auf der Basis von Information über reflektiertes Licht von Laserlicht oder Infrarotlicht gemessen wird, das auf die Vorderseite des betreffenden Fahrzeugs auftrifft.
  • Wie in 1 gezeigt, weist die Erfassungseinrichtung 10 die Fahrzeugerfassungseinrichtung 11 und die Lateralpositions-Fahrzeugerfassungseinrichtung 12 auf. Weiterhin besitzt die Erfassungseinrichtung 10 auch einen Speicher (nicht gezeigt). Erforderliche Daten werden von Sensoren Q in die Einrichtungen in der Erfassungseinrichtung 10 eingegeben.
  • Die Fahrzeugerfassungseinrichtung 11 erfaßt Objekte aus dem von der Bildaufnahmeeinrichtung 2 aufgenommenen Referenzbild T und erfaßt ein Fahrzeug, wie z. B. ein vorausfahrendes Fahrzeug, aus den erfaßten Objekten. Bei dem vorliegenden Ausführungsbeispiel hat die Fahrzeugerfassungseinrichtung 11 somit die Funktion einer Objekterfassungseinrichtung zum Erfassen von Objekten, die um das betreffende Fahrzeug herum vorhanden sind, aus dem Referenzbild T. Information über ein Fahrzeug, wie z. B. ein vorausfahrendes Fahrzeug, sowie über Objekte, die von der Fahrzeugerfassungseinrichtung 11 erfaßt werden, wird von dem Fahrzeugabtastsystem 1 zur Verwendung in anderen Vorrichtungen abgegeben.
  • Bei dem vorliegenden Ausführungsbeispiel basiert eine Arbeitsweise der Fahrzeugerfassungseinrichtung 11 zum Erfassen von Objekten aus dem Referenzbild T auf den in den vorstehend genannten Veröffentlichungen offenbarten Fahrzeugumgebungs-Überwachungsvorrichtungen usw. Daher wird die Arbeitsweise im folgenden nur kurz erläutert.
  • Bei dem Objekterfassungsvorgang unterteilt die Fahrzeugerfassungseinrichtung 11 ein in 3 gezeigtes Distanzbild Tz in vertikale Streifensegmente, von denen jedes eine vorbestimmte Breite aufweist. Die Fahrzeugerfassungseinrichtung 11 bildet ein Histogramm bezüglich Parallaxen dp, die über der Straßenoberfläche vorhanden sind, aus Parallaxen, die in jedem Segment enthalten sind, und gibt den Modus des Histogramms als Parallaxe dp des Segments vor.
  • Dieser Vorgang wird für alle Segmente ausgeführt. Während somit bei dem vorliegenden Ausführungsbeispiel nur oberhalb der Straßenoberfläche vorhandene Objekte erfaßt werden, ist es möglich, auf der Straßenoberfläche vorhandene Markierungen, wie z. B. Fahrspurmarkierungen, gleichzeitig oder separat zu erfassen.
  • Die Fahrzeugerfassungseinrichtung 11 berechnet dann die Koordinaten (X, Y, Z) von Objekten im realen Raum auf der Basis der Parallaxen dp der Segmente gemäß den vorstehend genannten Ausdrücken (1) bis (3). Wenn die berechneten Koordinaten der Objekte im realen Raum aufgetragen werden, werden sie als Punkte mit gewissen Abweichungen in Bereichen von dem betreffenden Fahrzeug A zugewandt gegenüberliegenden vorderen Objekten aufgetragen, wie dies in 4 gezeigt ist.
  • Die Fahrzeugerfassungseinrichtung 11 sucht nach den Distanzen von den aufgetragenen Punkten zu den benachbarten Punkten in der X-Achsen- und der Z-Achsen-Richtung im realen Raum sowie nach der Gesamtlänge in der X-Achsen-Richtung zwischen dem äußersten linken Punkt und dem äußersten rechten Punkt in einer Gruppe, in die die Punkte eingeteilt sind.
  • Anschließend klassifiziert die Fahrzeugerfassungseinrichtung 11 Punkte mit Werten innerhalb vorgegebener Schwellenwertbereiche in Gruppen und unterzieht die Punkte in den Gruppen einer linearen Approximation, um somit Objekte zu erfassen, wie dies in 5 gezeigt ist.
  • Bei dem vorliegenden Ausführungsbeispiel werden die auf diese Weise von der Fahrzeugerfassungseinrichtung 11 erfaßten Objekte in dem Referenzbild T mit rechteckigen Rahmen umgeben, wie dies in 6 gezeigt ist. In den 5 und 6 beziehen sich Bezeichnungen O und S auf die Arten von Flächen der Objekte, die dem betreffenden Fahrzeug A zugewandt sind. Dabei zeigt die Bezeichnung O an, daß eine Rückseite eines Objekts erfaßt worden ist, und die Bezeichnung S zeigt an, daß eine Seitenfläche des Objekts erfaßt worden ist.
  • Bei der Fahrzeugerfassung berechnet die Fahrzeugerfassungseinrichtung 11 dann die Geschwindigkeiten im realen Raum anhand von Information über die Distanzen Z der erfaßten Objekte, und sie stellt fest, ob es sich bei den Objekten um Fahrzeuge handelt und erfaßt somit Fahrzeuge aus den erfaßten Objekten.
  • Bei der Erfassung eines vorausfahrenden Fahrzeugs schätzt die Fahrzeugerfassungseinrichtung 11 zuerst als einen Bewegungsort Lest einen Ort, den das betreffende Fahrzeug A während der weiteren Fahrt einnimmt, auf der Basis des Verhaltens des betreffenden Fahrzeugs A, wie dies in 7 gezeigt ist. Anschließend berechnet die Fahrzeugerfassungseinrichtung 11 als Bewegungsweg Rest des betreffenden Fahrzeugs A einen Bereich, der eine Breite gleich der Breite des betreffenden Fahrzeugs A hat und der den Bewegungsort Lest in seinem Zentrum aufweist.
  • Der Bewegungsort Lest des betreffenden Fahrzeugs A kann aus der Kurvenkrümmung Cua des betreffenden Fahrzeugs A berechnet werden. Die Kurvenkrümmung Cua wird gemäß dem nachfolgenden Ausdruck (4) oder den nachfolgenden Ausdrücken (5) und (6) auf der Basis der Fahrzeuggeschwindigkeit V des betreffenden Fahrzeugs A, der Gierrate γ und dem Lenkwinkel δ des Lenkrads usw. berechnet: Cua = γ/V (4) Re = (1 + Asf·V2)·(Lwb/δ) (5) Cua = 1/Re (6)
  • Dabei bezeichnet Re den Kurvenradius, Asf stellt den Stabilitätsfaktor des Fahrzeugs dar, und Lwb stellt den Radstand dar.
  • Die Fahrzeugerfassungseinrichtung 11 erfaßt als vorausfahrendes Fahrzeug Vah, das vor dem betreffenden Fahrzeug A fährt, ein dem betreffenden Fahrzeug A am nächsten befindliches Fahrzeug aus den Fahrzeugen, die auf dem Bewegungsweg Rest des betreffenden Fahrzeugs A vorhanden sind. Beispielsweise wird in den 6 und 7 ein Fahrzeug O3 als vorausfahrendes Fahrzeug Vah erfaßt.
  • Bei dem vorliegenden Ausführungsbeispiel verfolgt die Fahrzeugerfassungseinrichtung 11 das vorausfahrende Fahrzeug in beständiger Weise durch Berechnen der Wahrscheinlichkeit, daß es sich bei dem in der vorherigen Abtastperiode erfaßten vorausfahrenden Fahrzeug und dem in der aktuellen Abtastperiode als vorausfahrendes Fahrzeug erfaßten Fahrzeug um das gleiche dreidimensionale Objekt handelt.
  • Außerdem kann die Fahrzeugerfassungseinrichtung 11 einen Wechsel zwischen vorausfahrenden Fahrzeugen erfassen, beispielsweise wenn ein erfaßtes vorausfahrendes Fahrzeug Vah vor dem betreffenden Fahrzeug A seine Position verläßt und ein vor dem erfaßten vorausfahrenden Fahrzeug befindliches Fahrzeug zu dem neuen vorausfahrenden Fahrzeug wird, oder wenn ein anderes Fahrzeug zwischen dem betreffenden Fahrzeug A und dem vorausfahrenden Fahrzeug einschert und dadurch zu einem neuen vorausfahrenden Fahrzeug wird.
  • Wenn in der aktuellen Abtastperiode kein vorausfahrendes Fahrzeug erfaßt wird, schätzt die Fahrzeugerfassungseinrichtung 11 die Position eines vorausfahrenden Fahrzeugs in der aktuellen Abtastperiode auf der Basis der Position und der Geschwindigkeit des in der vorherigen Abtastperiode erfaßten vorausfahrenden Fahrzeugs im realen Raum und fährt dann mit der Verfolgung des vorausfahrenden Fahrzeugs fort.
  • Die Fahrzeugerfassungseinrichtung 11 speichert Information über die Koordinaten der im realen Raum vorhandenen rechten und linken lateralen Positionen der Objekte, Fahrzeuge und des erfaßten vorausfahrenden Fahrzeugs in dem Speicher, wie dies vorstehend beschrieben worden ist. Zumindest im Hinblick auf das vorausfahrende Fahr zeug Vah berechnet die Fahrzeugerfassungseinrichtung 11 die laterale Breite des vorausfahrenden Fahrzeugs Vah aus den Koordinaten der rechten und linken lateralen Positionen im realen Raum und speichert die laterale Breite in dem Speicher als laterale Breite Wtznew, die auf der Basis des Distanzbildes Tz bei der aktuellen Erfassung erfaßt worden ist.
  • Die lateralen Breiten von anderen Objekten und Fahrzeugen können ebenfalls berechnet werden. Wie vorstehend beschrieben worden ist, wird Information über die Objekte und Fahrzeuge einschließlich des vorausfahrenden Fahrzeugs Vah nach Bedarf abgegeben.
  • Separat von den rechten und linken lateralen Positionen und den lateralen Breiten Wtznew der Fahrzeuge und des vorausfahrenden Fahrzeugs Vah, wie diese in der vorstehend beschriebenen Weise von der Fahrzeugerfassungseinrichtung 11 erfaßt worden sind, erfaßt die Lateralpositions-Erfassungseinrichtung 12 rechte und linke laterale Positionen und laterale Breiten des Fahrzeuge und des vorausfahrenden Fahrzeugs Vah auf der Basis der Helligkeiten der Pixel in dem Referenzbild T.
  • Während laterale Positionen von Fahrzeugen, bei denen es sich nicht um das vorausfahrende Fahrzeug Vah handelt, nach Bedarf erfaßt werden, wird im folgenden ein Fall beschrieben, in dem laterale Positionen und die laterale Breite des vorausfahrenden Fahrzeugs Vah erfaßt werden. Im folgenden wird eine laterale Breite des vorausfahrenden Fahrzeugs Vah, die von der Lateralpositions-Erfassungseinrichtung 12 erfaßt wird, als laterale Breite Wtnew bezeichnet, da die laterale Breite auf der Basis des Referenzbildes T erfaßt wird.
  • Das Fahrzeugabtastsystem 1, das die Lateralpositions-Erfassungseinrichtung 12 beinhaltet, führt einen Vorgang gemäß einem in 12 dargestellten Flußdiagramm aus. Die Steuerung durch die Lateralpositions-Erfassungseinrichtung 12 wird im folgenden unter Bezugnahme auf das in 8 dargestellte Flußdiagramm beschrieben. Darüber hinaus wird die Arbeitsweise des Fahrzeugabtastsystems 1 gemäß dem Ausführungsbeispiel beschrieben.
  • In dem Fahrzeugabtastsystem 1 wird zuerst ein Paar Bilder der Umgebung des betreffenden Fahrzeugs A, welche ein Referenzbild T beinhalten, von der Bildaufnahmeeinrichtung 2, die die Hauptkamera 2a und die Zusatzkamera 2b beinhaltet, in der Positionsinformations-Sammeleinrichtung 9 aufgenommen, wie dies vorstehend beschrieben worden ist (Schritt S1). Die aufgenommenen Bilder werden durch den Bildprozessor 7 in der Bildverarbeitungseinrichtung 6 einem Stereoabgleich unterzogen, um auf diese Weise ein Distanzbild Tz zu bilden (Schritt S2).
  • Objekte werden durch Gruppieren von Distanzdaten hinsichtlich der Fahrzeugerfassungseinrichtung 11 der Erfassungseinrichtung 10 erfaßt (Schritt S3), und Fahrzeuge sowie ein vorausfahrendes Fahrzeug Vah werden aus den erfaßten Objekten erfaßt. Eine laterale Breite Wtznew des vorausfahrenden Fahrzeugs Vah wird auf der Basis des Distanzbildes Tz erfaßt und wird in dem Speicher gespeichert (Schritt S4).
  • Anschließend erfaßt die Lateralpositions-Erfassungseinrichtung 12 rechte und linke laterale Positionen und laterale Breiten Wtnew der Fahrzeuge und des vorausfahrenden Fahrzeugs Vah in dem Referenzbild T auf der Basis der Helligkeiten der Pixel in dem Referenzbild T.
  • In einem in 9 gezeigten Referenzbild T z. B. gibt die Lateralpositions-Erfassungseinrichtung 12 zuerst eine in 10 gezeigte Region R in einem Bereich des Referenzbildes T vor, in dem ein Bild des vorausfahrenden Fahrzeugs Vah enthalten ist oder der Wahrscheinlichkeit nach enthalten ist (Schritt S5 in 8). Die Region R wird als Region vorgegeben, die das vorausfahrende Fahrzeug Va beinhaltet und die sich von dem vorausfahrenden Fahrzeug Vah nach rechts und nach links erstreckt.
  • Die Region R kann dadurch vorgegeben werden, daß man einen Rahmen (vgl. 6), der das in dem Referenzbild T in der aktuellen Abtastperiode erfaßte vorausfahrende Fahrzeug Vah umgibt, um eine vorbestimmte Anzahl von Pixeln in dem Referenzbild T nach rechts und nach links erweitert.
  • Jedoch ist es manchmal unmöglich, ein vorausfahrendes Fahrzeug Vah in der aktuellen Abtastperiode zu erfassen, wie dies vorstehend beschrieben worden ist. Aus diesem Grund wird bei dem vorliegenden Ausführungsbeispiel die Region R in der aktuellen Abtastperiode auf der Basis der im realen Raum vorhandenen Position des vorausfahrenden Fahrzeugs Vah vorgegeben, die in der vorherigen Abtastperiode erfaßt worden ist.
  • Insbesondere gibt die Lateralpositions-Erfassungseinrichtung 12 einen Rahmen in einem Bildbereich des Referenzbildes T vor, in dem wahrscheinlich ein Bild des vorausfahrenden Fahrzeugs Vah in der aktuellen Abtastperiode aufgenommen ist, auf der Basis der in der vorherigen Abtastperiode erfaßten, im realen Raum vorhandenen Position des vorausfahrenden Fahrzeugs Vah, der relativen Geschwindigkeit zwischen dem betreffenden Fahrzeug und dem vorausfahrenden Fahrzeug Vah sowie der Gierrate des betreffenden Fahrzeugs vor.
  • Die Lateralpositions-Erfassungseinrichtung 12 erweitert dann den Rahmen nach rechts und nach links um eine vorbestimmte Anzahl von Pixeln in dem Referenzbild T, um auf diese Weise eine Region R vorzugeben.
  • Bei dem vorliegenden Ausführungsbeispiel ist die Region R in Vertikalrichtung in drei Segmente unterteilt, nämlich ein oberes Segment R1, ein unteres Segment R2 sowie das übrige Segment R3 (das im folgenden als mittleres Segment R3 bezeichnet wird), wie dies in 10 gezeigt ist,
  • Bei der vorliegenden Erfindung ist unter "in Vertikalrichtung unterteilt" zu verstehen, daß das obere Segment R1, das untere Segment R2 und das mittlere Segment R3, die in Horizontalrichtung verlaufen, derart angeordnet sind, daß sie einander in Vertikalrichtung benachbart sind, wie dies in 10 gezeigt ist.
  • Von den Segmenten ist das untere Segment R2 in einem Bildbereich vorgegeben, der der Wahrscheinlichkeit nach einen Bereich einer rückwärtigen Oberfläche des vorausfahrenden Fahrzeugs Vah beinhaltet, der durch Reifen unter einem Stoßfänger oder die Fahrzeugkarosserie, wie einen Unterbau, verdeckt ist.
  • Das obere Segment R1 ist in einem Bildbereich vorgegeben, der der Wahrscheinlichkeit nach ein Bild der Heckscheibe des vorausfahrenden Fahrzeugs Vah beinhaltet. Wenn es sich bei dem Fahrzeug um einen entgegenkommendes Fahrzeug handelt, wird das obere Segment R1 in einem Bildbereich vorgegeben, der der Wahrscheinlichkeit nach ein Bild von der Frontscheibe des entgegenkommenden Fahrzeugs beinhaltet. Das mittlere Segment R3 ist in einem zwischen dem oberen Segment R1 und den unteren Segment R2 befindlichen Bildbereich vorgegeben, der der Wahrscheinlichkeit nach Bilder von Heckscheinwerfern, einem Stoßfänger und einem Nummernschild des vorausfahrenden Fahrzeugs Vah beinhaltet.
  • Die Lateralpositions-Erfassungseinrichtung gibt die Region R vor und gibt ferner das obere Segment R1, das untere Segment R2 und das mittlere Segment R3 durch Unterteilen der vertikalen Länge der Region R auf der Basis einer vorbestimmten Proportion vor.
  • Bei dem vorliegenden Ausführungsbeispiel ist diese Proportion nicht von der Art des vorausfahrenden Fahrzeugs Vah abhängig, wie z. B. davon, ob es sich bei dem vorausfahrenden Fahrzeug Vah um eine Limousine, ein Coupé oder eine Großraumlimousine handelt oder ob das vorausfahrende Fahrzeug Vah ein Lastkraftwagen, ein Kipper oder ein Bus ist.
  • Das Verhältnis der Unterteilung der Region R kann jedoch vorab in Abhängigkeit von der Art des vorausfahrenden Fahrzeugs Vah vorgegeben werden, die auf der Basis der Formgebung und der Größe festgestellt wird, welche anhand der Distanz Z von dem betreffenden Fahrzeug und der lateralen Breite des vorausfahrenden Fahrzeugs Vah erfaßt werden.
  • Wenn anhand der Formgebung des vorausfahrenden Fahrzeugs Vah die Feststellung getroffen wird, daß es sich bei dem vorausfahrenden Fahrzeug Vah um einen Lastwagen oder einen Kipper handelt, wird kein Bild von der Fensterscheibe (Heckscheibe) aufgenommen, und das untere Segment R2 nicht einen relativ großen Anteil ein. Anstatt einer Unterteilung in drei Segmente, wie bei dem vorliegenden Ausführungsbeispiel, kann somit die Region R auch in zwei Segmente, nämlich ein oberes Segment R1 und ein unteres Segment R2, unterteilt werden.
  • Nachdem die Lateralpositions-Erfassungseinrichtung 12 die Region R sowie das obere Segment R1, das untere Segment R2 und das mittlere Segment R3 vorgegeben hat, berechnet sie den Durchschnittswert p(n, i) der Helligkeiten P (durchschnittliche Helligkeit) der zu einer Pixelspalte zugehörigen Pixel, die eine Breite gleich der Breite von einem Pixel aufweist und in Vertikalrichtung von jedem Segment Rn (n = 1, 2, 3) verläuft, wie dies in 11 gezeigt ist (Schritt S6 in 8). Dabei stellt i die i-Koordinate jeder Pixelspalte in dem Referenzbild T dar.
  • Mit anderen Worten, es wird z. B. die Summe der Helligkeiten p von allen Pixeln, die zu einer in Vertikalrichtung verlaufenden Pixelspalte in dem in 11 gezeigten oberen Segment gehören, durch die Anzahl der Pixel in der Pixelspalte dividiert, um auf diese Weise die durchschnittliche Helligkeit p(1, i)ave zu berechnen.
  • Anschließend wird die Pixelspalte um ein Pixel nach rechts verlagert, und es wird die durchschnittliche Helligkeit p(1, i + 1)ave der nächsten Pixelspalte berechnet. Unter Verlagerung der Pixelspalte in dieser Weise wird die durchschnittliche Helligkeit p(1, i)ave jeder Pixelspalte berechnet.
  • In ähnlicher Weise werden die durchschnittlichen Helligkeiten p(2, i)ave und p(3, i)ave des unteren Segments R2 und des mittleren Segments R3 berechnet. Die durchschnittliche Helligkeit der Pixel kann auch für jede Pixelspalte mit einer vorbestimmten Breite berechnet werden, die größer ist als die Breite von einem Pixel und die in dem Segment Rn in Vertikalrichtung verläuft.
  • Die 12A, 12B und 12C veranschaulichen die jeweiligen durchschnittlichen Helligkeiten p(n, i)ave, die für die Segmente Rn der in 11 gezeigten Region in der vorstehend beschriebenen Weise berechnet worden sind. In den 12A, 12B und 12C ist die für jedes Segment Rn berechnete durchschnittliche Helligkeit p(n, i)ave teilweise dargestellt.
  • In dem in 12A gezeigten oberen Segment R1 sind Bilder von Säulen, die neben der Heckscheibe des vorausfahrenden Fahrzeugs Vah vorhanden sind, weiß und hell, und die durchschnittlichen Helligkeiten p(1, i)ave der den Säulen entsprechenden Bildbereiche sind höher als die Werte von den anderen Bereichen. In dem in 12B gezeigten mittleren Segment R3 ist ein der rückwärtigen Oberfläche des vorausfahrenden Fahrzeugs Vah entsprechender Bildbereich dunkel, und die durchschnittliche Helligkeit p(3, i)ave von diesem ist geringfügig niedriger als die Werte der übrigen Bereiche.
  • In dem in 12C dargestellten unteren Segment R2 sind Bilder von Bereichen, die durch die Reifen unter dem Stoßfänger und der Fahrzeugkarosserie, wie dem Unterbau, des vorausfahrenden Fahrzeugs Vah verdeckt sind, dunkel, und die durchschnittlichen Helligkeiten p(2, i)ave der entsprechenden Bildbereiche sind niedriger als die Werte der übrigen Bereiche.
  • Somit zeichnet sich zumindest das untere Segment R2 dadurch aus, daß Bilder von von der Karosserie des Fahrzeugs verdeckten Bereichen dunkler sind als die anderen Bereiche, und die durchschnittlichen Helligkeiten p(2, i)ave der Bereiche sind extrem niedriger als die Werte von den übrigen Bereichen.
  • Anschließend berechnet die Lateralpositions-Erfassungseinrichtung 12 eine Differenz Δp(n, i) zwischen der durchschnittlichen Helligkeit p(n, i)ave von jeder Pixelspalte und der durchschnittlichen Helligkeit p(n, i – 1) einer in der lateralen Richtung in jedem Segment Rn benachbarten Pixelspalte (Schritt S7 in 8). Die Differenz Δp(n, i) zwischen den durchschnittlichen Helligkeiten p(n, i)ave der benachbarten Pixelspalten entspricht einer sogenannten lateralen Randstärke des Referenzbildes T.
  • Insbesondere werden dann die Differenzen Δp(n, i) zwischen den durchschnittlichen Helligkeiten p(n, i)ave der in den 12A, 12B und 12C gezeigten Pixelspalten und den durchschnittlichen Helligkeiten p(n, i – 1) der benachbarten Pixelspalten in jedem Segment Rn berechnet, wie dies in den 13A, 13B und 13C gezeigt ist.
  • Als nächstes berechnet die Lateralpositions-Erfassungseinrichtung 12 die Absolutwerte der auf diese Weise für jedes Segment berechneten Differenzen Δp(n, i) (Schritt S8 in 8). Bei dem vorliegenden Ausführungsbeispiel addiert die Lateralpositions-Erfassungseinrichtung 12 die Absolutwerte der Differenzen Δp(n, i) der Pixelspalten in den Segmenten Rn mit der gleichen lateralen i-Koordinate in dem Referenzbild T gemäß dem nachfolgenden Ausdruck (7) (Schritt S9) und berechnet dadurch einen zusätzlichen Wert ΔP(i): ΔP(i) = |Δp(1, i)| + |Δp(2, i)| + |Δp(3, i)| (7).
  • Beispielsweise kann ein zusätzlicher Wert ΔP(i) der in 14A dargestellten Absolutwerte aus den Differenzen Δp(n, i) der in den 13A, 13B und 13C gezeigten Segmente Rn ermittelt werden.
  • Bei dem vorliegenden Ausführungsbeispiel erfaßt die Lateralpositions-Erfassungseinrichtung 12 als linke lateral Position LP und als rechte laterale Position des vorausfahrenden Fahrzeugs Vah die Positionen der Pixelspalten mit den höchsten Spitze, d. h. die laterialen i-Koordinaten in dem Referenzbild T, aus den Spitzenwerten der zusätzlichen Werte ΔP(i) von den Absolutwerten der Differenzen Δp(n, i), die höher sind als ein vorbestimmter Schwellenwert Pth, wie dies in 14B gezeigt ist (siehe Schritt S10 in 8).
  • Danach berechnet die Lateralpositions-Erfassungseinrichtung 12 eine laterale Breite Wtnew des vorausfahrenden Fahrzeugs Vah auf der Basis der i-Koordinaten der rechten und der linken lateralen Positionen RP und LP des in dem Referenzbild T erfaßten vorausfahrenden Fahrzeugs Vah sowie der Distanz Z von dem betreffenden Fahrzeug zu dem vorausfahrenden Fahrzeug Vah gemäß den bereits genannten Ausdrücken (1) und (3) (Schritt S11) und speichert die laterale Breite Wtnew in dem Speicher. Auf diese Weise erfaßt die Lateralpositions-Erfassungseinrichtung 12 die laterale Breite Wtnew des vorausfahrenden Fahrzeugs Vah in dem Referenzbild T aus den Helligkeiten p der zu der Region R zugehörigen Pixel.
  • Anschließend vergleicht die Lateralpositions-Erfassungseinrichtung 12 die erfaßte laterale Breite Wtnew des vorausfahrenden Fahrzeugs Vah mit der lateralen Breite Wtznew, die von der Fahrzeugerfassungseinrichtung 11 auf der Basis des Distanzbildes Tz erfaßt worden ist, wie dies vorstehend beschrieben worden ist, und greift die eine von den lateralen Breiten auf, die sich näher bei der zuvor erfaßten lateralen Breite des vorausfahrenden Fahrzeugs befindet (Schritt S12). Der aufgegriffenen lateralen Breite entsprechende Lateralpositionen werden als laterale Positionen des in der aktuellen Abtastperiode erfaßten vorausfahrenden Fahrzeugs Vah aufgegriffen.
  • Wenn z. B. die Positionsinformations-Sammeleinrichtung 9 in dem Fahrzeugabtastsystem 1 durch ein Radargerät gebildet ist, dann ist die Genauigkeit bei der Erfassung der lateralen Positionen der erfaßten Objekte, wie eines vorausfahrenden Fahrzeugs Vah, nicht unbedingt hoch, wie dies vorstehend beschrieben worden ist.
  • Wenn in diesem Fall die Lateralpositions-Erfassungseinrichtung 12 die laterale Breite Wtznew des vorausfahrenden Fahrzeugs Vah, die von der Fahrzeugerfassungseinrichtung 11 auf der Basis der mittels des Radargeräts ermittelten Information erfaßt wird, mit der lateralen Breite Wtnew des vorausfahrenden Fahrzeugs Vah vergleicht, die anhand der Helligkeiten p der zu der Region R des das vorausfahrende Fahrzeug Vah beinhaltenden Referenzbildes T zugehörigen Pixel erfaßt wird, dann wird die letztere laterale Breite Wtnew aufgegriffen, die sich näher bei der zuvor erfaßten lateralen Breite befindet. Dies ermöglicht die Erfassung der lateralen Breite des vorausfahrenden Fahrzeugs Vah näher bei der Realität sowie eine exakte Erfassung und Verfolgung des vorausfahrenden Fahrzeugs Vah.
  • Im Gegensatz dazu kann die Distanz Z von dem betreffenden Fahrzeug zu dem Objekt aus dem Distanzbild Tz exakt berechnet werden, das man durch Stereoabgleich auf der Basis einer Vielzahl von Bildern (Referenzbild T usw.) erhält, die mittels der mehrere Kameras aufweisenden Bildaufnahmeeinrichtung 2 aufgenommen werden, wie dies bei der Positionsinformations-Sammeleinrichtung 9 des Fahrzeugabtastsystems 1 bei dem vorliegenden Ausführungsbeispiel der Fall ist.
  • Ferner kann die laterale Breite Wtznew des vorausfahrenden Fahrzeugs Vah auf der Basis der im realen Raum gemäß den Parallaxen dp aufgetragenen Distanzen Z exakt erfaßt werden, wie dies in 15A gezeigt ist. Aus diesem Grund ist es in normalen Fällen nicht immer unbedingt notwendig, die laterale Breite Wtznew mit der aus dem Referenzbild ermittelten lateralen Breite Wtnew zu vergleichen, wie in dem vorstehend beschriebenen Fall.
  • In einem Fall jedoch, in dem sich das vorausfahrende Fahrzeug Vah nahe bei einem anderen Objekt befindet, beispielsweise wenn das vorausfahrende Fahrzeug Vah und eine Hecke B sehr nahe beieinander sind, wie dies in 16 gezeigt ist, oder wenn das vorausfahrende Fahrzeug Vah an einem Strommasten vorbeifährt, wird das vorausfahrende Fahrzeug Vah, das korrekt erfaßt worden ist, wie dies in 15A gezeigt ist, in der aktuellen Abtastperiode manchmal als ein einziges Objekt zusammen mit der Hecke B erfaßt, wie dies in 15B gezeigt ist. In diesem Fall wird die laterale Breite Wtznew des vorausfahrenden Fahrzeugs Vah so erfaßt, als ob diese plötzlich und stark erhöht wäre.
  • Wenn in diesem Fall die in der vorstehend beschriebenen Weise aus den zusätzlichen Werten P(i) der Absolutwerte der Differenzen Δp(n, i) ermittelte laterale Breite Wtnew des vorausfahrenden Fahrzeugs mit der lateralen Breite Wtznew des vorausfahrenden Fahrzeugs Vah verglichen wird und eine von den lateralen Breiten, die näher bei der zuvor erfaßten lateralen Breite liegt, aufgegriffen wird, wird selbst dann, wenn das vorausfahrende Fahrzeug Vah in Kombination mit einem anderen Objekt so erfaßt wird, als ob die laterale Breite Wtznew des vorausfahrenden Fahrzeugs Vah plötzlich und stark größer wären, wie dies in 15B gezeigt ist, die laterale Breite Wtnew auf der Basis des Referenzbildes T korrekt aufgegriffen.
  • Ferner werden die rechten und die linken lateralen Positionen RP und LP des vorausfahrenden Fahrzeugs Vah aufgegriffen, die in dem Referenzbild T auf der Basis der lateralen Breite Wtnew erfaßt werden. Dies erlaubt ein exaktes Erfassen und Verfolgen des vorausfahrenden Fahrzeugs Vah.
  • Da bei dem vorliegenden Ausführungsbeispiel die laterale Breite Wtznew des vorausfahrenden Fahrzeugs Vah in der vorstehend beschriebenen Weise auf der Basis des Distanzbildes Tz durch die Fahrzeugerfassungseinrichtung 11 exakt erfaßt werden kann, werden bei Aufgreifen der lateralen Breite Wtznew als laterale Breite des vorausfahrenden Fahrzeugs Vah in dem Speicher gespeicherte Daten über die laterale Breite W des vorausfahrenden Fahrzeugs Vah auf die aktuell erfaßte laterale Breite Wtznew aktualisiert (Schritt S13 in 8). Wenn die laterale Breite Wtnew als laterale Breite des vorausfahrenden Fahrzeugs Vah aufgegriffen wird, werden Daten über die laterale Breite W des vorausfahrenden Fahrzeugs Vah nicht aktualisiert.
  • Nach Abschluß der Vorgänge in den Schritten S1 bis S13 wiederholt das Fahrzeugabtastsystem 1 diese Vorgänge in jeder Abtastperiode.
  • Wie vorstehend beschrieben, wird bei dem Fahrzeugabtastsystem 1 des vorliegenden Ausführungsbeispiels eine Region R in einem Bildbereich eines aufgenommen Bildes (Referenzbild T) vorgegehen, in dem ein Bild eines Fahrzeugs, wie eines vorausfahrenden Fahrzeugs Vah enthalten ist oder der Wahrscheinlichkeit nach enthalten ist.
  • Die Region R wird in Vertikalrichtung in eine Vielzahl von Segmenten Rn unterteilt, und es werden durchschnittliche Helligkeiten p(n, i)ave von Pixeln berechnet, die zu den Pixelspalten in den Segmenten Rn gehören. Es werden Differenzen Δp(n, i) von den durchschnittlichen Helligkeiten p(n, i – 1)ave der benachbarten Pixelspalten berechnet, und die lateralen Positionen des Fahrzeugs werden auf der Basis der Absolutwerte der Differenzen Δp(n, i) erfaßt.
  • Aus diesem Grund handelt es sich bei den zum Erfassen der lateralen Positionen erforderlichen Rechenvorgängen lediglich um Addition, Mittelung (Division), Subtraktion und Ermittelung des Absolutwertes. Die lateralen Positionen des vorausfahrenden Fahrzeugs oder dergleichen können somit aus dem aufgenommenen Bild mittels einer einfacheren Berechnung als bei dem vorstehend beschriebenen Verfahren gemäß der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-2006-140 636 , das eine Vielzahl von Histogrammen verwendet, exakt erfaßt werden.
  • Bei der in 16 darstellten Hecke oder dem Busch z. B. werden mehrere Bilder von Blättern sowie den Schatten von diesen aufgenommen. Wenn die laterale Randstärke für jedes Pixel berechnet wird, werden aus diesem Grund mehrere Ränder in der Hecke B oder dergleichen erfaßt, und dies macht eine Unterscheidung zwischen der Hecke B oder dergleichen und dem Fahrzeug schwierig. Wenn jedoch die durchschnittliche Helligkeit p(n, i)ave der Pixel für jede in Vertikalrichtung verlaufende Pixelspalte (vgl. 11) berechnet wird, wie bei dem vorliegenden Ausführungsbeispiel, werden die Helligkeiten und die Dunkelheit der Blätter und der Schatten in jeder Pixelspalte gleichmäßig gemacht.
  • Da sich die Gesamthelligkeit der Hecke B oder dergleichen selbst bei einer Pixelspalten-Verlagerung nicht so stark verändert, sind bei einer graphischen Darstellung der durchschnittlichen Helligkeiten p(n, i)ave der Pixelspalten gemäß 12 die durchschnittlichen Helligkeiten p(n, i)ave in den Bildbereichen der Hecke B oder dergleichen im wesentlichen gleich, und es tritt keine Pixelspalte auf, bei der sich die durchschnittliche Helligkeit p(n, i) stark verändert.
  • Mit anderen Worten, es gibt keine große Änderung in der lateralen Randstärke, die als Differenz zwischen den durchschnittlichen Helligkeiten p(n, i)ave der Pixelspalten dient.
  • Wenn dagegen die durchschnittliche Helligkeit p(n, i)ave der Pixel, die für jede in Vertikalrichtung verlaufende Pixelspalte berechnet worden ist (vgl. 11), sich in den den Säulen des Fahrzeugs entsprechenden Bereichen (vgl. 12A) sowie den von der Fahrzeugkarosserie unter dem Stoßfänger verdeckten Bereichen (vgl. 12C) stark ändert, ergibt sich auch eine starke Änderung bei der lateralen Randstärke.
  • Aus diesem Grund kann durch Berechnen der durchschnittlichen Helligkeiten p(n, i)ave der Pixel in den in Vertikalrichtung verlaufenden Pixelspalten sowie durch Berechnen der lateralen Randstärken, um dadurch Pixelspalten aufzufinden, bei denen sich die laterale Randstärke stark verändert, festgestellt werden, daß es sich bei den Pixelspalten, in denen sich die durchschnittliche Helligkeit p(n, i)ave stark ändert, um laterale Positionen des Fahrzeugs handelt.
  • Ferner ist es möglich, zwischen der Hecke B und einem Fahrzeug klar zu unterscheiden, was schwierig ist, wenn die Erfassung auf dem Distanzbild Tz basiert, wie dies in 15B gezeigt ist, wobei es auch möglich ist, die lateralen Positionen des Fahrzeugs, wie z. B. eines vorausfahrenden Fahrzeugs, aus dem aufgenommenen Bild exakt zu erfassen.
  • Bei dem vorliegenden Ausführungsbeispiel werden die Absolutwerte der Differenzen Δp(1, i), Δp(2, i) und Δp(3, i) ermittelt, die für das obere Segment R1, das untere Segment R2 und das mittlere Segment R3 berechnet werden, und die Positionen der Pixelspalten, an denen die Spitze des zusätzlichen Wertes ΔP(i) des Absolutwertes am höchsten ist, werden als rechte und linke laterale Positionen des Fahrzeugs erfaßt.
  • Alternativ hierzu können z. B. die Positionen von Pixelspalten, bei denen die Spitzenwerte am nähesten bei den in der vorherigen Abtastperiode erfaßten lateralen Positionen des Fahrzeugs liegen, oder die Positionen von Pixelspalten, bei denen die Spitzenwerte am weitesten von der Mitte des Fahrzeugs entfernt sind, als rechte und linke laterale Positionen des Fahrzeugs berechnet werden.
  • Anstatt der Berechnung des zusätzlichen Wertes ΔP(i) der Absolutwerte der Differenzen Δp(n, i), die für das Segment Rn berechnet werden, kann das Augenmerk auch auf die eigentlichen Spitzenwerte der Differenzen Δp(n, i) der Segmente Rn gelegt werden. D. h., die Positionen von Pixelsäulen mit den höchsten Spitzenwerten von den einen vorbestimmten Schwellenwert übersteigenden Spitzenwerten, die Positionen von Pixelsäulen mit den am nähesten bei den in der vorherigen Abtastperiode erfaßten lateralen Positionen des Fahrzeugs oder die Positionen von Pixelspalten mit den am weitesten von der zentralen Position des Fahrzeugs erfaßten Spitzenwerten können als laterale Positionen des Fahrzeugs erfaßt werden.
  • Während die Region R bei dem vorliegenden Ausführungsbeispiel derart in die Segmente Rn unterteilt wird, daß die Länge der Region R gemäß dem vorgegebenen Anteil unterteilt ist, werden z. B. Pixelspalten mit einer Breite entsprechend einem Pixel oder einer vorbestimmten Anzahl von Pixeln und einem Verlauf in vertikaler Richtung in der Region R zu dem Zeitpunkt der Vorgabe der Region R vorgegeben, wie dies in 17 gezeigt ist, wobei Verteilungen von Helligkeiten p von zu den Pixelspalten zugehörigen Pixeln erfaßt werden.
  • Auf der Basis der Verteilung der Helligkeiten p können der proportionale Anteil der vertikalen Unterteilung der Region R oder die Anzahl n von Segmenten Rn derart festgelegt werden, daß ein unteres Segment R2 ein unterer Bereich der Pixelspalte ist, der eine geringe Helligkeit p aufweist und der wahrscheinlich Bereiche beinhaltet, die durch die Reifen unter dem Stoßfänger des Fahrzeugs oder dem Fahrzeugkörper, wie dem Fahrzeugunterbau, verdeckt sind, daß ein oberes Segment R1 ein oberer Bereich der Pixelspalte ist, der eine geringe Helligkeit p aufweist und der der Wahrscheinlichkeit nach ein Bild von einer Fensterscheibe (Heckscheibe, Frontscheibe) enthält, wie dies bei einem Kraftfahrzeug oder einem Großraumfahrzeug der Fall ist, und daß der übrige Bereich als mittleres Segment vorgegeben wird.
  • In diesem Fall können die lateralen Positionen des Fahrzeugs auf der Basis der Absolutwerte der Differenzen Δp(n, i) der durchschnittlichen Helligkeiten p(n, i)ave exakt erfaßt werden, die für die Pixelspalten in dem Segmenten Rn berechnet werden. Dies ermöglicht eine genauere und zuverlässigere Erfassung der lateralen Positionen des Fahrzeugs, wie des vorausfahrenden Fahrzeugs, aus dem aufgenommenen Bild.
  • 1
    Fahrzeugabtastsystem
    2
    Bildaufnahmeeinrichtung
    2a
    Hauptkamera
    2b
    Zusatzkamera
    3
    Wandlereinrichtung
    3a
    A/D-Wandler
    3b
    A/D-Wandler
    4
    Bildkorrektureinheit
    5
    Bilddatenspeicher
    6
    Bildverarbeitungseinrichtung
    7
    Bildprozessor
    8
    Distanzdatenspeicher
    9
    Positionsinformations-Sammeleinrichtung
    10
    Erfassungseinrichtung
    11
    Fahrzeugerfassungseinrichtung
    12
    Lateralpositions-Erfassungseinrichtung
    A
    betreffendes Fahrzeug
    B
    Hecke
    Q
    Sensoren
    R
    Region
    T
    Referenzbild
    V
    Geschwindigkeit
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - JP 2006-140636 A [0002, 0145]
    • - JP 5-114099 A [0071]
    • - JP 5-265547 A [0071]
    • - JP 6-266828 A [0071]
    • - JP 10-283461 A [0071]
    • - JP 10-283477 A [0071]
    • - JP 2006-072495 A [0071]

Claims (8)

  1. Fahrzeugabtastsystem, das folgendes aufweist: – eine Bildaufnahmeeinrichtung (2) zum Aufnehmen eines Bildes von der Umgebung eines betreffenden Fahrzeugs (A); – eine Fahrzeugerfassungseinrichtung (11) zum Erfassen eines Fahrzeugs (Vah) aus dem aufgenommenen Bild (T); und – Lateralpositions-Erfassungseinrichtungen (12) zum Erfassen einer lateralen Position des erfaßten Fahrzeugs (Vah) in dem aufgenommen Bild (T); – wobei die Lateralpositions-Erfassungseinrichtungen (12) eine Region (R), die in einem Bereich des aufgenommenen Bildes vorgegeben ist, in dem ein Bild des Fahrzeugs (Vah) enthalten ist oder wahrscheinlich enthalten ist, in Vertikalrichtung in eine Vielzahl von Segmenten (R1, R2, R3) unterteilen, – wobei die Lateralpositions-Erfassungseinrichtungen (12) durchschnittliche Helligkeiten von Pixeln berechnen, die zu in den Segmenten (R1, R2, R3) in Vertikalrichtung verlaufenden Pixelspalten gehören und eine Breite aufweisen, die einem Pixel oder einer Vielzahl von Pixeln entspricht, und – wobei die Lateralpositions-Erfassungseinrichtungen (12) Differenzen zwischen den durchschnittlichen Helligkeiten der Pixelspalten und den durchschnittlichen Helligkeiten von in lateraler Richtung benachbarten Pixelspalten berechnen und die laterale Position des Fahrzeugs (Vah) auf der Basis von Absolutwerten der Differenzen erfassen.
  2. Fahrzeugabtastsystem nach Anspruch 1, wobei die Lateralpositions-Erfassungseinrichtungen (12) die laterale Position des Fahrzeugs (Vah) auf der Basis der Summe der Absolutwerte der Differenzen von Pixelspalten (R1, R2, R3) erfassen, die die gleiche laterale Koordinate in dem aufgenommenen Bild aufweisen.
  3. Fahrzeugabtastsystem nach Anspruch 1 oder 2, wobei die Lateralpositions-Erfassungseinrichtungen (12) als laterale Position des Fahrzeugs (Vah) eine Position einer Pixelspalte, die den höchsten Spitzenwert erbringt von Spitzenwerten in der Summe der Absolutwerte der für die Segmente (R1, R2, R3) berechneten Differenzen oder von der Summe der Absolutwerte der Differenzen von Pixelspalten in den Segmenten (R1, R2, R3), die die gleiche laterale Koordinate in dem aufgenommenen Bild aufweisen, wobei die Spitzenwerte einen vorbestimmten Schwellenwert übersteigen, eine Position einer Pixelspalte mit einem Spitzenwert, der am nächsten bei einer zuvor erfaßten lateralen Position des Fahrzeugs (Vah) erfaßt worden ist oder eine Position einer Pixelspalte mit einem Spitzenwert erfaßt, der von einer zentralen Position des Fahrzeugs (Vah) am weitesten entfernt erfaßt wird.
  4. Fahrzeugabtastsystem nach einem der Ansprüche 1 bis 3, wobei die Lateralpositions-Erfassungseinrichtungen (12) die Region (R) in Vertikalrichtung zumindest in ein unteres Segment (R2), das als Bildbereich dient, in dem wahrscheinlich ein durch einen Körperbereich verdeckter Bereich des Fahrzeugs (Vah) vorhanden ist, sowie in ein übriges Segment (R1, R3) unterteilt, das als übriger Bildbereich dient.
  5. Fahrzeugabtastsystem nach einem der Ansprüche 1 bis 4, wobei die Lateralpositions-Erfassungseinrichtungen (12) die Region (R) in Vertikalrichtung zumindest in ein unteres Segment (R2), das als Bildbereich dient, in dem wahrscheinlich ein durch einen Körperbereich des Fahrzeugs (Vah) verdeckter Bereich vorhanden ist, ein oberes Segment (R1), das als Bildbereich dient, in dem wahrscheinlich ein Bild einer Fensterscheibe vorhanden ist, sowie das übrige Segment (R3) unterteilen, das als übriger Bildbereich dient.
  6. Fahrzeugabtastsystem nach Anspruch 5, wobei die Lateralpositions-Erfassungseinrichtungen (12) die Region (R) in das untere Segment (R2) und das übrige Segment (R1, R3) oder in das untere Segment (R2), das obere Segment (R1) und das übrige Segment (R3) auf der Basis eines vertikalen proportionalen Anteils sowie der Anzahl von Segmenten unterteilen, die gemäß einer aktuell oder zuvor erfaßten Formgebung des Fahrzeugs (Vah) vorgegeben werden.
  7. Fahrzeugabtastsystem nach einem der Ansprüche 1 bis 5, wobei die Lateralpositions-Erfassungseinrichtungen (12) beim Unterteilen der Region (R) in die Segmente (R1, R2, R3) einen vertikalen proportionalen Anteil zum Unterteilen der Region (R) und der durch Teilung gebildeten Anzahl von Segmenten (R1, R2, R3) auf der Basis einer Verteilung der Helligkeiten von Pixeln bestimmen, die zu einer in Vertikalrichtung der Region verlaufenden Pixelspalte gehören und eine Breite aufweisen, die gleich einem Pixel oder einer vorbestimmten Anzahl von Pixeln ist.
  8. Fahrzeugabtastsystem nach einem der Ansprüche 1 bis 7, wobei die Lateralpositions-Erfassungseinrichtungen (12) von den Lateralpositions-Erfassungseinrichtungen (12) erfaßte rechte und linke laterale Positionen des Fahrzeugs (Vah) oder von der Fahrzeugerfassungseinrichtung (12) oder einem Sensor (Q) erfaßte rechte und linke laterale Positionen aufgreifen, wobei die aufgegriffenen Positionen eine laterale Breite des Fahrzeugs (Vah) erbringen, die näher bei einer zuvor erfaßten lateralen Breite des Fahrzeugs (Vah) liegt.
DE102009005184A 2008-01-22 2009-01-20 Fahrzeugabtastsystem Pending DE102009005184A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008011467A JP4856656B2 (ja) 2008-01-22 2008-01-22 車両検出装置
JP2008-011467 2008-01-22

Publications (1)

Publication Number Publication Date
DE102009005184A1 true DE102009005184A1 (de) 2009-08-06

Family

ID=40822336

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009005184A Pending DE102009005184A1 (de) 2008-01-22 2009-01-20 Fahrzeugabtastsystem

Country Status (3)

Country Link
US (1) US8749631B2 (de)
JP (1) JP4856656B2 (de)
DE (1) DE102009005184A1 (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4858574B2 (ja) * 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
JP5210994B2 (ja) * 2009-08-18 2013-06-12 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像表示装置
JP5316471B2 (ja) * 2010-04-27 2013-10-16 株式会社デンソー 物体認識装置、及びプログラム
JP5765946B2 (ja) * 2011-01-18 2015-08-19 矢崎エナジーシステム株式会社 車両検出装置及び車両検出方法
JP5645769B2 (ja) * 2011-08-01 2014-12-24 株式会社日立製作所 画像処理装置
JP5922947B2 (ja) * 2012-02-22 2016-05-24 富士重工業株式会社 車外環境認識装置および車外環境認識方法
DE112012006147B8 (de) * 2012-03-29 2018-09-06 Toyota Jidosha Kabushiki Kaisha Straßenoberflächen-Zustands-Bestimmungsvorrichtung
KR20140147257A (ko) * 2013-06-19 2014-12-30 주식회사 만도 차량용 무선통신장치 및 이를 이용한 주행차량 간 무선통신방법
FR3012784B1 (fr) * 2013-11-04 2016-12-30 Renault Sa Dispositif de detection de la position laterale d'un pieton par rapport a la trajectoire du vehicule
JP6375816B2 (ja) * 2014-09-18 2018-08-22 日本精機株式会社 車両用周辺情報表示システム及び表示装置
JP6597359B2 (ja) 2016-02-11 2019-10-30 株式会社デンソー 物体検知装置
JP2018092596A (ja) * 2016-11-30 2018-06-14 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム
US10629079B2 (en) * 2016-12-05 2020-04-21 Ford Global Technologies, Llc Vehicle collision avoidance
JP6654999B2 (ja) * 2016-12-12 2020-02-26 株式会社Soken 物標検出装置
US20180239969A1 (en) * 2017-02-23 2018-08-23 Ford Global Technologies, Llc Free Space Detection Using Monocular Camera and Deep Learning
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
KR102182540B1 (ko) * 2018-12-13 2020-11-24 재단법인대구경북과학기술원 시차맵과 보행자 상하단 인식을 이용한 정밀한 보행자 검출 방법 및 장치
CN109883432B (zh) * 2019-02-21 2020-12-29 百度在线网络技术(北京)有限公司 位置确定方法、装置、设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05114099A (ja) 1991-10-22 1993-05-07 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH06266828A (ja) 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH10283461A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JPH10283477A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2006072495A (ja) 2004-08-31 2006-03-16 Fuji Heavy Ind Ltd 立体物監視装置
JP2006140636A (ja) 2004-11-10 2006-06-01 Toyota Motor Corp 障害物検出装置および方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3468428B2 (ja) * 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置
JPH10208047A (ja) * 1997-01-23 1998-08-07 Nissan Motor Co Ltd 車載用走行環境認識装置
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
JP2000295604A (ja) * 1999-04-06 2000-10-20 Yazaki Corp 車両用後側方監視装置
JP3436224B2 (ja) * 1999-12-16 2003-08-11 日本電気株式会社 車両端検出装置
JP3839678B2 (ja) * 2001-03-27 2006-11-01 三菱電機株式会社 車両位置認識装置
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
CN1599406A (zh) * 2003-09-09 2005-03-23 富士胶片株式会社 图像处理方法和装置及其程序
CN101029824B (zh) * 2006-02-28 2011-10-26 东软集团股份有限公司 基于车辆特征的车辆定位方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05114099A (ja) 1991-10-22 1993-05-07 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH06266828A (ja) 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH10283461A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JPH10283477A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2006072495A (ja) 2004-08-31 2006-03-16 Fuji Heavy Ind Ltd 立体物監視装置
JP2006140636A (ja) 2004-11-10 2006-06-01 Toyota Motor Corp 障害物検出装置および方法

Also Published As

Publication number Publication date
US8749631B2 (en) 2014-06-10
JP2009175846A (ja) 2009-08-06
US20090184845A1 (en) 2009-07-23
JP4856656B2 (ja) 2012-01-18

Similar Documents

Publication Publication Date Title
DE102009005184A1 (de) Fahrzeugabtastsystem
DE102008030555B4 (de) Vorrichtung zur Verarbeitung von Stereobildern
DE102008006375B4 (de) Überwachungssystem
DE102008053472B4 (de) Objekt-Erfassungssystem
DE102009005860B4 (de) Umgebungs-Erkennungssystem
DE102008025723B4 (de) Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs
EP3501897A1 (de) Sichtsystem zur erfassung einer fahrzeugumgebung
DE602004012962T2 (de) Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung
EP3455785B1 (de) Verfahren zur erfassung von verkehrszeichen
DE10301469A1 (de) Infrarotbildverarbeitungsvorrichtung
DE102014018040A1 (de) Sichtsystem
DE102011004006A1 (de) Spurmarkierungserkennungssystem mit verbessertem Erkennungsverhalten
EP3046076B1 (de) Verfahren zum Kalibrieren einer Bilderfassungseinrichtung
DE102008020007A1 (de) Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug mit einer Fahrspurerkennung
EP2707862B1 (de) Abstandsbestimmung mittels eines kamerasensors
DE102013103952B4 (de) Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
DE102013103953B4 (de) Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras
EP2715666A1 (de) Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs
DE112016001666T5 (de) Anzeigevorrichtung
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
EP2131598A2 (de) Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
DE102019112873A1 (de) Hochauflösender virtueller raddrehzahlsensor
DE102014201409B4 (de) Parkplatz - trackinggerät und verfahren desselben
DE102020125232A1 (de) Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R012 Request for examination validly filed

Effective date: 20150318

R081 Change of applicant/patentee

Owner name: SUBARU CORPORATION, JP

Free format text: FORMER OWNER: FUJI JUKOGYO K.K., TOKIO/TOKYO, JP

R082 Change of representative

Representative=s name: MEISSNER BOLTE PATENTANWAELTE RECHTSANWAELTE P, DE

R084 Declaration of willingness to licence
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R016 Response to examination communication