DE60316226T2

DE60316226T2 - Verfahren und Vorrichtung zur Bestimmung ob ein von mehreren Sensoren detektiertes Objekt identisch ist und Verfahren und Vorrichtung zur Positionskorrektur in einem Multisensor-System

Info

Publication number: DE60316226T2
Application number: DE60316226T
Authority: DE
Inventors: Yasushi Takahashi
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2002-07-03
Filing date: 2003-07-02
Publication date: 2008-06-12
Anticipated expiration: 2023-07-03
Also published as: JP2004037239A; EP1378762B1; EP1378762A2; US20040098224A1; US6999896B2; EP1378762A3; DE60316226D1

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen identischer Objekte zum Bestimmen, ob durch mehrere Sensoren erfasste Objekte identisch sind oder nicht, und ein Versatzkorrekturverfahren und eine Versatzkorrekturvorrichtung zum Korrigieren eines relativen Versatzes identischer Objekte.
In den letzten Jahren hat ein Überwachungssystem zum Erkennen einer Situation ein einem Bereich oder zum Überwachen der Situation in dem Bereich basierend auf dem Erkennungsergebnis Aufmerksamkeit erlangt und ist in verschiedenen Anwendungsbereichen zum Überwachen der Außenumgebung eines Fahrzeugs, zum Überwachen von Bahnübergängen, zur topografischen Erkennung, in einem Entfernungs- oder Höhenmessgerät, usw. kommerziell verwendet worden. In einem derartigen Überwachungssystem werden zum Erfassen eines in einem Bereich vorhandenen Objekts verschiedenartige Sensoren verwendet, z.B. ein Sensor, der eine Stereoskopbildverarbeitung zum Berechnen der Parallaxe des Objekts basierend auf einem Paar aufgenommener Bilder verwendet, ein Laserradar, ein Millimeterwellenradar, usw. Für eine Erkennung mit hoher Genauigkeit ist die kombinierte Verwendung der Sensoren vorteilhafter als die einzelne Verwendung der Sensoren. Bei einer kombinierten Verwendung der Sensoren führen die Sensoren eine unabhängige Erfassungsoperation aus, so dass bestimmt werden muss, ob die durch die Sensoren erfassten Objekte identisch sind.
Beispielsweise wird in der JP-A-2000-131432 eine Technik beschrieben, gemäß der ein Millimeterwellenradar und ein Laserradar in Kombination als Sensoren verwendet werden und bestimmt wird, ob durch die Sensoren erfasste Objekte (Hindernisse) identisch sind. Gemäß dieser herkömmlichen Technik werden ein durch das Millimeterwellenradar erfasstes Hindernis und ein durch das Laserradar erfasstes Hindernis in einem das Hindernis umgebenden Bestimmungsbereich als identisch bestimmt.
In der JP-A-11-44756 und der JP-A-09-218265 werden Montage- oder Befestigungswinkelkorrekturverfahren für einen Lasersensor und eine Kamera beschrieben. Gemäß diesen Verfahren wird unter der Voraussetzung, dass durch die Sensoren erfasste Objekte identisch sind, ein Montage- oder Befestigungsfehler der Sensoren anhand der Differenz zwischen den Messwerten der Sensoren korrigiert. In der JP-A-6-230115 wird ein Korrekturverfahren für Abstandsmesswerte eines Lasersensors und einer Kamera beschrieben. Gemäß diesem Verfahren werden unter der Voraussetzung, dass die durch den Lasersensor und die Kamera erfassten Objekte identisch sind, die Abstandsmesswerte anhand der Differenz zwischen den durch den Lasersensor und die Kamera bereitgestellten Abstandsmesswerten korrigiert.
Gemäß der in der JP-A-2000-131432 beschriebenen herkömmlichen Technik wird jedoch lediglich ein Positionsvergleich zwischen den durch beide Sensoren erfassten Objekten ausgeführt, so dass die Möglichkeit besteht, dass ein identisches Objekt als zwei verschiedene Objekte bestimmt wird (oder zwei verschiedene Objekte als identisches Objekt bestimmt werden). Beispielsweise können bei einer Fahrzeugaußenumgebungsüberwachung zum Überwachen der Fahrtsituation vor einem eigenen Fahrzeug, wenn ein sich vor dem eigenen Fahrzeug bewegendes Objekt (vorausfahrendes Fahrzeug) und ein sich in die entgegengesetzte Richtung bewegendes Objekt (entgegenkommendes Fahrzeug) sich in der Position nähern, die Objekte als identisches Objekt bestimmt werden.
Die JP-2000-131432 betrifft ein Verfahren zum Erfassen eines Hindernisses für ein Fahrzeug. Die Koordinatendaten der Relativposition eines durch ein Millimeterwellenradargerät erfassten Hindernisses bezüglich des eigenen Fahrzeugs wird durch M1 (xm1, ym1) bezeichnet, und die Koordinatendaten der Relativpositionen von durch ein Laserradargerät erfassten Hindernissen bezüglich des eigenen Fahrzeugs werden durch R1 (xr1, yr1) und R2 (xr2, yr2) bezeichnet. Auf der Basis der durch das Millimeterwellenradargerät erfassten Koordinatendaten M1 wird ein rechteckiger Entscheidungsbereich Ai mit einer Länge (a) entlang der x-Achse und einer Länge (b) entlang der y-Achse gesetzt. Wenn die durch das Laserradargerät erfassten Koordinatendaten R1 und R2 innerhalb des Entscheidungsbereichs Ai fallen, wird entschieden, dass das durch das Millimeterwellenradargerät erfasste Hindernis und die durch das Laserradargerät erfassten Hindernisse den gleichen Körper darstellen.
Der Artikel "Improved obstacle detection by sensor fusion" von Young et al., IEE Colloquium an "Prometheus and Drive", 15. Oktober 1992, betrifft eine Fahrzeugerfassung und eine Fahrspurmarkierungserfassung unter Verwendung einer Videokamera und eines 94GHz-Mikrowellenradars.
Gemäß dem Stand der Technik wird hinsichtlich einer Fehlerkorrektur grundsätzlich eine Fehlerkorrektur unter der Voraussetzung vorgenommen, dass die durch die Sensoren erfassten Objekte identisch sind. Gemäß dem Stand der Technik kann jedoch, wenn ein Fehler in einem derartigen Maß auftritt, dass die durch die Sensoren erfassten Objekte nicht als identische Objekte bestimmt werden können, der Fehler nicht korrigiert werden. Wenn nicht bestimmt wird, dass die durch die Sensoren erfassten Objekte identisch sind, ist die Zuverlässigkeit der Fehlerkorrektur nicht gewährleistet.
Daher ist es eine Aufgabe der vorliegenden Erfindung, effektiv zu bestimmen, ob durch mehrere Sensoren erfasste Objekte identisch sind oder nicht.
Es ist eine andere Aufgabe der vorliegenden Erfindung, zu bestimmen, ob durch mehrere Sensoren erfasste Objekte identisch sind, um einen Versatz der durch die Sensoren erfassten Objekte zu korrigieren.
Diese Aufgaben werden durch die Merkmale der Patentansprüche gelöst.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Bestimmen identischer Objekte bereitgestellt, durch das bestimmt wird, ob durch mehrere Sensoren erfasste Objekte identisch sind oder nicht. Im Verfahren zum Bestimmen identischer Objekte werden in einem ersten Schritt eine Relativposition und eine Relativgeschwindigkeit jedes der erfassten Objekte bestimmt. In einem zweiten Schritt wird basierend auf den bestimmten Positionen ein Positionsfehler jedes der erfasten Objekte bestimmt. Vom bestimmten Positionsfehler wird basierend auf einer Normalverteilung für den Positionsfehler, wenn mehrere Sensoren ein identisches Objekt erfassen, eine erste Wahrscheinlichkeit berechnet, die darstellt, dass die erfassten Objekte bezüglich der Position identisch sind. In einem dritten Schritt wird basierend auf der erfassten Geschwindigkeit zunächst ein Geschwindigkeitsfehler für jedes der erfassten Objekte bestimmt. Vom bestimmten Geschwindigkeitsfehler wird basierend auf einer Normalverteilung für den Geschwindigkeitsfehler, wenn mehrere Sensoren ein identisches Objekt erfassen, eine zweite Wahrscheinlichkeit berechnet, die darstellt, dass die erfassten Objekte bezüglich der Geschwindigkeit identisch sind. In einem vierten Schritt wird basierend auf der berechneten ersten Wahrscheinlichkeit und der berechneten zweiten Wahrscheinlichkeit eine dritte Wahrscheinlichkeit berechnet, die darstellt, dass die erfassten Objekte identisch sind. In einem fünften Schritt wird bestimmt, dass die erfassten Objekte identisch sind, wenn die dritte Wahrscheinlichkeit einen ersten Entscheidungswert überschreitet.
Gemäß dem ersten Aspekt der vorliegenden Erfindung weist, wenn die dritte Wahrscheinlichkeit kleiner ist als der erste Entscheidungswert, das Verfahren zum Bestimmen identischer Objekte vorzugsweise die folgenden Schritte auf: einen Schritt zum Extrahieren der Objekte in einer beliebigen gewünschten Kombination von den erfassten Objekten; einen Schritt zum Berechnen einer vierten Wahrscheinlichkeit, die darstellt, dass die extrahierten Objekte, die jeweils verarbeitete Objekte darstellen, identisch sind; einen weiteren Schritt zum Bestimmen, dass die extrahierten Objekte identisch sind, wenn die berechnete vierte Wahrscheinlichkeit den ersten Entscheidungswert überschreitet.
Gemäß dem ersten Aspekt der vorliegenden Erfindung wird, wenn mindestens einer der Sensoren mehrere Objekte erfasst, in den vorstehend beschriebenen Schritten vorzugsweise die folgende Verarbeitung ausgeführt: zunächst wird im zweiten Schritt ein Objekt unter den erfassten Objekten jedes Sensors ausgewählt, um Gruppen zu bilden, wobei jeder Gruppe verarbeitete Objekte in verschiedenen Kombinationen zugeordnet sind. In einem zweiten Schritt wird die erste Wahrscheinlichkeit als Wahrscheinlichkeit berechnet, dass die Objekte jeder Gruppe bezüglich der Position identisch sind. In einem dritten Schritt wird die zweite Wahrscheinlichkeit als Wahrscheinlichkeit berechnet, dass die Objekte jeder Gruppe bezüglich der Geschwindigkeit identisch sind. In einem vierten Schritt wird basierend auf der berechneten ersten Wahrscheinlichkeit und der berechneten zweiten Wahrscheinlichkeit eine dritte Wahrscheinlichkeit als Wahrscheinlichkeit berechnet, dass die Objekte jeder Gruppe identisch sind. In einem fünften Schritt wird ein durch einen der Sensoren erfasstes Objekt als Referenzobjekt verwendet, und die Gruppe mit dem Maximalwert der dritten Wahrscheinlichkeit wird unter den Gruppen bestimmt, die das Referenzobjekt aufweisen. Wenn die für die bestimmte Gruppe berechnete dritte Wahrscheinlichkeit den ersten Entscheidungswert überschreitet, wird bestimmt, dass die Objekte der bestimmten Gruppe identisch sind.
Wenn die für eine das Referenzobjekt enthaltende erste Gruppe berechnete dritte Wahrscheinlichkeit und die für eine das Referenzobjekt enthaltende, von der ersten Gruppe verschiedene zweite Gruppe berechnete dritte Wahrscheinlichkeit jeweils den ersten Entscheidungswert überschreiten, weist der fünfte Schritt vorzugsweise die folgenden Schritte auf: einen Schritt, in dem die für die erste Gruppe berechnete dritte Wahrscheinlichkeit und die für die zweite Gruppe berechnete dritte Wahrscheinlichkeit jeweils mit einem zweiten Entscheidungswert verglichen werden, der größer ist als der erste Entscheidungswert; einen anderen Schritt, in dem, wenn die für die erste Gruppe berechnete dritte Wahrscheinlichkeit und die für die zweite Gruppe berechnete dritte Wahrscheinlichkeit jeweils den zweiten Entscheidungswert überschreiten, die Objekte der ersten Gruppe und die Objekte der zweiten Gruppe als identische Objekte bestimmt werden. Alternativ werden, wenn die für die erste Gruppe berechnete dritte Wahrscheinlichkeit oder die für die zweite Gruppe berechnete dritte Wahrscheinlichkeit den zweiten Entscheidungswert überschreitet, die Objekte der Gruppe, für die die dritte Wahrscheinlichkeit den zweiten Entscheidungswert überschreitet, als identische Objekte bestimmt.
Gemäß dem ersten Aspekt der vorliegenden Erfindung weist das Verfahren zum Bestimmen identischer Objekte ferner vorzugsweise einen Schritt zum Korrigieren der berechneten dritten Wahrscheinlichkeit basierend auf geschichtlicher Information auf, die anzeigt, dass das durch einen Sensor erfasste Objekt mit einem durch einen anderen Sensor erfassten Objekt identisch ist. In diesem Fall wird vorzugsweise in einem anderen Schritt die berechnete dritte Wahrscheinlichkeit basierend auf der geschichtlichen Information korrigiert, die anzeigt, wie oft aufeinanderfolgend das durch den einen Sensor erfasste Objekt als mit dem durch den anderen Sensor erfassten Objekt als identisches Objekt bestimmt worden ist.
Gemäß dem ersten Aspekt der vorliegenden Erfindung weist das Verfahren zum Bestimmen identischer Objekte vorzugsweise ferner einen Schritt zum Korrigieren der berechneten dritten Wahrscheinlichkeit basierend auf geschichtlicher Information auf, die die berechnete dritte Wahrscheinlichkeit für ein durch einen Sensor erfasstes Objekt und ein durch einen anderen Sensor erfasstes Objekt anzeigt.
Außerdem werden gemäß dem ersten Aspekt der vorliegenden Erfindung vorzugsweise die mehreren Sensoren aus einem Sensor zum Erfassen eines Objekts basierend auf einem Paar aufgenommener Bilder unter Verwendung einer Stereoskopbildverarbeitung, einem Millimeterwellenradar und einem Laserradar ausgewählt.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zum Bestimmen identischer Objekte bereitgestellt, zum Bestimmen, ob durch mehrere Sensoren erfasste Objekte identisch sind oder nicht, unter Verwendung eines gemäß dem ersten Aspekt der vorliegenden Erfindung beschriebenen Verfahrens zum Bestimmen identischer Objekte.
Gemäß einem dritten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Bestimmen identischer Objekte bereitgestellt, zum Bestimmen, ob durch mehrere Sensoren erfasste Objekte identisch sind oder nicht. In dem Verfahren zum Bestimmen identischer Objekte werden in einem ersten Schritt eine Relativposition und eine Relativgeschwindigkeit der erfassten Objekte bestimmt. In einem zweiten Schritt wird ein Positionsfehler jedes der erfassten Objekte basierend auf den bestimmten Positionen bestimmt, und der bestimmte Positionsfehler wird mit einem ersten Entscheidungswert verglichen. Außerdem wird ein Geschwin digkeitsfehler für jedes der erfassten Objekte basierend auf der bestimmten Geschwindigkeit bestimmt, und der bestimmte Geschwindigkeitsfehler wird mit einem zweiten Entscheidungswert verglichen, wodurch die erfassten Objekte in identische Objekte und verschiedene Objekte getrennt werden.
Gemäß dem dritten Aspekt der vorliegenden Erfindung wird im zweiten Schritt vorzugsweise bestimmt, dass die erfassten Objekte identisch sind, wenn der bestimmte Positionsfehler kleiner ist als der erste Entscheidungswert und der bestimmte Geschwindigkeitsfehler kleiner ist als der zweite Entscheidungswert.
Außerdem werden gemäß dem dritten Aspekt der vorliegenden Erfindung vorzugsweise die mehreren Sensoren aus einem Sensor zum Erfassen eines Objekts basierend auf einem Paar aufgenommener Bilder unter Verwendung einer Stereoskopbildverarbeitung, einem Millimeterwellenradar und einem Laserradar ausgewählt.
Gemäß einem vierten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zum Bestimmen identischer Objekte bereitgestellt, zum Bestimmen, ob durch mehrere Sensoren erfasste Objekte identisch sind oder nicht, unter Verwendung eines der gemäß dem dritten Aspekt der vorliegenden Erfindung beschriebenen Verfahren.
Gemäß einem weiteren Aspekt wird ein Versatzkorrekturverfahren zum Korrigieren eines relativen Versatzes identischer Objekte bereitgestellt, die durch einen Sensor und einen anderen Sensor zum Erfassen von Objekten in Zusammenwirkung miteinander erfasst werden. Im Versatzkorrekturverfahren werden in einem ersten Schritt mehrere Korrekturparameter zum Korrigieren eines relativen Versatzes der Position des durch den einen Sensor erfassten Objekts und der Position des durch den anderen Sensor erfassten Objekts gesetzt. In einem zweiten Schritt wird die Position des durch den anderen Sensor erfassten Objekts basierend auf dem Korrekturparameter relativ korrigiert. In einem dritten Schritt wird für jeden der Korrekturparameter bestimmt, ob das durch den einen Sensor erfasste Objekt und das durch den anderen Sensor erfasste Objekt, dessen Position basierend auf dem Korrekturparameter korrigiert worden ist, identisch sind oder nicht. In einem vierten Schritt werden die im dritten Schritt erhaltenen Vergleichsergebnisse verglichen, wird der bestimmte Korrekturparameter, der dem identischen Objekt mit dem besten Bestimmungsergebnis entspricht, bestimmt, und wird ein Rückkopplungskorrekturparameter zum Ausführen einer Rückkopplungskorrektur für den relativen Versatz der durch den einen Sensor und den anderen Sensor erfassten identischen Objekte basierend auf dem bestimmten Korrekturparameter bestimmt.
Der Korrekturparameter wird vorzugsweise basierend auf einer relativen Differenz zwischen einer Montage- oder Befestigungsposition des einen Sensors und einer Montage- oder Befestigungsposition des anderen Sensors gesetzt. Vorzugsweise wird der Korrekturparameter basierend auf einem relativen Erfassungspositionsfehler zwischen dem einen Sensor und dem anderen Sensor gesetzt. Außerdem wird der Korrekturparameter vorzugsweise basierend auf einer relativen Erfassungszeitdifferenz zwischen dem einen Sensor und dem anderen Sensor gesetzt.
Vorzugsweise werden die ersten bis dritten Schritte zweimal oder häufiger wiederholt, wobei, wenn die Anzahl von Malen, in denen bestimmt wird, dass der dem identischen Objekt entsprechende Korrekturparameter einen vorgegebenen Entscheidungswert überschreitet, der Rückkopplungskorrekturparameter basierend auf dem Korrekturparameter bestimmt wird. Alternativ werden die ersten bis dritten Schritte vorzugsweise zweimal oder häufiger wiederholt, wobei, wenn die Anzahl von Malen, in denen bestimmt wird, dass der dem identischen Objekt entsprechende Korrekturparameter den Maximalwert erreicht, der Rückkopplungskorrekturparameter basierend auf dem Korrekturparameter bestimmt wird.
Vorzugsweise wird, wenn die Vergleichsergebnisse im dritten Schritt verglichen werden, im vierten Schritt nur das Bestimmungsergebnis verwendet, das mit dem Objekt in Beziehung steht, das bezüglich der Position weiter vom vorgegebenen Entscheidungswert beabstandet ist.
Vorzugsweise werden die mehreren Korrekturparameter in mehrere Gruppen geteilt, wobei die jeder Gruppe zugeordneten Korrekturparameter in einem Prozess verwendet werden. In diesem Fall enthält jede Gruppe vorzugsweise einen für die Gruppen gemeinsamen Korrekturparameter.
Außerdem wird im dritten Schritt vorzugsweise eines der gemäß dem ersten Aspekt der vorliegenden Erfindung beschriebenen Verfahren zum Bestimmen identischer Objekte oder eines der gemäß dem dritten Aspekt der vorliegenden Erfindung beschriebenen Verfahren zum Bestimmen identischer Objekte verwendet.
Gemäß einem weiteren Aspekt wird eine Versatzkorrekturvorrichtung zum Korrigieren eines relativen Versatzes von Objekten, die durch mehrere Sensoren zum Erfassen von Objekten in Zusammenwirkung miteinander erfasst werden, unter Verwendung eines der gemäß dem vorstehenden Aspekt beschriebenen Versatzkorrekturverfahren bereitgestellt.
1 zeigt ein Blockdiagramm einer ersten Ausführungsform einer erfindungsgemäßen Vorrichtung zum Bestimmen identischer Objekte;
2 zeigt eine schematische Darstellung von Erfassungsstrahlen eines Millimeterwellenradarsensors;
3 zeigt ein Ablaufdiagramm zum Darstellen einer Verarbeitung zum Bestimmen identischer Objekte gemäß der ersten Ausführungsform der vorliegenden Erfindung;
4 zeigt ein Ablaufdiagramm zum Darstellen von Details einer Identitätswahrscheinlichkeitsberechnungsroutine;
5 zeigt eine schematische Darstellung für die Definition eines Akzeptanzbereichs und eines Nicht-Akzeptanzbereichs in einer Prüfung einer statistischen Hypothese;
6 zeigt eine schematische Darstellung des maximalen Signifikanzpegels, bei dem ein Fehler den Zustand "wahr" ("true") annimmt;
7 zeigt eine schematische Darstellung der Trennung von Objekten;
8 zeigt ein Blockdiagramm einer zweiten Ausführungsform einer erfindungsgemäßen Versatzkorrekturvorrichtung;
9 zeigt ein Ablaufdiagramm zum Darstellen der Versatzkorrekturverarbeitung gemäß der zweiten Ausführungsform der vorliegenden Erfindung; und
10A und 10B zeigen schematische Darstellungen der Beziehung zwischen der Objektposition und einem Fehler.
Erste Ausführungsform
1 zeigt ein Blockdiagramm einer ersten Ausführungsform einer erfindungsgemäßen Vorrichtung zum Bestimmen identischer Objekte. Die Ausführungsform der Vorrichtung 1 zum Bestimmen identischer Objekte dient z.B. als Teil eines Überwachungssystems zum Überwachen von Fahrtsituationen vor einem Fahrzeug. Das Überwachungssystem verwendet mehrere Sensoren in Kombination, bestimmt, ob die durch die Sensoren erfassten Objekte identisch sind oder nicht, und erkennt Fahrtsituationen basierend auf dem Bestimmungsergebnis und der durch die Sensoren bereitgestellten Erfassungsinformation.
Das Überwachungssystem weist als einen Sensor, der nachstehend als erster Sensor S1 bezeichnet wird, einen Sensor zum Erfassen eines Objekts basierend auf einem Paar aufgenommener Bilder unter Verwendung einer Stereoskopbildverarbeitung (in der Ausführungsform zwei Sensoren) auf. Eine Stereoskopkamera 2, die als Teil des ersten Sensors S1 dient, ist an einer Refe renzposition, z.B. in der Nähe eines Raumspiegels, angeordnet und nimmt die Szene vor dem Fahrzeug auf. Die Stereoskopkamera 2 besteht aus einem Paar Kameras 2a und 2b, die jeweils einen Bildsensor aufweisen (z.B. ein CCD-Element, einen CMOS-Sensor, usw.). Die Hauptkamera 2a nimmt ein Referenzbild (rechtes Bild) auf, das zum Ausführen einer Stereoskopbildverarbeitung erforderlich ist, und die Unterkamera 2b nimmt ein Vergleichsbild (linkes Bild) auf. Analogbilder, die von den Kameras 2a und 2b in einem Zustand ausgegeben werden, in dem sie miteinander synchronisiert sind, werden durch A/D-Wandler 3 und 4 in digitale Bilder mit einer vorgegebenen Helligkeitsabstufung umgewandelt (z.B. Graustufen mit 256 Pegeln).
Ein Paar digitalisierte Bilddatenelemente werden in einem Bildkorrekturabschnitt 5 einer Luminanz- oder Helligkeitskorrektur, einer geometrischen Umwandlung der Bilder, usw. unterzogen. Normalerweise weisen die Montagepositionen des Kamerapaars 2a und 2b einen gewissen Fehler auf, so dass im linken und im rechten Bild eine durch diesen Fehler verursachte Verschiebung auftritt. Um diese Verschiebung zu korrigieren, wird unter Verwendung z.B. einer affinen Transformation eine geometrische Umwandlung durch eine Rotation, eine Parallelverschiebung, usw. jedes Bildes ausgeführt.
Durch eine derartige Bildverarbeitung werden Referenzbilddaten durch die Hauptkamera 2a und Vergleichsbilddaten durch die Unterkamera 2b bereitgestellt. Die Bilddaten (Stereoskopbilddaten) stellen einen Satz von Helligkeitswerten von Pixeln (0 bis 255) dar. Eine durch die Bilddaten definierte Bildebene wird durch ein i-j-Koordinatensystem definiert, wobei die untere linke Ecke eines Bildes den Ursprung darstellt, die i-Koordinatenachse sich in der horizontalen Richtung erstreckt und die j-Koordinatenachse sich in der vertikalen Richtung erstreckt. Die einem Rahmen (Darstellungseinheit eines Bildes) entsprechenden Bilddaten werden einem Stereoskopbildverarbei tungsabschnitt 6 einer nachgeschalteten Stufe zugeführt und in einem Bilddatenspeicher 7 gespeichert. Ein Bilderkennungsabschnitt 11 in der nachgeschalteten Stufe liest die im Bilddatenspeicher 7 gespeicherten Bilddaten, wenn dies erforderlich ist, und verwendet die Bilddaten für eine Bilderkennungsverarbeitung.
Der Stereoskopbildverarbeitungsabschnitt 6 berechnet Abstandsdaten, die mit dem einem Rahmen entsprechenden aufgenommenen Bild in Beziehung stehen, basierend auf den Referenzbilddaten und den Vergleichsbilddaten. Die hierin erwähnten "Abstandsdaten" bezeichnen einen Satz von Parallaxen d, die für einen jeweils kleinen Bereich auf der durch die Bilddaten definierten Bildebene berechnet werden, und die Parallaxen d sind Positionen auf der Bildebene (i, j) eineindeutig zugeordnet. Eine Parallaxe d wird für jeden Pixelblock eines vorgegebenen Bereichs berechnet, der einen Teil des Referenzbildes bildet (z.B. 4×4 Pixel).
Beispielsweise können, wenn das Referenzbild aus 200×512 Pixeln besteht, eine der Anzahl der Pixelblöcke PBij (50×128) entsprechende Anzahl von Parallaxen berechnet werden. Bekanntermaßen ist die Parallaxe d das mit dem Pixelblock PBij der Berechnungseinheit in Beziehung stehende horizontale Verschiebungsmaß und hat eine große Korrelation mit dem Abstand zu dem im Pixelblock PBij dargestellten Objekts. D.h., wenn das im Pixelblock PBij dargestellte Objekt sich näher an der Kamera 2a, 2b befindet, wird die Parallaxe d des Pixelblocks PBij größer; wenn das Objekt weiter von der Kamera entfernt ist, wird die Parallaxe d kleiner (wenn das Objekt unendlich weit von der Kamera entfernt ist, wird die Parallaxe d = 0).
Zum Berechnen der mit einem Pixelblock PBij (Korrelationsquelle) in Beziehung stehenden Parallaxe d wird ein Bereich mit einer Korrelation mit der Helligkeitscharakteristik des Pixelblocks PBij (Korrelationsziel) im Vergleichsbild bestimmt. Wie vorstehend beschrieben wurde, erscheint der Abstand von der Kamera 2a, 2b zum Objekt als horizontales Verschiebungsmaß zwischen dem Referenzbild und dem Vergleichsbild. Daher kann zum Durchsuchen des Vergleichsbildes nach dem Korrelationsziel eine Suche auf der gleichen horizontalen Linie wie die j-Koordinate des Pixelblocks PBij als Korrelationsquelle (Epipolarlinie) ausgeführt werden. Der Stereoskopbildverarbeitungsabschnitt 6 bewertet nacheinander die Korrelation zwischen Koordinaten für die Korrelationsquelle und das Korrelationsziel, während jeweils ein Pixel auf der Epipolarlinie verschoben wird, in einem vorgegebenen Suchbereich, der mit der i-Koordinate der Korrelationsquelle als Referenz gesetzt wird (stereoskopische Anpassung). In der Regel wird das horizontale Verschiebungsmaß des Korrelationsziels, für das die höchste Korrelation bestimmt wurde (einer der Kandidaten für das Korrelationsziel), als die Parallaxe d des Pixelblocks PBij verwendet.
Die Korrelation zwischen zwei Pixelblöcken kann beispielsweise durch Berechnen einer Blockdistanz (City Block Distance) CB bewertet werden. Formel 1 zeigt die Grundform der Blockdistanz CB, wobei p1ij den Helligkeitswert des ij-ten Pixels eines Pixelblocks und p2ij den Helligkeitswert des ij-ten Pixels des anderen Pixelblocks bezeichnen. Die Blockdistanz CB ist die Gesamtsumme der Differenz (Absolutwert) zwischen den Helligkeitswerten p1ij und p2ij, die bezüglich der Position im gesamten Pixelblock einander zugeordnet sind; je kleiner die Differenz ist, desto größer ist die Korrelation zwischen den Pixelblöcken. CB = Σ|p1ij – p2ij| [Formel 1]
Grundsätzlich wird der Pixelblock mit dem Minimalwert der für jeden Pixelblock auf der Epipolarlinie berechneten Blockdistanz CB als Korrelationsziel bestimmt. Das derart bestimmte Verschiebungsmaß zwischen dem Korrelationsziel und der Korrelationsquelle wird die Parallaxe d. In der JP-A-114099 ist eine Hardwarekonfiguration für den Stereoskopbildverarbeitungsabschnitt 6 zum Berechnen der Blockdistanz CB beschrieben. Es wird darauf verwiesen falls notwendig. Die durch eine derartige Verarbeitung berechneten Abstandsdaten, d.h. ein Satz von Parallaxen d, die mit den Positionen auf dem Bild (i, j) in Beziehung stehen, werden im Abstandsdatenspeicher 8 gespeichert.
2 zeigt eine schematische Darstellung der Erfassungsstrahlen eines Millimeterwellenradars. Die vorliegende Ausführungsform des Überwachungssystems weist ein Millimeterwellenradar 9 als den anderen Sensor auf, der nachstehend auch als zweiter Sensor S2 bezeichnet wird. Das Millimeterwellenradar 9 ist an der Referenzposition des Fahrzeugs befestigt (z.B. in der Nähe der Mitte der Vorderseite), so dass die Referenzposition des Millimeterwellenradars 9 (Strahlungsrichtung des Referenzstrahls) mit der Fahrzeuglängsrichtung übereinstimmt. Das Millimeterwellenradar 9 sendet mehrere Millimeterwellenstrahlen bezüglich des Fahrzeugs radial nach vorne ab und empfangt reflektierte Wellen. In diesem Fall wird die Relativposition des Objekts in dessen Abstandsrichtung, d.h. die Position in der in 2 dargestellten z-Richtung, die nachstehend als Vorwärts-Rückwärts- oder Längsposition z bezeichnet wird, basierend auf dem Zeitintervall zwischen Wellenaussendung und -empfang bestimmt. Die Relativposition des Objekts in dessen Winkelrichtung, d.h. die Position in der in 2 dargestellten x-Richtung, die nachstehend als Querposition x bezeichnet wird, wird basierend auf der Wellenabstrahlungsrichtung jedes Strahls bestimmt, dessen reflektierte Welle empfangen wird. Außerdem wird die Relativgeschwindigkeit vz des Objekts in der z-Richtung basierend auf dem Dopplerprinzip bestimmt. Die Relativgeschwindigkeit vx des Objekts in der x-Richtung wird basierend auf der Querposition x des aktuell erfassten Objekts und der Querposi tion x' des in einem vorgegebenen Zeitabstand zuvor erfassten Objekts bestimmt (vx = (x – x')/vorgegebener Zeitabstand). Die Erfassungsverarbeitung wird vorzugsweise synchron mit der Bildaufnahmeoperation der Stereoskopkamera 2 ausgeführt, und das durch das Millimeterwellenradar 9 erfasste Objekt (genauer die Position und die Geschwindigkeit, die das Objekt, definieren) wird an einen Mikrocomputer 10 ausgegeben. Zum Bereitstellen der Positionsbeziehung zwischen den durch den ersten Sensor S1 und das Millimeterwellenradar 9 (d.h. den zweiten Sensor S2) erfassten Objekten entsprechen vorzugsweise die x- und z-Richtungen dem durch ein (später beschriebenes) Bilderkennungssystem erkannten Koordinatensystem.
Der Microcomputer 10 besteht aus einer CPU, einem ROM-Speicher, einem RAM-Speicher, einer Eingangs-/Ausgangsschnittstelle, usw.; er weist funktionell betrachtet den vorstehend erwähnten Bilderkennungsabschnitt 11, einen Entscheidungsabschnitt 12 und einen Steuerabschnitt 13 auf.
Der Bilderkennungsabschnitt 11 liest die Abstandsdaten vom Abstandsdatenspeicher 8 aus und verwendet eine bekannte Koordinatenumwandlungsformel zum Berechnen der Position des Objekts im realen Raum basierend auf den ausgelesenen Abstandsdaten. Im Koordinatensystem des realen Raums sind die Position des eigenen Fahrzeugs als Referenzposition, die Fahrzeugbreitenrichtung als x-Achse, die Fahrzeughöhenrichtung als y-Richtung und die Fahrzeuglängsrichtung (Abstandsrichtung) als z-Achse festgelegt, wobei die Straßenoberfläche unmittelbar unter der Mitte der Hauptkamera 2a als Ursprung gesetzt ist. Die Relativposition des Objekts in der z-Achsenrichtung (Längsposition z) und die Relativposition des Objekts in der x-Achsenrichtung (Querposition x) werden basierend auf der im Koordinatensystem berechneten Position des Objekts bestimmt. Außerdem werden die Relativgeschwindigkeit des Objekts, d.h. die Relativgeschwindigkeit vz in der z-Richtung und die Relativgeschwindigkeit vx in der x-Richtung, basierend auf der Position des erfassten Objekts und der zu einem vorgegebenen vorangehenden Zeitpunkt erfassten Position des Objekts bestimmt. Das durch den ersten Sensor S1 unter Verwendung der Stereoskopbildverarbeitung erfasste Objekt (d.h. die Position und die Geschwindigkeit, durch die das Objekt definiert sind) werden an den Entscheidungsabschnitt 12 ausgegeben.
Der Entscheidungsabschnitt 12 bestimmt, ob die durch die Sensoren S1 und S2 erfassten Objekte identisch sind, basierend auf den Positionen und Geschwindigkeiten der Objekte, und identifiziert das durch die Sensoren erfasste identische Objekt. Der Entscheidungsabschnitt 12 gibt die Positionen und Geschwindigkeiten der durch die Sensoren erfassten Objekte und ferner eine Kombination der durch die Sensoren erfassten Objekte und als das identische Objekt identifizierte Objekt an den Steuerabschnitt 13 aus.
Der Steuerabschnitt 13 verwendet das Ausgabeergebnis des Entscheidungsabschnitts 12 zum Erkennen und Überwachen der Situationen vor dem Fahrzeug basierend auf der mit dem durch die Sensoren erfassten Objekt in Beziehung stehenden Information und steuert nach Erfordernis Warneinrichtungen, einen Controller, usw. (nicht dargestellt). Beispielsweise werden in Fahrtsituationen, in denen der Abstand zum vorausfahrenden Fahrzeug klein wird und es erforderlich ist, eine Warnung an den Fahrer auszugeben, Warneinrichtungen eines Monitors, ein Lautsprecher, usw. aktiviert, um die Aufmerksamkeit des Fahrers hervorzurufen. Um das Fahrzeug bei derartigen Fahrtsituationen zu verzögern, werden Bremsen betätigt, wird ein automatischer Schaltvorgang in eine niedrigere Gangstufe ausgeführt, wird das Motorausgangsdrehmoment vermindert, usw.
3 zeigt ein Ablaufdiagramm zum Darstellen einer Verarbeitung zum Bestimmen identischer Objekte gemäß der ersten Ausführungsform der vorliegenden Erfindung. Diese Routine wird in vorgegebenen Zeitabständen aufgerufen und durch den Mikrocomputer 10 ausgeführt. Zunächst berechnet der Entscheidungsabschnitt 12 in Schritt 1 eine Identitätswahrscheinlichkeit Po als die Wahrscheinlichkeit, dass die durch die Sensoren S1 und S2 erfassten Objekte identisch sind. In der vorliegenden Ausführungsform sind jedes der durch den ersten Sensor S1 erfassten erste Objekte O1i und jedes der durch den zweiten Sensor S2 erfassten zweiten Objekte O2i zu verarbeitende Objekte, und die Identitätswahrscheinlichkeit Po wird für alle Kombinationen der erfassten Objekte O1i und O2i berechnet.
4 zeigt ein Ablaufdiagramm zum Darstellen von Details der in Schritt 1 ausgeführten Identitätswahrscheinlichkeitsroutine. Zunächst wird in Schritt 10 ein erstes Objekt O1i von den durch den ersten Sensor S1 erfassten ersten Objekten O1i ausgewählt.
In Schritt 11 wird eine Identitätswahrscheinlichkeit Pz als die Wahrscheinlichkeit berechnet, dass das ausgewählte erste Objekt O1i und ein zweites Objekt O2i in der Längsposition z identisch sind. Wenn mehrere zweite Objekte O2i erfasst werden, werden die zweiten Objekte O2i dem ausgewählten ersten Objekt O1i nacheinander paarweise zugeordnet, und für jedes Paar wird die Identitätswahrscheinlichkeit Pz berechnet. In der nachstehenden Beschreibung kann das Paar aus dem ersten Objekt O1i und dem zweiten Objekt O2i einfach als "Gruppe" bezeichnet werden.
Nachstehend wird ein Verfahren zum Berechnen der Identitätswahrscheinlichkeit Pz diskutiert. Wenn die Vorwärtslängsposition z eines Objekts durch die beiden Sensoren S1 und S2 gemessen wird, enthalten die durch de Sensoren S1 und S2 erfassten Längspositionen z1 und z2 jeweils einen Messfehler, so dass sich der Wert jedesmal wenn eine Messung ausgeführt wird in gewissem Maße ändert. In der vorliegenden Ausführungsform wird vorausgesetzt, dass die Längspositionen z1 und z2 der Messwerte zufällige Variablen sind, die einer Normalverteilung folgen.
Unter dieser Voraussetzung folgen die Längspositionen z1 und z2 der Normalverteilung von Mittelwerten m1 und m2 und Standardabweichungen σ1 und σ2. In diesem Fall ist die Differenz zwischen den Längspositionen z1 und z2 (Δz = z1 – z2) durch eine Normalverteilung der Mittelwerte m1 – m2 und eine die Reproduzierbarkeit der Normalverteilung anzeigende Standardabweichung
gegeben.
Hierin wird vorausgesetzt, dass, wenn die Messung der Längsposition z eines Objekts durch den ersten und den zweiten Sensor S1 und S2 ausgeführt wird, die Differenz zwischen den Längspositionen z1 und z2 als Δz' bestimmt wird. In diesem Fall wird die Hypothese "die durch den ersten und den zweiten Sensor S1 und S2 erfassten Objekte sind identisch" aufgestellt, und es wird ein Verfahren zum Prüfen der Hypothese betrachtet.
Wenn ein Paar Sensoren S1 und S2 ein identisches Objekt erfassen, gilt im wesentlichen m1 = m2, und die Differenz Δz folgt der Normalverteilung des Mittelwertes 0 und der Standardabweichung
5 zeigt eine schematische Darstellung der Definition eines Akzeptanzbereichs und eines Nicht-Akzeptanzbereichs bei einer Prüfung einer statistischen Hypothese. In der Statistik werden im Allgemeinen ein Akzeptanzbereich und ein Nicht-Akzeptanzbereich für eine Hypotheseprüfung basierend auf der Normalverteilung zum Bewerten der Hypothese festgelegt. Ein in 5 schraffierter Bereich P der Normalverteilung wird als Signifikanzpegel bezeichnet und entspricht der Wahrscheinlichkeit, dass die Hypothese wahr ist. In der mit dem Fehler Δz in Beziehung stehenden Normalverteilung (d.h., wenn vorausgesetzt wird, dass die Objekte identisch sind, entspricht die Differenz Δz einem Fehler), wird, wenn ein bestimmter Fehler Δz' im Akzeptanzbereich der Figur existiert, entschieden, dass die Hypothese wahr ist. Andererseits wird, wenn der Fehler Δz' im Nicht-Akzeptanzbereich liegt, entschieden, dass die Hypothese falsch ist.
Beispielsweise wird, wenn der Fehler Δz' erhalten wird, der maximale Signifikanzpegel, bei dem der Fehler Δz' wahr wird, d.h., die Hypothese "die Objekte sind identisch" wahr wird, auf die in 6 schraffierten Bereiche gesetzt. Insbesondere wird der Signifikanzpegel auf Bereiche außerhalb des Fehlers Δz' gesetzt, d.h. auf Bereiche, die durch Fehler besetzt sind, die größer sind als der Fehler Δz'. Der Bereich P kann in diesem Fall vom bestimmten Fehler Δz' basierend auf der mit dem Fehler Δz in Beziehung stehenden Normalverteilung eindeutig berechnet werden. Der Signifikanzpegel zeigt die Größe der Wahrscheinlichkeit an, dass die Hypothese wahr ist, d.h. die Wahrscheinlichkeit, dass die durch die Sensoren S1 und S2 erfassten Objekte identisch sind, ist von der Größe des Bereichs P abhängig.
Das Bestimmen des maximalen Signifikanzpegels, bei dem der Fehler Δz' wahr wird, vom Fehler Δz' zwischen den Längspositionen z1, z2 der durch die Sensoren S1 und S2 erfassten Objekte entspricht der Bestimmung der Wahrscheinlichkeit, dass die Objekte identisch sind. Wenn beispielsweise Δz' klein ist, wird der Signifikanzpegelbereich P groß, und die Identitätswahrscheinlichkeit Pz wird daher ebenfalls entsprechend hoch. In diesem Fall liegen die Längspositionen (vordere und hintere Position) z1 und z2 der durch die beiden Sensoren S1 und S2 erfassten Objekte nahe beieinander, so dass die Möglichkeit gegeben ist, dass die erfassten Objekte identisch sind, d.h. die Tatsache, dass die Identitätswahrscheinlichkeit hoch ist.
Unter dieser Voraussetzung wird die Identitätswahrscheinlichkeit Pz basierend auf der folgenden Formel 2 berechnet:
wobei
ist.
Hierbei bezeichnen σ_z1 die Standardabweichung des Abstands z1 des ersten Sensors S1, σ_z2 die Standardabweichung z2 des zweiten Sensors S2 und Δz die Differenz zwischen dem Abstand z1 des ersten Sensors S1 und dem Abstand z2 des zweiten Sensors S2. Beide Standardabweichrungen (σ_z1 und σ_z2 können, wenn dies notwendig ist, auf geeignete Werte gesetzt werden.
Durch die Formel wird die Wahrscheinlichkeit, dass die erfassten Objekte O1 und O2 in der Längsrichtung identisch sind, vom Fehler Δz' zwischen den Längspositionen berechnet, die basierend auf der mit dem Fehler Δz zwischen den Längspositionen z in Beziehung stehenden Normalverteilung bestimmt werden, wenn die Sensoren S1 und S2 ein identisches Objekt erfassen.
Gemäß 4 wird in Schritt S12 als die Wahrscheinlichkeit, dass das ausgewählte erste Objekt O1i und das zweite Objekt O2i in der Querposition (Seite-zu-Seite Position) x identisch sind, für jede Gruppe eine Identitätswahrscheinlichkeit Px berechnet. In Schritt 11 wird die Identitätswahrscheinlichkeit Px vom Fehler Δx' zwischen den Querpositionen x1 und x2 des ersten und des zweiten Objekts O1i und O2i basierend auf der mit dem Fehler Δx zwischen den Querpositionen x in Beziehung stehenden Normalverteilung eindeutig berechnet, wenn die Sensoren S1 und S2 ein identisches Objekt erfassen. In den Schritten 11 und 12 werden die Identitätswahrscheinlichkeiten Pz und Px als die Wahrscheinlichkeit berechnet, dass das erfasste erste und das erfasste zweite Objekt O1i und O2i bezüglich der Position identisch sind.
Daraufhin wird als die Wahrscheinlichkeit, dass das ausgewählte erste Objekt O1i und das zweite Objekt O2i bezüglich der Geschwindigkeit vz in der z-Richtung identisch sind, die Identitätswahrscheinlichkeit Pvz für jede Gruppe berechnet (Schritt S13). Als die Wahrscheinlichkeit, dass das ausgewählte erste Objekt O1i und das zweite Objekt O2i bezüglich der Geschwindigkeit vx in der x-Richtung identisch sind, wird die Identitätswahrscheinlichkeit Pvx für jede Gruppe berechnet (Schritt 14). D.h., in den Schritten 13 und 14 werden die Identitätswahrscheinlichkeiten Pvz und Pvx als die Wahrscheinlichkeit berechnet, dass die erfassten Objekte bezüglich der Geschwindigkeit identisch sind.
In dem dem Schritt 14 folgenden Schritt 15 wird die Identitätswahrscheinlichkeit Po als die Wahrscheinlichkeit, dass das erste und das zweite Objekt O1i und O2i identisch sind, basierend auf den mit der Position in Beziehung stehenden Identitätswahrscheinlichkeiten Pz und Px und den mit der Geschwindigkeit in Beziehung stehenden Identitätswahrscheinlichkeiten Pvz und Pvx berechnet. Die Identitätswahrscheinlichkeit Po wird basierend auf der folgenden Formel 3 eindeutig berechnet. In Schritt S15 wird die Identitätswahrscheinlichkeit Po für jede Gruppe berechnet. Po = Pz × Px × Pvz × Pvx [Formel 3]
Wie anhand von Formel 3 ersichtlich ist, ist die Identitätswahrscheinlichkeit Po das Produkt aus den in den Schritten 11 bis 14 bestimmten Identitätswahrscheinlichkeiten Pz, Px, Pvz und Pvx, die mit den Positionen und Geschwindigkeiten in Beziehung stehen. Daher enthält die Identitätswahrscheinlichkeit Po als die Wahrscheinlichkeit, dass die Objekte identisch sind, nicht nur die Wahrscheinlichkeit, dass das erste und das zweite Objekt O1i und O2i bezüglich der Position identisch sind, son dern auch die Wahrscheinlichkeit, dass die Objekte bezüglich der Geschwindigkeit identisch sind. Die Identitätswahrscheinlichkeit Po wird quantitativ als ein Wert bestimmt. Daher kann durch die berechnete Identitätswahrscheinlichkeit Po insgesamt hinsichtlich der Position und der Geschwindigkeit bestimmt werden, ob die durch die Sensoren S1 und S2 erfassten Objekte identisch sind. Beispielsweise werden Objekte, die sich bezüglich der Relativgeschwindigkeit wesentlich unterscheiden, obwohl die Blöcke bezüglich der Position nahe beieinander liegen (oder Objekte, die verschiedene Positionen haben, obwohl ihre Geschwindigkeit im wesentlichen gleich ist) deutlich voneinander unterschieden, weil sie quantitativ durch eine Identitätswahrscheinlichkeit Po dargestellt werden.
In Schritt 16 wird bestimmt, ob die durch den ersten Sensor S1 erfassten ersten Objekte O1i alle ausgewählt wurden. Wenn festgestellt wird, dass die erfassten ersten Objekte O1i alle ausgewählt wurden (JA in Schritt 16), wird die Routine beendet. Wenn dagegen bestimmt wird, dass ein nicht ausgewähltes erstes Objekt O1i verbleibt (NEIN in Schritt 16), wird das nicht ausgewählte erste Objekt O1i ausgewählt, und die vorstehend beschriebene Verarbeitung wird wiederholt.
Gemäß 3 wird in Schritt 2 der Wert 1 als Variable i zum Identifizieren jedes der ersten Objekte O1i gesetzt, die durch den in der Stereoskopbildverarbeitung verwendeten ersten Sensor S1 erfasst werden, um das durch einen Sensor erfasste Objekt als Referenzobjekt zu setzen. Beispielsweise wird, wenn die ersten Objekte O1i auf der Bildebene beginnend mit dem Wert 1 in der aufsteigenden Folge von links nach rechts gekennzeichnet werden, das erste Objekt O1i an der am weitesten links angeordneten Position auf der Bildebene in Schritt 2 identifiziert.
In Schritt 3 wird bestimmt, ob die Gesamtsumme der durch den ersten Sensor S1 erfassten ersten Objekte der Variablen i entspricht oder größer ist oder nicht. Wenn entschieden wird, dass die Gesamtsumme der Variablen i entspricht oder größer ist, schreitet die Steuerung zu Schritt 4 fort.
In dem dem Schritt 3 folgenden Schritt 4 wird die Gruppe mit dem Maximalwert der Identitätswahrscheinlichkeit Po berechnet, die mit den das Referenzobjekt, d.h. das i-te erste Objekt O1i, enthaltenden Gruppen in Beziehung steht. Wie vorstehend beschrieben wurde, wird die Identitätswahrscheinlichkeit Po, die anzeigt, dass die ersten und zweiten Objekte O1i und O2i identisch sind, für alle Kombinationen der erfassten ersten und zweiten Objekte O1i und O2i bestimmt. Dann wird in Schritt 4 das zweite Objekt O2i in der Kombination bestimmt, durch die die maximale Identitätswahrscheinlichkeit Po bezüglich des i-ten ersten Objekts O1i erhalten wird.
In Schritt 5 wird bestimmt, ob die für die bestimmte Gruppe berechnete Identitätswahrscheinlichkeit Po einen vorgegebenen Entscheidungswert Pth überschreitet oder nicht. Der vorgegebene Entscheidungswert Pth wird als Wert bestimmt, gemäß dem vorausgesetzt wird, dass die durch die Sensoren S1 und S2 erfassten Objekte bezüglich der Position und der Geschwindigkeit identisch sind (Wahrscheinlichkeitswert). Wenn in Schritt 5 bestimmt wird, dass die Identitätswahrscheinlichkeit Po den vorgegebenen Entscheidungswert Pth überschreitet, wird entschieden, dass die Wahrscheinlichkeit, dass die bestimmte Gruppe ein identisches Objekt bezüglich der Position und der Geschwindigkeit enthält, hoch ist, so dass das erste und das zweite Objekt O1i, O2i der Gruppe als identische Objekte bestimmt werden (Schritt 6). Andererseits wird, wenn in Schritt S5 nicht bestimmt wird, dass die Identitätswahrscheinlichkeit Po den vorgegebenen Entscheidungswert Pth überschreitet, entschieden, dass die Wahrscheinlichkeit, dass die bestimmte Gruppe ein identisches Objekt bezüglich der Position und der Geschwindigkeit enthält, gering ist. Das erste und das zweite Objekt O1i und O2i der Gruppe werden in diesem Fall als verschiedene Objekte bestimmt (Schritt 7).
Im dem Schritt 6 oder 7 folgenden Schritt 8 wird die Variable i um 1 inkrementiert (i + 1), und die beschriebene Verarbeitung wird für eine der Anzahl der durch den ersten Sensor S1 erfassten ersten Objekte O1i entsprechende Anzahl von Malen wiederholt. Daher wird für alle Kombinationen der ersten und zweiten Objekte O1i und O2i bestimmt, ob die Objekte identisch sind oder nicht.
Andererseits wird, wenn in Schritt 3 nicht bestimmt wird, dass die Gesamtsumme größer oder gleich der Variablen i ist, die Routine beendet. In diesem Fall gibt der Entscheidungsabschnitt 12 die Position und die Geschwindigkeit jedes der durch den ersten Sensor S1 erfassten ersten Objekte O1i und die Position und die Geschwindigkeit jedes der durch den zweiten Sensor S2 erfassten zweiten Objekte O2i an den Steuerabschnitt 13 aus. Außerdem gibt der Entscheidungsabschnitt 12 die durch den ersten und den zweiten Detektor S1 und S2 erfasste Gruppe, die das identische Objekt enthält, mit der mit der Gruppe in Beziehung stehenden Identitätswahrscheinlichkeit Po an den Steuerabschnitt 13 aus, der dann das ausgegebene Ergebnis verwendet, um die Fahrtsituationen des Fahrzeugs basierend auf der Information, die mit dem durch die Sensoren S1 und S2 erfassten identischen Objekt oder mit dem nur durch den Sensor S1 oder S2 erfassten Objekt in Beziehung steht, zu erkennen und zu überwachen.
Wie vorstehend beschrieben wurde, wird in der ersten Ausführungsform unter Verwendung sowohl der Position als auch der Geschwindigkeit bestimmt, ob die durch die Sensoren erfassten Objekte identisch sind oder nicht. Daher wird, wenn Objekte sich bezüglich der Position oder der Geschwindigkeit näherungsweise gleichen, der andere dieser Parameter betrachtet, so dass exakt bestimmt werden kann, ob die erfassten Objekte identisch sind oder nicht. In der ersten Ausführungsform kann der Übereinstimmungsgrad zwischen einem durch einen Sensor erfassten Objekt und einem durch den anderen Sensor erfassten Objekt quantitativ als Identitätswahrscheinlichkeit bestimmt werden. Weil die Identitätswahrscheinlichkeit bezüglich einer mit Messwertfehlern in Beziehung stehenden Normalverteilung berechnet wird, kann außerdem die mit der Normalverteilung in Beziehung stehende Standardabweichung beliebig geändert werden, um die Validität oder den Genauigkeitsgrad der Bestimmung geeignet zu ändern. Außerdem kann das durch die Sensoren erfasste identische Objekt exakt erkannt werden, so dass das durch nur einen Sensor erfasste Objekt ebenfalls exakt erfasst werden kann. Daher kann in der ersten Ausführungsform die Erkennungsgenauigkeit im Vergleich zu dem Fall, in dem einfach mehrere Sensoren in Kombination in einem Überwachungssystem verwendet werden, weiter verbessert werden.
In der ersten Ausführungsform wird das durch einen Sensor erfasste Objekt als Referenzobjekt verwendet, und die Gruppe mit dem Maximalwert der Identitätswahrscheinlichkeit Po wird unter den Gruppen bestimmt, die jeweils das Referenzobjekt enthalten (Schritt 4), und die nachfolgende Verarbeitung wird ausgeführt. Es ist jedoch möglich, dass die Identitätswahrscheinlichkeit Po den vorgegebenen Entscheidungswert Pth oder einen höheren Wert in zwei oder mehr Gruppen annimmt, die das Referenzobjekt enthalten. Ein derartiges Ereignis kann beispielsweise eintreten, wenn zwei Erfassungsergebnisse für ein Objekt bereitgestellt werden, weil beispielsweise der Spiegel eines Fahrzeugs durch ein Laserradar erfasst wird. Daher besteht, wenn nur die Gruppe mit dem Maximalwert der Identitätswahrscheinlichkeit Po bestimmt wird, die Möglichkeit, dass die Entscheidungs- oder Bestimmungsverarbeitung nicht für alle Gruppen ausgeführt wird, die die Objekte enthalten.
Nachstehend wird vorausgesetzt, dass zwei Gruppen existieren, die den vorgegebenen Entscheidungswert Pth überschreiten, wobei die Gruppen als erste und zweite Gruppe bezeichnet werden. In diesem Fall führt der Entscheidungsabschnitt 12 vorzugsweise die folgende Verarbeitung aus: insbesondere werden die in Verbindung mit der ersten Gruppe berechnete Identitätswahrscheinlichkeit Po und die in Verbindung mit der zweiten Gruppe berechnete Identitätswahrscheinlichkeit Po mit einem Entscheidungswert Pth' verglichen, der größer ist als der vorgegebene Entscheidungswert Pth. Wenn die in Verbindung mit der ersten und der zweiten Gruppe berechneten Identitätswahrscheinlichkeiten Po jeweils den Entscheidungswert Pth' überschreiten, wird entschieden, dass die Objekte der ersten und der zweiten Gruppe identisch sind. Andererseits kann die in Verbindung mit der ersten Gruppe berechnete Identitätswahrscheinlichkeit Po oder die in Verbindung mit der zweiten Gruppe berechnete Identitätswahrscheinlichkeit Po den Entscheidungswert Pth' nicht überschreiten. In diesem Fall können die Objekte der Gruppe, der die Identitätswahrscheinlichkeit Po zugeordnet ist, die den Entscheidungswert Pth' überschreitet, als identische Objekte bestimmt werden. Dadurch kann die Entscheidung, ob die Objekte identisch sind oder nicht, effektiver gemacht werden.
In der ersten Ausführungsform werden ein Sensor zum Erfassen eines Objekts basierend auf einem Paar aufgenommener Bilder unter Verwendung einer Stereoskopbildverarbeitung und das Millimeterwellenradar 9 als Sensoren verwendet. An Stelle jeder der Sensoren kann ein anderer Sensor, z.B. ein Laserradar, verwendet werden. Der Laserradar kann die Position eines Objekts, aber nicht dessen Geschwindigkeit erfassen. Ähnlich wie der vorstehend beschriebene erste Sensor kann das Laserradar die Relativgeschwindigkeit des Objekts jedoch basierend auf der Position des erfassten Objekts und der zu einem bestimmten vorangehenden Zeitpunkt vorliegenden Position des erfassten Objekts bestimmen. Daher wird erfindungsgemäß als eine Funktion eines Sensors nicht nur die Bestimmung der Position des Objekts, sondern auch die Bestimmung der Relativgeschwindigkeit basierend auf der zu einem vorgegebenen vorangehenden Zeitpunkt vorliegenden Position des erfassten Objekts bereitgestellt.
In der vorliegenden Ausführungsform werden die beiden Sensoren in Kombination verwendet, es können jedoch auch drei oder mehr Sensoren in Kombination verwendet werden. Bei der Verwendung von drei oder mehr Sensoren in Kombination kann gemäß einem ähnlichen Verfahren wie in der vorstehend beschriebenen Ausführungsform bestimmt werden, ob die durch die Sensoren erfassten Objekte identisch sind oder nicht, indem beispielsweise, wenn die mit den durch die drei oder mehr Sensoren erfassten Objekten in Beziehung stehende berechnete Identitätswahrscheinlichkeit Po größer oder gleich dem vorgegebenen Entscheidungswert Pth ist, vorausgesetzt wird, dass die durch die Sensoren erfassten Objekte identisch sind.
Daher kann bei Verwendung mehrerer Sensoren mindestens einer der Sensoren mehrere Objekte erfassen. In diesem Fall wird vorzugsweise für alle (oder beliebige) Kombinationen der durch die Sensoren erfassten Objekte ähnlich wie in den vorstehend unter Bezug auf die 3 und 4 beschriebenen Routinen, bestimmt, ob die Objekte identisch sind oder nicht.
Insbesondere wird für jeden Sensor ein Objekt unter den erfassten Objekten ausgewählt, wodurch Gruppen als verschiedene Kombinationen gebildet werden. Für jede Gruppe werden die Identitätswahrscheinlichkeiten Pz und Px bezüglich der Position und die Identitätswahrscheinlichkeiten Pvz und Pvx bezüglich der Geschwindigkeit berechnet. Für jede Gruppe wird die Identitätswahrscheinlichkeit Po als die Wahrscheinlichkeit, dass die Objekte der Gruppe identisch sind, basierend auf den berechneten Identitätswahrscheinlichkeiten Pz und Px bezüglich der Position und den berechneten Identitätswahrscheinlichkeiten Pvz und Pvx bezüglich der Geschwindigkeit berechnet. Dann wird das durch einen Sensor erfasste Objekt als Referenzobjekt verwendet, und die Gruppe mit dem Maximalwert der für die Gruppe, die das Referenzobjekt enthält, berechneten Identitätswahrscheinlichkeit Po wird bestimmt. Wenn die für die bestimmte Gruppe berechnete Identitätswahrscheinlichkeit Po den vorgegebenen Entscheidungswert Pth überschreitet, werden die Objekte der bestimmten Gruppe als identische Objekte bestimmt. Um exakt zu bestimmen, ob die Objekte identisch sind oder nicht, wird vorzugsweise für alle (oder beliebige) Kombinationen der durch die Sensoren erfassten Objekte bestimmt, ob die Objekte identisch sind oder nicht.
Für die Verwendung von drei oder mehr Sensoren kann der Entscheidungsabschnitt 12 die folgende Funktion aufweisen: insbesondere extrahiert, wenn die bestimmte Identitätswahrscheinlichkeit Po kleiner ist als der vorgegebene Entscheidungswert Pth, der Entscheidungsabschnitt 12 die Objekte in einer beliebigen Kombination von den erfassten Objekten. Daher werden beispielsweise zwei durch zwei Sensoren erfasste Objekte von den durch die drei oder mehr Sensoren erfassten Objekten extrahiert. Es wird eine Verarbeitung für die extrahierten Objekte ausgeführt, um die Identitätswahrscheinlichkeit Po zu berechnen. In diesem Fall werden, wenn die berechnete Identitätswahrscheinlichkeit Po den vorgegebenen Entscheidungswert Pth überschreitet, die extrahierten Objekte als identische Objekte bestimmt. Gemäß der Funktion kann vorausgesetzt werden, dass die durch die Mehrzahl der drei oder mehr Sensoren erfassten Objekte identisch sind (d.h. es ist nicht erforderlich, die Objekte durch alle Sensoren zu erfassen).
Bei der Verwendung von drei oder mehr Sensoren in Kombination können Sensoren auch geeignet in Abhängigkeit von Verhältnissen oder Zuständen verwendet werden, derart, dass, wenn beispielsweise die Erfassungsgenauigkeit eines Laserradars durch starken Nebel im Vergleich zum Normalzustand beeinträchtigt ist, Erfassungsinformation vom Laserradar unterdrückt wird, oder derart, dass Information von einem Millimeterwellenradar unterdrückt wird, wenn eine höhere Priorität auf die Auflösung gelegt wird. Nur die Sensoren mit geeigneten Kenngrößen werden in Abhängigkeit von Verhältnissen oder Zuständen verwendet, so dass das Objekt effektiver erfasst werden kann.
In der ersten Ausführungsform des Verfahrens zum Bestimmen identischer Objekte kann außerdem in einer vorangehenden Verarbeitung verwendete Information, d.h. geschichtliche Information, verwendet werden. Der größte Teil der geschichtlichen Information ist der Bestimmung identischer Objekte zugeordnet, so dass die Bestimmung identischer Objekte genauer implementiert werden kann. Als Vorbedingung zum Ausführen der Verarbeitung müssen mehrere Informationselemente als geschichtliche Information gespeichert werden. Als geschichtliche Information können die folgenden drei Informationselemente genannt werden:

(1) geschichtliche Information, die anzeigt, dass in der vorangehenden Verarbeitung ein durch einen Sensor erfasstes Objekt als Objekt bestimmt wurde, das mit einem der durch einen beliebigen anderen Sensor erfassten Objekte identisch ist;
(2) geschichtliche Information, die anzeigt, wie oft aufeinanderfolgend in vorangehenden Verarbeitungen ein durch einen Sensor erfasstes Objekt als Objekt bestimmt wurde, das mit einem durch einen beliebigen anderen Sensor erfassten Objekt identisch ist; und
(3) geschichtliche Information, die die Identitätswahrscheinlichkeit Po eines durch einen Sensor erfassten Objekts und eines durch einen beliebigen anderen Sensor erfassten Objekts anzeigt.

Die Verarbeitung zum Bestimmen identischer Objekte unter Verwendung der Information wird folgendermaßen implementiert: zunächst wird gemäß einem Beispiel zusätzlich zur Verarbeitung zum Bestimmen identischer Objekte eine Korrektur vorgenommen, um die Identitätswahrscheinlichkeit Po der Gruppe, die auch in der vorangehenden Verarbeitung als identisch bestimmt wurde, unter Verwendung der unter Punkt (1) genannten Information auf eine vorgegebene Wahrscheinlichkeit zu erhöhen. Außerdem wird zusätzlich zur Verarbeitung, in der die unter Punkt (1) genannte Information verwendet wird, eine Korrektur vorgenommen, um die Identitätswahrscheinlichkeit Po der als identisch bestimmten Gruppe in Antwort auf die Anzahl aufeinanderfolgender Male, in denen die Objekte als identisch bestimmt worden sind, unter Verwendung der unter Punkt (2) genannten Information, auf eine vorgegebene Wahrscheinlichkeit zu erhöhen. Als weiteres Beispiel wird zusätzlich zur Verarbeitung zum Bestimmen identischer Objekte eine Datenkorrektur der berechneten Identitätswahrscheinlichkeit Po für einen Glättungsprozess basierend auf der in der vorangehenden Verarbeitung berechneten Identitätswahrscheinlichkeit Po unter Verwendung der unter Punkt (3) genannten Information vorgenommen. Die geschichtliche Information wird daher verwendet, um die Identitätswahrscheinlichkeit der in der vorangehenden Verarbeitung als identisch bestimmten Gruppe zu erhöhen, wodurch die Genauigkeit der Bestimmung identischer Objekte weiter erhöht werden kann. Wenn die geschichtliche Information derart verwendet wird, kann, wenn ein vorübergehender Fehler auftritt, die Wahrscheinlichkeit vermindert werden, dass ein Fehler bei der Bestimmung identischer Objekte auftritt.
In der vorliegenden Ausführungsform wird die Wahrscheinlichkeit Po berechnet, dass die durch die Sensoren erfassten Objekte identisch sind, und es wird quantitativ bestimmt, ob die Objekte identisch sind oder nicht, die vorliegende Erfindung ist jedoch nicht darauf beschränkt, insofern das Verfahren ein Verfahren unter Verwendung von Positionsinformation und Geschwindigkeitsinformation als Entscheidungsinformationselemente ist. Gemäß einem anderen beispielhaften Verfahren kann das folgende Verfahren verwendet werden: Zunächst werden die Relativposition und die Relativgeschwindigkeit jedes der erfassten Objekte bestimmt. Ein Positionsfehler des erfassten Objekts wird basierend auf der bestimmten Position erfasst, und der bestimmte Positionsfehler wird mit einem ersten Entscheidungswert verglichen. In diesem Fall wird ferner ein Geschwindigkeitsfehler des erfassten Objekts basierend auf der bestimmten Geschwindigkeit bestimmt, und der bestimmte Geschwindigkeitsfehler wird mit einem zweiten Entscheidungswert verglichen. Dadurch werden die erfassten Objekte derart in identische und verschiedene Objekte getrennt, dass beispielsweise, wenn der bestimmte Positionsfehler kleiner ist als der erste Entscheidungswert und der bestimmte Geschwindigkeitsfehler kleiner ist als der zweite Entscheidungswert, entschieden wird, dass die erfassten Objekte identisch sind. Durch ein derartiges Verfahren könnten identische Objekte effektiv bestimmt werden unter der Bedingung, dass die Objekte bezüglich der Position und außerdem bezüglich der Geschwindigkeit übereinstimmen. Beispielsweise können, wie in 7 dargestellt ist, ein dem eigenen Fahrzeug vorausfahrendes Fahrzeug und ein das eigene Fahrzeug passierendes, entgegenkommendes Fahrzeug für eine Erkennung exakt getrennt werden.
Zweite Ausführungsform
8 zeigt ein Blockdiagramm einer zweiten Ausführungsform einer erfindungsgemäßen Versatzkorrekturvorrichtung. Die Ausführungsform der Versatzkorrekturvorrichtung 1a dient z.B. als Teil eines Überwachungssystems zum Überwachen von Fahrtsituationen vor einem Fahrzeug. Das Überwachungssystem verwendet mehrere Sensoren, erfasst Objekte durch Zusammenwirkung der Sensoren und erkennt die Fahrtsituationen basierend auf der Erfassungsinformation. Außerdem korrigiert das Überwachungssystem einen Versatz der durch einen Sensor und einen beliebigen ande ren Sensor erfassten identischen Objekte durch die Funktion der Versatzkorrekturvorrichtung 1a. Komponenten, die mit denjenigen der vorstehend unter Bezug auf 1 beschriebenen ersten Ausführungsform identisch sind, sind in 8 durch die gleichen Bezugszeichen bezeichnet und werden nicht erneut ausführlich beschrieben.
Die zweite Ausführungsform unterscheidet sich von der ersten Ausführungsform dadurch, dass ein Versatz der durch die Sensoren erfassten identischen Objekte korrigiert wird. Eine mögliche Ursache eines derartigen Versatzes ist beispielsweise ein Sensorbefestigungs- oder -montagefehler. Normalerweise werden die im Überwachungssystem verwendeten Sensoren mit einer guten Genauigkeit an vorgegebenen Referenzpositionen befestigt, um eine Positionsübereinstimmung zwischen den erfassten Objekten zu erhalten. Wenn die Sensoren verwendet werden, kann sich jedoch der Sensormontagezustand von einem Sollzustand unterscheiden, d.h. die Montagepositionen können sich beispielsweise mit der Zeit von den Referenzpositionen verschieben. Als ein Beispiel einer Verschiebung von der Referenzposition kann eine Verschiebung der Bildaufnahmerichtung einer Stereoskopkamera 2 oder der Emissionsrichtung eines Referenzstrahls eines Millimeterwellenradars 9 von der Fahrzeuglängsrichtung oder eine Positionsverschiebung jedes Sensors in der Längsrichtung oder in der Querrichtung des Fahrzeugs genannt werden. Wenn die Sensoren ein identisches Objekt in einem derartigen Zustand erfassen, kann durch jede dieser Verschiebungen eine Relativverschiebung, d.h. ein Versatz, in den Positionen der durch die Sensoren erfassten Objekte verursacht werden. Daher besteht die Möglichkeit, dass die erfassten Objekte als verschiedene Objekte bestimmt werden. Diese Erscheinung ist unerwünscht, obwohl mehrere Sensoren verwendet werden, um die Erfassungsgenauigkeit zu erhöhen.
In der zweiten Ausführungsform weist die Versatzkorrekturvorrichtung zum Korrigieren des Versatzes zusätzlich zu den Komponenten der Vorrichtung der ersten Ausführungsform einen Korrekturwertberechnungsabschnitt 14 und einen Korrekturabschnitt 15 als Funktionselemente eines Mikrocomputers 10 auf. In der nachfolgenden Beschreibung wird vorausgesetzt, dass ein Versatz der durch die Sensoren erfassten identischen Objekte durch eine Relativverschiebung θt der Sensoren in ihrer Winkelrichtung verursacht wird.
Der Korrekturwertberechnungsabschnitt 14 setzt Korrekturparameter δ zum Korrigieren eines relativen Versatzes der durch einen in einer Stereoskopbildverarbeitung verwendeten ersten Sensor S1 und einen zweiten Sensors eines Millimeterwellenradars 9 erfassten identischen Objekte. In der vorliegenden Ausführungsform setzt der Korrekturwertberechnungsabschnitt 14 beispielsweise zwei Korrekturparameter δ, d.h. ein ersten Korrekturparameter δ1 und einen zweiten Korrekturparameter δ2. Unter der Voraussetzung, dass ein Versatz der identischen Objekte durch eine relative Verschiebung der Sensoren in ihrer Winkelrichtung verursacht wird, kann durch den Korrekturparameter δ eine Korrektur derart vorgenommen werden, dass die Position des erfassten Objekts um ein Verschiebungsmaß θ gedreht wird. Der gesetzte Korrekturparameter δ wird an den Korrekturabschnitt 15 ausgegeben, der dann die Position des durch den Sensor erfassten Objekts basierend auf dem Korrekturparameter δ relativ korrigiert. In der in 8 dargestellten Ausführungsform führt der Korrekturabschnitt 15 diese Korrektur bezüglich des durch den zweiten Sensor S2 erfassten Objekts aus. Daher entspricht die mit jedem zweiten Objekt O2i in Beziehung stehende korrigierte Positionsinformation der Positionsinformation für einen Zustand, in dem der zweite Sensor S2 das Objekt erfassen würde, wenn der Sensor vom aktuellen Montagezustand um einen Winkel θ relativ versetzt würde.
Die Positionsinformation für das Objekt, dessen Position basierend auf dem Korrekturparameter δ relativ korrigiert wurde, und Geschwindigkeitsinformation für das Objekt werden an einen Bestimmungsabschnitt 12 ausgegeben, der dann bestimmt, ob die durch die Sensoren S1 und S2 erfassten Objekte identisch sind oder nicht. Der Korrekturwertberechnungsabschnitt 14 vergleicht die Bestimmungsergebnisse und bestimmt den Korrekturparameter δ, der für das identische Objekt mit der höheren Identitätswahrscheinlichkeit Po bestimmt wurde. Ein Rückkopplungskorrekturparameter δam zum Ausführen einer Rückkopplungskorrektur für einen relativen Versatz der durch die Sensoren erfassten Objekte wird basierend auf dem bestimmten Korrekturparameter δ bestimmt. Der bestimmte Rückkopplungskorrekturparameter δam wird an den Korrekturabschnitt 15 ausgegeben, und die Position jedes durch die Sensoren erfassten Objekts wird immer einer dem Rückkopplungskorrekturparameter δam entsprechenden Korrektur unterzogen.
9 zeigt ein Ablaufdiagramm zum Darstellen einer zweiten Ausführungsform eines erfindungsgemäßen Versatzkorrekturverfahrens. Zu Beginn setzt der Korrekturwertberechnungsabschnitt 14 in Schritt 100 einen ersten Korrekturparameter δ1 zum Korrigieren eines relativen Versatzes der Position des durch den ersten Sensor S1 erfassten Objekts und der Position des durch den zweiten Sensor S2 erfassten Objekts. Der Korrekturabschnitt 15 korrigiert die Position jedes der durch den zweiten Sensor S2 erfassten zweiten Objekte O2i basierend auf dem gesetzten ersten Korrekturparameter δ1 (Schritt 110).
In Schritt S120 bestimmt der Bestimmungsabschnitt 12, ob die ersten Objekte O1i und jedes der zweiten Objekte O2i, deren Positionen basierend auf dem ersten Korrekturparameter δ1 kor rigiert wurden, identisch sind oder nicht. Wie in der ersten Ausführungsform bestimmt, wenn die erfassten Objekte als identische Objekte bestimmt wurden, der Bestimmungsabschnitt 12 die Kombination der als identische Objekte erkannten Objekte und berechnet quantitativ die Identitätswahrscheinlichkeit Po als die Wahrscheinlichkeit, dass die Kombination das identische Objekt enthält.
In Schritt 130 setzt der Korrekturwertberechnungsabschnitt 14 einen (vom ersten Korrekturparameter δ1 verschiedenen) zweiten Korrekturparameter δ2 zum Korrigieren eines relativen Versatzes der Position des durch den ersten Sensor S1 erfassten Objekts und der Position des durch den zweiten Sensor S2 erfassten Objekts. Der Korrekturabschnitt 15 korrigiert die Position jedes der durch den zweiten Sensor S2 erfassten zweiten Objekte O2i basierend auf dem gesetzten zweiten Korrekturparameter δ2 (Schritt 140).
In Schritt S150 bestimmt der Entscheidungsabschnitt 12, ob jedes der ersten Objekte O1i und jedes der zweiten Objekte O2i, deren Positionen basierend auf dem zweiten Korrekturparameter δ2 korrigiert wurden, identisch sind oder nicht. Wenn die erfassten Objekte als identische Objekte bestimmt werden, bestimmt der Entscheidungsabschnitt 12 die Kombination der als identisch erkannten Objekte und berechnet wie in Schritt 120 quantitativ die Identitätswahrscheinlichkeit Po als die Wahrscheinlichkeit, dass die Kombination das identische Objekt enthält.
In Schritt 160 bestimmt der Korrekturwertberechnungsabschnitt 14, welcher der ersten und zweiten Korrekturparameter δ1 und δ2 der genaueste oder gültige Korrekturparameter δ ist. Insbesondere wird ein Vergleich zwischen der Identitätswahrscheinlichkeit Po, die mit der basierend auf dem ersten Korrekturparameter δ1 korrigierten Relativposition berechnet wird, und der Identitätswahrscheinlichkeit Po, die mit der basierend auf dem zweiten Korrekturparameter δ2 korrigierten Relativposition berechnet wird, derart ausgeführt, dass beispielsweise der Mittelwert oder die Gesamtsumme der berechneten Identitätswahrscheinlichkeiten Po für jeden der Korrekturparameter δ1 und δ2 bestimmt wird, wobei die bestimmten Mittelwerte oder Gesamtsummen für einen Vergleich zwischen den Identitätswahrscheinlichkeit Po verwendet werden. Der bestimmte Korrekturparameter δ1 oder δ2, der der basierend auf dem Vergleich erhaltenen Identitätswahrscheinlichkeit Po mit dem höheren Wert (d.h. dem identischen Objekt mit der höheren Identitätswahrscheinlichkeit Po) entspricht, wird als genauester oder gültiger Korrekturparameter δ bestimmt.
In Schritt 170 wird basierend auf dem bestimmten Korrekturparameter δ ein Rückkopplungskorrekturparameter δam zum Ausführen einer Rückkopplungskorrektur für den relativen Versatz der durch die Sensoren erfassten identischen Objekte bestimmt. In der vorliegenden Ausführungsform wird zum Erreichen einer stabilen Steuerung die folgende Verarbeitung ausgeführt, ohne dass der bestimmte Korrekturparameter δ als Rückkopplungskorrekturparameter δam beibehalten wird: Insbesondere wird zunächst die Differenz zwischen dem aktuellen Wert des Rückkopplungskorrekturparameters δam und dem in Schritt 160 bestimmten Wert des Korrekturparameters δ als Versatzwert Δδ berechnet. Der Versatzwert Δδ wird mit einer Proportionalitätskonstanten (0 < k < 1) multipliziert, und das Multiplikationsergebnis wird zum aktuellen Wert des Rückkopplungskorrekturparameters δam addiert, um den Wert des Rückkopplungskorrekturparameters δam zu aktualisieren. Der aktualisierte Rückkopplungskorrekturparameter δam wird an den Korrekturabschnitt 15 ausgegeben. Dadurch wird die unter Bezug auf das Ablaufdiagramm beschriebene Routine beendet.
Wie vorstehend beschrieben wurde, wird gemäß der zweiten Ausführungsform der Korrekturparameter δ gesetzt, und basierend auf dem Identitätsgrad der Objekte wird bestimmt, ob der Korrekturparameter δ gültig ist oder nicht. D.h., der Korrekturparameter δ zum Korrigieren eines anscheinend tatsächlich auftretenden Versatzes wird hypothetisch gesetzt, und die Validität oder der Genauigkeitsgrad des Korrekturparameters δ wird bewertet, indem der Übereinstimmungsgrad der identischen Objekte (d.h. die Identitätswahrscheinlichkeit Po) gefunden wird. Entsprechend wird der als gültig bestimmte Korrekturparameter δ zum Korrigieren der Positionen der erfassten Objekte verwendet, wodurch der Versatz der durch mehrere Sensoren erfassten identischen Objekte effektiv korrigiert werden kann. Weil der Korrekturparameter δ geeignet gesetzt werden kann, kann ein Versatz auch dann effektiv korrigiert werden, wenn der Versatzwert groß wird und die Objekte, die identisch sein sollten, nicht als identische Objekte erkannt werden.
Wenn ein Objekt und ein Sensor nahe beieinander angeordnet sind (vgl. 10A), wird aufgrund der Erfassungspositionsdifferenz im Vergleich zu einem Fall, in dem das Objekt und ein Sensor weit voneinander beabstandet sind (vgl. 10B) ein großer Versatz erhalten. Daher besteht die Möglichkeit, dass die Position des erfassten Objekts einen Fehler aufweisen kann, der größer ist als der Montagewinkelfehler. In der vorliegenden Ausführungsform wird beim Vergleich der Entscheidungsergebnisse in den Schritten 120 und 150 vorzugsweise nur ein Entscheidungsergebnis verwendet, das mit dem Objekt in Beziehung steht, das bezüglich der Position weiter vom vorgegebenen Entscheidungswert beabstandet ist. Daher wird zum Ausführen der Verarbeitung nur die Identitätswahrscheinlichkeit Po mit einem klei neren Fehler verwendet, so dass ein Versatz exakt korrigiert werden kann.
Der relative Versatz zwischen dem ersten Sensor S1 und dem zweiten Sensor S2 ist nicht auf einen Winkelversatz beschränkt, sondern kann auch als Versatz in der Längsrichtung oder in der Querrichtung vorausgesetzt werden, um die beschriebene Verarbeitung auszuführen.
In der Beschreibung der zweiten Ausführungsform wird vorausgesetzt, dass ein Versatz der erfassten Objekte durch einen Sensormontagefehler verursacht wird, die vorliegende Erfindung ist jedoch nicht auf diesen Fall beschränkt. Beispielsweise kann gemäß einem ähnlichen Verfahren auch ein durch einen Fehler in der Abstandsmessgenauigkeit eines Sensors verursachter relativer Versatz zwischen identischen Objekten korrigiert werden. Beispielsweise setzt der Korrekturwertberechnungsabschnitt 14 den Korrekturparameter δ basierend auf einem relativen Erfassungspositionsfehler zwischen einem Sensor und einem anderen Sensor, so dass ein durch den Erfassungsfehler verursachter Versatz korrigiert werden kann.
In der zweiten Ausführungsform werden die beiden Korrekturparameter δ gesetzt, und ein als gültig bestimmter Korrekturparameter δ wird als Rückkopplungskorrekturparameter δam verwendet, die Anzahl der anfangs gesetzten Korrekturparameter δ kann jedoch größer sein als zwei.
Wenn drei oder mehr Korrekturparameter δ derart gesetzt werden, um den genauesten oder gültigen Korrekturparameter δ zu bestimmen, muss bestimmt werden, ob die Objekte bezüglich allen Korrekturparametern δ identisch sind, und die Entscheidungsergebnisse müssen bewertet werden. Für eine derartige Verarbeitung nimmt jedoch die Verarbeitungslast zu, und die Verarbeitungszeit wird verlängert. Dann werden, um drei oder mehr Korrekturparameter δ zu setzen, die Korrekturparameter δ vorzugs weise in mehrere Gruppen klassifiziert, und die vorstehend beschriebene Verarbeitung wird in einem Prozess bezüglich nur den einer Gruppe zugeordneten Korrekturparametern δ ausgeführt. Dadurch kann in einem Prozess die Verarbeitungszeit zum Bestimmen, ob die Objekte identisch sind oder nicht, und für ähnliche Verarbeitungen verkürzt werden. Wenn die für jede Gruppe ausgewählten Korrekturparameter δ weiter verglichen werden, kann der gültige Korrekturparameter δ bestimmt werden. In diesem Fall ist vorzugsweise der Referenzkorrekturparameter δ in jeder Gruppe enthalten.
Gemäß einem Verfahren zum Vergleichen der Korrekturparameter δ in verschiedenen Gruppen kann ein gemeinsamer Bewertungswert in den Gruppen verwendet werden. Beispielsweise wird als Bewertungswert der Mittelwert (oder die Gesamtsumme) der Identitätswahrscheinlichkeiten Po für jede Gruppe durch die auf dem Referenzkorrekturparameter δ basierende Identitätswahrscheinlichkeit Po geteilt, und das Ergebnis wird verwendet.
In der vorliegenden Ausführungsform wird der Korrekturparameter δ basierend auf einem Erfassungsergebnis der Sensoren bestimmt. Um die Validität oder Genauigkeitsgrad des Korrekturparameters δ zu erhöhen, wird die vorstehend beschriebene Verarbeitung zum Bestimmen des Korrekturparameters δ jedoch zweimal oder häufiger wiederholt. Beispielsweise wird gemäß einem Verfahren, wenn die Anzahl von Malen, in denen der Korrekturparameter δ als genauester Parameter bestimmt worden ist, einen vorgegebenen Entscheidungswert überschreitet, der Korrekturparameter δ als vertrauenswürdig betrachtet, oder wenn die Anzahl von Malen, in denen der Korrekturparameter δ als genauester Parameter bestimmt worden ist, einen Maximalwert erreicht, wird der Korrekturparameter δ als vertrauenswürdig betrachtet. Da durch kann der Korrekturparameter δ mit einer hohen Genauigkeit berechnet werden.
Das Verfahren zum Bestimmen identischer Objekte ist nicht auf das vorstehende Verfahren zum Bestimmen der Identitätswahrscheinlichkeit Po beschränkt. Ob Objekte identisch sind oder nicht, kann basierend auf den in Verbindung mit der ersten Ausführungsform beschriebenen Positions- und Geschwindigkeitsinformationsfehlern bestimmt werden. Das Verfahren zum quantitativen Bestimmen der Identitätswahrscheinlichkeit gemäß der vorliegenden Ausführungsform ist jedoch bevorzugt, weil eine Vergleichsverarbeitung leicht ausgeführt werden kann.
Dritte Ausführungsform
Eine dritte Ausführungsform der vorliegenden Erfindung unterscheidet sich von der zweiten Ausführungsform darin, dass ein durch eine Messzeitdifferenz zwischen den Sensoren verursachter Versatz von Objekten korrigiert wird. Beispielsweise stimmen bei der Verwendung mehrerer Sensoren die Erfassungszeiten der Sensoren grundsätzlich überein. Falls jedoch eine Erfassungszeitdifferenz auftritt, insbesondere in einem Zustand, in dem das eigene Fahrzeug abbiegt oder eine Kurvenfahrt ausführt, unterscheiden sich die Relativpositionen der durch die Sensoren erfassten Objekte, wenn die Erfassungszeiten sich unterscheiden. Wenn die Sensoren in einem derartigen Zustand ein identisches Objekt erfassen, besteht die Möglichkeit, dass die durch die Sensoren erfassten Objekte aufgrund des Versatzes als verschiedene Objekte bestimmt werden.
In der dritten Ausführungsform wird zum Korrigieren eines durch eine Messzeitdifferenz verursachten Fehlers zusätzlich zu den in der zweiten Ausführungsform bereitgestellten Komponenten ein Giergeschwindigkeitssensor bereitgestellt. Beispielsweise werden bei einer Stereoskopbildverarbeitung Daten immer für eine der Bildlese- und -schreibverarbeitung erforderliche Zeit dauer verzögert. Um einen bei einer Stereoskopbildverarbeitung verwendeten ersten Sensor S1 und einen zweiten Sensor S2, der durch ein Millimeterwellenradar 9 gebildet wird, in Kombination zu verwenden, wird vorzugsweise eine Zeitverzögerung Δt für die Verarbeitungszeit der Stereoskopbildverarbeitung bezüglich der Verarbeitungszeit des Millimeterwellenradars 9 als Datenelement bereitgestellt. Daher werden die Daten um die Giergeschwindigkeit XΔt gedreht, wodurch eine Korrektur vorgenommen werden kann.
Ein derartiger relativer Versatz identischer Objekte kann außerdem durch ein Verfahren korrigiert werden, das dem in der zweiten Ausführungsform verwendeten Verfahren ähnlich ist, wobei beispielsweise ein Korrekturwertberechnungsabschnitt 14 einen Korrekturparameter 6 setzt, um Daten basierend auf einer relativen Erfassungszeitdifferenz Δt zwischen einem Sensor und einem anderen Sensor um die Giergeschwindigkeit XΔt zu drehen. Durch ein derartiges Verfahren könnte ein Versatz identischer Objekte wie in der zweiten Ausführungsform effektiv korrigiert werden.
Wie vorstehend beschrieben wurde, werden erfindungsgemäß sowohl Positionsinformation als auch Geschwindigkeitsinformation verwendet, um zu bestimmen, ob durch mehrere Sensoren erfasste Objekte identisch sind oder nicht. Daher wird, wenn die Positionsinformation oder die Geschwindigkeitsinformation der Objekte näherungsweise übereinstimmt, das andere Informationselement betrachtet, so dass exakt bestimmt werden kann, ob die erfassten Objekte identisch sind oder nicht.

Claims

Verfahren zum Bestimmen identischer Objekte zum Bestimmen, ob durch einen ersten Sensor (S1) und einen zweiten Sensor (S2) erfasste Objekte identisch sind oder nicht; wobei das Verfahren zum Bestimmen identischer Objekte aufweist: einen Schritt zum Bestimmen einer Relativposition in einer Fahrzeugbreitenrichtung (x1) und einer Position in einer Fahrzeuglängsrichtung (z1) und einer Relativgeschwindigkeit in der Fahrzeugbreitenrichtung (vx1) und einer Geschwindigkeit in der Fahrzeuglängsrichtung (vz1) eines durch den ersten Sensor (S1) erfassten Objekts (O1i) und einer Position in der Fahrzeugbreitenrichtung (x2) und einer Position in der Fahrzeuglängsrichtung (z2) und einer Geschwindigkeit in der Fahrzeugbreitenrichtung (vx2) und einer Geschwindigkeit in der Fahrzeuglängsrichtung (vz2) eines durch den zweiten Sensor (S2) erfassten Objekts (O2i); einen Schritt zum Bestimmen eines Positionsfehlers (Δx' = x1 – x2) in der Fahrzeugbreitenrichtung zwischen den bestimmten Positionen (x1, x2) und Berechnen einer Wahrscheinlichkeit Px als die Wahrscheinlichkeit, dass die erfassten Objekte (O1i, O2i) bezüglich der Position in der Fahrzeugbreitenrichtung identisch sind, vom bestimmten Positionsfehler (Δx') basierend auf einer Normalverteilung des Positionsfehlers (Δx'), wenn der erste und der zweite Sensor (S1, S2) ein identisches Objekt erfassen; einen Schritt zum Bestimmen eines Positionsfehlers (Δz' = z1 – z2) in der Fahrzeuglängsrichtung zwischen den be stimmten Positionen (z1, z2) und Berechnen einer Wahrscheinlichkeit Pz als die Wahrscheinlichkeit, dass die erfassten Objekte (O1i, O2i) bezüglich der Position in der Fahrzeuglängsrichtung identisch sind, vom bestimmten Positionsfehler (Δz') basierend auf einer Normalverteilung des Positionsfehlers (Δz'), wenn der erste und der zweite Sensor (S1, S2) ein identisches Objekt erfassen; einen Schritt zum Bestimmen eines Geschwindigkeitsfehlers (ΔVx' = Vx1 – Vx2) in der Fahrzeugbreitenrichtung zwischen den bestimmten Geschwindigkeiten (Vx1, Vx2) und Berechnen einer Wahrscheinlichkeit Pvx als die Wahrscheinlichkeit, dass die erfassten Objekte (O1i, O2i) bezüglich der Geschwindigkeit in der Fahrzeugbreitenrichtung identisch sind, vom bestimmten Geschwindigkeitsfehler (ΔVx') in der Fahrzeugbreitenrichtung basierend auf einer Normalverteilung des Geschwindigkeitsfehlers (ΔVx'), wenn der erste und der zweite Sensor (S1, S2) ein identisches Objekt erfassen; einen Schritt zum Bestimmen eines Geschwindigkeitsfehlers (ΔVz' = Vz1 – Vz2) in der Fahrzeuglängsrichtung zwischen den bestimmten Geschwindigkeiten (Vz1, Vz2) und Berechnen einer Wahrscheinlichkeit Pvz als die Wahrscheinlichkeit, dass die erfassten Objekte (O1i, O2i) bezüglich der Geschwindigkeit in der Fahrzeuglängsrichtung identisch sind, vom bestimmten Geschwindigkeitsfehler (ΔVz') in der Fahrzeuglängsrichtung basierend auf einer Normalverteilung des Geschwindigkeitsfehlers (ΔVz'), wenn der erste und der zweite Sensor (S1, S2) ein identisches Objekt erfassen; einen Schritt zum Berechnen einer Wahrscheinlichkeit Po als die Wahrscheinlichkeit, dass die erfassten Objekte identisch sind, als das Produkt Px × Pz × Pvx × Pvz der berechneten Wahrscheinlichkeiten Px, Pz, Pvx und Pvz; und einen Schritt zum Bestimmen, dass die erfassten Objekte identisch sind, wenn die Wahrscheinlichkeit Po einen ersten Entscheidungswert überschreitet.
Verfahren nach Anspruch 1, ferner mit einem Schritt zum Korrigieren der berechneten Wahrscheinlichkeit Po basierend auf historischer Information, die anzeigt, dass ein durch einen Sensor erfasstes Objekt als Objekt bestimmt wurde, das mit einem durch den anderen Sensor erfassten Objekt identisch ist.
Verfahren nach Anspruch 2, ferner mit einem Schritt zum Korrigieren der berechneten Wahrscheinlichkeit Po basierend auf historischer Information, die anzeigt, wie oft ein durch den einen Sensor erfasstes Objekt als Objekt bestimmt wurde, das mit einem durch den anderen Sensor erfassten Objekt identisch ist.
Verfahren nach Anspruch 1, ferner mit einem Schritt zum Korrigieren der berechneten Wahrscheinlichkeit Po basierend auf historischer Information, die die Wahrscheinlichkeit Po anzeigt, die für ein durch den einen Sensor erfasstes Objekt und ein durch den anderen Sensor erfasstes Objekt berechnet wurde.
Verfahren nach einem der Ansprüche 1 bis 4, wobei die Sensoren aus einem Sensor zum Erfassen eines Objekts basierend auf einem Paar aufgenommener Bilder unter Verwendung einer Stereoskopbildverarbeitung, einem Millimeterwellenradar und einem Laserradar ausgewählt werden.
Vorrichtung zum Bestimmen identischer Objekte zum Bestimmen, ob durch einen ersten und einen zweiten Sensor er fasste Objekte identisch sind oder nicht, mit einer Einrichtung, die dazu geeignet ist, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 5 auszuführen.