-
[Technisches Gebiet]
-
Die vorliegende Erfindung betrifft eine Objektschätzvorrichtung und ein Objektschätzverfahren, die eine Position und eine Geschwindigkeit eines Objekts anhand eines Bilds des Objekts schätzen.
-
[Stand der Technik]
-
Es werden beispielsweise verschiedene Erfassungsvorrichtungen vorgeschlagen, die ein Bild einer Ansicht vor einem Fahrzeug, beispielsweise einem Kraftfahrzeug, mittels einer Kamera, die in dem Fahrzeug installiert ist, aufnehmen, um ein Objekt, beispielsweise einen Fußgänger oder ein anderes Fahrzeug, auf der Grundlage des aufgenommenen Bilds zu erfassen (siehe Patentliteratur 1, Nicht-Patentliteratur 1). Derartige Erfassungsvorrichtungen erfassen ein Objekt und messen (schätzen) den Abstand von dem Fahrzeug (Kamera) zu dem Objekt und eine Bewegung (Geschwindigkeit) des Objekts.
-
Ein Erhalten der Position und einer Geschwindigkeit des Objekts kann bestimmen, ob das Objekt für das Fahrzeug gefährlich ist. Wenn dann das Objekt für das Fahrzeug gefährlich ist, wird ein Alarm hinsichtlich der Gefahr an den Fahrer ausgegeben oder die Bremse wird automatisch gesteuert, was den Fahrer bei der Fahrt unterstützen kann.
-
Die Nicht-Patentliteratur 1 beschreibt ein Verfahren zum Schätzen der dreidimensionalen Position und Geschwindigkeit eines Objekts anhand von Bildern, die von zwei Kameras aufgenommen werden. Insbesondere wird gemäß dem Verfahren der Nicht-Patentliteratur 1 eine Parallaxe für jedes Pixel aus den zwei Bildern, die von den zwei Kameras aufgenommen werden, erhalten. Außerdem wird eine Verschiebung (optischer Fluss) für jedes Pixel aus aufeinanderfolgenden Rahmenbildern, die von einer der Kameras aufgenommen werden, berechnet. Dann werden die tatsächliche Position und Geschwindigkeit des Objekts mittels eines Kalman-Filters unter Verwendung der Parallaxen und der optischen Flüsse als Eingänge geschätzt.
-
[Zitierungsliste]
-
[Patentliteratur]
-
- Patentliteratur 1: WO 2006/081906
-
[Nicht-Patentliteratur]
-
- Nicht-Patentliteratur 1: Clemens Rabe, Uwe Franke und Stefan Gehrig: „Fast detection of moving objects in complex scenarios”, Intelligent Vehicles Symposium, 2007IEEE, (Istanbul), 13. Juni 2007, S. 398–403.
-
[Zusammenfassung der Erfindung]
-
[Technisches Problem]
-
In Parallaxen und optischen Flüssen, die von Bildern, die von einer Kamera aufgenommen werden, erhalten werden, werden unvermeidlich Fehler aufgrund der Auflösung der Kamera, Fehler (Verfolgungsfehler) aufgrund einer fehlerhaften Verfolgung eines Objekts etc. erzeugt. Wenn die Parallaxen und optischen Flüsse, die derartige Fehler (abnorme Werte) enthalten, eingegeben werden, enthält ein berechneter Schätzwert des Objekts ebenfalls einen Fehler.
-
Das heißt, es wurde keine Vorrichtung geschaffen, die, wenn ein Eingangswert der Parallaxe oder des optischen Flusses ein abnormer Wert ist, geeignet einen Schätzwert, der mittels eines Filters berechnet wird, korrigieren kann, um einen Zustand (Position, Geschwindigkeit) eines Objekts mit hoher Genauigkeit zu schätzen.
-
[Lösung für das Problem]
-
Eine Ausführungsform schafft eine Objektschätzvorrichtung und ein Objektschätzverfahren, die geeignet einen Schätzwert korrigieren können, wenn ein abnormer Wert in Parallaxeninformationen und Verschiebungsinformationen erfasst wird, um eine Position und eine Geschwindigkeit eines Objekts genau zu schätzen.
-
Eine Objektschätzvorrichtung einer Ausführungsform schätzt eine Position und eine Geschwindigkeit eines Objekts in Bildern auf der Grundlage der Bilder, die von einer Bildaufnahmeeinrichtung von unterschiedlichen Positionen aufgenommen werden. Die Objektschätzvorrichtung enthält: eine Verschiebungsinformationserlangungseinrichtung, die zeitliche Verschiebungsinformationen einer Position eines entsprechenden Pixels aus Rahmen, die in zeitlicher Folge in einem Bezugsbild angeordnet sind, das ein Bezug unter den Bildern ist, erlangt; eine Parallaxeninformationserlangungseinrichtung, die Parallaxeninformationen jedes entsprechenden Pixels aus den Bildern mit Bezug auf das Bezugsbild erlangt; eine Schätzwerterlangungseinrichtung, die Schätzwerte der Position und der Geschwindigkeit des Objekts in einem dreidimensionalen Raum unter Verwendung eines Filters auf der Grundlage der Verschiebungsinformationen, die von der Verschiebungsinformationserlangungseinrichtung erlangt werden, und der Parallaxeninformationen, die von der Parallaxeninformationserlangungseinrichtung erlangt werden, schätzt; eine Bestimmungseinrichtung, die bestimmt, ob die jeweiligen Verschiebungsinformationen, die von der Verschiebungsinformationserlangungseinrichtung erlangt werden, und die Parallaxeninformationen, die von der Parallaxeninformationserlangungseinrichtung erlangt werden, ein abnormer Wert sind; und eine Korrektureinrichtung, die den Schätzwert, der von der Schätzwerterlangungseinrichtung erlangt wird, auf der Grundlage eines Bestimmungsergebnisses der Bestimmungseinrichtung korrigiert. Die Korrektureinrichtung korrigiert den Schätzwert, der von der Schätzwerterlangungseinrichtung erlangt wird, unter Verwendung unterschiedlicher Verfahren für einen Fall, in dem die Bestimmungseinrichtung bestimmt, dass die Verschiebungsinformationen, die von der Verschiebungsinformationserlangungseinrichtung erlangt werden, ein abnormer Wert sind, und einen Fall, in dem die Bestimmungseinrichtung bestimmt, dass die Parallaxeninformationen, die von der Parallaxeninformationserlangungseinrichtung erlangt werden, ein abnormer Wert sind.
-
[Kurze Beschreibung der Zeichnungen]s
-
1 ist ein Blockdiagramm, das eine Systemkonfiguration eines Kraftfahrzeugs darstellt, das eine Objektschätzvorrichtung gemäß einer Ausführungsform enthält;
-
2 ist ein schematisches Diagramm, das einen Zustand darstellt, in dem die Objektschätzvorrichtung gemäß der Ausführungsform ein Objekt schätzt;
-
3(a) ist eine Ansicht eines Bilds, das von einem anderen Fahrzeug aufgenommen wird, das ein Objekt ist, 3(b) ist eine Ansicht, die Parallaxeninformationen darstellt, und 3(c) ist eine Ansicht, die Verschiebungsinformationen darstellt;
-
4 ist eine Ansicht, die einen Fall darstellt, bei dem ein abnormer Wert in den Verschiebungsinformationen erzeugt und ein Schätzwert korrigiert wird;
-
5 ist eine Ansicht, die einen Fall darstellt, bei dem ein abnormer Wert in den Parallaxeninformationen erzeugt wird und ein Schätzwert korrigiert wird;
-
6 ist ein Flussdiagramm eines Steuerprozesses, bei dem ein Zustand des Objekts mittels eines Objektschätzverfahrens gemäß der Ausführungsform geschätzt wird;
-
7 ist eine Ansicht, die eine Experimentbedingung eines experimentellen Beispiels darstellt; und
-
8 ist eine Grafik eines experimentellen Ergebnisses des experimentellen Beispiels.
-
[Beschreibung der Ausführungsformen]
-
Im Folgenden werden eine Objektschätzvorrichtung und ein Objektschätzverfahren gemäß einer Ausführungsform beschrieben. In der vorliegenden Ausführungsform wird ein Fall beschrieben, bei dem ein Kraftfahrzeug (Personenkraftfahrzeug), das ein Fahrzeug ist, die Objektschätzvorrichtung enthält.
-
(Ausführungsform)
-
1 ist ein Blockdiagramm, das eine Systemkonfiguration eines Kraftfahrzeugs darstellt, das eine Objektschätzvorrichtung 10 gemäß der Ausführungsform enthält. Die Objektschätzvorrichtung 10 ist mit einem Bildaufnahmeabschnitt 12 (Bestimmungseinrichtung) und einem Fahrzeuginformationserlangungsabschnitt 14 elektrisch verbunden. Außerdem schätzt die Objektschätzvorrichtung 10 einen Zustand (Position und Geschwindigkeit) eines Objekts (beispielsweise eines anderen Fahrzeugs oder eines Fußgängers), das von dem Bildaufnahmeabschnitt 12 aufgenommen wird, auf der Grundlage von Eingängen bzw. Eingaben von dem Bildaufnahmeabschnitt 12 und dem Fahrzeuginformationserlangungsabschnitt 14.
-
Man beachte, dass die Objektschätzvorrichtung 10 mit einer nicht gezeigten Fahrunterstützungsvorrichtung elektrisch verbunden ist. Ein Schätzwert des Objekts, der von der Objektschätzvorrichtung 10 erhalten wird, wird an die Fahrunterstützungsvorrichtung ausgegeben. In der Fahrunterstützungsvorrichtung wird beispielsweise der eingegebene Schätzwert verwendet, um den Fahrer hinsichtlich des Vorhandenseins des Objekts zu warnen oder um die Bremse automatisch zu steuern, um den Fahrer bei der Fahrt zu unterstützen.
-
(Bildaufnahmeabschnitt)
-
Der Bildaufnahmeabschnitt 12 ist beispielsweise auf der Fahrzeuginnenseite der Windschutzscheibe (Windschutzglas) (nicht gezeigt) des Kraftfahrzeugs montiert und nimmt ein Bild einer Ansicht vor dem und in der Fahrtrichtung des Kraftfahrzeugs auf. Der Bildaufnahmeabschnitt 12 der vorliegenden Ausführungsform ist eine Stereo-Kamera, die ein Paar Kameras 16, 18 enthält, die seitlich voneinander getrennt sind (in der horizontalen Richtung senkrecht zu der Fahrtrichtung des Kraftfahrzeugs). Man beachte, dass die linke Kamera im Folgenden als eine erste Kamera 16 (erste Abbildungseinrichtung) und die rechte Kamera als zweite Kamera 18 (zweite Abbildungseinrichtung) bezeichnet werden.
-
In der ersten Kamera 16 und der zweiten Kamera 18 werden Abbildungszeitpunkte miteinander synchronisiert, so dass die Rahmenbilder gleichzeitig aufgenommen werden. Die erste Kamera 16 und die zweite Kamera 18 nehmen Bilder einer Ansicht vor dem und in der Fahrtrichtung des Kraftfahrzeugs aus unterschiedlichen Positionen auf, um ein erstes Bild (Bezugsbild) und ein zweites Bild zu erhalten.
-
(Fahrzeuginformationserlangungsabschnitt)
-
Der Fahrzeuginformationserlangungsabschnitt 14 erfasst einen Fahrzustand des Kraftfahrzeugs und enthält einen Gierratensensor 20, der eine Gierrate des Kraftfahrzeugs erfasst, und einen Fahrzeuggeschwindigkeitssensor 22, der eine Fahrzeuggeschwindigkeit (Fahrgeschwindigkeit) des Kraftfahrzeugs erfasst. Die Gierrate und die Fahrzeuggeschwindigkeit, die von dem Fahrzeuginformationserlangungsabschnitt 14 erlangt werden, werden an einen später beschriebenen Schätzwerterlangungsabschnitt 26 der Objektschätzvorrichtung 10 ausgegeben.
-
(Objektschätzvorrichtung)
-
Wie es in 1 gezeigt ist, ist die Objektschätzvorrichtung 10 aus einem Eingangswerterlangungsabschnitt 24 und einem Schätzwerterlangungsabschnitt 26 aufgebaut.
-
(Eingangswerterlangungsabschnitt)
-
Der Eingangswerterlangungsabschnitt 24 enthält einen Verschiebungsinformationsberechnungsabschnitt 28 (Verschiebungsinformationserlangungseinrichtung) und einen Parallaxeninformationsberechnungsabschnitt 30 (Parallaxeninformationserlangungseinrichtung). Der Eingangswerterlangungsabschnitt 24 erlangt Eingangswerte (Parallaxeninformationen und Verschiebungsinformationen, die später beschrieben werden), die in den Schätzwerterlangungsabschnitt 26 eingegeben werden, auf der Grundlage des ersten Bilds und des zweiten Bilds, die von dem Bildaufnahmeabschnitt 12 aufgenommen werden.
-
Der Verschiebungsinformationsberechnungsabschnitt 28 ist mit der ersten Kamera 16 elektrisch verbunden und empfängt das erste Bild, das von der ersten Kamera 16 aufgenommen wird. Außerdem enthält der Verschiebungsinformationsberechnungsabschnitt 28 einen wiederbeschreibbaren Speicherabschnitt (nicht gezeigt) wie beispielsweise einen RAM und speichert nach Bedarf das erste Bild des vergangenen einen Rahmens in dem Speicherabschnitt und aktualisiert das Bild.
-
Der Verschiebungsinformationsberechnungsabschnitt 28 erlangt zeitliche Verschiebungsinformationen (optischer Fluss) der Position des entsprechenden Pixels aus dem ersten Bild des derzeitigen Rahmens und dem ersten Bild des vergangenen einen Rahmens, die in dem Speicherabschnitt gespeichert sind (Rahmen, die in zeitlicher Folge angeordnet sind).
-
In der Ausführungsform sind die Verschiebungsinformationen als eine Positionskomponente u in der seitlichen Richtung (x-Richtung) des Pixels und eine Positionskomponente v in der Längsrichtung (y-Richtung) des Pixels, wenn der Ursprung die Mitte der optischen Achse der ersten Kamera 16 ist, definiert.
-
Man beachte, dass, wenn der Verschiebungsinformationsberechnungsabschnitt 28 die Verschiebungsinformationen (u, v) berechnet, ein bekanntes Verfahren, beispielsweise das Konzentrationsgradientenverfahren, das Horn-Schunck-Verfahren (B. K. P. Horn und B. G. Schunk, Determining Optical Flow, AI(17), Nr. 1–3, 1981, S. 185–203) oder Ähnliches, verwendet werden kann
-
Der Parallaxeninformationsberechnungsabschnitt 30 ist sowohl mit der ersten Kamera 16 als auch mit der zweiten Kamera 18 elektrisch verbunden und empfängt das erste Bild und das zweite Bild, die jeweils von der ersten und der zweiten Kamera 16 und 18 aufgenommen werden. Der Parallaxeninformationsberechnungsabschnitt 30 berechnet eine Parallaxe (Parallaxeninformationen d) für jedes Bild auf der Grundlage des empfangenen ersten Bilds und zweiten Bilds.
-
Insbesondere werden für jedes Pixel des ersten Bilds und jedes entsprechende Pixel des zweiten Bilds die Parallaxeninformationen d durch beispielsweise eine Bildverarbeitung unter Verwendung von Semi-Global-Matching (SGM) berechnet. In der Ausführungsform ist der Parallaxeninformationsberechnungsabschnitt 30 derart festgelegt, dass er die Parallaxeninformationen d mit Bezug auf das erste Bild berechnet. Das heißt, die Parallaxeninformationen d werden einzigartig der Tiefenposition des Pixels, dessen Ursprung in der Mitte der optischen Achse der ersten Kamera 16 liegt (der Abstand von der ersten Kamera 16 zu dem Objekt), zugeordnet. Man beachte, dass eine Verfolgung jedes Pixels zwischen Rahmen auf der Grundlage der Verschiebungsinformationen (u, v) (das heißt, des optischen Flusses), die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet werden, durchgeführt wird.
-
Die Verschiebungsinformationen (u, v), die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet werden, und die Parallaxeninformationen d, die von dem Parallaxeninformationsberechnungsabschnitt 30 berechnet werden, werden an den Schätzwerterlangungsabschnitt 26 ausgegeben.
-
Wie es in 1 gezeigt ist, enthält der Schätzwerterlangungsabschnitt 26 einen Berechnungsabschnitt 32 (Schätzwerterlangungseinrichtung), einen Bestimmungsabschnitt 34 (Bestimmungseinrichtung) und einen Korrekturabschnitt 36 (Korrektureinrichtung).
-
Der Berechnungsabschnitt 32 führt eine Kalman-Filterung mit einem vorbestimmten Prozessmodell und einem Beobachtungsmodell unter Verwendung der Verschiebungsinformationen (u, v) und der Parallaxeninformationen d als Eingangswerte aus, um Schätzwerte der Position und der Geschwindigkeit des Objekts zu berechnen. Man beachte, dass der Berechnungsabschnitt 32 in der Ausführungsform den Schätzwert mit Bezug auf das erste Bild berechnet.
-
Hier ist der Berechnungsabschnitt 32 derart festgelegt, dass er die Schätzwerte nicht für sämtliche Pixel des ersten Bilds, sondern beispielsweise für die Pixel in einem vorbestimmten Bereich des ersten Bilds mit der Ausnahme derjenigen in der Peripherie des ersten Bilds berechnet, um die Rechenmenge zu verringern.
-
2 ist ein schematisches Diagramm, das einen Zustand darstellt, in dem die Objektschätzvorrichtung
10 einen Zustand eines Objekts schätzt. Ein Koordinatensystem ist wie in
2 gezeigt in einem Zustand festgelegt, in dem der Ursprung die Mitte der optischen Achse der ersten Kamera
16 ist. Der Berechnungsabschnitt
32 schätzt die Position (X, Y, Z) und die Geschwindigkeit V
X, V
Y, V
Z) des Objekts. In dem Berechnungsabschnitt
32 wird, wie es in dem Ausdruck 1 ausgedrückt wird, ein Prozessmodell festgelegt, das die Position und die Geschwindigkeit des Objekts in einer linearen einheitlichen Bewegung modelliert. [Ausdruck 1]
Vs: Fahrzeuggeschwindigkeit [m/s]
ψ .
s: Gierrate [rad/s]
Δt: Abstand zwischen Rahmen [s] [Ausdruck 2]
wobei v einer multivariablen Normalverteilung mit einem Mittelwert von null und einer Kovarianzmatrix Q folgt.
v ~ N(0, Q) [Ausdruck 3]
-
Man beachte, dass die Fahrzeuggeschwindigkeit ein Erfassungswert des Fahrzeuggeschwindigkeitssensors 22 ist. Die Gierrate ist ein Erfassungswert des Gierratensensors 20.
-
Außerdem wird in dem Berechnungsabschnitt
32, wie es in dem Ausdruck 4 ausgedrückt wird, ein Beobachtungsmodell festgelegt, das eine Beziehung zwischen den Parallaxeninformationen d und den Verschiebungsinformationen (u, v) und der Position (X, Y, Z) und der Geschwindigkeit (Vx, Vy, Vz) des Objekts definiert. [Ausdruck 4]
wobei H eine 3D/2D-Projektionstransformationsmatrix ist. Wenn die Brennweite in der seitlichen Richtung des ersten Bilds fx [pix] ist, die Brennweite in der Längsrichtung fy [pix] ist sowie die Basislinienlänge der ersten Kamera
16 und der zweiten Kamera
18 (Abstand zwischen optischen Achsen) B ist, wird H anhand des Ausdrucks 5 ausgedrückt. [Ausdruck 5]
-
Dieser wird in den Ausdruck 4 eingesetzt. [Ausdruck 6]
-
Da der Ausdruck 6 eine nichtlineare Funktion ist, kann der Kalman-Filter ohne Änderung nicht auf den Ausdruck 6 angewendet werden. Somit wird, um den Ausdruck 6 linear anzunähern, eine Taylor-Reihe (Taylor-Approximation) um einen Vorhersagewert (aus dem Prozessmodell berechnet) der Position des Objekts zu der Zeit t (Rahmen t) ausgeführt, um den Term erster Ordnung und den vorhergehenden Term zu verwenden, wie es in dem Ausdruck 7 ausgedrückt wird. [Ausdruck 7]
Vorhersagewert:
(X ~t, Y ~t, Z ~t) Ausdruck 7 wird umgeordnet. [Ausdruck 8]
wobei w einer multivariablen Normalverteilung mit einem Mittelwert von null und einer Kovarianzmatrix R folgt.
w ~ N(0, R) [Ausdruck 9] -
Der Berechnungsabschnitt 32 führt die Kalman-Filterung auf der Grundlage des Prozessmodells und des Beobachtungsmodells aus. Das heißt, der Berechnungsabschnitt 32 wiederholt eine Vorhersage (Ausdrücke 12 bis 14) auf der Grundlage des Prozessmodells und ein Aktualisieren (Ausdrücke 15 bis 20) auf der Grundlage des Beobachtungsmodells mit Bezug auf das erste Bild für jeden Rahmen, wie es unten beschrieben wird. Somit schätzt der Berechnungsabschnitt 32 einen Zustand (Position, Geschwindigkeit) des Objekts. Die Kovarianzmatrizen des Schätzwerts für einen Rahmen t in dem Kalman-Filter und eines Fehlers des Schätzwerts werden jeweils durch die Ausdrücke 10 und 11 ausgedrückt. x ^t = [X ^t Y ^t Z ^t V ^xt V ^yt V ^zt]T [Ausdruck 10] P ^t = cov(xt – x ^t) [Ausdruck 11] wobei xt des Ausdrucks 11 ein wahrer Wert des Zustands (Position, Geschwindigkeit) des Objekts ist.
-
[Vorhersage]
-
- [Ausdruck 12] [Ausdruck 13]
-
P ~t = FtP ^t–1Ft T + Q [Ausdruck 14] (Kovarianzmatrix eines Fehlers des Vorhersagewerts)
-
[Aktualisierung]
-
- [Ausdruck 15] [Ausdruck 16] St = JtP ~tJt T + R [Ausdruck 17] (Kovarianzmatrix des Restfehlers) Kt = P ~tJt TSt –1 [Ausdruck 18] (Kalman-Verstärkung) x ^t = x ~t + Ktgt [Ausdruck 19] (Schätzwert) P ^t = (I – KtJt)P ~t [Ausdruck 20] (Kovarianzmatrix eines Fehlers des Schätzwerts)
-
In dem Berechnungsabschnitt 32 werden ein Anfangswert des Schätzwerts (Ausdruck 21) und ein Anfangswert der Kovarianzmatrix eines Fehlers des Schätzwerts im Voraus festgelegt, um die obige Vorhersage und Aktualisierung durchzuführen.
-
Anfangswert des Schätzwerts: X ^0 [Ausdruck 21]
-
Anfangswert der Kovarianzmatrix eines Fehlers des Schätzwerts: P ^0 [Ausdruck 22]
-
Für diese Anfangswerte kann eine geeignete Konstante festgelegt werden, oder es kann ein Wert, der mittels Simulation, Experiment oder Ähnlichem bestimmt wird, in Abhängigkeit von dem Modell und der Bedingung zum Ausführen der Kalman-Filterung verwendet werden.
-
Der Bestimmungsabschnitt 34 bestimmt, ob die Verschiebungsinformationen (u, v), die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet werden, und die Parallaxeninformationen d, die von dem Parallaxeninformationsberechnungsabschnitt 30 berechnet werden, abnorme Werte sind. Im Folgenden wird ein spezielles Beispiel eines Falls beschrieben, bei dem abnorme Werte der Verschiebungsinformationen (u, v) und der Parallaxeninformationen d erzeugt werden.
-
Wie es in 3(a) gezeigt ist, ist ein Kraftfahrzeug (im Folgenden als anderes Fahrzeug 38 bezeichnet), das vor dem und in der Fahrtrichtung des Kraftfahrzeugs fährt, das die Objektschätzvorrichtung 10 enthält, als ein Objekt definiert, und es wird ein Fall angenommen, bei dem die Objektschätzvorrichtung 10 eine Zustandsschätzung durchführt. 3(b) stellt die Parallaxeninformationen d für einen Rahmen t – 1, einen Rahmen t und einen Rahmen t + 1 dar, die von dem Parallaxeninformationsberechnungsabschnitt 30 berechnet werden.
-
Umkreisungslinien, die in den Rahmen der 3(b) gezeigt sind, geben Pixel (Verfolgungspunkte) an, die einer normalen Verfolgung unterzogen wurden (d. h. einer geeigneten Berechnung von Verschiebungsinformationen). Wie es aus der 3(b) ersichtlich ist, ändern sich unabhängig von demselben Abschnitt des Objekts die Parallaxeninformationen d der Pixel innerhalb der Umkreisungslinien von dem Rahmen t – 1 bis zu dem Rahmen t. Außerdem ist es ersichtlich, dass die Parallaxeninformationen d in dem Rahmen t + 1 modifiziert sind. Das heißt, in dem Rahmen t weisen die Parallaxeninformationen d der Pixel innerhalb der Umkreisungslinie, die von dem Parallaxeninformationsberechnungsabschnitt berechnet werden, einen abnormen Wert (Ausreißer) auf, der von dem wahren Wert abweicht.
-
Ein derartiger abnormer Wert wird aufgrund des Einflusses von Rauschen in dem ersten Bild und dem zweiten Bild, eines Fehlers, der aufgrund dessen erzeugt wird, dass die Bilder in endliche Pixel unterteilt werden, und Ähnlichem erzeugt. Die Parallaxeninformationen d sind in dem Rahmen t + 1 aufgrund dessen modifiziert, dass die Parallaxeninformationen d für Rahmen von dem Parallaxeninformationsberechnungsabschnitt 30 unabhängig berechnet werden. Das heißt, der Parallaxeninformationsberechnungsabschnitt 30 berechnet die Parallaxeninformationen d unabhängig von den Parallaxeninformationen d, die in der Vergangenheit berechnet wurden. Sogar wenn ein abnormer Wert einmal in den Parallaxeninformationen d erzeugt wurde, werden die Parallaxeninformationen d für den Rahmen t + 1 geeignet berechnet.
-
3(c) stellt Verschiebungsinformationen (u, v) in einem Rahmen t' – 1, einem Rahmen t' und einem Rahmen t' + 1 dar, die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet werden. In den Abschnitten, die mit den Umkreisungslinien in dem Rahmen t' markiert sind, haben sich Verfolgungspunkte von dem anderen Fahrzeug 38 zu einer Ansicht (Seitenwand), die nicht das andere Fahrzeug 38 oder ein anderes Fahrzeug 40 ist, bewegt. Das heißt, die Verschiebungsinformationen (u, v), die von dem Verschiebungsinformationsberechnungsabschnitt 28 für Pixel berechnet werden, die von den Umkreisungslinien in dem Rahmen t' umkreist sind, weisen abnorme Werte (Ausreißer) auf. Derartige abnorme Werte der Verschiebungsinformationen (u, v) werden hauptsächlich durch Fehler einer Musterabbildungsverarbeitung verursacht.
-
Hier wird in dem Rahmen t' + 1 der Verfolgungspunkt links von dem anderen Fahrzeug 38 kontinuierlich verfolgt. Das heißt, wenn ein abnormer Wert einmal in den Verschiebungsinformationen (u, v) erzeugt wurde, wird der Verfolgungspunkt nicht modifiziert (der Verfolgungspunkt kehrt nicht zu dem anderen Fahrzeug 38 zurück). Dieses kommt daher, dass die Verschiebungsinformationen (u, v) (optischer Fluss) über zeitlich aufeinanderfolgende Rahmen berechnet werden, wodurch sie von den Verschiebungsinformationen (u, v), die in der Vergangenheit berechnet wurden, abhängig sind.
-
Wie es oben beschrieben wurde, können die Verschiebungsinformationen (u, v), die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet werden, und die Parallaxeninformationen d, die von dem Parallaxeninformationsberechnungsabschnitt 30 berechnet werden, aufgrund von Fehlern abnorme Werte sein. Somit bestimmt der Bestimmungsabschnitt 34, ob die Verschiebungsinformationen (u, v) und die Parallaxeninformationen d abnorme Werte aufweisen, auf der Grundlage der Differenzen zwischen den Verschiebungsinformationen (u, v) und den Parallaxeninformationen d und dem Vorhersagewert (Ausdruck 13), der von dem Berechnungsabschnitt 32 berechnet wird.
-
Insbesondere bestimmt der Bestimmungsabschnitt 34, ob die Verschiebungsinformationen (u, v) einen abnormen Wert aufweisen, auf der Grundlage der Differenz zwischen den Verschiebungsinformationen (u, v), die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet werden, und den Vorhersageverschiebungsinformationen, die aus dem Vorhersagewert erhalten werden, der von dem Berechnungsabschnitt 32 berechnet wird, und den Verschiebungsinformationen (u, v) entsprechen. Außerdem bestimmt der Bestimmungsabschnitt 34, ob die Parallaxeninformationen d einen abnormen Wert aufweisen, auf der Grundlage der Differenz zwischen den Parallaxeninformationen d, die von dem Parallaxeninformationsberechnungsabschnitt 30 berechnet werden, und den Vorhersageparallaxeninformationen, die durch Berechnung von dem Berechnungsabschnitt 32 erhalten werden, und den Parallaxeninformationen d entsprechen.
-
Das heißt, der Bestimmungsabschnitt
34 verwendet den Restfehler (Ausdruck 16) zwischen Beobachtungswerten, die berechnet werden, wenn der Berechnungsabschnitt
32 den Kalman-Filter aktualisiert, und den Vorhersagewerten. [Ausdruck 23]
-
Wenn jede der Differenzen zwischen den Verschiebungsinformationen und den Vorhersageinformationen und die Differenz zwischen den Parallaxeninformationen und den Vorhersageparallaxeninformationen jeweils größer als die vorbestimmten Schwellenwerte Th
u, Th
v, Th
d sind, bestimmt der Bestimmungsabschnitt
34, dass jeder der Beobachtungswerte (Parallaxeninformationen d, Verschiebungsinformationen (u, v)) ein abnormer Wert ist. [Ausdruck 24]
[Ausdruck 25]
[Ausdruck 26]
-
Das heißt, wenn der Ausdruck 24 und/oder der Ausdruck 25 erfüllt ist, bestimmt der Bestimmungsabschnitt 34, dass die Verschiebungsinformationen (u, v) einen abnormen Wert aufweisen. Wenn der Ausdruck 26 erfüllt ist, bestimmt der Bestimmungsabschnitt 34 außerdem, dass die Parallaxeninformationen d einen abnormen Wert aufweisen. Für die Schwellenwerte Thu, Thv, Thd werden feste Werte verwendet, die mittels Simulation, Experiment oder Ähnlichem erhalten werden.
-
Man beachte, dass die Schwellenwerte nicht notwendigerweise feste Werte sein müssen. Die Parallaxeninformationen d eines entfernten Objekts werden signifikant durch Rauschen des aufgenommenen Bilds oder Ähnliches beeinflusst. Der Fehler in den berechneten Parallaxeninformationen d wird auch einfach größer. Wenn ein fester Schwellenwert verwendet wird, kann der Bestimmungsabschnitt 34 als Ergebnis stets bestimmen, dass die Parallaxeninformationen d ein abnormer Wert sind.
-
Um die Bestimmung unter Berücksichtigung von Variationen der Beobachtungswerte und der Vorhersagewerte durchzuführen, können daher Schwellenwerte, die variabel sind, anstelle der Schwellenwerte verwendet werden, die feste Werte sind.
-
Das heißt, der Schwellenwert kann unter Verwendung von Elementen von St angepasst (geändert) werden, das die Kovarianzmatrix des Restfehlers ist, der in dem Ausdruck 17 gezeigt ist. St = JtP ~tJt T + R = cov(gt) [Ausdruck 27]
-
Dann bestimmt der Bestimmungsabschnitt
34 in dem folgenden Fall, dass der Beobachtungswert ein abnormer Wert ist. [Ausdruck 28]
[Ausdruck 29]
[Ausdruck 30]
-
Das heißt, wenn der Ausdruck 28 und/oder der Ausdruck 29 erfüllt ist, bestimmt der Bestimmungsabschnitt 34, dass die Verschiebungsinformationen (u, v) einen abnormen Wert aufweisen. Wenn der Ausdruck 30 erfüllt ist, bestimmt der Bestimmungsabschnitt 34 außerdem, dass die Parallaxeninformationen d einen abnormen Wert aufweisen.
-
Wenn der Bestimmungsabschnitt 34 bestimmt, dass einer der Beobachtungswerte ein abnormer Wert ist, korrigiert der Korrekturabschnitt 36 den Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wurde. Wenn im Gegensatz keiner der Beobachtungswerte ein abnormer Wert ist, korrigiert der Korrekturabschnitt 36 den Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wurde, nicht.
-
Hier korrigiert der Korrekturabschnitt 36 den Schätzwert mittels unterschiedlicher Verfahren für einen Fall, in dem bestimmt wird, dass die Verschiebungsinformationen (u, v) ein abnormer Wert sind, und einen Fall, in dem bestimmt wird, dass die Parallaxeninformationen d ein abnormer Wert sind.
-
(Fall, in dem bestimmt wird, dass die Verschiebungsinformationen ein abnormer Wert sind)
-
Zunächst wird mit Bezug auf 4 ein Verfahren beschrieben, mit dem der Korrekturabschnitt 36 den Schätzwert korrigiert, wenn bestimmt wird, dass die Verschiebungsinformationen (u, v) ein abnormer Wert sind. Man beachte, dass die Bilder, die in 4 gezeigt sind, die Verschiebungsinformationen (u, v) darstellen, die von dem Verschiebungsinformationsberechnungsabschnitt berechnet werden, und diese sind dieselben wie in der 3(c).
-
Wie es in 4 gezeigt ist, wird bis zu dem Rahmen t' – 1 die Verfolgung des Abschnitts (Verfolgungspunkt A), der durch eine Umkreisungslinie in der Figur (Verschiebungsinformationen) angegeben ist, normal durchgeführt. Somit ist der Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wird, ein Wert, der durch Beobachten des Verfolgungspunkts A an dem anderen Fahrzeug 38 geschätzt wird.
-
Wenn ein Verfolgungsfehler in dem Rahmen t' auftritt, hat sich der Verfolgungspunkt gegenüber A an dem anderen Fahrzeug 38 nach B in dem Hintergrund (Seitenwand) verschoben. Das heißt, die Verschiebungsinformationen (u, v) in dem Rahmen t', die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet werden, werden zu einem abnormen Wert, der den Ausdruck 24 oder den Ausdruck 25 (alternativ den Ausdruck 28 oder den Ausdruck 29) erfüllt. In diesem Fall wird der Schätzwert hinsichtlich des Verfolgungspunkts B in dem Rahmen t', der unter Verwendung des Schätzwerts hinsichtlich des Verfolgungspunkts A in dem Rahmen t' – 1 berechnet wird, zu einem fehlerbehafteten Wert, der durch Verfolgen eines anderen Objekts erhalten wird.
-
Wenn die Verschiebungsinformationen (u, v) ein abnormer Wert sind, löscht (macht ungültig) somit der Korrekturabschnitt 36 den Schätzwert in dem Rahmen t', der von dem Berechnungsabschnitt 32 berechnet wurde, und setzt den Kalman-Filter auf den Anfangszustand zurück. Wenn ein Verfolgungsfehler auftritt, werden auf diese Weise die Verschiebungsinformationen (u, v) danach nicht in einen normalen Wert korrigiert. Somit setzt der Korrekturabschnitt 36 den Schätzwert auf den Anfangswert des Ausdrucks 21 zurück.
-
Wenn die Verschiebungsinformationen (u, v) ein abnormer Wert sind, wird die Verfolgung des derzeitigen Pixels ungültig. Somit stellt der Korrekturabschnitt 36 einen ungültigen Wert als Ausgang der Objektschätzvorrichtung 10 ein. Das heißt, es wird ein ungültiger Wert als ein Schätzwert hinsichtlich des Pixels, dessen Verschiebungsinformationen (u, v) als abnormer Wert bestimmt werden, ausgegeben. Dann endet die Schätzung hinsichtlich des derzeitigen Pixels.
-
Man beachte, dass, nachdem der Kalman-Filter auf den Anfangszustand zurückgesetzt wurde, die Verfolgung des Verfolgungspunkts B fortgesetzt wird. Somit berechnet der Berechnungsabschnitt 32 in dem Rahmen t' + 1 den Schätzwert hinsichtlich des Verfolgungspunkts B unter Verwendung des oben beschriebenen Anfangswerts. Dann wird in den anschließenden Rahmen der Schätzwert hinsichtlich des Verfolgungspunkts B berechnet.
-
Man beachte, dass, wenn bestimmt wird, dass die Verschiebungsinformationen (u, v) kein abnormer Wert sind, der Korrekturabschnitt 36 den Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wird, als Ausgang der Objektschätzvorrichtung 10 einstellt, ohne den Schätzwert zu korrigieren.
-
(Fall, in dem bestimmt wird, dass die Parallaxeninformationen ein abnormer Wert sind)
-
Im Folgenden wird mit Bezug auf 5 ein Verfahren beschrieben, mit dem der Korrekturabschnitt 36 den Schätzwert korrigiert, wenn bestimmt wird, dass die Parallaxeninformationen d ein abnormer Wert sind. Man beachte, dass die Bilder, die auf der linken Seite in 5 gezeigt sind, die Parallaxeninformationen d darstellen, die von dem Parallaxeninformationsberechnungsabschnitt 30 berechnet werden, und diese sind dieselben wie in 3(b). Außerdem stellen Bilder, die auf der rechten Seite der 5 dargestellt sind, eine Verfolgung in dem Rahmen entsprechend den Bildern auf der linken Seite dar (Verschiebungsinformationen). Man beachte, dass Umkreisungslinien in der Figur denselben Abschnitt (Verfolgungspunkt C) des Objekts angeben. In dem Rahmen t sind die Parallaxeninformationen d ein abnormer Wert. Man beachte, dass die Verschiebungsinformationen (u, v) als in sämtlichen Rahmen geeignet berechnet angenommen werden. Das heißt, die Verfolgung hinsichtlich des Verfolgungspunkts C wird genau durchgeführt.
-
In dem Rahmen t – 1 werden die Parallaxeninformationen d richtig berechnet, und der Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wird, ist auch richtig. Somit stellt der Korrekturabschnitt 36 den Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wird, als Ausgang ein.
-
In dem Rahmen t wird, auch wenn eine Verfolgung normal durchgeführt wird, ein Fehler in den Parallaxeninformationen d erzeugt. Das heißt, die Parallaxeninformationen d in dem Rahmen t, die von dem Parallaxeninformationsberechnungsabschnitt 30 berechnet werden, sind ein abnormer Wert, der den Ausdruck 26 (oder den Ausdruck 30) erfüllt.
-
In diesem Fall kann angenommen werden, dass der Vorhersagewert, der aus dem Ausdruck 13 erhalten wird, den Zustand des Objekts noch richtiger (näher bei dem wahren Wert) als der Schätzwert (Ausdruck 19) ausdrückt, der unter Verwendung der Parallaxeninformationen d berechnet wird, die ein abnormer Wert sind. Wenn somit bestimmt wird, dass die Parallaxeninformationen d ein abnormer Wert sind, löscht der Korrekturabschnitt 36 den Schätzwert, der anhand des Ausdrucks 19 berechnet wurde, und verwendet den Vorhersagewert, der anhand des Ausdrucks 13 erhalten wird, als Schätzwert. Dann stellt der Korrekturabschnitt 36 den Schätzwert, der auf den Vorhersagewert korrigiert wurde, als Ausgang der Objektschätzvorrichtung 10 ein.
-
In dem Rahmen t + 1 werden die Parallaxeninformationen d modifiziert, um einen geeigneten Wert zu berechnen. In diesem Fall verwendet der Korrekturabschnitt 36 den Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wird, ohne Korrektur. Das heißt, in dem Rahmen t + 1 wird der Schätzwert, der von dem Berechnungsabschnitt 32 unter Verwendung des Schätzwerts (Vorhersagewert) berechnet wird, der in dem Rahmen t erhalten wurde, ohne Änderung verwendet. Dann stellt der Korrekturabschnitt 36 den derzeitigen Schätzwert als Ausgang ein.
-
Im Folgenden wird ein Schätzverfahren, das von der Objektschätzvorrichtung 10 der vorliegenden Ausführungsform durchgeführt wird, mit Bezug auf das Flussdiagramm der 6 beschrieben. Man beachte, dass das Flussdiagramm der 6 ein Steuerprozess ist, bei dem ein Zustand des Objekts von der Objektschätzvorrichtung 10 in einem gegebenen Rahmen (Rahmen t) geschätzt wird.
-
Die erste Kamera 16 und die zweite Kamera 18 (Bildaufnahmeabschnitt 12) nehmen Bilder einer Ansicht vor dem und in der Fahrtrichtung des Kraftfahrzeugs auf, um jeweils das erste Bild und das zweite Bild zu erhalten. Das erste Bild und das zweite Bild, die von dem Bildaufnahmeabschnitt 12 erhalten werden, werden in die Objektschätzvorrichtung 10 (Eingangswerterlangungsabschnitt 24) eingegeben (Schritt S10).
-
Der Verschiebungsinformationsberechnungsabschnitt 28 speichert das eingegebene erste Bild in dem Speicherabschnitt (Schritt S12). Das erste Bild des Rahmens t, das in dem Speicherabschnitt gespeichert ist, wird verwendet, wenn der Verschiebungsinformationsberechnungsabschnitt 28 die Verschiebungsinformationen (u, v) in dem nächsten Rahmen (Rahmen t + 1) berechnet.
-
Anschließend werden eine Gierrate und eine Fahrzeuggeschwindigkeit des Kraftfahrzeugs, die von dem Fahrzeuginformationserlangungsabschnitt 14 erhalten werden, in die Objektschätzvorrichtung 10 (Schätzwerterlangungsabschnitt 26) eingegeben (Schritt S14). Das heißt, die Gierrate, die von dem Gierratensensor 20 erfasst wird, und die Fahrzeuggeschwindigkeit des Kraftfahrzeugs, die von dem Fahrzeuggeschwindigkeitssensor 22 erfasst wird, werden in die Objektschätzvorrichtung 10 eingegeben.
-
Anschließend liest der Verschiebungsinformationsberechnungsabschnitt 28 das erste Bild des vergangenen einen Rahmens (Rahmen t – 1) aus dem Speicherabschnitt aus (Schritt S16). Dann berechnet der Verschiebungsinformationsberechnungsabschnitt 28 die Verschiebungsinformationen (u, v) auf der Grundlage des ersten Bilds in dem derzeitigen Rahmen (Rahmen t), das von dem Bildaufnahmeabschnitt 12 eingegeben wurde, und des ersten Bilds in dem vergangenen einen Rahmen (Schritt S18).
-
Der Parallaxeninformationsberechnungsabschnitt 30 berechnet die Parallaxeninformationen d auf der Grundlage des ersten Bilds und des zweiten Bilds, die von dem Bildaufnahmeabschnitt 12 eingegeben werden (Schritt S20). Zu diesem Zeitpunkt berechnet der Parallaxeninformationsberechnungsabschnitt 30 die Parallaxeninformationen d für jedes Pixel des ersten Bilds mit Bezug auf das erste Bild. Die Parallaxeninformationen d und die Verschiebungsinformationen (u, v), die von dem Eingangswerterlangungsabschnitt 24 erhalten werden, werden an den Schätzwerterlangungsabschnitt 26 ausgegeben.
-
Der Schätzwerterlangungsabschnitt 26 erhält den Schätzwert eines Zustands des Objekts für jedes Pixel in einem vorbestimmten Bereich des ersten Bilds (Schritt S22 bis S38). Das heißt, der Berechnungsabschnitt 32 führt die Kalman-Filterung mit den Vorhersagen (Ausdrücke 12 bis 14) und den Aktualisierungen (Ausdrücke 15 bis 20) auf der Grundlage der Parallaxeninformationen d und der Verschiebungsinformationen (u, v), die von dem Eingangswerterlangungsabschnitt 24 eingegeben werden, aus (Schritt S24).
-
Anschließend bestimmt der Bestimmungsabschnitt 34, ob die Verschiebungsinformationen (u, v), die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet werden, ein abnormer Wert sind (Schritt S26). Das heißt, der Bestimmungsabschnitt 34 bestimmt, ob Komponenten der Verschiebungsinformationen (u, v) jeweils den Ausdruck 24 und den Ausdruck 25 (alternativ den Ausdruck 28 und den Ausdruck 29) erfüllen.
-
Wenn hier die Verfolgung des derzeitigen Pixels genau durchgeführt wird, erfüllt keine der Komponenten der Verschiebungsinformationen (u, v) den Ausdruck 24 oder den Ausdruck 25 (alternativ den Ausdruck 28 oder den Ausdruck 29). In diesem Fall bestimmt der Bestimmungsabschnitt 34, dass die Verschiebungsinformationen (u, v), die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet werden, kein abnormer Wert sind (Nein in Schritt S26).
-
Wenn das Ergebnis der Bestimmung in Schritt S26 negativ ist, bestimmt der Bestimmungsabschnitt 34 anschließend, ob die Parallaxeninformationen d, die in Schritt 816 von dem Parallaxeninformationsberechnungsabschnitt 30 berechnet wurden, ein abnormer Wert sind (Schritt S28). Das heißt, der Bestimmungsabschnitt 34 bestimmt, ob die Parallaxeninformationen d den Ausdruck 26 (oder den Ausdruck 30) erfüllen.
-
Wenn hier die Parallaxeninformationen d für das derzeitige Pixel geeignet berechnet werden, erfüllen die Parallaxeninformationen d nicht den Ausdruck 26 (oder den Ausdruck 30). In diesem Fall bestimmt der Bestimmungsabschnitt 34, dass die Parallaxeninformationen d, die von dem Parallaxeninformationsberechnungsabschnitt 30 berechnet werden, kein abnormer Wert sind (Nein in Schritt S28).
-
Wenn der Bestimmungsabschnitt 34 bestimmt, dass weder die Verschiebungsinformationen (u, v) noch die Parallaxeninformationen d ein abnormer Wert sind, verwendet der Korrekturabschnitt 36 den Schätzwert, der in Schritt 824 von dem Berechnungsabschnitt 32 berechnet wurde, ohne Korrektur. Das heißt, der Korrekturabschnitt 36 stellt den Schätzwert, der in Schritt 824 berechnet wurde, als Ausgang des Schätzwerts des derzeitigen Pixels ohne Änderung ein (Schritt S30).
-
In Schritt S26 erfüllt, wenn die Verfolgung für das derzeitige Pixel nicht genau durchgeführt wurde, mindestens eine Komponente der Verschiebungsinformationen (u, v) den Ausdruck 24, Ausdruck 25 (Ausdruck 28, Ausdruck 29). In diesem Fall bestimmt der Bestimmungsabschnitt 34, dass die Verschiebungsinformationen (u, v) ein abnormer Wert sind (Ja in Schritt S26).
-
Wenn bestimmt wird, dass die Verschiebungsinformationen (u, v) ein abnormer Wert sind, setzt der Korrekturabschnitt 36 den Kalman-Filter auf einen Anfangszustand zurück, ohne den Schätzwert zu verwenden, der in Schritt S25 berechnet wurde (Schritt S32). Das heißt, der Korrekturabschnitt 36 stellt den voreingestellten Anfangswert (Ausdruck 21) in dem Kalman-Filter ein. Dann stellt der Korrekturabschnitt 36 einen ungültigen Wert als Ausgang des Schätzwerts des derzeitigen Pixels ein (Schritt S34).
-
Wie es oben beschrieben wurde, löscht der Korrekturabschnitt 36 den Schätzwert, der auf der Grundlage der derzeitigen Verschiebungsinformationen (u, v) berechnet wurde, und macht den Schätzwert des derzeitigen Pixels ungültig, wenn die Verschiebungsinformationen (u, v), die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet wurden, ein abnormer Wert sind. Somit kann die Verwendung eines Schätzergebnisses betreffend das Pixel, das nicht geeignet verfolgt wurde, verhindern, dass ein Schätzwert, der einen großen Fehler enthält, ausgegeben wird.
-
Wenn in Schritt S28 ein Fehler in den Parallaxeninformationen d des derzeitigen Pixels erzeugt wurde, erfüllen die Parallaxeninformationen d den Ausdruck 26 (oder den Ausdruck 30). In diesem Fall bestimmt der Berechnungsabschnitt 34, dass die Parallaxeninformationen d ein abnormer Wert sind (Ja in Schritt S28). Wenn bestimmt wird, dass die Parallaxeninformationen d ein abnormer Wert sind, löscht der Korrekturabschnitt 36 den Schätzwert, der in Schritt S24 von dem Berechnungsabschnitt 32 berechnet wurde. Dann stellt der Korrekturabschnitt 36 den Vorhersagewert, der berechnet wurde, als der Berechnungsabschnitt 32 die Kalman-Filterung ausgeführt hat (siehe Ausdruck 13), auf den Schätzwert ein (Schritt S36).
-
Das heißt, wenn die Parallaxeninformationen d ein abnormer Wert sind, enthält der Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wird, ebenfalls einen Fehler. Somit löscht der Korrekturabschnitt 36 den derzeitigen Schätzwert. Dann stellt der Korrekturabschnitt 36 den Vorhersagewert, der als richtiger als der Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wurde, betrachtet wird, als Schätzwert des derzeitigen Pixels ein. Sogar wenn die Parallaxeninformationen d einen Fehler enthalten, wird dementsprechend ein richtigerer Wert als Schätzwert des Objekts verwendet. Dadurch kann die Zuverlässigkeit der Objektschätzvorrichtung 10 erhöht werden.
-
Außerdem werden die Parallaxeninformationen d für jeden Rahmen unabhängig berechnet. Sogar wenn die Parallaxeninformationen d des derzeitigen Rahmens ein abnormer Wert sind, wird somit die Berechnung der Parallaxeninformationen d in den anschließenden Rahmen nicht beeinflusst. Somit setzt der Korrekturabschnitt 36 den Kalman-Filter nicht auf den Anfangszustand wie in einem Fall zurück, in dem die Verschiebungsinformationen (u, v) ein abnormer Wert sind. Die anschließende Schätzung nach der Schätzung für das derzeitige Pixel wird fortgesetzt.
-
Der Korrekturabschnitt 36 stellt den Vorhersagewert als Schätzwert ein und stellt dann den derzeitigen Schätzwert als Ausgangswert des derzeitigen Pixels ein (Schritt S30).
-
Wenn der Schätzwert für das derzeitige Pixel bestimmt ist, führt der Schätzwerterlangungsabschnitt 26 die Schritte S26 bis S36 für das nächste Pixel durch. Wenn dann die Schätzwerte für sämtliche Pixel, die in einem vorbestimmten Bereich des ersten Bilds vorhanden sind, bestimmt sind (Schritt S38), gibt der Schätzwerterlangungsabschnitt 26 den Schätzwert, der als Ausgang eingestellt ist, an die Fahrunterstützungsvorrichtung aus (Schritt S40) und beendet dann den Prozess für den derzeitigen Rahmen.
-
[Experimentelles Beispiel]
-
Um die Vorteile der Objektschätzvorrichtung 10, die oben beschrieben wurde, zu bestätigen, wurde anschließend ein Demonstrationsexperiment (experimentelles Beispiel) für einen Fall durchgeführt, in dem ein abnormer Wert in den Parallaxeninformationen d erzeugt wird. Wie es in 7 gezeigt ist, wird angenommen, dass ein Kraftfahrzeug 42, das die Objektschätzvorrichtung 10 enthält, auf einer geraden Linie auf der Straße mit einer Geschwindigkeit von 25 km/h fährt. In einem Zustand, in dem ein Fahrzeug (im Folgenden als anderes Fahrzeug 44 bezeichnet), das vor dem und in der Fahrtrichtung des Kraftfahrzeugs 42 fährt, als ein Objekt betrachtet wird, werden die Position und Geschwindigkeit des anderen Fahrzeugs 44 geschätzt. Man beachte, dass ein Koordinatensystem wie in 7 gezeigt festgelegt wird. Die Mitte der Linse der ersten Kamera 16 wird als Ursprungsposition betrachtet.
-
Hier wird die Fahrzeuggeschwindigkeit des Fahrzeuggeschwindigkeitssensors
22 als 7.32 m/s angenommen, und die Gierrate des Gierratensensors
20 wird als 0.15 Grad/s angenommen (beide enthalten Fehler). In diesem Fall wird das Prozessmodell des Kalman-Filters, das in dem Ausdruck 1 gezeigt ist, wie folgt ausgedrückt. [Ausdruck 31]
-
Hier verwendet, wie es unten gezeigt ist, die Kovarianzmatrix Q in dem Ausdruck 31 einen Adaptionswert, der zuvor mittels Simulation erhalten wurde. [Ausdruck 32]
-
Außerdem verwendet, wie es unten gezeigt ist, die Kovarianzmatrix Q, die in dem Ausdruck 9 des Beobachtungsmodells gezeigt ist, einen Adaptionswert, der zuvor mittels Simulation erhalten wurde. [Ausdruck 33]
-
Außerdem wird in dem vorliegenden experimentellen Beispiel der folgende Wert als Anfangswert des Kalman-Filters eingestellt. In dem Anfangswert des Schätzwerts (siehe Ausdruck 21) wird die Position aus dem Anfangswert (u
0, v
0, d
0) des Eingangswerts berechnet. Außerdem wird der Adaptionswert (0.00), der zuvor mittels Simulation erhalten wurde, als Geschwindigkeit verwendet. [Ausdruck 34]
-
Außerdem werden hinsichtlich des Anfangswerts der Kovarianzmatrix eines Fehlers des Schätzwerts, der in Ausdruck 22 gezeigt ist, Elemente eines Teils der Kovarianzmatrix auf der Grundlage der Varianz (σ
u 2, σ
v 2, σ
d 2) von (u, v, d) berechnet, die zuvor mittels Simulation bestimmt wurde. Außerdem wird hinsichtlich weiterer Elemente der Kovarianzmatrix der Adaptionswert, der mittels Simulation erhalten wurde, direkt verwendet. [Ausdruck 35]
[Ausdruck 36]
-
Außerdem werden in dem experimentellen Beispiel die Ausdrücke 28 bis 30 verwendet, um den Eingangswert mittels des Bestimmungsabschnitts 34 zu bestimmen.
-
Unter den folgenden Bedingungen wird ein Zustand des Objekts von der Objektschätzvorrichtung 10 von dem Rahmen 0 bis zu dem Rahmen 20 geschätzt. Dann ist ein Schätzergebnis des Abstands (Z) zu dem anderen Fahrzeug 44 in 8 dargestellt. Man beachte, dass bei dem experimentellen Beispiel angenommen wird, dass ein abnormer Wert in den Parallaxeninformationen d in dem Rahmen 9 erzeugt wird. Außerdem sind zum Vergleich das Ergebnis der Schätzung, die den Kalman-Filter nicht verwendet (Vergleichsbeispiel 1), und das Ergebnis der Schätzung unter der Bedingung, dass der Korrekturabschnitt 36 eine Korrektur sogar dann nicht durchführt, wenn die Parallaxeninformationen d ein abnormer Wert sind (Vergleichsbeispiel 2), dargestellt. Man beachte, dass wahre Werte in der Grafik tatsächliche Abstände zu dem anderen Fahrzeug 44 angeben.
-
Wie es aus der Grafik in 8 ersichtlich ist, ist das Vergleichsbeispiel 1, das keinen Filter verwendet, in dem Rahmen 9, in dem die Parallaxeninformationen d zu einem abnormen Wert geworden sind, stark gegenüber dem wahren Wert verschoben.
-
Außerdem verfolgt das Vergleichsbeispiel 2, das die Korrektur des Schätzwerts nicht durchführt, einen Pfad ähnlich wie in dem experimentellen Beispiel bis zu dem Rahmen 8. Es ist jedoch ersichtlich, dass in dem Rahmen 9, in dem die Parallaxeninformationen d zu einem abnormen Wert werden, der Schätzwert, der aus den derzeitigen Parallaxeninformationen d berechnet wird, ohne Änderung verwendet wird, so dass das Schätzergebnis von dem wahren Wert abweicht. Außerdem sind in dem Rahmen 10 und den späteren Rahmen die Schätzergebnisse, die von den wahren Werten abweichen, kontinuierlich dem Einfluss des Schätzwerts ausgesetzt, der den Fehler in dem Rahmen 9 enthält.
-
Das experimentelle Beispiel nähert sich ab dem Start der Schätzung graduell dem wahren Wert an und weist ein Schätzergebnis auf, das sogar in dem Rahmen 9, in dem die Parallaxeninformationen d zu einem abnormen Wert geworden sind, nahe bei dem wahren Wert ist. Dieses kommt daher, dass in dem Rahmen 9 nicht der Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wurde, sondern der Vorhersagewert als Schätzwert verwendet wird. Außerdem weist das experimentelle Beispiel ein Schätzergebnis nahe bei dem wahren Wert auf. Wie es oben beschrieben wurde, schätzt das experimentelle Beispiel den Abstand zu dem Objekt sehr genau.
-
Gemäß der Objektschätzvorrichtung 10 und dem Objektschätzverfahren werden die folgenden Vorteile erzielt.
- (1) Der Korrekturabschnitt 36 korrigiert den Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wurde, auf der Grundlage des Bestimmungsergebnisses des Berechnungsabschnitts 34. Somit erhöht sich die Genauigkeit des Schätzwerts, womit der Zustand des Objekts genau geschätzt werden kann.
- (2) Wenn der Bestimmungsabschnitt 34 bestimmt, dass die Verschiebungsinformationen (u, v) ein abnormer Wert sind, setzt der Korrekturabschnitt 36 den Kalman-Filter auf den Anfangszustand zurück (stellt den Schätzwert auf den Anfangswert ein) und stellt den Schätzwert, der von dem Berechnungsabschnitt 32 berechnet wurde, auf einen ungültigen Wert ein. Somit kann verhindert werden, dass der Schätzwert, der unter Verwendung der Verschiebungsinformationen (u, v) berechnet wird, die ein abnormer Wert sind, ohne Änderung ausgegeben wird. Das heißt, ein Ungültigmachen des Schätzwerts, der aus einem Pixel erhalten wird, das einen Verfolgungsfehler erzeugt hat, kann die Zuverlässigkeit der Objektschätzvorrichtung erhöhen.
- Man beachte, dass ein Zurücksetzen des Kalman-Filters auf den Anfangszustand einen Verfolgungspunkt von dem Anfangszustand verfolgen kann, nachdem der Verfolgungspunkt sich aufgrund des Verfolgungsfehlers verschoben hat. Das heißt, die Schätzung kann für einen neuen Verfolgungspunkt fortgesetzt werden, der sich von dem Verfolgungspunkt unterscheidet, der einen abnormen Wert erzeugt hat.
- (3) Die Parallaxeninformationen d werden für jeden Rahmen berechnet. Der abnorme Wert der Parallaxeninformationen d wird ebenfalls separat von einem Rahmen erzeugt. Unter Berücksichtigung der Eigenschaften derartiger Parallaxeninformationen d stellt der Korrekturabschnitt 36, wenn die Parallaxeninformationen d ein abnormer Wert sind, den Vorhersagewert, von dem angenommen werden kann, dass er ein Wert mit höherer Genauigkeit als derjenige des Schätzwerts ist, als den Schätzwert ein. Wenn somit die Parallaxeninformationen d ein abnormer Wert sind, kann der Fehler des Schätzwerts des Objekts kleiner sein.
- Außerdem setzt der Korrekturabschnitt 36 den Kalman-Filter nicht auf den Anfangszustand wie in dem Fall zurück, in dem ein abnormer Wert in den Verschiebungsinformationen (u, v) erzeugt wird. Somit kann in dem nächsten Rahmen die Schätzung für das derzeitige Pixel unter Verwendung des Schätzwerts, der in dem Vorhersagewert eingestellt ist, fortgesetzt werden.
- (4) Der Bestimmungsabschnitt 34 bestimmt, ob die derzeitigen Verschiebungsinformationen (u, v) ein abnormer Wert sind, auf der Grundlage der Differenz zwischen den Verschiebungsinformationen (u, v), die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet werden, und den Vorhersageverschiebungsinformationen, die aus dem Vorhersagewert berechnet werden (siehe Ausdruck 24, Ausdruck 25 oder Ausdruck 28, Ausdruck 29). Somit kann der Bestimmungsabschnitt 34 geeignet bestimmen, ob die Verschiebungsinformationen (u, v), die von dem Verschiebungsinformationsberechnungsabschnitt 28 berechnet werden, ein abnormer Wert sind.
- (5) Der Bestimmungsabschnitt 34 bestimmt, ob die derzeitigen Parallaxeninformationen d ein abnormer Wert sind, auf der Grundlage der Differenz zwischen den Parallaxeninformationen d, die von dem Parallaxeninformationsberechnungsabschnitt 30 berechnet werden, und den Vorhersageparallaxeninformationen, die aus dem Vorhersagewert berechnet werden (siehe Ausdruck 26 oder Ausdruck 30). Somit kann der Bestimmungsabschnitt 34 geeignet bestimmen, ob die Parallaxeninformationen d, die von dem Parallaxeninformationsberechnungsabschnitt 30 berechnet werden, ein abnormer Wert sind.
- (6) Wenn hier feste Werte, die in den Ausdrücken 24 bis 26 gezeigt sind, als Schwellenwerte verwendet werden, wenn der Bestimmungsabschnitt 34 die Bestimmung durchführt, können die Bestimmungen der Verschiebungsinformationen (u, v) und der Parallaxeninformationen d effektiv durchgeführt werden, was die Verarbeitungslast des Bestimmungsabschnitts 34 verringern kann.
- (7) Wenn variable Werte, die in den Ausdrücken 28 bis 30 gezeigt sind, als Schwellenwerte verwendet werden, kann eine geeignete Bestimmung unter Berücksichtigung von Variationen des Beobachtungswerts und des Schätzwerts durchgeführt werden. Wenn beispielsweise das Objekt weit entfernt ist und die Parallaxeninformationen d einfach durch Rauschen beeinflussbar sind, werden somit die Schwellenwerte größer. Dadurch kann die Bestimmung des abnormen Werts schwierig sein. Wenn im Gegensatz dazu das Objekt in der Nähe ist und die Parallaxeninformationen d etwas durch Rauschen beeinflusst werden, werden die Schwellenwerte kleiner. Dadurch kann der abnorme Wert der Parallaxeninformationen d genau erlangt werden.
-
(Modifikationen)
-
Die Objektschätzvorrichtung gemäß der Ausführungsform, die oben beschrieben wurde, kann wie folgt modifiziert werden.
-
In der Ausführungsform wird der Kalman-Filter als ein Filter verwendet, der einen Zustand des Objekts durch Wiederholen der Vorhersagen (Ausdrücke 12 bis 14) und der Aktualisierungen (Ausdrücke 15 bis 20) schätzt. Als Kalman-Filter kann jedoch nicht nur derjenige der obigen Ausführungsform, sondern auch beispielsweise der Unscented-Kalman-Filter (UKF) oder der Teilchenfilter (Partikel-Filter) verwendet werden.
-
Außerdem kann als Filter nicht nur der Kalman-Filter wie in dem Fall der obigen Ausführungsform, sondern beispielsweise ein anderer Filter wie ein H∞-Filter (IIR-Filter) verwendet werden.
-
In der Ausführungsform ist als eine Bildaufnahmeeinrichtung der Bildaufnahmeabschnitt beispielhaft gezeigt, der die erste Kamera und die zweite Kamera enthält. Die Bildaufnahmeeinrichtung kann jedoch mehrere Bilder von unterschiedlichen Positionen aufnehmen und kann drei oder mehr Kameras enthalten. Außerdem können in der Ausführungsform, auch wenn die Parallaxeninformationen aus dem ersten Bild und dem zweiten Bild, die von der ersten Kamera und der zweiten Kamera aufgenommen werden, berechnet werden, die Parallaxeninformationen aus drei oder mehr Bildern, die von drei oder mehr Kameras aufgenommen werden, berechnet werden.
-
In der vorliegenden Ausführungsform wird ein Zustand eines Objekts unter Verwendung eines Bilds, das von der ersten Kamera aufgenommen wird, als Bezugsbild geschätzt. Ein Schätzwert kann jedoch unter Verwendung eines Bilds, das von der zweiten Kamera aufgenommen wird, als Bezugsbild berechnet werden. In diesem Fall ist die zweite Kamera eine erste Abbildungseinrichtung, die erste Kamera ist eine zweite Abbildungseinrichtung, ein Bild, das von der zweiten Kamera aufgenommen wird, ist ein erstes Bild, und ein Bild, das von der ersten Kamera aufgenommen wird, ist ein zweites Bild.
-
In der Ausführungsform werden Verschiebungsinformationen aus aufeinanderfolgenden Rahmen des ersten Bilds berechnet. Die Verschiebungsinformationen müssen jedoch nicht notwendigerweise aus aufeinanderfolgenden Rahmen berechnet werden, sondern können aus Rahmen, die in zeitlicher Folge angeordnet sind, berechnet werden. Die Verschiebungsinformationen können beispielsweise aus den Rahmen, zwischen denen ein Rahmen angeordnet ist (jedem zweiten Rahmen), berechnet werden (d. h. Rahmen t und Rahmen t + 2).
-
Die Ausführungsform stellt einen Fall dar, bei dem die erste Kamera und die zweite Kamera Bilder einer Ansicht vor dem und in der Fahrtrichtung des Kraftfahrzeugs aufnehmen, um ein Objekt vor dem Kraftfahrzeug zu schätzen. Die erste Kamera und die zweite Kamera können jedoch Bilder von Ansichten in der seitlichen Richtung (horizontale Richtung) oder in der Richtung nach hinten des Kraftfahrzeugs aufnehmen. Somit können andere Zustände als die vor dem Kraftfahrzeug (beispielsweise hinter dem Fahrzeug) geschätzt werden.
-
Die Ausführungsform stellt beispielhaft einen Fall dar, bei dem die Objektschätzvorrichtung in einem Kraftfahrzeug installiert ist, das ein Personenfahrzeug ist. Die Objektschätzvorrichtung kann jedoch in verschiedenen Fahrzeugen, beispielsweise einem großen Fahrzeug, beispielsweise einem Bus und einem Lastkraftwagen, und einem Motorrad installiert sein. Außerdem kann die Objektschätzvorrichtung in Experimentiereinrichtungen wie beispielsweise einer Simulationsausrüstung installiert sein.
-
In der Ausführungsform wird eine Translationsbewegung durch einen Fahrzeuggeschwindigkeitssensor berechnet. Die Translationsbewegung des Kraftfahrzeugs kann jedoch aus dem ersten Bild, das von der ersten Abbildungseinrichtung aufgenommen wird, oder dem zweiten Bild, das von der zweiten Abbildungseinrichtung aufgenommen wird, berechnet werden. Auf ähnliche Weise kann eine Rotationsbewegung aus dem ersten Bild oder dem zweiten Bild berechnet werden, ohne einen Gierratensensor zu verwenden.
-
In der Ausführungsform wird die Kalman-Filterung für Pixel innerhalb eines vorbestimmten Bereichs des ersten Bilds ausgeführt, um Schätzwerte zu berechnen. Die Schätzwerte können jedoch für sämtliche Pixel des ersten Bilds berechnet werden.
-
Die Objektschätzvorrichtung schätzt eine Position und eine Geschwindigkeit eines Objekts in Bildern auf der Grundlage der Bilder, die von einer Bildaufnahmeeinrichtung von unterschiedlichen Positionen aufgenommen werden. Die Objektschätzvorrichtung enthält: eine Verschiebungsinformationserlangungseinrichtung, die zeitliche Verschiebungsinformationen einer Position eines entsprechenden Pixels von Rahmen, die in zeitlicher Folge in einem Bezugsbild angeordnet sind, das ein Bezug unter den Bildern ist, erlangt; eine Parallaxeninformationserlangungseinrichtung, die Parallaxeninformationen jedes entsprechenden Pixels von den Bildern mit Bezug auf das Bezugsbild erlangt; eine Schätzwerterlangungseinrichtung, die Schätzwerte der Position und der Geschwindigkeit des Objekts in einem dreidimensionalen Raum unter Verwendung eines Filters auf der Grundlage der Verschiebungsinformationen, die von der Verschiebungsinformationserlangungseinrichtung erlangt werden, und der Parallaxeninformationen, die von der Parallaxeninformationserlangungseinrichtung erlangt werden, schätzt; eine Bestimmungseinrichtung, die bestimmt, ob die jeweiligen Verschiebungsinformationen, die von der Verschiebungsinformationserlangungseinrichtung erlangt werden, und die Parallaxeninformationen, die von der Parallaxeninformationserlangungseinrichtung erlangt werden, ein abnormer Wert sind; und eine Korrektureinrichtung, die den Schätzwert, der von der Schätzwerterlangungseinrichtung erlangt wird, auf der Grundlage eines Bestimmungsergebnisses der Bestimmungseinrichtung korrigiert. Die Korrektureinrichtung korrigiert den Schätzwert, der von der Schätzwerterlangungseinrichtung erlangt wird, unter Verwendung unterschiedlicher Verfahren für einen Fall, in dem die Bestimmungseinrichtung bestimmt, dass die Verschiebungsinformationen, die von der Verschiebungsinformationserlangungseinrichtung erlangt werden, ein abnormer Wert sind, und einen Fall, in dem die Bestimmungseinrichtung bestimmt, dass die Parallaxeninformationen, die von der Parallaxeninformationserlangungseinrichtung erlangt werden, ein abnormer Wert sind.
-
Die Bestimmungseinrichtung bestimmt, ob die jeweiligen Verschiebungsinformationen und Parallaxeninformationen ein abnormer Wert sind. Dann korrigiert die Korrektureinrichtung den Schätzwert, der von der Schätzwerterlangungseinrichtung erlangt wurde, auf der Grundlage eines Bestimmungsergebnisses der Bestimmungseinrichtung. Wenn die Verschiebungsinformationen oder die Parallaxeninformationen ein abnormer Wert sind, wird somit der Schätzwert, der einen Fehler enthält und von der Schätzwerterlangungseinrichtung erlangt wurde, korrigiert. Dadurch können die Position und die Geschwindigkeit des Objekts genau geschätzt werden.
-
Hier ändert bzw. verwendet die Korrektureinrichtung ein Verfahren zum Korrigieren des Schätzwerts in Abhängigkeit davon, ob der Fall ein Fall ist, in dem die Bestimmungseinrichtung bestimmt, dass die Verschiebungsinformationen ein abnormer Wert sind, oder ein Fall ist, in dem die Bestimmungseinrichtung bestimmt, dass die Parallaxeninformationen ein abnormer Wert sind. Das heißt, ein geeignetes Korrigieren des Schätzwerts in Abhängigkeit von der Art eines Eingangswerts (Verschiebungsinformationen, Parallaxeninformationen), der einen abnormen Wert erzeugt hat, kann den Zustand des Objekts noch genauer schätzen.
-
Wenn die Bestimmungseinrichtung bestimmt, dass die Verschiebungsinformationen, die von der Verschiebungsinformationserlangungseinrichtung erlangt werden, ein abnormer Wert sind, macht die Korrektureinrichtung den Schätzwert, der von der Schätzwerterlangungseinrichtung erlangt wurde, ungültig und setzt den Filter auf einen Anfangszustand zurück.
-
Die Verschiebungsinformationserlangungseinrichtung erlangt die Verschiebungsinformationen aus Bildern, die in zeitlicher Folge des Bezugsbilds angeordnet sind. Das heißt, die Verschiebungsinformationen werden in Abhängigkeit von den Verschiebungsinformationen erlangt, die in der Vergangenheit erlangt wurden. Wenn die Verschiebungsinformationen einmal zu einem abnormen Wert (Verfolgungsfehler) geworden sind, enthalten somit die Verschiebungsinformationen, die in den anschließenden Rahmen erlangt werden, aufgrund des Einflusses der Verschiebungsinformationen des abnormen Werts einen großen Fehler.
-
Wenn die Verschiebungsinformationen ein abnormer Wert sind, stellt die Korrektureinrichtung somit den Schätzwert, der von der Schätzwerterlangungseinrichtung erlangt wurde, auf einen ungültigen Wert ein und setzt den Filter auf den Anfangszustand zurück. Das heißt, für ein Pixel, dessen Verschiebungsinformationen als abnormer Wert bestimmt wurden, wird die Schätzung in dem derzeitigen Rahmen gestoppt. Somit kann verhindert werden, dass das Pixel, das einen Verfolgungsfehler erzeugt, als dasselbe Objekt geschätzt wird, womit die Zuverlässigkeit der Objektschätzvorrichtung erhöht wird. Außerdem startet ein Zurücksetzen des Filters auf den Anfangszustand eine Verfolgung des Pixels, das den abnormen Wert erzeugt hat. Dadurch kann der Schätzwert hinsichtlich des Pixels erhalten werden.
-
Unter der Annahme, dass das Objekt dem voreingestellten Prozessmodell folgt, erlangt die Schätzwerterlangungseinrichtung die Vorhersagewerte der Position und der Geschwindigkeit des Objekts aus dem Schätzwert, der in der Vergangenheit erlangt wurde. Wenn die Bestimmungseinrichtung bestimmt, dass die Parallaxeninformationen, die von der Parallaxeninformationserlangungseinrichtung erlangt wurden, ein abnormer Wert sind, korrigiert die Korrektureinrichtung den Schätzwert, der von der Schätzwerterlangungseinrichtung erlangt wurde, auf den Vorhersagewert, der von der Schätzwerterlangungseinrichtung erlangt wird.
-
Die Parallaxeninformationserlangungseinrichtung erlangt die Parallaxeninformationen aus mehreren Bildern in demselben Rahmen. Das heißt, da die Parallaxeninformationen zeitlich unabhängig berechnet werden, beeinflussen die Parallaxeninformationen der Vergangenheit nicht die Parallaxeninformationen, die nach den vergangenen Parallaxeninformationen berechnet werden. Somit werden abnorme Werte der Parallaxeninformationen ebenfalls unabhängig in jedem Rahmen erzeugt.
-
Wenn die Parallaxeninformationen ein abnormer Wert sind, korrigiert die Korrektureinrichtung den Schätzwert, der von der Schätzwerterlangungseinrichtung erlangt wird, auf einen Vorhersagewert. Das heißt, eine Änderung des Schätzwerts, der einen Fehler enthält und unter Verwendung der Parallaxeninformationen, die ein abnormer Wert sind, erlangt wurde, auf den Vorhersagewert kann den Fehler des Schätzwerts in dem derzeitigen Rahmen schmälern.
-
Wenn die Parallaxeninformationen ein abnormer Wert sind, setzt die Korrektureinrichtung die Schätzung für das derzeitige Pixel in den anschließenden Rahmen fort, ohne den Filter auf den Anfangszustand zurückzusetzen. Das heißt, wenn ein abnormer Wert in den Parallaxeninformationen erzeugt wird, können die Parallaxeninformationen in dem derzeitigen Rahmen auf einen Vorhersagewert eingestellt werden. Außerdem kann die Schätzung hinsichtlich des derzeitigen Pixels in den anschließenden Rahmen fortgesetzt werden.
-
Bezugszeichenliste
-
- 12
- Bildaufnahmeabschnitt
- 28
- Verschiebungsinformationsberechnungsabschnitt
- 30
- Parallaxeninformationsberechnungsabschnitt
- 32
- Berechnungsabschnitt
- 34
- Bestimmungsabschnitt
- 36
- Korrekturabschnitt
- d
- Parallaxeninformationen
[Ausdruck 26]
[Ausdruck 29]
[Ausdruck 30]
