DE102018216144A1

DE102018216144A1 - Anomalieerkennungsvorrichtung und Anomalieerkennungsverfahren

Info

Publication number: DE102018216144A1
Application number: DE102018216144.5A
Authority: DE
Inventors: Takeo Matsumoto; Kohji OHNISHI; Naoshi Kakita; Takayuki OZASA; Tomoyuki Fujimoto; Teruhiko Kamibayashi
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2017-12-28
Filing date: 2018-09-21
Publication date: 2019-07-04
Also published as: US10657654B2; US20190206060A1

Abstract

Eine Anomalieerkennungsvorrichtung umfasst: einen Schätzer, der den Bewegungsbetrag eines mobilen Körpers basierend auf einem Bild schätzt, das von einer am mobilen Körper montierten Kamera aufgenommen wurde; und einen Bestimmer, der eine Anomalie in der Kamera bestimmt, indem er geschätzte Informationen über den Bewegungsbetrag des mobilen Körpers erhält, wie er in dem Schätzer erhalten wurde, und tatsächlich beobachtete Informationen über die Bewegung des mobilen Körpers erhält, wie sie von einem externen Sensor, der nicht die Kamera ist, der am mobilen Körper montiert ist, erfasst wurden.

Description

Hintergrund der Erfindung
Bereich der Erfindung
Die vorliegende Erfindung betrifft Vorrichtungen zur Erkennung von Anomalien sowie Verfahren zur Erkennung von Anomalien.
Beschreibung des Standes der Technik
Herkömmlicherweise werden Kameras verwendet, die an mobilen Körpern wie zum Beispiel Fahrzeugen montiert sind (im Folgenden als fahrzeugmontierte Kameras bzw. Fahrzeugkameras bezeichnet), um Fahrassistenzsysteme, wie beispielsweise Einparkhilfen, für Fahrzeuge zu schaffen. Eine Fahrzeugkamera wird an einem Fahrzeug in einem daran befestigten Zustand montiert, beispielsweise vor der Auslieferung des Fahrzeugs ab Werk. Aufgrund von z.B. versehentlicher Berührung und nachträglicher Veränderung kann eine fahrzeugmontierte Kamera jedoch eine „Anomalie“ in Form einer vom eingebauten Zustand zum Zeitpunkt der Auslieferung vom Werk abweichenden Fehlausrichtung entwickeln. Eine Abweichung hinsichtlich Einbaulage und Winkel einer fahrzeugmontierten Kamera kann zu einem Fehler im Lenkausschlag-Betrag und dergleichen führen, was durch die Verwendung eines Kamerabildes festgestellt wird, weshalb es wichtig ist, eine Fehlausrichtung darin zu erkennen, wie die fahrzeugmontierte Kamera montiert ist.
Druckschrift JP-A-2006-153778 offenbart eine Technologie zum Erfassen einer Fehlausrichtung zwischen den optischen Achsen einer Mehrzahl von Abbildungsmitteln. Insbesondere wird nach dem, was dort offenbart wird, der Versatz für eine Parallaxe, die auf eine relative Fehlausrichtung zwischen den optischen Achsen zweier Kameras zurückzuführen ist, mit einem Wert versehen, der der Abweichung zwischen der Änderung der Entfernung zu einem ruhenden Zielobjekt über einen vorbestimmten Zeitraum, wie sie mit jeder Kamera erfasst wird, während ein Fahrzeug geradeaus fährt, und dem Bewegungsbetrag des Fahrzeugs während des vorbestimmten Zeitraums, wie sie von einem Navigationsgerät oder dergleichen erfasst wird, entspricht.
Druckschrift JP-A-2006-31162 hingegen offenbart eine Technologie zum Erkennen des Vorhandenseins eines sich bewegenden Hindernisses, ohne durch Rauschen beeinträchtigt zu sein und mit hoher Genauigkeit, basierend auf den optischen Flüssen von Merkmalspunkten in einem mit einer Kamera aufgenommenen Bild.
Zusammenfassung der Erfindung
Mit den in JP-A-2006-153778 offenbarten Mitteln zur Erkennung von Fehlausrichtungen der optischen Achse ist es möglich, eine Fehlausrichtung zwischen den optischen Achsen von zwei Kameras zu erkennen, die mit ihren jeweiligen optischen Achsen parallel zueinander angeordnet sind. Mit diesem Mittel zur Erkennung von Fehlausrichtungen der optischen Achse ist es jedoch nicht möglich, eine Fehlausrichtung einer einzelnen fahrzeugmontierten Kamera im eingebauten Zustand zum Zeitpunkt der Auslieferung im Werk zu erkennen.
Ein Gegenstand der vorliegenden Erfindung ist es, eine Technologie bereitzustellen, die eine ordnungsgemäße Erkennung einer Anomalie, wie beispielsweise eine Abweichung in der Einbaulage und im Winkel, einer Kamera ermöglicht, die an einer mobilen Karosserie, wie beispielsweise einem Fahrzeug, montiert ist.
Eine Anomalieerkennungsvorrichtung, die die vorliegende Erfindung veranschaulicht, umfasst einen Schätzer, der ausgebildet ist, um den Bewegungsbetrag eines mobilen Körpers basierend auf einem Bild, das von einer am mobilen Körper montierten Kamera aufgenommen wurde, zu schätzen. Eine Anomalieerkennungsvorrichtung, die die vorliegende Erfindung veranschaulicht, umfasst weiterhin einen Bestimmer, der ausgebildet ist, um eine Anomalie in der Kamera zu bestimmen, indem er geschätzte Informationen über den Bewegungsbetrag des mobilen Körpers, wie er im Schätzer erhalten wurde, und tatsächlich beobachtete Informationen über die Bewegung des mobilen Körpers, wie sie von einem externen Sensor, der nicht die Kamera ist, der an dem mobilen Körper montiert ist, erfasst wurden.
Figurenliste

1 ist ein Blockdiagramm, das eine Konfiguration eines Kamerafehlausrichtungserkennungssystems gemäß einer Ausführungsform der vorliegenden Erfindung darstellt.
2 ist ein Diagramm, das die Positionen veranschaulicht, an denen fahrzeugmontierte Kameras in einem Fahrzeug angeordnet sind.
3 ist ein Flussdiagramm, das ein Beispiel für ein Verfahren zum Erkennen einer Kamerafehlausrichtung durch eine Kamerafehlausrichtungserkennungsvorrichtung zeigt.
4 ist ein Diagramm, das ein Verfahren zum Extrahieren von Merkmalspunkten veranschaulicht.
5 ist ein Diagramm, das ein Verfahren zur Ableitung optischer Flüsse veranschaulicht.
6 ist ein Diagramm, das die Koordinatenumrechnungsbearbeitung veranschaulicht.
7 ist ein Diagramm, das ein Beispiel für ein erstes Histogramm zeigt, das von einem Schätzer erzeugt worden ist.
8 ist ein Diagramm, das ein Beispiel für ein zweites Histogramm zeigt, das von einem Schätzer erzeugt worden ist.
9 ist ein Diagramm, das ein Beispiel dafür zeigt, wie sich ein Histogramm ändert, wenn eine Fehlausrichtung der Kamera auftritt.
10 ist ein Flussdiagramm, das ein Beispiel für die durch einen Bestimmer ausgeführte Verarbeitung der Kamerafehlausrichtungsbestimmung zeigt.
11 ist ein Diagramm, das ein Verfahren zum Eingrenzen, auf der Grundlage von Geschwindigkeitsinformationen über ein Fahrzeug, von optischen Flüssen auf solche, die für die statistische Verarbeitung verwendet werden sollen, veranschaulicht.
12 ist ein Diagramm, das ein Verfahren zum Eingrenzen, auf der Grundlage von Fahrtrichtungsinformationen über ein Fahrzeug, von optischen Flüssen auf solche, die für die statistische Verarbeitung verwendet werden sollen, veranschaulicht.
13 ist ein Diagramm, das ein erstes Verfahren veranschaulicht, das darauf abzielt, die Zuverlässigkeit eines in einem Schätzer erhaltenen Schätzwertes weiter zu erhöhen.
14 ist ein Diagramm, das ein zweites Verfahren veranschaulicht, das darauf abzielt, die Zuverlässigkeit eines in einem Schätzer erhaltenen Schätzwertes weiter zu erhöhen.
15 ist eine schematische Darstellung eines Bildes, das von Fahrzeugkameras aufgenommen wurde.
16 ist ein Flussdiagramm, das ein erstes praktisches Beispiel zeigt, das sich von dem in 3 dargestellten Verfahren zur Erkennung von Kamerafehlausrichtungen unterscheidet.
17 ist ein Flussdiagramm, das ein zweites praktisches Beispiel zeigt, das sich von dem in 3 dargestellten Verfahren zur Erkennung von Kamerafehlausrichtungen unterscheidet.
18 ist ein schematisches Diagramm, das die Verarbeitung zum Ändern eines Merkmalspunkt-Extraktionsbereichs veranschaulicht.
19 ist ein Diagramm, das ein Beispiel für eine Verarbeitung zur Neubestimmung einer Kamerafehlausrichtung darstellt.
20 ist ein Flussdiagramm, das ein modifiziertes Beispiel für ein Verfahren zur Erkennung von Kamerafehlausrichtungen durch eine Kamerafehlausrichtungs-Erfassungsvorrichtung zeigt.
21 ist ein Blockdiagramm, das eine Konfiguration einer Kamerafehlausrichtungs-Erfassungsvorrichtung in einem modifizierten Beispiel zeigt.
22 ist ein Flussdiagramm, das ein Beispiel für ein Verfahren zur Erkennung einer Kamerafehlausrichtung durch eine Kamerafehlausrichtungs-Erfassungsvorrichtung in einem modifizierten Beispiel zeigt.

Detaillierte Beschreibung der bevorzugten Ausführungsformen
Im Folgenden werden anschauliche Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben. Obwohl sich die folgende Beschreibung mit einem Fahrzeug als Beispiel für einen mobilen Körper befasst, ist dies nicht als Beschränkung auf Fahrzeuge gemeint; alle mobilen Körper liegen innerhalb des Umfangs der Erfindung. Die in der folgenden Beschreibung genannten verschiedenen Richtungen sind wie folgt definiert: Die Richtung, die entlang der Geradeaus-Fahrtrichtung des Fahrzeugs verläuft und vom Fahrersitz zum Lenkrad zeigt, wird als „Vorwärts“ -Richtung (nach vorne gerichtet) bezeichnet. Die Richtung, die entlang der Geradeaus-Fahrtrichtung des Fahrzeugs verläuft und vom Lenkrad zum Fahrersitz zeigt, wird als „Rückwärts“ -Richtung (nach hinten gerichtet) bezeichnet. Die Richtung, die sowohl zur Geradeaus-Fahrtrichtung des Fahrzeugs als auch zur vertikalen Linie senkrecht verläuft und von der rechten Seite auf die linke Seite des nach vorne blickenden Fahrers zeigt, wird als „Links“ -Richtung (nach links gerichtet) bezeichnet. Die Richtung, die sowohl zur Geradeaus-Fahrtrichtung des Fahrzeugs als auch zur vertikalen Linie senkrecht verläuft und von der linken Seite auf die rechte Seite des nach vorne blickenden Fahrers zeigt, wird als „Rechts“ -Richtung (nach rechts gerichtet) bezeichnet.
Kamerafehlausrichtungserkennungssystem
1 ist ein Blockdiagramm, das die Konfiguration eines Kamerafehlausrichtungserkennungssystems SYS gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Das Kamerafehlausrichtungserkennungssystem SYS ist ein System zum Erkennen einer Anomalie, wie beispielsweise einer Fehlausrichtung einer fahrzeugmontierten Kamera, abweichend von ihrem Referenz-Einbauzustand, wie beispielsweise ihrem Einbauzustand zum Zeitpunkt der Auslieferung des Fahrzeugs ab Werk. Wie in 1 dargestellt, umfasst das Kamerafehlausrichtungserkennungssystem SYS eine Kamerafehlausrichtungserkennungsvorrichtung 1, einen Bildaufnahmeabschnitt 2, einen Eingabeabschnitt 3 und einen Sensorabschnitt 4.
Die Kamerafehlausrichtungserkennungsvorrichtung 1 ist eine Anomalieerkennungsvorrichtung, die Anomalien bei Kameras erkennt, die an einem mobilen Körper montiert sind. Anomalien bei Kameras umfassen Abweichungen in Einbaulage und -winkel der Kameras. Die Kamerafehlausrichtungserkennungsvorrichtung 1 ist an jedem Fahrzeug vorgesehen, das mit fahrzeugmontierten Kameras ausgestattet ist. Die Kamerafehlausrichtungserkennungsvorrichtung 1 verarbeitet Bilder, die von den im Bildaufnahmeabschnitt 2 enthaltenen fahrzeugmontierten Kameras 21 bis 24 aufgenommen wurden, sowie Informationen aus dem Sensorabschnitt 4, der außerhalb der Kamerafehlausrichtungserkennungsvorrichtung 1 bereitgestellt ist, um dadurch Abweichungen in Einbaulage und -winkel der fahrzeugmontierten Kameras 21 bis 24 zu erkennen.
Die Kamerafehlausrichtungserkennungsvorrichtung 1 wird später ausführlich beschrieben.
Die Kamerafehlausrichtungserkennungsvorrichtung 1 kann die verarbeiteten Informationen an eine Anzeigeeinrichtung, eine Fahrassistenzeinrichtung oder dergleichen ausgeben, von denen keine dargestellt ist. Die Anzeigeeinrichtung zeigt auf einem Bildschirm Warnungen und dergleichen an, falls erforderlich, basierend auf den Informationen, die von der Kamerafehlausrichtungserkennungsvorrichtung 1 zugeführt werden. Die Fahrassistenzeinrichtung stoppt eine Fahrassistenzfunktion oder korrigiert aufgenommene Bildinformationen, um bei Bedarf eine Fahrassistenz durchzuführen, basierend auf den Informationen, die von der Kamerafehlausrichtungserkennungsvorrichtung 1 zugeführt werden. Die Fahrassistenzeinrichtung kann beispielsweise eine Einrichtung sein, die das automatische Fahren unterstützt, eine Einrichtung, die das automatische Einparken unterstützt, oder eine Einrichtung, die eine Notbremsung unterstützt.
Der Bildaufnahmeabschnitt 2 wird am Fahrzeug bereitgestellt, um die Situationen um das Fahrzeug herum zu überwachen. In dieser Ausführungsform umfasst der Bildaufnahmeabschnitt 2 vier fahrzeugmontierte Kameras 21 bis 24. Die fahrzeugmontierten Kameras 21 bis 24 sind jeweils drahtgebunden oder drahtlos mit der Kamerafehlausrichtungserkennungsvorrichtung 1 verbunden. 2 ist ein Diagramm, das ein Beispiel für die Positionen zeigt, an denen die fahrzeugmontierten Kameras 21 bis 24 am Fahrzeug 7 angeordnet sind. 2 ist eine Ansicht des Fahrzeugs 7 von oben gesehen.
Die fahrzeugmontierte Kamera 21 ist am vorderen Ende des Fahrzeugs 7 vorgesehen. Dementsprechend wird die im Fahrzeug montierte Kamera 21 auch als Frontkamera 21 bezeichnet. Die optische Achse 21a der Frontkamera 21 verläuft entlang der Vorwärts-Rückwärts-Richtung des Fahrzeugs 7. Die Frontkamera 21 nimmt ein Bild - vom Fahrzeug 7 aus gesehen - nach vorne gerichtet auf. Die fahrzeugmontierte Kamera 22 ist am hinteren Ende des Fahrzeugs 7 vorgesehen. Dementsprechend wird die im Fahrzeug montierte Kamera 22 auch als Rückkamera 22 bezeichnet. Die optische Achse 22a der Rückkamera 22 verläuft entlang der Vorwärts-Rückwärts-Richtung des Fahrzeugs 7. Die Rückkamera 22 nimmt ein Bild - vom Fahrzeug 7 aus gesehen - nach hinten gerichtet auf. Die Einbaulagen der Front- und Rückkameras 21 und 22 befinden sich vorzugsweise in der Mitte in der Links-Rechts-Richtung des Fahrzeugs, können aber auch leicht von der Mitte in der Links-Rechts-Richtung abweichen.
Die fahrzeugmontierte Kamera 23 ist an einem linken Außenspiegel 71 des Fahrzeugs 7 angebracht. Dementsprechend wird die fahrzeugmontierte Kamera 23 auch als linke Seitenkamera 23 bezeichnet. Die optische Achse 23a der linken Seitenkamera 23 verläuft entlang der Links-Rechts-Richtung des Fahrzeugs 7. Die linke Seitenkamera 23 nimmt ein Bild links vom Fahrzeug 7 auf. Die fahrzeugmontierte Kamera 24 ist an einem rechten Außenspiegel 72 des Fahrzeugs 7 angebracht. Dementsprechend wird die im Fahrzeug montierte Kamera 24 auch als rechte Seitenkamera 24 bezeichnet. Die optische Achse 24a der rechten Seitenkamera 24 verläuft entlang der Links-Rechts-Richtung des Fahrzeugs 7. Die rechte Seitenkamera 24 nimmt ein Bild rechts vom Fahrzeug 7 auf.
Die Fahrzeugkameras 21 bis 24 verfügen alle über Fischaugenobjektive mit einem Blickwinkel von 180° oder mehr in horizontaler Richtung. So können die fahrzeugmontierten Kameras 21 bis 24 gemeinsam ein Bild rund um das Fahrzeug 7 in horizontaler Richtung aufnehmen. Obwohl in dieser Ausführungsform die Anzahl der am Fahrzeug montierten Kameras vier beträgt, kann die Anzahl bei Bedarf geändert werden; es können mehrere Kameras oder eine einzige Kamera vorgesehen sein. In einem Fall, in dem das Fahrzeug 7 mit einer fahrzeugmontierten Kamera ausgestattet ist, um das Rückwärtsparken des Fahrzeugs 7 zu unterstützen, kann der Bildaufnahmeabschnitt 2 beispielsweise drei fahrzeugmontierte Kameras umfassen, nämlich die Rückkamera 22, die linke Seitenkamera 23 und die rechte Seitenkamera 24.
Mit Bezug auf 1 ist der Eingabeabschnitt 3 ausgebildet, um Anweisungen an die Kamerafehlausrichtungserkennungsvorrichtung 1 entgegenzunehmen. Der Eingabeabschnitt 3 kann beispielsweise einen berührungsempfindlichen Bildschirm (Touchscreen), Tasten, Hebel und dergleichen umfassen. Der Eingabeabschnitt 3 ist drahtgebunden oder drahtlos mit der Kamerafehlausrichtungserkennungsvorrichtung 1 verbunden.
Der Sensorabschnitt 4 umfasst eine Mehrzahl von Sensoren, die Informationen über das mit den fahrzeugmontierten Kameras 21 bis 24 ausgestattete Fahrzeug 7 erfassen. In dieser Ausführungsform umfasst der Sensorabschnitt 4 einen Geschwindigkeitssensor 41 und einen Lenkwinkelsensor 42. Der Geschwindigkeitssensor 41 erfasst die Geschwindigkeit des Fahrzeugs 7. Der Lenkwinkelsensor 42 erfasst den Drehwinkel des Lenkrads des Fahrzeugs 7. Der Geschwindigkeitssensor 41 und der Lenkwinkelsensor 42 sind über einen Kommunikationsbus 50 mit der Kamerafehlausrichtungserkennungsvorrichtung 1 verbunden. Somit werden die vom Geschwindigkeitssensor 41 erfassten Informationen über die Geschwindigkeit des Fahrzeugs 7 über den Kommunikationsbus 50 der Kamerafehlausrichtungserkennungsvorrichtung 1 zugeführt. Die vom Lenkwinkelsensor 42 erfassten Informationen über den Drehwinkel des Lenkrads des Fahrzeugs 7 werden über den Kommunikationsbus 50 an die Kamerafehlausrichtungserkennungsvorrichtung 1 weitergeleitet. Der Kommunikationsbus 50 kann beispielsweise ein CAN-Bus (Controller Area Network) sein.
Kamerafehlausrichtungserkennungsvorrichtung
Wie in 1 dargestellt, umfasst die Kamerafehlausrichtungserkennungsvorrichtung 1 einen Bilderfasser 11, eine Steuerung 12 und einen Speicher 13.
Der Bilderfasser 11 erfasst Bilder von den vier fahrzeugmontierten Kameras 21 bis 24. Der Bilderfasser 11 verfügt über grundlegende Bildverarbeitungsfunktionen wie eine Analog-Digital-Wandlungsfunktion zur Umwandlung analoger Aufnahmen in digitale Aufnahmen. Der Bilderfasser 11 unterzieht die erfassten Bilder einer vorbestimmten Bildverarbeitung und leitet die verarbeiteten aufgenommenen Bilder an die Steuerung 12 weiter.
Die Steuerung 12 ist beispielsweise ein Mikrocomputer und steuert gebündelt die gesamte Kamerafehlausrichtungserkennungsvorrichtung 1. Die Steuerung 12 umfasst eine CPU, einen RAM, einen ROM und dergleichen. Der Speicher 13 ist beispielsweise ein nichtflüchtiger Speicher wie ein Flash-Speicher und speichert verschiedene Arten von Informationen. Der Speicher 13 speichert Programme als Firmware sowie verschiedene Arten von Daten.
Insbesondere umfasst die Steuerung 12 einen Ableiter 121, einen Schätzer 122 und einen Bestimmer 123. Somit umfasst die Kamerafehlausrichtungserkennungsvorrichtung 1 den Ableiter 121, den Schätzer 122 und den Bestimmer 123. Die in der Steuerung 12 vorgesehenen Funktionen dieser Blöcke 121 bis 123 werden z.B. durch die operative Verarbeitung durch die CPU gemäß den im Speicher 13 gespeicherten Programmen ausgeführt.
Wenigstens eine von den Komponenten umfassend den Ableiter 121, den Schätzer 122 und den Bestimmer 123 in der Steuerung 12 können als Hardware ausgebildet sein, wie einem anwendungsspezifischen integrierten Schaltkreis ASIC (Application Specific Integrated Circuit) oder einem feldprogrammierbaren Gate-Array FPGA (Field Programmable Gate Array). Der Ableiter 121, der Schätzer 122 und der Bestimmer 123 sind konzeptionelle Bestandteile; die von jedem von ihnen ausgeführten Funktionen können auf eine Mehrzahl von Bestandteilen verteilt werden, oder die Funktionen von zwei oder mehr von ihnen können in einen einzigen Bestandteil integriert sein.
Ein optischer Fluss (Bewegungsvektor) kennzeichnet die Bewegung eines Merkmalspunktes zwischen zwei Bildern, die von den fahrzeugmontierten Kameras 21 bis 24 in einem vorgegebenen Zeitintervall zugeführt werden. Der Ableiter 121 leitet für jeden Merkmalspunkt einen optischen Fluss ab. In dieser Ausführungsform ist das Fahrzeug 7 mit vier fahrzeugmontierten Kameras 21 bis 24 ausgestattet. Dementsprechend leitet der Ableiter 121 für jeden Merkmalspunkt für jede der fahrzeugmontierten Kameras 21 bis 24 einen optischen Fluss ab. Ein Merkmalspunkt ist ein herausragend erkennbarer Punkt in einem aufgenommenen Bild (ein Punkt, an dem sich der Leuchtdichtewert ändert), wie beispielsweise ein Schnittpunkt zwischen Rändern in einem aufgenommenen Bild. Ein Merkmalspunkt ist z.B. ein Rand einer weißen Linie, die auf die Fahrbahnoberfläche gezeichnet ist, ein Riss in der Fahrbahnoberfläche, ein Fleck auf der Fahrbahnoberfläche oder etwas Schotter auf der Fahrbahnoberfläche. Normalerweise gibt es in einem aufgenommenen Bild eine Reihe von Merkmalspunkten. Der Ableiter 121 leitet Punkte in aufgenommenen Bildern nach einem bekannten Verfahren wie dem Harris-Operator ab.
Basierend auf einer Mehrzahl von optischen Flüssen schätzt der Schätzer 122 den Bewegungsbetrag des Fahrzeugs 7, das mit den fahrzeugmontierten Kameras 21 bis 24 ausgestattet ist. Der Schätzer 122 unterzieht eine Mehrzahl von optischen Flüssen einer statistischen Verarbeitung, um den Bewegungsbetrag des mit den fahrzeugmontierten Kameras 21 bis 24 ausgestatteten Fahrzeugs 7 zu schätzen. In dieser Ausführungsform ist das Fahrzeug 7 mit vier fahrzeugmontierten Kameras 21 bis 24 ausgestattet. Dementsprechend berechnet der Schätzer 122 den geschätzten Wert der Bewegungsbetrag des Fahrzeugs 7 für jede der am Fahrzeug montierten Kameras 21 bis 24. In dieser Ausführungsform ist die vom Schätzer 122 durchgeführte statistische Verarbeitung die Verarbeitung mittels Histogrammen. Die Histogramm-basierte Verarbeitung zur Schätzung des Bewegungsbetrags wird später ausführlich beschrieben.
Basierend auf dem vom Schätzer 122 geschätzten Bewegungsbetrag (d.h. der geschätzte Informationen) bestimmt der Bestimmer 123 eine Fehlausrichtung der fahrzeugmontierten Kameras 21 bis 24. Basierend auf den geschätzten Informationen, die im Schätzer 122 erhalten wurden, sowie den tatsächlich beobachteten Informationen über die Bewegung des Fahrzeugs 7, die von einem externen Sensor zugeführt werden, der von den fahrzeugmontierten Kameras 21 bis 24 verschieden ist, bestimmt der Bestimmer 123 eine Fehlausrichtung, d.h. eine Anomalie in den fahrzeugmontierten Kameras 21 bis 24. In dieser Ausführungsform ist das Fahrzeug 7 mit vier fahrzeugmontierten Kameras 21 bis 24 ausgestattet, so dass der Bestimmer 123 für jede der fahrzeugmontierten Kameras 21 bis 24 eine Kamerafehlausrichtung bestimmt Der externe Sensor bezieht sich auf einen Sensor, der außerhalb der Kamerafehlausrichtungserfassungseinrichtung 1 vorgesehen ist.
In dieser Ausführungsform, basierend auf den im Schätzer 122 erhaltenen geschätzten Informationen sowie den Informationen über die Geschwindigkeit des Fahrzeugs 7, die vom Geschwindigkeitssensor 41 zugeführt werden, bestimmt der Bestimmer 123 eine Fehlausrichtung der fahrzeugmontierten Kameras 21 bis 24. Somit umfassen die tatsächlich beobachteten Informationen in dieser Ausführungsform die Informationen über die Geschwindigkeit des Fahrzeugs 7, die über den Kommunikationsbus 50 dem Bestimmer 123 zugeführt werden. Mit dieser Konfiguration ist es möglich, einfach und genau den tatsächlichen Bewegungsbetrag des Fahrzeugs 7 zu erfassen.
Die tatsächlich beobachteten Informationen über die Bewegung des Fahrzeugs 7 sind nicht auf die Geschwindigkeitsinformationen des Fahrzeugs 7 beschränkt, die vom Geschwindigkeitssensor 41 erfasst worden sind. So können beispielsweise die tatsächlich beobachteten Informationen über die Bewegung des Fahrzeugs 7 Bewegungsdistanzinformationen (Bewegungsbetraginformationen) hinsichtlich des Fahrzeugs 7 sein, die von einem GPS-Empfänger (Global Positioning System) erfasst werden. Die tatsächlich beobachteten Informationen über die Bewegung des Fahrzeugs 7 können anstelle einer einzigen Art von Informationen eine Mehrzahl von Arten von Informationen umfassen. So können beispielsweise die tatsächlich beobachteten Informationen über das Fahrzeug 7 zwei Arten von Informationen umfassen: die vom Geschwindigkeitssensor 41 erfassten Geschwindigkeitsinformationen über das Fahrzeug 7 und die vom Lenkwinkelsensor 42 erfassten Drehwinkelinformationen über das Lenkrad des Fahrzeugs 7.
Bei der Konfiguration gemäß dieser Ausführungsform kann die Kamerafehlausrichtungserkennungsvorrichtung 1 Kamerafehlausrichtungen erkennen, indem sie die aufgenommenen Bilder der fahrzeugmontierten Kameras 21 bis 24 sowie der Sensoren, wie beispielsweise des Geschwindigkeitssensors 41, verwendet, die bereits am Fahrzeug 7 vorhanden sind. Damit ist es möglich, die in der Konfiguration erforderlichen Kosten für die Erkennung von Kamerafehlausrichtungen zu reduzieren. Darüber hinaus ist es bei der Konfiguration nach dieser Ausführungsform unter der Annahme, dass ein großer Teil dessen, was in den aufgenommenen Bildern dargestellt wird, die Fahrbahnoberfläche ist, möglich, durch statistische Verarbeitung unter Verwendung der optischen Abläufe von Merkmalspunkten Kamerafehlausrichtungen zu erkennen.
3 ist ein Flussdiagramm, das ein Beispiel für das Verfahren zum Erkennen einer Kamerafehlausrichtung durch die Kamerafehlausrichtungserkennungsvorrichtung 1 zeigt. In dieser Ausführungsform wird das Verfahren zur Erkennung von Kamerafehlausrichtungen in 3 für jede der vier fahrzeugmontierten Kameras 21 bis 24 durchgeführt. Um Wiederholungen zu vermeiden, wird hier das Verfahren zur Erkennung von Kamerafehlausrichtungen in Bezug auf die Frontkamera 21 als repräsentatives Beispiel beschrieben.
Wie in 3 dargestellt, überprüft die Steuerung 12 zunächst, ob das mit der Frontkamera 21 ausgestattete Fahrzeug 7 geradeaus, d.h. geradlinig, fährt (Schritt S1). Ob das Fahrzeug 7 geradeaus fährt oder nicht, kann beispielsweise anhand der Drehwinkelinformationen am Lenkrad beurteilt werden, die vom Lenkwinkelsensor 42 erhalten werden. Angenommen, das Fahrzeug 7 fährt völlig geradlinig, wenn der Drehwinkel des Lenkrads gleich Null ist, dann kann das Fahrzeug 7 nicht nur, wenn der Drehwinkel gleich Null ist, sondern auch, wenn es in einen bestimmten Bereich in positiver und negativer Richtung fällt, als geradlinig fahrend beurteilt werden. Geradeausfahrt umfasst sowohl Vorwärts- als auch Rückwärtsfahrt.
Die Steuerung 12 wiederholt die Prüfung bei Schritt S1, bis das Fahrzeug 7 als geradeaus-fahrend beurteilt wird. Wenn das Fahrzeug 7 nicht geradeaus fährt, werden keine Informationen zum Bestimmen einer Kamerafehlausrichtung erfasst. Mit anderen Worten, die Bestimmung einer Fehlausrichtung in der fahrzeugmontierten Kamera (Frontkamera) 21 durch den Bestimmer 123 erfolgt unter Verwendung von Informationen, die erfasst werden, wenn das Fahrzeug 7 aufgrund eines externen Sensors (hier der Lenkwinkelsensor 42), der von den fahrzeugmontierten Kameras verschieden ist, als geradeaus-fahrend beurteilt wird. Bei dieser Konfiguration wird keine Bestimmung einer Kamerafehlausrichtung durch die Verwendung von Informationen durchgeführt, die erfasst werden, wenn das Fahrzeug 7 entlang einer Kurvenbahn fährt; dies hilft, die Informationsverarbeitung für die Bestimmung einer Kamerafehlausrichtung nicht zu erschweren.
Wenn das Fahrzeug 7 als geradeaus fahrend beurteilt wird (Schritt S1, JA), überprüft die Steuerung 12, ob die Geschwindigkeit des Fahrzeugs 7 innerhalb eines vorgegebenen Geschwindigkeitsbereichs liegt oder nicht (Schritt S2). Der vorgegebene Geschwindigkeitsbereich beträgt beispielsweise 3 km/h oder höher, aber 5 km/h oder niedriger. In dieser Ausführungsform kann die Geschwindigkeit des Fahrzeugs 7 vom Geschwindigkeitssensor 41 erfasst werden, der ein externer Sensor ist, der von den fahrzeugmontierten Kameras 21 bis 24 verschieden ist. Die Schritte S1 und S2 können in der Reihenfolge umgekehrt sein. Die Schritte S1 und S2 können gleichzeitig ausgeführt werden.
Wenn die Geschwindigkeit des Fahrzeugs 7 außerhalb des vorgegebenen Geschwindigkeitsbereichs liegt (Schritt S2, NEIN), dann überprüft die Steuerung 12 wieder bei Schritt S1, ob das Fahrzeug 7 geradeaus fährt oder nicht. Wenn die Geschwindigkeit des Fahrzeugs 7 nicht innerhalb des vorgegebenen Geschwindigkeitsbereichs liegt, werden keine Informationen zum Bestimmen einer Kamerafehlausrichtung erfasst. Mit anderen Worten, das Bestimmen einer Kamerafehlausrichtung in der fahrzeugmontierten Kamera (Frontkamera) 21 durch den Bestimmer 123 erfolgt unter Verwendung von Informationen, die erfasst werden, wenn das Fahrzeug 7 basierend auf einem externen Sensor (hier dem Geschwindigkeitssensor 41), der von den fahrzeugmontierten Kameras 21 bis 24 verschieden ist, als innerhalb des vorgegebenen Geschwindigkeitsbereichs fahrend beurteilt wird. Wenn beispielsweise die Geschwindigkeit des Fahrzeugs 7 zu hoch ist, neigt die Ableitung optischer Flüsse dazu, falsch zu sein. Andererseits, wenn die Geschwindigkeit des Fahrzeugs 7 zu niedrig ist, ist die Geschwindigkeit des Fahrzeugs 7, die vom Geschwindigkeitssensor 41 erfasst wird, weniger zuverlässig. In diesem Zusammenhang wird bei der Konfiguration gemäß dieser Ausführungsform eine Kamerafehlausrichtung bestimmt, außer wenn die Geschwindigkeit des Fahrzeugs 7 zu hoch oder zu niedrig ist; dies trägt dazu bei, die Zuverlässigkeit der Bestimmung einer Kamerafehlausrichtung zu erhöhen.
Es wird bevorzugt, dass der vorgegebene Geschwindigkeitsbereich variabel einstellbar ist. Mit dieser Konfiguration kann der vorgegebene Geschwindigkeitsbereich an die individuellen Fahrzeugwerte angepasst werden, was die Zuverlässigkeit der Bestimmung der Kamerafehlausrichtung verbessert. In dieser Ausführungsform kann der vorgegebene Geschwindigkeitsbereich im Eingabeabschnitt 3 eingestellt werden.
Wenn das Fahrzeug 7 als innerhalb des vorgegebenen Geschwindigkeitsbereichs fahrend beurteilt wird (Schritt S2, JA), extrahiert der Ableiter 121 einen Merkmalspunkt (Schritt S3). Mit anderen Worten, der Ableiter 121 extrahiert einen Merkmalspunkt, wenn das Fahrzeug 7 mit einer vorbestimmten niedrigen Geschwindigkeit geradeaus fährt. Die Extraktion eines Merkmalspunktes durch den Ableiter 121 erfolgt beispielsweise, wenn sich das ruhende Fahrzeug 7 in Bewegung setzt oder wenn das fahrende Fahrzeug 7 kurz davor steht, anzuhalten.
4 ist ein Diagramm, das ein Verfahren zur Extraktion eines Merkmalspunktes FP veranschaulicht. 4 zeigt schematisch das aufgenommene Bild P, das von der Frontkamera 21 aufgenommen wurde. Die Merkmalspunkte FP liegen auf der Fahrbahnoberfläche RS. In 4 sind zwei Merkmalspunkte FP dargestellt; die Anzahl hier ist jedoch nur veranschaulichend und nicht tatsächlich. In der Regel werden eine Reihe von Merkmalspunkten FP erfasst. Wie in 4 dargestellt, extrahiert der Ableiter 121 Merkmalspunkte FP innerhalb eines vorgegebenen Bereichs RE. Der vorgegebene Bereich RE ist auf einen weiten Bereich einschließlich der Mitte C des aufgenommenen Bildes P eingestellt. Somit ist es möglich, Merkmalspunkte FP auch dann zu extrahieren, wenn sie an ungleichmäßig verteilten Stellen in einem einseitigen Bereich auftreten. Der vorgegebene Bereich RE ist so eingestellt, dass er einen Bereich ausschließt, in dem sich die Karosserie BO des Fahrzeugs 7 zeigt.
Wenn Merkmalspunkte FP extrahiert werden, leitet der Ableiter 121 einen optischen Fluss für jeden der extrahierten Merkmalspunkte FP ab (Schritt S4). 5 ist ein Diagramm, das ein Verfahren zur Ableitung eines optischen Flusses OF darstellt. 5 ist, wie 4, eine rein illustrative schematische Darstellung. Was 5 zeigt, ist das aufgenommene Bild (aktueller Frame P'), das von der Frontkamera 21 eine vorbestimmte Zeitspanne nach der Aufnahme des aufgenommenen Bildes (vorheriger Frame P) gemäß 4 aufgenommen wurde. Nach der Aufnahme des in 4 gezeigten Bildes P bis zum Ablauf der vorgegebenen Zeitspanne ist das Fahrzeug 7 rückwärts gefahren. Die gestrichelten Kreise in 5 zeigen die Positionen der Merkmalspunkte FP zum Zeitpunkt der Aufnahme des in 4 gezeigten Bildes P.
Wie in 5 dargestellt, bewegen sich die Merkmalspunkte FP, die sich vor dem Fahrzeug 7 befinden, beim Rückwärtsfahren des Fahrzeugs 7 vom Fahrzeug 7 weg. Das heißt, die Merkmalspunkte FP erscheinen an verschiedenen Positionen im aktuellen Frame P' und im vorherigen Frame P. Der Ableiter 121 ordnet die Merkmalspunkte FP im aktuellen Frame P' den Merkmalspunkten FP im vorherigen Frame P basierend auf Pixelwerten in der Nähe zu und leitet optische Flüsse basierend auf den jeweiligen Positionen der so zugeordneten Merkmalspunkte FP ab.
Wenn die optischen Flüsse OF abgeleitet werden, wandelt der Schätzer 122 die optischen Flüsse OF, die im Kamerakoordinatensystem erhalten wurden, in optische Flüsse im Weltkoordinatensystem um (Schritt S5). 6 ist ein Diagramm, das die Koordinatenumrechnung veranschaulicht. Wie in 6 dargestellt, wandelt der Schätzer 122 einen optischen Fluss OF aus der Sicht der Position (Sichtpunkt VP1) der Frontkamera 21 in einen optischen Fluss OF_C aus der Sicht eines Sichtpunktes VP2 über der Fahrbahnoberfläche RS um, auf der sich das Fahrzeug 7 befindet. Der Schätzer 122 wandelt jeden optischen Fluss OF im aufgenommenen Bild P in einen optischen Fluss OF_C im Weltkoordinatensystem um, indem er diesen auf eine virtuelle Ebene RS_V projiziert, die der Straßenoberfläche RS entspricht.
Anschließend erzeugt der Schätzer 122 basierend auf den optischen Flüssen OF_C im Weltkoordinatensystem ein Histogramm (Schritt S6). In dieser Ausführungsform teilt der Schätzer 122 jeden optischen Fluss OF_C in zwei Komponenten, Vorwärts-Rückwärts und Links-Rechts, und erzeugt ein erstes Histogramm und ein zweites Histogramm. 7 ist ein Diagramm, das ein Beispiel für das erste Histogramm HG1 zeigt, das durch den Schätzer 122 erzeugt wurde. 8 ist ein Diagramm, das ein Beispiel für das zweite Histogramm HG2 zeigt, das durch den Schätzer 122 erzeugt wurde. Die 7 und 8 zeigen Histogramme, die erhalten wurden, wenn keine Kamerafehlausrichtungen vorhanden sind.
Das erste in 7 dargestellte Histogramm HG1 ist ein Histogramm, das basierend auf den Vorwärts-Rückwärts-Komponenten der optischen Flüsse OF_C erhalten wurde. Das erste Histogramm HG1 ist ein Histogramm, bei dem die Anzahl der optischen Flüsse OF_C entlang der Frequenzachse aufgetragen ist, und der Bewegungsbetrag in der Vorwärts-Rückwärts-Richtung (die Länge der optischen Flüsse OF_C in der Vorwärts-Rückwärts-Richtung) entlang der Klassenachse aufgetragen ist. Das zweite in 8 dargestellte Histogramm HG2 ist ein Histogramm, das basierend auf den Links-Rechts-Komponenten der optischen Flüsse OF_C erhalten wurde. Das zweite Histogramm HG2 ist ein Histogramm, bei dem die Anzahl der optischen Flüsse OF_C entlang der Frequenzachse aufgetragen ist, und der Bewegungsbetrag in der Links-Rechts-Richtung (die Länge der optischen Flüsse OF_C in der Links-Rechts-Richtung) entlang der Klassenachse aufgetragen ist.
Die 7 und 8 zeigen Histogramme, die erhalten wurden, wenn das Fahrzeug 7 ohne Kamerafehlausrichtung geradlinig rückwärts gefahren ist. Dementsprechend ist im ersten Histogramm HG1 die Frequenz um einen bestimmten Bewegungsabstand (Klasse) auf der Rückwärts-Seite tendenziell einseitig hoch. Im zweiten Histogramm HG2 hingegen ist die Frequenz tendenziell einseitig um eine Klasse nahe Null auf der Bewegungsbetrag-Achse hoch.
9 ist ein Diagramm, das zeigt, wie sich ein Histogramm ändert, wenn eine Fehlausrichtung der Kamera auftritt. 9 zeigt einen Fall, in dem die Frontkamera 21 durch Drehen in Kipprichtung (vertikale Richtung) falsch ausgerichtet ist. In 9 befindet sich in der oberen Darstellung (a) das erste Histogramm HG1, das ohne Kamerafehlausrichtung erhalten wurde (im Normalzustand), und in der unteren Darstellung (b) befindet sich das erste Histogramm HG1, das mit einer Kamerafehlausrichtung erhalten wurde. Eine Rotationsabweichung der Frontkamera 21 in Neigungsrichtung wirkt sich hauptsächlich auf die Vorwärts-Rückwärts-Komponente eines optischen Flusses OF_C aus. In dem in 9 dargestellten Beispiel bewirkt die Rotationsabweichung der Frontkamera 21 in Neigungsrichtung, dass die Klassen, in denen die Frequenz tendenziell hoch ist, im Vergleich zum Normalzustand nach vorne verschoben sind.
Eine Rotationsabweichung der Frontkamera 21 in Neigungsrichtung hat nur einen geringen Einfluss auf die Links-Rechts-Komponente eines optischen Flusses OF_C. Dementsprechend, wenn auch nicht dargestellt, ist die Änderung des zweiten Histogramms HG2 ohne und mit Kamerafehlausrichtung kleiner als die des ersten Histogramms HG1. Dies ist jedoch der Fall, wenn die Frontkamera 21 in Neigungsrichtung verstellt ist; wenn die Frontkamera 21 beispielsweise in Schwenkrichtung (horizontale Richtung) oder in Rollrichtung (Drehrichtung um die optische Achse) verstellt ist, ändern sich die Histogramme unterschiedlich.
Basierend auf den erzeugten Histogrammen HG1 und HG2 schätzt der Schätzer 122 den Bewegungsbetrag des Fahrzeugs 7 (Schritt S7). In dieser Ausführungsform schätzt der Schätzer 122 den Bewegungsbetrag des Fahrzeugs 7 in der Vorwärts-Rückwärts-Richtung basierend auf dem ersten Histogramm HGl; der Schätzer 122 schätzt den Bewegungsbetrag des Fahrzeugs 7 in der Links-Rechts-Richtung basierend auf dem zweiten Histogramm HG2. Das heißt, die in dem Schätzer 122 erhaltenen geschätzten Informationen umfassen Schätzwerte für die Bewegungsbeträge des Fahrzeugs 7 in der Vorwärts-Rückwärts- und Links-Rechts-Richtung. Mit dieser Konfiguration ist es möglich, eine Kamerafehlausrichtung durch Verwendung von Schätzwerten der Bewegungsbeträge des Fahrzeugs 7 in der Vorwärts-Rückwärts- und Links-Rechts-Richtung zu erkennen, und somit die Zuverlässigkeit des Ergebnisses der Erfassung der Kamerafehlausrichtung zu erhöhen. In dieser Ausführungsform werden die Bewegungsbeträge des Fahrzeugs 7 unter der Annahme geschätzt, dass Merkmalspunkte, die unter bestimmten Bedingungen extrahiert werden, auf der Fahrbahnoberfläche RS vorhanden sind.
In dieser Ausführungsform nimmt der Schätzer 122 den Mittelwert des ersten Histogramms HG1 als Schätzwert für den Bewegungsbetrag in der Vorwärts-Rückwärts-Richtung; der Schätzer 122 nimmt den Mittelwert des zweiten Histogramms HG2 als Schätzwert für den Bewegungsbetrag in der Links-Rechts-Richtung. Dies soll jedoch nicht dazu dienen, das Verfahren einzuschränken, mit dem der Schätzer 122 die Schätzwerte bestimmt. So kann beispielsweise der Schätzer 122 die Klassen nehmen, in denen die Histogramme HG1 und HG2 jeweils die maximalen Häufigkeiten als Schätzwerte für die Bewegungsbeträge aufweisen. Für ein weiteres Beispiel kann der Schätzer 122 die Mittelwerte (Durchschnittswerte) jeweils in den Histogrammen HG1 und HG2 als Schätzwerte für die Bewegungsbeträge nehmen.
In dem in 9 gezeigten Beispiel zeigt eine Strichpunktlinie den geschätzten Wert des Bewegungsbetrags in der Vorwärts-Rückwärts-Richtung an, der erhalten wird, wenn sich die Frontkamera 21 im Normalzustand befindet, und eine Strichpunkt-Punktlinie zeigt den geschätzten Wert des Bewegungsbetrags in der Vorwärts-Rückwärts-Richtung an, die erhalten wird, wenn eine Kamerafehlausrichtung vorliegt. Wie in 9 dargestellt, erzeugt eine Kamerafehlausrichtung eine Differenz Δ im Schätzwert des Bewegungsbetrags in Vorwärts-Rückwärts-Richtung.
Wenn im Schätzer 122 Schätzwerte für die Bewegungsbeträge des Fahrzeugs 7 erhalten werden, bestimmt der Bestimmer 123 eine Fehlausrichtung der Frontkamera 21 (Schritt S8). Wenn, für wenigstens den Bewegungsbetrag des Fahrzeugs 7 in der Vorwärts-Rückwärts-Richtung, den Bewegungsbetrag des Fahrzeugs 7 in der Links-Rechts-Richtung, oder einen bestimmten Betrag, der basierend auf den Bewegungsbeträgen des Fahrzeugs 7 in den Vorwärts-Rückwärts- und Links-Rechts-Richtungen erhalten wurde, die Differenz zwischen dem in dem Schätzer 122 erhaltenen Schätzwert und dem auf der Grundlage der tatsächlich beobachteten Informationen über die Bewegung des Fahrzeugs 7 erhaltenen Wert, der von einem anderen externen Sensor als den fahrzeugmontierten Kameras 21 bis 24 zugeführt wird, gleich oder größer als ein vorgegebener Schwellenwert ist, dann bestimmt der Bestimmer 123, dass die fahrzeugmontierte Kamera (Frontkamera) 21 falsch ausgerichtet ist. Mit dieser Konfiguration ist es möglich, eine Fehlausrichtung einer fahrzeugmontierten Kamera richtig zu erkennen, indem die Schätzwerte der Bewegungsbeträge des Fahrzeugs 7, wie sie von den fahrzeugmontierten Kameras erhalten wurden, mit den Bewegungsbeträgen des Fahrzeugs 7 verglichen werden, wie sie sich aus den tatsächlich beobachteten Informationen des externen Sensors ergeben.
In dieser Ausführungsform sind die tatsächlich beobachteten Informationen, die sich auf die Bewegung des Fahrzeugs 7 beziehen, die von einem externen Sensor mit Ausnahme der fahrzeugmontierten Kameras 21 bis 24 zugeführt werden, die Geschwindigkeitsinformationen über das Fahrzeug 7, die vom Geschwindigkeitssensor 41 zugeführt werden. Aus diesen Geschwindigkeitsinformationen werden die Bewegungsbeträge des Fahrzeugs 7 berechnet, mit denen die Schätzwerte verglichen werden können. Insbesondere werden diese Bewegungsbeträge berechnet basierend auf dem Bildaufnahmezeitintervall zwischen den beiden aufgenommenen Bildern zur Ableitung der optischen Flüsse OF und basierend auf der vom Geschwindigkeitssensor 41 erhaltenen Geschwindigkeit des Fahrzeugs 7 während dieses Intervalls. Darüber hinaus umfassen diese Bewegungsbeträge zwei Werte, einen in der Vorwärts-Rückwärts-Richtung und den anderen in der Links-Rechts-Richtung, entsprechend dem Schätzer 122, der zwei Schätzwerte der Bewegungsbeträge in der Vorwärts-Rückwärts-Richtung und Links-Rechts-Richtung erzeugt. In dieser Ausführungsform, in der die aufgenommenen Bilder zur Ableitung optischer Flüsse OF aufgenommen werden, während das Fahrzeug 7 in Vorwärts-Rückwärts-Richtung fährt, bewegt sich das Fahrzeug 7 jedoch nicht in der Links-Rechts-Richtung; somit ist der aus den Geschwindigkeitsinformationen berechnete Bewegungsbetrag in der Links-Rechts-Richtung immer gleich Null.
10 ist ein Flussdiagramm, das ein Beispiel für die Verarbeitung der Kamerafehlausrichtungsbestimmung durch den Bestimmer 123 zeigt. Zunächst prüft der Bestimmer 123 für den Bewegungsbetrag in Vorwärts-Rückwärts-Richtung, ob die Differenz zwischen dem im Schätzer 122 geschätzten Schätzwert und dem auf der Grundlage der vom Geschwindigkeitssensor 41 erhaltenen Geschwindigkeitsinformationen über das Fahrzeug 7 berechneten Wert kleiner als ein erster Schwellenwert ist oder nicht (Schritt S11). Wenn die Differenz zwischen den beiden Werten gleich oder größer als der erste Schwellenwert ist (Schritt S11, NEIN), bestimmt der Bestimmer 123, dass die Frontkamera 21 in einem fehlerhaften Zustand installiert und falsch ausgerichtet ist (Schritt S15). Ist dagegen die Differenz zwischen den beiden Werten größer als der erste Schwellenwert (Schritt S11, JA), bestimmt der Bestimmer 123, dass aus dem Bewegungsbetrag in Vorwärts-Rückwärts-Richtung keine Anomalie erkannt wird.
Wenn keine Anomalie aus dem Bewegungsbetrag in der Vorwärts-Rückwärts-Richtung erkannt wird, prüft der Bestimmer 123 für den Bewegungsbetrag in der Links-Rechts-Richtung, ob die Differenz zwischen dem im Schätzer 122 geschätzten Schätzwert und dem auf der Grundlage der vom Geschwindigkeitssensor 41 erhaltenen Geschwindigkeitsinformationen am Fahrzeug 7 berechneten Wert kleiner als ein zweiter Schwellenwert ist oder nicht (Schritt S12). Wenn die Differenz zwischen den beiden Werten gleich oder größer als der zweite Schwellenwert ist (Schritt S12, NEIN), bestimmt der Bestimmer 123, dass die Frontkamera 21 in einem fehlerhaften Zustand installiert und falsch ausgerichtet ist (Schritt S15). Ist hingegen die Differenz zwischen den beiden Werten kleiner als der zweite Schwellenwert (Schritt S12, JA), bestimmt der Bestimmer 123, dass aus dem Bewegungsbetrag in der Links-Rechts-Richtung keine Anomalie erkannt wird.
Wenn auch aus dem Bewegungsbetrag in Links-Rechts-Richtung keine Anomalie festgestellt wird, prüft der Bestimmer 123 für den bestimmten Betrag, der basierend auf den Bewegungsbeträgen in der Vorwärts-Rückwärts-Richtung und Links-Rechts-Richtung erhalten wird, ob die Differenz zwischen dem im Schätzer 122 geschätzten Schätzwert und dem aufgrund der Geschwindigkeitsinformationen über das Fahrzeug 7, die aus dem Geschwindigkeitssensor 41 erhalten werden, ermittelten Wert kleiner als ein dritter Schwellenwert ist (Schritt S13). In dieser Ausführungsform ist der jeweilige Betrag der Wert der Quadratwurzel aus der Summe des Wertes, der durch Quadrieren des Bewegungsbetrags in der Vorwärts-Rückwärts-Richtung und des Wertes durch Quadrieren des Bewegungsbetrags in der Links-Rechts-Richtung erhalten wird. Dies ist jedoch nur ein Beispiel; der jeweilige Betrag kann stattdessen beispielsweise die Summe aus dem Wert sein, der sich aus der Quadratur des Bewegungsbetrags in der Vorwärts-Rückwärts-Richtung und dem Wert aus der Quadratur des Bewegungsbetrags in der Links-Rechts-Richtung ergibt.
Wenn die Differenz zwischen dem Schätzwert des jeweiligen Betrags und dem aus den Geschwindigkeitsinformationen berechneten Wert gleich oder größer als der dritte Schwellenwert ist (Schritt S13, NEIN), bestimmt der Bestimmer 123, dass die Frontkamera 21 in einem fehlerhaften Zustand installiert und falsch ausgerichtet ist (Schritt S15). Ist hingegen die Differenz zwischen den beiden Werten kleiner als der dritte Schwellenwert (Schritt S13, JA), bestimmt der Bestimmer 123, dass die Frontkamera 21 im Normalzustand installiert ist (Schritt S14).
Wenn in dieser Ausführungsform eine Anomalie in irgend einem der Bewegungsbeträge in der Vorwärts-Rückwärts-Richtung, der Links-Rechts-Richtung oder dem jeweiligen Betrag durch Vergleich der im Schätzer 122 erhaltenen Schätzwerte mit den auf der Grundlage der Geschwindigkeitsinformationen erhaltenen Werten erkannt wird, wird davon ausgegangen, dass eine Kamerafehlausrichtung vorliegt. Mit dieser Konfiguration ist es möglich, die Wahrscheinlichkeit einer Fehleinschätzung zu verringern, dass nämlich keine Kamerafehlausrichtung vorliegt, obwohl eine Fehlausrichtung vorhanden ist. Dies ist jedoch nur ein Beispiel; eine Konfiguration ist auch dann möglich, wo, nur wenn eine Anomalie bei jedem Bewegungsbetrag in der Vorwärts-Rückwärts-Richtung, in der Links-Rechts-Richtung und bei dem jeweiligen Betrag durch Vergleich der im Schätzer 122 erhaltenen Schätzwerte mit den auf der Grundlage der Geschwindigkeitsinformationen erhaltenen Werten erkannt wird, davon ausgegangen wird, dass eine Kamerafehlausrichtung vorliegt. Es wird bevorzugt, dass die Kriterien für die Bestimmung einer Kamerafehlausrichtung im Eingabeabschnitt 3 bei Bedarf geändert werden können.
In dieser Ausführungsform wird für den Bewegungsbetrag in der Vorwärts-Rückwärts-Richtung, für den Bewegungsbetrag in der Links-Rechts-Richtung und für den jeweiligen Betrag ein Vergleich der Schätzwerte mit den aufgrund der Geschwindigkeitsinformationen erhaltenen Werten abwechselnd durchgeführt; stattdessen kann ihr Vergleich auch gleichzeitig durchgeführt werden. In einer Konfiguration, bei der der Vergleich der Schätzwerte mit den auf der Grundlage der Geschwindigkeitsinformationen erhaltenen Werten abwechselnd durchgeführt wird, gibt es keine besondere Einschränkung für die Reihenfolge; die Reihenfolge kann sich von der in 10 dargestellten unterscheiden. In dieser Ausführungsform wird eine Kamerafehlausrichtung basierend auf Bewegungsbeträgen bestimmt; stattdessen kann eine Kamerafehlausrichtung basierend auf Geschwindigkeiten bestimmt werden. In diesem Fall kann eine Kamerafehlausrichtung bestimmt werden, indem die Geschwindigkeiten in der Vorwärts-Rückwärts-Richtung und Links-Rechts-Richtung basierend auf den aus optischen Flüsse geschätzten Bewegungsbeträgen und dem Zeitabstand zwischen den zur Berechnung der optischen Flüsse verwendeten Frames geschätzt und dann mit der Geschwindigkeit des Fahrzeugs 7 verglichen werden, die vom Geschwindigkeitssensor 41 erhalten wird. Die vom Geschwindigkeitssensor 41 erhaltene Geschwindigkeit des Fahrzeugs 7 ist in diesem Fall die Geschwindigkeit in Vorwärts-Rückwärts-Richtung und die Geschwindigkeit in Links-Rechts-Richtung gleich Null. So ist in dieser Ausführungsform „Bewegungsbetrag“ gleichbedeutend mit „Geschwindigkeit“.
Es wird bevorzugt, dass, wenn eine Kamerafehlausrichtung erkannt wird, die Kamerafehlausrichtungserkennungsvorrichtung 1 eine Verarbeitung durchführt, um den Fahrer oder dergleichen darauf hinzuweisen. Es wird bevorzugt, dass die Kamerafehlausrichtungserkennungsvorrichtung 1 eine Verarbeitung durchführt, um das Auftreten einer Kamerafehlausrichtung an eine Fahrassistenzeinrichtung zu melden, die das Fahren unterstützt, indem sie Informationen von den fahrzeugmontierten Kameras 21 bis 24 verwendet. In dieser Ausführungsform, in der vier fahrzeugmontierte Kameras 21 bis 24 vorgesehen sind, wird bevorzugt, dass eine solche Alarmierung und Benachrichtigung durchgeführt wird, wenn eine Kamerafehlausrichtung in einer der vier fahrzeugmontierten Kameras 21 bis 24 aufgetreten ist.
Details der statistischen Verarbeitung
Basierend auf Bewegungsinformationen (tatsächlich beobachtete Informationen) über das Fahrzeug 7, die von einem externen Sensor erhalten werden, der von den am Fahrzeug montierten Kameras 21 bis 24 verschieden ist, schränkt der Schätzer 122 die Mehrzahl der im Ableiter 121 abgeleiteten optischen Flüsse OF auf optische Flüsse OF ein, die für die statistische Verarbeitung verwendet werden sollen, und schätzt die Bewegungsbeträge des Fahrzeugs 7.
Die optischen Flüsse OF, die im Ableiter 121 abgeleitet wurden, werden wahrscheinlich von der Straßenbeschaffenheit und anderen Bedingungen beeinflusst, und die Mehrzahl der optischen Flüsse OF, die abgeleitet wurden, kann einige umfassen, die die Bewegung des Fahrzeugs 7 nicht genau wiedergeben. In dieser Ausführungsform ist es unter Verwendung von Bewegungsinformationen über das Fahrzeug 7, die von einem Sensor erhalten werden, der außerhalb der Kamerafehlausrichtungserkennungsvorrichtung 1 angeordnet ist, möglich, Schätzwerte für die Bewegungsbeträge des Fahrzeugs 7 zu berechnen, nachdem solche optischen Flüsse OF ausgeschlossen wurden, die die Bewegung des Fahrzeugs 7 wahrscheinlich nicht genau widerspiegeln. Es ist somit möglich, die Zuverlässigkeit der Verarbeitung der Kamerafehlausrichtungsbestimmung im Bestimmer 123 zu erhöhen.
Das Verfahren dieser Ausführungsform eignet sich besser zur Erkennung von vergleichsweise kleinen Fehlausrichtungen der fahrzeugmontierten Kameras 21 bis 24, als zur Erkennung von großen Fehlausrichtungen der fahrzeugmontierten Kameras 21 bis 24. In dieser Ausführungsform umfasst die statistische Verarbeitung die Verarbeitung zum Erzeugen von Histogrammen, die die Verteilung der Bewegungsbeträge basierend auf einer Mehrzahl von optischen Flüssen OF zeigen.
Die Bewegungsinformationen über das Fahrzeug 7, die vom externen Sensor erhalten werden, umfassen Geschwindigkeitsinformationen über das Fahrzeug 7. Die Geschwindigkeitsinformationen über das Fahrzeug 7 können z.B. vom Geschwindigkeitssensor 41 über den Kommunikationsbus 50 erfasst werden. Die Geschwindigkeitsinformationen des Fahrzeugs 7 können stattdessen beispielsweise von jedem anderen Sensor, wie beispielsweise einem GPS-Sensor, erfasst werden. Der Schätzer 122 schränkt die optischen Flüsse OF, die in der statistischen Verarbeitung verwendet werden sollen, auf optische Flüsse von OF ein, die Bewegungsbeträge innerhalb eines bestimmten Bereichs anzeigen, der basierend auf den Geschwindigkeitsinformationen eingestellt wird, und schätzt die Bewegungsbeträge. Mit dieser Konfiguration ist es möglich, Schätzwerte für die Bewegungsbeträge des Fahrzeugs 7 nach Ausschluss optischer Flüsse OF zu berechnen, die weit von den aus den Geschwindigkeitsinformationen des Fahrzeugs 7 geschätzten Bewegungsbeträgen abweichen, weshalb es möglich ist, die Zuverlässigkeit der Verarbeitung der Kamerafehlausrichtungserkennung zu erhöhen.
11 ist ein Diagramm, das ein Verfahren zum Eingrenzen der optischen Flüsse OF auf solche veranschaulicht, die bei der statistischen Verarbeitung verwendet werden sollen, basierend auf den Geschwindigkeitsinformationen des Fahrzeugs 7. 11 zeigt als Beispiel ein Bewegungsbetrag-Histogramm in Vorwärts-Rückwärts-Richtung (das erste Histogramm HG1).
Insbesondere unter Verwendung von koordinatenkonvertierten optischen Flüssen OF_C schränkt der Schätzer 122 die optischen Flüsse ein, die bei der statistischen Verarbeitung verwendet werden sollen. Aus einer Mehrzahl von koordinatenkonvertierten optischen Flüsse OF_C extrahiert der Schätzer 122 optische Flüsse OF_C, deren Größe (Bewegungsbetrag in der Vorwärts-Rückwärts-Richtung) in einen bestimmten Bereich fällt. In 11 entspricht der schraffierte Teil dem bestimmten Bereich. Unter Verwendung der Histogramme, die durch die Verwendung der extrahierten optischen Flüsse OF_C erzeugt werden, werden die Bewegungsbeträge des Fahrzeugs 7 geschätzt.
In dieser Ausführungsform werden Bewegungsbetrag-Histogramme in der Vorwärts-Rückwärts-Richtung und Links-Rechts-Richtung erzeugt; bei deren Erzeugung werden nur die optischen Flüsse OF_C verwendet, die durch die vorstehend beschriebene Extraktionsverarbeitung gewonnen werden. In dieser Ausführungsform, wenn die optischen Flüsse von OF eingegrenzt werden, werden nur Vorwärts-Rückwärts-Komponenten verwendet. Dies ist jedoch nicht als Einschränkung gedacht; es ist auch möglich, nur Links-Rechts-Komponenten zu verwenden oder sowohl Vorwärts-Rückwärts-Komponenten als auch Links-Rechts-Komponenten zu verwenden.
Der bestimmte Bereich, der basierend auf den Geschwindigkeitsinformationen eingestellt ist, ist ein Bereich, der sich über eine vorgegebene Breite in der Vorwärts-Rückwärts-Richtung um den tatsächlichen Bewegungsbetrag des Fahrzeugs 7 erstreckt, berechnet aus den Geschwindigkeitsinformationen des Fahrzeugs 7. Der tatsächliche Bewegungsbetrag des Fahrzeugs 7 ist der Bewegungsbetrag des Fahrzeugs 7 während des Aufnahmezeitintervalls zwischen den beiden Bildern zur Ableitung von optischen Flüssen OF. In dieser Ausführungsform ist der tatsächliche Bewegungsbetrag des Fahrzeugs 7 der Bewegungsbetrag in der Vorwärts-Rückwärts-Richtung. Die vorgegebene Breite wird beispielsweise durch Experimente, Simulationen oder dergleichen bestimmt, um eine Kamerafehlausrichtungsbestimmung zu erlauben.
Der Schätzer 122 kann, wenn die Geschwindigkeit des Fahrzeugs 7 außerhalb eines vorgegebenen Geschwindigkeitsbereichs liegt, die Kriterien für die Einstellung des bestimmten Bereichs von denen ändern, die verwendet werden, wenn er innerhalb des vorgegebenen Geschwindigkeitsbereichs liegt. In dieser Ausführungsform werden optische Flüsse OF nur dann erfasst, wenn die Geschwindigkeit des Fahrzeugs 7 3 km/h oder mehr beträgt, jedoch 5 km/h oder weniger beträgt, und die Kriterien für die Einstellung der bestimmten Reichweite konstant sind. Stattdessen können optische Flüsse OF erfasst werden, wenn die Geschwindigkeit des Fahrzeugs 7 beispielsweise extrem niedrig ist, wie etwa 1 km/h oder 5 km/h oder höher. Mit der extrem niedrigen Geschwindigkeit des Fahrzeugs 7 ist die Genauigkeit der vom Geschwindigkeitssensor 41 erhaltenen Geschwindigkeit jedoch gering. Auf der anderen Seite, wenn die Geschwindigkeit des Fahrzeugs 7 ist vergleichsweise hoch, die Genauigkeit der optischen Flüsse OF ist gering. Es wird daher bevorzugt, dass die Kriterien für die Einstellung des bestimmten Bereichs geändert werden, wenn sich die Geschwindigkeit des Fahrzeugs 7 in einem vorgegebenen Geschwindigkeitsbereich befindet, wie beispielsweise 3 km/h oder höher, jedoch 5 km/h oder niedriger, und wenn sie außerhalb des vorgegebenen Geschwindigkeitsbereichs liegen. So wird beispielsweise bevorzugt, dass der bestimmte Bereich mit einer größeren Breite um den tatsächlichen Bewegungsabstand des Fahrzeugs 7 eingestellt wird, wenn die Geschwindigkeit des Fahrzeugs 7 außerhalb des Bereichs von 3 km/h oder höher liegt, jedoch 5 km/h oder niedriger liegt, als wenn sie innerhalb des Bereichs von 3 km/h oder höher liegt, jedoch 5 km/h oder niedriger liegt.
Die Bewegungsinformationen (tatsächlich beobachtete Informationen) über das Fahrzeug 7, die vom externen Sensor erhalten werden, umfassen Fahrtrichtungsinformationen über das Fahrzeug 7. Die Fahrtrichtungsinformationen über das Fahrzeug 7 können beispielsweise vom Lenkwinkelsensor 42 über den Kommunikationsbus 50 erfasst werden. Stattdessen können die Fahrtrichtungsinformationen des Fahrzeugs 7 auch von jedem anderen Sensor, wie beispielsweise einem GPS-Sensor, erfasst werden. Wenn auf der Grundlage der Fahrtrichtungsinformationen beurteilt wird, dass das Fahrzeug 7 bei der Erfassung der Bilder zur Ableitung optischer Flüsse OF geradlinig in Vorwärts-Rückwärts-Richtung gefahren ist, schätzt der Schätzer 122 die Bewegungsbeträge nach Ausschluss optischer Flüsse OF, deren Bewegungsbetrag in der Links-Rechts-Richtung außerhalb des vorgegebenen Bereichs liegt. Mit dieser Konfiguration ist es möglich, Schätzwerte für die Bewegungsbeträge des Fahrzeugs 7 nach Ausschluss der optischen Flüsse OF zu berechnen, die keine Komponenten in Fahrtrichtung des Fahrzeugs 7 aufweisen und somit weniger zuverlässig sind, weshalb es möglich ist, die Zuverlässigkeit der Verarbeitung der Kamerafehlausrichtungsbestimmung zu erhöhen.
12 ist ein Diagramm, das ein Verfahren zur Eingrenzung der optischen Flüsse OF veranschaulicht, die bei der statistischen Verarbeitung verwendet werden sollen, basierend auf den Fahrtrichtungsinformationen über das Fahrzeug 7. 12 zeigt als Beispiel ein Bewegungsbetrag-Histogramm in der Links-Rechts-Richtung (das zweite Histogramm HG2). In dieser Ausführungsform werden die optischen Flüsse OF nur dann erfasst, wenn das Fahrzeug 7 geradlinig in Vorwärts-Rückwärts-Richtung fährt. Dementsprechend prüft der Schätzer 122 für die gesamte Mehrzahl der im Ableiter 121 abgeleiteten optischen Flüsse OF, ob die Größe (Bewegungsbetrag) der Links-Rechts-Komponente der koordinatenkonvertierten optischen Flüsse OF_C außerhalb eines vorbestimmten Bereichs liegt oder nicht. In 12 sind die schraffierten Teile außerhalb des vorgegebenen Bereichs. Unter Verwendung von Histogrammen, die unter Ausschluss optischer Flüsse OF_C erzeugt werden, deren Bewegungsbetrag der Links-Rechts-Komponente außerhalb des vorbestimmten Bereichs liegt, schätzt der Schätzer 122 die Bewegungsbeträge des Fahrzeugs 7. Der vorgegebene Bereich wird entsprechend bestimmt, z.B. durch Experimente, Simulationen oder dergleichen.
In dieser Ausführungsform werden Bewegungsbetrag-Histogramme in der Vorwärts-Rückwärts-Richtung und Links-Rechts-Richtung erzeugt; bei der Erzeugung werden die optischen Flüsse OF_C, die durch die vorstehend beschriebene Verarbeitung ausgeschlossen sind, nicht verwendet. Die Verarbeitung zur Eingrenzung der optischen Flüsse OF unter Verwendung der Bewegungsinformationen über das Fahrzeug 7 kann nur eine der zuvor beschriebenen Einengungen mit den Geschwindigkeitsinformationen und die gerade beschriebene Eingrenzung mit den Fahrtrichtungsinformationen umfassen.
13 ist ein Diagramm, das ein erstes Verfahren zur weiteren Verbesserung der Zuverlässigkeit der in dem Schätzer 122 erhaltenen Schätzwerte veranschaulicht. 13 zeigt als Beispiel ein Bewegungsbetrag-Histogramm in Vorwärts-Rückwärts-Richtung (das erste Histogramm HG1). Wie in 13 dargestellt, kann der Schätzer 122 eine Schätzverarbeitung nach Ausschluss von Bewegungsbetrag-Klassen durchführen, bei denen die Häufigkeit im Histogramm kleiner als eine bestimmte Zahl ist. Insbesondere kann der Schätzer 122 die Bewegungsbeträge unter Verwendung eines Histogramms schätzen, aus dem Bewegungsbetrag-Klassen ausgeschlossen wurden, bei denen die Häufigkeit im Histogramm kleiner als eine bestimmte Zahl ist. In 13 zeigt die gestrichelte Linie die bestimmte Zahl an. Die bestimmte Zahl wird z.B. durch Experimente, Simulationen oder dergleichen bestimmt. Bewegungsbetrag-Klassen mit extrem niedriger Frequenz liefern wahrscheinlich weniger zuverlässige Daten. Daher ist es mit dieser Konfiguration möglich, die Zuverlässigkeit der geschätzten Werte, die im Schätzer 122 erhalten wurden, zu verbessern. Die Verarbeitung zum Ausschluss von Bewegungsbetrag-Klassen, bei denen die Häufigkeit im Histogramm niedriger als die bestimmte Zahl ist, kann nicht nur auf die Verarbeitung mit dem ersten Histogramm HG1, sondern auch auf die Verarbeitung mit dem zweiten Histogramm HG2 angewendet werden.
14 ist ein Diagramm, das ein zweites Verfahren zur weiteren Verbesserung der Zuverlässigkeit der im Schätzer 122 erhaltenen Schätzwerte veranschaulicht. 14 zeigt als Beispiel ein Bewegungsbetrag-Histogramm in Vorwärts-Rückwärts-Richtung (das erste Histogramm HG1). Der Schätzer 122 kann eine Schätzverarbeitung für eine Reihe von Bewegungsbetrag-Klassen im Histogramm durchführen, die entsprechend dem Streuungsmaß des Histogramms eingestellt ist, um bei der Schätzung der Bewegungsbeträge des Fahrzeugs 7 verwendet zu werden. Insbesondere kann der Schätzer 122 die Bewegungsbeträge unter Verwendung eines Histogramms in einem Bereich von Bewegungsbetrag-Klassen schätzen, der entsprechend dem Streuungsmaß des Histogramms eingestellt ist. Diese Verarbeitung kann nicht nur auf die Verarbeitung mit dem ersten Histogramm HG1, sondern auch auf die Verarbeitung mit dem zweiten Histogramm HG2 angewendet werden.
15 ist eine schematische Darstellung eines Bildes P, das von den Fahrzeugkameras 21 bis 24 aufgenommen wurde. Wie in 15 dargestellt, kann das von den fahrzeugmontierten Kameras 21 bis 24 aufgenommene Bild P den Schatten SH des Fahrzeugs 7 selbst darstellen. Wenn, wie in 15 dargestellt, der Schatten SH innerhalb des vorbestimmten Bereichs RE für die Extraktion der Merkmalspunkte FP erscheint, kann der Ableiter 121 Merkmalspunkte FP extrahieren, die aus dem Schatten SH stammen. Da sich die aus dem Schatten SH stammenden Merkmalspunkte FP zusammen mit dem Fahrzeug 7 bewegen, hat jeder optische Fluss OF, der auf diesen Merkmalspunkten FP basiert, eine Größe von null und spiegelt nicht die Bewegung des Fahrzeugs 7 wider. 14 zeigt als Beispiel ein Histogramm, das erhalten wird, wenn der Schatten SH des Fahrzeugs 7 in einem Teil des vorbestimmten Bereichs RE erscheint. Obwohl sich das Fahrzeug 7 bewegt hat, erscheint auch auf der Bewegungsbetrag-Achse ein Peak nahe Null, wobei das Histogramm gestreut ist.
In dem in 14 gezeigten Beispiel kann der Schätzer 122 basierend auf den Geschwindigkeitsinformationen des Geschwindigkeitssensors 41 den Bereich der Bewegungsbetrag-Klassen im Histogramm einstellen, der für die Schätzung der Bewegungsbeträge des Fahrzeugs 7 verwendet werden soll. Insbesondere, wenn aus den Geschwindigkeitsinformationen hervorgeht, dass sich das Fahrzeug 7 bewegt, ist es wahrscheinlich, dass ein Peak, der auf der Bewegungsbetrag-Achse gegen Null erscheint, unpassende Daten sind. So stellt der Schätzer 122, wie durch die Schraffur in 14 angedeutet, einen Bereich ein, in dem er die Bewegungsbeträge um einen Peak, der sich außerhalb von Null auf der Bewegungsbetrag-Achse befindet, schätzt, und schätzt die Bewegungsbeträge unter Verwendung der Daten innerhalb des so eingestellten Bereichs. Mit dieser Konfiguration ist es möglich, auch wenn das Histogramm unter dem Einfluss des Schattens SH des Fahrzeugs 7 oder dergleichen stark gestreut ist, sehr zuverlässige Schätzwerte zu erhalten. In einem Fall, in dem das Histogramm eine starke Streuung aufweist, kann der Schätzer 122 die Bewegungsbeträge schätzen, anstatt die Geschwindigkeitsinformationen zu verwenden, indem er einfach Teile einen bestimmten Betrag von einem Peak entfernt von dem Bereich ausschließt, der für die Schätzung der Bewegungsbeträge verwendet wird. Der bestimmte Betrag kann z.B. durch Experimente, Simulationen oder dergleichen bestimmt und vorher im Speicher 13 gespeichert werden.
Andernfalls kann der Schätzer 122 eine Schätzverarbeitung durchführen, indem er einen Bereich von Bewegungsbetrag-Klassen in dem Histogramm einstellt, der für die Schätzung der Bewegungsbeträge des Fahrzeugs 7 basierend auf der zuvor durchgeführten Schätzverarbeitung für die Bewegungsbeträge des Fahrzeugs 7 verwendet wird. Insbesondere kann der Schätzer 122 die Bewegungsbeträge unter Verwendung eines Histogramms innerhalb eines Bereichs von Bewegungsbetrag-Klassen schätzen, der basierend auf der zuvor durchgeführten Schätzverarbeitung eingestellt ist. Diese Verarbeitung kann nicht nur auf die Verarbeitung mit dem ersten Histogramm HG1, sondern auch auf die Verarbeitung mit dem zweiten Histogramm HG2 angewendet werden. Mit dieser Konfiguration werden die Bedingungen und Ergebnisse der Schätzverarbeitung für das Fahrzeug 7, die zuvor im Schätzer 122 durchgeführt wurde, im Speicher 13 gespeichert. Die im Speicher 13 gespeicherten Daten können unmittelbar vorherige Schätzverarbeitungsdaten sein, aber auch wenigstens eine Generation weiterer früherer Schätzverarbeitungsdaten umfassen. Es wird bevorzugt, im Speicher 13 nicht nur Informationen über die vergangene Schätzverarbeitung durch den Schätzer 122 zu speichern, sondern auch Informationen über die vergangene Bestimmungsverarbeitung durch den Bestimmer 123.
Mit dieser Konfiguration kann der Schätzer 122 Schätzwerte der Bewegungsbeträge unter sehr zuverlässigen Bedingungen erhalten, indem er beispielsweise Ergebnisse ausliest, bei denen festgestellt wurde, dass die fahrzeugmontierten Kameras 21 bis 24 bis dahin kontinuierlich im Normalzustand installiert waren. Darüber hinaus ist es mit dieser Konfiguration möglich, in einem Fall, in dem zuvor eine Anomalie festgestellt wurde, die Histogramm-Verarbeitung unter anderen Bedingungen als bei der vorherigen Schätzverarbeitung durchzuführen.
Verarbeitung zur Behandlung eines als anormal geschätzten Zustands
Wie in 15 dargestellt, kann das von den fahrzeugmontierten Kameras 21 bis 24 aufgenommene Bild P den Schatten SH des Fahrzeugs 7 darstellen. In einem Fall, in dem das Sonnenlicht beispielsweise von hinten nach vorne entlang der Fahrtrichtung des Fahrzeugs 7 zeigt, kann die Frontkamera 21 den Schatten SH des Fahrzeugs 7 erfassen. Wie in 15 dargestellt, kann der Ableiter 121, wenn der Schatten SH innerhalb des vorbestimmten Bereichs RE für die Extraktion von Merkmalspunkten FP erscheint, Merkmalspunkte FP extrahieren, die aus dem Schatten SH stammen. Da sich die aus dem Schatten SH stammenden Merkmalspunkte FP zusammen mit dem Fahrzeug 7 bewegen, hat jeder optische Fluss OF, der auf diesen Merkmalspunkten FP basiert, eine Größe von null und spiegelt nicht die Bewegung des Fahrzeugs 7 wider.
Das heißt, mit dem oben beschriebenen Verfahren zum Erkennen von Kamerafehlausrichtungen unter Verwendung optischer Flüsse OF kann es vorkommen, dass, obwohl das Fahrzeug 7 aufgrund eines externen Sensors (z.B. des Geschwindigkeitssensors 41) als in Bewegung befindlich erkannt wird, das Fahrzeug 7 aufgrund der im Schätzer 122 erfassten geschätzten Informationen als im Ruhezustand befindlich geschätzt wird, d.h. einem Zustand, der als „anormal geschätzter Zustand“ bezeichnet wird. Der als anormal geschätzte Zustand tritt auch dann auf, wenn keine Kamerafehlausrichtung vorliegt, und kann daher zu einer fehlerhaften Erkennung einer Kamerafehlausrichtung führen. Es ist daher vorzuziehen, dass der Bestimmer 123 im Falle des Auftretens des als anormal geschätzten Zustands die Verarbeitung der Fehlausrichtungsbestimmung für die fahrzeugmontierten Kameras 21 bis 24 stoppt. Mit dieser Konfiguration ist es möglich, das fehlerhafte Bestimmen einer Kamerafehlausrichtung zu unterdrücken, obwohl tatsächlich keine Kamerafehlausrichtung vorhanden ist.
16 ist ein Flussdiagramm mit einem ersten praktischen Beispiel, das sich von dem in 3 dargestellten Verfahren zur Erkennung von Kamerafehlausrichtungen unterscheidet. Das in 16 dargestellte Verfahren zur Erkennung von Kamerafehlausrichtungen wird für jede der vier fahrzeugmontierten Kameras 21 bis 24 durchgeführt. In dem in 16 dargestellten Beispiel wird bei Schritt S1 bis Schritt S7 die gleiche Verarbeitung wie in dem in 3 dargestellten Beispiel durchgeführt. Bei der gleichen Verarbeitung wie die zuvor beschriebene soll eine Beschreibung nicht wiederholt werden. In dem in 16 dargestellten Beispiel wird nach der Bewegungsbetrag-Schätzungsverarbeitung bei Schritt S7 eine Verarbeitung zur Überprüfung auf den als anormal geschätzten Zustand durchgeführt (Schritt S21). Die Verarbeitung zur Überprüfung auf den als anormal geschätzten Zustand wird z.B. durch den Bestimmer 123 durchgeführt, ist aber nicht als Einschränkung gedacht, sondern kann stattdessen z.B. durch den Schätzer 122 durchgeführt werden.
Basierend auf den Geschwindigkeitsinformationen des Geschwindigkeitssensors 41 überprüft der Bestimmer 123 beispielsweise, ob sich das Fahrzeug 7 während des Aufnahmezeitintervalls zwischen den beiden aufgenommenen Bildern in Vorwärts-Rückwärts-Richtung bewegt hat oder nicht, um optische Flüsse OF abzuleiten. In dieser Ausführungsform werden die aufgenommenen Bilder zur Ableitung optischer Flüsse OF jedoch dann aufgenommen, wenn das Fahrzeug 7 basierend auf den aus dem Sensorabschnitt 4 gewonnenen Informationen in Vorwärts-Rückwärts-Richtung bewegt wird, weshalb der Bestimmer 123 nicht tatsächlich die gerade erwähnte Überprüfung durchführt, ob sich das Fahrzeug 7 in Vorwärts-Rückwärts-Richtung bewegt hat oder nicht. Das heißt, der Bestimmer 123 überprüft einfach, basierend auf dem geschätzten Wert des Bewegungsbetrags in der Vorwärts-Rückwärts-Richtung, der in dem Schätzer 122 erhalten wird, ob das Fahrzeug 7 als stillstehend (im Ruhezustand befindlich) geschätzt wird oder nicht. Wenn das Fahrzeug 7 als stillstehend geschätzt wird, erkennt der Bestimmer 123 den als anormal geschätzten Zustand. Wird dagegen geschätzt, dass das Fahrzeug 7 nicht stillsteht, erkennt der Bestimmer 123 keinen als anormal geschätzten Zustand. Nicht nur, wenn der geschätzte Wert der Bewegungsbetrag in der Vorwärts-Rückwärts-Richtung Null ist, sondern auch, wenn er nahe Null liegt, kann das Fahrzeug 7 als stillstehend geschätzt werden.
Wenn kein als anormal geschätzter Zustand erkannt wird (Schritt S21, NEIN), führt der Bestimmer 123 die oben beschriebene Verarbeitung der Fehlausrichtungsbestimmung bei Schritt S8 durch. Wird dagegen der als anormal geschätzte Zustand erkannt (Schritt S21, JA), stoppt der Bestimmer 123 die Verarbeitung der Fehlausrichtungsbestimmung (Schritt S22); d.h. der Bestimmer 123 führt die Verarbeitung der Fehlausrichtungsbestimmung nicht durch. In dieser Ausführungsform ist eine Mehrzahl von fahrzeugmontierten Kameras 21 bis 24 vorgesehen. Wenn der als anormal geschätzte Zustand in einem Teil der Mehrzahl der fahrzeugmontierten Kameras 21 bis 24 auftritt, wird die Verarbeitung der Fehlausrichtungsbestimmung für den Rest der fahrzeugmontierten Kameras durchgeführt, in denen kein als anormal geschätzter Zustand auftritt. Somit ist es möglich, Kamerafehlausrichtungen bei einer Mehrzahl von Fahrzeugkameras 21 bis 24 effizient zu erkennen.
Nachdem die Verarbeitung der Kamerafehlausrichtungsbestimmung gestoppt wurde, wird geprüft, ob der Stopp der Verarbeitung der Fehlausrichtungsbestimmung fortgesetzt werden soll oder nicht (Schritt S23). Diese Prüfung wird z.B. durch den Bestimmer 123 durchgeführt. Insbesondere überwacht der Bestimmer 123 basierend auf Informationen, die vom Lenkwinkelsensor 42 erhalten wurden, die Fahrtrichtung des Fahrzeugs 7. Wenn die Fahrtrichtung des Fahrzeugs 7 konstant ist, bestimmt der Bestimmer 123, dass die Verarbeitung der Fehlausrichtungsbestimmung gestoppt wird (Schritt S23, JA). Bis sich die Fahrtrichtung des Fahrzeugs 7 ändert, wiederholt der Bestimmer 123 die Prüfung bei Schritt S23. Wenn sich die Fahrtrichtung des Fahrzeugs 7 ändert, bestimmt der Bestimmer 123, dass er den Stopp der Verarbeitung der Fehlausrichtungsbestimmung nicht fortsetzt (Schritt S23, NEIN). Mit anderen Worten, der Bestimmer 123 setzt den Stopp der Verarbeitung der Fehlausrichtungsbestimmung fort, bis sich die Fahrtrichtung des Fahrzeugs 7 ändert. Der Bestimmer 123 beurteilt, dass das Fahrzeug 7 seine Fahrtrichtung geändert hat, indem er basierend auf Informationen, die vom Lenkwinkelsensor 42 erhalten wurden, beurteilt, dass sich die Fahrtrichtung des Fahrzeugs 7 um einen vorbestimmten oder größeren Winkel verändert hat.
In einem Fall, in dem der als anormal geschätzte Zustand aufgrund des Schattens SH des Fahrzeugs 7 auftritt, ist es wahrscheinlich, dass bei konstanter Fahrtrichtung des Fahrzeugs 7, auch wenn eine Neubestimmung durchgeführt wird, der als anormal geschätzte Zustand, der sich aus dem Schatten SH des Fahrzeugs 7 ergibt, erneut erkannt wird. Durch Fortsetzen des Stopps der Verarbeitung der Fehlausrichtungsbestimmung bis zur Änderung der Fahrtrichtung des Fahrzeugs 7 ist es möglich, das wiederholte Erkennen des als anormal geschätzten Zustands zu unterdrücken.
Das vorstehend beschriebene Beispiel bezieht sich auf eine Konfiguration, bei der, wenn der als anormal geschätzte Zustand einmal erkannt wird, die Verarbeitung der Fehlausrichtungsbestimmung gestoppt wird. Stattdessen ist auch eine Konfiguration möglich, bei der bei mehrmaligem Erkennen des als anormal geschätzten Zustands die Verarbeitung der Fehlausrichtungsbestimmung gestoppt wird. Das heißt, wenn der als anormal geschätzte Zustand wenigstens einmal erkannt wird, kann der Bestimmer 123 den Stopp der Verarbeitung der Fehlausrichtungsbestimmung fortsetzen, bis sich die Fahrtrichtung des Fahrzeugs 7 ändert.
Die Fahrtrichtung des Fahrzeugs 7 kann überwacht werden, indem anstelle von Informationen des Lenkwinkelsensors 42 Informationen eines GPS-Sensors verwendet werden. Die Fahrtrichtung des Fahrzeugs 7 kann mit Hilfe von Informationen aus dem Lenkwinkelsensor 42 sowie Informationen aus einem GPS-Sensor überwacht werden.
Der als anormal geschätzte Zustand kann einen Fall umfassen, in dem, obwohl das Fahrzeug 7 basierend auf einem externen Sensor (z.B. dem Geschwindigkeitssensor 41) als in Bewegung befindlich erkannt wird, die Mehrzahl der optischen Flüsse OF, die in dem Ableiter 121 abgeleitet werden, einen vorbestimmten oder höheren Anteil der optischen Flüsse OF umfassen, von denen angenommen wird, dass sie keine Bewegung umfassen. Der vorgegebene Anteil kann durch Experimente, Simulationen oder dergleichen entsprechend bestimmt werden. Wenn die Mehrzahl der optischen Flüsse OF, die in dem Ableiter 121 abgeleitet sind, eine große Anzahl von optischen Flüssen OF umfassen, die als keine Bewegung umfassend beurteilt werden, sind die geschätzten Werte der Bewegungsbeträge aus dem Ableiter 122 weniger zuverlässig, was eine fehlerhafte Erkennung einer Kamerafehlausrichtung wahrscheinlich macht. Mit dieser Konfiguration ist es möglich, eine Kamerafehlausrichtungsbestimmung mit einem erweiterten Bereich zu stoppen, in dem die Schätzwerte der Bewegungsbeträge des Fahrzeugs 7 weniger zuverlässig sind, und somit eine fehlerhafte Erkennung einer Kamerafehlausrichtung weniger wahrscheinlich zu machen.
Wenn der Bestimmer 123 bestimmt, den Stopp der Verarbeitung der Fehlausrichtungsbestimmung nicht fortzusetzen (Schritt S23, NEIN), dann werden, zurück bei Schritt S1, aufgenommene Bilder mit vorgegebenem Timing erfasst und die Verarbeitung zur Ableitung optischer Flüsse OF durch den Ableiter 121 wird neu gestartet. Das heißt, wenn sich die Fahrtrichtung des Fahrzeugs 7 während des Anhaltens der Verarbeitung der Fehlausrichtungsbestimmung ändert, dann werden, basierend auf einer Mehrzahl von optischen Flüssen OF, die nach der Änderung der Fahrtrichtung neu erfasst wurden, die Bewegungsbetrag-Schätzung durch den Schätzer 122 und die Verarbeitung der Fehlausrichtungsbestimmung durch den Bestimmer 123 durchgeführt. Mit dieser Konfiguration können optische Flüsse OF eher durch die Verwendung von aufgenommenen Bildern abgeleitet werden, die keinen Schatten SH des Fahrzeugs 7 zeigen, und es ist somit möglich, eine fehlerhafte Bestimmung einer Kamerafehlausrichtung weniger wahrscheinlich zu machen. In dem in 16 gezeigten Beispiel wird, wenn der als anormal geschätzte Zustand basierend auf der Mehrzahl der neu gewonnenen optischen Flüsse OF erneut erkannt wird, die Verarbeitung der Fehlausrichtungsbestimmung gestoppt.
17 ist ein Flussdiagramm mit einem zweiten praktischen Beispiel, das sich von dem in 3 dargestellten Verfahren zur Erkennung von Kamerafehlausrichtungen unterscheidet. Das in 17 dargestellte Verfahren zur Erkennung von Kamerafehlausrichtungen wird für jede der vier fahrzeugmontierten Kameras 21 bis 24 durchgeführt. In dem in 17 dargestellten Beispiel wird, wie in dem in 16 dargestellten Beispiel, bei Schritt S1 bis Schritt S7 die gleiche Verarbeitung wie in dem in 3 dargestellten Beispiel durchgeführt. In dem in 17 dargestellten Beispiel wird, wie auch in dem in 16 dargestellten Beispiel, nach der Verarbeitung der Bewegungsbetrag-Schätzung bei Schritt S7 eine Verarbeitung zur Überprüfung auf den als anormal geschätzten Zustand durchgeführt (Schritt S21). Die Verarbeitung zur Überprüfung auf den als anormal geschätzten Zustand ist die gleiche wie zuvor beschrieben, so dass eine sich wiederholende Beschreibung weggelassen wird. Außerdem ist die Verarbeitung (Schritt S8), die durchgeführt wird, wenn kein als anormal geschätzter Zustand erkannt wird (Schritt S21, NEIN), dieselbe wie zuvor beschrieben, und daher wird eine Wiederholung der Beschreibung weggelassen.
In dem in 17 gezeigten Beispiel wird im Gegensatz zu dem in 16 gezeigten Beispiel, wenn der als anormal geschätzte Zustand erkannt wird (Schritt S21, JA), anstelle der sofortigen Einstellung der Verarbeitung der Fehlausrichtungsbestimmung durch den Bestimmer 123, geprüft, ob die Verarbeitung der Fehlausrichtungsbestimmung gestoppt werden soll oder nicht (Schritt S24). Die Verarbeitung für diese Prüfung erfolgt z.B. durch den Bestimmer 123.
Insbesondere prüft der Bestimmer 123, ob die Position des Schattens SH des Fahrzeugs 7 erkannt werden kann oder nicht. Wenn die Position des Schattens SH des Fahrzeugs 7 nicht erkannt werden kann, bestimmt der Bestimmer 123, dass die Verarbeitung der Fehlausrichtungsbestimmung gestoppt wird (Schritt S24, JA). Andererseits, wenn die Position des Schattens SH des Fahrzeugs 7 erkannt werden kann, bestimmt der Bestimmer 123, dass die Verarbeitung der Fehlausrichtungsbestimmung nicht gestoppt wird (Schritt S24, NEIN). Die Position des Schattens SH des Fahrzeugs 7 wird beispielsweise basierend auf dem Kontrast der Bilder bestimmt, die für die Erfassung der optischen Flüsse OF aufgenommen wurden. Stattdessen kann die Position des Schattens SH des Fahrzeugs 7 beispielsweise basierend auf einer oder mehreren Arten von Informationen bestimmt werden, einschließlich des Zeitpunkts der Bilder, die für die Erfassung der optischen Flüsse OF aufgenommen wurden, der Wettervorhersage zu diesem Zeitpunkt, und der Fahrzeuginformationen (z.B. der Fahrtrichtung), die über den Kommunikationsbus 50 erfasst wurden.
Wenn bestimmt wurde, dass die Verarbeitung der Fehlausrichtungsbestimmung gestoppt wird (Schritt S24, JA), wird der vorstehend beschriebene Schritt S23 ausgeführt. Diese Verarbeitung ist die gleiche wie oben beschrieben, daher wird die Beschreibung dazu nicht wiederholt. Wird dagegen festgestellt, dass die Verarbeitung der Fehlausrichtungsbestimmung nicht gestoppt wird (Schritt S24, NEIN), wird eine Verarbeitung zum Ändern des Merkmalspunkt-Extraktionsbereiches durchgeführt (Schritt S25).
18 ist ein schematisches Diagramm, das die Verarbeitung zum Ändern des Merkmalspunkt-Extraktionsbereichs RE veranschaulicht. Wie vorstehend beschrieben, wurde bei der Feststellung, dass die Verarbeitung der Fehlausrichtungsbestimmung nicht gestoppt wird, die Position des Schattens SH des Fahrzeugs 7 erkannt. Dementsprechend ist es bei der Ableitung optischer Flüsse OF möglich, die Position zu identifizieren, an der der Schatten SH des Fahrzeugs 7 keine Wirkung ausübt. So wird, wie in 18 dargestellt, der Merkmalspunkt-Extraktionsbereich RE' auf eine Position gesetzt, die vom Schatten SH des Fahrzeugs 7 abweicht (nicht überlappt).
Wenn der Merkmalspunkt-Extraktionsbereich RE' eingestellt ist, dann werden, zurück bei Schritt S3, optische Flüsse OF in dem neu eingestellten Extraktionsbereich abgeleitet, und basierend auf diesen optischen Flüssen OF werden die Bewegungsbetragschätzung durch den Schätzer 122 und die Verarbeitung der Fehlausrichtungsbestimmung durch den Bestimmer 123 ausgeführt. Hier sind die aufgenommenen Bilder für die Ableitung optischer Flüsse OF die gleichen wie die, die zuvor für die Erkennung des als anormal geschätzten Zustands verwendet wurden.
Wie vorstehend beschrieben, wird in dem in 17 dargestellten Beispiel, wenn die Position des Schattens SH des Fahrzeugs 7 erkannt werden kann, wenn der als anormal geschätzte Zustand eintritt, die Verarbeitung der Fehlausrichtungsbestimmung durch den Bestimmer 123 nicht gestoppt, sondern basierend auf einer Mehrzahl von optischen Flüssen OF, die unter Verwendung von Merkmalspunkten FP abgeleitet wurden, die in einem vom Schatten SH abweichenden Bereich liegen, die Bewegungsbetragschätzung durch den Schätzer 122 und die Verarbeitung der Fehlausrichtungsbestimmung durch den Bestimmer 123 ausgeführt. Mit dieser Konfiguration ist es möglich, eine Kamerafehlausrichtung richtig zu bestimmen, ohne die Verarbeitung der Fehlausrichtungsbestimmung zu stoppen. Das heißt, es ist möglich, eine Kamerafehlausrichtung sofort zu erkennen.
Modifizierte Beispiele
Erstes modifiziertes Beispiel
Die obige Beschreibung befasst sich mit einer Konfiguration, bei der, wenn der Bestimmer 123 nur einmal bestimmt, dass eine Kamerafehlausrichtung aufgetreten ist, die Bestimmung, dass eine Kamerafehlausrichtung aufgetreten ist, als endgültig angesehen wird, weshalb dadurch eine Kamerafehlausrichtung erkannt wird. Dies ist jedoch nicht als Einschränkung gedacht. Stattdessen, wenn der Bestimmer 123 bestimmt, dass eine Kamerafehlausrichtung aufgetreten ist, wird wenigstens noch einmal eine erneute Bestimmung durchgeführt, so dass, wenn erneut festgestellt wird, dass eine Kamerafehlausrichtung aufgetreten ist, die Bestimmung, dass eine Kamerafehlausrichtung aufgetreten ist, als endgültig angesehen wird. Die Neubestimmung kann mit einer Konfiguration erreicht werden, bei der die in 3 dargestellten Schritte S1 bis S8 einfach wenigstens noch einmal wiederholt werden, oder sie kann mit jeder anderen Konfiguration erreicht werden. Die Neubestimmung kann auf ein Verfahren angewendet werden, das zusätzlich die in den 16 und 17 dargestellte Verarbeitung zum Erfassen des als anormal geschätzten Zustands umfasst.
19 ist ein Diagramm, das ein Beispiel für eine Verarbeitung zur Neubestimmung einer Kamerafehlausrichtung darstellt. In 19 sind die Merkmalspunkte in der Darstellung weggelassen. Wie in 19 dargestellt, kann der Bestimmer 123 bei der Bestimmung, dass eine Fehlausrichtung in einer fahrzeugmontierten Kamera vorhanden ist, basierend auf geschätzten Informationen, die durch die Verwendung der optischen Flüsse von Merkmalspunkten innerhalb eines ersten Bereichs RE1 einschließlich der Mitte C des Bildes geschätzt werden, die Fehlausrichtung der fahrzeugmontierten Kamera basierend auf geschätzten Informationen, die durch die Verwendung der optischen Flüsse von Merkmalspunkten innerhalb eines zweiten Bereichs RE2 erhalten wurden, der nicht die Mitte C des Bildes umfasst, neu bestimmen. Das bei der Neubestimmung verwendete Bild kann das gleiche sein wie bei der vorherigen Kamerafehlausrichtungsbestimmung, oder kann ein Bild sein, das nach der Aufnahme des bei der vorherigen Kamerafehlausrichtungsbestimmung verwendeten Bildes neu aufgenommen wurde.
Ein oder mehr als ein zweiter Bereich RE2 können definiert werden. In dem in 19 dargestellten Beispiel sind zwei zweite Bereiche RE2 definiert; stattdessen können drei oder mehr zweite Bereiche RE2 definiert werden. In einem Fall, in dem eine Mehrzahl von zweiten Bereichen RE2 definiert ist, werden die Ableitung der optischen Flüsse OF durch den Ableiter 121, die Erfassung von geschätzten Informationen über die Bewegungsbeträge durch den Schätzer 122 und die Bestimmung einer Kamerafehlausrichtung durch den Bestimmer 123 für jeden der zweiten Bereiche RE2 durchgeführt. Es wird bevorzugt, dass ein zweiter Bereich RE2 kleiner ist als der erste Bereich RE1.
Wenn eine Kamerafehlausrichtung in den fahrzeugmontierten Kameras 21 bis 24 auftritt, ist die Differenz zwischen dem Bewegungsbetrag des Fahrzeugs 7, der durch den Schätzer 122 erhalten wird, und dem Bewegungsbetrag des Fahrzeugs 7, der basierend auf den tatsächlich beobachteten Informationen, die von einem Sensor wie dem Geschwindigkeitssensor 41 erhalten werden, erhalten wird, in einem Bereich außerhalb der Mitte C des Bildes tendenziell größer als in der Mitte C. Dementsprechend ist es möglich, durch die Durchführung einer Neubestimmung unter Verwendung des zweiten Bereichs RE2, der sich außerhalb der Mitte C befindet, die Genauigkeit der Kamerafehlausrichtungserkennung zu verbessern.
Zweites modifiziertes Beispiel
20 ist ein Flussdiagramm, das ein modifiziertes Beispiel für das Verfahren zur Erkennung von Kamerafehlausrichtungen durch die Kamerafehlausrichtungserkennungsvorrichtung 1 zeigt. Die Verarbeitung bei den Schritten S1 bis S7 ist die gleiche wie die oben beschriebene Verarbeitung in 3, daher wird eine Beschreibung dazu nicht wiederholt. In diesem modifizierten Beispiel, nachdem die Schätzwerte der Bewegungsbeträge bei Schritt S7 berechnet wurden, wird die Verarbeitung zum Addieren der berechneten Schätzwerte zu den kumulierten Werten der zuvor berechneten Bewegungsbeträge durchgeführt (Schritt S9). Diese Verarbeitung kann z.B. durch den Schätzer 122 oder den Bestimmer 123 durchgeführt werden. Die Verarbeitung der Berechnung des kumulierten Werts wird für jeden Schätzwert des Bewegungsbetrags in der Vorwärts-Rückwärts-Richtung und jeden Schätzwert des Bewegungsbetrags in der Links-Rechts-Richtung durchgeführt. Wenn Schätzwerte zum ersten Mal berechnet werden, gibt es keine zuvor berechneten kumulierten Werte; die durch die Verarbeitung der kumulierten Werte erhaltenen kumulierten Werte sind also genau die geschätzten Werte, die in Schritt S7 erfasst wurden.
Bei der Berechnung der kumulierten Werte wird überprüft, ob der Bewegungsbetrag des Fahrzeugs 7 einen vorgegebenen Bewegungsabstand erreicht hat (Schritt S10). In diesem modifizierten Beispiel ist hier mit dem Bewegungsbetrag des Fahrzeugs 7 der kumulierte Wert des Bewegungsbetrags des Fahrzeugs 7 in Vorwärts-Rückwärts-Richtung während des Aufnahmezeitintervalls zwischen den beiden Bildern zur Ableitung von optischen Flüssen OF gemeint. Der Bewegungsbetrag des Fahrzeugs 7 in Vorwärts-Rückwärts-Richtung wird aus den vom Geschwindigkeitssensor 41 erhaltenen Geschwindigkeitsinformationen berechnet. Der Beginn der Kumulierung des Bewegungsbetrags fällt mit dem Beginn der Kumulierung der Schätzwerte zusammen. Wenn der Bewegungsbetrag des Fahrzeugs 7 in Vorwärts-Rückwärts-Richtung den vorgegebenen Bewegungsabstand (Schritt S10, NEIN) nicht erreicht hat, wird zu Schritt S1 zurückgekehrt, so dass die Schritte S1 bis S7 und S9 nacheinander ausgeführt werden.
Andererseits, wenn der Bewegungsbetrag des Fahrzeugs 7 in Vorwärts-Rückwärts-Richtung den vorgegebenen Bewegungsabstand erreicht hat (Schritt S10, JA), bestimmt der Bestimmer 123 eine Kamerafehlausrichtung (Schritt S8A). Der Bestimmer 123 verwendet die kumulierten Werte als Schätzwerte für die Bewegungsbeträge. In dieser Ausführungsform stehen zwei kumulierte Werte zur Verfügung: der kumulierte Wert in Vorwärts-Rückwärts-Richtung und der kumulierte Wert in Links-Rechts-Richtung. Die als Vergleichsziel genommenen Werte sind die kumulierten Werte der Bewegungsbeträge des Fahrzeugs 7 während des Aufnahmezeitintervalls zwischen den beiden Bildern zur Ableitung optischer Flüsse OF, und werden aus den vom Geschwindigkeitssensor 41 erhaltenen Geschwindigkeitsinformationen berechnet. In dieser Ausführungsform umfassen diese Werte den Bewegungsbetrag in der Vorwärts-Rückwärts-Richtung und den Bewegungsbetrag in der Links-Rechts-Richtung. In diesem modifizierten Beispiel, das so ausgebildet ist, dass die aufgenommenen Bilder zur Ableitung der optischen Flüsse OF aufgenommen werden, wenn das Fahrzeug 7 geradlinig in Vorwärts-Rückwärts-Richtung fährt, bewegt sich das Fahrzeug 7 zwischenzeitlich nicht in Links-Rechts-Richtung, wobei der Bewegungsbetrag in Links-Rechts-Richtung (der zu vergleichende Wert mit dem kumulierten Wert in Links-Rechts-Richtung) gleich Null ist.
In diesem modifizierten Beispiel wird die Verarbeitung zum Berechnen kumulierter Werte durch Addieren der im Schätzer 122 erhaltenen Schätzwerte durchgeführt, bis der Bewegungsbetrag des Fahrzeugs 7 den vorgegebenen Abstand erreicht hat; wenn der Bewegungsbetrag des Fahrzeugs 7 den vorgegebenen Abstand erreicht, bestimmt der Bestimmer 123 basierend auf den kumulierten Werten eine Kamerafehlausrichtung. Mit dieser Konfiguration ist es möglich, bei Vorhandensein einer Kamerafehlausrichtung, diese zu dem Zeitpunkt zu bestimmen, zu dem die Differenz zwischen den Schätzwerten und den aus den tatsächlich beobachteten Informationen gewonnenen Werten deutlich wird, und somit die Zuverlässigkeit der Fehlausrichtung zu erhöhen. Die Konfiguration dieses modifizierten Beispiels kann auf ein Verfahren angewendet werden, das zusätzlich die in den 16 und 17 dargestellte Verarbeitung zum Erfassen des als anormal geschätzten Zustands umfasst.
Drittes modifiziertes Beispiel
In dem, was bisher beschrieben wurde, bestimmt der Bestimmer 123 eine Kamerafehlausrichtung basierend auf den aus optischen Flüsse geschätzten Bewegungsbeträgen und den tatsächlich beobachteten Informationen, die von einem Sensor wie dem Geschwindigkeitssensor 41 erhalten werden. Im dritten modifizierten Beispiel bestimmt der Bestimmer 123 eine Kamerafehlausrichtung, d.h. eine Anomalie, durch Vergleich der aus optischen Flüssen geschätzten Bewegungsbeträge in den fahrzeugmontierten Kameras 21 bis 24. Im dritten modifizierten Beispiel schätzt der Schätzer 122 basierend auf Bildern, die von den fahrzeugmontierten Kameras 21 bis 24 aufgenommen wurden, die Bewegungsbeträge des mobilen Körpers für jede von der Mehrzahl von Kameras. Der Bestimmer 123 vergleicht Informationen über die Bewegungsbeträge für jede der Kameras, die im Schätzer 122 erhalten werden, und bestimmt eine Kamera, bei der die Anomalie auftritt. Wenn beispielsweise die Unterschiede zwischen den in den jeweiligen Kameras geschätzten Bewegungsbeträgen alle in einen vorgegebenen Bereich einschließlich eines Fehlerbereichs fallen, bestimmt der Bestimmer 123, dass alle Kameras normal sind. Wenn andererseits eine Differenz besteht, die gleich oder größer als ein Schwellenwert zwischen den unter den Kameras geschätzten Bewegungsbeträgen ist, bestimmt der Bestimmer 123, dass entweder die Kamera, aus der die kleineren Bewegungsbeträge geschätzt wurden, oder die Kamera, aus der die größeren Bewegungsbeträge geschätzt wurden, eine Anomalie aufweist. Welche von ihnen anormal ist, kann durch Vergleichen der Bewegungsbeträge mit den tatsächlich beobachteten Informationen, die von einem Sensor wie dem Geschwindigkeitssensor 41 erhalten werden, identifiziert werden. Mit diesem modifizierten Beispiel, bei dem eine Kamerafehlausrichtung basierend auf der Differenz zwischen den von den jeweiligen Kameras geschätzten Bewegungsbeträgen bestimmt wird, ist es möglich, eine Kamerafehlausrichtung ohne Verwendung eines externen Sensors zu bestimmen.
Viertes modifiziertes Beispiel
21 ist ein Blockdiagramm, das die Konfiguration einer Kamerafehlausrichtungserkennungsvorrichtung 1A gemäß einem modifizierten Beispiel zeigt. Die Kamerafehlausrichtungserkennungsvorrichtung 1A unterscheidet sich von den vorstehend beschriebenen Ausführungsformen dadurch, dass sie weiterhin den Schattenpositionsschätzer 124 umfasst. Der Schattenpositionsschätzer 124 ist ein Funktionsblock, der durch die CPU in der Steuerung 12 implementiert ist und die operative Verarbeitung gemäß einem im Speicher 13 gespeicherten Programm durchführt. Der Schattenpositionsschätzer 124 schätzt die Position des Schattens des Fahrzeugs 7.
Die Schätzung der Schattenposition kann beispielsweise anhand von Tageszeit, Jahreszeit, Wetter, Fahrtrichtung des Fahrzeugs 7 und dergleichen durchgeführt werden. Informationen über die Jahreszeit und das Wetter können z.B. von einem Server oder dergleichen über das Internet oder dergleichen bezogen werden. Die Fahrtrichtung des Fahrzeugs 7 kann beispielsweise basierend auf den Informationen des Lenkwinkelsensors 42 über den Kommunikationsbus 50 erfasst werden.
22 ist ein Flussdiagramm, das ein Beispiel für das Verfahren zur Erkennung von Kamerafehlausrichtungen durch die Kamerafehlausrichtungserkennungsvorrichtung 1A gemäß dem modifizierten Beispiel zeigt. Auch in der Kamerafehlausrichtungserkennungsvorrichtung 1A, wie im Beispiel in 3 dargestellt, werden die Schritte S1 und S2 durchgeführt, so dass bei Geradeausfahrt des Fahrzeugs 7 mit einer niedrigen Geschwindigkeit die aufgenommenen Bilder zur Ableitung optischer Flüsse OF aufgenommen werden. Wenn diese Bilder aufgenommen werden, wird die Schattenposition durch den Schattenpositionsschätzer 124 (Schritt S31) geschätzt.
Wenn die Schattenposition basierend auf der geschätzten Schattenposition geschätzt wird, setzt der Ableiter 121 den Extraktionsbereich für die Merkmalspunkte FP (Schritt S32). Insbesondere setzt der Ableiter 121 den Extraktionsbereich für Merkmalspunkte FP auf eine Position, die von der geschätzten Schattenposition abweicht (nicht damit überlappt). Danach werden die in den 3, 16, 17 oder 20 dargestellten Schritte ab Schritt S3 durchgeführt. Mit dieser Konfiguration ist es möglich, die Schätzwerte der Bewegungsbeträge des Fahrzeugs 7 basierend auf optischen Flüssen OF unter dem Einfluss des Schattens SH weniger ungenau zu machen, und so eine Kamerafehlausrichtung prompt und korrekt zu bestimmen.
Modifikationen und Variationen
Die hierin insbesondere beschriebenen Konfigurationen der Ausführungsformen und modifizierten Beispiele sind nur ein Illustrationsbeispiel für die vorliegende Erfindung. Die Konfigurationen der Ausführungsformen und modifizierten Beispiele können bei Bedarf geändert werden, ohne von der technischen Idee der vorliegenden Erfindung abzuweichen. Zwei oder mehr der Ausführungsformen und modifizierten Beispiele können in beliebiger Kombination umgesetzt werden.
Die vorstehende Beschreibung bezieht sich auf Konfigurationen, bei denen die Daten, die zur Bestimmung einer Fehlausrichtung bei den fahrzeugmontierten Kameras 21 bis 24 verwendet werden, gesammelt werden, wenn das Fahrzeug 7 geradeaus fährt. Dies ist jedoch nur veranschaulichend, stattdessen können die Daten zur Bestimmung einer Fehlausrichtung in den Fahrzeugkameras 21 bis 24 auch gesammelt werden, wenn das Fahrzeug 7 nicht geradeaus fährt. Unter Verwendung der vom Geschwindigkeitssensor 41 erhaltenen Geschwindigkeitsinformationen und der vom Lenkwinkelsensor 42 erhaltenen Informationen können die tatsächlichen Bewegungsbeträge des Fahrzeugs 7 in der Vorwärts-Rückwärts- und Links-Rechts-Richtung genau bestimmt werden; so ist es möglich, die vorstehend beschriebene Fehlausrichtungsbestimmung auch dann durchzuführen, wenn das Fahrzeug 7 nicht geradeaus fährt.
Die obige Beschreibung bezieht sich auf Konfigurationen, bei denen der Schätzer 122 einen Schätzwert für den Bewegungsbetrag in der Vorwärts-Rückwärts-Richtung und einen Schätzwert für den Bewegungsbetrag in der Links-Rechts-Richtung berechnet; stattdessen kann er auch nur einen von ihnen bestimmen. In einer Konfiguration, in der nur einer dieser Schätzwerte berechnet wird, ist es jedoch vorzuziehen, dass der Schätzer 122 nur einen Schätzwert für den Bewegungsbetrag in der Vorwärts-Rückwärts-Richtung berechnet. In diesem Fall kann der Bestimmer 123 beispielsweise für den Bewegungsbetrag in Vorwärts-Rückwärts-Richtung den im Schätzer 122 erhaltenen Schätzwert mit dem Wert aus den tatsächlich beobachteten Informationen vergleichen, die im Sensorabschnitt 4 erfasst wurden, um eine Kamerafehlausrichtung zu bestimmen.
Stattdessen kann der Schätzer 122 die Bewegungsgeschwindigkeit des Fahrzeugs 7 basierend auf der Änderung des Bildes der am Fahrzeug 7 montierten Frontkamera 21 schätzen. Der Bestimmer 123 kann die Bewegungsgeschwindigkeit des Fahrzeugs 7, die durch den Schätzer 122 geschätzt wird, mit der Bewegungsgeschwindigkeit des Fahrzeugs 7 vergleichen, die vom Geschwindigkeitssensor 41 im Sensorabschnitt 4 erhalten wird, um eine Anomalie in der Frontkamera 21 zu bestimmen. Eine „Anomalie“ bezeichnet das, was in der obigen Beschreibung als „Kamerafehlausrichtung“ bezeichnet wurde. Wenn eine gegebene oder größere Abweichung zwischen der geschätzten Fahrgeschwindigkeit des Fahrzeugs 7 und der vom Geschwindigkeitssensor 41 erhaltenen Fahrgeschwindigkeit vorliegt, kann der Bestimmer 123 eine Anomalie in der Frontkamera 21 feststellen. So ist es möglich, eine Kamerafehlausrichtung leicht zu erkennen.
In einem Fall, in dem das Fahrzeug 7 mit einer Mehrzahl von Kameras ausgestattet ist (eine Frontkamera 21, eine linke Seitenkamera 23, eine rechte Seitenkamera 24 und eine Rückkamera 22), kann der Schätzer 122 die Geschwindigkeit des Fahrzeugs 7 für jede von der Mehrzahl von Kameras basierend auf Änderungen in den Bildern, die jeweils von der Mehrzahl von Kameras erhalten wurden, schätzen. Der Bestimmer 123 kann durch Vergleichen der Bewegungsgeschwindigkeiten von Fahrzeug 7 aus der Mehrzahl von Kameras jeweils eine beliebige aus der Mehrzahl von Kameras bestimmen, die eine Anomalie aufweist.
Wenn beispielsweise nur die Bewegungsgeschwindigkeit basierend auf dem Bild der Frontkamera 21 von den Bewegungsgeschwindigkeiten basierend auf den Bildern der linken, rechten und hinteren Kameras 22, 23 und 24 abweicht, kann der Bestimmer 123 eine Anomalie in der Frontkamera 21 bestimmen. So ist es möglich, eine falsch ausgerichtete Kamera aus der Mehrzahl der Kameras leicht zu erkennen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2006153778 A [0003, 0005]
JP 2006031162 A [0004]

Claims

Anomalieerkennungsvorrichtung, umfassend: einen Schätzer, der ausgebildet ist, um einen Bewegungsbetrag eines mobilen Körpers basierend auf einem Bild zu schätzen, das von einer Kamera aufgenommen wurde, die an dem mobilen Körper montiert ist; und einen Bestimmer, der ausgebildet ist, um eine Anomalie in der Kamera zu bestimmen, indem er: geschätzte Informationen über den Bewegungsbetrag des mobilen Körpers erhält, wie sie in dem Schätzer erhalten wurden, und tatsächlich beobachtete Informationen über die Bewegung des mobilen Körpers erhält, die von einem externen Sensor, der nicht die Kamera ist, an dem mobilen Körper erfasst sind.
Anomalieerkennungsvorrichtung nach Anspruch 1, weiterhin umfassend einen Ableiter, der ausgebildet ist, um einen optischen Fluss für jeden Merkmalspunkt abzuleiten, wobei der optische Fluss eine Bewegung des Merkmalspunkts zwischen zwei Bildern ist, die von der Kamera in einem vorbestimmten Zeitintervall zugeführt werden, wobei der Schätzer ausgebildet ist, um den Bewegungsbetrag des mobilen Körpers, auf dem die Kamera montiert ist, durch statistische Verarbeitung basierend auf einer Mehrzahl von optischen Flüssen zu schätzen.
Anomalieerkennungsvorrichtung nach Anspruch 2, wobei die geschätzten Informationen Schätzwerte für die Bewegungsbeträge des mobilen Körpers jeweils in Vorwärts-Rückwärts- und Links-Rechts-Richtung umfassen.
Anomalieerkennungsvorrichtung nach Anspruch 3, wobei der Bestimmer ausgebildet ist, um zu bestimmen, dass eine Anomalie in der Kamera vorliegt, wenn eine Differenz zwischen einem im Schätzer erhaltenen Schätzwert und einem auf der Grundlage der tatsächlich beobachteten Informationen erhaltenen Wert gleich oder größer als ein vorbestimmter Schwellenwert für wenigstens den Bewegungsbetrag des mobilen Körpers in der Vorwärts-Rückwärts-Richtung, den Bewegungsbetrag des mobilen Körpers in der Links-Rechts-Richtung, oder einen bestimmten Betrag, der auf der Grundlage der Bewegungsbeträge des mobilen Körpers in der Vorwärts-Rückwärts-Richtung und Links-Rechts-Richtung erhalten wird.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 2 bis 4, wobei der Bestimmer ausgebildet ist, um eine Anomalie in der Kamera basierend auf der geschätzten Information zu bestimmen, die durch die Verwendung von optischen Flüssen von Merkmalspunkten innerhalb eines ersten Bereichs einschließlich einer Bildmitte geschätzt wird, um die Anomalie in der Kamera basierend auf der geschätzten Information, die durch die Verwendung von optischen Flüssen von Merkmalspunkten innerhalb eines zweiten Bereichs ohne die Bildmitte geschätzt wird, neu zu bestimmen.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die tatsächlich beobachteten Informationen Geschwindigkeitsinformationen über den mobilen Körper umfassen, die dem Bestimmer über einen Kommunikationsbus zugeführt sind.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei der Bestimmer ausgebildet ist, um eine Anomalie in der Kamera unter Verwendung von Informationen zu bestimmen, die erfasst wurden, wenn der mobile Körper vom externen Sensor als geradeausfahrend beurteilt wird.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei der Bestimmer ausgebildet ist, um eine Anomalie in der Kamera unter Verwendung von Informationen zu bestimmen, die erfasst werden, wenn der mobile Körper vom externen Sensor als innerhalb eines vorbestimmten Geschwindigkeitsbereichs fahrend beurteilt wird.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei die Verarbeitung zum Berechnen eines kumulierten Wertes durch Summieren der im Schätzer erhaltenen Schätzwerte durchgeführt wird, und der Bestimmer ausgebildet ist, um eine Anomalie in der Kamera basierend auf dem kumulierten Wert zu bestimmen.
Anomalieerkennungsvorrichtung nach Anspruch 2, wobei der Schätzer ausgebildet ist, um den Bewegungsbetrag zu schätzen, nachdem er die Mehrzahl der optischen Flüsse auf optische Flüsse eingegrenzt hat, die bei der statistischen Verarbeitung verwendet werden sollen.
Anomalieerkennungsvorrichtung nach Anspruch 10, wobei die tatsächlich beobachteten Informationen Geschwindigkeitsinformationen über den mobilen Körper umfassen, und der Schätzer ausgebildet ist, um den Bewegungsbetrag zu schätzen, nachdem er die bei der statistischen Verarbeitung zu verwendenden optischen Flüsse auf optische Flüsse eingegrenzt hat, die Bewegungsbeträge innerhalb eines bestimmten Bereichs anzeigen, der basierend auf den Geschwindigkeitsinformationen eingestellt ist.
Anomalieerkennungsvorrichtung nach Anspruch 11, wobei der Schätzer ausgebildet ist, um ein Kriterium zum Einstellen des bestimmten Bereichs zu ändern, wenn eine Geschwindigkeit des mobilen Körpers außerhalb eines vorbestimmten Geschwindigkeitsbereichs liegt, verglichen mit dem, wenn die Geschwindigkeit des mobilen Körpers innerhalb des vorbestimmten Geschwindigkeitsbereichs liegt.
Anomalieerkennungsvorrichtung nach Anspruch 11 oder 12, wobei der Bestimmer ausgebildet ist, um eine Anomalie in der Kamera basierend auf einem Bewegungsbetrag des mobilen Körpers, wie er im Schätzer geschätzt ist, und einem Bewegungsbetrag des mobilen Körpers, wie er aus den Geschwindigkeitsinformationen gewonnen ist, zu bestimmen.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 10 bis 13, wobei die tatsächlich beobachteten Informationen Fahrtrichtungsinformationen über den mobilen Körper umfassen, und der Schätzer ausgebildet ist, wenn der mobile Körper beurteilt wird, basierend auf den Fahrtrichtungsinformationen, dass er bei der Erfassung der Bilder zur Ableitung der optischen Flüsse geradeaus in einer Vorwärts-Rückwärts-Richtung gefahren ist, den Bewegungsbetrag nach Ausschluss optischer Flüsse zu schätzen, deren Bewegungsbeträge in einer Links-Rechts-Richtung außerhalb eines vorbestimmten Bereichs liegen.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 10 bis 14, wobei die statistische Verarbeitung eine Verarbeitung zum Erzeugen eines Histogramms umfasst, das die Verteilung von Bewegungsbeträgen basierend auf der Mehrzahl von optischen Flüssen anzeigt, und der Schätzer ausgebildet ist, um den Bewegungsbetrag unter Verwendung des Histogramms ohne Bewegungsbetrag-Klassen mit Frequenzen unterhalb eines vorbestimmten Wertes zu schätzen.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 10 bis 15, wobei die statistische Verarbeitung eine Verarbeitung zum Erzeugen eines Histogramms umfasst, das die Verteilung von Bewegungsbeträgen basierend auf der Mehrzahl von optischen Flüssen anzeigt, und der Schätzer ausgebildet ist, um den Bewegungsbetrag unter Verwendung des Histogramms in Bewegungsbetrag-Klassen innerhalb eines Bereichs zu schätzen, der entsprechend einem Streuungsgrad eingestellt ist.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 10 bis 16, wobei die statistische Verarbeitung eine Verarbeitung zum Erzeugen eines Histogramms umfasst, das die Verteilung von Bewegungsbeträgen basierend auf der Mehrzahl von optischen Flüssen anzeigt, und der Schätzer ausgebildet ist, um den Bewegungsbetrag unter Verwendung des Histogramms in Bewegungsbetrag-Klassen innerhalb eines Bereichs zu schätzen, der basierend auf einer zuvor durchgeführten Verarbeitung zum Schätzen des Bewegungsbetrags des mobilen Körpers eingestellt ist.
Anomalieerkennungsvorrichtung nach Anspruch 1, wobei ein Ableiter ausgebildet ist, um einen optischen Fluss für jeden Merkmalspunkt abzuleiten, wobei der optische Fluss eine Bewegung des Merkmalspunktes zwischen zwei Bildern ist, die von der Kamera in einem vorbestimmten Zeitintervall zugeführt werden, wobei der Schätzer ausgebildet ist, um den Bewegungsbetrag des mobilen Körpers, auf dem die Kamera montiert ist, basierend auf einer Mehrzahl von optischen Flüssen zu schätzen, und der Bestimmer ausgebildet ist, um die Verarbeitung der Anomaliebestimmung für die Kamera zu stoppen, wenn ein als anormal geschätzter Zustand auftritt, bei dem, obwohl der mobile Körper basierend auf dem externen Sensor als sich bewegend erkannt wird, der mobile Körper basierend auf den geschätzten Informationen als im Ruhezustand geschätzt wird.
Anomalieerkennungsvorrichtung nach Anspruch 18, wobei der als anormal geschätzte Zustand einen Fall umfasst, in dem, obwohl der mobile Körper basierend auf dem externen Sensor als beweglich erkannt wird, die Mehrzahl der optischen Flüsse, die in dem Ableiter abgeleitet werden, einen vorbestimmten oder höheren Anteil der optischen Flüsse umfassen, von denen angenommen wird, dass sie keine Bewegung umfassen.
Anomalieerkennungsvorrichtung nach Anspruch 18 oder 19, wobei der Bestimmer ausgebildet ist, wenn der als anormal geschätzte Zustand wenigstens einmal erkannt wird, um die Verarbeitung der Anomaliebestimmung weiterhin zu stoppen, bis sich die Fahrtrichtung des mobilen Körpers ändert.
Anomalieerkennungsvorrichtung nach Anspruch 20, wobei, wenn sich die Fahrtrichtung des mobilen Körpers ändert, während die Verarbeitung der Anomaliebestimmung fortgesetzt wird, die Bewegungsbetrag-Schätzung durch den Schätzer und die Verarbeitung der Anomaliebestimmung durch den Bestimmer basierend auf einer Mehrzahl von optischen Flüssen durchgeführt werden, die nach der Änderung der Fahrtrichtung erfasst wurden.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 18 bis 21, wobei, wenn, wenn der als anormal geschätzte Zustand eintritt, eine Position eines Schattens des mobilen Körpers erkennbar ist, die Verarbeitung der Anomaliebestimmung nicht gestoppt wird, aber die Schätzung des Bewegungsbetrags durch den Schätzer und die Verarbeitung der Anomaliebestimmung durch den Bestimmer basierend auf einer Mehrzahl von optischen Flüsse durchgeführt werden, die unter Verwendung von Merkmalspunkten abgeleitet werden, die sich an Positionen befinden, die vom Schatten abweichen.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 18 bis 22, wobei die Kamera eine Mehrzahl von Kameras umfasst, und wenn der als anormal geschätzte Zustand für einen Teil der Mehrzahl von Kameras auftritt, die Verarbeitung zur Bestimmung der Anomalie für den Rest der Kameras durchgeführt wird, bei denen der als anormal geschätzte Zustand nicht auftritt.
Anomalieerkennungsvorrichtung nach einem der Ansprüche 18 bis 23, weiterhin umfassend einen SchattenpositionsSchätzer, der ausgebildet ist, um eine Position eines Schattens des mobilen Körpers zu schätzen, wobei der Ableiter ausgebildet ist, um basierend auf der geschätzten Schattenposition einen Bereich einzustellen, aus dem die Merkmalspunkte extrahiert werden sollen.
Anomalieerkennungsverfahren zum Erkennen einer Anomalie in einer Kamera, die an einem mobilen Körper montiert ist, wobei das Verfahren umfasst: einen Schätzschritt zum Schätzen eines Bewegungsbetrags des mobilen Körpers basierend auf einem von der Kamera aufgenommenen Bild; und einen Bestimmungsschritt zum Bestimmen einer Anomalie in der Kamera durch Erhalten von geschätzter Informationen über den Bewegungsbetrag des mobilen Körpers, wie sie in einem Schätzer erhalten wurden, und tatsächlich beobachtete Informationen über die Bewegung des mobilen Körpers, die von einem externen Sensor, der nicht die Kamera ist, an dem mobilen Körper erfasst werden.