DE112009001727T5

DE112009001727T5 - Bildverarbeitungsvorrichtung

Info

Publication number: DE112009001727T5
Application number: DE112009001727T
Authority: DE
Inventors: Naohide Toyota-shi Uchida
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-08-01
Filing date: 2009-07-30
Publication date: 2011-06-16
Anticipated expiration: 2029-07-31
Also published as: CN102016921A; JP5012718B2; JP2010039634A; US20110135159A1; CN102016921B; US8670590B2; DE112009001727B4; WO2010013782A1

Abstract

Bildverarbeitungsvorrichtung zum Berechnen eines optischen Flusses basierend auf Bildinformationen innerhalb eines Fensters für ein Verarbeitungsziel unter Verwendung einer Vielzahl von Bildern, die zu unterschiedlichen Zeiten aufgenommen werden, mit:
einer Positionserfassungseinrichtung, die Positionsinformationen des Verarbeitungsziels erfasst; und
einer Einstelleinrichtung, die eine Größe eines Fensters zum Berechnen eines optischen Flusses basierend auf den Positionsinformationen, die durch die Positionserfassungseinrichtung erfasst werden, einstellt.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung zum Berechnen eines optischen Flusses basierend auf Bildinformationen innerhalb eines Fensters, das auf einem Bild eingestellt ist.
Stand der Technik
Ein optischer Fluss ist ein Vektor, der die Bewegung eines Objektes innerhalb eines Bildes durch Erzeugen eines Geschwindigkeitsfeldes von jedem Punkt (Bildelement oder Bereich) innerhalb des Bildes aus vorübergehend kontinuierlichen Bildern darstellt. Ein Verfahren zum Berechnen eines optischen Flusses verwendet eine Gradiententechnik. Unter der Annahme einer Bedingung, dass Punkte innerhalb von Fenstern, die in einem Bild eingestellt werden, optische Flüsse mit der gleichen Größe aufweisen, leitet die Gradiententechnik einen relationalen Ausdruck zwischen einem Helligkeitsgradienten und einem optischen Fluss her, und berechnet den optischen Fluss in einer Fenstereinheit aus dem relationalen Ausdruck.
Wenn jedoch Objekte (z. B. eine Vielzahl von verschiedenen sich bewegenden Objekten oder sich bewegende Objekte und periphere Hintergründe von diesen) mit verschiedenen optischen Flüssen innerhalb des gleichen Fensters vorkommen, wird der Fehler des optischen Flusses groß. Deshalb berechnet eine in Patentdokument 1 offenbarte Vorrichtung einen optischen Fluss von jedem Bereich (jedem Fenster) und einen Fehler eines optischen Flusses durch die Gradiententechnik unter Verwendung einer Vielzahl von Bildern, die zu verschiedenen Zeiten erhalten werden, und ersetzt einen optischen Fluss eines Umfeldbereichs als einen optischen Fluss eines Zielbereichs, wenn der Fehler des optischen Flusses des Zielbereichs größer als der Fehler des optischen Flusses des Umfeldbereichs in dem Umfeld des Zielbereichs ist.
Zitierter Stand der Technik

Patentdokument 1: offengelegte japanische Patentanmeldung Nr. 2007-172554
Patentdokument 2: offengelegte japanische Patentanmeldung Nr. 2008-26999

Kurzfassung der Erfindung
Da ein Fenster zum Berechnen eines optischen Flusses bei einer verwandten Technik auf eine einheitliche Größe gesetzt wird, werden optische Flüsse für ein Objekt, das sich in einer kurzen Entfernung befindet, und ein Objekt, das sich in einer großen Entfernung befindet, aus Fenstern mit gleicher Größe berechnet. In einem Bild hat das Objekt, das sich in einer großen Entfernung befindet, eine kleinere Größe, als das Objekt, das sich in der kurzen Entfernung befindet. Deshalb, da das Fenster für das Objekt, das sich in der großen Entfernung befindet, eine größere Anzahl von Hintergrundbildelementen aufweist, als das Fenster für das Objekt, das sich in der kurzen Entfernung befindet, oder das Objekt, das sich in der großen Entfernung befindet, in dem Fenster für das Objekt, das sich in der kurzen Entfernung befindet, enthalten ist, kann ein Fehler eines optischen Flusses, der von jedem Fenster berechnet wird, groß sein. Deshalb gibt es im Fall der vorstehend beschriebenen Vorrichtung ein Problem, dass der Fehler eines optischen Flusses eines Umfeldbereichs ebenso groß sein kann, und gibt es eine Möglichkeit, dass der Fehler anwächst, wenn der Austausch mit dem optischen Fluss des Umfeldbereichs mit dem großen Fehler ausgeführt wurde.
Gemäß der vorliegenden Erfindung, wird eine Bildverarbeitungsvorrichtung zum Verbessern der Genauigkeit einer Berechnung eines optischen Flusses bereitgestellt, wenn ein optischer Fluss in einer Fenstereinheit berechnet wird.
Gemäß der vorliegenden Erfindung ist eine Bildverarbeitungsvorrichtung zum Berechnen eines optischen Flusses basierend auf Bildinformationen innerhalb eines Fensters für ein Verarbeitungsziel unter Verwendung einer Vielzahl von Bildern, die zu verschiedenen Zeiten aufgenommen werden, bereitgestellt, mit: einer Positionserfassungseinrichtung, die Positionsinformationen des Verarbeitungsziels erfasst; und einer Einstelleinrichtung, die eine Größe eines Fensters zum Berechnen eines optischen Flusses basierend auf den Positionsinformationen, die durch die Positionserfassungseinrichtung erfasst werden, einstellt.
Bei der Bildverarbeitungsvorrichtung werden die Positionsinformationen (z. B. eine relative Entfernung oder eine seitliche Position von einer Bildaufnahmeposition) des Verarbeitungsziels (ein Ziel, dessen Bewegung durch den optischen Fluss erkannt wird) durch die Positionserfassungseinrichtung erfasst. Eine Größe eines Objektes auf dem Bild wird als Reaktion auf eine Positionsbeziehung zwischen dem Objekt und der Bildaufnahmeposition geändert. Eine Größe des optischen Flusses kann ebenso als Reaktion auf die Positionsbeziehung zwischen dem Objekt und der Bildaufnahmeposition geändert werden. Deshalb stellt die Bildverarbeitungsvorrichtung die Fenstergröße zum Berechnen eines optischen Flusses als Reaktion auf die Positionsinformationen des Verarbeitungsziels durch die Einstelleinrichtung ein und berechnet den optischen Fluss für jedes eingestellte Fenster basierend auf den Bildinformationen innerhalb des Fensters. Durch Einstellen eines Fensters mit einer geeigneten Größe für ein Verarbeitungsziel als Reaktion auf die Positionsinformationen des Verarbeitungsziel, wie vorstehend beschrieben, ist die Bildverarbeitungsvorrichtung dazu in der Lage, den Effekt eines Fehlers, der durch andere Objekte als das Verarbeitungsziel, die in dem Fenster enthalten sind, verursacht wird, zu reduzieren, und die Genauigkeit der Berechnung des optischen Flusses zu verbessern. Ebenso ist es möglich, einen Berechnungsumfang zu reduzieren, da ein optischer Fluss durch ein Fenster berechnet wird, das eine Größe entsprechend den Positionsinformationen des Verarbeitungsziels aufweist, ohne die Berechnung des optischen Flusses unter Verwendung eines einheitlich großen Fensters durchzuführen.
Bei der vorstehend beschriebenen Bildverarbeitungsvorrichtung der vorliegenden Erfindung kann die Einstelleinrichtung vorzugsweise die Fenstergröße gemäß der Größe eines seitlichen Positionsunterschieds zwischen einer Bildaufnahmeposition und dem Verarbeitungsobjekt vergrößern.
Der optische Fluss wird groß, wenn sich eine Position einer seitlichen Richtung von der Bildaufnahmeposition trennt bzw. entfernt. Wenn ein kleines Fenster eingestellt wird, in dem Fall, in dem der optische Fluss groß ist, konvergiert der optische Fluss nicht oder der optische Fluss muss durch schrittweise Verschieben des kleinen Fensters mehrere Male berechnet werden, so dass sich der Berechnungsumfang erhöht. In der Bildverarbeitungsvorrichtung ist die Einstelleinrichtung dazu in der Lage, ein geeignetes Fenster für die Größe eines optischen Flusses durch Erhöhen der Fenstergröße gemäß der Größe eines seitlichen Positionsunterschieds zwischen der Bildaufnahmeposition und dem Verarbeitungsziel einzustellen. Folglich kann die Genauigkeit der Berechnung des optischen Flusses weiter verbessert werden.
Bei der vorstehend beschriebenen Bildverarbeitungsvorrichtung der vorliegenden Erfindung kann die Positionserfassungseinrichtung ein Radar sein und kann das Verarbeitungsziel basierend auf einem Erkennungsergebnis des Radars einstellen.
Bei der Bildverarbeitungsvorrichtung werden die Positionsinformationen des Verarbeitungsziels durch das Radar erfasst und das Verarbeitungsziel wird aus Ergebnissen, die durch das Radar erkannt werden, eingestellt. Das Radar ist dazu in der Lage, die Positionsinformationen genau zu erfassen. Deshalb, da sich ein Objekt genau an einer Erkennungsposition befindet, wenn die Erkennung durch das Radar vorgenommen wurde, wird ein Fenster für das Verarbeitungsziel an der Position eingestellt. Wie vorstehend beschrieben ist die Bildverarbeitungsvorrichtung dazu in der Lage, einen Berechnungsumfang durch Einstellen eines Fensters des Verarbeitungsziels als Reaktion auf eine Position, die durch das Radar erkannt wird, und durch Begrenzen eines Verarbeitungsbereichs der Berechnung des optischen Flusses zu reduzieren.
Die vorliegende Erfindung ist dazu in der Lage, die Genauigkeit einer Berechnung eines optischen Flusses durch Einstellen eines Fensters mit einer geeigneten Größe für ein Verarbeitungsziel als Reaktion auf Positionsinformationen des Verarbeitungsziels zu verbessern.
Kurze Beschreibung der Zeichnungen
1 ist ein Konfigurationsdiagramm einer Umfeldüberwachungsvorrichtung gemäß diesem Ausführungsbeispiel.
2 ist eine Tabelle, die eine Größe in einem aufgenommenen Bild, eine Größe eines optischen Flusses und eine Größe eines Fensters für eine Entfernung und eine seitliche Position zu einem Merkmalspunkt zeigt.
3 ist ein Beispiel einer Draufsicht, die das Umfeld (Vorderseite) des eigenen Fahrzeugs von oben zeigt.
4 ist ein Diagramm, in dem ein Fenster zum Berechnen eines optischen Flusses durch eine ECU von 1 für ein aufgenommenes Bild des in 3 gezeigten Umfelds des eigenen Fahrzeugs eingestellt wurde.
5 ist ein Diagramm, in dem ein Fenster zum Berechnen eines optischen Flusses gemäß einer verwandten Technik für das aufgenommene Bild des in 3 gezeigten Umfelds des eigenen Fahrzeugs eingestellt wurde.
6 ist ein Ablaufdiagramm, das einen Ablauf eines Hauptprozesses in der ECU von 1 zeigt.
7 ist ein Ablaufdiagramm, das einen Ablauf einer Fenstergrößeneinstellverarbeitung in der ECU von 1 zeigt.
Art zum Ausführen der Erfindung
Beschreibung von Ausführungsbeispielen
Nachstehend wird ein Ausführungsbeispiel einer Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben.
In diesem Ausführungsbeispiel wird die Bildverarbeitungsvorrichtung gemäß der vorliegenden Erfindung auf eine Umfeldüberwachungsvorrichtung, die an einem Fahrzeug angebracht ist, angewendet. Die Umfeldüberwachungsvorrichtung gemäß diesem Ausführungsbeispiel erkennt Hindernisse (z. B. sich bewegende Objekte, wie andere Fahrzeuge, Fahrräder und Fußgänger, und stationäre Objekte, wie gefallene Objekte) in der Vorderrichtung des eigenen Fahrzeugs und gibt Informationen bezüglich der erkannten Hindernisse an eine Fahrunterstützungsvorrichtung (Kollisionsschutzvorrichtung oder Ähnliches) aus oder versorgt einen Fahrer mit den Informationen durch Ton oder eine Anzeige. Eine Erkennungsrichtung ist die Front- bzw. Vorderrichtung, aber kann auch eine andere Richtung, wie etwa die seitliche Richtung, die hintere Richtung oder Ähnliches sein.
Eine Umfeldüberwachungsvorrichtung 1 gemäß diesem Ausführungsbeispiel wird mit Bezug auf 1 bis 5 beschrieben. 1 ist ein Konfigurationsdiagramm einer Umfeldüberwachungsvorrichtung gemäß diesem Ausführungsbeispiel. 2 ist eine Tabelle, die eine Größe in einem aufgenommenen Bild, eine Größe eines optischen Flusses und eine Größe eines Fensters für eine Entfernung und eine seitliche Position zu einem Merkmalspunkt zeigt. 3 ist ein Beispiel einer Draufsicht, die das Umfeld (Vorderseite) des eigenen Fahrzeugs von oben zeigt. 4 ist ein Diagramm, in dem ein Fenster zum Berechnen eines optischen Flusses durch eine ECU von 1 für ein aufgenommenes Bild des in 3 gezeigten Umfelds des eigenen Fahrzeugs eingestellt wurde. 5 ist ein Diagramm, in dem ein Fenster zum Berechnen eines optischen Flusses gemäß einer verwandten Technik für das aufgenommene Bild des in 3 gezeigten Umfelds des eigenen Fahrzeugs eingestellt wurde.
Die Umfeldüberwachungsvorrichtung 1 erkennt Informationen bezüglich eines Hindernisses basierend auf einem optischen Fluss, der aus einem Bild zwischen vorübergehend kontinuierlichen Rahmen erkannt wird. Genauer stellt die Umfeldüberwachungsvorrichtung 1 ein Fenster für eine Berechnung eines optischen Flusses als Reaktion auf eine Position auf einem Bild für jedes Verarbeitungsziel (Hindernis) ein, um die Genauigkeit einer Berechnung des optischen Flusses zu verbessern. Die Umfeldüberwachungsvorrichtung 1 besitzt eine Kamera 2, einen Millimeterwellensensor 3 und eine ECU („Electronic Control Unit”, elektronische Steuereinheit) 4.
In diesem Ausführungsbeispiel entspricht der Millimeterwellensensor 3 der Positionserfassungseinrichtung, die in den Ansprüchen genannt ist, und eine Verarbeitung in der ECU 4 entspricht der Einstelleinrichtung, die in den Ansprüchen genannt ist.
Die Kamera 2 ist eine Kamera zum Aufnehmen eines Bildes in der Vorderrichtung des eigenen Fahrzeugs. Die Kamera 2 ist in der Mitte der Vorderseite des eigenen Fahrzeugs angebracht. Die Kamera 2 nimmt das Bild in der Vorderrichtung des eigenen Fahrzeugs auf und überträgt Informationen bezüglich des aufgenommenen Bildes als ein Bildsignal an die ECU 4. Das aufgenommene Bild ist ein Rahmenbild pro gegebener Zeit (z. B. 1/30 Sekunden).
Der Millimeterwellensensor 3 ist ein Radarsensor, der ein Objekt unter Verwendung einer Millimeterwelle erkennt. Der Millimeterwellensensor 3 ist an einer vorbestimmten Höhenposition der Mitte der Vorderseite des eigenen Fahrzeugs angebracht (eine Höhenposition, an der ein Hindernis eines Erkennungsziels exakt erkannt werden kann). Der Millimeterwellensensor 3 überträgt Millimeterwellen von dem eigenen Fahrzeug in die Vorderrichtung, während eine Abtastoperation in die Links- und Rechtsrichtung durchgeführt wird, und empfängt reflektierte Millimeterwellen.
Für jeden Erkennungspunkt, an dem die reflektierte Millimeterwelle empfangen wurde, berechnet der Millimeterwellensensor 3 eine relative Entfernung zu einem Objekt in der Vorderrichtung basierend auf der Zeit von der Übertragung zum Empfang der Millimeterwelle und einer Millimeterwellengeschwindigkeit. Der Millimeterwellensensor 3 berechnet eine relative Geschwindigkeit zu dem Objekt in der Vorderrichtung basierend auf einer Variation zwischen einer relativen Entfernung, die zu einer momentanen Zeit (t) berechnet wird, und einer relativen Entfernung, die zu einer vorhergehenden Zeit (t – 1) berechnet wird. Der Millimeterwellensensor 3 erkennt die Richtung der reflektierten stärksten Millimeterwelle unter den reflektierten Millimeterwellen, erzeugt einen Winkel zwischen einer Bewegungsrichtung des eigenen Fahrzeugs und einer Richtung des Objekts aus der erkannten Richtung und berechnet eine seitliche Position des Objekts aus dem Winkel. Der Millimeterwellensensor 3 überträgt ein Millimeterwellensignal, das die erkannten Millimeterwelleninformationen (eine relative Entfernung, eine relative Geschwindigkeit, eine relative seitliche Position oder Ähnliches von jedem erkannten Objekt) umfasst, an die ECU 4. Die relative Entfernung, die relative Geschwindigkeit und die seitliche Position können durch die ECU 4 berechnet werden. In diesem Fall werden Millimeterwelleninformationen, die eine Übertragungszeit, eine Empfangszeit, eine Abtastrichtung und eine empfangene Stärke für jeden Erkennungspunkt umfassen, von dem Millimeterwellensensor 3 an die ECU 4 übertragen.
Die ECU 4 ist eine elektronische Steuerungseinheit, die eine CPU („Central Processing Unit”, zentrale Verarbeitungseinheit), einen ROM („Read Only Memory”, Festwertspeicher), einen RAM („Random Access Memory”, Schreib-Lese-Speicher), einen Bildverarbeitungschip und Ähnliches umfasst, und eine integrierte Steuerungsoperation für die Umfeldüberwachungsvorrichtung 1 durchführt. Die ECU 4 empfängt ein Bildsignal von der Kamera 2 und ein Millimeterwellensignal von dem Millimeterwellensensor 3 zu jeder gegebenen Zeit und speichert die Millimeterwelleninformationen und Informationen des aufgenommenen Bildes in einer zeitlichen Abfolge. Die ECU 4 führt eine Verarbeitung zum Erkennen von Hindernisinformationen unter Verwendung der vorstehend beschriebenen Informationen durch und gibt die erkannten Hindernisinformationen (z. B. eine relative Entfernung, eine relative Geschwindigkeit, eine relative seitliche Position, eine Bewegungsrichtung oder eine Bewegungsgeschwindigkeit) an die Fahrunterstützungsvorrichtung aus oder versorgt den Fahrer mit den erkannten Hindernisinformationen.
Vor der Beschreibung einer spezifischen Verarbeitung der ECU 4 wird eine Größe eines Fensters zum Berechnen eines optischen Flusses, das durch die ECU 4 zu handhaben ist, beschrieben. Die Größe eines Objektes auf einem Bild wird groß, wenn eine Entfernung des Hindernisses von der Kamera 2 (eine Bildaufnahmeposition) kurz wird, und wird klein, wenn die Entfernung groß wird. Deshalb ist es notwendig, die Größe des Fensters zu erhöhen, wenn die Entfernung des Hindernisses von der Kamera 2 kurz ist, und die Größe des Fensters zu verringern, wenn die Entfernung groß ist, um die Fenstergröße als Reaktion auf die Hindernisgröße zu optimieren.
Da das eigene Fahrzeug in die Vorderrichtung fährt, in der ein Hindernis vorhanden ist, wird die Größe eines optischen Flusses klein, wenn sich die seitliche Position des Hindernisses der Kamera 2 nähert, und wird groß, wenn sich die seitliche Position von dieser entfernt. Da der optische Fluss nicht konvergiert oder der optische Fluss mehrere Male durch schrittweise Verschieben des kleinen Fensters berechnet werden muss, wenn der optische Fluss groß ist, aber das kleine Fenster eingestellt wird, erhöht sich ein Berechnungsumfang. Deshalb ist es notwendig, die Größe des Fensters zu verringern, wenn die seitliche Position des Hindernisses nahe der Kamera 2 ist, und die Größe des Fensters zu erhöhen, wenn die seitliche Position von dieser entfernt ist, um die Fenstergröße als Reaktion auf die Größe des optischen Flusses zu optimieren.
2 zeigt die vorstehend beschriebene Beziehung in Tabellenform. Wenn eine Entfernung von der Kamera 2 zu dem Hindernis (Merkmalspunkt) groß bzw. lang ist und die seitliche Position nahe zu dieser ist, wird eine „kleine Größe” als die Fenstergröße eingestellt, da seine Größe in dem Bild klein wird und die Größe des optischen Flusses ebenso klein wird. Wenn die Entfernung groß ist und die seitliche Position entfernt ist, wird eine „mittlere Größe” als die Fenstergröße eingestellt, da die Größe in dem Bild klein wird und die Größe des optischen Flusses mittel wird. Wenn die Entfernung kurz bzw. klein ist und die seitliche Position nahe ist, wird eine „mittlere Größe” als die Fenstergröße eingestellt, da die Größe in dem Bild groß wird und die Größe des optischen Flusses mittel wird. Wenn die Entfernung kurz ist und die seitliche Position entfernt ist, wird eine „große Größe” als die Fenstergröße eingestellt, da die Größe in dem Bild groß wird und die Größe des optischen Flusses groß wird. Sowohl in dem Fall, in dem die Entfernung groß ist und die seitliche Position entfernt ist, als auch in dem Fall, in dem die Entfernung kurz ist und die seitliche Position nahe ist, besitzen die Fenster die mittleren Größen, aber die Fenstergrößen können im Wesentlichen die Gleichen sein. Alternativ kann die Fenstergröße in dem Fall, in dem die Entfernung kurz ist und die seitliche Position nahe ist, leicht größer sein.
Die Größe des optischen Flusses wird groß, wenn die Geschwindigkeit des eigenen Fahrzeugs hoch wird, und die Größe des optischen Flusses wird klein, wenn die Geschwindigkeit des eigenen Fahrzeugs niedrig wird.
Deshalb, unter Berücksichtigung der Geschwindigkeit des eigenen Fahrzeugs, kann das Fenster groß werden, wenn die Fahrzeuggeschwindigkeit hoch ist, und kann das Fenster klein werden, wenn die Fahrzeuggeschwindigkeit niedrig ist.
Eine Verarbeitung in der ECU 4 wird spezifisch beschrieben. Die ECU 4 erkennt einen Merkmalspunkt (Hindernis) von einem Rahmenbild zu einer momentanen Zeit (t). Bei der Erkennung des Merkmalspunkts wird z. B. eine Kantenerkennung durch Anwenden einer verwandten Technik verwendet.
Für jeden erkannten Merkmalspunkt erfasst die ECU 4 Millimeterwelleninformationen (insbesondere eine relative Entfernung und eine seitliche Position) entsprechend dem Merkmalspunkt. Die ECU 4 bestimmt, ob die Entfernung von dem eigenen Fahrzeug (der Kamera 2) kurz ist, basierend auf der relativen Entfernung (ob die relative Entfernung gleich oder kleiner als ein Entfernungsschwellenwert ist). Der Entfernungsschwellenwert ist ein Schwellenwert zum Bestimmen, ob die Entfernung zu dem Hindernis kurz oder groß bzw. lang ist. Der Entfernungsschwellenwert kann durch ein Experiment oder Ähnliches voreingestellt werden, oder kann unter Berücksichtigung der Größe eines Hindernisses (z. B. eines Fußgängers) in dem Bild eingestellt werden. Die ECU 4 bestimmt, ob die seitliche Position nahe dem eigenen Fahrzeug (der Kamera 2) ist oder nicht, basierend auf der relativen seitlichen Position (ob die relative seitliche Position gleich oder kleiner als ein seitlicher Positionsschwellenwert ist). Der seitliche Positionsschwellenwert ist ein Schwellenwert zum Bestimmen, ob die seitliche Position des Hindernisses nahe oder entfernt ist. Der seitliche Positionsschwellenwert kann durch ein Experiment voreingestellt werden, oder kann unter Berücksichtigung der Größe des Hindernisses in dem Bild eingestellt werden.
Wenn bestimmt wurde, dass die Entfernung groß und die seitliche Position nahe ist, stellt die ECU 4 das Fenster zum Berechnen des optischen Flusses auf eine kleine Größe ein. Wenn bestimmt wurde, dass die Entfernung groß und die seitliche Position entfernt ist, stellt die ECU 4 das Fenster auf eine mittlere Größe ein. Wenn bestimmt wurde, dass die Entfernung kurz und die seitliche Position nahe ist, stellt die ECU 4 das Fenster auf eine mittlere Größe ein. Wenn bestimmt wurde, dass die Entfernung kurz und die seitliche Position entfernt ist, stellt die ECU 4 das Fenster auf eine große Größe ein. Die große, mittlere und kleine Größe des Fensters kann durch ein Experiment oder Ähnliches voreingestellt werden oder kann unter Berücksichtigung der Größe des Hindernisses in dem Bild eingestellt werden.
Für jedes eingestellte Fenster berechnet die ECU 4 den optischen Fluss in dem Fenster durch eine Gradiententechnik (bei welcher als eine Bedingung angenommen wird, dass Punkte innerhalb des Fensters optische Flüsse mit der gleichen Größe aufweisen) unter Verwendung eines Bildes zwischen kontinuierlichen Rahmen. Die Berechnung des optischen Flusses durch die Gradiententechnik verwendet eine verwandte Technik.
Die ECU 4 stellt Hindernisinformationen aus Millimeterwelleninformationen (eine relative Entfernung, eine relative Geschwindigkeit, eine relative seitliche Position und Ähnliches) und einem optischen Fluss (eine Bewegungsrichtung, eine Bewegungsgeschwindigkeit, eine Bewegungsmenge oder Ähnliches) für jeden Merkmalspunkt (Hindernis) ein. Die ECU 4 gibt die Hindernisinformationen an die Fahrunterstützungsvorrichtung aus oder versorgt den Fahrer mit den Hindernisinformationen. Als weitere Informationen des Hindernisses kann die Größe des Hindernisses aus dem Bild erkannt werden und kann die Art des Hindernisses unter Verwendung einer Mustererkennung oder Ähnlichem erkannt werden.
Im Falle des in 3 gezeigten Beispiels fährt das eigene Fahrzeug auf einer Straße mit einer Spur auf einer Seite in eine Richtung, die durch einen Pfeil MD angegeben ist, und sind vier Hindernisse O1, O2, O3 und O4 (z. B. Fußgänger) in der Vorderrichtung des eigenen Fahrzeugs vorhanden. Das Hindernis O1 befindet sich in einer kurzen Entfernung von dem eigenen Fahrzeug und befindet sich an einer seitlichen Position entfernt von dem eigenen Fahrzeug. Das Hindernis O2 befindet sich in einer kurzen Entfernung von dem eigenen Fahrzeug und befindet sich ebenso an einer seitlichen Position nahe dem eigenen Fahrzeug. Das Hindernis O3 befindet sich in einer großen Entfernung von dem eigenen Fahrzeug und befindet sich an einer seitlichen Position nahe dem eigenen Fahrzeug. Das Hindernis O4 befindet sich in einer großen Entfernung von dem eigenen Fahrzeug und befindet sich ebenso an einer seitlichen Position entfernt von dem eigenen Fahrzeug. Um ein Verständnis der Beschreibung zu erleichtern, wird hier angenommen, dass sich die Hindernisse O1, O2, O3 und O4 mit der gleichen Geschwindigkeit in die Richtung des eigenen Fahrzeugs bewegen.
4 zeigt ein Bild, das durch Fotografieren der in 3 gezeigten umgebenden Landschaft in der Vorderrichtung des eigenen Fahrzeugs aufgenommen wird, und zeigt ebenso ein Fenster für jedes Hindernis (Merkmalspunkt), das durch die ECU 4 in dem Bild eingestellt wird. In 4 und 5 sind Positionserkennungsergebnisse des Millimeterwellensensors 3 durch Markierungen x angegeben, optische Flüsse (in dieser Hinsicht optische Flüsse F1, F2, F3 und F4, die nicht in einer Fenstereinheit berechnet werden, sondern ideale optische Flüsse (ohne Fehler) sind, die nur von den Hindernissen O1, O2, O3 und O4 berechnet werden) sind durch Pfeile angegeben, die Hindernisse sind durch Rechtecke mit durchgezogenen Linien angegeben und die Fenster sind durch Rechtecke mit gestrichelten Linien angegeben. Im Fall des Hindernisses O1 wird die Größe des Bildes groß, da die Entfernung kurz ist, und wird der optische Fluss F1 groß, da die seitliche Position entfernt ist, aber ein großes Fenster W1 entsprechend seiner Größe auf dem Bild und der Größe des optischen Flusses wird eingestellt. Im Fall von Hindernis O2 wird die Größe des Bildes groß, da die Entfernung kurz ist, aber wird der optische Fluss F2 kleiner als der des Hindernisses O1, da die seitliche Position nahe ist, so dass ein Fenster mittlerer Größe W2, das kleiner ist als das des Hindernisses O1, eingestellt wird. Im Fall des Hindernisses O3 wird die Größe auf dem Bild klein, da die Entfernung groß ist, und wird der optische Fluss F3 ebenso klein, da die seitliche Position nahe ist, aber ein Fenster kleiner Größe W3 entsprechend der Größe auf dem Bild und der Größe des optischen Flusses wird eingestellt. Im Fall von Hindernis O4 wird die Größe auf dem Bild klein, da die Entfernung groß ist, aber wird der optische Fluss F4 größer als der des Hindernisses O3, da die seitliche Position entfernt ist, so dass ein Fenster mittlerer Größe W4, das größer als das des Hindernisses O3 ist, eingestellt wird.
5 zeigt ein Bild, das durch Fotografieren der in 3 gezeigten umgebenden Landschaft in der Vorderrichtung des eigenen Fahrzeugs aufgenommen wird, und zeigt ebenso Fenster, die durch eine verwandte Technik in dem Bild eingestellt werden. Bei der verwandten Technik werden Fenster W1', W2' und W4', die die gleiche Größe aufweisen, einheitlich eingestellt und besitzen eine relativ große Größe, um ausreichend Hindernisse zu enthalten. Das Fenster W2', das das Hindernis O2 enthält, besitzt eine große Größe, wenn eine Größe eines optischen Flusses F2 betrachtet wird, und enthält ein Hindernis O3. Deshalb werden die optischen Flüsse des Fensters W2' aus Bildinformationen von zwei Hindernissen O2 und O3 und Bildinformationen des Hintergrunds berechnet und der Fehler des optischen Flusses des Hindernisses O2 wird groß. Das Fenster W4', das ein Hindernis O4 enthält, besitzt eine übermäßig große Größe, wenn eine Größe des Hindernisses O4 oder eine Größe des optischen Flusses F4 auf dem Bild betrachtet wird, und ein großer Abschnitt von diesem ist der Hintergrund. Deshalb wird der optische Fluss des Fensters W4' aus den Bildinformationen des kleinen Hindernisses O4 und Bildinformationen des großen Hintergrundes berechnet, und der Fehler des optischen Flusses des Hindernisses O4 wird groß.
Die Operation der Umfeldüberwachungsvorrichtung 1 wird mit Bezug auf 1 und 2 beschrieben. Genauer wird die Verarbeitung der ECU 4 gemäß 6 und 7 beschrieben. 6 ist ein Ablaufdiagramm, das einen Ablauf einer Hauptverarbeitung in der ECU von 1 zeigt. 7 ist ein Ablaufdiagramm, das einen Ablauf einer Fenstergrößeneinstellverarbeitung in der ECU von 1 zeigt.
Zu jeder gegebenen Zeit nimmt die Kamera 2 ein Bild in der Vorderrichtung des eigenen Fahrzeugs auf und überträgt ein Bildsignal mit den Bildinformationen von diesem an die ECU 4. Der Millimeterwellensensor 3 führt eine Abtastoperation durch Millimeterwellen zu jeder gegebenen Zeit durch, berechnet eine relative Entfernung, eine relative Geschwindigkeit, eine relative seitliche Position oder Ähnliches für jeden Erkennungspunkt und überträgt ein Millimeterwellensignal mit Millimeterwelleninformationen von jedem Erkennungspunkt an die ECU 4. Die ECU 4 empfängt ein Bildsignal von der Kamera 2 zu jeder gegebenen Zeit und erfasst ein Rahmenbild zu einer momentanen Zeit (t) (S1). Jedes Rahmenbild wird vorübergehend in der ECU 4 in einer zeitlichen Abfolge gespeichert. Die ECU 4 extrahiert einen Merkmalspunkt aus dem Rahmenbild zu der momentanen Zeit (t) (S2).
Für jeden extrahierten Merkmalspunkt stellt die ECU 4 ein Fenster zum Berechnen eines optischen Flusses ein (S3). Für jede gegebene Zeit empfängt die ECU 4 ein Millimeterwellensignal von dem Millimeterwellensensor 3 und erfasst die relative Entfernung und die relative seitliche Position für den Merkmalspunkt aus den Millimeterwelleninformationen (S30). Die Millimeterwelleninformationen werden vorübergehend in der ECU 4 in einer zeitlichen Abfolge gespeichert.
Die ECU 4 bestimmt, ob eine Entfernung zu dem Merkmalspunkt kurz ist oder nicht (S31). Wenn in S31 bestimmt wurde, dass die Entfernung kurz ist, bestimmt die ECU 4, ob die seitliche Position entfernt ist oder nicht (S32). Wenn in S31 bestimmt wurde, dass die Entfernung groß ist, bestimmt die ECU 4, ob die seitliche Position entfernt ist oder nicht (S33).
Wenn in S32 bestimmt wurde, dass die seitliche Position entfernt ist (d. h. wenn die Entfernung zu dem Merkmalspunkt kurz ist und die seitliche Position entfernt von diesem ist), wird eine große Größe als die Fenstergröße eingestellt (S34). Wenn in S32 bestimmt wurde, dass die seitliche Position nahe ist (d. h. wenn die Entfernung zu dem Merkmalspunkt kurz ist und die seitliche Position nahe zu diesem ist), wird eine mittlere Größe als die Fenstergröße eingestellt (S35). Wenn in S33 bestimmt wurde, dass die seitliche Position entfernt ist (d. h. wenn die Entfernung zu dem Merkmalspunkt groß ist und die seitliche Position entfernt von diesem ist), wird eine mittlere Größe als die Fenstergröße eingestellt (S35). Wenn in S33 bestimmt wurde, dass die seitliche Position nahe ist (d. h. wenn die Entfernung zu dem Merkmalspunkt groß ist und die seitliche Position nahe zu diesem ist), wird eine kleine Größe als die Fenstergröße eingestellt (S36).
Für jedes eingestellte Fenster berechnet die ECU 4 einen optischen Fluss durch die Gradiententechnik unter Verwendung des Rahmenbildes zu der momentanen Zeit (t) und eines Rahmenbildes zu einer vorhergehenden Zeit (t – 1) (S4).
Die ECU 4 extrahiert Informationen bezüglich jedes Hindernisses aus Millimeterwelleninformationen von jedem Merkmalspunkt und einem optischen Fluss von jedem Fenster, und gibt die Hindernisinformationen an die Fahrunterstützungsvorrichtung aus oder versorgt den Fahrer mit den Hindernisinformationen durch Ton oder eine Anzeige.
Die Umfeldüberwachungsvorrichtung 1 stellt eine Fenstergröße für eine Berechnung eines optischen Flusses entsprechend einer relativen Entfernung und einer relativen seitlichen Position zu dem Merkmalspunkt (Hindernis) ein, so dass die Fenstergröße eine Größe entsprechend einer Größe des Hindernisses und einer Größe des optischen Flusses auf dem Bild ist. Deshalb kann der Effekt von Fehlern durch Objekte in dem Fenster außer eines Hindernisses eines Erkennungsziels reduziert werden, so dass die Genauigkeit einer Berechnung des optischen Flusses verbessert werden kann. Da der optische Fluss durch ein Fenster mit einer exakten Größe für jedes Hindernis berechnet werden kann, ohne eine Berechnung des optischen Flusses durch das Fenster, das einheitlich eine große Größe aufweist, kann der Durchsatz reduziert werden.
Da der optische Fluss durch Einstellen eines Fensters nur für einen erkannten Merkmalspunkt berechnet wird, ist die Umfeldüberwachungsvorrichtung 1 dazu in der Lage, den Durchsatz weiter reduzieren. Da der Millimeterwellensensor 3 Positionsinformationen von jedem Merkmalspunkt mit einem hohen Grad an Genauigkeit erzeugt, ist die Umfeldüberwachungsvorrichtung 1 dazu in der Lage, eine exakte Fenstergröße aus den sehr genauen Positionsinformationen von diesem einstellen.
Während im Vorstehenden Ausführungsbeispiele der vorliegenden Erfindung beschrieben wurden, ist die vorliegende Erfindung nicht auf diese beschränkt, sondern verschiedene Modifikationen sind möglich.
Zum Beispiel wurde in diesem Ausführungsbeispiel die Umfeldüberwachungsvorrichtung, die an einem Fahrzeug angebracht ist, zur Erkennung von Hindernissen um das Fahrzeug herum angewendet, aber es ist ebenso auf verschiedene Bildverarbeitungsvorrichtungen, die eine Funktion des Berechnens eines optischen Flusses aufweisen, anwendbar. Es kann an anderen sich bewegenden Objekten, wie etwa einem Roboter, angebracht werden, oder kann an einem vorbestimmten Platz, einem sich nicht bewegenden Objekt, installiert werden, um auch in dem Fall angewendet zu werden, in dem seitens einer Bildverarbeitungsvorrichtung ein optischen Fluss in einem stationären Zustand berechnet wird.
In diesem Ausführungsbeispiel wurde der Millimeterwellensensor als die Positionserfassungseinrichtung angewendet, aber die Positionserfassungseinrichtung kann ein anderer Radarsensor, wie etwa ein Lasersensor und Ähnliches, sein und kann eine andere Positionserfassungseinrichtung als das Radar sein.
Die Gradiententechnik wurde in diesem Ausführungsbeispiel angewendet, um einen optischen Fluss zu berechnen, aber andere Techniken, wie etwa eine Musterübereinstimmung und Ähnliches, können ebenso angewendet werden, um den optischen Fluss zu berechnen.
Dieses Ausführungsbeispiel wurde derart konfiguriert, dass eine Fenstergröße als Reaktion auf eine relative Entfernung und eine relative Position zwischen einer Kamera (Fahrzeug) und jedem Merkmalspunkt eingestellt wird, aber die Fenstergröße kann nur als Reaktion auf entweder die Entfernung oder die seitliche Position eingestellt werden oder die Fenstergröße kann als Reaktion auf einen Parameter von anderen Positionsinformationen als der Entfernung und der seitlichen Position eingestellt werden.
Es wurde derart konfiguriert, dass ein Fenster für ein Verarbeitungsziel durch Erkennen eines Merkmalspunkts aus einem Bild und unter Verwendung eines Erkennungsergebnisses des Millimeterwellensensors für den Merkmalspunkt eingestellt wird, aber es kann konfiguriert sein, dass das Fenster direkt unter Verwendung eines Objektes, das durch den Millimeterwellensensor als das Verarbeitungsziel erkannt wird, eingestellt wird. Das Fenster kann für das gesamte Bild eingestellt werden, ohne darauf beschränkt zu sein, das Fenster für den Merkmalspunkt einzustellen.
Die Fenstergröße wurde in diesem Ausführungsbeispiel in drei Schritten (oder vier Schritten) eingestellt, kann aber in zwei Schritten oder zumindest fünf Schritten als Reaktion auf eine relative Entfernung oder seitliche Position eingestellt werden. Dementsprechend kann ein Entfernungsschwellenwert oder ein seitlicher Positionsschwellenwert ebenso in einer Vielzahl von Schritten eingestellt werden.
Gewerbliche Anwendbarkeit
Die vorliegende Erfindung ist dazu in der Lage, die Genauigkeit einer Berechnung eines optischen Flusses durch Einstellen eines Fensters, das eine geeignete Größe aufweist, für ein Verarbeitungsziel als Reaktion auf Positionsinformationen des Verarbeitungsziels zu verbessern.
Bezugszeichenliste

1: Umfeldüberwachungsvorrichtung
2: Kamera
3: Millimeterwellensensor
4: ECU

Zusammenfassung
Es ist eine Bildverarbeitungsvorrichtung zum Verbessern der Genauigkeit einer Berechnung eines optischen Flusses bereitgestellt, wenn ein optischer Fluss in einer Fenstereinheit berechnet wird. Eine Bildverarbeitungsvorrichtung zum Berechnen eines optischen Flusses basierend auf Bildinformationen innerhalb eines Fensters für ein Verarbeitungsziel unter Verwendung einer Vielzahl von Bildern, die zu unterschiedlichen Zeiten aufgenommen werden, umfasst eine Positionserfassungseinrichtung, die Positionsinformationen des Verarbeitungsziels erfasst, und eine Einstelleinrichtung, die eine Größe eines Fensters zum Berechnen eines optischen Flusses basierend auf den Positionsinformationen, die durch die Positionserfassungseinrichtung erfasst werden, einstellt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007-172554 [0003]
JP 2008-26999 [0003]

Claims

Bildverarbeitungsvorrichtung zum Berechnen eines optischen Flusses basierend auf Bildinformationen innerhalb eines Fensters für ein Verarbeitungsziel unter Verwendung einer Vielzahl von Bildern, die zu unterschiedlichen Zeiten aufgenommen werden, mit: einer Positionserfassungseinrichtung, die Positionsinformationen des Verarbeitungsziels erfasst; und einer Einstelleinrichtung, die eine Größe eines Fensters zum Berechnen eines optischen Flusses basierend auf den Positionsinformationen, die durch die Positionserfassungseinrichtung erfasst werden, einstellt.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Einstelleinrichtung die Fenstergröße erhöht, wenn ein seitlicher Positionsunterschied zwischen einer Bildaufnahmeposition und dem Verarbeitungsziel groß wird.
Bildverarbeitungsvorrichtung gemäß Anspruch 1 oder 2, wobei die Positionserfassungseinrichtung ein Radar ist, und das Verarbeitungsziel basierend auf einem Erkennungsergebnis des Radars einstellt.