DE112016007131T5

DE112016007131T5 - Objektdetektionseinrichtung und Objektbestimmungsverfahren

Info

Publication number: DE112016007131T5
Application number: DE112016007131.0T
Authority: DE
Inventors: Tomoya SAWADA; Hidetoshi Mishima; Hideaki Maehara; Yoshimi Moriya; Kazuyuki Miyazawa; Akira Minezawa; Momoyo Hino; Mengxiong Wang; Naohiro Shibuya
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-09-15
Filing date: 2016-09-15
Publication date: 2019-05-09
Anticipated expiration: 2036-09-16
Also published as: JP6230751B1; CN109690615A; DE112016007131B4; US10943141B2; JPWO2018051459A1; WO2018051459A1; US20190197345A1

Abstract

Eine Bildmerkmalsabbildungserzeugungseinheit (3) erzeugt auf der Grundlage von Merkmalsquantitäten, die aus einer Vielzahl von durch eine Kamera (109) nacheinander aufgenommenen Bildern extrahiert wurden, eine Bildmerkmalsabbildung, die eine geschätzte Verteilung von Objektwahrscheinlichkeit auf jedem der Bilder ist. Eine Objektdetektionseinheit (4) detektiert ein Objekt auf der Grundlage der durch die Bildmerkmalsabbildungserzeugungseinheit (3) erzeugten Bildmerkmalsabbildung.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Objektdetektionseinrichtung und ein Objektdetektionsverfahren zum Detektieren eines Objekts aus einem durch eine Kamera aufgenommenen Video.
HINTERGRUND ZUM STAND DER TECHNIK
Als eine Technik zum Detektieren eines Objekts aus einem durch eine Kamera aufgenommenen Video kann beispielsweise eine in Patentliteratur 1 beschriebene Objektdetektionseinrichtung genannt werden. In dieser Einrichtung werden optische Flüsse eines Bildschirms, wobei von einer Standardumgebung ausgegangen wird, in der kein Objekt vorhanden ist, erzeugt, sowie optische Flüsse auf der Grundlage von einem durch eine Kamera tatsächlich aufgenommenen Video erzeugt, und ein Objekt auf der Grundlage von Unterschieden zwischen den beiden detektiert.
Es ist darauf hinzuweisen, dass ein optischer Fluss eine Information ist, bei der der Bewegungsumfang des gleichen Objekts, der zwischen aufeinanderfolgenden, zu unterschiedlichen Zeiten aufgenommenen Einzelbildern zugeordnet ist, durch einen Vektor repräsentiert ist.
LISTE ZITIERTER SCHRIFTE
PATENTLITERATUR
Patentliteratur 1: JP 2007-334859 A
ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
In einem optischen Fluss, da die Anzahl der Pixel eines Objekts in einem aufgenommenen Bild abnimmt, je weiter sich das Objekt von der Kamera entfernt befindet, wird ein Absolutwert eines Vektors, der den Bewegungsumfang des Objekts repräsentiert, kleiner.
Wenn daher ein optischer Fluss verwendet wird, der auf Bildern eines Objekts basiert, das sich weit von der Kamera entfernt befindet, kann ein Unterschied zu einem optischen Fluss, der aus einem Bild erhalten wurde, in dem kein Objekt vorhanden ist, nicht genau erhalten werden, und das Objekt kann nicht mit hoher Genauigkeit detektiert werden. Das heißt, die in Patentliteratur 1 beschriebene Objektdetektionseinrichtung birgt das Problem, dass ein sich weit von der Kamera entfernt befindendes Objekt nicht genau detektiert werden kann.
Die Erfindung soll das oben genannte Problem lösen, und es ist eine Aufgabe der vorliegenden Erfindung, eine Objektdetektionseinrichtung und ein Objektdetektionsverfahren bereitzustellen, die in der Lage sind, ein Objekt innerhalb eines Bereichs in der Nähe einer Kamera bis zu einer entfernten Stelle genau zu detektieren.
LÖSUNG DES PROBLEMS
Eine Objektdetektionseinrichtung gemäß der vorliegenden Erfindung umfasst eine Bildmerkmalsabbildungserzeugungseinheit und eine Objektdetektionseinheit.
In dieser Konfiguration erzeugt die Bildmerkmalsabbildungserzeugungseinheit auf der Grundlage von Merkmalsquantitäten, die aus einer Vielzahl von durch eine Kamera nacheinander aufgenommen Bildern extrahiert wurden, eine Bildmerkmalsabbildung (Image Feature Map), die eine geschätzte Verteilung von Objektwahrscheinlichkeit auf jedem der Bilder repräsentiert. Die Objektdetektionseinheit detektiert ein Objekt auf der Grundlage der durch die Bildmerkmalsabbildungserzeugungseinheit erzeugten Bildmerkmalsabbildung.
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
Gemäß der vorliegenden Erfindung, da ein Objekt auf der Grundlage einer geschätzten Verteilung von Objektwahrscheinlichkeit in einem Bild detektiert wird, kann ein Objekt innerhalb eines Bereichs in der Nähe der Kamera bis zu einer entfernten Stelle genau detektiert werden, wobei der Bereich durch die Kamera aufgenommen wird.
Figurenliste

1 ist ein Blockdiagramm, das eine funktionelle Konfiguration einer Objektdetektionseinrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung darstellt.
2 ist ein Blockdiagramm, das eine Hardwarekonfiguration der Objektdetektionseinrichtung gemäß der ersten Ausführungsform darstellt.
3 ist ein Flussdiagramm, das den Betrieb der Objektdetektionseinrichtung gemäß der ersten Ausführungsform darstellt.
4 ist ein Flussdiagramm, das ein bestimmtes Beispiel für die Verarbeitung in den Schritten ST4 und ST5 in 3 darstellt.
5 ist ein Flussdiagramm, das die Erzeugungsverarbeitung einer Salienzabbildung darstellt.
6 ist ein Blockdiagramm, das eine funktionelle Konfiguration einer Objektdetektionseinrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung darstellt.
7 ist ein Blockdiagramm, das eine Hardwarekonfiguration der Objektdetektionseinrichtung gemäß der zweiten Ausführungsform darstellt.
8 ist ein Flussdiagramm, das den Betrieb der Objektdetektionseinrichtung gemäß der zweiten Ausführungsform darstellt.
9 ist ein Flussdiagramm, das ein bestimmtes Beispiel für die Verarbeitung in den Schritten ST5c und ST7c in 8 darstellt.
10 ist ein Diagramm, das eine Beziehung zwischen dem Abstand von einem Fahrzeug zu einem sich bewegenden Körper und der Zufallsrate darstellt.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Um die vorliegende Erfindung näher zu beschreiben, werden im Folgenden Ausführungsformen für die Umsetzung der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Erste Ausführungsform
1 ist ein Blockdiagramm, das eine funktionelle Konfiguration einer Objektdetektionseinrichtung 1 gemäß einer ersten Ausführungsform der vorliegenden Erfindung darstellt. Die Objektdetektionseinrichtung 1 detektiert ein Objekt aus einem durch eine Kamera aufgenommenen Video. Ein zu detektierendes Objekt kann ein sich bewegender Körper, wie eine Person oder ein Fahrzeug oder ein stationärer Gegenstand, wie ein Schild, sein.
Wie in 1 dargestellt, umfasst die Objektdetektionseinrichtung 1 eine Videoaufnahmeeinheit 2, eine Bildmerkmalsabbildungserzeugungseinheit 3, eine Objektdetektionseinheit 4 und eine Objekterkennungseinheit 5.
Die Videoaufnahmeeinheit 2 erwirbt durch die Kamera aufgenommene Videodaten. Die Videodaten sind eine Bildsequenz aus einer Vielzahl von durch die Kamera nacheinander aufgenommenen Bildern, wobei einzelne Bilder, die in einer Zeitfolge angeordnet sind, Einzelbilder (Frame Images) sind.
Es ist zu beachten, dass die Kamera eine fixierte Kamera sein kann, die fest an einer vorherbestimmten Position angebracht ist, oder eine Kamera sein kann, die an einem sich bewegenden Körper, wie beispielsweise einem Fahrzeug, montiert ist.
Die Bildmerkmalsabbildungserzeugungseinheit 3 erzeugt Bildmerkmalsabbildungen auf der Grundlage von Merkmalsquantiäten, die aus den durch die Kamera aufgenommenen Videodaten extrahiert wurden. Eine Bildmerkmalsabbildung ist eine Abbildung, die eine geschätzte Verteilung von Objektwahrscheinlichkeit auf einem Bild darstellt. Die Objektwahrscheinlichkeit bedeutet z.B. den Grad eines Objekts oder eines Ziels von einem bestimmten Typ zu sein.
So erzeugt beispielsweise die Bildmerkmalsabbildungserzeugungseinheit 3 eine Bildpyramide mit einer Vielzahl von Bildern mit unterschiedlichen Bildgrößen, die durch graduelles Verkleinern eines Einzelbildes erhalten werden. Anschließend extrahiert die Bildmerkmalsabbildungserzeugungseinheit 3 aus jedem der Bilder in der Bildpyramide die Merkmalsquantitäten der jeweiligen Bildmerkmale auf dem entsprechenden Bild und bildet die extrahierten Merkmalsquantitäten auf ein zweidimensionales Koordinatensystem ab. Diese Abbildung ist eine Bildmerkmalsabbildung, die eine geschätzte Verteilung von Objektwahrscheinlichkeit im entsprechenden Bild darstellt.
Die Objektdetektionseinheit 4 detektiert ein Objekt auf der Grundlage der durch die Bildmerkmalsabbildungserzeugungseinheit 3 erzeugten Bildmerkmalsabbildung. So detektiert beispielsweise die Objektdetektionseinheit 4 ein Objekt auf dem Bild unter Verwendung der Bildmerkmalsabbildung. Die Objekterkennungseinheit 5 erkennt das durch die Objektdetektionseinheit 4 detektierte Objekt. So erkennt beispielsweise die Objekterkennungseinheit 5 ein Attribut des Objekts auf der Grundlage der Form oder dergleichen des durch die Objektdetektionseinheit 4 detektierten Objekts.
Obwohl in 1 der Fall beschrieben ist, in dem die Objektdetektionseinrichtung 1 die Videoaufnahmeeinheit 2 umfasst, kann die Videoaufnahmeeinheit 2 in der Kamera selbst enthalten sein.
Darüber hinaus kann die Objekterkennungseinheit 5 nicht in der Objektdetektionseinrichtung 1, sondern in einer externen Einrichtung enthalten sein, die nachfolgend mit der Objektdetektionseinrichtung 1 verbunden ist.
Das heißt, die Objektdetektionseinrichtung 1 muss nur zumindest die Bildmerkmalsabbildungserzeugungseinheit 3 und die Objektdetektionseinheit 4 enthalten.
2 ist ein Blockdiagramm, das eine Hardwarekonfiguration der Objektdetektionseinrichtung 1 darstellt. In 2 erfasst die in 1 dargestellte Videoaufnahmeeinheit 2 eine durch eine Kamera 109 aufgenommene Bildsequenz über eine Kameraschnittstelle 106 und speichert die Bildsequenz in einem Daten-Nur-Lese-Speicher (ROM) 101. Die in 1 dargestellte Bildmerkmalsabbildungserzeugungseinheit 3 erzeugt Bildmerkmalsabbildungen unter Verwendung der im Daten-ROM 101 gespeicherten Bildsequenz und speichert die erzeugten Bildmerkmalsabbildungen in einem Direktzugriffsspeicher (RAM) 103.
Die in 1 dargestellte Objektdetektionseinheit 4 detektiert ein Objekt unter Verwendung einer geschätzten Verteilung, die jedem der Vielzahl von Bildern mit unterschiedlichen Bildgrößen entspricht, die im RAM 103 gespeichert sind. Das Detektionsergebnis des Objekts ist über eine Festplattensteuerung 104 in einem externen Speicher 107 gespeichert oder über eine Anzeigesteuerung 105 auf einer Anzeigeeinrichtung 108 angezeigt.
Darüber hinaus erkennt die in 1 dargestellte Objekterkennungseinheit 5 ein Attribut des durch die Objektdetektionseinheit 4 detektierten Objekts. Ein Attribut eines Objekts enthält beispielsweise einen Typ, wie ein Fahrzeug, eine Person oder ein Zweirad.
Es ist darauf hinzuweisen, dass das Erkennungsergebnis des Objekts entweder im externen Speicher 107 über die Festplattensteuerung 104 gespeichert oder auf der Anzeigeeinrichtung 108 über die Anzeigesteuerung 105 angezeigt wird.
Es ist darauf hinzuweisen, dass die Festplattensteuerung 104, die Anzeigesteuerung 105, die Kameraschnittstelle 106, der externe Speicher 107, die Anzeigeeinrichtung 108 und die Kamera 109 nicht in der Objektdetektionseinrichtung 1 enthalten sein können. Das heißt, diese Einrichtungen können getrennt von der Objektdetektionseinrichtung 1 bereitgestellt und in eine externe Einrichtung integriert sein, die Daten von der bzw. an die Objektdetektionseinrichtung 1 empfangen bzw. ausgeben kann.
Es ist darauf hinzuweisen, dass die Funktionen der Bildmerkmalsabbildungserzeugungseinheit 3 und der Objektdetektionseinheit 4 in der Objektdetektionseinrichtung 1 durch eine Verarbeitungsschaltung implementiert sind. Das heißt, die Objektdetektionseinrichtung 1 enthält eine Verarbeitungsschaltung zum Erzeugen von Bildmerkmalsabbildungen auf der Grundlage von Merkmalsquantitäten, die aus einer Vielzahl von durch die Kamera nacheinander aufgenommen Bildern extrahiert wurden, und zum Detektieren eines Objekts auf der Grundlage der Bildmerkmalsabbildungen. Die Verarbeitungsschaltung kann eine dedizierte Hardware oder eine zentrale Verarbeitungseinheit (CPU) 100 sein, die ein in einem Programm-ROM 102 gespeichertes Programm ausführt.
In dem Fall, wo die Verarbeitungsschaltung die Hardware ist, entspricht die Verarbeitungsschaltung beispielsweise einer Einzelschaltung, einer Verbundschaltung, einem programmierten Prozessor, einem parallel programmierten Prozessor, einer anwendungsspezifischen integrierten Schaltung (AISC), einer feldprogrammierbaren Gateanordnung (FPGA) oder einer Kombination derselben.
Darüber hinaus kann jede der Funktionen der Bildmerkmalsabbildungserzeugungseinheit 3 und der Objektdetektionseinheit 4 durch eine Verarbeitungsschaltung implementiert sein, oder die Funktionen durch eine einzelne Verarbeitungsschaltung in integrierter Weise implementiert sein.
In dem Fall, wo die Verarbeitungsschaltung die CPU 100 ist, sind die Funktionen der Bildmerkmalsabbildungserzeugungseinheit 3 und der Objektdetektionseinheit 4 durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Die Software und die Firmware sind als Programme beschrieben und im Programm-ROM 102 gespeichert. Die CPU 100 liest und führt die im Programm-ROM 102 gespeicherten Programme aus und implementiert damit die Funktionen.
Das heißt, die Objektdetektionseinrichtung 1 enthält einen Speicher zum Speichern von Programmen, die bei Ausführung durch die Verarbeitungsschaltung zur Ausführung des Schrittes des Erzeugens einer Bildmerkmalsabbildung und des Schrittes des Detektierens eines Objekts auf der Grundlage der Bildmerkmalsabbildung führen.
Diese Programme veranlassen außerdem einen Computer, einen Vorgang oder ein Verfahren für jede von der Bildmerkmalsabbildungserzeugungseinheit 3 und der Objektdetektionseinheit 4 auszuführen.
Der Speicher kann beispielsweise einen nichtflüchtigen oder flüchtigen Halbleiterspeicher, wie ein RAM, ein ROM, einen Flash-Speicher, ein löschbares programmierbares ROM (EPROM) oder ein elektrisches EPROM (EEPROM), eine Magnetplatte, eine flexible Platte, eine optische Platte, eine Compactdisc, eine Minidisk oder eine Digital-Versatile-Disk (DVD) enthalten.
Darüber hinaus können einige der Funktionen der Bildmerkmalsabbildungserzeugungseinheit 3 und der Objektdetektionseinheit 4 durch eine dedizierte Hardware implementiert sein, und die anderen durch eine Software oder Firmware implementiert sein.
So ist beispielsweise die Funktion der Bildmerkmalsabbildungserzeugungseinheit 3 durch eine Dedizierte-Hardware-Verarbeitungsschaltung implementiert, während die Funktion der Objektdetektionseinheit 4 durch Ausführung der im Programm-ROM 102 gespeicherten Programme durch die CPU 100 implementiert wird.
Auf diese Weise kann die Verarbeitungsschaltung die vorstehend beschriebenen Funktionen durch eine Hardware, Software, Firmware oder eine Kombination derselben implementieren.
Als nächstes wird der Betrieb beschrieben.
3 ist ein Flussdiagramm, das den Betrieb der Objektdetektionseinrichtung 1 und eine Reihe von Prozessen, bis ein Objekt detektiert wird, darstellt.
Die Videoaufnahmeeinheit 2 ruft die durch die Kamera 109 aufgenommenen Videodaten (Schritt ST1) ab. Falls die Aufnahme durch die Kamera 109 beendet ist (Schritt ST2: JA), wird die in 3 dargestellte Reihe von Prozessen beendet. Das heißt, das Abrufen von Videodaten durch die Videoaufnahmeeinheit 2 wird fortgesetzt, bis die Aufnahme durch die Kamera 109 abgeschlossen ist. Beispielsweise in dem Fall, wenn die Objektdetektionseinrichtung 1 eine Fahrzeugdetektionseinrichtung unter Verwendung einer fahrzeuginternen Kamera ist, wird die Aufnahme der Außenseite des Fahrzeugs durch die fahrzeuginterne Kamera während der Fahrt des Fahrzeugs fortgesetzt.
Wenn die Aufnahme durch die Kamera 109 nicht beendet ist (Schritt ST2: NEIN), empfängt die Bildmerkmalsabbildungserzeugungseinheit 3 eine durch die Videoaufnahmeeinheit 2 abgerufene Bildsequenz und verkleinert ein Einzelbild in der Bildsequenz graduell, um eine Bildpyramide zu erzeugen (Schritt ST3). Die Verarbeitung von Schritt ST3 wird so oft wiederholt, wie die Anzahl der Einzelbilder in der Bildsequenz.
Als nächstes extrahiert die Bildmerkmalsabbildungserzeugungseinheit 3 Merkmalsquantitäten aus jedem der Vielzahl von Bildern mit unterschiedlichen Bildgrößen in der Bildpyramide und erzeugt eine Bildmerkmalsabbildung für jedes der Bilder (Schritt ST4). Die Verarbeitung von Schritt ST4 wird so oft wiederholt, wie die Anzahl der Bildpyramiden.
Die Objektdetektionseinheit 4 integriert die für die jeweiligen Bilder erhaltenen Bildmerkmalsabbildungen in die Bildpyramide als ein Schätzungsergebnis für ein Einzelbild und detektiert ein Objekt anhand eines Ergebnisses der Integration (Schritt ST5). Das Detektionsergebnis eines auf diese Weise erhaltenen Objekts wird von der Objektdetektionseinheit 4 an die Objekterkennungseinheit 5 ausgegeben, und die Objekterkennungseinheit 5 erkennt ein Attribut oder dergleichen des Objekts.
Nachfolgend wird die Detektion eines Objekts auf der Grundlage von einer Bildmerkmalsabbildung ausführlich beschrieben. 4 ist ein Flussdiagramm, das ein bestimmtes Beispiel für die Verarbeitung in den Schritten ST4 und ST5 in 3 darstellt.
Zunächst erfasst die Bildmerkmalsabbildungserzeugungseinheit 3 ein Einzelbild in der durch die Videoaufnahmeeinheit 2 (Schritt ST1a) abgerufenen Bildsequenz und erwirbt das gleiche Einzelbild aus der Bildsequenz und invertiert das Einzelbild (Schritt ST2a). Invertieren bedeutet hier, die Helligkeit im Einzelbild zu invertieren. Das heißt, ein dunkler Teil des Bildes wird in einen hellen Teil invertiert, und ein heller Teil wird in einen dunklen Teil invertiert.
Als nächstes erzeugt die Bildmerkmalsabbildungserzeugungseinheit 3 eine Bildpyramide durch graduelles Verkleinern des erworbenen Einzelbildes und erzeugt ferner eine Bildpyramide durch graduelles Verkleinern des invertierten Einzelbildes. Anschließend erzeugt die Bildmerkmalsabbildungserzeugungseinheit 3 aus der Bildpyramide des nicht invertierten Einzelbildes eine Salienzabbildung (Schritt ST3a) und erzeugt aus der Bildpyramide des invertierten Einzelbildes eine Salienzabbildung (Schritt ST4a).
Hier ist eine Salienzabbildung eine Abbildung, die einen salienten Bereich darstellt, der sich von seinem Umgebungsberiech auf einem Bild unterscheidet. Der obige Umgebungsbereich ist ein Bereich, für den es wahrscheinlich ist, von Menschen auf dem Bild betrachtet zu werden, auf der Grundlage eines visuellen Modells von Menschen. Hier entspricht der saliente Bereich der geschätzten Verteilung von Objektwahrscheinlichkeit, und die Salienzabbildung ist ein konkretes Beispiel für die Bildmerkmalsabbildung.
Als nächstes integriert die Objektdetektionseinheit 4 für die jeweiligen Bilder erhaltene Salienzabbildungen in die Bildpyramide als ein Schätzungsergebnis zu einem Einzelbild. Diese Verarbeitung wird sowohl auf die aus der Bildpyramide für das nicht invertierte Einzelbild erhaltenen Salienzabbildungen als auch auf die aus der Bildpyramide für das invertierte Einzelbild erhaltenen Salienzabbildungen, die weiter integriert werden, durchgeführt.
Anschließend vergleicht die Objektdetektionseinheit 4 Bildmerkmale der Salienzabbildung mit einem Schwellenwert in Bezug auf ein Bildmerkmal, um zu bestimmen, ob es einen Bereich mit einer Merkmalsquantität gibt, die größer ist als der Schwellenwert (Schritt ST5a).
Falls es hier keinen Bereich mit einer Merkmalsquantität gibt, die größer ist als der Schwellenwert in der Salienzabbildung (Schritt ST5a: NEIN), wird bestimmt, dass kein Objekt detektiert wurde, und die Verarbeitung wird abgebrochen.
Falls es hier einen Bereich gibt, dessen Merkmalquantität größer ist als der Schwellenwert in der Salienzabbildung (Schritt ST5a: JA), detektiert die Objektdetektionseinheit 4 diesen Bereich als einen Bereich mit einem darin befindlichen Detektionszielobjekt (Schritt ST6a). Danach gruppiert die Objektdetektionseinheit 4 die auf die vorstehende Weise extrahierten Bereiche und gibt sie an die Objekterkennungseinheit 5 als einen Detektionsbereich des Objekts aus.
Nachfolgend wird die vorgenannte Erzeugungsverarbeitung der Salienzabbildung ausführlich beschrieben.
5 ist ein Flussdiagramm, das die Erzeugungsverarbeitung einer Salienzabbildung darstellt.
Zunächst konvertiert die Bildmerkmalsabbildungserzeugungseinheit 3 ein zu verarbeitendes Bild in einen virtuellen Raum, der durch Approximation der Wahrnehmungsebenen von Farben durch den Menschen gestaltet wird (Schritt ST1b).
Anschließend berechnet die Bildmerkmalsabbildungserzeugungseinheit 3 eine Durchschnittsfarbe des in den virtuellen Raum konvertierten Bildes (Schritt ST2b). Diese Durchschnittsfarbe ist eine repräsentative Farbe dieses Bildes.
Als nächstes wendet die Bildmerkmalsabbildungserzeugungseinheit 3 eine Differenz des Gauss-(DoG)-Filters auf das in den virtuellen Raum konvertierte Bild an (Schritt ST3b). Infolgedessen werden Gauss-Filter mit unterschiedlichen Skalierungen im DoG-Filter auf jeden Pixelwert des Bildes angewendet und Unterschiede zwischen diesen erhalten.
Beim menschlichen Wahrnehmungssystem ist bekannt, dass Netzhautzellen Lichtintensität und Richtcharakteristiken aus der Differenz zwischen dem Zentrum und ihrer Umgebung wahrnehmen. Das DoG-Filter imitiert eine solche Funktionsweise von Netzhautzellen durch Bildverarbeitung.
Von den Gauss-Filtern im DoG-Filter führen die Anwendung eines mit kleinerer Skalierung zu einem Bild mit hoher Auflösung, und die Anwendung eines mit größerer Skalierung zu einem verschwommenen Bild mit niedriger Auflösung. Die Verwendung von Unterschieden in entsprechenden Pixelwerten zwischen beiden Bildern bedeutet, Unterschiede in den Pixelwerten zwischen einem interessierenden Pixel und seinen umgebenden Pixeln zu nutzen, was es ermöglicht, ein Bild mit einer größeren Änderung im Vergleich zu den umgebenden Pixeln zu erhalten.
Anschließend berechnet die Bildmerkmalsabbildungserzeugungseinheit 3 eine Differenz zwischen der Farbe des Bildes, auf das das DoG-Filter angewendet wird, und der in Schritt ST2b berechneten Durchschnittsfarbe (Schritt ST4b). Dadurch bleibt ein salienter Bereich mit einer großen Abweichungsbandbreite von der Durchschnittsfarbe übrig, wodurch die repräsentative Farbe des peripheren Bereichs dieses Bereichs entfernt werden kann. Auf diese Weise erhält man in Schritt ST4b einen salienten Gesamtteil für das Gesamtbild.
Es ist zu beachten, dass es ausreicht, Bilder mit unterschiedlichen Auflösungen bei der oben beschriebenen Verarbeitung des DoG-Filters zu erhalten, und es somit nicht nur auf das Gauss-Filter beschränkt außerdem möglich ist, die Verarbeitung der Größenänderung eines Bildes auf Bilder unterschiedlicher Größe durchzuführen und sie dann als Bilder mit der Originalgröße wiederherzustellen.
Anschließend wendet die Bildmerkmalsabbildungserzeugungseinheit 3 ein adaptives Binarisierungsfilter auf das in Schritt ST4b verarbeitete Bild an (Schritt ST5b). Durch das adaptive Binarisierungsfilter wird nicht das gesamte Bild unter Verwendung eines Schwellenwerts binarisiert, sondern unter Verwendung eines für jedes der Pixel im Bild bestimmten Schwellenwerts ein entsprechendes der Pixel gefiltert. Dadurch wird jedes der Pixel im Bild mit dem entsprechenden Schwellenwert für jedes der Pixel verglichen und ein Pixel, dessen Pixelwert größer als der entsprechende Schwellenwert ist, extrahiert.
Es ist zu beachten, dass der Schwellenwert für jeden Pixel auf der Grundlage von Helligkeitsinformationen in der Umgebung des Zielpixels bestimmt wird. Wenn die Umgebung des Zielpixels hell ist, wird ein hoher Schwellenwert eingestellt, und wenn die Umgebung des Zielpixels dunkel ist, wird ein niedriger Schwellenwert eingestellt.
Als nächstes wendet die Bildmerkmalsabbildungserzeugungseinheit 3 ein Gauss-Filter auf eine Gruppe salienter Pixel an, die in Schritt ST5b extrahiert wurden, wodurch ein Bereich der Gruppe salienter Pixel als eine Abbildung erhalten wird (Schritt ST6b). Anschließend binarisiert die Bildmerkmalsabbildungserzeugungseinheit 3 die Abbildung (Schritt ST7b). Die Objektdetektionseinheit 4 detektiert ein Objekt auf der Grundlage der auf diese Weise binarisierten Abbildung.
Es ist zu beachten, dass in Schritt ST5b mehrere lokal saliente Pixel erhalten werden durch Eingrenzen des in Schritt ST4b erhaltenen salienten Teils. Dies ermöglicht die Identifizierung einer Randkomponente, die gegenüber einer lokalen Helligkeitsänderung, die in Pixeln enthalten ist, robust ist und ein anderes Muster aufweist als die der Umgebung. Da in 4 außerdem das in Schritt ST1a nicht invertierte Bild sowie das in Schritt ST2a invertierte Bild verwendet werden, ist es möglich, auf ähnliche Weise einen dunklen salienten Punkt in dem Fall, wenn der Umgebungsbereich des interessierenden Pixels hell ist sowie einen hellen salienten Punkt in dem Fall, wenn der Umgebungsbereich des interessierenden Pixels dunkel ist, zu extrahieren.
Wie vorstehend beschrieben, enthält die Objektdetektionseinrichtung 1 gemäß der ersten Ausführungsform die Bildmerkmalsabbildungserzeugungseinheit 3 und die Objektdetektionseinheit 4. In dieser Konfiguration erzeugt die Bildmerkmalsabbildungserzeugungseinheit 3 auf der Grundlage von Merkmalsquantitäten, die aus einer Vielzahl von durch eine Kamera 109 nacheinander aufgenommenen Bildern extrahiert wurden, eine Bildmerkmalsabbildung, die eine geschätzte Verteilung von Objektwahrscheinlichkeit auf jedem der Bilder repräsentiert. Die Objektdetektionseinheit 4 detektiert ein Objekt auf der Grundlage der durch die Bildmerkmalsabbildungserzeugungseinheit 3 erzeugten Bildmerkmalsabbildung.
Da das Objekt auf der Grundlage der geschätzten Verteilung von Objektwahrscheinlichkeit auf dem entsprechenden Bild detektiert wird, kann das Objekt mit dieser Konfiguration innerhalb eines Bereichs in der Nähe der Kamera 109 bis zu einer entfernten Stelle genau detektiert werden, wobei der Bereich durch die Kamera 109 aufgenommen wird.
Da die Objektdetektionseinrichtung 1 einen Bereich eines Objekts, der für das menschliche Auge in einem Bild wahrnehmbar ist, detektiert, ist sie beispielsweise bei der Detektion von Zeichen, Personen, Störungen oder Fahrzeugen effektiv.
In vielen Fällen werden Zeichen auf Schildern in einer anderen Farbe als der des Hintergrundteils geschrieben, um die Sichtbarkeit zu verbessern. Daher wird der Zeichenteil durch die Objektdetektionseinrichtung 1 als ein salienter Bereich, der sich vom Hintergrundteil unterscheidet, leicht detektiert.
Darüber hinaus detektiert die Objektdetektionseinrichtung 1 kein Muster (Textur) des Hintergrundes, sondern detektiert einen salienten Bereich, der sich von der Umgebung unterscheidet. Daher wird bei der Detektion von Personen, sofern sich die Kleidung einer Person nicht mit dem Hintergrund vermischt, die Kleidung der Person als ein salienter Bereich, der sich vom Hintergrund unterscheidet, detektiert.
Darüber hinaus ist es beispielsweise durch Verwendung der Objektdetektionseinrichtung 1 möglich, Teile auf einem Förderband in einer Fabrik zu detektieren, um die Anzahl der Teile zu messen und die Formungsergebnisse der Teile von Formen der durch die Objekterkennungseinheit 5 erkannten Teilen zu unterscheiden.
Im Falle des Detektierens von Rissen oder dergleichen einer Struktur wird im verwandten Stand der Technik auch eine Reparaturmarkierung der Struktur oder des Originalmusters oder dergleichen der Struktur detektiert, so dass eine Verarbeitung zur Unterscheidung dieser von Rissen erforderlich ist.
Im Gegensatz dazu können in der Objektdetektionseinrichtung 1, da ein im Hintergrund enthaltenes Muster nicht detektiert wird, Risse einer Struktur leicht detektiert werden.
Darüber hinaus ist die Objektdetektionseinrichtung 1 in der Lage, andere Fahrzeuge auf der Grundlage von Videodaten einer fahrzeugmontierten Kamera, wie beispielsweise einer in einem Fahrtenschreiber verwendeten Kamera, zu detektieren. In diesem Fall wird ein Bereich eines Objekts mit einer Farbe und einer Form, die sich von denen des Hintergrundbereichs im Bild unterscheidet, als Bereich eines Fahrzeugs detektiert.
Zweite Ausführungsform
6 ist ein Blockdiagramm, das eine funktionelle Konfiguration einer Objektdetektionseinrichtung 1A gemäß einer zweiten Ausführungsform der vorliegenden Erfindung darstellt. In 6 sind die gleichen Komponenten wie in 1 mit den gleichen Symbolen gekennzeichnet und ihre Beschreibung entfällt.
In der Objektdetektionseinrichtung 1A werden die Objektdetektion auf der Grundlage von optischen Flüssen und die Objektdetektion auf der Grundlage von einer Bildmerkmalsabbildung in Abhängigkeit von der Zuverlässigkeit der optischen Flüsse durchgeführt.
Wie in 6 dargestellt, enthält die Objektdetektionseinrichtung 1A eine Videoaufnahmeeinheit 2, eine Bildmerkmalsabbildungserzeugungseinheit 3, eine Objektdetektionseinheit 4A, eine Objekterkennungseinheit 5, eine Optischer-Fluss-Berechnungseinheit 6, eine Zuverlässigkeitsberechnungseinheit 7 und eine Rauschentfernungseinheit 8.
Die Optischer-Fluss-Berechnungseinheit 6 berechnet optische Flüsse zwischen Einzelbildern von durch eine Kamera aufgenommen Videodaten.
Ein optischer Fluss ist eine Information, bei der der Bewegungsumfang des gleichen Objekts, das zwischen Einzelbildern zugeordnet ist, durch einen Vektor repräsentiert ist, der für jedes Pixel berechnet wird.
Es ist zu beachten, dass in optischen Flüssen nicht nur Bewegungsinformationen in Zeitrichtung eines Objekts, sondern auch räumliche Kontinuität berücksichtigt werden, was eine Vektor-Notation ermöglicht, die die Form des Objekts als ein Merkmal widergibt.
Die Zuverlässigkeitsberechnungseinheit 7 berechnet die Zuverlässigkeit der optischen Flüsse. So wird beispielsweise die Größe eines Vektors, der den Bewegungsumfang des Objekts zwischen den Einzelbildern angibt, d.h. ein Skalarwert als Zuverlässigkeit berechnet. Ein Objekt, das sich von der Kamera weit entfernt befindet, hat einen kleineren Skalarwert, da eine scheinbare Bewegung auf einem durch die Kamera aufgenommenen Bild klein ist.
Die Rauschentfernungseinheit 8 entfernt optische Flüsse in einer Richtung entlang einer Bewegungsrichtung der Kamera aus den optischen Flüssen als Störung. So sind beispielsweise in einem Fall, in dem eine Kamera an einem Fahrzeug montiert ist, die aus den durch die Kamera aufgenommenen Bildern erhaltenen optischen Flüsse überwiegend solche, die in einer Fahrtrichtung des Fahrzeugs beobachtet werden. Die optischen Flüsse in dieser Richtung sind im Hintergrundbereich des Objekts enthalten, und optische Flüsse in einer Richtung, die dieser Richtung nicht entspricht, können als im Vordergrund enthalten betrachtet werden, d.h. in einem Bereich, in dem das Objekt vorhanden ist. Daher entfernt die Rauschentfernungseinheit 8 die in diesem Hintergrundbereich enthaltenen optischen Flüsse.
Die Objektdetektionseinheit 4A führt Objektdetektion auf der Grundlage von optischen Flüssen und Objektdetektion auf der Grundlage von einer Bildmerkmalsabbildung in Abhängigkeit von der Zuverlässigkeit der optischen Flüsse durch. So führt beispielsweise die Objektdetektionseinheit 4A aus Bereichen auf einem durch die Kamera aufgenommenen Bild Objektdetektion auf der Grundlage von optischen Flüssen in einem Bereich, in dem die Skalarwerte der optischen Flüsse höher als ein Schwellenwert sind, und in einem Bereich, in dem die Skalarwerte kleiner oder gleich dem Schwellenwert sind, durch, und führt Objektdetektion auf der Grundlage von einer Bildmerkmalsabbildung durch.
Es ist zu beachten, dass, wie bereits beschrieben, die Objektdetektion auf der Grundlage optischer Flüsse dazu dient, ein Objekt auf der Grundlage von Unterschieden zwischen optischen Flüssen eines Bildschirms, von dem in einer Standardumgebung ausgegangen wird, in der kein Objekt vorhanden ist, und optischen Flüssen auf der Grundlage eines durch die Kamera tatsächlich aufgenommenen Videos zu detektieren.
Die Objektdetektion auf der Grundlage von einer Bildmerkmalsabbildung erfolgt wie in der ersten Ausführungsform beschrieben.
Obwohl in 6 der Fall beschrieben wurde, dass die Objektdetektionseinrichtung 1A in der Videoaufnahmeeinheit 2 enthalten ist, kann die Videoaufnahmeeinheit 2 in der Kamera selbst integriert sein.
Darüber hinaus kann die Objekterkennungseinheit 5 nicht in der Objektdetektionseinrichtung 1A, sondern in einer externen Einrichtung enthalten sein, die anschließend mit der Objektdetektionseinrichtung 1A verbunden ist.
Darüber hinaus kann die Rauschentfernungseinheit 8 eine der Funktionen der Objektdetektionseinheit 4A sein.
Das heißt, die Objektdetektionseinrichtung 1A muss nur zumindest die Bildmerkmalsabbildungserzeugungseinheit 3, die Objektdetektionseinheit 4A, die Optischer-Fluss-Berechnungseinheit 6 und die Zuverlässigkeitsberechnungseinheit 7 enthalten.
7 ist ein Blockdiagramm, das eine Hardwarekonfiguration der Objektdetektionseinrichtung 1A darstellt.
In 7 ruft die in 6 dargestellte Videoaufnahmeeinheit 2 eine durch eine Kamera 209 über eine Kameraschnittstelle 206 aufgenommene Bildsequenz ab und speichert die Bildsequenz in einem Daten-ROM 201.
Die in 6 dargestellte Optischer-Fluss-Berechnungseinheit 6 entwickelt die im Daten-ROM 201 gespeicherte Bildsequenz in einem RAM 203 und berechnet einen Bewegungsvektor eines Objekts zwischen den Einzelbildern für jeden Pixel. Die in 6 dargestellte Zuverlässigkeitsberechnungseinheit 7 berechnet einen Absolutwert (Skalarwert) des Vektors, der ein im RAM 203 entwickelter optischer Fluss ist.
Für jedes der im RAM 203 entwickelten Bilder entfernt die in 6 dargestellte Rauschentfernungseinheit 8 optische Flüsse, die im Hintergrundbereich enthalten sind, und hält optische Flüsse, die in einem Bereich eines Objekts enthalten sind, das im RAM 203 im Vordergrund steht. Es ist zu beachten, dass im RAM 203 eine Vielzahl von optischen Flüssen, die im Bereich des Objekts enthalten sind, in einer Zeitreihe gehalten werden, so dass sichergestellt ist, dass die Richtung der optischen Flüsse stabil ist.
Die in 6 dargestellte Bildmerkmalsabbildungserzeugungseinheit 3 erzeugt Bildmerkmalsabbildungen unter Verwendung der im Daten-ROM 201 gespeicherten Bildsequenz und speichert die erzeugten Bildmerkmalsabbildungen im RAM 203.
Die in 6 dargestellte Objektdetektionseinheit 4A führt Objektdetektion auf der Grundlage von den im RAM 203 gespeicherten optischen Flüssen und Objektdetektion auf der Grundlage von den Bildmerkmalsabbildungen durch.
Darüber hinaus erkennt die in 6 dargestellte Objekterkennungseinheit 5 ein Attribut eines durch die Objektdetektionseinheit 4A detektierten Objekts. Ein Attribut eines Objekts enthält beispielsweise einen Typ, wie ein Fahrzeug, eine Person oder ein Zweirad.
Es ist zu beachten, dass das Detektionsergebnis des Objekts entweder in einem externen Speicher 207 über eine Festplattensteuerung 204 gespeichert oder auf einer Anzeigeeinrichtung 208 über eine Anzeigesteuerung 205 angezeigt wird.
Das Detektionsergebnis des Objekts durch die Objektdetektionseinheit 4A und das Erkennungsergebnis des Objekts durch die Objekterkennungseinheit 5 werden an eine Farhzeugkarosseriesteuereinheit 210 ausgegeben. Hier ist die Fahrzeugkarosseriesteuereinheit 210 eine nach der Objekterkennungseinheit 5 in 6 vorgesehene Einrichtung und steuert eine Bremse 211 und eine Lenkung 212.
Wenn beispielsweise eine Kollision zwischen dem durch die Objektdetektionseinrichtung 1A erfassten Objekt und dem Fahrzeug vermieden wird, steuert die Fahrzeugkarosseriesteuereinheit 210 die Bremse 211 und die Lenkung 212, um einen Fahrbetrieb zum Vermeiden der Kollision durchzuführen. Darüber hinaus bestimmt die Fahrzeugkarosseriesteuereinheit 210 aus dem Attribut des von der Objekterkennungseinheit 5 erkannten Objekts das optimale Fahrverhalten in Bezug auf das Objekt und das Fahrzeug und steuert die Bremse 211 und die Lenkung 212, um das Fahrverhalten auszuführen.
Es ist zu beachten, dass die Festplattensteuerung 204, die Anzeigesteuerung 205, die Kameraschnittstelle 206, der externe Speicher 207, die Anzeigeeinrichtung 208 und die Kamera 209 möglicherweise nicht in die Objektdetektionseinrichtung 1A integriert sein können. Das heißt, diese Einrichtungen können getrennt von der Objektdetektionseinrichtung 1A bereitgestellt und in einer externen Einrichtung integriert sein, die Daten von der bzw. an die Objektdetektionseinrichtung 1A empfangen und ausgeben kann.
Es ist zu beachten, dass die Funktionen der Bildmerkmalsabbildungserzeugungseinheit 3, der Objektdetektionseinheit 4A, der Optischer-Fluss-Berechnungseinheit 6 und der Zuverlässigkeitsberechnungseinheit 7 in der Objektdetektionseinrichtung 1A durch eine Verarbeitungsschaltung implementiert sind.
Das heißt, die Objektdetektionseinrichtung 1A enthält eine Verarbeitungsschaltung zum Durchführen von Operationen mit den oben beschriebenen Funktionen. Die Verarbeitungsschaltung kann eine dedizierte Hardware oder eine CPU 200 sein, die ein in einem Programm-ROM 202 gespeichertes Programm ausführt.
In dem Fall, wenn es sich bei der Verarbeitungsschaltung um eine Hardware handelt, entspricht die Verarbeitungsschaltung beispielsweise einer Einzelschaltung, einer Verbundschaltung, einem programmierten Prozessor, einem parallel programmierten Prozessor, einem AISC, einem FPGA oder einer Kombination derselben.
Darüber hinaus kann jede der Funktionen der Bildmerkmalsabbildungserzeugungseinheit 3, der Objektdetektionseinheit 4A, der Optischer-Fluss-Berechnungseinheit 6 und der Zuverlässigkeitsberechnungseinheit 7 durch eine Verarbeitungsschaltung implementiert sein oder die Funktionen können durch eine einzelne Verarbeitungsschaltung in einer integrierten Weise implementiert sein.
In dem Fall, in dem die Verarbeitungsschaltung eine CPU 200 ist, sind die Funktionen der Bildmerkmalsabbildungserzeugungseinheit 3, der Objektdetektionseinheit 4A, der Optischer-Fluss-Berechnungseinheit 6 und der Zuverlässigkeitsberechnungseinheit 7 durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert.
Die Software und die Firmware sind als Programme beschrieben und sind im Programm-ROM 202 gespeichert. Die CPU 200 liest und führt die im Programm-ROM 202 gespeicherten Programme aus und implementiert damit die Funktionen. Mit anderen Worten, die Objektdetektionseinrichtung 1A enthält einen Speicher zum Speichern von Programmen, die zur Ausführung von Operationen der Funktionen führen. Diese Programme veranlassen auch einen Computer, einen Vorgang oder ein Verfahren für jede von der Bildmerkmalsabbildungserzeugungseinheiten 3, der Objektdetektionseinheit 4A, der Optischer-Fluss-Berechnungseinheit 6 und der Zuverlässigkeitsberechnungseinheit 7 auszuführen.
Wie bei der ersten Ausführungsform kann der Speicher beispielsweise ein nichtflüchtiger oder flüchtiger Halbleiterspeicher, wie ein RAM, ein ROM, ein Flash-Speicher, ein EPROM oder ein EEPROM, eine Magnetplatte, eine flexible Platte, eine optische Platte, eine Compactdisk, eine Minidisk, eine DVD oder dergleichen sein.
Darüber hinaus können einige der Funktionen der Bildmerkmalsabbildungserzeugungseinheit 3, der Objektdetektionseinheit 4A, der Optischer-Fluss-Berechnungseinheit 6 und der Zuverlässigkeitsberechnungseinheit 7 durch eine dedizierte Hardware implementiert sein und die anderen durch Software oder Firmware implementiert sein. So ist beispielsweise die Funktion der Bildmerkmalsabbildungserzeugungseinheit 3 durch eine dedizierte Hardware-Verarbeitungsschaltung implementiert, während die Funktionen der Objektdetektionseinheit 4A, der Optischer-Fluss-Berechnungseinheit 6 und der Zuverlässigkeitsberechnungseinheit 7 durch Ausführung der im Programm-ROM 202 gespeicherten Programme durch die CPU 200 implementiert sind. Auf diese Weise kann die Verarbeitungsschaltung die vorstehend beschriebenen Funktionen durch Hardware, Software, Firmware oder eine Kombination davon implementieren.
Als nächstes wird der Betrieb beschrieben.
8 ist ein Flussdiagramm, das den Betrieb der Objektdetektionseinrichtung 1A und eine Reihe von Prozessen, bis ein Objekt detektiert wird, darstellt.
Zunächst ruft die Videoaufnahmeeinheit 2 die durch die Kamera 209 aufgenommenen Videodaten ab (Schritt ST1c). Dabei wird davon ausgegangen, dass sich die Kamera 209 in einem mobilen Zustand befindet. Dieser Zustand bedeutet beispielsweise, dass die Kamera 209 eine fahrzeuginterne Kamera ist und sich die Kamera 209 zusammen mit dem Fahrzeug bewegen kann. Es ist zu beachten, dass sich die Kamera 209 während der Aufnahme eines Videos auch nicht bewegen kann.
Wenn die Aufnahme durch die Kamera 209 beendet ist (Schritt ST2c: JA), wird die in 8 dargestellte Reihe von Prozessen beendet. Das heißt, das Abrufen von Videodaten durch die Videoaufnahmeeinheit 2 wird fortgesetzt, bis die Aufnahme durch die Kamera 209 abgeschlossen ist.
Wenn die Aufnahme durch die Kamera 209 nicht beendet ist (Schritt ST2c: NEIN), berechnet die Optischer-Fluss-Berechnungseinheit 6 für jedes Pixel einen optischen Fluss zwischen Einzelbildern in einer durch die Videoaufnahmeeinheit 2 abgerufenen Bildsequenz (Schritt ST3c). So werden beispielsweise dichte optische Flüsse berechnet.
Als nächstes berechnet die Zuverlässigkeitsberechnungseinheit 7 einen Skalarwert eines optischen Flusses als Zuverlässigkeit.
Ein Objekt, das sich weit von der Kamera 209 entfernt befindet, hat einen kleineren Skalarwert, da eine scheinbare Bewegung auf einem von der Kamera 209 aufgenommenen Bild klein ist. Darüber hinaus ist ein Skalarwert eines optischen Flusses, der aus einem Objekt berechnet wird, das sich mit gleicher Geschwindigkeit wie das mit der Kamera 209 ausgestattete Fahrzeug bewegt, sehr klein.
Die Zuverlässigkeitsberechnungseinheit 7 vergleicht den Skalarwert des optischen Flusses mit einem Schwellenwert und bestimmt damit, ob der Skalarwert größer ist als der Schwellenwert (Schritt ST4c).
Als Schwellenwert wird durch ein Diskriminationsanalyseverfahren unter Verwendung von Absolutwerten von Bewegungsvektoren optischer Flüsse ein Wert adaptiv bestimmt, der es ermöglicht, Bereiche auf dem Bild in einen Bereich, in dem ein sich bewegender Körper vorhanden ist, und die anderen Bereiche entsprechend zu trennen.
Wenn der Skalarwert größer ist als der Schwellenwert (Schritt ST4c: JA), bestimmt die Zuverlässigkeitsberechnungseinheit 7, unter Bereichen in dem Bild, dass die Zuverlässigkeit der optischen Flüsse in einem Bereich, aus dem der optische Fluss dieses Skalarwerts erhalten wurde, hoch ist. Dieses Bestimmungsergebnis wird von der Zuverlässigkeitsberechnungseinheit 7 an die Rauschentfernungseinheit 8 gemeldet. Nach Erhalt dieser Meldung entfernt die Rauschentfernungseinheit 8 aus den optischen Flüssen in dem Bereich mit der hohen Zuverlässigkeit der optischen Flüsse optische Flüsse des Hintergrundbereichs als Störung (Schritt ST5c).
Wenn hingegen der Skalarwert kleiner als oder gleich wie der Schwellenwert ist (Schritt ST4c: NEIN), bestimmt die Zuverlässigkeitsberechnungseinheit 7, unter Bereichen in dem Bild, dass die Zuverlässigkeit der optischen Flüsse in einem Bereich, aus dem der optische Fluss dieses Skalarwerts erhalten wurde, niedrig ist. Das Bestimmungsergebnis wird von der Zuverlässigkeitsberechnungseinheit 7 an die Bildmerkmalsabbildungserzeugungseinheit 3 gemeldet. Die Bildmerkmalsabbildungserzeugungseinheit 3 erzeugt eine Bildmerkmalsabbildung ähnlich der in 4 und 5 in der ersten Ausführungsform beschriebenen Verarbeitung (Schritt ST6c).
Aus Bereichen auf dem Bild führt die Objektdetektionseinheit 4A in einem Bereich, in dem die Zuverlässigkeit optischer Flüsse hoch ist, eine Objektdetektion auf der Grundlage von optischen Flüssen, und in einem Bereich, in dem die Zuverlässigkeit optischer Flüsse niedrig ist, eine Objektdetektion auf der Grundlage von einer Bildmerkmalsabbildung durch (Schritt ST7c).
Das Detektionsergebnis eines auf diese Weise erhaltenen Objekts wird von der Objektdetektionseinheit 4A an die Objekterkennungseinheit 5 ausgegeben, und die Objekterkennungseinheit 5 erkennt ein Attribut oder dergleichen des Objekts.
Hier wird die Rauschentfernungsverarbeitung durch die Rauschentfernungseinheit 8 ausführlich beschrieben.
9 ist ein Flussdiagramm, das ein bestimmtes Beispiel für die Verarbeitung in den Schritten ST5c und ST7c in 8 darstellt.
Zunächst trennt die Rauschentfernungseinheit 8 einen Hintergrundbereich in einem Bild auf der Grundlage von Richtungskomponenten optischer Flüsse (Schritt ST1d).
So trennt beispielsweise die Rauschentfernungseinheit 8 unter Verwendung des k-Mittel-Verfahrens ein Einzelbild in einen Bereich, der optische Flüsse in der dominanten Richtung enthält, und einen Bereich, der optische Flüsse in einer Richtung enthält, die hierzu nicht äquivalent ist. In dieser Ausführungsform wird ein Bereich mit optischen Flüssen in der dominanten Richtung als Hintergrundbereich und ein Bereich mit optischen Flüssen in einer Richtung, die zur dominanten Richtung nicht äquivalent ist, als Vordergrundbereich betrachtet.
Anschließend entfernt die Rauschentfernungseinheit 8 optische Flüsse, die im Hintergrundbereich enthalten sind (Schritt ST2d). So entfernt die Rauschentfernungseinheit 8 zum Beispiel die im Hintergrundbereich enthaltenen optischen Flüsse auf der Grundlage eines dynamischen Hintergrundsubtraktionsverfahrens, das in einer Zeitreihe erweitert wird. Es ist zu beachten, dass das dynamische Hintergrundsubtraktionsverfahren ein Verfahren zum Erhalten des Vordergrundbereichs ist, der nicht im Hintergrundbereich enthalten ist, indem ein Hintergrundmodell aus in einer Zeitreihe ausgerichteten Einzelbildern dynamisch erzeugt und aktualisiert wird.
Die Objektdetektionseinheit 4A bestätigt in einer Zeitreihe, ob die optischen Flüsse, die in dem Einzelbild enthalten sind, aus dem die Störung durch die Rauschentfernungseinheit 8 entfernt wurde, in die gleiche Richtung stabil ausgerichtet sind (Schritt ST3d). So schätzt beispielsweise die Objektdetektionseinheit 4A die Position des Vordergrundbereichs in einem nächsten Einzelbild durch Verwendung der Richtung der optischen Flüsse aus einem Einzelbild, das das vorhergehende Einzelbild ist und aus dem die Störung des Vordergrundbereichs entfernt wurde. Durch das Zusammenführen dieses Schätzungsergebnisses und des tatsächlichen nächsten Einzelbildes wird der Bereich, in dem das Objekt vorhanden ist, in einer Zeitreihe geschätzt. Die Objektdetektionseinheit 4A führt diese Korrekturverarbeitung für eine vorgegebene Anzahl von Wiederholungen durch.
Anschließend bestimmt die Objektdetektionseinheit 4A, ob ein Absolutwert eines Vektors eines optischen Flusses im Vordergrundbereich, in dem die Zeitreihenpositionsdaten in Schritt ST3d korrigiert wurden, größer ist als ein Schwellenwert (Schritt ST4d). Wenn hier der Absolutwert des Vektors kleiner als oder gleich wie der Schwellenwert ist (Schritt ST4d: NEIN), bestimmt die Objektdetektionseinheit 4A, dass der Vordergrundbereich kein Bereich eines sich bewegenden Körpers ist und beendet die Verarbeitung.
Ist dagegen der Absolutwert des Vektors größer als der Schwellenwert (Schritt ST4d: JA), erkennt die Objektdetektionseinheit 4A den Vordergrundbereich als einen Bereich, in dem ein sich bewegender Körper vorhanden ist (Schritt ST5d).
Danach gruppiert die Objektdetektionseinheit 4A die auf die vorstehende Weise extrahierten Bereiche und gibt sie als einen Detektionsbereich des sich bewegenden Körpers an die Objekterkennungseinheit 5 aus.
10 ist ein Diagramm, das eine Beziehung zwischen dem Abstand von einem Fahrzeug zu einem sich bewegenden Körper und der Zufallsrate darstellt. In 10 stellt die horizontale Achse den Abstand vom Fahrzeug zum sich bewegenden Körper dar und die vertikale Achse die Zufallsrate zwischen der richtigen Position des sich bewegenden Körpers und der Position eines Detektionsergebnisses dar.
Die durch die Symbole a1 bis a3 gekennzeichneten Ergebnisse sind die einer konventionellen Objektdetektionseinrichtung, die in der folgenden Referenzliteratur 1 beschrieben ist, und die anderen Ergebnisse sind die der Objektdetektionseinrichtung 1A.
(Referenzliteratur 1) Norio Hashiguchi, Masatoshi Touno, Daisuke Ueno, Yasuhiko Nakano, „Sensing Technology Supporting Convergence Service", FUJITSU Technical Report, Vol. 64, S. 74-80, 2013.
Da die in der obigen Referenzliteratur beschriebene Objektdetektionseinrichtung weitgehend von einem Berechnungsergebnis optischer Flüsse abhängt, wie durch die Symbole a1 bis a3 dargestellt, kann die Objektdetektionseinrichtung nur ein Objekt in der Nähe eines Fahrzeugs detektieren und nicht mit einem Objekt umgehen, das sich weit vom Fahrzeug entfernt befindet.
Da die Objektdetektionseinrichtung 1A dagegen ein entferntes Objekt auf der Grundlage einer von der Bewegung eines Objekts unabhängigen Salienzabbildung detektiert, ist es möglich, auch ein Objekt 100 m oder mehr vom Fahrzeug entfernt stabil zu detektieren.
Es ist zu beachten, dass, wenn die durch die Videoaufnahmeeinheit 2 abgerufenen Videodaten komprimiert werden, die Optischer-Fluss-Berechnungseinheit 6 unter Verwendung der komprimierten Informationen einen optischen Fluss berechnen kann.
Unter den Kompressionsverfahren gibt es ein Verfahren zur Durchführung der Bewegungsvorhersage von Videodaten unter Verwendung von vorhergehenden und nachfolgenden Einzelbildern, und die Verwendung dieses Verfahrens ermöglicht die Extraktion eines Bewegungsbereichs mit einer ähnlichen Gradientenrichtung für jeden Block. Durch die Verwendung dieser Bewegungsinformationen kann nur ein sich bewegendes Objekt extrahiert werden. In diesem Fall, da die Bewegungsinformationen in den komprimierten Videodaten enthalten sind, entfällt die Notwendigkeit, das Video zu analysieren, um optische Flüsse neu zu berechnen. Dadurch kann die Rechenlast reduziert werden.
Wie vorstehend beschrieben, enthält die Objektdetektionseinrichtung 1A gemäß der zweiten Ausführungsform neben der Konfiguration der Objektdetektionseinrichtung 1 gemäß der ersten Ausführungsform auch die Optischer-Fluss-Berechnungseinheit 6 und die Zuverlässigkeitsberechnungseinheit 7.
In dieser Konfiguration führt die Objektdetektionseinheit 4A eine Objektdetektion auf der Grundlage von optischen Flüssen und eine Objektdetektion auf der Grundlage von einer Bildmerkmalsabbildung in Abhängigkeit von der durch die Zuverlässigkeitsberechnungseinheit 7 berechneten Zuverlässigkeit durch. Beispielsweise in dem Fall, wenn sich ein Objekt weit von der Kamera 209 entfernt befindet, ist die Zuverlässigkeit der optischen Flüsse gering und die Objektdetektion auf der Grundlage von einer Bildmerkmalsabbildung wird durchgeführt, und in dem Fall, wenn sich ein Objekt in der Nähe der Kamera 209 befindet, ist die Zuverlässigkeit hoch und die Objektdetektion auf der Grundlage von optischen Flüssen wird durchgeführt.
Dadurch kann das Objekt innerhalb eines Bereichs in der Umgebung der Kamera 209 bis zu einer entfernten Stelle genau detektiert werden.
Darüber hinaus enthält die Objektdetektionseinrichtung 1A gemäß der zweiten Ausführungsform die Rauschentfernungseinheit 8. Aus Bereichen auf einem Bild bestimmt die Objektdetektionseinheit 4A einen Bereich, in dem ein optischer Fluss in einer Richtung, die nicht zur Richtung eines optischen Flusses äquivalent ist, der durch die Rauschentfernungseinheit 8 entfernt wurde, erhalten wird, als einen Bereich, in dem ein Objekt vorhanden ist.
Mit dieser Konfiguration kann der Bereich, in dem das Objekt vorhanden ist, genau detektiert werden.
Es ist zu beachten, dass die vorliegende Erfindung innerhalb des Umfangs der vorliegenden Erfindung eine flexible Kombination der Ausführungsformen, eine Modifikation einer beliebigen Komponente der Ausführungsformen oder den Verzicht auf irgendeine Komponente in den Ausführungsformen enthalten kann.
GEWERBLICHE ANWENDBARKEIT
Da die Objektdetektionseinrichtung gemäß der vorliegenden Erfindung in der Lage ist, ein Objekt innerhalb eines Bereichs in der Nähe einer Kamera bis zu einer entfernten Stelle genau zu detektieren, ist die Objektdetektionseinrichtung beispielsweise für die Detektion eines Fahrzeugs, einer Person und dergleichen geeignet.
Bezugszeichenliste
1, 1A: Objektdetektionseinrichtung, 2: Videoaufnahmeeinheit, 3: Bildmerkmalsabbildungserzeugungseinheit, 4, 4A: Objektdetektionseinheit, 5: Objekterkennungseinheit, 6: Optischer-Fluss-Berechnungseinheit, 7: Zuverlässigkeitsberechnungseinheit, 8: Rauschentfernungseinheit, 100, 200: CPU, 101, 201: Daten-ROM, 102, 202: Programm-ROM, 103, 203: RAM, 104, 204: Festplattensteuerung, 105, 205: Anzeigesteuerung, 106, 206: KameraSchnittstelle, 107, 207: Externer Speicher, 108, 208: Anzeigeeinrichtung, 109, 209: Kamera, 210: Fahrzeugkarosserie-Steuereinheit, 211: Bremse, 212: Lenkung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007334859 A [0004]

Zitierte Nicht-Patentliteratur

Norio Hashiguchi, Masatoshi Touno, Daisuke Ueno, Yasuhiko Nakano, „Sensing Technology Supporting Convergence Service“, FUJITSU Technical Report, Vol. 64, S. 74-80, 2013 [0131]

Claims

Objektdetektionseinrichtung, umfassend: eine Bildmerkmalsabbildungszeugungseinheit zum Erzeugen, auf einer Grundlage von Merkmalsquantitäten, die aus einer Vielzahl von durch eine Kamera nacheinander aufgenommenen Bildern extrahiert wurden, einer Bildmerkmalsabbildung, repräsentierend eine geschätzte Verteilung von Objektwahrscheinlichkeit auf jedem der Bilder; und eine Objektdetektionseinheit zum Detektieren eines Objekts auf einer Grundlage der durch die Bildmerkmalsabbildungserzeugungseinheit erzeugten Bildmerkmalsabbildung.
Objektdetektionseinrichtung nach Anspruch 1, ferner umfassend: eine Optischer-Fluss-Berechnungseinheit zum Berechnen optischer Flüsse zwischen der Vielzahl von durch die Kamera nacheinander aufgenommen Bildern; und eine Zuverlässigkeitsberechnungseinheit zum Berechnen von Zuverlässigkeit der durch die Optischer-Fluss-Berechnungseinheit berechneten optischen Flüsse, wobei die Objektdetektionseinheit Objektdetektion auf Grundlage von zumindest einem der optischen Flüsse und Objektdetektion auf Grundlage der Bildmerkmalsabbildung durchführt in Abhängigkeit von der durch die Zuverlässigkeitsberechnungseinheit berechneten Zuverlässigkeit.
Objektdetektionseinrichtung nach Anspruch 2, wobei, aus Bereichen auf jedem der Bilder, die Objektdetektionseinheit, in einem Bereich, in dem Zuverlässigkeit eines ersten optischen Flusses höher ist als ein Schwellenwert, Objektdetektion durchführt auf Grundlage des ersten optischen Flusses, und in einem Bereich, in dem Zuverlässigkeit eines zweiten optischen Flusses geringer ist als oder gleich ist wie der Schwellenwert, Objektdetektion durchführt auf Grundlage der Bildmerkmalsabbildung, wobei der erste und zweite optische Fluss in den optischen Flüssen enthalten sind.
Objektdetektionseinrichtung nach Anspruch 2, ferner umfassend: eine Rauschentfernungseinheit zum Entfernen, aus den optischen Flüssen, eines optischen Flusses in einer Richtung entlang einer Bewegungsrichtung der Kamera, als einen in einem Hintergrundbereich des Objekts enthaltenen optischen Fluss, wobei, aus Bereichen auf jedem der Bilder, die Objektdetektionseinrichtung einen Bereich, in dem ein dritter optischer Fluss in einer Richtung, die nicht zu derjenigen des durch die Rauschentfernungseinheit entfernten optischen Flusses äquivalent ist, erhalten wurde, als einen Bereich bestimmt, in dem das Objekt vorhanden ist, wobei der dritte optische Fluss in den optischen Flüssen enthalten ist.
Objektdetektionsverfahren, umfassend die Schritte: Erzeugen, durch eine Bildmerkmalsabbildungserzeugungseinheit, auf einer Grundlage von aus einer Vielzahl von durch eine Kamera nacheinander aufgenommenen Bildern extrahierten Merkmalsquantitäten, einer Bildmerkmalsabbildung, repräsentierend eine geschätzte Verteilung von Objektwahrscheinlichkeit auf jedem der Bilder; Berechnen, durch eine Optischer-Fluss-Berechnungseinheit, optischer Flüsse zwischen der Vielzahl von durch die Kamera nacheinander aufgenommen Bildern; Berechnen, durch eine Zuverlässigkeitsberechnungseinheit, von Zuverlässigkeit der durch die Optischer-Fluss-Berechnungseinheit berechneten optischen Flüsse; und Durchführen, durch eine Objektdetektionseinheit, von Objektdetektion auf Grundlage von zumindest einem der optischen Flüsse und Objektdetektion auf Grundlage der Bildmerkmalsabbildung in Abhängigkeit von der durch die Zuverlässigkeitsberechnungseinheit berechneten Zuverlässigkeit.