DE102019122690A1

DE102019122690A1 - Bewegtobjekterkennungsvorrichtung und Bewegtobjekterkennungsverfahren

Info

Publication number: DE102019122690A1
Application number: DE102019122690.2A
Authority: DE
Inventors: Takuya Akashi; Uuganbayar Ganbold; Hiroyuki Tomita
Original assignee: Inc National Univ Iwate Univ; Inc NATIONAL UNIVERSITY IWATE UNIVERSITY; Suzuki Motor Corp
Current assignee: Inc National Univ Iwate Univ; Inc NATIONAL UNIVERSITY IWATE UNIVERSITY; Suzuki Motor Corp
Priority date: 2018-08-24
Filing date: 2019-08-23
Publication date: 2020-02-27
Also published as: JP7104916B2; FR3085219A1; US20200065981A1; FR3085219B1; JP2020030768A; US11024042B2

Abstract

Aufgabe: Bereitstellen einer Bewegtobjekterkennungsvorrichtung und eines Bewegtobjekterkennungsverfahrens, die kostengünstig und sicher sind und eine genaue Erkennung eines Bewegtobjekts aus einer Bildsequenz aufgenommen mithilfe einer monokularen Kamera mit hoher Geschwindigkeit ermöglichen.Mittel zur Lösung der Aufgabe: Eine repräsentative Ausgestaltung der Bewegtobjekterkennungsvorrichtung gemäß der vorliegenden Erfindung ist mit einer Horizontlinienerkennungseinheit 124, die eine Horizontlinie in einem Einzelbild erkennt, einer Kantenbilderzeugungseinheit 122, die ein Kantenbild aus einem Einzelbild erzeugt, und einer Bewegtobjekterkennungseinheit 118, die einen Erkennungsrahmen für ein Bewegtobjekt einrichtet, versehen, und die Kantenbilderzeugungseinheit extrahiert ein Kantenbild unterhalb einer Horizontlinie, die durch die Horizontlinienerkennungseinheit erkannt wurde, und die Bewegtobjekterkennungseinheit erzeugt einen Vordergrund durch Kombination der Differenz zwischen dem Kantenbild unterhalb der Horizontlinie und einem Hintergrundbild des Kantenbilds mit der Differenz zwischen einem Graustufenbild und einem Hintergrundbild des Graustufenbilds.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Bewegtobjekterkennungsvorrichtung und ein Bewegtobjekterkennungsverfahren, welche eine genaue Hochgeschwindigkeitserkennung eines Bewegtobjekts aus einer Bildsequenz aufgenommen mithilfe einer monokularen Kamera ermöglichen.
TECHNISCHER HINTERGRUND
In jüngster Zeit wird vermehrt Forschung und Entwicklung an zahlreichen vorbeugenden Sicherheitsmaßnahmen zur Vermeidung von Verkehrsunfällen betrieben. In diesem Zusammenhang besteht Bedarf nach Vorbeugung von Frontalzusammenstößen von Automobilen mit Fußgängern, Radfahrern, anderen Automobilen oder dergleichen an Kreuzungen oder dergleichen. Bei Systemen, die einen derartigen Bedarf befriedigen, ist es denkbar, dass ein fahrzeuggebundener Sensor oder eine fahrzeuggebundene Kamera zur Erkennung von Bewegtobjekten verwendet wird.
Methoden zur Objekterkennung, die einen fahrzeuggebundenen Sensor verwenden, umfassen Systeme, bei welchen eine Hilfsvorrichtung wie ein Laserentfernungssensor verwendet wird. Da Laservorrichtungen jedoch teuer sind und ein intensiver Laserstrahl nicht auf einen menschlichen Körper gerichtet werden darf, besteht das Problem, dass die Leistung nur schwer erhöht werden kann.
Bei Verwendung einer fahrzeuggebundenen Kamera ist es denkbar, ein Hintergrundsubtraktionszverfahren zu verwenden. Das Hintergrundsubtraktionszverfahren ist eine zuverlässige Methode, die Hochgeschwindigkeitsverarbeitungen ermöglicht und Änderungen in einer dynamischen Szene nutzt. Wenn jedoch ein Objekt eine flache Textur aufweist oder die Farbe eines Abschnitts eines Objekts der Farbe des Hintergrunds ähnlich ist, gibt es Fälle, bei denen nur ein Abschnitt des Objekts erkannt werden kann.
Patentdokument Nr. 1 schlägt eine Bildverarbeitungsvorrichtung vor, die, wenn für den Erkennungsbereich mehrere Kandidaten vorliegen (ein Gesichtsabschnitt und ein Fußabschnitt), in einem aufgenommenen Bild eine Größe festlegt, die ein Erkennungsbereich einnehmen soll, und, wenn das Gebiet mit dieser Größe einen weiteren Kandidaten umfasst, einen Bereich, der durch Verknüpfung der Kandidaten und des weiteren Kandidaten erhalten wird, als Kandidaten für einen neuen Erkennungsbereich extrahiert.
VORBEKANNTE TECHNISCHE DOKUMENTE
PATENTDOKUMENTE
Patentdokument Nr. 1: JP 2010-092353 A
ÜBERBLICK ÜBER DIE ERFINDUNG
VON DER ERFINDUNG ZU LÖSENDE AUFGABEN
Bei der technischen Lehre des Patentdokuments Nr. 1 wird jedoch eine einzunehmende Größe in einem aufgenommenen Bild auf Grundlage der Positionen von Kandidaten für einen Erkennungsbereich festgelegt. In diesem Fall muss zuerst die Entfernung des Erkennungsbereichs bestimmt werden. In Patentdokument Nr. 1 ist eine Bildaufnahmevorrichtung unbeweglich und so montiert, dass sie eine Kreuzung überblickt (Absatz 0038, 1). Aufgrund dieser beschränkten Umstände kann die Entfernung anhand einer Position in einem Bild gemessen werden, im Falle von Bildern einer fahrzeuggebundenen Kamera ist es jedoch schwierig, die Entfernung zu messen.
In Patentdokument Nr. 1 müssen außerdem die Art eines Erkennungsbereichs (ob der Gegenstand eine Person ist oder nicht) und eine einzunehmende Größe festgelegt werden. Derartige Bestimmungen sind sehr unzuverlässig. Darüber hinaus wird in Patentdokument Nr. 1 eine Infrarotkamera verwendet und daher ein Abschnitt mit entblößter Haut erfasst; die Unzuverlässigkeit nimmt aufgrund der Tatsache weiter zu, dass sich die Fläche mit entblößter Haut je nach Ausrichtung, Kleidung und Frisur der Person wesentlich unterscheidet.
Bei Verwendung einer kostengünstigen monokularen Kamera anstelle einer Infrarotkamera oder bei Verwendung einer Fischaugen- oder Weitwinkellinse zur Aufnahme von Bildern mit größerem Bildbereich besteht außerdem die Möglichkeit, dass mehr Rauschen auftritt als bei Verwendung einer Infrarotkamera.
In Anbetracht dessen schlagen die Anmelder in der japanischen Patentanmeldung Nr. 2017-178431 eine Bewegtobjekterkennungsvorrichtung und ein Bewegtobjekterkennungsverfahren vor, die kostengünstig und sicher sind und eine genaue Hochgeschwindigkeitserkennung eines Bewegtobjekts aus einer Bildsequenz aufgenommen mithilfe einer monokularen Kamera ermöglichen. Auch der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Bewegtobjekterkennungsvorrichtung und ein Bewegtobjekterkennungsverfahren bereitzustellen, bei denen die japanische Patentanmeldung Nr. 2017-178431 nochmals verbessert ist und die Erkennungsrate verbessert ist.
MITTEL ZUM LÖSEN DER AUFGABE
Um die vorstehend beschriebenen Probleme zu lösen, weist eine repräsentative Ausgestaltung einer Bewegtobjekterkennungsvorrichtung gemäß der vorliegenden Erfindung eine Eingabeeinheit zum Eingeben einer Bildsequenz, eine Einzelbilderfassungseinheit, eingerichtet zum kontinuierlichen Extrahieren von mehreren Einzelbildern aus einer Bildsequenz, eine Horizontlinienerkennungseinheit, eingerichtet zum Erkennen einer Horizontlinie in einem Einzelbild, eine Kantenbilderzeugungseinheit, eingerichtet zum Erzeugen eines Kantenbilds aus einem Einzelbild und eine Bewegtobjekterkennungseinheit, eingerichtet zum Einrichten eines Erkennungsrahmens für ein Bewegtobjekt, auf, und die Kantenbilderzeugungseinheit extrahiert ein Kantenbild unterhalb der Horizontlinie, die durch die Horizontlinienerkennungseinheit erkannt wurde, und extrahiert eine Differenz zwischen dem Kantenbild unterhalb der Horizontlinie und einem Hintergrundbild des Kantenbilds mittels eines Hintergrundsubtraktionszverfahrens und die Bewegtobjekterkennungseinheit wandelt ein Einzelbild in ein Graustufenbild und extrahiert eine Differenz zwischen dem Graustufenbild und einem Hintergrundbild des Graustufenbilds mittels des Hintergrundsubtraktionszverfahrens und erzeugt einen Vordergrund durch Kombination der Differenz zwischen dem Kantenbild unterhalb der Horizontlinie und dem Hintergrundbild des Kantenbilds mit der Differenz zwischen dem Graustufenbild und dem Hintergrundbild des Graustufenbilds.
Gemäß der vorstehenden Ausgestaltung kann die Bildposition eines Abschnitts, in welchem das Bewegtobjekt mit dem Boden verbunden ist, genau erkannt werden. Selbst wenn das Objekt eine flache Textur aufweist oder sich langsam bewegt, kann somit das gesamte Objekt als Vordergrund erkannt werden und die Erkennungsrate kann verbessert werden. Daher kann ein Bewegtobjekt aus einer Bildsequenz aufgenommen mithilfe einer monokularen Kamera mit hoher Geschwindigkeit genau erkannt werden und die Sicherheit kann kostengünstig verbessert werden.
Die Bewegtobjekterkennungseinheit kombiniert vorzugsweise die Differenz zwischen dem Kantenbild unterhalb der Horizontlinie und dem Hintergrundbild des Kantenbilds mit der Differenz zwischen dem Graustufenbild und dem Hintergrundbild des Graustufenbilds, wenn die Differenz zwischen dem Kantenbild unterhalb der Horizontlinie und dem Hintergrundbild des Kantenbilds nur wenig Rauschen aufweist.
Die Kantenbilderzeugungseinheit extrahiert vorzugsweise ein Kantenbild, das mit der Horizontlinie verbunden ist, die durch die Horizontlinienerkennungseinheit erkannt wurde, und die Bewegtobjekterkennungseinheit filtert vorzugsweise den Vordergrund unter Verwendung des Kantenbilds, das mit der Horizontlinie verbunden ist. Gemäß der vorstehenden Ausgestaltung kann die Grenze zwischen einem Gebäude und einer Straße als Rauschen entfernt werden.
Wenn sich die Bewegtobjekterkennungsvorrichtung bewegt, filtert die Bewegtobjekterkennungseinheit vorzugsweise den Vordergrund unter Verwendung des Kantenbilds, das mit der Horizontlinie verbunden ist. Bewegt sich die Bewegtobjekterkennungsvorrichtung, ändern sich die Bildpositionen einer Straße und eines Gebäudes; durch das Hintergrundsubtraktionszverfahren verursachtes Rauschen nimmt somit zu. Es ist daher möglich, das Rauschen stark zu vermindern, indem die vorstehend beschriebene Filterung durchgeführt wird, wenn sich die Bewegtobjekterkennungsvorrichtung bewegt.
Eine weitere repräsentative Ausgestaltung der Bewegtobjekterkennungsvorrichtung gemäß der vorliegenden Erfindung weist eine Eingabeeinheit, eingerichtet zum Eingeben einer Bildsequenz, eine Einzelbilderfassungseinheit, eingerichtet zum kontinuierlichen Extrahieren von mehreren Einzelbildern aus einer Bildsequenz, eine Horizontlinienerkennungseinheit, eingerichtet zum Erkennen einer Horizontlinie in einem Einzelbild, eine Kantenbilderzeugungseinheit, eingerichtet zum Erzeugen eines Kantenbilds aus einem Einzelbild, und eine Bewegtobjekterkennungseinheit, eingerichtet zum Einrichten eines Erkennungsrahmens für ein Bewegtobjekt, auf, und die Kantenbilderzeugungseinheit extrahiert ein Kantenbild, das mit der Horizontlinie verbunden ist, die durch die Horizontlinienerkennungseinheit erkannt wurde, und die Bewegtobjekterkennungseinheit wandelt ein Einzelbild in ein Graustufenbild, extrahiert eine Differenz zwischen dem Graustufenbild und einem Hintergrundbild des Graustufenbilds mittels eines Hintergrundsubtraktionszverfahrens und macht die Differenz zu einem Vordergrund, und sie filtert den Vordergrund unter Verwendung des Kantenbilds, das mit der Horizontlinie verbunden ist.
Eine repräsentative Ausgestaltung eines Bewegtobjekterkennungsverfahrens gemäß der vorliegenden Erfindung umfasst einen Schritt mit Eingeben einer Bildsequenz, einen Schritt mit kontinuierlichem Extrahieren von mehreren Einzelbildern aus einer Bildsequenz, einen Schritt mit Extrahieren eines Kantenbilds unterhalb einer Horizontlinie aus einem Einzelbild, einen Schritt mit Extrahieren einer Differenz zwischen dem Kantenbild unterhalb der Horizontlinie und einem Hintergrundbild des Kantenbilds mittels eines Hintergrundsubtraktionszverfahrens, einen Schritt mit Wandeln eines Einzelbilds in ein Graustufenbild und Extrahieren einer Differenz zwischen dem Graustufenbild und einem Hintergrundbild des Graustufenbilds mittels des Hintergrundsubtraktionszverfahrens und einen Schritt mit Erzeugen eines Vordergrunds durch Kombination der Differenz zwischen dem Kantenbild unterhalb der Horizontlinie und dem Hintergrundbild des Kantenbilds mit der Differenz zwischen dem Graustufenbild und dem Hintergrundbild des Graustufenbilds.
Gemäß dem vorstehenden Verfahren kann ein Abschnitt, in welchem die Bildposition eines Bewegtobjekts mit dem Boden verbunden ist, genau erkannt werden. Selbst wenn das Objekt eine flache Textur aufweist oder sich langsam bewegt, kann somit das gesamte Objekt als Vordergrund erkannt werden und die Erkennungsrate kann verbessert werden. Technische Ideen, die denen der vorstehend beschriebenen Bewegtobjekterkennungsvorrichtung ähnlich sind, können auf das Bewegtobjekterkennungsverfahren angewendet werden.
Eine weitere repräsentative Ausgestaltung eines Bewegtobjekterkennungsverfahrens gemäß der vorliegenden Erfindung umfasst einen Schritt mit Eingeben einer Bildsequenz, einen Schritt mit kontinuierlichem Extrahieren von mehreren Einzelbildern aus einer Bildsequenz, einen Schritt mit Extrahieren eines Kantenbilds, das mit einer Horizontlinie verbunden ist, aus einem Einzelbild, einen Schritt mit Wandeln eines Einzelbilds in ein Graustufenbild, Extrahieren einer Differenz zwischen dem Graustufenbild und einem Hintergrundbild des Graustufenbilds mittels eines Hintergrundsubtraktionszverfahrens und Machen der Differenz zu einem Vordergrund und einen Schritt zum Filtern des Vordergrunds unter Verwendung des Kantenbilds, das mit der Horizontlinie verbunden ist.
Gemäß dem vorstehenden Verfahren kann die Grenze zwischen einem Gebäude und einer Straße als Rauschen entfernt werden. Rauschen kann insbesondere dann stark vermindert werden, wenn sich die Bewegtobjekterkennungsvorrichtung bewegt. Technische Ideen, die denen der vorstehend beschriebenen Bewegtobjekterkennungsvorrichtung ähnlich sind, können auf das Bewegtobjekterkennungsverfahren angewendet werden.
EFFEKT DER ERFINDUNG
Gemäß der vorliegenden Erfindung kann die Bildposition eines Abschnitts, in welchem ein Bewegtobjekt mit dem Boden verbunden ist, genau erkannt werden. Selbst wenn das Objekt eine flache Textur aufweist oder sich langsam bewegt, kann somit das gesamte Objekt als Vordergrund erkannt werden und die Erkennungsrate kann verbessert werden. Es ist daher möglich, eine Bewegtobjekterkennungsvorrichtung und ein Bewegtobjekterkennungsverfahren bereitzustellen, die kostengünstig und sicher sind und eine genaue Hochgeschwindigkeitserkennung eines Bewegtobjekts aus einer Bildsequenz aufgenommen mithilfe einer monokularen Kamera ermöglichen.
Figurenliste

1 ist ein Diagramm, das die Gesamtausgestaltung einer Bewegtobjekterkennungsvorrichtung gemäß dieser Ausführungsform veranschaulicht.
2 ist ein Flussdiagramm, das ein Bewegtobjekterkennungsverfahren gemäß dieser Ausführungsform veranschaulicht.
3 ist ein Flussdiagramm, das einen Ablauf zur Erkennung eines Bewegtobjekts veranschaulicht.
4 ist ein Flussdiagramm, das einen Ablauf zur Extraktion eines Vordergrunds veranschaulicht.
5 ist ein Bildbeispiel eines Hintergrundsubtraktionszverfahrens.
6 ist ein Bildbeispiel, das eine Erzeugung eines Kantenbilds (E) veranschaulicht.
7 ist ein Bildbeispiel, das eine Extraktion eines Kantenbilds (BE) unterhalb der Horizontlinie veranschaulicht.
8 ist ein Bildbeispiel, das eine Extraktion einer Differenz (DBE) zwischen einem Kantenbild (BE) unterhalb der Horizontlinie und dem Hintergrund veranschaulicht.
9 ist ein Bildbeispiel, das ein Entrauschen eines Kantenbilds veranschaulicht.
10 ist ein Bildbeispiel, das ein Kombinieren einer Differenz (RBDBE) zwischen dem Kantenbild (BE) und einem Hintergrundbild des Kantenbilds (BE) veranschaulicht.
11 ist ein Bildbeispiel, das ein Kantenbild (CE) veranschaulicht, das mit der Horizontlinie verbunden ist.
12 ist ein Bildbeispiel, das ein Filtern eines binarisierten Bildes (BDG') veranschaulicht.
13 ist ein Bildbeispiel, das Dilatation und Erosion von Vordergründen veranschaulicht.
14 ist ein Bildbeispiel, das ein Einrichten von Erkennungsrahmen veranschaulicht.
15 ist ein weiteres Beispiel, das Gruppierung und Separation veranschaulicht.
16 ist ein Bildbeispiel, das eine Filterverarbeitung von Erkennungsrahmen veranschaulicht.
17 ist ein Bildbeispiel, das eine Erzeugung eines Hintergrundbilds veranschaulicht.
18 ist ein Bildbeispiel, das eine Filterverarbeitung veranschaulicht, bei welcher die Horizontlinie verwendet wird.
19 ist ein Diagramm, das Bedingungen und dergleichen eines genetischen Algorithmus veranschaulicht.
20 ist ein Flussdiagramm des genetischen Algorithmus.
21 ist ein Diagramm, das eine Zielfunktion des genetischen Algorithmus veranschaulicht.

AUSFÜHRUNGSFORMEN DER ERFINDUNG
Eine bevorzugte Ausführungsform der vorliegenden Erfindung wird nachstehend anhand der beigefügten Zeichnungen ausführlich erläutert. Die Abmessungen, Materialien und anderen bei den Ausführungsformen angegebenen konkreten Werte dienen lediglich der Veranschaulichung und der Erleichterung des Verständnisses der vorliegenden Erfindung und sind, sofern nichts anderes angegeben ist, nicht so zu verstehen, dass sie den Umfang der Erfindung einschränken. Es sei angemerkt, dass in der Patentschrift und in den Zeichnungen Elemente mit im Wesentlichen gleichen Funktionen oder Strukturen gleiche Bezugszeichen tragen, um deren redundante Beschreibung zu vermeiden. Weiterhin sind Elemente, die nicht direkt mit der vorliegenden Erfindung zusammenhängen, in der Darstellung weggelassen.
Es werden nun eine Ausführungsform einer Bewegtobjekterkennungsvorrichtung und eines Bewegtobjekterkennungsverfahren gemäß der vorliegenden Erfindung beschrieben. 1 ist ein Diagramm, das die Gesamtausgestaltung einer Bewegtobjekterkennungsvorrichtung 100 gemäß dieser Ausführungsform veranschaulicht. 2 ist ein Flussdiagramm, das ein Bewegtobjekterkennungsverfahren gemäß dieser Ausführungsform veranschaulicht.
Wie in 1(a) gezeigt ist, ist die Bewegtobjekterkennungsvorrichtung 100 ein fahrzeuggebundenes System, das in einem Automobil 10 eingebaut ist. Als repräsentatives Beispiel wird eine Bildsequenz, das durch eine fahrzeuggebundene Kamera 12 des Automobils 10 aufgenommen wurde, an die Bewegtobjekterkennungsvorrichtung 100 eingegeben und ein Bewegtobjekt wird erkannt. Informationen, die das von der Bewegtobjekterkennungsvorrichtung 100 erkannte Bewegtobjekt betreffen, werden an ein Bremssystem 14, einen Monitor (nicht dargestellt) und dergleichen gesendet und von diesen verwendet.
Die fahrzeuggebundene Kamera 12 ist eine kostengünstige monokulare Kamera, sie nimmt gewöhnliche Bildsequenzen auf. Die Bildsequenzen können Farbbilder oder Graustufenbilder (monochrome bzw. Schwarz-Weiß-Bilder) sein. Die fahrzeuggebundene Kamera 12 kann darüber hinaus auch mit einer Fischaugenlinse oder einer Weitwinkellinse versehen sein. Gemäß der vorliegenden Erfindung kann - wie später beschrieben wird - ein Bewegtobjekt, selbst aus einer Bildsequenz aufgenommen mithilfe einer monokularen Kamera, mit hoher Geschwindigkeit genau erkannt werden; somit können eine Bewegtobjekterkennungsvorrichtung und ein Bewegtobjekterkennungsverfahren bereitgestellt werden, die kostengünstig und sicher sind.
1(b) zeigt die Ausgestaltung der Bewegtobjekterkennungsvorrichtung 100. Die Bewegtobjekterkennungsvorrichtung 100 kann im Besonderen mit einem Computersystem aufgebaut werden. Die Ausgestaltung der Bewegtobjekterkennungsvorrichtung 100 wird nachstehend anhand des in 2 gezeigten Flussdiagramms beschrieben.
Eine Bildsequenz, das durch die fahrzeuggebundene Kamera 12 aufgenommen wurde, wird an die Eingabeeinheit 110 eingebeben (Schritt S210). Wenn das Bewegtbild ein Videobildsignal ist, einspricht ein Videocodierchip, der mit einem Composite-Anschluss oder einem HDMI-Anschluss (eingetragenes Warenzeichen) versehen ist, der Eingabeeinheit 110. Wenn es sich bei dem Bewegtbild um codierte digitale Daten handelt, entspricht eine USB- oder eine IEEE 1394-Schnittstelle der Eingabeeinheit 110. In beiden Fällen reicht es aus, dass die Eingabeeinheit 110 Daten einer Bildsequenz derart eingeben kann, dass die Daten von der Bewegtobjekterkennungsvorrichtung 100 verarbeitet werden können.
Eine Einzelbilderfassungseinheit 112 gewinnt kontinuierlich mehrere Einzelbilder (Standbilder) aus einem eingegebenen Bewegtbild (Schritt S212). Die konkrete Verarbeitung zur Erfassung von Einzelbildern aus einer Bildsequenz hängt vom Format des Bewegtbilds ab. Liegt das Bewegtbild zum Beispiel in einem Format vor, bei dem Standbilder wie bei Motion JPEG angeordnet sind, reicht es aus, die Einzelbilder einfach zu extrahieren. Es sei angemerkt, dass die Einzelbilder unabhängig von der Bildrate (Einzelbilder pro Sekunde) des Bewegtbilds in festen Abständen (z. B. alle 0,1 Sekunden) extrahiert werden können. Die Bildsequenz, die einer differenziellen Komprimierung wie MPEG unterliegt, kann für jedes Einzelbild einer GOP (Bildergruppe) bzw. aus einer solchen extrahiert werden.
Eine Vorverarbeitungseinheit 114 führt Vorverarbeitungen an den gewonnenen Einzelbildern durch (Schritt S214). Bei dieser Ausführungsform wird als Vorverarbeitung eine Wandlung des als Farbbild eingegebenen Bewegtbilds in ein Graustufenbild durchgeführt. Es wird darauf hingewiesen, dass nach Bedarf als Vorverarbeitung auch ein Entrauschen oder ein Zuschneiden zum Ausschneiden eines einer Bildverarbeitung zu unterziehenden Bereichs durchgeführt werden können.
Ist ein zu verarbeitendes Einzelbild als aktuelles Einzelbild eingerichtet, erkennt eine Bewegtobjekterkennungseinheit 118 ein Bewegtobjekt aus dem aktuellen Einzelbild mittels des Hintergrundsubtraktionszverfahrens und richtet einen Erkennungsrahmen für das Objekt ein (Schritt S216). Es sei angemerkt, dass in der folgenden Beschreibung das Einzelbild, das dem zu verarbeitenden Einzelbild vorangeht, als „voriges Einzelbild“ bezeichnet wird und das nachfolgende Einzelbild als „nächstes Einzelbild“ bezeichnet wird.
3 ist ein Flussdiagramm, das einen Ablauf (eine Subroutine) zur Erkennung eines Bewegtobjekts veranschaulicht, und 4 ist ein Flussdiagramm, das einen Ablauf zur Extraktion eines Vordergrunds (Schritt S232) veranschaulicht.
Wie in 4 gezeigt ist, extrahiert die Bewegtobjekterkennungseinheit 118 eine Differenz (DG) zwischen einem Graustufenbild, welches das aktuelle Einzelbild ist, und einem Hintergrundbild des Graustufenbilds (Schritt S250). 5 ist ein Bildbeispiel des Hintergrundsubtraktionszverfahrens. In dem in 5(a) gezeigten aktuellen Einzelbild befinden sich eine Horizontlinie in der Bildmitte sowie ein Fußgänger und ein Gebäude rechts im Bild. Außerdem befinden sich Büsche und ein Zaun an der Horizontlinie. In diesem Bild ist der Fußgänger ein Bewegtobjekt.
Das in 5(b) gezeigte Hintergrundbild wird von einer später beschriebenen Hintergrundbilderzeugungseinheit 116 bezogen. Außerdem ist in dem Hintergrundbild ein Bewegtobjekt gezeigt; dessen Position ändert sich jedoch allmählich. Wird das Hintergrundsubtraktionszverfahren auf diese Bilder angewendet (Luminanzsubtraktion durchgeführt), werden - wie in dem in 5(c) gezeigten Differenzbild - Pixel extrahiert, die die Differenz angeben. Diese Pixel, die die Differenz angeben, bilden den Vordergrund.
Der mittels des Hintergrundsubtraktionszverfahrens extrahierte Vordergrund weist eine geringe Luminanz auf und liegt in einem fein fragmentierten Zustand vor. Daher wird ein Glätten (Weichzeichnen) unter Verwendung eines Gauß-Filters oder dergleichen durchgeführt, um benachbarte Vordergründe zu verknüpfen; danach wird zur Verdeutlichung ein binarisiertes Bild (BDG) erzeugt (Schritt S252).
Die Bewegtobjekterkennungseinheit 118 führt eine Verarbeitung eines Kantenbilds (E) parallel zur Verarbeitung des Graustufenbilds durch. 6 ist ein Bildbeispiel, das die Erzeugung eines Kantenbilds (E) veranschaulicht. Eine Kantenbilderzeugungseinheit 122 erzeugt das in 6(b) gezeigte Kantenbild (E) (Schritt S254) durch Setzen von 1, wenn der Pixelwert der Differenz zu einem der angrenzenden Pixel in dem in 6(a) gezeigten Einzelbild größer oder gleich einem Schwellwert ist, und Setzen von 0, wenn der Pixelwert kleiner als der Schwellwert ist. Die Erzeugung eines Kantenbilds wird auch als „Konturextraktion“ bezeichnet.
Als Nächstes extrahiert die Kantenbilderzeugungseinheit 122 ein Kantenbild (BE) unterhalb der Horizontlinie (Schritt S256). Die Horizontlinie wird in dem aktuellen Einzelbild durch eine Horizontlinienerkennungseinheit 124 unter Verwendung eines genetischen Algorithmus erkannt. Die Verarbeitung zur Erkennung der Horizontlinie wird später beschrieben.
7 ist ein Bildbeispiel, das eine Extraktion des Kantenbilds (BE) unterhalb der Horizontlinie veranschaulicht. Eine von der Horizontlinienerkennungseinheit 124 erkannte Horizontlinie HL ist in dem in 7(a) gezeigten Kantenbild (E) eingezeichnet. Das Kantenbild (BE) unterhalb der Horizontlinie HL wird dann extrahiert (Schritt S258), wie es in 7(b) gezeigt ist.
8 ist ein Bildbeispiel, das eine Extraktion der Differenz (DBE) zwischen dem Kantenbild (BE) unterhalb der Horizontlinie und dem Hintergrundbild des Kantenbilds (BE) veranschaulicht. Die Hintergrundbilderzeugungseinheit 116 erzeugt das in 8(b) gezeigte Hintergrundbild unter Verwendung des in 8(a) gezeigten Kantenbilds (BE) unterhalb der Horizontlinie. Die Kantenbilderzeugungseinheit 122 gewinnt dann die Differenz (DBE) zwischen dem Kantenbild (BE) und dem Hintergrundbild des Kantenbilds (BE), wie sie in 8(c) gezeigt ist.
Das Kantenbild ist grob und somit enthält auch die Differenz (DBE) zwischen dem Kantenbild (BE) und dem Hintergrundbild des Kantenbilds (BE) viel Rauschen. 9. ist ein Bildbeispiel, das ein Entrauschen des Kantenbilds veranschaulicht. Die Kantenbilderzeugungseinheit 122 führt eine Binarisierungsverarbeitung an der in 9(a) gezeigten Differenz (DBE) zwischen dem Kantenbild (BE) und dem Hintergrundbild des Kantenbilds (BE) durch und erzeugt ein binarisiertes Bild (BDBE), wie es in 9(b) gezeigt ist. Ferner werden Dilatation und Erosion durchgeführt und es wird eine entrauschte Differenz (RBDBE) zwischen dem Kantenbild (BE) unterhalb der Horizontlinie (HL) und dem Hintergrundbild des Kantenbilds (BE) gewonnen, wie sie in 9(c) gezeigt ist (Schritt S260). Dilatation und Erosion werden später anhand von 13 beschrieben.
Die Bewegtobjekterkennungseinheit 118 kombiniert die entrauschte Differenz (RBDBE) zwischen dem Kantenbild (BE) unterhalb der Horizontlinie (HL) und dem Hintergrundbild des Kantenbilds (BE) mit dem binarisierten Bild (BDG), welches ein Graustufenbild ist. Es sei angemerkt, dass, obwohl ein Entrauschen durchgeführt wurde, die Möglichkeit besteht, dass die Differenz (RBDBE) zwischen dem Kantenbild (BE) und dem Hintergrundbild des Kantenbilds (BE) immer noch viel Rauschen enthält.
Daher bestimmt die Bewegtobjekterkennungseinheit 118 das Ausmaß an Rauschen der entrauschten Differenz (RBDBE) zwischen dem Kantenbild (BE) unterhalb der Horizontlinie (HL) und dem Hintergrundbild des Kantenbilds (BE) (Schritt S262). 10 ist ein Bildbeispiel, das das Kombinieren der Differenz (RBDBE) zwischen dem Kantenbild (BE) und dem Hintergrundbild des Kantenbilds (BE) veranschaulicht. Wie in 10 gezeigt ist, wird, wenn die Differenz (RBDBE) zwischen dem Kantenbild (BE) und dem Hintergrundbild des Kantenbilds (BE) viel Rauschen enthält (JA in Schritt S262), die Differenz (RBDBE) nicht kombiniert und das binarisierte Bild (BDG), welches ein Graustufenbild ist, unverändert als binarisiertes Bild (BDG') verwendet (Schritt S264). Enthält die Differenz (RBDBE) zwischen dem Kantenbild (BE) und dem Hintergrundbild des Kantenbilds (BE) nur wenig Rauschen (NEIN in Schritt S262), wird ein Bild als binarisiertes Bild (BDG') verwendet, das durch Kombination der Differenz (RBDBE) zwischen dem Kantenbild (BE) und dem Hintergrundbild des Kantenbilds (BE) mit dem binarisierten Bild (BDG') gewonnen wird, welches ein Graustufenbild ist (Schritt S266).
Gemäß der vorstehenden Ausgestaltung kann die Bildposition eines Abschnitts, in welchem ein Bewegtobjekt mit dem Boden verbunden ist, genau erkannt werden. Wenn das Objekt eine flache Textur aufweist oder sich langsam bewegt, kann somit das gesamte Objekt als Vordergrund erkannt werden und die Erkennungsrate verbessert werden. Daher kann ein Bewegtobjekt aus einer Bildsequenz aufgenommen mithilfe einer monokularen Kamera mit hoher Geschwindigkeit genau erkannt werden und die Sicherheit kostengünstig verbessert werden.
Das wie vorstehend erzeugte binarisierte Bild (BDG') kann außerdem in diesem Zustand als Vordergrund (EF) eingerichtet werden. Bei dieser Ausführungsform wird jedoch der Vordergrund unter Verwendung des Kantenbilds, das mit der Horizontlinie verbunden ist, gefiltert, um die Erkennungsrate weiter zu verbessern.
Beim Erzeugen des Kantenbilds (E) (Schritt S254) extrahiert die Bewegtobjekterkennungseinheit 118 laut der vorstehenden Beschreibung das Kantenbild (BE) unterhalb der Horizontlinie (Schritt S256). Parallel dazu wird ein Kantenbild (CE), das mit der Horizontlinie verbunden ist, aus dem Kantenbild (E) extrahiert (Schritt S270).
11 ist ein Bildbeispiel, das das Kantenbild (CE) veranschaulicht, das mit der Horizontlinie verbunden ist. 11(a) zeigt das gleiche Kantenbild (E) wie 6(b) und 7(a). Werden in diesem Kantenbild (E) nur diejenigen Pixel extrahiert, die mit der durch die Horizontlinienerkennungseinheit 124 erkannten Horizontlinie verbunden sind, kann ein Kantenbild (CE) erhalten werden, das mit der Horizontlinie verbunden ist, wie es in 11(b) gezeigt ist.
11(c) zeigt ein Beispiel für den Ausdruck einer Bedingung für die Extraktion der Pixel.
Die Bewegtobjekterkennungseinheit 118 bestimmt dann, ob sich das Automobil 10 bewegt, bzw. anders ausgedrückt, ob sich die Bewegtobjekterkennungsvorrichtung 100 bewegt (Schritt S272). Wenn sich die Bewegtobjekterkennungsvorrichtung bewegt, ändern sich Bildpositionen der Straße und des Gebäudes, wodurch sich die Positionen ihrer Konturen verschieben, und Kanten werden mittels des Hintergrundsubtraktionszverfahrens erkannt. Die Grenze zwischen der Straße und dem Gebäude ist kein Bewegtobjekt, diese Kanten stellen daher Rauschen dar.
12 ist ein Bildbeispiel, das eine Filterung des binarisierten Bildes (BDG') veranschaulicht. Wenn sich das Automobil 10 nicht bewegt (NEIN in Schritt S272), wird, wie in 12 gezeigt ist, das binarisierte Bild (BDG') unverändert als Vordergrund (EF) eingerichtet (Schritt S276). Wenn sich das Automobil 10 bewegt (JA in Schritt S272), wird eine Filterung durchgeführt, indem eine UND-Verknüpfung des binarisierten Bilds (BDG') mit dem Kantenbild (CE), das mit der Horizontlinie verbunden ist, durchgeführt (nur gemeinsame Pixel verbleiben) (Schritt S274).
Gemäß der vorstehenden Ausgestaltung kann die Kante der Grenze zwischen der Straße und dem Gebäude, welche erscheint, wenn sich die Bewegtobjekterkennungsvorrichtung bewegt, als Rauschen entfernt werden. Dadurch kann Rauschen stark vermindert werden und außerdem die Erkennungsrate von Bewegtobjekten weiter verbessert werden.
Als Nächstes führt die Bewegtobjekterkennungseinheit 118 ein Entrauschen des Vordergrunds (EF) durch (Schritt S278). 13 ist ein Bildbeispiel, das Dilatation und Erosion von Vordergründen veranschaulicht. Es sind immer noch Lücken und feine Fragmentierungen vorhanden. Die Vordergründe werden daher, wie in 13(b) gezeigt ist, vergrößert; anschließend werden die Vordergründe, wie in 13(c) gezeigt ist, reduziert (Schritt S236).
Dilatation ist eine Verarbeitung, bei welcher - wobei Hintergrundpixel als schwarz definiert sind, Vordergrundpixel als weiß definiert sind und ein Filterdurchmesser beispielsweise als 5×5 definiert ist - bei Zentrierung auf alle weißen Pixel alle Pixel innerhalb des Filterdurchmessers auf weiß gesetzt werden. Erosion ist das Gegenteil der Dilatation, es beschreibt eine Verarbeitung zum Setzen aller Pixel innerhalb des Filterdurchmessers bei Zentrierung auf alle schwarzen Pixel auf schwarz. Nach Durchführung von Dilatation und Erosion kehren Außenkantenkonturen zu ihrer ursprünglichen Position zurück, Lücken und Fragmentierungen (Diskontinuitäten), die durch die Dilatation gefüllt wurden, bleiben jedoch selbst nach Durchführung der Erosion gefüllt, somit kann ein Glätten auf Grundlage von benachbarten Pixeln durchgeführt werden.
Wie anfangs beschrieben wurde, liegt bei dem Hintergrundsubtraktionszverfahren keine Luminanzdifferenz zwischen dem Hintergrundbild und dem aktuellen Einzelbild vor, wenn ein Objekt eine flache Textur aufweist oder die Farbe eines Abschnitts eines Objekts der Farbe des Hintergrunds ähnlich ist, es gibt daher Fälle, bei denen nur ein Abschnitt des Objekts erkannt werden kann. In diesem Fall sind Vordergründe voneinander separiert; Vordergründe können daher nicht alleine durch die vorstehend beschriebene Glättung, Dilatation und Erosion miteinander verknüpft werden. Angesichts dessen werden bei der vorliegenden Erfindung Kandidatenrahmen integriert und separiert; dies wird später beschrieben.
Gruppierung ist eine Verarbeitung, bei der mehrere Erkennungsrahmen eines einzigen Bewegtobjekts, das aufgrund von fehlerhafter Erkennung als mehrere Erkennungsrahmen extrahiert wurde, in einen einzigen Erkennungsrahmen gewandelt werden. Separierung ist eine Verarbeitung, bei der bestimmt wird, dass benachbarte Erkennungsrahmen mehrere benachbarte Bewegtobjekte darstellen, und diese als unabhängige Erkennungsrahmen verwendet werden.
14 ist ein Bildbeispiel, das das Einrichten von Erkennungsrahmen veranschaulicht. Die Bewegtobjekterkennungseinheit 118 erkennt die Konturen von extrahierten Vordergründen und definiert Einfassungen, die die Vordergründe als Primärkandidatenrahmen 150a bis 150f umschließen, wie dies in 14(a) gezeigt ist (Schritt S238). Die Bewegtobjekterkennungseinheit 118 bezieht dann Erkennungsrahmen des vorigen Einzelbildes von einer Speichereinheit 120 (Schritt S240). Es sei darauf hingewiesen, dass diese Gruppierungs- und Separationsverarbeitungen (Schritte S240 bis S244) übersprungen werden, wenn beim aktuellen Einzelbild noch kein Erkennungsrahmen des vorigen Einzelbilds vorliegt.
Die Bewegtobjekterkennungseinheit 118 richtet dann aus den in 14(a) gezeigten Primärkandidatenrahmen 150a bis 150f Primärkandidatenrahmen, welche die Erkennungsrahmen 152a bis 152c des vorigen Einzelbilds um mindestens eine vorbestimmte Überlapprate (z. B. 50 % oder mehr) überlappen, als Sekundärkandidatenrahmen 154a 154d ein, wie sie in 14(b) gezeigt sind (Schritt S242). In 14(b) sind Erkennungsrahmen 152 des vorigen Einzelbilds durch strichpunktierte Linien angegeben und Sekundärkandidatenrahmen 154 durch punktierte Linien angegeben. Die Primärkandidatenrahmen 150e bis 150f aus den Primärkandidatenrahmen 150a bis 150f, die nicht zu Sekundärkandidatenrahmen geworden sind, werden unverändert zu Erkennungsrahmen (ein „Erkennungsrahmen“ ist kein Kandidat).
Die Bewegtobjekterkennungseinheit 118 gruppiert Sekundärkandidatenrahmen aus den Sekundärkandidatenrahmen 154, die Erkennungsrahmen 152 des vorigen Einzelbilds überlappen. Die Sekundärkandidatenrahmen 154a und 154b überlappen den Erkennungsrahmen 152b des vorigen Einzelbilds, der sich in 14(b) links befindet; sie werden daher gruppiert. Anschließend werden die gruppierten Sekundärkandidatenrahmen 154a und 154b, welche in y-Achsenrichtung mindestens um eine vorbestimmte Überlapprate (z. B. 30 % oder größer) überlappen, wie in 14(c) gezeigt ist, als integrierter Erkennungsrahmen 156a definiert. Überlappen die gruppierten Sekundärkandidatenrahmen 154a und 154b in y-Achsenrichtung nicht mindestens um die vorbestimmte Fläche, werden sie als separate (unabhängige) Erkennungsrahmen definiert (Schritt S244). Es sei angemerkt, dass „in y-Achsenrichtung um eine vorbestimmte Überlapprate überlappen“ gleichbedeutend mit einem Überlappen um eine vorbestimmte Überlapprate von Koordinatenbereichen von Rahmen in x-Achsenrichtung ist.
Um das Vorstehende zusammenzufassen, werden also folgende drei Arten von Rahmen als „Erkennungsrahmen“ betrachtet:

- Primärkandidatenrahmen, die nicht zu Sekundärkandidatenrahmen wurden (150e und 150f),
- Sekundärkandidatenrahmen, die integriert wurden (156a), und
- Sekundärkandidatenrahmen, die nicht integriert wurden und somit separiert bleiben (154c und 154d).

15 ist ein weiteres Bildbeispiel, das Gruppierung und Separation veranschaulicht, und zeigt Verarbeitungsbeispiele, bei denen zwei scheinbar überlappende Fußgänger separiert werden. 15(a) zeigt das aktuelle Einzelbild. Die zwei Fußgänger gehen auf einer Straße. 15(b) zeigt aus dem aktuellen Einzelbild extrahierte Vordergründe und entspricht einem mittigen Abschnitt des aktuellen Einzelbilds. Der Vordergrund der Person rechts im Bild wird durch einen einzigen Primärkandidatenrahmen 150g repräsentiert, der Vordergrund der Person links im Bild wird durch zwei Primärkandidatenrahmen 150h und 105i repräsentiert, die vertikal separiert sind. Die Gesamtzahl der Blöcke der Vordergründe der zwei Fußgänger beträgt drei. 15(c) zeigt einen Vordergrund, der aus dem vorigen Einzelbild extrahiert wurde, und einen Erkennungsrahmen. Die zwei Fußgänger schienen sich bereits im vorigen Einzelbild zu überlappen, die beiden Personen werden daher durch einen einzigen großen Erkennungsrahmen 152d repräsentiert.
Anschließend lagert die Bewegtobjekterkennungseinheit 118, wie in 15(d) gezeigt ist, den Erkennungsrahmen 152d des vorigen Einzelbilds über die Primärkandidatenrahmen 150 und richtet Primärkandidatenrahmen 150, die den Erkennungsrahmen 152d mindestens um eine vorbestimmte Überlapprate überlappen, als Sekundärkandidatenrahmen ein. In diesem Beispiel werden alle drei Primärkandidatenrahmen 150g bis 150i zu drei Sekundärkandidatenrahmen 154e bis 154g. Außerdem überlappen die drei Sekundärkandidatenrahmen 154e bis 154g den Erkennungsrahmen 152d desselben vorigen Einzelbilds; sie werden daher gruppiert.
In 15(d) überlappen sich die Sekundärkandidatenrahmen 154f und 154g in y-Achsenrichtung mindestens um eine vorbestimmte Überlapprate, sie werden daher, wie in 15(e) gezeigt ist, als integrierter Erkennungsrahmen 156b definiert. Der Sekundärkandidatenrahmen 154e überlappt den integrierten Erkennungsrahmen 156b in y-Achsenrichtung nicht mindestens um die vorbestimmte Fläche, er bleibt daher separiert und wird nicht integriert. Wie in 15(f) gezeigt ist, wird als Ergebnis für die beiden Fußgänger jeweils ein Erkennungsrahmen eingerichtet (der Sekundärkandidatenrahmen 154e und der integrierte Erkennungsrahmen 156b). Es sei darauf hingewiesen, dass bei der Bestimmung des Überlappungsgrads die Größe (Länge) in x-Achsenrichtung eines Abschnitts, in welchem sich zwei Kandidatenrahmen überlappen, mit der Größe in x-Achsenrichtung des in dieser Richtung kleineren der beiden Kandidatenrahmen verglichen werden kann.
Auf diese Weise ist es möglich, die drei Vordergründe angemessen zu integrieren und Erkennungsrahmen für die zwei Bewegtobjekte einzurichten. Zugleich kann ein einziger Erkennungsrahmen im vorigen Einzelbild im aktuellen Einzelbild in zwei Erkennungsrahmen separiert werden.
16 ist ein Bildbeispiel, das eine Filterverarbeitung von Erkennungsrahmen veranschaulicht (Schritt S246). 16(a) zeigt die Erkennungsrahmen nach Abschluss der Gruppierung und Separation (siehe 14(c)). In 16(a) wird der Fahrradfahrer links im Bild als integrierter Erkennungsrahmen 156a definiert, die zwei Automobile in der Bildmitte werden als Sekundärkandidatenrahmen 154c und 154d erkannt. Die Primärkandidatenrahmen 150e und 150f bleiben zwar Erkennungsrahmen, sie sind jedoch äußerst klein und können somit auch als Rauschen betrachtet werden.
Angesichts dessen entfernt in dieser Ausführungsform eine Filtereinheit 126 Erkennungsrahmen, die keine vorbestimmte Größe und kein vorbestimmtes Seitenverhältnis aufweisen, aus den Erkennungsrahmen, die im aktuellen Einzelbild erkannt wurden (ASF: Flächengrößen-Filterung). Demgemäß werden äußerst kleine Erkennungsrahmen und äußerst lange und schmale Erkennungsrahmen entfernt.
In dem Beispiel aus 16(b) werden äußerst kleine Erkennungsrahmen (die Primärkandidatenrahmen 150e und 150f) durch die Filterverarbeitung entfernt, der integrierte Erkennungsrahmen 156a und die Sekundärkandidatenrahmen 154c und 154d verbleiben. Es sei angemerkt, dass in 16(b) diese finalen Erkennungsrahmen dem Graustufenbild des aktuellen Einzelbilds und nicht einem Binärbild überlagert sind und dort gezeigt sind.
Eine Bewegung der Kamera sowie die Verwendung einer Weitwinkelkamera (wie etwa Fischaugenkamera) können zu einer Zunahme von Rauschen führen. Angesichts dessen ist es möglich, Rauschen zu entfernen, indem die vorstehend beschriebene Filterverarbeitung durchgeführt wird, und die Erkennungsgenauigkeit von Bewegtobjekten zu verbessern.
Die Bewegtobjekterkennungseinheit 118 registriert die finalen Erkennungsrahmen, an denen die Filtereinheit 126 eine Filterverarbeitung durchgeführt hat, in der Speichereinheit 120 (Schritt S218). Die Erkennungsrahmen werden mit Einzelbildnummern verknüpft gespeichert. Es ist somit möglich, die registrierten Erkennungsrahmen für ein beliebiges Einzelbild auszulesen. Insbesondere werden, so wie in der vorstehenden Beschreibung Erkennungsrahmen aus dem vorigen Einzelbild für die Bildverarbeitung des aktuellen Einzelbilds verwendet wurden, Erkennungsrahmen aus dem aktuellen Einzelbild für die Bildverarbeitung des nächsten Einzelbilds verwendet. Außerdem werden Erkennungsrahmen, die durch die Bewegtobjekterkennungsvorrichtung 100 eingerichtet wurden, von einer Ausgabeeinheit 130 an das Bremssystem 14, einen Monitor (nicht dargestellt) und dergleichen gesendet.
Die Hintergrundbilderzeugungseinheit 116 erzeugt (aktualisiert) ein Hintergrundbild zur Verarbeitung des nächsten Einzelbilds (Schritt S220). Aus dem ersten Einzelbild von mehreren von der Einzelbilderfassungseinheit 112 bezogenen Einzelbildern wird kein Vordergrund extrahiert, dieses erste Einzelbild wird nur als Hintergrundbild verwendet. Beim Extrahieren von Vordergründen aus dem zweiten Einzelbild wird das erste Einzelbild als Hintergrundbild verwendet. Beim Extrahieren von Vordergründen aus dem dritten Einzelbild oder späteren Einzelbildern wird ein Hintergrundbild verwendet, das von der Hintergrundbilderzeugungseinheit 116 erzeugt (aktualisiert) wurde.
17 ist ein Bildbeispiel, das die Erzeugung eines Hintergrundbilds veranschaulicht. Die Hintergrundbilderzeugungseinheit 116 kombiniert ein Hintergrundbild mit dem aktuellen Einzelbild, um das Hintergrundbild zu aktualisieren, und richtet dann das aktualisierte Hintergrundbild als Hintergrundbild für die Verarbeitung des nächsten Einzelbilds ein. Als ein spezielles Beispiel, wie es in 17 gezeigt ist, wird ein Bild, bei dem die Luminanz des aktuellen Einzelbilds auf 25 % verringert ist, mit einem Bild, bei dem die Luminanz eines Hintergrundbilds auf 75 % verringert ist, kombiniert und daraus ein Hintergrundbild erzeugt. Durch aufeinander folgendes Erzeugen (Aktualisieren) eines Hintergrundbilds auf diese Weise kann - selbst bei Aufnahme einer Bildsequenz bei sich bewegender Kamera oder bei einer Bildsequenz, das nie in einem Zustand ist, bei dem kein Bewegtobjekt vorliegt - ein geeignetes Hintergrundbild erzeugt werden.
Außerdem sind bei dem Hintergrundsubtraktionszverfahren die Rechenkosten für eine Aktualisierung eines auf Lernen beruhenden Hintergrundmodells hoch, es wurde daher als schwierig erachtet, eine derartige Aktualisierung eines Hintergrundmodells auf Hochgeschwindigkeitsbildverarbeitungen anzuwenden. Der Rechenaufwand zur Kombination eines vorigen Hintergrundbilds mit dem aktuellen Einzelbild wie in dieser Ausführungsform ist jedoch gering, es ist somit möglich, die Effizienz bezüglich der Rechenkosten des Gesamtsystems zu erhöhen.
Nach Abschluss der Erzeugung eines Hintergrundbilds wird bestimmt, ob ein nächstes Einzelbild vorliegt oder nicht (Schritt S222). Liegt ein nächstes Einzelbild vor, wird die vorstehend beschriebene Verarbeitungsreihe wiederholt. Liegt kein nächstes Einzelbild vor, endet der Ablauf.
Wie vorstehend beschrieben wurde, werden gemäß der Bewegtobjekterkennungsvorrichtung und dem Bewegtobjekterkennungsverfahren gemäß dieser Ausführungsform im aktuellen Einzelbild Gruppierung und Separation an Kandidatenrahmen durchgeführt, die Erkennungsrahmen aus dem vorigen Einzelbild überlappen. Die Art von Bewegtobjekten und deren Entfernung müssen nicht bestimmt werden, Gruppierung und Separation von Kandidatenrahmen können zudem selbst bei Vorliegen von viel Rauschen durchgeführt werden.
Es ist daher selbst bei einem Bild einer kostengünstigen monokularen Kamera und bei einem Bild, das von einer sich bewegenden Kamera wie einer fahrzeuggebundenen Kamera aufgenommen wurde, möglich, Erkennungsrahmen einzurichten, die Bewegtobjekten geeignet entsprechen. Das Hintergrundsubtraktionszverfahren ermöglicht außerdem Hochgeschwindigkeitsverarbeitungen; ebenso können vorstehend beschriebene Gruppierungs- und Separationsverarbeitungen von Kandidatenrahmen und Filterverarbeitungen mit hoher Geschwindigkeit durchgeführt werden. Daher können sich nähernde Bewegtobjekte mit hoher Geschwindigkeit genau erkannt werden und die Sicherheit erhöht werden.
Insbesondere ist der Algorithmus für die Gruppierung und Separation einfach; verglichen mit einem herkömmlichen simplen Hintergrundsubtraktionszverfahren ist somit die Zunahme des Rechenaufwands gering, obwohl die Erkennungsrate von Bewegtobjekten stark zunimmt. Diese Vorgehensweise ist extrem zweckmäßig und ihr technischer Vorteil ist im Vergleich zu herkömmlichen Vorgehensweisen hinreichend groß. Bei der vorliegenden Erfindung wird außerdem nur eine monokulare Kamera verwendet, die vorliegende Erfindung ist somit bezüglich Kosten im Vergleich zu herkömmlichen Vorgehensweisen, bei denen mehrere Kameras, ein Laserradar, eine Infrarotkamera oder dergleichen verwendet werden, sehr vorteilhaft.
Die vorliegende Erfindung kann auf ein fahrzeuggebundenes Fahrsicherheitssystem zur Verhinderung von Frontalzusammenstößen und ein automatisches Fortbewegungssystem einer beweglichen Vorrichtung wie einem Roboter angewendet werden. Darüber hinaus besteht keine Beschränkung auf Systeme, die in Automobilen, Robotern und dergleichen eingebaut sind; die vorliegende Erfindung kann auch auf Überwachungssysteme angewendet werden, die unbeweglich montiert sind und eine Weitwinkel-Sicherheitskamera verwenden.
Bei der vorstehenden Ausführungsform wurde beschrieben, dass die Filtereinheit 126 Erkennungsrahmen entfernt, die keine vorbestimmte Größe und kein vorbestimmtes Seitenverhältnis aufweisen (ASF). In diesem Zusammenhang kann auch eine Ausgestaltung verwendet werden, bei welcher anstatt oder zusätzlich zu der ASF die Horizontlinienerkennungseinheit 124 die Horizontlinie erkennt und eine oder mehrere Erkennungsrahmen, die die Horizontlinie nicht um ein vorbestimmtes Verhältnis überlappen, aus den einen oder mehreren Erkennungsrahmen, die im aktuellen Einzelbild erkannt wurden, löscht (HLF: Horizontallinienfilterung).
18 ist ein Bildbeispiel, das eine Filterverarbeitung veranschaulicht, die eine Horizontlinie verwendet. 18(a) zeigt ein binarisiertes Bild und Erkennungsrahmen (für welche Gruppierungs- und Separationsverarbeitungen durchgeführt wurden) 18(b) zeigt einen Erkennungsrahmen, der einer Filterverarbeitung unterzogen wurde, und ein Graustufenbild des aktuellen Einzelbilds, dem der Erkennungsrahmen überlagert ist.
Wie aus dem Vergleich der 18(a) mit 18(b) ersichtlich wird, besteht bei einer Bildsequenz, das von einer fahrzeuggebundenen Kamera oder dergleichen aufgenommen wurde, während sich diese bewegt, die Möglichkeit, dass Verkehrszeichen und Fußgängerübergänge (Erkennungsrahmen 160b eines Fußgängerübergangs) in einem unteren Abschnitt des Bilds und Gebäude, Werbeschilder, Ampeln, Stromleitungen, Straßenlampen und dergleichen (Erkennungsrahmen 160c eines Werbeschilds, Erkennungsrahmen 160d einer Stromleitung, Erkennungsrahmen 160e einer Straßenlampe) in einem oberen Abschnitt des Bilds als Bewegtobjekte erkannt werden. Bei der vorliegenden Erfindung handelt es sich bei zu erkennenden sich bewegenden Objekten um Objekte, die sich auf dem Boden fortbewegen, wie etwa Fußgänger oder Automobile (Erkennungsrahmen 160a eines Automobils).
Angesichts dessen werden für alle Erkennungsrahmen 160 die von der Horizontlinie HL separierten Flächen a und b entsprechend dem in 18(c) gezeigten Erkennungsausdruck bestimmt und Erkennungsrahmen entfernt, die die Horizontlinie HL nicht um ein vorbestimmtes Verhältnis überlappen. Bei dieser Ausführungsform werden Erkennungsrahmen, für die der Erkennungsausdruck |a-b| /(a+b) ≤ 0,6 wahr ist, beibehalten (Correct = 1) und die anderen Erkennungsrahmen entfernt (Correct = 0).
Spezielle Beispiele für den Erkennungsausdruck: Führt die Horizontlinie HL durch den Mittelpunkt eines Erkennungsrahmens ist a = b und der Wert des Erkennungsausdrucks beträgt 0, Correct = 1, und der Erkennungsrahmen 160 verbleibt. Überlappt die Horizontlinie HL keinen Erkennungsrahmen, beträgt der Wert des Erkennungsausdrucks 1, Correct = 0, und der Erkennungsrahmen 160 wird entfernt.
Es sei darauf hingewiesen, dass der Schwellwert nur als ein Beispiel als 0,6 angegeben ist und dass der Zahlenwert des Schwellwerts geeignet gewählt werden kann. Der Schwellwert kann zum Beispiel auch entsprechend | a-b | /(a+b) < 1 gewählt werden. In diesem Fall werden nur Erkennungsrahmen entfernt, die die Horizontlinie HL überhaupt nicht überlappen.
Auf diese Weise ist es möglich, durch geeignete Hochgeschwindigkeitsverarbeitungen Erkennungsrahmen 160 zu entfernen, die nicht Erkennungsrahmen von beweglichen Einheiten sind. Dadurch kann die Erkennungsgenauigkeit von Bewegtobjekten verbessert werden, deren Erkennung zur Gefahrenvermeidung gewünscht ist.
Zur Erkennung von Horizontlinien sind diverse Vorgehensweisen denkbar, in dieser Ausführungsform wird jedoch zur Erkennung von Horizontlinien ein genetischer Algorithmus verwendet. Der genetische Algorithmus löst Optimierungs- und Suchprobleme durch Nachahmen der Prinzipien biologischer Evolution. Der biologische Evolutionsprozess, der Mutationen, Kreuzungen und Selektion umfasste, verbessert die Chancen, eine globale Lösung zu finden, und somit ist der genetische Algorithmus das am meisten bevorzugte Verfahren. Demgemäß kann eine Horizontlinie genau erkannt werden, die nur schwierig zu identifizieren ist, da die Formen eines Gebäudes und einer Straße stören.
19 ist ein Diagramm, das Bedingungen und dergleichen des genetischen Algorithmus veranschaulicht. Eine kurze Beschreibung der nachstehend beschriebenen Erkennung einer Horizontlinie: Die Grenzlinie zwischen einer Straßenoberfläche und einem anderen Objekt (einer Struktur wie etwa ein Gebäude, der Himmel oder dergleichen) wird mittels des genetischen Algorithmus erkannt und als Horizontlinie definiert. P_i (x_i ,y _i ) steht für den i-ten Pixel (Punkt) auf der Horizontlinie. x _i ist eine x-Koordinate des i-ten Punkts auf der Horizontlinie, y_i ist eine y-Koordinate des i-ten Punkts auf der Horizontlinie und entspricht der Höhe einer Grundlinie B + Konstante a + Variable b _i . Außerdem sind a, b₀ , b₁ , ... b_M als Chromosomen des genetischen Algorithmus definiert.
20 ist ein Flussdiagramm des genetischen Algorithmus. Die Filtereinheit 126 initialisiert zunächst den Algorithmus mit vorbestimmten Anfangswerten (Schritt S250). Als ein Beispiel können als Anfangswerte des Algorithmus die Anzahl von Generationen (50), die anfängliche Anzahl von Individuen (50), die Crossover-Rate (0,7) und die Mutationsrate (0,01) gewählt sein.
Als Nächstes werden anfänglichen Individuen temporäre Parameter zugewiesen und eine Kandidatenlinie für die Horizontlinie erzeugt (Schritt S252). Unter Wiederholung von Crossover und Mutation entsprechend der Logik des genetischen Algorithmus wird der Übereinstimmungsgrad der Kandidatenlinie mit einer Zielfunktion evaluiert (Schritt S254). Es sei darauf hingewiesen, dass Crossover und Mutation des genetischen Algorithmus als bekannte Vorgehensweise betrachtet werden, auf eine ausführliche Beschreibung davon wird daher verzichtet.
21 ist ein Diagramm, das die Zielfunktion des genetischen Algorithmus veranschaulicht. Eine Zielfunktion F repräsentiert die Anzahl von Pixeln DiffTB(j,x), deren Pixelwertdifferenz einen Schwellwert übersteigt. j gibt eine Evaluierungsbreite an, eine Evaluierungslänge L ist der Maximalwert von j. x steht für eine x-Koordinate einer Zwischenposition zwischen dem Pixel P_i (x_i ,y_i ) und einem Pixel P_i+1(x_i+1,y_i+1). y(x) gibt eine Funktion von x an, welche die y-Koordinate eines Pixels P durch lineare Interpolation (Gleichung ersten Grades) repräsentiert.
Der Pixelwert (Graustufenwert) des i-ten Pixels P_i (x_i ,y_i ) wird durch P(x_i,y_i) ausgedrückt. Zur Bestimmung derjenigen Pixel DifETB(j, x), deren Pixelwerte eine Differenz aufweisen, wird 1 gewählt, wenn die Pixelwertdifferenz |P(x,y(x)+j)-P(x,y(x)-j)| größer als oder gleich groß wie ein Schwellwert ist, und 0 gewählt, wenn sie kleiner ist als der Schwellwert. DiffTB(j,x) beträgt 1, wenn sich die Pixelwerte (Graustufenwerte) als Ergebnis eines Vergleichs von Pixelwerten an Positionen, die in y-Achsenrichtung um 2j voneinander getrennt liegen, um mindestens einen Schwellwert unterscheiden. Demzufolge ist der Wert der Zielfunktion F größer, da die Horizontlinie, die durch die Chromosomen a, b₀ , b₁ , ... b_M gebildet wird, näher an der Grenzlinie zwischen der Straßenoberfläche und anderen Objekten liegt. Anders ausgedrückt ist die Erkennung der Horizontlinie mittels dieses genetischen Algorithmus eine Extraktion einer Kontur der Oberkante der Straßenoberfläche.
DiffTN und DiffBN in der Evaluierungsfunktion F werden als Ergebnis des Vergleichs von Pixelwerten der Pixel P(x,y(x)-j) bzw. P(x,y(x)+j) mit angrenzenden (nächsten) Pixeln bestimmt. Daher nimmt der Wert der Evaluierungsfunktion F gemäß DiffTN zu, wenn eine Kontur bzw. vertikale Linie eines Objekts, wie etwa ein Gebäude, Auto und anderes, oberhalb der Horizontlinie (horizontale Linie) liegt. Im Gegensatz dazu erhöht DiffBN den Wert der Evaluierungsfunktion F, wenn keine Veränderung in dem Bereich unterhalb der horizontalen Line verursacht durch eine schwindende Erdoberfläche bzw. Basisebene gegeben ist. Der Wert ist am Schnittpunkt der horizontalen Linie mit der vertikalen Linie größer; anders ausgedrückt ist der Wert am Übergang von Gebäude zu Boden größer. Die Genauigkeit der Erkennung der Horizontlinie kann daher verbessert werden.
Nach Abschluss der Berechnung einer vorbestimmten Anzahl von Generationen gibt die Filtereinheit 126 eine ausgewählte Kandidatenlinie als Horizontlinie aus (Schritt S256). Die ausgegebene Horizontlinie wird für den Bestimmungsausdruck verwendet, der anhand von 18(c) beschrieben wurde.
Die Filtereinheit 126 bestimmt dann, ob ein nächstes Einzelbild vorliegt (Schritt S258). Wenn ein nächstes Einzelbild vorliegt, wiederholt sie die Horizontlinienerkennung mittels des genetischen Algorithmus, und wenn kein nächstes Einzelbild vorliegt, beendet sie die Verarbeitung zur Horizontlinienerkennung.
Erkennung einer Horizontlinie mittels des genetischen Algorithmus kann für ein einziges Bild durchgeführt werden. In diesem Falle kann die Verarbeitung für alle Einzelbilder durchgeführt werden, die Geschwindigkeit lässt sich jedoch stark erhöhen, indem nur Einzelbilder mit einem festen Zeitabstand verarbeitet werden. Indem Verarbeitungen mit einem festen Zeitabstand durchgeführt werden, wenn sich das Bild nicht verändert, und zusätzliche Verarbeitungen durchgeführt werden, wenn sich das Bild stark verändert, können die Verarbeitungsgeschwindigkeit sowie die Genauigkeit erhöht werden.
Ist ein Beschleunigungssensor eingebaut ist oder wird ein Signal eines Beschleunigungssensors von einem Navigationssystem empfangen, können zusätzliche Verarbeitungen auch dann durchgeführt werden, wenn die Kamera eine Kurve durchläuft oder Auf- und Abwärtsbewegungen durchgeführt werden. Demgemäß ist es einfach, Änderungen der Horizontlinie zu folgen, und die Erkennungsgenauigkeit kann verbessert werden.
Bei Horizontlinienerkennung mittels des genetischen Algorithmus ist es außerdem möglich, Geschwindigkeit und Genauigkeit zu erhöhen, indem ein Berechnungsergebnis des vorigen Einzelbilds verwendet wird (das vorige Einzelbild selbst wird nicht verwendet). Im Speziellen wird die Berechnung unter Verwendung von Chromosomeninformationen aller Individuen des genetischen Algorithmus, welche die im vorigen Einzelbild berechnete optimale Lösung umfassen, als anfängliche Chromosomen einer Ausgangspopulation von Individuen durchgeführt (evolutionäre Videoverarbeitung). Insbesondere bei Durchführung der Verarbeitung an allen Einzelbildern oder bei Durchführung der Verarbeitung an Einzelbildern mit kurzen Zeitabständen ist die Bewegung der Horizontlinie im Bild gering; wenn das Berechnungsergebnis des vorigen Einzelbilds verwendet wird, benötigt die Umwandlung in die optimale Lösung also nur sehr kurze Zeit. Daher ist selbst eine CPU eines fahrzeuggebundenen Computers in der Lage, Berechnungen mit für Echtzeitverarbeitungen ausreichender Geschwindigkeit durchzuführen, und es ist möglich, die Horizontlinie kontinuierlich zu erkennen.
Durch Löschung von Erkennungsrahmen, die die Horizontlinie nicht um ein vorbestimmtes Verhältnis überlappen, kann, wie vorstehend beschrieben ist, die Genauigkeit der Erkennung eines Bewegtobjekts erhöht werden. Durch Verwendung des genetischen Algorithmus zur Erkennung einer Horizontlinie kann außerdem die Horizontlinie genau erkannt werden.
GEWERBLICHE ANWENDBARKEIT
Die vorliegende Erfindung kann als Bewegtobjekterkennungsvorrichtung und Bewegtobjekterkennungsverfahren verwendet werden, die kostengünstig und sicher sind, und sie kann ein Bewegtobjekt aus einer Bildsequenz aufgenommen mithilfe einer monokularen Kamera mit hoher Geschwindigkeit genau erkennen.
Bezugszeichenliste
10 ... Automobil; 12 ... fahrzeuggebundene Kamera; 14 ... Bremssystem; 100 ... Bewegtobjekterkennungsvorrichtung; 110 ... Eingabeeinheit; 112 ... Einzelbilderfassungseinheit; 114 ... Vorverarbeitungseinheit; 116 ... Hintergrundbilderzeugungseinheit; 118 ... Bewegtobjekterkennungseinheit; 120 ... Speichereinheit; 122 ... Kantenbilderzeugungseinheit; 124 ... Horizontlinienerkennungseinheit; 126 ... Filtereinheit; 130 ... Ausgabeeinheit; 150 ... Primärkandidatenrahmen; 152 ... Erkennungsrahmen aus vorigem Einzelbild; 154 ... Sekundärkandidatenrahmen; 156 ... integrierter Erkennungsrahmen; 160 ... Erkennungsrahmen
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2010092353 A [0006]
JP 2017178431 [0010]

Claims

Bewegtobjekterkennungsvorrichtung (100) mit: einer Eingabeeinheit (110) zum Eingeben einer Bildsequenz; einer Einzelbilderfassungseinheit (112), die eingerichtet ist zum kontinuierlichen Extrahieren von mehreren Einzelbildern aus einer Bildsequenz; einer Horizontlinienerkennungseinheit (124), die eingerichtet ist zum Erkennen einer Horizontlinie (HL) in einem Einzelbild; einer Kantenbilderzeugungseinheit (122), die eingerichtet ist zum Erzeugen eines Kantenbilds (E) aus einem Einzelbild; und einer Bewegtobjekterkennungseinheit (118), die eingerichtet ist zum Einrichten eines Erkennungsrahmens (152a, 152b, 152c, 152d) für ein Bewegtobjekt, wobei die Kantenbilderzeugungseinheit (122) ein Kantenbild (BE) unterhalb der Horizontlinie (HL), die durch die Horizontlinienerkennungseinheit (124) erkannt wurde, extrahiert und eine Differenz (RBDBE) zwischen dem Kantenbild (BE) unterhalb der Horizontlinie (HL) und einem Hintergrundbild des Kantenbilds (BE) mittels eines Hintergrundsubtraktionszverfahrens extrahiert und wobei die Bewegtobjekterkennungseinheit (118) ein Einzelbild in ein Graustufenbild wandelt und eine Differenz (BDG) zwischen dem Graustufenbild und einem Hintergrundbild des Graustufenbilds mittels des Hintergrundsubtraktionszverfahrens extrahiert und durch Kombination der Differenz (RBDBE) zwischen dem Kantenbild (BE) unterhalb der Horizontlinie (HL) und dem Hintergrundbild des Kantenbilds (BE) mit der Differenz (BDG) zwischen dem Graustufenbild und dem Hintergrundbild des Graustufenbilds einen Vordergrund (EF) erzeugt.
Bewegtobjekterkennungsvorrichtung (100) nach Anspruch 1, wobei die Bewegtobjekterkennungseinheit (118) die Differenz (RBDBE) zwischen dem Kantenbild (BE) unterhalb der Horizontlinie (HL) und dem Hintergrundbild des Kantenbilds (BE) mit der Differenz (BDG) zwischen dem Graustufenbild und dem Hintergrundbild des Graustufenbilds kombiniert, wenn die Differenz (RBDBE) zwischen dem Kantenbild (BE) unterhalb der Horizontlinie (HL) und dem Hintergrundbild des Kantenbilds (BE) nur wenig Rauschen aufweist.
Bewegtobjekterkennungsvorrichtung (100) nach Anspruch 1 oder 2, wobei die Kantenbilderzeugungseinheit (122) ein Kantenbild (CE) extrahiert, das mit der durch die Horizontlinienerkennungseinheit (124) erkannten Horizontlinie (HL) verbunden ist, und wobei die Bewegtobjekterkennungseinheit (118) den Vordergrund (EF) unter Verwendung des Kantenbilds (CE) filtert, das mit der Horizontlinie (HL) verbunden ist.
Bewegtobjekterkennungsvorrichtung (100) nach Anspruch 3, wobei die Bewegtobjekterkennungseinheit (118), wenn sich die Bewegtobjekterkennungsvorrichtung (100) bewegt, den Vordergrund (EF) unter Verwendung des Kantenbilds (CE) filtert, das mit der Horizontlinie (HL) verbunden ist.
Bewegtobjekterkennungsvorrichtung (100) mit: einer Eingabeeinheit (110) zum Eingeben einer Bildsequenz; einer Einzelbilderfassungseinheit (112), die eingerichtet ist zum kontinuierlichen Extrahieren von mehreren Einzelbildern aus einer Bildsequenz; einer Horizontlinienerkennungseinheit (124), die eingerichtet ist zum Erkennen einer Horizontlinie (HL) in einem Einzelbild; einer Kantenbilderzeugungseinheit (122), die eingerichtet ist zum Erzeugen eines Kantenbilds (E) aus einem Einzelbild; und einer Bewegtobjekterkennungseinheit (118), die eingerichtet ist zum Einrichten eines Erkennungsrahmens (152a, 152b, 152c, 152d) für ein Bewegtobjekt, wobei die Kantenbilderzeugungseinheit (122) ein Kantenbild (CE) extrahiert, das mit der durch die Horizontlinienerkennungseinheit (124) erkannten Horizontlinie (HL) verbunden ist, und wobei die Bewegtobjekterkennungseinheit (118) ein Einzelbild in ein Graustufenbild wandelt; eine Differenz (BDG) zwischen dem Graustufenbild und einem Hintergrundbild des Graustufenbilds mittels eines Hintergrundsubtraktionszverfahrens extrahiert und die Differenz (BDG) zu einem Vordergrund (EF) macht; und den Vordergrund (EF) unter Verwendung des Kantenbilds (CE) filtert, das mit der Horizontlinie (HL) verbunden ist.
Bewegtobjekterkennungsvorrichtung (100) nach Anspruch 5, wobei die Bewegtobjekterkennungseinheit (118), wenn sich die Bewegtobjekterkennungsvorrichtung (100) bewegt, den Vordergrund (EF) unter Verwendung des Kantenbilds (CE) filtert, das mit der Horizontlinie (HL) verbunden ist.
Bewegtobjekterkennungsverfahren, umfassend: einen Schritt mit Eingeben einer Bildsequenz; einen Schritt mit kontinuierlichem Extrahieren von mehreren Einzelbildern aus einer Bildsequenz; einen Schritt mit Extrahieren eines Kantenbilds (BE) unterhalb einer Horizontlinie (HL) aus einem Einzelbild; einen Schritt mit Extrahieren einer Differenz (RBDBE) zwischen dem Kantenbild (BE) unterhalb der Horizontlinie (HL) und einem Hintergrundbild des Kantenbilds (BE) mittels eines Hintergrundsubtraktionszverfahrens; einen Schritt mit Wandeln eines Einzelbilds in ein Graustufenbild und Extrahieren einer Differenz (BDG) zwischen dem Graustufenbild und einem Hintergrundbild des Graustufenbilds mittels des Hintergrundsubtraktionszverfahrens; und einen Schritt mit Erzeugen eines Vordergrunds (EF) durch Kombinieren der Differenz (RBDBE) zwischen dem Kantenbild (BE) unterhalb der Horizontlinie (HL) und dem Hintergrundbild des Kantenbilds (BE) mit der Differenz (BDG) zwischen dem Graustufenbild und dem Hintergrundbild des Graustufenbilds.
Bewegtobjekterkennungsverfahren, umfassend: einen Schritt mit Eingeben einer Bildsequenz; einen Schritt mit kontinuierlichem Extrahieren von mehreren Einzelbildern aus einer Bildsequenz; einen Schritt mit Extrahieren eines Kantenbilds (CE), das mit einer Horizontlinie (HL) verbunden ist, aus einem Einzelbild; einen Schritt mit Wandeln eines Einzelbilds in ein Graustufenbild, Extrahieren einer Differenz (BDG) zwischen dem Graustufenbild und einem Hintergrundbild des Graustufenbilds mittels eines Hintergrundsubtraktionszverfahrens und Machen der Differenz (BDG) zu einem Vordergrund (EF); und einen Schritt mit Filtern des Vordergrunds (EF) unter Verwendung des Kantenbilds (CE), das mit der Horizontlinie (HL) verbunden ist, wenn sich eine Aufnahmeposition des Bewegtbilds bewegt.