DE112014007249B4

DE112014007249B4 - Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm

Info

Publication number: DE112014007249B4
Application number: DE112014007249.4T
Authority: DE
Inventors: Ryosuke Sasaki
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-12-10
Filing date: 2014-12-10
Publication date: 2022-11-03
Anticipated expiration: 2034-12-11
Also published as: US10235768B2; CN107004363B; US20170301107A1; JP6227165B2; DE112014007249T5; WO2016092650A1; CN107004363A; JPWO2016092650A1

Abstract

Bildverarbeitungsvorrichtung (120), umfassend:eine Extraktionseinheit (121) zum Extrahieren einer Mehrzahl von Objekten, die zumindest ein sich bewegendes Objekt enthalten, aus einem aufgenommenen Bild (101), in welchem die Mehrzahl von Objekten fotografiert ist;eine Vorhersageeinheit (122) zum Vorhersagen einer zukünftigen Distanz zwischen der Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekten;eine Klassifikationseinheit (123) zum Klassifizieren der Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekte in Gruppen, basierend auf der durch die Vorhersageeinheit (122) zukünftigen Distanz; undeine Verarbeitungseinheit (124) zum Prozessieren des aufgenommenen Bilds (101) zu einem hervorgehobenen Bild, in welchem die Mehrzahl von durch die Klassifikationseinheit (123) klassifizierten Objekten getrennt für jede Gruppe hervorgehoben werden.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung, ein Fahrzeuganzeigesystem, eine Anzeigevorrichtung, ein Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm.
Hintergrund
Konventioneller Weise gibt es eine Laufinformations-Bereitstellvorrichtung, die einem visuellen Erkennungszustand eines Fahrers als Laufinformation zum Unterstützen des Fahrens (siehe beispielsweise WO2008/029802A1 ) bereitstellt. Die Laufinformations-Bereitstellvorrichtung klassifiziert sich in einige Gruppenobjekte um ein Fahrzeug gemäß einem Attribut jedes Objekts, und zeigt jede Gruppe mit einer anderen Farbe an. Die Objekte beinhalten andere Fahrzeuge, Fußgänger, Zeichen, Ampeln, Fußgängerübergänge und dergleichen. „Attribute“ eines Objektes sind beispielsweise eine Kategorie und eine Distanz des Objekts.
US 2012/0 320 212 A offenbart eine Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs und legt das Hauptaugenmerk auf die Erkennung und Anzeige von Zielobjekten in der Umgebung. Bei den Zielobjekten handelt es sich primär um Fußgänger, die sich vor einem Fahrzeug aufhalten und bewegen. Dabei unterscheidet die Vorrichtung verschiedene Bereiche vor dem Fahrzeug, von denen ein Bereich unmittelbar vor dem Fahrzeug als Warnbereich besondere Bedeutung hat. Wenn ein Fußgänger in dem Warnbereich erkannt wird, wird dieser Fußgänger in einer Anzeige der Gesamtsituation vor dem Fahrzeug hervorgehoben, indem ein Rahmen um die Darstellung des Fußgängers angezeigt wird. Diese Art der Darstellung wird für alle Fußgänger gewählt, die sich im Warnbereich vor dem Fahrzeug befinden. Neben dem Hervorheben mit Hilfe eines Rahmens werden auch andere Mittel beschrieben, die den Fahrer des Fahrzeugs auf eine Gefahrensituation aufgrund von Fußgängern im Warnbereich hinweisen. So wird für den Fall, dass mehrere Fußgänger im Warnbereich erkannt wurden, ein pauschaler Hinweis gegeben. Da bei mehreren Fußgängern im Warnbereich ein unterschiedliche Gefährdungslage für den einzelnen Fußgänger vorliegen kann, wird eine Priorisierung für die erkannten Fußgänger vorgeschlagen. Dabei wird für jeden einzelnen erkannten Fußgänger ein Bewegungsvektor bestimmt und u.a. die Zeit bis zum Aufeinandertreffen mit dem Fahrzeug ermittelt. Der Fußgänger mit der höchsten Priorität wird dann in der Anzeige der Gesamtsituation alleine hervorgehoben, indem ein Rahmen um die Darstellung der Person angezeigt.
DE 10 2007 014 012 A1 offenbart eine Vorrichtung zur Überwachung eines Bereichs vor einem Fahrzeug, die rasche eine Erkennung eines Fußgängers vor dem Fahrzeug durchführen kann. Dabei steht die Erkennung eines Fußgängers, also eines Einzelobjekts, im Vordergrund, dessen Körperhaltung ebenfalls berücksichtigt wird, was Rückschlüsse auf die Bewegung des Fußgängers erlaubt.
JP 2006-224 740 A offenbart Vorrichtung, die ein Objekt vor einem Fahrzeug, z.B. einen Fußgänger, erkennt, dabei die Art des Objekts feststellt, z.B. ob es sich um ein Kind oder eine ältere Person handelt, und die Möglichkeit bewertet, ob das Objekt sich in den Fahrweg des Fahrzeuges bewegt. In Abhängigkeit von der Art des Objekts wird eine Sicherheitsentfernung für das erkannte Einzelobjekt festgelegt.
Zusammenfassung der Erfindung
Technisches Problem
Die konventionelle Laufinformations-Bereitstellvorrichtung klassifiziert aus den Objekten um das Fahrzeug herum Objekte, deren Kategorie dieselbe ist, und zwischen denen eine aktuelle Distanz zueinander nicht größer als ein Schwellenwert ist, in derselben Gruppe. Beim Gruppieren der Objekte wird eine zukünftige Distanz zwischen den Objekten nicht berücksichtigt.
Beispielsweise sei angenommen, dass von vier Fußgängern, die nahe beieinander stehen, ein Fußgänger in einer Haltung ist, um das Gehen zu starten. In diesem Fall wird, obwohl eine aktuelle Distanz zwischen dem Fußgänger, der anfängt zu gehen und den verbleibenden drei Fußgängern klein ist, berücksichtigt, dass eine zukünftige Distanz groß wird. Jedoch zeigt die konventionelle Laufinformations-Bereitstellvorrichtung die vier Fußgänger als dieselbe Gruppe an. Daher ist es für den Fahrer schwierig, visuell den Fußgänger zu erkennen, der beginnt zu gehen, und die verbleibenden drei Fußgänger getrennt. Als Ergebnis, wenn der Fußgänger tatsächlich zu gehen beginnt, da der Fahrer den Fußgänger spät bemerkt, kann das sichere Fahren beeinträchtigt sein.
Wie oben diskutiert, kann es einen Fall geben, in welchem, selbst falls die aktuelle Distanz zwischen den Objekten nicht größer als der Schwellenwert ist, abhängig von der zukünftigen Distanz zwischen den Objekten, die Objekte visuell getrennt erkannt werden sollten. Jedoch weist der Stand der Technik das Problem auf, dass eine für einen solchen Fall geeignete Gruppierung nicht ausgeführt werden kann.
Die vorliegende Erfindung zielt beispielsweise darauf, in Bezug auf die Objekte, die getrennt für jede Gruppe hervorzuheben sind, die Objekte, die visuell getrennt erkannt werden sollten und die Objekte, die visuell gemeinsam erkannt werden sollten, angemessen zu klassifizieren.
Problemlösung
Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Erfindung beinhaltet:

eine Extraktionseinheit zum Extrahieren einer Mehrzahl von Objekten, die zumindest ein sich bewegendes Objekt enthalten, aus einem aufgenommenen Bild, in welchem die Mehrzahl von Objekten fotografiert ist;
eine Vorhersageeinheit zum Vorhersagen einer zukünftigen Distanz zwischen der Mehrzahl von durch die Extraktionseinheiten extrahierten Objekten;
eine Klassifikationseinheit zum Klassifizieren der Mehrzahl von durch die Extraktionseinheit extrahierten Objekte in Gruppen, basierend auf der durch die Vorhersageeinheit vorhergesagten zukünftigen Distanz; und
eine Verarbeitungseinheit zum Prozessieren des aufgenommenen Bilds zu einem hervorgehobenen Bild, in welchem die Mehrzahl von durch die Klassifikationseinheit klassifizierten Objekten getrennt für jede Gruppe hervorgehoben werden.

Vorteilhafte Effekte der Erfindung
In der vorliegenden Erfindung sind Objekte in Gruppen klassifiziert, unabhängig von der aktuellen Distanz zwischen den Objekten und basierend auf der zukünftigen Distanz zwischen den Objekten. Daher ist es gemäß der vorliegenden Erfindung möglich, in Bezug auf die Objekte, die getrennt hervorgehoben sind für jede Gruppe, angemessen die Objekte zu klassifizieren, die visuell getrennt erkannt werden sollten und die Objekte, die visuell gemeinsam erkannt werden sollten.
Figurenliste

1 ist ein Blockdiagramm, welches eine Konfiguration eines Fahrzeuganzeigesystems gemäß einer ersten Ausführungsform illustriert.
2 ist ein Flussdiagramm, das eine Operation des Fahrzeuganzeigesystems gemäß der ersten Ausführungsform illustriert.
3 ist eine Tabelle, die ein Beispiel von Objektdaten gemäß der ersten Ausführungsform illustriert.
4 ist ein Flussdiagramm, das eine Prozedur eines Klassifikationsprozesses gemäß der ersten Ausführungsform illustriert.
5 ist eine Tabelle, die ein Beispiel einer Beziehungstabelle gemäß der ersten Ausführungsform illustriert.
6 ist ein Diagramm, das ein Beispiel eines hervorgehobenen Bilds gemäß der ersten Ausführungsform illustriert.
7 ist ein Diagramm, das ein Beispiel eines hervorgehobenen Bilds gemäß der ersten Ausführungsform illustriert.
8 ist ein Diagramm, das ein Beispiel eines hervorgehobenen Bilds gemäß der ersten Ausführungsform illustriert.
9 ist ein Diagramm, das ein Beispiel eines hervorgehobenen Bilds gemäß der ersten Ausführungsform illustriert.
10 ist eine Tabelle, die ein Beispiel einer Beziehungstabelle gemäß einer zweiten Ausführungsform illustriert.
11 ist ein Diagramm, das ein Beispiel einer Hardware-Konfiguration des Fahrzeuganzeigesystems gemäß den Ausführungsformen der vorliegenden Erfindung illustriert.

Beschreibung von Ausführungsformen
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen erläutert. Es ist anzumerken, dass in jeder Zeichnung dasselbe Zeichen demselben oder entsprechenden Teil zugewiesen wird. In der Erläuterung von Ausführungsformen wird für die gleichen oder entsprechenden Teile die Erläuterung weggelassen oder angemessen vereinfacht.
Erste Ausführungsform
Zuerst wird ein Umriss der vorliegenden Ausführungsform erläutert.
In der ersten Ausführungsform werden zu fotografierende Objekte in einige Gruppen klassifiziert, unabhängig von einer derzeitigen Distanz zwischen den Objekten und basierend auf einer zukünftigen Distanz zwischen den Objekten und für jede Gruppe getrennt hervorgehoben. Das heißt, dass beim Gruppieren der Objekte die zukünftige Distanz zwischen den Objekten berücksichtigt wird. „Hervorheben“ (Highlight) bedeutet, ein Objekt in einem Bild visuell leicht erkennbar zu machen, durch Umranden mit einem Rahmen oder Färben des im Bild aufgenommenen Objekts. Die Objekte beinhalten bewegliche Objekte wie etwa Fahrzeuge, Menschen, Tiere, und Dergleichen, und unbewegliche Objekte, wie etwa Zeichen, Ampeln, Fußgängerüberwege und dergleichen. Die Fahrzeuge beinhalten Automobile, Motorräder, Fahrräder und dergleichen. Jedes Objekt weist ein Attribut auf. „Attribute“ sind beispielsweise eine Kategorie, eine Distanz und eine Geschwindigkeit eines Objekts. „Kategorie“, welche ein Typ des Attributs ist, bedeutet, unabhängig vom aktuellen Zustand des Objekts, eine Eigenschaft oder eine Spezies, durch welche das Objekt klassifiziert werden kann. Beispielsweise, selbst falls das Objekt nicht sich aktuell bewegt, falls das Objekt die Fähigkeit zur Bewegung hat, ist die Kategorie des Objektes ein sich bewegendes Objekt. Die Kategorie kann als zwei Schichten aufweisend angesehen werden. Beispielsweise gibt es als eine untere Schicht des sich bewegenden Objektes Kategorien eines niedrigeren Pegels, wie etwa einem Fahrzeug, einem Menschen und einem Tier. Als unteres Niveau des Fahrzeugs gibt es Kategorien eines weiteren Unterniveaus wie etwa eines Automobils, eines Motorrads, eines Fahrrads und dergleichen. „Distanz“, die ein Typ des Attributs ist, bedeutet nicht „die aktuelle Distanz zwischen den Objekten“ und die „zukünftige Distanz zwischen den Objekten“, die oben diskutiert worden sind, sondern bedeutet eine Distanz zwischen einer Position, an welcher das Objekt fotografiert ist, und dem Objekt.
Beispielsweise wird angenommen, dass von vier Menschen, die nahe beieinander stehen, ein Mensch in einer Haltung ist, mit Gehen zu beginnen. In diesem Fall, obwohl die aktuelle Distanz zwischen dem Menschen, der gleich losgeht, und den verbleibenden drei Menschen klein ist, wird berücksichtigt, dass die zukünftige Distanz groß sein wird. Falls die vier Menschen gemeinsam als dieselbe Gruppe herausgehoben werden, ist es visuell schwierig, den Menschen, der gleich losgeht, und die drei verbleibenden Männer getrennt zu erkennen. In der vorliegenden Ausführungsform wird die zukünftige Distanz zwischen den vier Menschen berücksichtigt und dadurch werden der Mensch, der gleich losgeht, und die verbleibenden drei Menschen in verschiedene Gruppen klassifiziert. Dann wird ein Bild, in welchem die vier Menschen fotografiert sind, in ein Bild verarbeitet, in welchem der eine Mensch als eine Gruppe hervorgehoben ist und die verbleibenden drei Menschen als eine andere Gruppe hervorgehoben sind. Daher ist es für eine Person, die auf das verarbeitete Bild blickt, leicht, visuell den Mensch, der gleich losgeht, und die drei restlichen Menschen getrennt zu erkennen.
In der vorliegenden Ausführungsform wird beim Gruppieren der Objekte die Beziehung zwischen den Objekten ebenfalls berücksichtigt.
Beispielsweise wird angenommen, dass entfernt von einem geparkten Fahrzeug sich ein Mensch dem Fahrzeug nähert. In diesem Fall, obwohl die aktuelle Distanz zwischen dem geparkten Fahrzeug und dem sich dem Fahrzeug nähernden Menschen groß ist, wird angenommen, dass die zukünftige Distanz 0 wird. Weiter wird angenommen, dass es zwischen dem geparkten Fahrzeug und dem sich dem Fahrzeug nähernden Menschen, eine Beziehung eines Fahrzeugs und eines Manns, der in das Fahrzeug gelangt, gibt. Falls das eine Fahrzeug und der eine Mensch getrennt als verschiedene Gruppen hervorgehoben werden, ist es schwierig, das geparkte Fahrzeug und den sich dem Fahrzeug nähernden Menschen gemeinsam visuell zu erkennen. Jedoch ist es in einem solchen Fall effektiver, die beiden gemeinsam visuell zu erkennen. In der vorliegenden Ausführungsform wird die Beziehung zwischen dem einen Fahrzeug und dem einen Menschen berücksichtigt und dadurch werden das geparkten Fahrzeug und der sich dem Fahrzeug nähernden Mensch in dieselbe Gruppe klassifiziert. Dann wird das Bild, in welchem das eine Fahrzeug und der eine Mensch fotografiert sind, in ein Bild prozessiert, in welchem das eine Fahrzeug und der eine Mensch gemeinsam als eine Gruppe hervorgehoben werden. Daher ist es für eine Person, die das prozessierte Bild betrachtet, leicht, visuell das geparkte Fahrzeug und den sich dem Fahrzeug nähernden Mann zusammen zu erkennen.
Beispielsweise kann die vorliegende Ausführungsform auf eine Fahrunterstützung angewendet werden. In der vorliegenden Ausführungsform ist es als Ergebnis der Bewegungsvorhersage von Objekten um das Fahrzeug herum, oder einem Ergebnis der Beziehung zwischen den Objekten, möglich, eine Anzeige mit hoher visueller Erkennbarkeit in Bezug auf den Umgebungszustand des Fahrzeugs durchzuführen. Entsprechend wird die Sicherheitsbestätigung des Fahrers unterstützt.
Als Nächstes werden als ein Detail der vorliegenden Ausführungsform eine Konfiguration eines Systems gemäß der vorliegenden Ausführungsform, ein Betrieb des Systems gemäß der vorliegenden Ausführungsform und eine Wirkung der vorliegenden Ausführungsform in dieser Reihenfolge erläutert.
Erläuterung der Figuren
1 ist ein Blockdiagramm, das eine Konfiguration eines Fahrzeuganzeigesystems 100 gemäß der vorliegenden Ausführungsform illustriert.
Wie in 1 illustriert, beinhaltet das Fahrzeuganzeigesystem 100 eine Bildgebungsvorrichtung 110, eine Bildverarbeitungsvorrichtung 120, eine Datenspeichereinheit 130 und eine Anzeigevorrichtung 140.
Die Bildgebungsvorrichtung 110 ist beispielsweise eine Stereokamera oder ein Radar. Die Bildgebungsvorrichtung 110 ist an einem Fahrzeug 200 montiert. Die Bildgebungsvorrichtung 110 fotografiert die Umgebungen des Fahrzeugs 200, um ein aufgenommenes Bild 101 zu erfassen. Das aufgenommene Bild 101 ist ein Bild, in welchem eine Mehrzahl von Objekten einschließlich zumindest eines sich bewegenden Objekts fotografiert sind.
Die Bildverarbeitungsvorrichtung 120 ist beispielsweise ein Computer. Die Bildverarbeitungsvorrichtung 120 kann an dem Fahrzeug 200 montiert sein, durch den Fahrer in das Fahrzeug 200 verbracht sein, oder außerhalb des Fahrzeugs 200 installiert sein. Die Bildverarbeitungsvorrichtung 120 beinhaltet eine Extraktionseinheit 121, eine Vorhersageeinheit 122, eine Klassifikationseinheit 123 und eine Verarbeitungseinheit 124.
Die Extraktionseinheit 121 erfasst das aufgenommene Bild 101 aus der Bildgebungsvorrichtung 110. Die Extraktionseinheit 121 extrahiert die Mehrzahl von Objekten aus dem erfassten aufgenommenen Bild 101. Wie oben diskutiert, beinhaltet die Mehrzahl von Objekten zumindest ein sich bewegendes Objekt.
Die Extraktionseinheit 121 führt die nachfolgenden drei Prozesse an der extrahierten Mehrzahl von Objekten aus.
Bezüglich des ersten Prozesses berechnet die Extraktionseinheit 121 eine vorliegende Distanz Dc zwischen der extrahierten Mehrzahl von Objekten. „Derzeitig“ bedeutet spezifisch einen Zeitpunkt, an welchem das aufgenommene Bild 101 durch die Bildgebungsvorrichtung 110 fotografiert wird. „Derzeitige Distanz zwischen einer Mehrzahl von Objekten“ bedeutet, wenn es zwei Objekte gibt, die derzeitige Distanz zwischen einem der zwei Objekte und dem anderen, wenn es drei oder mehr Objekte gibt, die derzeitige Distanz zwischen jedem einen der drei oder mehr Objekten und den anderen Objekten.
Bezüglich des zweiten Prozesses bestimmt die Extraktionseinheit 121 eine Kategorie jeder der extrahierten Mehrzahl von Objekten. Beispielsweise bestimmt die Extraktionseinheit 121, ob die Kategorie eines Objekts ein sich bewegendes Objekt oder ein sich nicht bewegendes Objekt ist. In der vorliegenden Ausführungsform bestimmt die Extraktionseinheit 121 für das sich bewegende Objekt, ob die Kategorie eines Objekts ein Fahrzeug, ein Mensch oder ein Tier ist. Zusätzlich bestimmt die Extraktionseinheit 121 für das Fahrzeug, ob die Kategorie des Objektes ein Automobil, ein Motorrad oder ein Fahrrad ist.
Bezüglich des dritten Prozesses schätzt die Extraktionseinheit 121 eine aktuelle Geschwindigkeit Vc eines Objektes, dessen Kategorie als ein sich bewegendes Objekt bestimmt ist, ab. Beispielsweise schätzt die Extraktionseinheit 121 die derzeitige Geschwindigkeit Vc eines Objektes, dessen Kategorie als ein Fahrzeug oder ein Mensch bestimmt ist, ab.
Die Vorhersageeinheit 122 sagt eine zukünftige Distanz Df zwischen der Mehrzahl von durch die Extraktionseinheit 121 extrahierten Objekten vorher. „Zukünftig“ bedeutet einen Zeitpunkt, der einige Sekunden, einige zehn Sekunden, oder einige Minuten nach dem aktuellen liegt. „Zukünftige Distanz zwischen einer Mehrzahl von Objekten“ bedeutet, wenn es zwei Objekte gibt, eine zukünftige Distanz zwischen einem der zwei Objekte und dem anderen, wenn es drei oder mehr Objekte gibt, eine zukünftige Distanz zwischen jedem der drei oder mehr Objekte und den anderen Objekten. Beispielsweise sagt die Vorhersageeinheit 122 aus dem vergangenen Verhalten eines Objekts, dessen Kategorie durch die Extraktionseinheit 121 als ein sich bewegendes Objekt bestimmt wird, die Bewegung des Objektes vorher und berechnet, basierend auf dem Ergebnis der Bewegungsvorhersage, eine Distanz zwischen dem Objekt nach der Bewegung und einem anderen Objekt als die zukünftige Distanz Df. „Vergangenes Verhalten“ bedeutet Daten von Informationen, die für jede Uhrzeit oder jeden Tag gesammelt werden, nachdem das Objekt zum ersten Mal durch die Extraktionseinheit 121 extrahiert wird, wobei die Information durch die Extraktionseinheit 121 erfasst wird, und Objektdaten 131 entspricht, die später diskutiert werden.
Bezüglich einer Art von Bewegungsvorhersageprozess bewertet die Vorhersageeinheit 122, ob eine Haltung eines Objekts, dessen Kategorie als Mensch durch die Extraktionseinheit 121 bestimmt ist, eine Haltung zum Starten des Gehens ist oder nicht. Die Vorhersageeinheit 122 sagt basierend auf dem Bewertungsergebnis die zukünftige Distanz Df zwischen dem Objekt, dessen Kategorie als ein Mensch bestimmt ist, durch die Extraktionseinheit 121, und einem anderen durch die Extraktionseinheit 121 extrahierten Objekt voraus.
Die Klassifikationseinheit 123 klassifiziert, basierend auf der zukünftigen Distanz Df, welche durch die Vorhersageeinheit 122 vorhergesagt ist, die Mehrzahl von durch die Extraktionseinheit 121 extrahierten Objekten in Gruppen. Das heißt, dass die Klassifikationseinheit 123 aus der Mehrzahl von durch die Extraktionseinheit 121 extrahierten Objekten Objekte, deren zukünftige Distanz Df zueinander, vorhergesagt durch die Vorhersageeinheit 122, größer ist als ein Schwellenwert Ta, in verschiedene Gruppen klassifiziert. Die Verarbeitungseinheit 123 klassifiziert aus der Mehrzahl von durch die Extraktionseinheit 121 extrahierten Objekten Objekte, deren zukünftige Distanz Df zueinander, vorhergesagt durch die Vorhersageeinheit 122, kleiner als der Schwellenwert Ta ist, in dieselbe Gruppe. Die Klassifikationseinheit 123 kann aus der Mehrzahl von durch die Extraktionseinheit 121 extrahierten Objekten Objekte, deren durch die Vorhersageeinheit 122 vorhergesagte zukünftige Distanz Df zwischen einander die gleiche wie der Schwellenwert Ta ist, in dieselbe Gruppe oder in unterschiedliche Gruppen klassifizieren.
In der vorliegenden Ausführungsform schätzt die Klassifikationseinheit 123 weiter, basierend auf der durch die Vorhersageeinheit 122 vorhergesagten zukünftigen Distanz Df und der durch die Extraktionseinheit 121 bestimmten Kategorie, die Beziehung zwischen der Mehrzahl von durch die Extraktionseinheit 121 extrahierten Objekten ab. Die Klassifikationseinheit 123 klassifiziert die Mehrzahl von Objekten in Gruppen gemäß der abgeschätzten Beziehung. Beispielsweise klassifiziert die Klassifikationseinheit 123 zwei Objekte in dieselbe Gruppe, wenn abgeschätzt wird, dass irgendeiner der folgenden zwei Typen von Beziehung zwischen den zwei Objekten vorliegt.
Bezüglich des ersten Typs von Beziehung klassifiziert die Klassifikationseinheit 123 zwei Objekte in dieselbe Gruppe, wenn abgeschätzt wird, dass zwischen zwei Objekten eine Beziehung vorliegt, in welcher eines der Objekte sich dem anderen Objekt nähert. Beispielsweise schätzt die Klassifikationseinheit 123 in dem Fall, bei dem die Mehrzahl von durch die Extraktionseinheit 121 extrahierten Objekten ein erstes Objekt, dessen Kategorie als ein Mann durch die Extraktionseinheit 121 bestimmt wird, und ein zweites Objekt, dessen Kategorie durch die Extraktionseinheit 121 als ein Fahrzeug bestimmt wird, die durch die Vorhersageeinheit 122 vorhergesagte zukünftige Distanz Df zwischen dem ersten Objekt und dem zweiten Objekt kleiner ist als der Schwellenwert Ta und die durch die Extraktionseinheit 121 abgeschätzte Amplitude der derzeitige Geschwindigkeit Vc2 des zweiten Objekts 0 ist, ab, dass eine Beziehung eines Fahrzeugs und eines Menschen, der das Fahrzeug betritt, zwischen dem ersten Objekt und dem zweiten Objekt vorliegt. Das heißt, dass die Klassifikationseinheit 123, falls die Bedingung von Df < Ta und Vc2 = 0 in Bezug auf die Kombination des ersten Objekts, das ein Mensch ist, und des zweiten Objekts, das ein Fahrzeug ist, erfüllt ist, das erste Objekt und das zweite Objekt in dieselbe Gruppe klassifiziert. Das obige „Fahrzeug“ beinhaltet sowohl ein Automobil als auch ein Fahrrad. Weiter schätzt beispielsweise die Klassifikationseinheit 123 in dem Fall, bei dem die Mehrzahl von durch die Extraktionseinheit 121 extrahierten Objekten ein erstes Objekt und ein zweites Objekt enthält, deren Kategorien beide durch die Extraktionseinheit 121 als ein Mensch bestimmt sind, um durch die Vorhersageeinheit 122 vorhergesagte zukünftige Distanz Df zwischen dem ersten Objekt und dem zweiten Objekt kleiner als der Schwellenwert Ta ist, ab, dass eine Beziehung von Menschen, die einander annähern, zwischen dem ersten Objekt und dem zweiten Objekt existiert. Das heißt, dass die Klassifikationseinheit 123, falls die Bedingung von Df < Ta in Bezug auf die Kombination des ersten Objekts und des zweiten Objekts, die beide ein Mensch sind, das erste Objekt und das zweite Objekt in dieselbe Gruppe klassifiziert.
Hinsichtlich des zweiten Typs von Beziehung klassifiziert die Klassifikationseinheit 123 zwei Objekte in dieselbe Gruppe, wenn eine Beziehung von Objekten, die sich in Linie bewegen, zwischen den zwei Objekten existieren. Spezifisch schätzt die Klassifikationseinheit 123 in dem Fall, bei dem aus der Mehrzahl von durch die Extraktionseinheit 121 extrahierten Objekten ein erstes und ein zweites Objekt existieren, deren Kategorien beide durch die Extraktionseinheit 121 als ein sich bewegendes Objekt bestimmt sind, und die nachfolgenden Bedingungen erfüllt sind, ab, dass die Beziehung von sich in Linie bewegenden Objekten zwischen dem ersten Objekt und dem zweiten Objekt existiert. Die erste Bedingung ist eine Bedingung, unter welcher eine Differenz der derzeitigen Distanz Dc zwischen dem ersten Objekt und dem zweiten Objekt, welche durch die Extraktionseinheit 121 berechnet wird, und die durch die Vorhersageeinheit 122 vorhergesagte zukünftige Distanz zwischen dem ersten Objekt und dem zweiten Objekt kleiner als ein Schwellenwert Tb ist. Die zweite Bedingung ist eine Bedingung, unter welcher die Amplituden der derzeitigen Geschwindigkeiten Vc1 und Vc2 des durch die Extraktionseinheit 121 abgeschätzten ersten Objekts und zweiten Objekts größer als 0 sind. Die dritte Bedingung ist eine Bedingung, unter welcher die Differenz zwischen den Amplituden der Geschwindigkeiten Vc1 und Vc2 kleiner als ein anderer Schwellenwert Tc ist. Das heißt, dass die Klassifikationseinheit 123, falls die Bedingung von |Dc - Df| < Tb und |Vc1| > 0 und |Vc2| > 0 und |Vc1 - Vc2| < Tc in Bezug auf die Kombination des ersten Objekts und des zweiten Objekts, die beide ein sich bewegendes Objekt sind, erfüllt ist, das erste Objekt und das zweite Objekt in dieselbe Gruppe. Das erste Objekt und das zweite Objekt des obigen Falls sind beispielsweise Objekte, deren Kategorien jeweils durch die Extraktionseinheit 121 als ein Fahrrad bestimmt sind. In diesem Fall ist die durch die Klassifikationseinheit 123 geschätzte Beziehung eine Beziehung von in einer Linie fahrenden Fahrrädern. Es ist anzumerken, dass die „Differenz“ als ein Absolutwert angenommen wird. Weiter werden die Geschwindigkeiten Vc1 und Vc2 als eine Richtung beinhaltende Vektoren angenommen. Die Klassifikationseinheit 123 kann die Beziehung unter Verwendung eines durch die Geschwindigkeiten Vc1 und Vc2 gebildeten Winkels abschätzen. Spezifisch schätzt die Klassifikationseinheit 123 in dem Fall, bei dem die zweite Bedingung, die dritte Bedingung und eine Bedingung, unter welcher der durch die Geschwindigkeiten Vc1 und Vc2 gebildete Winkel kleiner ist als ein anderer Schwellenwert Td erfüllt sind, dass die Beziehung von sich in Linie bewegenden Objekten zwischen dem ersten Objekt und dem zweiten Objekt existiert. Das heißt, dass die Klassifikationseinheit 123, falls die Bedingung von |Vc1| > 0 und |Vc2| > 0 und |Vc1 - Vc21 < Tc und „der durch Vc1 und Vc2 gebildete Winkel“ < Td in Bezug auf die Kombination des ersten Objektes und des zweiten Objektes, die beide ein sich bewegendes Objekt sind, erfüllt ist, das erste Objekt und das zweite Objekt in dieselbe Gruppe klassifiziert. Selbst falls eine solche Bedingung verwendet wird, wird als Ergebnis die Mehrzahl von Objekten in dieselbe Gruppe klassifiziert, basierend auf der Differenz der derzeitigen Distanz Dc zwischen dem ersten Objekt und dem zweiten Objekt, berechnet durch die Extraktionseinheit 121, und der zukünftigen Distanz Df zwischen dem ersten Objekt und dem zweiten Objekt, vorhergesagt durch die Vorhersageeinheit 122.
Die Klassifikationseinheit 123 kann die verschiedene andere Beziehung als die obigen zwei Typen abschätzen.
Die Verarbeitungseinheit 124 prozessiert das aufgenommene Bild 101 in ein hervorgehobenes Bild 102. Das hervorgehobene Bild 102 ist ein Bild, in welchem die Mehrzahl von durch die Klassifikationseinheit 123 klassifizierten Objekten getrennt für jede Gruppe hervorgehoben werden. Beispielsweise ist das hervorgehobene Bild 102 ein Bild, in welchem die Mehrzahl von durch die Klassifikationseinheit 123 klassifizierten Objekten von einem Rahmen pro Gruppe umgeben sind. Die Verarbeitungseinheit 124 gibt das hervorgehobene Bild 102 an der Anzeigevorrichtung 140 ein.
Die Datenspeichereinheit 130 ist beispielsweise ein HDD (Festplattenlaufwerk), oder ein SSD (Festzustandslaufwerk). Die Datenspeichereinheit 130 kann auf dem Fahrzeug 200 montiert sein, durch den Fahrer ins Fahrzeug 200 verbracht worden sein oder außerhalb des Fahrzeugs 200 vorgesehen sein. Die Datenspeichereinheit 130 speichert Objektdaten 131 und eine Beziehungstabelle 132. Die Objektdaten 131 sind für jede der Mehrzahl von durch die Extraktionseinheit 121 der Bildverarbeitungsvorrichtung 120 extrahierten Objekte Daten, in welchen das Rechenergebnis, das Bestimmungsergebnis, das Schätzergebnis und dergleichen der Extraktionseinheit 121 aufgezeichnet sind. Die Objektdaten 131 werden durch die Vorhersageeinheit 122 der Bildverarbeitungsvorrichtung 120 referenziert. Die Beziehungstabelle 132 ist eine Tabelle, die vorab Kombinationen von Kategorien der Objekte, welche eine Beziehung zueinander aufweisen, definiert. Die Beziehungstabelle 132 wird durch die Klassifikationseinheit 123 der Bildverarbeitungsvorrichtung 120 referenziert.
Die Anzeigevorrichtung 140 ist beispielsweise eine LCD (Flüssigkristallanzeige) oder eine HUD (Head-Up-Anzeige). Die Anzeigevorrichtung 140 ist am Fahrzeug 200 montiert. Die Anzeigevorrichtung 140 gibt das hervorgehobene Bild 102, welches durch die Verarbeitungseinheit 124 der Bildverarbeitungsvorrichtung 120 eingegeben ist, aus. Die Anzeigevorrichtung 140 beinhaltet eine Eingabeeinheit 141 und eine Ausgabeeinheit 142.
Die Eingabeeinheit 141 empfängt eine Eingabe des hervorgehobenen Bilds 102 aus der Verarbeitungseinheit 124 der Bildverarbeitungsvorrichtung 120. Das heißt, dass das hervorgehobene Bild an der Eingabeeinheit 141 eingegeben wird.
Die Ausgabeeinheit 142 gibt das hervorgehobene Bild 102, das an die Eingabeeinheit 141 eingegeben ist, aus.
Wie oben diskutiert, ist das hervorgehobene Bild 102 ein Bild, welches durch Verarbeiten des aufgenommenen Bilds 101, in welchem eine Mehrzahl von Objekten, die zumindest ein sich bewegendes Objekt enthält, fotografiert sind, erhalten wird, wobei das Bild derart ist, dass die Mehrzahl von Objekten, die in Gruppen klassifiziert sind, basierend auf der vorhergesagten zukünftigen Distanz Df zwischen der Mehrzahl von Objekten im Bild separat für jede Gruppe hervorgehoben sind. In der vorliegenden Ausführungsform wird beim Gruppieren der Objekte die zukünftige Distanz Df zwischen den Objekten berücksichtigt. Daher wird im Vergleich zu einem Fall ohne Berücksichtigung der zukünftigen Distanz Df zwischen den Objekten eine angemessenere Gruppierung ausgeführt. Das heißt, selbst falls die derzeitige Distanz Dc zwischen den Objekten klein ist, wenn die zukünftige Distanz Df zwischen den Objekten vorhergesagt wird, im hervorgehobenen Bild 102 groß zu werden, werden solche Objekte getrennt hervorgehoben. Daher ist der Fahrer des Fahrzeugs 200 in der Lage, visuell diese Objekte getrennt wahrzunehmen. Wie oben diskutiert, sind in der vorliegenden Ausführungsform die Objekte getrennt für jede Einheit, die der Fahrer visuell erkennen sollte, hervorgehoben, gemäß der zukünftigen Distanz Df zwischen den Objekten und dadurch wird sicheres Fahren unterstützt.
Die Bildverarbeitungsvorrichtung 120, die Datenspeichereinheit 130 und die Anzeigevorrichtung 140 können zusammengeführt sein; irgendwelche zwei von ihnen können zusammengeführt sein und die andere kann getrennt sein oder jede von ihnen kann getrennt sein. Beispielsweise wird die Anzeigevorrichtung 140 als eine Navigationsvorrichtung, ein DA (Anzeige Audio) oder ein am Fahrzeug 200 montiertes HUD implementiert. Die Bildverarbeitungsvorrichtung 120 wird als ein tragbares Gerät wie etwa ein Smartphone, ein Tablet oder ein Mobiltelefon implementiert. Alternativ wird die Bildverarbeitungsvorrichtung 120 als ein Servercomputer implementiert. Alternativ wird die Bildverarbeitungsvorrichtung 120 als eine Navigationsvorrichtung zusammen mit der Anzeigevorrichtung 140 implementiert. Die Datenspeichereinheit 130 wird als ein tragbares Endgerät oder ein Servercomputer zusammen mit der Bildverarbeitungsvorrichtung 120 implementiert. Alternativ wird die Datenspeichereinheit 130 als eine Navigationsvorrichtung zusammen mit der Anzeigevorrichtung 140 implementiert. Alternativ wird die Datenspeichereinheit 130 als ein Speichermedium implementiert, das von der Bildverarbeitungsvorrichtung 120 und der Anzeigevorrichtung 140 getrennt ist. Das tragbare Endgerät wird durch den Fahrer zum Fahrzeug 200 gebracht und führt verdrahtete oder Funkkommunikation mit der Bildgebungsvorrichtung 110 und der Anzeigevorrichtung 140 aus. Der Servercomputer ist in einem Datenzentrum oder dergleichen vorgesehen und führt Kommunikation mit der Bildgebungsvorrichtung 110 und der Anzeigevorrichtung 140 über ein Netzwerk wie etwa das Internet aus.
Es ist anzumerken, dass das System gemäß der vorliegenden Ausführungsform ein anderes Anzeigesystem als das Fahrzeuganzeigesystem 100 sein kann. Das heißt, dass die vorliegende Ausführungsform auf eine andere Verwendung als die Unterstützung des Fahrens des Fahrzeugs 200 angewendet werden kann. Beispielsweise kann die vorliegende Ausführungsform auch auf die Unterstützung zur Sicherheitsüberwachung eines Hauses, eines Büros und dergleichen angewendet werden. In diesem Fall sind die Bildgebungsvorrichtung 110 und die Anzeigevorrichtung 140 angemessen an einem anderen Ort als das Fahrzeug 200 vorgesehen.
Erläuterung des Betriebs
2 ist ein Flussdiagramm, welches einen Betrieb des Fahrzeuganzeigesystems 100 illustriert, welcher einem Anzeigeverfahren gemäß der vorliegenden Ausführungsform korrespondiert. 3 ist eine Tabelle, die ein Beispiel der Objektdaten 131 illustriert.
S11 von 2 ist ein Bildgebungsprozess. S12 von 2 ist ein Extraktionsprozess. S13 von 2 ist ein Vorhersageprozess. S14 von 2 ist ein Klassifikationsprozess. S15 von 2 ist ein Bildgebungsprozess. S16 von 2 ist ein Anzeigeprozess. S12 bis S15 sind der Betrieb der Bildverarbeitungsvorrichtung 120 entsprechend einem Bildverarbeitungsverfahren gemäß der vorliegenden Ausführungsform oder die Verarbeitungsprozedur eines Bildverarbeitungsprogramms gemäß der vorliegenden Ausführungsform.
In S11 von 2 fotografiert die Bildgebungsvorrichtung 110 die Umgebung des Fahrzeugs 200, um das aufgenommene Bild 101 zu erfassen. Beispielsweise falls die Bildgebungsvorrichtung 110 eine Stereokamera ist, ist das aufgenommene Bild 101 ein dreidimensionales Standbild oder ein Videobild, in welchem die Umgebungen des Fahrzeugs 100 aufgenommen sind. Falls die Bildgebungsvorrichtung 110 ein Radar ist, ist das aufgenommene Bild 101 ein Radarbild, das eine Distanz zu einem Hindernis um das Fahrzeug 200 herum anzeigt.
In S12 von 2 extrahiert die Extraktionseinheit 121 der Bildverarbeitungsvorrichtung 120 Objekte aus dem im S11 erfassten, aufgenommenen Bild 101. Die Extraktionseinheit 121 bewertet Attribute der extrahierten Objekte.
Spezifisch extrahiert die Extraktionseinheit 121 für jedes extrahierte Objekt die Merkmalsgröße des Objekts aus dem aufgenommenen Bild, das in S11 erfasst ist. Beispielsweise speichert die Datenspeichereinheit 130 für jede Kategorie von Objekten einen Referenzwert oder einen Referenzbereich der Merkmalsgröße von Objekten vorher. Die Extraktionseinheit 121 vergleicht unter Verwendung eines Diskriminators, der eine Software ist, die eine Funktion von Mustererkennung aufweist, wie etwa ein neuronales Netzwerk oder Maschinenlernen, die extrahierte Merkmalsgröße mit dem Referenzwert oder dem Referenzbereich, wodurch die Kategorie des extrahierten Objekts bestimmt wird. Die Extraktionseinheit 121 schreibt Daten, in welchen aktuelle Zeit, die extrahierte Merkmalsgröße und bestimmte Kategorie in der Datenspeichereinheit 130 aufgezeichnet sind, als die in 3 illustrierten Objektdaten 131.
Die Extraktionseinheit 121 berechnet für jedes extrahierte Objekt die aktuelle relative Position des Objektes aus dem in S11 erfassten, aufgenommenen Bild 101. „Derzeitige Relativposition“ ist beispielsweise die aktuelle Distanz und Richtung des Objekts vom Fahrzeug 200. Falls beispielsweise die Bildgebungsvorrichtung 110 eine Stereokamera ist, berechnet die Extraktionseinheit 121, basierend auf der Parallaxe der Stereokamera, die Distanz und die Richtung zum Objekt ab dem Fahrzeug 200. Falls die Bildgebungsvorrichtung 110 ein Radar ist, berechnet die Extraktionseinheit 121 die Distanz und die Richtung aus dem Beobachtungswert des Radars. Wie in 3 illustriert, wird die durch die Extraktionseinheit 121 berechnete, derzeitige Relativposition auch in den Objektdaten 131 aufgezeichnet.
Die Extraktionseinheit 121 berechnet für jedes extrahierte Objekt die aktuelle Distanz Dc, die eine Differenz zwischen der berechneten derzeitigen Relativposition und der derzeitigen Relativposition eines anderen Objekts ist. Obwohl in 3 nicht illustriert, kann die durch die Extraktionseinheit 121 berechnete aktuelle Distanz Dc auch in den Objektdaten 131 aufgezeichnet werden.
Die Extraktionseinheit 121 bewertet für jedes extrahierte Objekt, ob dasselbe Objekt auch zur vorherigen Zeit extrahiert ist oder nicht, durch Vergleichen der zu dieser Zeit extrahierten Merkmalsgröße mit der zur vorherigen Zeit extrahierten Merkmalsgröße. Die Extraktionseinheit 121 schätzt, wenn bewertet wird, dass dasselbe Objekt auch zur vorherigen Zeit extrahiert ist, die derzeitige Geschwindigkeit Vc des Objektes aus der berechneten derzeitigen Relativposition und der zu der vorherigen Zeit berechneten Relativposition. Beispielsweise liest die Extraktionseinheit 121 aus der Datenspeichervorrichtung 130 die Objektdaten 131 aus, in welchen die Zeit, wenn das aufgenommene Bild 101 durch die Bildgebungsvorrichtung 110 zur vorherigen Zeit fotografiert ist, und die Merkmalsmenge, die nahe an der zu dieser Zeit extrahierten Merkmalsgröße ist, aufgezeichnet werden. Ob die zu dieser Zeit extrahierte Merkmalsgröße und die zur vorherigen Zeit extrahierte Merkmalsgröße nahe ist, wird unter Verwendung des vorstehend genannten Diskriminators bewertet. Die Extraktionseinheit 121 berechnet die aktuelle Geschwindigkeit Vc des Objekts aus Information wie etwa der in den Objektdaten 131 aufgezeichneten Relativposition, der zu dieser Zeit berechneten, derzeitigen Relativposition, der in den gelesenen Objektdaten 131 aufgezeichneten Zeit und der derzeitigen Zeit. Falls sich die Position des Fahrzeugs 200 geändert hat, weil das Fahrzeug 200 gefahren ist, berechnet die Extraktionseinheit 121 die derzeitige Geschwindigkeit Vc des Objektes nach Korrigieren der in den gelesenen Objektdaten 131 aufgezeichneten Relativposition, basierend auf der Positionsänderung des Fahrzeugs 200. Es ist anzumerken, dass die Extraktionseinheit 121 eine Durchschnittsgeschwindigkeit des Objekts nicht nur durch Referenzieren der derzeitigen Relativposition und eines Relativwerts der vorherigen Zeit berechnen kann, sondern auch aus einer Reihe der Zeitreihendaten der Relativposition. Wie in 3 illustriert, wird die derzeitige Geschwindigkeit Vc, welche durch die Extraktionseinheit 121 abgeschätzt ist, auch in den Objektdaten 131 aufgezeichnet.
In S13 von 2 sagt die Vorhersageeinheit 122 der Bildverarbeitungsvorrichtung 120 für jedes Objekt, dessen Kategorie in S12 als ein sich bewegendes Objekt bestimmt ist, die Bewegung des Objekts unter Bezugnahme auf die in S12 geschriebenen Objektdaten 131 in der Datenspeichereinheit 130 und der in der Vergangenheit geschriebenen Objektdaten 131 vorher. Für die Bewegungsvorhersage kann beispielsweise ein Kalman-Filter oder ein Partikelfilter verwendet werden. In dem Fall, bei dem die in S12 bestimmte Kategorie ein Mensch ist, bestimmt die Vorhersageeinheit 122 durch Haltungsabschätzung, ob der Mensch in einer Haltung ist, Gehen zu starten, und sagt die zukünftige Geschwindigkeit vorher. Bezüglich einer Technik für die Haltungsabschätzung kann beispielsweise eine Technik zum Identifizieren der Haltung durch Lernen von Haltung eines Menschen, der beginnt zu gehen, und Haltung eines Menschen, der dies nicht tut, unter Verwendung des vorstehend genannten Diskriminators verwendet werden.
Spezifisch bewertet die Vorhersageeinheit 122 für jedes Objekt, dessen Kategorie in S12 als ein sich bewegendes Objekt bestimmt ist, ob dasselbe Objekt konsekutiv in der Vergangenheit extrahiert worden ist oder nicht, durch Vergleichen der in S12 extrahierten Merkmalsgröße mit der durch die Extraktionseinheit 121 in der Vergangenheit extrahierten Merkmalsgröße. Die Vorhersageeinheit 122 sagt in dem Fall, bei dem bewertet wird, dass dasselbe Objekt konsekutiv extrahiert worden ist, aus der Vergangenheit, die zukünftige Relativposition des Objekts aus dem Verlauf der Relativposition und der Geschwindigkeit vorher. „Zukünftige Relativposition“ ist beispielsweise die zukünftige Distanz und Richtung zum Objekt aus dem Fahrzeug 200. Beispielsweise liest die Vorhersageeinheit 122 aus der Datenspeichereinheit 130 die Objektdaten 131 aus, in welchen die Merkmalsgröße, die nahe an der in S12 extrahierten Merkmalsgröße ist, aufgezeichnet ist. Ob die in S12 extrahierte Merkmalsgröße und die in der Vergangenheit extrahierte Merkmalsgröße nahe sind oder nicht, wird unter Verwendung des vorstehend genannten Diskriminators bewertet. Die Vorhersageeinheit 122 analysiert die Zeitreihenvariation der Relativposition und die Geschwindigkeit des Objektes aus der Relativposition, der Geschwindigkeit und der in den gelesenen Objektdaten 131 aufgezeichneten Zeit, der in S12 berechneten derzeitigen Relativposition, der in S12 abgeschätzten Geschwindigkeit und der aktuellen Zeit. Falls die Position des Fahrzeugs 100 sich verändert hat, weil das Fahrzeug 200 gefahren ist, analysiert die Vorhersageeinheit 122 die Zeitreihenvariation der Relativposition und die Geschwindigkeit des Objekts, nach Korrigieren der in den gelesenen Objektdaten 131 aufgezeichneten Relativposition, basierend auf der Änderung der Position des Fahrzeugs 200. Die Vorhersageeinheit 122 sagt aus dem Analyseergebnis die zukünftige Relativposition des Objektes vorher.
Die Vorhersageeinheit 122 berechnet für jedes Objekt, dessen Kategorie in S12bestimmt ist, ein sich bewegendes Objekt zu sein, die zukünftige Distanz Df, welches die Differenz zwischen der vorhergesagten zukünftigen Relativposition und der zukünftigen Relativposition eines anderen Objektes ist.
In S14 von 2 klassifiziert die Klassifikationseinheit 123 der Bildverarbeitungsvorrichtung 120, basierend auf der zukünftigen Distanz Df, die in S13 vorhergesagt ist, die in S12 extrahierten Objekte in Gruppen. Das heißt, dass die Klassifikationseinheit 123 für jedes im S12 extrahierte Objekt über eine Gruppe entscheidet, zu welcher das Objekt gehört. Details von S14 werden später diskutiert.
In S15 von 2 verarbeitet die Verarbeitungseinheit 124 der Bildverarbeitungsvorrichtung 120 das in S11 erfasste, aufgenommene Bild 101, um das hervorgehobene Bild 102 zu erzeugen. Das hervorgehobene Bild 102 ist ein Bild, in welchem die in S12 extrahierten Objekte getrennt für jede in S14 entschiedene Gruppe hervorgehoben werden. Beispielsweise ist das hervorgehobene Bild 102 ein Bild, in welchem die in S12 extrahierten Objekte durch einen Rahmen pro Gruppe, über die in S14 entschieden ist, umgeben sind.
In S16 von 2 gibt die Anzeigevorrichtung 140 das hervorgehobene Bild 102, das in S15 erzeugt ist, aus.
In S17 von 2, falls das Fahren des Fahrzeugs abgeschlossen worden ist, endet der Ablauf. Falls der Antrieb des Fahrzeugs 200 nicht abgeschlossen ist, kehrt der Ablauf zu S11 zurück.
„Beenden“ des Fahrens des Fahrzeugs ist beispielsweise, einen Motor oder einen Elektromotor zu stoppen, die eine Antriebsquelle des Fahrzeugs 200 sind.
4 ist ein Flussdiagramm, das eine Prozedur des Klassifikationsprozesses illustriert, der S14 von 2 ist. 5 ist eine Tabelle, die ein Beispiel der Beziehungstabelle 132 illustriert.
In S21 von 4 wählt die Klassifikationseinheit 123 der Bildverarbeitungsvorrichtung 120 aus den in S12 von 2 extrahierten Objekten ein erstes Objekt und ein zweites Objekt aus, die zwei beliebige Objekte sind.
In S22 von 4 identifiziert die Klassifikationseinheit 123 die Kategorie des ersten Objektes und die Kategorie des zweiten Objektes unter Referenzieren der in die Datenspeichereinheit 130 in S12 von 2 geschriebenen Objektdaten 131 hinsichtlich des ersten Objekts und des zweiten Objekts, die in S21 ausgewählt sind, aus der Datenspeichereinheit 130. Das heißt, dass die Klassifikationseinheit 123 die Kombination der Kategorien des ersten Objekts und des zweiten Objekts, ausgewählt in S21, identifiziert.
In S23 von 4 sucht die Klassifikationseinheit 123 nach der Kombination der in S22 identifizierten Kategorien in der in der Datenspeichereinheit 130 gespeicherten Beziehungstabelle 132.
Wie in 5 illustriert, definiert die Beziehungstabelle 132 für jede Kombination von Kategorien von zwei Objekten, die ein „erstes Objekt“ und ein „zweites Objekt“ sind, die „Bedingung“, ob eine „Beziehung“ zwischen dem „ersten Objekt“ und dem „zweiten Objekt“ existiert oder nicht, wenn die „Bedingung“ erfüllt ist. Wenn eine gewisse „Bedingung“ erfüllt ist, wird definiert, dass eine „Beziehung“ in dem Fall existiert, bei dem diese „Bedingung“ erfüllt ist, wenn dann das „erste Objekt“ und das „zweite Objekt“ in dieselbe Gruppe klassifiziert sind. Wenn andererseits eine gewisse „Bedingung“ erfüllt ist, falls es definiert ist, dass „Beziehung“ in dem Fall nicht existiert, bei dem „Bedingung“ erfüllt ist, werden dann das „erste Objekt“ und das „zweite Objekt“ in unterschiedliche Gruppen klassifiziert.
Beispielsweise wird in Bezug auf die Kombination eines Menschen und eines anderen Menschen definiert, dass, wenn die Bedingung C1, unter welcher die zukünftige Distanz Df zwischen dem Menschen und dem anderen Menschen größer als der Schwellenwert Ta ist, erfüllt ist, abgeschätzt werden sollte, dass keine spezifische Beziehung existiert.
In Bezug auf die Kombination eines Menschen und eines Automobils wird es definiert, dass, wenn die Bedingung C2, unter welcher die zukünftige Distanz Df zwischen dem Menschen und dem Automobil kleiner als der Schwellenwert Ta ist, und die Amplitude der aktuellen Geschwindigkeit Vc2 des Automobils 0 ist, erfüllt ist, es abgeschätzt werden sollte, dass eine Beziehung eines Automobils und eines Menschen, der in das Automobil gelangt, existiert.
In Bezug auf die Kombination eines Menschen und eines Fahrrads wird definiert, dass, wenn die Bedingung C3, unter welcher die zukünftige Distanz Df zwischen dem Menschen und dem Fahrrad kleiner als der Schwellenwert Ta ist, und die Amplitude der derzeitigen Geschwindigkeit Vc2 des Fahrzeugs 0 ist, erfüllt ist, es abgeschätzt werden sollte, dass eine Beziehung eines Fahrrads und eines Menschen, der auf das Fahrrad steigt, existiert.
In Bezug auf die Kombination eines Fahrrads und eines anderen Fahrrads ist definiert, dass, wenn die Bedingung C4, unter welcher die Differenz der aktuellen Distanz Tc zwischen dem Fahrrad und dem anderen Fahrzeug und der zukünftigen Distanz Df zwischen dem Fahrrad und dem anderen Fahrrad kleiner ist als der Schwellenwert Tb, die Amplituden der aktuellen Geschwindigkeit Vc1 und Vc2 des Fahrrads und des anderen Fahrzeugs größer sind als 0 und die Differenz der Amplituden der derzeitigen Geschwindigkeiten Vc1 und Vc2 des Fahrrads und des anderen Fahrzeugs kleiner als der Schwellenwert Tc ist, erfüllt ist, sollte abgeschätzt werden, dass eine Beziehung zwischen in einer Linie fahrenden Fahrrädern existiert.
In Bezug auf die Kombination eines Automobils und eines anderen Automobils wird definiert, dass, wenn die Bedingung C5, die immer wahr ist, erfüllt ist, es abgeschätzt werden sollte, dass keine spezifische Beziehung existiert. Das heißt, es wird definiert, dass es abgeschätzt werden sollte, dass keine Beziehung ohne Bedingung existiert.
In S24 von 4 bestimmt die Klassifikationseinheit 123, ob die in S13 von 2 vorhergesagte zukünftige Distanz Df zwischen dem ersten Objekt und dem zweiten Objekt die Bedingung erfüllt oder nicht, die in der Beziehungstabelle 132 definiert ist, in Bezug auf die Kombination der in S23 gesuchten Kategorien. Die Klassifikationseinheit 123 bestimmt weiter gemäß der Notwendigkeit, ob irgendwelche oder alle der aktuellen Distanz Dc zwischen dem ersten Objekt und dem zweiten Objekt, berechnet in S12 von 2, der derzeitigen Geschwindigkeit Vc1 des in S12 von 2 abgeschätzten ersten Objekts und der derzeitigen Geschwindigkeit Vc2 des in S12 von 2 abgeschätzten zweiten Objekts die Bedingung erfüllen, die in der Beziehungstabelle 132 definiert ist, in Bezug auf die Kombination der in S23 gesuchten Kategorien. Die Klassifikationseinheit 123 bestimmt in dem Fall, bei dem die Bedingung als erfüllt bestimmt wird, ob die Beziehungstabelle 132 definiert, dass diese Beziehung zwischen dem ersten Objekt und dem zweiten Objekt existiert, falls die Bedingung erfüllt ist, oder nicht. Falls die Beziehungstabelle 132 definiert, dass eine Beziehung existiert, klassifiziert die Klassifikationseinheit 123 das erste Objekt und das zweite Objekt in dieselbe Gruppe. Andererseits, in dem Fall, bei dem die Klassifikationseinheit 123 feststellt, dass die Bedingung nicht erfüllt ist, oder die Beziehungstabelle 132 definiert, dass keine Beziehung existiert, klassifiziert die Klassifikationseinheit 123 das erste Objekt und das zweite Objekt in verschiedene Gruppen.
In S25 von 4, falls alle Kombinationen von zwei Objekten, die in der Lage sind, aus dem in S12 von 2 extrahierten Objekten ausgewählt zu werden, in S21 ausgewählt worden sind, endet der Ablauf. Falls irgendeine Kombination der zwei Objekte existiert, die nicht ausgewählt worden ist, kehrt der Ablauf zu S21 zurück.
6 bis 9 sind Diagramme, die Beispiele des hervorgehobenen Bilds 102 illustrieren.
Im Beispiel von 6 sind ein Mensch 301 und drei Menschen 302 bis 304 von unterschiedlichen Rahmen 305 und 306 umgeben.
Beispielsweise wird angenommen, dass von den vier Menschen 301 bis 304, die nahe beieinander stehen, der eine Mensch 301 in einer Haltung ist, das Gehen zu beginnen. In diesem Fall, obwohl die aktuelle Distanz Dc zwischen dem einen Menschen 301 und den verbleibenden drei Menschen 302 bis 304 klein ist, wird angenommen, dass die zukünftige Distanz Df groß sein wird. Wenn der Mensch 301 das erste Objekt ist, der Mensch 302 das zweite Objekt ist und die zukünftige Distanz Df zwischen dem Menschen 301 und dem Menschen 302, vorhergesagt in S13 von 2, größer als der Schwellenwert Ta ist, wird die obige Bedingung C1 erfüllt. Die Klassifikationseinheit 123 kann durch Referenzieren der Beziehungstabelle 132 abschätzen, wenn die Bedingung C1 erfüllt ist, dass keine spezifische Beziehung existiert. Entsprechend schätzt in S24 von 4 die Klassifikationseinheit 123 ab, dass keine Beziehung zwischen dem Menschen 301 und dem Menschen 302 existiert und klassifiziert den Menschen 301 und den Menschen 302 in unterschiedlichen Gruppen. Andererseits klassifiziert die Klassifikationseinheit 123, basierend auf der in der Beziehungstabelle 132 definierten, nicht illustrierten anderen Definition den Menschen 302 und den Menschen 303 in dieselbe Gruppe. In derselben Weise klassifiziert die Klassifikationseinheit 123 den Menschen 302 und den Menschen 304 in dieselbe Gruppe. In S15 von 2 erzeugt die Verarbeitungseinheit 124 das hervorgehobene Bild 102, wie in 6 illustriert.
Im Beispiel von 7 sind ein Mensch 301 und ein Automobil 312 gemeinsam von einem Rahmen 313 umgeben.
Beispielsweise wird angenommen, dass weg vom geparkten Automobil 312 der Mensch 311 sich dem Fahrzeug 312 nähert. In diesem Fall, obwohl die aktuelle Distanz Dc zwischen dem Menschen 301 und dem Automobil 302 groß ist, wird die zukünftige Distanz Df als 0 werdend angenommen. Wenn der Mensch 311 das erste Objekt ist, ist das Automobil 312 das zweite Objekt, ist die zukünftige Distanz Df zwischen dem Menschen 311 und dem Automobil 312, vorhergesagt in S13 von 2, kleiner als der Schwellenwert Ta und ist die Amplitude der aktuellen Geschwindigkeit Vc2 des Automobils 312, abgeschätzt in S12 von 2 0, ist die obige Bedingung C2 erfüllt. Die Klassifikationseinheit 123 kann unter Referenzieren der Beziehungstabelle 132 abschätzen, wenn die Bedingung C2 erfüllt ist, dass die Beziehung des Automobils 312 und eines Menschen 311, der das Automobil 312 betritt, existiert. Entsprechend klassifiziert in S24 von 4 die Klassifikationseinheit 123 den Menschen 311 und das Automobil 312 in dieselbe Gruppe. In S15 von 2 erzeugt die Verarbeitungseinheit 124 das hervorgehobene Bild 102, wie in 7 illustriert.
Im Beispiel von 8 sind zwei Fahrräder 321 und 322 gemeinsam von einem Rahmen 323 umgeben.
Es wird beispielsweise angenommen, dass die zwei Fahrräder 321 und 322 in einer Linie fahren. In diesem Fall wird angenommen, dass es wenig Differenz bei der aktuellen Distanz Dc und der zukünftigen Distanz Df zwischen den zwei Fahrrädern 321 und 322 gibt. Wenn das Fahrrad 321 das erste Objekt ist, das Fahrrad 322 das zweite Objekt ist, die Differenz zwischen der aktuellen Distanz Dc zwischen dem Fahrrad 321 und dem Fahrrad 322, berechnet in S12 von 2, und die zukünftige Distanz Df zwischen dem Fahrrad 321 und dem Fahrrad 322, vorhergesagt in S13 von 2, kleiner ist als der Schwellenwert Tb, sind die Amplituden der derzeitigen Geschwindigkeiten Vc1 und Vc2 des Fahrrads 321 und des Fahrrads 322, abgeschätzt in S12 von 2, größer als 0 und ist die Differenz der Amplituden der derzeitigen Geschwindigkeiten Vc1 und Vc2 des Fahrrads 321 und des Fahrrads 322, abgeschätzt in S12 von 2, kleiner als der Schwellenwert Tc, unabhängig von der aktuellen Distanz Dc zwischen dem Fahrzeug 321 und dem Fahrzeug 322, berechnet in S12 von 2, ist die obige Bedienung C4 erfüllt. Die Klassifikationseinheit 123 kann referenzierend auf die Beziehungstabelle 132 abschätzen, wenn die Bedingung C4 erfüllt ist, dass die Beziehung von Fahrrädern 321 und 322, die auf Linie fahren, existiert. Entsprechend klassifiziert in S24 von 4, die Klassifikationseinheit 123 das Fahrrad 321 und das Fahrrad 322 in dieselbe Gruppe ein. In S15 von 2 erzeugt die Verarbeitungseinheit 124 das hervorgehobene Bild 102, wie in 8 illustriert.
Es ist anzumerken, dass im obigen Beispiel die Klassifikationseinheit 123, statt, ob die Bedingung C4 erfüllt ist oder nicht, oder zusätzlich dazu, ob die Bedingung C4 erfüllt ist oder nicht, aus dem Ergebnis der Bewegungsvorhersage des Haltungsfahrzeugs 322 in S13 von 2, bestimmen kann, ob das posteriore Fahrrad 322 den Bewegungsort des anterioren Fahrzeugs 321 verfolgt oder nicht.
Weiter kann im obigen Beispiel die Verarbeitungseinheit 124 anstelle des hervorgehobenen Bilds 102, wie in 8, das hervorgehobene Bild 102 erzeugen, wie in 9 illustriert. Das in 8 illustrierte, hervorgehobene Bild 102 ist ein Bild, in welchem eine Seite des Fahrzeugs 200 fotografiert ist; die zwei Fahrräder 321 und 322, die im Bild aufgenommen sind, werden zusammen von einem Rahmen 323 umgeben. Andererseits ist das in 9 illustrierte hervorgehobene Bild 102 ein Bild, in welchem eine Front des Fahrzeugs fotografiert ist; das anteriore Fahrrad 321, das im Bild aufgenommen ist, und eine Markierung 324 und ein Fahrrad 325, welche Substitute für das posteriore Fahrrad 322 sind, welches nicht im Bild aufgenommen ist, werden gemeinsam von einem Rahmen 323 umgeben. Im in 9 illustrierten hervorgehobenen Bild 102 können die Markierung 324 und der Pfeil 325 als ein Objekt angenommen werden.
Erläuterung des Effekts
In der vorliegenden Ausführungsform sind Objekte in Gruppen klassifiziert, unabhängig von der aktuellen Distanz Dc zwischen den Objekten und basierend auf der zukünftigen Distanz Df zwischen den Objekten. Daher ist es gemäß der vorliegenden Ausführungsform möglich, in Bezug auf die Objekte, die getrennt für jede Gruppe hervorzuheben sind, die Objekte, die visuell getrennt erkannt werden sollten, und die Objekte, die visuell gemeinsam erkannt werden sollten, angemessen zu klassifizieren.
Im Beispiel von 6 ist von den vier Menschen 301 bis 304 der Mensch 301 in einer Haltung, das Gehen zu beginnen. Daher sagt die Bildverarbeitungsvorrichtung 120 voraus, obwohl die aktuelle Distanz Dc zwischen dem einen Menschen 301 und den verbleibenden Menschen 302 bis 304 klein ist, dass die zukünftige Distanz Df groß sein wird. Die Bildverarbeitungsvorrichtung 120 erzeugt das hervorgehobene Bild 102, in welchem der eine Mensch 301 und die verbleibenden drei Menschen 302 bis 304 von den verschiedenen Rahmen 305 bzw. 306 umgeben sind. Der Fahrer, der auf das hervorgehobene Bild 102 blickt, kann visuell zumindest ab dem Moment, wenn der Mensch 301 das Gehen beginnt, den Menschen 301 getrennt von den verbleibenden drei Menschen 302 bis 304 erkennen. Folglich kann der Fahrer leicht dem Menschen 301, der Gehen beginnt, Aufmerksamkeit schenken, und dadurch wird sicheres Fahren ermöglicht.
Weiter sind in der vorliegenden Ausführungsform die Objekte in Gruppen gemäß der Beziehung zwischen den Objekten klassifiziert. Daher, gemäß der vorliegenden Ausführungsform, ist es möglich, angemessen in Bezug auf die Objekte, die getrennt für jede Gruppe hervorgehoben sind, die Objekte, die visuell getrennt erkannt werden sollten, und die Objekte, die visuell gemeinsam erkannt werden sollten, zu klassifizieren.
Im Beispiel von 7 nähert sich der Mensch 311 dem Automobil 312. Daher sagt die Bildverarbeitungsvorrichtung 120, obwohl die aktuelle Distanz Dc zwischen dem Menschen 311 und dem Automobil 312 groß ist, voraus, dass die zukünftige Distanz Df klein wird. Die Bildverarbeitungsvorrichtung 120 schätzt ab, dass die Beziehung eines Automobils 312 und eines Menschen 311, der das Automobil 312 betritt, zwischen dem Menschen 311 und dem Automobil 312 existiert. Die Bildverarbeitungsvorrichtung 120 erzeugt das hervorgehobene Bild 102, in welchem der Mensch 311 und das Automobil 312 zusammen von einem Rahmen 313 umgeben sind. Der Fahrer, der auf das hervorgehobene Bild 102 blickt, kann, bevor der Mensch 311 ins Automobil 312 gelangt, den Menschen 311 und das Automobil 312 gemeinsam visuell erkennen. Folglich kann der Fahrer leicht anderen Objekten Aufmerksamkeit widmen und kann die Fläche zwischen Objekten als eine zu beobachtende Fläche erkennen, und dadurch wird das sichere Fahren ermöglicht.
Zweite Ausführungsform
Für die vorliegende Ausführungsform werden hauptsächlich Differenzen gegenüber der ersten Ausführungsform erklärt.
Nachfolgend werden eine Konfiguration eines Systems gemäß der vorliegenden Ausführungsform, ein Betrieb des Systems gemäß der vorliegenden Ausführungsform und eine Wirkung der vorliegenden Ausführungsform nacheinander erläutert.
Erläuterung der Konfiguration
Eine Konfiguration eines Fahrzeuganzeigesystems 100 gemäß der vorliegenden Ausführungsform ist die gleiche wie jene der ersten, in 1 illustrierten Ausführungsform.
In der vorliegenden Ausführungsform bestimmt die Extraktionseinheit 121 der Bildverarbeitungsvorrichtung 120 in Bezug auf einen Menschen, ob die Kategorie des Objektes ein Kind ist oder nicht. Die Extraktionseinheit 121 berechnet den Änderungsbetrag bei der Bewegung Ma des Objektes, dessen Kategorie als ein Kind oder ein Tier bestimmt wird.
Die Extraktionseinheit 121 bestimmt weiter in Bezug auf einen Menschen, ob die Kategorie des Objektes ein Mensch ist, der den Fahrersitz eines Automobils verlassen hat, oder nicht, und ob die Kategorie des Objektes ein Mensch ist, der den Rücksitz des Automobils verlassen hat, oder nicht.
In der vorliegenden Ausführungsform klassifiziert die Klassifikationseinheit 123 der Bildverarbeitungsvorrichtung 120 in dem Fall, bei dem die Mehrzahl von durch die Extraktionseinheit 121 extrahierten Objekten ein erstes Objekt, dessen Kategorie als ein Mensch durch die Extraktionseinheit 121 bestimmt wird, und ein zweites Objekt, dessen Kategorie durch die Extraktionseinheit 121 als ein Kind oder ein Tier bestimmt wird, beinhalten und der Änderungsbetrag bei der Bewegung Ma des zweiten Objekts, berechnet durch die Extraktionseinheit 121, größer ist als ein anderer Schwellenwert Te, das erste Objekt und das zweite Objekt in unterschiedliche Gruppen. Es ist anzumerken, dass das erste Objekt ein Objekt sein kann, dessen Kategorie bestimmt wird, nicht ein Kind zu sein, durch die Extraktionseinheit 121, oder ein Objekt zu sein, dessen Kategorie durch die Extraktionseinheit 121 als ein Kind bestimmt wird.
In der vorliegenden Ausführungsform verwendet die Verarbeitungseinheit 124 der Bildverarbeitungsvorrichtung 120 in dem Fall, bei dem von zwei oder mehr Objekten, die zuvor durch die Klassifikationseinheit 123 in dieselbe Gruppe klassifiziert worden sind, zumindest ein Objekt in eine andere Gruppe als die verbleibenden Objekte durch die Klassifikationseinheit 123 klassifiziert wird, unterschiedliche Formate von Hervorhebung in hervorgehobenen Bild 102 für zumindest ein Objekt und die verbleibenden Objekte verwendet. Beispielsweise wird angenommen, wenn ein Objekt, das in Gruppe A eingeschlossen wurde, Gruppe A verlässt, um Gruppe B zu bilden, die eine unabhängige Gruppe ist, wird das zu Gruppe A gehörende Objekt durch einen Rahmen umgeben, der dieselbe Dicke und Farbe wie zuvor aufweist, und wird das zu Gruppe B gehörende Objekt durch einen Rahmen umgeben, der mehr Dicke aufweist als Gruppe A oder eine andere Farbe als Gruppe A. Alternativ wird es erwogen, dass das zu Gruppe B gehörende Objekt durch einen Rahmen mit derselben Dicke und Farbe wie der Rahmen umgeben ist, der zum umgeben von Gruppe A verwendet worden ist und das zu Gruppe A gehörende Objekt wird von einem Rahmen umgeben, der mehr Dicke aufweist als Gruppe B oder eine andere Farbe als Gruppe B. Im ersteren Fall kann eine größere Aufmerksamkeit für das zu Gruppe B gehörende Objekt evoziert werden. Im letzteren Fall kann eine größere Aufmerksamkeit auf das zu Gruppe A gehörende Objekt evoziert werden.
Erläuterung des Betriebs
Nachfolgend wird ein Betrieb des Fahrzeuganzeigesystems 100, das einem Anzeigeverfahren gemäß der vorliegenden Ausführungsform entspricht, unter Bezugnahme auf 2 erläutert.
S11 von 2 ist der gleiche wie der der ersten Ausführungsform.
In S12 von 2 bewertet die Extraktionseinheit 121 für jedes Objekt, dessen Kategorie bestimmt ist, ein Kind oder ein Tier zu sein, ob dasselbe Objekt konsekutiv extrahiert worden ist, in der Vergangenheit, durch Vergleichen der in S12 extrahierten Merkmalsgröße mit der in der Vergangenheit durch die Extraktionseinheit 121 extrahierten Merkmalsgröße. Die Extraktionseinheit 121 berechnet, falls es bewertet wird, dass dasselbe Objekt konsekutiv aus der Vergangenheit extrahiert worden ist, aus dem Verlauf der Relativposition und der Geschwindigkeit, den Änderungsbetrag bei der Bewegung Ma des Objekts. Es ist anzumerken, dass die Extraktionseinheit 121 statt des Verlaufs der Relativposition und der Geschwindigkeit den optischen Fluss des Objekts berechnen kann und aus dem Berechnungsergebnis den Änderungsbetrag bei der Bewegung Ma des Objekts berechnen kann. Obwohl nicht illustriert, wird in den in die Datenspeichereinheit 130 durch die Extraktionseinheit 121 geschriebenen Objektdaten 131 der Änderungsbetrag bei der Bewegung Ma, der durch die Extraktionseinheit 121 berechnet wird, auch aufgezeichnet.
Der andere Betrieb der Extraktionseinheit 121 in S12 von 2 ist der gleiche wie der der ersten Ausführungsform.
S13 und S14 von 2 sind die gleichen wie die der ersten Ausführungsform. Jedoch unterscheidet sich in der vorliegenden Ausführungsform eine Konfiguration der Beziehungstabelle 132 von der der ersten Ausführungsform.
10 ist eine Tabelle, die ein Beispiel der Beziehungstabelle 132 illustriert.
Wie in 10 illustriert, definiert die Beziehungstabelle 132 für jede Kombination von Kategorien von zwei Objekten, die ein „erstes Objekt“ und ein „zweites Objekt“ sind, zusätzlich zu der „Bedingung“ und „Beziehung“, welche die gleichen sind wie jene, die in 5 illustriert sind, das „nach Aufhebung zu betonende Objekt“, welches spezifiziert, welches Objekt stärker hervorzuheben ist, vom „ersten Objekt“ und dem „zweiten Objekt“ in dem Fall, bei dem die Gruppierung aufgehoben worden ist. „Der Fall, bei dem die Gruppierung aufgehoben worden ist“ bedeutet den Fall, bei dem zwei Objekte, die in dieselbe Gruppe klassifiziert worden sind, in unterschiedliche Gruppen klassifiziert werden.
Beispielsweise in Bezug auf die Kombination eines Menschen und eines Automobils ist definiert, dass, wenn die Bedingung C6, unter welcher der Mensch den Fahrersitz des Automobils verlassen hat, erfüllt ist, der Mensch stärker hervorzuheben ist und wenn die Bedingung C7, unter welcher der Mensch den Rücksitz des Automobils verlassen hat, erfüllt ist, das Automobil stärker hervorzuheben ist.
In Bezug auf die Kombination eines Menschen und eines Tiers ist definiert, dass, wenn die Bedingung C8, unter welcher die zukünftige Distanz Df zwischen dem Menschen und dem Tier kleiner als der Schwellenwert Ta ist, erfüllt ist, abgeschätzt werden sollte, dass eine Beziehung eines Tiers und eines Menschen zum Tier existiert und wenn die Bedingung C9, unter welcher der Änderungsbetrag bei der Bewegung Ma des Tieres größer ist als der Schwellenwert Te, erfüllt ist, das Tier stärker hervorzuheben ist.
Es ist anzumerken, dass, wenn eine Mehrzahl von für die Kombination von Kategorien von zwei Objekten definierte Bedingungen gleichzeitig erfüllt sind, falls die Bedingung, unter welcher die Beziehung existiert, und die Bedingung, unter welcher keine Beziehung existiert, in der Mehrzahl von Bedingungen gemischt sind, die Bedingung, unter welcher keine Beziehung existiert, Priorität einnimmt. Beispielsweise in Bezug auf die Kombination eines Menschen und eines Tieres, selbst falls sowohl die Bedingung C8 als auch die Bedingung C9 erfüllt sind, hat die Bedingung C9 Priorität und somit werden der Mensch und das Tier in zwei verschiedenen Gruppen klassifiziert. Wenn zwei oder mehr Bedingungen, unter welchen abgeschätzt wird, dass keine Beziehung existiert, gleichzeitig erfüllt sind, werden beispielsweise Prioritäten, die zuvor für die individuellen Bedingungen eingestellt worden sind, angewendet.
Beispielsweise wird angenommen, dass ein Mensch mit einem Tier geht. Wenn der Mensch das erste Objekt ist, das Tier das zweite Objekt ist und die zukünftige Distanz Df zwischen dem Menschen und dem Tier, die in S13 von 2 vorhergesagt wird, kleiner ist als der Schwellenwert Ta, wird die obige Bedingung C8 erfüllt. Die Klassifikationseinheit 123 kann durch Referenzierung der Beziehungstabelle 132, wenn die Bedingung C8 erfüllt ist, abschätzen, dass es die Beziehung eines Tiers und eines Menschen mit dem Tier gibt. Entsprechend klassifiziert in S24 von 4 die Klassifikationseinheit 123 den Menschen und das Tier in dieselbe Gruppe.
Es wird danach angenommen, dass plötzliche Aktionen des Tiers häufig auftreten. Wenn der Änderungsbetrag bei der Bewegung Ma des Tiers, der in S12 von 2 berechnet wird, größer ist als der Schwellenwert Te, ist die Bedingung C9, die eine höhere Priorität als die Bedingung C8 aufweist, erfüllt. Die Klassifikationseinheit 123 kann unter Referenzieren der Beziehungstabelle 132 abschätzen, wenn die Bedingung C9 erfüllt ist, dass keine spezifische Beziehung existiert. Entsprechend klassifiziert in S24 von 4 die Klassifikationseinheit 123 den Menschen und das Tier in unterschiedliche Gruppen. Es ist anzumerken, dass auch berücksichtigt werden kann, dass die Klassifikationseinheit 123, wenn die Bedingung C9 erfüllt ist, die Beziehung eines Menschen und eines wilden Tieres, welches den Menschen begleitet, abschätzt, und dabei durch den Menschen und das Tier in unterschiedliche Gruppen klassifiziert.
Wie oben diskutiert, hebt die Klassifikationseinheit 123 die Gruppierung auf, wenn die in der Beziehungstabelle 132 definierte Bedingung, unter welcher abgeschätzt wird, dass keine Beziehung existiert, erfüllt ist.
In S15 von 2 verarbeitet die Verarbeitungseinheit 124 das aufgenommene Bild 101, das in S11 erfasst ist, um das hervorgehobene Bild 102 zu erzeugen. In dem Fall, bei dem von zwei oder mehr Objekten, die in dieselbe Gruppe in S14 klassifiziert worden ist, zumindest ein Objekt in eine andere Gruppe als die verbleibenden Objekte in S14 klassifiziert ist, erzeugt die Verarbeitungseinheit 124 durch Referenzieren der in der Datenspeichereinheit 130 gespeicherten Beziehungstabelle 132 ein Bild, in welchem das in einer der Gruppen klassifizierte Objekt stärker hervorgehoben wird als das in der anderen Gruppe klassifizierte Objekt, als das hervorgehobene Bild 102.
Erläuterung des Effekts
In der vorliegenden Ausführungsform, in dem Fall, bei dem von zwei oder mehr Objekten, die zuvor in dieselbe Gruppe klasssifiziert worden sind, zumindest ein Objekt in eine andere Gruppe als die verbleibenden Objekte klassifiziert ist, werden verschiedene Formate des Hervorhebens für das zumindest eine Objekt und für die verbleibenden Objekte verwendet. Daher ist es gemäß der vorliegenden Ausführungsform möglich, klar anzugeben, dass das Objekt, das visuell zusammen mit den anderen Objekten erkannt worden ist, zu dem Objekt verändert wird, das individuell visuell erkannt werden sollte.
Wenn beispielsweise ein mit einem Erwachsenen laufendes Kind oder ein seinen Eigentümer begleitendes Tier beginnt, gewalttätig zu agieren, sollte das Kind oder das Tier beobachtet werden. In der vorliegenden Ausführungsform wird in einem solchen Fall die Gruppierung aufgehoben und wird Aufmerksamkeit leicht dem Kind oder dem Tier geschenkt.
Wenn ein Mensch ein Automobil verlässt, sollte der Mensch oder das Automobil beobachtet werden. In der vorliegenden Ausführungsform wird in einem solchen Fall die Gruppierung aufgehoben und wird die Aufmerksamkeit leicht dem Menschen oder dem Automobil geschenkt.
11 ist ein Diagramm, das ein Beispiel einer Hardware-Konfiguration des Fahrzeuganzeigesystems 100 gemäß der Ausführungsform der vorliegenden Erfindung illustriert.
In 11 ist das Fahrzeuganzeigesystem 100 ein Computer und mit einer Hardware wie etwa einer Ausgabevorrichtung 910, einer Eingabevorrichtung 920, einer Speichervorrichtung 930 und einer Verarbeitungsvorrichtung 940 versehen. Die Hardware wird durch jede Einheit der Bildverarbeitungsvorrichtung 120 verwendet, wie etwa die Extraktionseinheit 121, die Vorhersageeinheit 122, die Klassifikationseinheit 123 und die Verarbeitungseinheit 124.
Die Ausgabevorrichtung 910 ist beispielsweise die Anzeigevorrichtung 140, ein Drucker oder ein Kommunikationsmodul. Die Ausgabevorrichtung 910 wird durch jede Einheit der Bildverarbeitungsvorrichtung 120 zur Ausgabe oder Übertragung von Daten, Informationen und Signalen verwendet.
Die Eingabevorrichtung 920 ist beispielsweise die Bildgebungsvorrichtung 110, eine Tastatur, eine Maus, ein Touch-Paneel oder ein Kommunikationsmodul. Die Eingabevorrichtung 920 wird durch jede Einheit der Bildverarbeitungsvorrichtung 120 zur Eingabe oder zum Empfangen von Daten, Informationen und Signalen verwendet.
Die Speichervorrichtung 930 ist beispielsweise die Datenspeichereinheit 130, ein ROM (Nurlesespeicher), ein RAM (Wahlfreizugriffspeicher), eine HDD oder eine SSD. Die Speichervorrichtung 930 speichert Programme 931 und Dateien 932. Die Programme 931 beinhalten ein Programm zum Ausführen des Prozesses jeder Einheit der Bildverarbeitungsvorrichtung 120. Die Dateien 932 beinhalten Daten, Information, Signale und dergleichen, an welchen Berechnung, Verarbeitung, Lesen, Schreiben, Verwendung, Eingabe, Ausgabe und dergleichen durch jede Einheit der Bildverarbeitungsvorrichtung 120 ausgeführt werden. Beispielsweise beinhalten die in der Datenspeichereinheit 130 zu speichernden Dateien 932 die Objektdaten 131 und die Beziehungstabelle 132.
Die Verarbeitungsvorrichtung 940 ist beispielsweise eine CPU (Zentraleinheit) oder eine GPU (Graphik-Verarbeitungseinheit). Die Verarbeitungsvorrichtung 940 ist mit anderen Hardware-Vorrichtungen über einen Bus oder dergleichen verbunden und steuert diese Hardware-Vorrichtungen. Die Verarbeitungsvorrichtung 940 liest die Programme 931 aus der Speichervorrichtung 930 und führt die Programme 931 aus. Die Verarbeitungsvorrichtung 940 wird durch jede Einheit der Bildverarbeitungsvorrichtung 120 zum Berechnen, Verarbeiten, Lesen, Schreiben, Verwenden, Eingeben, Ausgeben und dergleichen benutzt. Es ist anzumerken, dass mehrere Verarbeitungsvorrichtungen 940 kooperieren können, um die Programme 931 auszuführen. Beispielsweise kann der Prozess der Verarbeitungseinheit 124 zum Prozessieren der aufgenommenen Bilds 101 in das hervorgehobene Bild 102 durch eine GPU ausgeführt werden und können die anderen Prozesse der Extraktionseinheit 121, der Vorhersageeinheit 122 und der Klassifikationseinheit 123 durch eine CPU ausgeführt werden.
Jede Einheit der Bildverarbeitungsvorrichtung 120 kann die eine sein, deren „Einheit“ durch „Schaltung“, „Vorrichtung“, oder „Apparatur“ ersetzt wird. Weiter kann jede Einheit der Bildverarbeitungsvorrichtung 120 die eine sein, deren „Einheit“ ersetzt ist durch „Schritt“, „Prozedur“ oder „Prozess“. Das heißt, dass jede Einheit der Bildverarbeitungsvorrichtung 120 nur durch Software, nur durch Hardware, oder eine Kombination von Software und Hardware implementiert wird. Die Software kann zuvor als ein Programm 931 in der Speichervorrichtung 930 gespeichert sein, oder kann aus einem Netzwerk wie etwa dem Internet heruntergeladen werden, um in der Speichervorrichtung 930 gespeichert zu werden, oder aus dem entnehmbaren Aufzeichnungsmedium bewegt oder kopiert werden, um in der Speichervorrichtung 930 gespeichert zu werden. Das Programm 931 soll den Computer veranlassen, als jede Einheit der Bildverarbeitungsvorrichtung 120 zu funktionieren. Oder das Programm 931 dient dazu, den Computer zu veranlassen, den Prozess jeder Einheit der Bildverarbeitungsvorrichtung 120 auszuführen. Die Hardware kann beispielsweise eine integrierte Schaltung wie etwa ein ASIC (Application-Spezifische Integrierte Schaltung) oder ein FPGA (Feld-Programmierbares Gate-Array) sein oder kann eine Kombination von diskreten Elementen sein.
Vorstehend sind die Ausführungsformen der vorliegenden Erfindung erläutert worden; Einiges von der Ausführungsformen kann in Kombination implementiert werden. Alternativ können eine oder einige aus den Ausführungsformen partiell implementiert werden. Beispielsweise kann von jenen als „Einheiten“ in der Erläuterung der Ausführungsformen erläuterten irgendeine angenommen werden oder eine beliebige Kombination einiger kann angenommen werden. Es ist anzumerken, dass die vorliegende Erfindung nicht auf die Ausführungsformen beschränkt ist, und verschiedene Änderungen gemäß Notwendigkeit vorgenommen werden können.
Bezugszeichenliste

100: Fahrzeuganzeigesystem;
101: aufgenommenes Bild;
102: hervorgehobenes Bild;
110: Bildgebungsvorrichtung;
120: Bildverarbeitungsvorrichtung;
122: Vorhersageeinheit;
123: Klassifikationseinheit;
124: Verarbeitungseinheit;
130: Datenspeichereinheit;
131: Objektdaten;
132: Beziehungstabelle;
140: Anzeigevorrichtung;
141: Eingabeeinheit;
142: Ausgabeeinheit;
200: Fahrzeug;
301 bis 304: Mensch;
305 und 306: Rahmen;
311: Mensch;
312: Automobil;
313: Rahmen;
321 und 322: Fahrrad;
323: Rahmen;
324: Markierung;
325: Pfeil;
910: Ausgabevorrichtung;
920: Eingabevorrichtung;
930: Speichervorrichtung;
931: Programm;
932: Datei;
940: Verarbeitungsvorrichtung.

Claims

Bildverarbeitungsvorrichtung (120), umfassend: eine Extraktionseinheit (121) zum Extrahieren einer Mehrzahl von Objekten, die zumindest ein sich bewegendes Objekt enthalten, aus einem aufgenommenen Bild (101), in welchem die Mehrzahl von Objekten fotografiert ist; eine Vorhersageeinheit (122) zum Vorhersagen einer zukünftigen Distanz zwischen der Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekten; eine Klassifikationseinheit (123) zum Klassifizieren der Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekte in Gruppen, basierend auf der durch die Vorhersageeinheit (122) zukünftigen Distanz; und eine Verarbeitungseinheit (124) zum Prozessieren des aufgenommenen Bilds (101) zu einem hervorgehobenen Bild, in welchem die Mehrzahl von durch die Klassifikationseinheit (123) klassifizierten Objekten getrennt für jede Gruppe hervorgehoben werden.
Bildverarbeitungsvorrichtung (120) gemäß Anspruch 1, wobei die Klassifikationseinheit (123) aus der Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekten Objekte, deren zukünftige Distanz zwischen einander, wie vorhergesagt durch die Vorhersageeinheit (122), größer als ein Schwellenwert ist, in unterschiedliche Gruppen klassifiziert.
Bildverarbeitungsvorrichtung (120) gemäß Anspruch 1, wobei die Klassifikationseinheit (123) von der Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekten Objekte, deren zukünftige Distanz zwischen einander, wie durch die Vorhersageeinheit (122) vorhergesagt, kleiner als ein Schwellenwert ist, in eine selbe Gruppe klassifiziert.
Bildverarbeitungsvorrichtung (120) gemäß Anspruch 1, wobei die Extraktionseinheit (121) eine Kategorie jedes der extrahierten Mehrzahl von Objekten bestimmt, und die Klassifikationseinheit (123), basierend auf der durch die Vorhersageeinheit (122) vorhergesagten zukünftigen Distanz und der durch die Extraktionseinheit (121) bestimmten Kategorie, eine Beziehung zwischen der Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekten abschätzt und die Mehrzahl von Objekten in Gruppen gemäß der abgeschätzten Beziehung klassifiziert.
Bildverarbeitungsvorrichtung (120) gemäß Anspruch 4, wobei die Extraktionseinheit (121) eine aktuelle Geschwindigkeit eines Objektes abschätzt, dessen Kategorie als Fahrzeug festgestellt ist; und die Klassifikationseinheit (123) in einem Fall, bei dem die Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekten ein erstes Objekt, dessen Kategorie durch die Extraktionseinheit (121) als ein Mensch bestimmt ist, und ein zweites Objekt, dessen Kategorie durch die Extraktionseinheit (121) als ein Fahrzeug bestimmt ist, beinhalten, die zukünftige Distanz zwischen dem ersten Objekt und dem zweiten Objekt, welche durch die Vorhersageeinheit (122) vorhergesagt ist, kleiner als ein Schwellenwert ist und ein Amplitude der derzeitigen Geschwindigkeit des zweiten Objektes, welche durch die Extraktionseinheit (121) abgeschätzt wird, 0 ist, das erste Objekt und das zweite Objekt in eine selbe Gruppe klassifiziert.
Bildverarbeitungsvorrichtung (120) gemäß Anspruch 4, wobei die Extraktionseinheit (121) eine aktuelle Distanz zwischen der extrahierten Mehrzahl von Objekten berechnet und ebenfalls eine derzeitige Geschwindigkeit eines Objekts, dessen Kategorie als ein sich bewegendes Objekt bestimmt ist, abschätzt, und die Klassifikationseinheit (123) in einem Fall, bei dem die Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekten ein erstes Objekt und ein zweites Objekt, deren Kategorien beide durch die Extraktionseinheit (121) als sich bewegende Objekte bestimmt sind, beinhaltet, eine Differenz der aktuellen Distanz zwischen dem ersten Objekt und dem zweiten Objekt, welche durch die Extraktionseinheit (121) berechnet wird, und der zukünftige Distanz zwischen dem ersten Objekt und dem zweiten Objekt, welche durch die Vorhersageeinheit (122) vorhergesagt ist, kleiner ist als ein Schwellenwert, Amplituden der derzeitigen Geschwindigkeiten des ersten Objekts und des zweiten Objekts, welche durch die Extraktionseinheit (121) abgeschätzt werden, größer sind als 0 und eine Differenz zwischen den Amplituden der derzeitigen Geschwindigkeiten des ersten Objekts und des zweiten Objekts, welche durch die Extraktionseinheit (121) abgeschätzt werden, kleiner als ein anderer Schwellenwert ist, das erste Objekt und das zweite Objekt in eine selbe Gruppe klassifiziert.
Bildverarbeitungsvorrichtung (120) gemäß Anspruch 6, wobei das erste Objekt und das zweite Objekt Objekte sind, deren Kategorien beide als ein Fahrrad durch die Extraktionseinheit (121) bestimmt sind.
Bildverarbeitungsvorrichtung (120) gemäß Anspruch 4, wobei die Extraktionseinheit (121) einen Änderungsbetrag bei der Bewegung eines Objektes, dessen Kategorie als ein Kind oder ein Tier bestimmt ist, berechnet, und die Klassifikationseinheit (123) in einem Fall, bei dem die Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekten ein erstes Objekt, dessen Kategorie durch die Extraktionseinheit (121) als ein Mensch bestimmt ist, und ein zweites Objekt, dessen Kategorie durch die Extraktionseinheit (121) als ein Kind oder ein Tier bestimmt ist, beinhaltet, und der Änderungsbetrag bei der Bewegung des zweiten Objekts, der durch die Extraktionseinheit (121) berechnet ist, größer als ein Schwellenwert ist, das erste Objekt und das zweite Objekt in unterschiedliche Gruppen klassifiziert.
Bildverarbeitungsvorrichtung (120) gemäß einem der Ansprüche 1 bis 8, wobei die Verarbeitungseinheit (124) in einem Fall, bei dem von zwei oder mehr Objekten, die zuvor in eine selbe Gruppe durch die Klassifikationseinheit (123) klassifiziert worden sind, zumindest ein Objekt in eine andere Gruppe als die verbleibenden Objekte durch die Klassifikationseinheit (123) klassifiziert wird, unterschiedliche Formate des Hervorhebens im hervorgehobenen Bild (102) für das zumindest eine Objekt und die verbleibenden Objekte verwendet.
Bildverarbeitungsvorrichtung (120) gemäß einem der Ansprüche 1 bis 3, wobei die Extraktionseinheit (121) eine Kategorie jeder der extrahierten Mehrzahl von Objekten bestimmt, und die Vorhersageeinheit (122) bewertet, ob ein Haltung eines Objekts, dessen Kategorie durch die Extraktionseinheit (121) als ein MEnsch bestimmt wird, eine Haltung zum Starten von Gehen ist, und basierend auf dem Bewertungsergebnis die zukünftige Distanz zwischen dem Objekt, dessen Kategorie durch die Extraktionseinheit (121) als ein Mensch bestimmt ist, und einem durch die Extraktionseinheit (121) extrahierten anderen Objekt vorhersagt.
Bildverarbeitungsvorrichtung (120) gemäß einem der Ansprüche 1 bis 10, wobei das hervorgehobene Bild (102) ein Bild ist, in welchem die Mehrzahl von durch die Klassifikationseinheit (123) klassifizierten Objekten durch einen Rahmen (305, 306, 313, 323) pro Gruppe umgeben sind.
Fahrzeuganzeigesystem (100), umfassend: die Bildverarbeitungsvorrichtung (120) gemäß einem der Ansprüche 1 bis 11; eine in einem Fahrzeug (200) montierte Bildgebungsvorrichtung (110), wobei die Bildgebungsvorrichtung (110) Umgebungen des Fahrzeugs (200) fotografiert, um das aufgenommene Bild (101) zu erfassen; und eine im Fahrzeug (200) montierte Anzeigevorrichtung (140), wobei die Anzeigevorrichtung (140) das hervorgehobene Bild (102) ausgibt.
Anzeigevorrichtung (140), umfassend: eine Eingabeeinheit (141), an welcher ein durch Verarbeiten eines aufgenommenen Bilds (101), in welchem eine Mehrzahl von Objekten, die zumindest ein sich bewegendes Objekt beinhalten, fotografiert sind, erhaltenes hervorgehobenes Bild (102) eingegeben wird, wobei das hervorgehobene Bild (102) so ist, dass die Mehrzahl von in Gruppen klassifizierten Objekten, basierend auf einer vorhergesagten zukünftigen Distanz zwischen der Mehrzahl von Objekten im hervorgehobenen Bild (102) getrennt für jede Gruppe hervorgehoben werden; und eine Ausgabeeinheit (142) zum Ausgeben des hervorgehobenen Bilds (102), das an der Eingabeeinheit (141) eingegeben ist.
Bildverarbeitungsverfahren, umfassend: durch eine Extraktionseinheit (121), Extrahieren einer Mehrzahl von Objekten, die zumindest ein sich bewegendes Objekt enthalten, aus einem aufgenommenen Bild (101), in welchem die Mehrzahl von Objekten fotografiert sind; durch eine Vorhersageeinheit (122), Vorhersagen einer zukünftigen Distanz zwischen der Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekten; durch eine Klassifikationseinheit (123), Klassifizieren, in Gruppen, der Mehrzahl von durch die Extraktionseinheit (121) extrahierten Objekten, basierend auf der durch die Vorhersageeinheit (122) vorhergesagten zukünftigen Distanz; und durch eine Verarbeitungseinheit (124), Verarbeiten des aufgenommenen Bilds (101) in ein hervorgehobenes Bild (102), in welchem die Mehrzahl von durch die Klassifikationseinheit (123) klassifizierten Objekten getrennt für jede Gruppe hervorgehoben sind.
Bildverarbeitungsprogramm, um einen Computer zu veranlassen, auszuführen: einen Extraktionsprozess, der eine Mehrzahl von Objekten extrahiert, die zumindest ein sich bewegendes Objekt enthalten, aus einem aufgenommenen Bild (101), in welchem die Mehrzahl von Objekten fotografiert sind; einen Vorhersageprozess, der eine zukünftige Distanz zwischen der Mehrzahl von durch den Extraktionsprozess extrahierten Objekten vorhersagt; einen Klassifikationsprozess, der die Mehrzahl von durch den Extraktionsprozess extrahierten Objekten in Gruppen klassifiziert, basierend auf der durch den Vorhersageprozess vorhergesagten zukünftigen Distanz; und einem Bildprozess, der das aufgenommene Bild (101) in ein hervorgehobenes Bild (102) prozessiert, in welchem die Mehrzahl von durch den Klassifizierungsprozess klassifizierten Objekten getrennt für jede Gruppe hervorgehoben sind.