DE102013207575A1

DE102013207575A1 - Objekterkennungsvorrichtung

Info

Publication number: DE102013207575A1
Application number: DE102013207575A
Authority: DE
Inventors: Kazuki KATOU
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-04-27
Filing date: 2013-04-25
Publication date: 2013-10-31
Also published as: JP2013232080A; JP5648655B2

Abstract

Die Objekterkennungsvorrichtung enthält eine Teileerkennungseinheit, eine erste Objekterkennungseinheit und eine zweite Objekterkennungseinheit. Die Teileerkennungseinheit erkennt unterschiedliche Typen von Teilen, die teilweise wenigstens ein Objekt in einem aufgenommenen Bild repräsentieren, um Erkennungsergebnisse zu erzeugen. Die erste Objekterkennungseinheit erkennt aus den Erkennungsergebnissen ein erstes Objekt auf der Grundlage von Erkennungsergebnissen einer Mehrzahl von Teilen, die teilweise das erste Objekt darstellen. Die zweite Objekterkennungseinheit erkennt aus den Erkennungsergebnissen ein zweites Objekt auf der Grundlage von Erkennungsergebnissen einer Mehrzahl von Teilen, die teilweise das zweite Objekt repräsentieren. Die unterschiedlichen Typen von Teilen enthalten wenigstens einen gemeinsamen Teil, der wenigstens einen Teil repräsentiert, der dem ersten und dem zweiten Objekt gemeinsam ist. Der wenigstens eine gemeinsame Teil wird sowohl von der ersten als auch der zweiten Erkennungseinheit verwendet.

Description

HINTERGRUND
[Technisches Gebiet]
Die vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung, die eine Technik einer Bildbearbeitung verwendet, um ein Objekt in einem aufgenommenen Bild zu erkennen.
[Stand der Technik]
Im Stand der Technik wird eine Technik vorgeschlagen, welche ein Objekt, beispielsweise einen Fußgänger, der in Fahrtrichtung eines Fahrzeugs in einem vorderen Bereich hiervon vorhanden ist, aus einem Bild erkennt, das durch eine fahrzeugseitige Kamera aufgenommen wird, die in dem Fahrzeug angeordnet ist. Beispielsweise beschreibt die JP-A-2010-224787 eine Objekterkennungsvorrichtung, die als ein Element zur Erkennung eines Fußgängers in einem aufgenommenen Bild nicht nur eine Einheit zur Erkennung eines Fußgängers enthält, sondern auch eine Mehrzahl von Einheiten zur Erkennung unterschiedlicher Arten von Hindernissen (beispielsweise ein Fahrrad und einen Telefonmasten), bei denen die Gefahr besteht, dass sie fehlerhafterweise als Fußgänger erkannt werden. Auf der Grundlage der Erkennungsergebnisse dieser Einheiten erkennt die Objekterkennungsvorrichtung einen Fußgänger.
In einem aufgenommenen Bild werden unterschiedliche Objekte, beispielsweise ein Fußgänger und ein Fahrrad (dessen Fahrer) voneinander unterschieden. In diesem Fall muss die Bildbearbeitung unabhängig für jedes Objekt durchgeführt werden. Daher ergibt sich ein Problem, dass die Bearbeitungsbelastung während der Bildbearbeitung hoch ist.
ZUSAMMENFASSUNG
Die vorliegende Erfindung schafft eine Objekterkennungsvorrichtung und ein Objekterkennungsverfahren, die in der Lage sind, die Prozessbelastung während der Bildbearbeitung zur Erkennung unterschiedlicher Objekte in einem aufgenommenen Bild zu verringern.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird eine Objekterkennungsvorrichtung geschaffen, die aufweist: Teileerkennungsmittel; erste Erkennungsmittel; und zweite Erkennungsmittel. Die Teileerkennungsmittel erkennen unterschiedliche Typen von Teilen, die teilweise wenigstens ein Objekt in einem aufgenommenen Bild darstellen, um ihre Erkennungsergebnisse zu erzeugen.
Die ersten Objekterkennungsmittel erkennen ein erstes Objekt auf der Grundlage von Erkennungsergebnissen einer Mehrzahl von Teilen, die teilweise das erste Objekt darstellen, aus Erkennungsergebnissen der unterschiedlichen Teiletypen, die von den Teileerkennungsmitteln erkannt wurden. Die zweiten Objekterkennungsmittel erkennen ein zweites Objekt auf der Grundlage von Erkennungsergebnissen einer Mehrzahl von Teilen, die teilweise das zweite Objekt darstellen, aus Erkennungsergebnissen der unterschiedlichen Teiletypen, die von den Teileerkennungsmitteln erkannt wurden.
Die unterschiedlichen Teiletypen enthalten wenigstens ein gemeinsames Teil, welches wenigstens ein Teil darstellt, das dem ersten Objekt und dem zweiten Objekt gemeinsam ist. Das wenigstens eine gemeinsame Teil wird sowohl von den ersten Erkennungsmitteln als auch den zweiten Erkennungsmitteln verwendet.
Bei der Objekterkennungsvorrichtung kann ein Fall, bei dem das erste Objekt erkannt wird, und ein Fall, bei dem das zweite Objekt erkannt wird, für einen Prozess gemeinsam sein, der gemeinsame Teile in dem aufgenommenen Bild erkennt. Dies macht es möglich, die Prozessbelastung während der Bildbearbeitung zur Erkennung unterschiedlicher Objekte in dem aufgenommenen Bild zu verringern.
KURZE BESCHREIBUNG DER ZEICHNUNG
In der beigefügten Zeichnung ist:
1 ein Blockdiagramm der Gesamtkonfiguration einer Objekterkennungsvorrichtung gemäß einer exemplarischen Ausführungsform;
2A und 2B Darstellungen, die ein Beispiel eines aufgenommenen Bilds einer fahrzeugseitigen Kamera in der Objekterkennungsvorrichtung von 1 zeigen;
3A und 3B Darstellungen einer Erkennungseinheit, die zur Unterscheidung zwischen (i) einem Fußgänger und einem (ii) einem bestimmten Fahrzeug und seinem Fahrer in der Objekterkennungsvorrichtung von 1 verwendet wird;
4 ein Flussdiagramm, das einen Prozess zeigt, der in der Objekterkennungsvorrichtung von 1 durchgeführt wird;
5 eine Darstellung, die ein Beispiel einer Referenzpositionsbeziehung von Teilen in der Objekterkennungsvorrichtung von 1 zeigt; und
6 eine Darstellung, die ein bearbeitetes Bild zeigt, das in einer fahrzeugseitigen Anzeige der Objekterkennungsvorrichtung von 1 dargestellt wird.
BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Nachfolgend wird eine exemplarische Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die Zeichnung beschrieben.
1. Konfiguration
1 zeigt eine Objekterkennungsvorrichtung 1 gemäß einer beispielhaften Ausführungsform, die in ein Kraftfahrzeug (mobiles Fahrzeug) eingebaut ist und mit einer fahrzeugseitigen Kamera 2 und einer fahrzeugseitigen Anzeige 3 derart verbunden ist, dass sie hiermit kommuniziert. Die Objekterkennungsvorrichtung 1, die fahrzeugseitige Kamera 2 und die fahrzeugseitige Anzeige 3 bilden ein in einem Fahrzeug angeordnetes fahrzeugseitiges System. Die fahrzeugseitige Kamera 2 ist eine Kamera (einlinsige Kamera bei dieser Ausführungsform), die ein Bild in einem in Fahrtrichtung des Fahrzeugs voraus liegenden Bereich aufnimmt und das aufgenommene Bild an die Objekterkennungsvorrichtung 1 ausgibt. Die Objekterkennungsvorrichtung 1 erkennt ein Objekt, beispielsweise einen Fußgänger, in dem aufgenommenen Bild, das von der fahrzeugseitigen Kamera 2 empfangen wird, und erzeugt ein Bild (bearbeitetes Bild), in welchem das Objekt so bearbeitet ist, dass es in dem aufgenommenen Bild hervorgehoben ist, und gibt das bearbeitete Bild an die fahrzeugseitige Anzeige 3 aus. Die fahrzeugseitige Anzeige 3 stellt das bearbeitete Bild, das von der Objekterkennungsvorrichtung 1 empfangen wird, dar, um es einem Fahrer des Fahrzeugs zu ermöglichen, dieses bearbeitete Bild visuell zu erkennen.
Wie in 1 dargestellt, enthält die Objekterkennungsvorrichtung 1 eine Farbwandlereinheit 11, eine Merkmalsbetragserkennungseinheit 12, eine Teileerkennungseinheit 13, eine Fußgängererkennungseinheit 14, eine Erkennungseinheit 15 für bestimmte Fahrzeuge und eine Erzeugungseinheit 16 für bearbeitete Bilder.
Die Farbwandlereinheit 11 führt eine Farbwandlung (Graustufenwandlung) an den Bilddaten durch, die das aufgenommene Bild darstellen. In dieser Ausführungsform erzeugt die fahrzeugseitige Kamera 2 als Bilddaten, die das aufgenommene Bild darstellen, Bilddaten, in denen jedes Pixel des Bilds durch RGB-Werte ausgedrückt ist. Die Farbwandlereinheit 11 wandelt die Bilddaten vom aufgenommenen Bild, die von der fahrzeugseitigen Kamera 2 empfangen werden, in Bilddaten, in denen jedes Pixel des Bilds durch einen Helligkeitswert (Leuchtdichte) dargestellt ist. Genauer gesagt, durch die Farbwandlereinheit 11 werden empfangene Pixelwerte (RGB-Werte) in einen Helligkeitswert I für jedes Pixel des Bilds auf der Grundlage der folgenden Formel (1) umgewandelt: I = 0.299·R + 0.587·G + 0.114·B Formel(1)
Die Merkmalsbetragserkennungseinheit 12 berechnet einen Merkmalsbetrag bezüglich der Bilddaten, nachdem ein Farbwandelprozess von der Farbwandlereinheit 11 durchgeführt worden ist. Insbesondere werden durch die Merkmalsbetragserkennungseinheit 12 eine Gradientenintensität G und eine Gradientenrichtung θ auf der Grundlage der folgenden Formeln (2) bis (5) für jedes Pixel des Bilds berechnet. Diese Werte werden verwendet, um einen durch eine Mehrzahl von Pixeln gebildeten Bereich auszudrücken, indem ein Verfahren verwendet wird, welches „histograms of oriented gradients (HOG)” genannt wird. In den folgenden Formeln (4) und (5) stellt I (x, y) einen Helligkeitswert eines Pixels an einer Position (x, y) in dem Bild dar.
θ = arctan Dy / Dx Formel(3) Dx = I(i + 1, j) – I(i – 1, j) Formel (4) Dy = I(i, j + 1) – I(i, j – 1) Formel (5)
Dann teilt die Merkmalsbetragserkennungseinheit 12 ein Bild in eine Mehrzahl von Blöcken, die aus einer Mehrzahl von Pixeln gebildet sind (beispielsweise einen rechteckigen Bereich von M1×N1 Pixeln), und berechnet einen Merkmalsbetrag eines jeden Blocks. In dieser Ausführungsform wird das Bild in eine Mehrzahl von Blöcken unterteilt, wobei jeder Block durch 4×4 Pixel konfiguriert ist. Dann wird ein HOG-Merkmalsbetrag für jeden Block berechnet. Der HOG-Merkmalsbetrag ist ein Merkmalsvektor, der erhalten wird durch Aufbauen eines Histogramms aus einer Gradientenintensität der Helligkeit für jede Gradientenrichtung (für einen unterschiedlichen Winkelbereich, der mehrfach aufgeteilt wird). Die Gradientenintensität hängt vom Kontrast oder dergleichen ab und kann dann durch eine Division hiervon durch die Summe der Gradientenintensitäten in dem Block normalisiert werden. Ein derartiges Verfahren zur Berechnung eines HOG-Merkmalsbetrags ist allgemein bekannt.
Die Teileerkennungseinheit 13 erkennt Teiletypen, welche teilweise ein Objekt darstellen, und gibt ihr Erkennungsergebnis aus. Insbesondere enthält die Teileerkennungseinheit 13 eine Kopferkennungseinheit 131, eine Erkennungseinheit 132 für die rechts liegende Schulter, eine Erkennungseinheit 133 für die links liegende Schulter, eine Erkennungseinheit 134 für die Beininnenseite, eine Erkennungseinheit 135 für das rechts liegende Bein, eine Erkennungseinheit 136 für das links liegende Bein und eine Raderkennungseinheit 137.
Die Kopferkennungseinheit 131 erkennt den Kopf eines Menschen als einen Kopf eines Fußgängers oder Fahrers eines bestimmten Fahrzeugs. Das bestimmte Fahrzeug ist typischerweise ein Fahrrad, jedoch nicht hierauf beschränkt. Beispielsweise kann ein Zweirad anders als ein Fahrrad, beispielsweise ein Motorrad, als „bestimmtes Fahrzeug” gelten. Ein Dreirad, ein Rollstuhl oder dergleichen kann ebenfalls enthalten sein, jedoch ein Fahrzeug, in welches Personen einsteigen, beispielsweise ein Kraftfahrzeug (Auto) ist von „bestimmtes Fahrzeug” ausgeschlossen. Mit anderen Worten, das „bestimmte Fahrzeug” bedeutet ein Fahrzeug, das von einem Typ ist, der es einer Person ermöglicht, es derart zu benutzen, dass eine obere Hälfte eines menschlichen Körpers nach außen hin sichtbar ist.
Wie in den 2A und 2B gezeigt, ist, was die Erkennbarkeit in dem aufgenommenen Bild betrifft, im Vergleich zu einem Fußgänger ein bestimmtes Fahrzeug (Fahrrad in 2B) und dessen Fahrer, welche eine Straße, auf der das Fahrzeug fährt, überqueren, ähnlich in seiner Erkennbarkeit einer oberen Hälfte des menschlichen Körpers und unterscheidet sich dahingehend, ob ein Teil einer unteren Hälfte des menschlichen Körpers hiervon durch ein Bein oder ein Rad (Hinterrad) gebildet wird.
Genauer gesagt und wie in den 3A und 3B gezeigt, erscheint im Vergleich zu einem Fußgänger (3A) in einem bestimmten Fahrzeug und dessen Fahrer (3B) das Rad (Hinterrad) des bestimmten Fahrzeugs als an entweder dem links liegenden oder rechts liegenden Beinteil des Fußgängers liegend (d. h. einem Beinteil auf der linken Seite in 3A). Diese Ausführungsform fokussiert auf ein Sichtbarkeitsmerkmal in dem aufgenommenen Bild und verwendet Teile, die in ihrer Sichtbarkeit ähnlich zueinander sind, als gemeinsame Teile zur (i) Identifizierung des Fußgängers und (ii) Identifizierung des bestimmten Fahrzeugs und dessen Fahrer, wie nachfolgend beschrieben.
Die Erkennungseinheit 132 für die rechts liegende Schulter erkennt einen auf der rechten Seite liegenden Teil einer menschlichen Schulter als Schulterteil an der rechten Seite eines Fußgängers oder Fahrers eines bestimmten Fahrzeugs. Hierbei bedeutet Schulterteil auf der rechten Seite einen Teil einer Schulter eines Menschen, der im aufgenommenen Bild auf der rechten Seite liegt. Das heißt, der Schulterteil auf der rechten Seite muss nicht notwendigerweise der tatsächliche rechte Schulterteil des Menschen sein, sondern kann tatsächlich auch der linke Schulterteil des Menschen sein. Die Erkennungseinheit 133 für die links liegende Schulter erkennt den Schulterteil eines Menschen auf der linken Seite als ein Schulterteil auf der linken Seite eines Fußgängers oder Fahrers eines bestimmten Fahrzeugs. Hierbei bedeutet Schulterteil auf der linken Seite einen Schulterteil, der auf der linken Seite im aufgenommenen Bild liegt. Das heißt, der Schulterteil auf der linken Seite muss nicht notwendigerweise der tatsächliche linke Schulterteil des Menschen sein, sondern kann tatsächlich auch der rechte Schulterteil des Menschen sein.
Die Erkennungseinheit 134 für die Beininnenseite erkennt ein Beininnenseitenteil eines Menschen als Beininnenseitenteil eines Fußgängers oder Fahrers eines bestimmten Fahrzeugs.
Die Erkennungseinheit 135 für das rechts liegende Bein erkennt einen Beinteil eines Menschen auf der rechten Seite (menschliches Bein, das auf der rechten Seite im aufgenommenen Bild liegt) als einen Beinteil auf der rechten Seite eines Fußgängers oder Fahrers eines bestimmten Fahrzeugs. Hierbei bedeutet der Beinteil auf der rechten Seite einen Beinteil, der im aufgenommenen Bild auf der rechten Seite liegt. Das heißt, der Beinteil auf der rechten Seite muss nicht notwendigerweise der tatsächliche rechte Beinteil eines Menschen sein, sondern kann tatsächlich auch der linke Beinteil sein.
Die Erkennungseinheit 136 für das links liegende Bein erkennt einen menschlichen Beinteil auf der linken Seite (menschlicher Beinteil, der auf der linken Seite im aufgenommenen Bild liegt) als Beinteil auf der linken Seite eines Fußgängers oder Fahrers eines bestimmten Fahrzeugs. Hierbei bedeutet Beinteil auf der linken Seite einen Beinteil, der im aufgenommenen Bild auf der linken Seite liegt. Das heißt, der Beinteil auf der linken Seite muss nicht notwendigerweise der tatsächliche linke Beinteil eines Menschen sein, sondern kann tatsächlich auch der rechte Beinteil eines Menschen sein.
Die Raderkennungseinheit 137 erkennt ein Rad des bestimmten Fahrzeugs.
Die oben beschriebenen Teile werden als Teile ausgewählt, bei denen dieses Merkmal sich kaum ändert, auch wenn sich die Haltung des Menschen ändert.
Die Fußgängererkennungseinheit 14 erkennt einen Fußgänger in dem aufgenommenen Bild auf der Grundlage von Erkennungsergebnissen von sechs Teilen, welche Teilweise einen Fußgänger darstellen. Genauer gesagt, die Fußgängererkennungseinheit 14 empfängt Erkennungsergebnisse von der Kopferkennungseinheit 131, der Erkennungseinheit 132 für die rechts liegende Schulter, der Erkennungseinheit 133 für die links liegende Schulter, der Erkennungseinheit 134 für die Beininnenseite, der Erkennungseinheit 135 für das rechts liegende Bein und der Erkennungseinheit 136 für das links liegende Bein. Auf der Grundlage dieser Erkennungsergebnisse erkennt die Fußgängererkennungseinheit 14 einen Fußgänger.
Die Erkennungseinheit 15 für bestimmte Fahrzeuge erkennt ein bestimmtes Fahrzeug und dessen Fahrer in dem aufgenommenen Bild auf der Grundlage von Erkennungsergebnissen von sechs Teilen, welche teilweise ein bestimmtes Fahrzeug und dessen Fahrer darstellen. Genauer gesagt, die Erkennungseinheit 15 für bestimmte Fahrzeuge enthält eine Erkennungseinheit 151 für ein nach rechts weisendes Fahrzeug und eine Erkennungseinheit 152 für ein nach links weisendes Fahrzeug.
Die Erkennungseinheit 151 für ein nach rechts weisendes Fahrzeug empfängt Erkennungsergebnisse von der Kopferkennungseinheit 131, der Erkennungseinheit 132 für die rechts liegende Schulter, der Erkennungseinheit 133 für die links liegende Schulter, der Erkennungseinheit 134 für die Beininnenseite, der Erkennungseinheit 135 für das rechts liegende Bein und der Raderkennungseinheit 137. Auf der Grundlage dieser Erkennungsergebnisse erkennt die Erkennungseinheit 151 für ein nach rechts weisendes Fahrzeug ein bestimmtes Fahrzeug, das sich nach rechts bewegt, sowie dessen Fahrer in dem aufgenommenen Bild. Im Vergleich zu der Fußgängererkennungseinheit 14 ist die Erkennungseinheit 151 für ein nach rechts weisendes Fahrzeug unterschiedlich, indem sie ein Erkennungsergebnis der Raderkennungseinheit 137 anstelle eines Erkennungsergebnisses der Erkennungseinheit 136 für ein links liegendes Bein verwendet.
Wie in den 2A und 2B gezeigt, ist ein Hauptunterschied zwischen (i) einem Fußgänger PS1 (siehe 2A) und (ii) einem bestimmten Fahrzeug (Fahrrad in 2A), das sich nach rechts bewegt, sowie dessen Fahrer PS2 (siehe 2B) im aufgenommenen Bild ein linker unterer Teil (siehe gestrichelte rechteckige Bereiche R1 und R2), was die untere Hälfte eines menschlichen Körpers betrifft. Genauer gesagt, beim Fußgänger PS1 erscheint ein menschliches Bein auf der linken Seite in dem linken unteren Teil (rechteckförmiger Bereich R1 in 2A) des aufgenommenen Bilds, jedoch erscheint bei dem bestimmten Fahrzeug und dessen Fahrer PS2 ein Rad (Hinterrad) des bestimmten Fahrzeugs im linken unteren Teil (rechteckförmiger Bereich R2 in 2B) des aufgenommenen Bilds. Daher können gemäß den 3A und 3B von den Erkennungseinheiten 131 bis 136 die Erkennungseinheiten 131 bis 135 auch zur Erkennung des sich nach rechts bewegenden bestimmten Fahrzeugs und dessen Fahrer PS2 verwendet werden.
Was ein bestimmtes Fahrzeug betrifft, welches sich mit seinem Fahrer nach links bewegt, so liegt sein Rad in einer seitlichen (nach links und rechts weisenden) Richtung auf einer entgegengesetzten Seite relativ zu derjenigen bei einem bestimmten Fahrzeug, das sich nach rechts bewegt. Genauer gesagt, das Rad (Hinterrad) des bestimmten Fahrzeugs liegt in einem Bildbereich entsprechend dem bestimmten Fahrzeug und seinem Fahrer in einem rechten unteren Teil. Daher können unter den Erkennungseinheiten 131 bis 136 die Erkennungseinheiten 131 bis 134 und 136 auch zur Erkennung des bestimmten Fahrzeugs verwendet werden, das sich mit seinem Fahrer nach links bewegt.
Die Erkennungseinheit 152 für ein nach links weisendes Fahrzeug empfängt Erkennungsergebnisse von der Kopferkennungseinheit 131, der Erkennungseinheit 132 für die rechts liegende Schulter, der Erkennungseinheit 133 für die links liegende Schulter, der Erkennungseinheit 134 für die Beininnenseite, der Erkennungseinheit 136 für das links liegende Bein und der Raderkennungseinheit 137. Auf der Grundlage dieser Erkennungsergebnisse erkennt die Erkennungseinheit 152 für ein nach links weisendes Fahrzeug in dem aufgenommenen Bild ein bestimmtes sich nach links bewegendes Fahrzeug und seinen Fahrer. Mit anderen Worten, die Erkennungseinheit 152 für ein nach links weisendes Fahrzeug erkennt einen bilateral symmetrischen Zustand bezüglich der Erkennungseinheit 151 für ein nach rechts weisendes Fahrzeug. Im Vergleich zu der Fußgängererkennungseinheit 14 unterschiedet sich die Erkennungseinheit 151 für ein nach rechts weisendes Fahrzeug dahingehend, dass sie ein Erkennungsergebnis der Raderkennungseinheit 137 als Ersatz für ein Erkennungsergebnis der Erkennungseinheit 135 für das rechts liegende Bein verwendet.
Die Erkennungseinheit 16 für bearbeitete Bilder erzeugt ein bearbeitetes Bild, in welchem von der Fußgängererkennungseinheit 14 und der Erkennungseinheit 15 für bestimmte Fahrzeuge erkannte Objekte hervorgehoben sind, und gibt das erzeugte bearbeitete Bild an die fahrzeugseitige Anzeige 3 aus.
2. Verarbeitung
Nachfolgend wird ein von der Objekterkennungsvorrichtung 1 durchgeführter Prozess anhand des Flussdiagramms von 4 beschrieben. Dieser Prozess betrifft die Erkennung eines Fußgängers und eines bestimmten Fahrzeugs und seines Fahrers in einem aufgenommenen Bild.
Zunächst wandelt als ein in der Farbwandlereinheit 11 durchgeführter Prozess die Objekterkennungsvorrichtung 1 Bilddaten, welche ein aufgenommenes Bild darstellen und von der fahrzeugseitigen Kamera 2 empfangen werden, in ein Graustufenbild, um Bilddaten zu erzeugen, die durch Helligkeitswerte dargestellt sind (Schritt S101).
Dann berechnet als Prozess in der Merkmalsbetragserkennungseinheit 12 die Objekterkennungsvorrichtung 1 einen Merkmalsbetrag an den Bilddaten, die durch Helligkeitswerte dargestellt sind (Schritt S102). In diesem Prozess werden eine Gradientenintensität G und eine Gradientenrichtung θ für jedes Pixel des Bilds berechnet, und ein Merkmalsbetrag für jeden von Blöcken, in welche ein Bild mehrfach unterteilt ist, wird berechnet.
Dann führt als ein Prozess in der Teileerkennungseinheit 13 und der Fußgängererkennungseinheit 14 die Objekterkennungsvorrichtung 1 einen Prozess durch, um einen Fußgänger im aufgenommenen Bild zu erkennen (Schritt S103). Zunächst wird als ein Prozess der Kopferkennungseinheit 131 ein menschlicher Kopfteil in dem aufgenommenen Bild erkannt. Bei diesem Prozess wird insbesondere im aufgenommenen Bild eine bestimmte Zelle mit einer Größe von M2×N2 Blöcken (beispielsweise 4×4 Blöcken) in jedem Block abgetastet. Dann wird in einer Position einer jeden Zelle (interessierende Position) ein Betrag berechnet, der eine Ähnlichkeit zu einem Referenz-HOG-Merkmalsbetrag eines menschlichen Kopfteils hat. Dieser Referenz-HOG-Merkmalsbetrag des menschlichen Kopfteils wird vorab in der Objekterkennungsvorrichtung 1 als HOG-Merkmalsbetrag gespeichert, der zu einem menschlichen Kopf gehört. In dieser Ausführungsform wird der Referenz-HOG-Merkmalsbetrag des menschlichen Kopfteils (Referenz-HOG-Merkmalsbetrag von M2×N2 Blöcken, d. h. die Größe einer Zelle) als eine Schablone gespeichert, die für eine Schablonenanpassung verwendet wird, wie allgemein bekannt ist. In diesem Prozess wird, während eine Position der Schablone (eine Position der Zelle) im aufgenommenen Bild verschoben wird, eine Ähnlichkeit zu der Schablone in einer Position einer jeden Zelle berechnet. Ein derartiger Schablonenanpassungsprozess wird von der Kopferkennungseinheit 131 durchgeführt. Die Ähnlichkeit, die in einer Position einer jeden Zelle berechnet wird, zeigt den Grad einer Wahrscheinlichkeit, dass ein menschlicher Kopf in einem Bildbereich in der Position einer jeden Zelle vorhanden ist.
Wie im Fall des in der Kopferkennungseinheit 131 durchgeführten Prozesses werden Prozesse in der Erkennungseinheit 132 für die rechts liegende Schulter, der Erkennungseinheit 133 für die links liegende Schulter, die Erkennungseinheit 134 für die Beininnenseite, die Erkennungseinheit 135 für das rechts liegende Bein und die Erkennungseinheit 136 für das links liegende Bein durchgeführt. Dann wird für Teile eines Menschen, d. h. einen Schulterteil auf der rechten Seite, einen Schulterteil auf der linken Seite, einen Beininnenseitenteil, einen Beinteil auf der rechten Seite und einen Beinteil auf der linken Seite, jeweils unter Verwendung einer Schablone eine Ähnlichkeit zu der Schablone an einer Position einer jeden Zelle berechnet. Die an einer Position einer jeden Zelle berechnete Ähnlichkeit zeigt den Grad der Wahrscheinlichkeit, dass jeder der Teile in einem Bildbereich in der Position einer jeden Zelle vorhanden ist.
Durch diese Berechnungsprozesse werden Ähnlichkeiten (Erkennungsergebnisse) von sechs menschlichen Teilen, d. h. eines Kopfteils, eines Schulterteils auf der rechten Seite, eines Schulterteils auf der linken Seite, eines Beininnenseitenteils, eines Beinteils auf der rechten Seite und eines Beinteils auf der linken Seite, berechnet. Auf der Grundlage dieser Ähnlichkeiten wird in dem aufgenommenen Bild ein Fußgänger erkannt.
Genauer gesagt und wie in 5 gezeigt, wird eine Referenzpositionsbeziehung (Relativlagenbeziehung) zwischen sechs Teilen, d. h. einem Kopfteil P1, einem Schulterteil P2 auf der rechten Seite, einem Schulterteil P3 auf der linken Seite, einem Beininnenseitenteil P4, einem Beinteil P5 auf der rechten Seite und einem Beinteil P6 auf der linken Seite, vorab unter Verwendung von Lerndaten erlernt. Dann wird zu einer Zelle, in der eine Ähnlichkeit zu einem Kopfteil gleich oder größer als ein bestimmter Schwellenwert T1 ist (ein Bereich mit hoher Wahrscheinlichkeit, dass sich hierin ein menschlicher Kopf befindet), eine Position einer jeden Zelle der verbleibenden Teile auf der Grundlage der Referenzpositionsbeziehung (siehe 5) bestimmt und ihre Ähnlichkeiten zu den verbleibenden Teilen werden berechnet. Diese Ähnlichkeiten von sechs Teilen werden integriert und dann wird eine integrierte Ähnlichkeit berechnet. Diese integrierte Ähnlichkeit zeigt den Grad der Wahrscheinlichkeit, dass ein Fußgänger in einem rechteckförmigen Bereich vorhanden ist, der bestimmte Positionen von sechs Zellen enthält. Die integrierte Ähnlichkeit kann als ein Durchschnittswert von sechs Ähnlichkeiten oder als ein gewichteter Durchschnittswert von sechs Ähnlichkeiten berechnet werden, der abhängig von Eigenschaften von sechs Ähnlichkeiten oder dergleichen gewichtet wird. Wenn bei diesem Schritt keine Zelle vorhanden ist, die eine Ähnlichkeit zu einem Kopfteil gleich oder größer als der Schwellenwert T1 hat, wird keine integrierte Ähnlichkeit berechnet.
Dann beurteilt die Objekterkennungsvorrichtung 1, ob oder ob nicht die berechnete integrierte Ähnlichkeit (Fußgängerähnlichkeit) gleich oder größer als ein bestimmter Schwellenwert T2 ist (Schritt S104). Im Ergebnis beurteilt, wenn es einen oder mehrere integrierte Ähnlichkeiten gleich oder größer als der Schwellenwert T2 gibt (JA im Schritt S104), die Objekterkennungsvorrichtung 1, dass ein Fußgänger in einem rechteckförmigen Bereich vorhanden ist, der Positionen von sechs Zellen enthält, in welchen diese integrierten Ähnlichkeiten berechnet wurden (Schritte S105). Danach geht die Objekterkennungsvorrichtung 1 im Ablauf zum Schritt S106 weiter. Wenn andererseits keine integrierten Ähnlichkeiten gleich oder größer als der Schwellenwert T2 vorliegen (NEIN im Schritt S104), geht die Objekterkennungsvorrichtung 1 zum Schritt S106 weiter, ohne den Prozess von Schritt S105 durchzuführen.
Im Schritt S106 führt die Objekterkennungsvorrichtung 1 als Prozesse der Teileerkennungseinheit 13 und der Erkennungseinheit 14 für bestimmte Fahrzeuge einen Prozess durch zur Identifizierung eines bestimmten Fahrzeugs mit seinem Fahrer, das sich im aufgenommenen Bild nach rechts bewegt. Genauer gesagt, wie im Fall des Prozesses des obigen Schritts S103 werden Prozesse in der Kopferkennungseinheit 131, der Erkennungseinheit 132 für die rechts liegende Schulter, der Erkennungseinheit 133 für die links liegende Schulter, die Erkennungseinheit 134 für die Beininnenseite, die Erkennungseinheit 135 für das rechts liegende Bein und die Raderkennungseinheit 137 durchgeführt. Dann wird für sechs Teile, d. h. Kopfteil, Schulterteil auf der rechten Seite, Schulterteil auf der linken Seite, Beininnenseitenteil, Beinteil auf der rechten Seite und Radteil, jeweils unter Verwendung einer Schablone eine Ähnlichkeit zu der Schablone in einer Position einer jeden Zelle berechnet.
Durch derartige Rechenvorgänge werden Ähnlichkeiten (Erkennungsergebnisse) von sechs Teilen, d. h. eines Kopfteils, eines Schulterteils an der rechten Seite, eines Schulterteils an der linken Seite, eines Beininnenseitenteils, eines Beinteils an der rechten Seite und eines Radteils, berechnet. Auf der Grundlage dieser Ähnlichkeiten wird in dem aufgenommenen Bild ein bestimmtes sich nach rechts bewegendes Fahrzeug mit seinem Fahrer erkannt.
Genauer gesagt, wie im Fall des Schritts 103 wird an einer Zelle, bei der eine Ähnlichkeit eines Kopfteils gleich oder größer als ein bestimmter Schwellenwert T3 ist (der gleich dem Schwellenwert T1 sein kann), eine Position jeder Zelle der verbleibenden Teile auf der Grundlage der Referenzpositionsbeziehung (siehe 5) bestimmt und ihre Ähnlichkeiten zu den verbleibenden Teilen werden berechnet. Diese Ähnlichkeiten der sechs Teile werden integriert und dann wird eine integrierte Ähnlichkeit berechnet. Diese integrierte Ähnlichkeit ist gemeinsam mit der integrierten Ähnlichkeit, die im Schritt S03 berechnet wurde, mit der Ausnahme, dass ein Beinteil an der linken Seite durch ein Radteil ersetzt wurde, und kann daher einfach dadurch berechnet werden, dass nur die Ähnlichkeiten dieser Teile ausgetauscht werden. Die berechnete integrierte Ähnlichkeit zeigt einen Grad der Wahrscheinlichkeit, dass ein bestimmtes sich nach rechts bewegendes Fahrzeug mit seinem Fahrer in einem rechteckförmigen Bereich vorhanden ist, der die bestimmten Positionen von sechs Zellen enthält. Dann beurteilt die Objekterkennungsvorrichtung 1, ob oder ob nicht die berechnete integrierte Ähnlichkeit (Ähnlichkeit eines nach rechts weisenden bestimmten Fahrzeugs) gleich oder größer als ein bestimmter Schwellenwert T4 ist (Schritt S107). Im Ergebnis, wenn es eine oder mehrere integrierte Ähnlichkeiten gleich oder größer als der Schwellenwert T4 gibt (JA im Schritt S107), beurteilt die Objekterkennungsvorrichtung 1, dass ein Fußgänger ein bestimmtes Fahrzeug, das sich nach rechts bewegt, sowie sein Fahrer in einem rechteckförmigen Bereich vorhanden sind, der Positionen von sechs Zellen enthält, in denen diese integrierten Ähnlichkeiten berechnet wurden (Schritt S108).
Dann beurteilt die Objekterkennungsvorrichtung 1, ob oder ob nicht jedes als vorhanden beurteilte bestimmte Fahrzeug (in dem aufgenommenen Bild erkannt) sich auf einer voraus liegenden Fahrbahn (vorhersagbaren Fahrtroute) des Fahrzeugs nähert, und zwar auf der vorliegenden Erfindung von Position und Fahrtrichtung (nach rechts gerichtete Richtung) eines jeden bestimmten Fahrzeugs. Wenn beispielsweise das sich rechts bewegende bestimmte Fahrzeug in dem aufgenommenen Bild sich auf der linken Seite befindet, wird beurteilt, dass sich das bestimmte Fahrzeug der voraus liegenden Fahrbahn nähert. Wenn das sich nach rechts bewegende bestimmte Fahrzeug im aufgenommenen Bild auf der rechten Seite befindet, wird beurteilt, dass sich das bestimmte Fahrzeug von der voraus liegenden Fahrbahn entfernt. Danach geht die Objekterkennungsvorrichtung 1 im Prozess zum Schritt S110 weiter.
Wenn es andererseits keine integrierte Ähnlichkeit gleich oder größer als der Schwellenwert T4 gibt (NEIN im Schritt S107), geht die Objekterkennungsvorrichtung 1 im Prozess zum Schritt S110 weiter, ohne die Prozesse der Schritte S108 und S109 durchzuführen.
Im Schritt S110 führt die Objekterkennungsvorrichtung 1 als Prozesse der Teileerkennungseinheit 13 und der Erkennungseinheit 15 für bestimmte Fahrzeuge einen Prozess durch, um in dem aufgenommenen Bild ein sich nach links bewegendes bestimmtes Fahrzeug und seinen Fahrer zu erkennen. Genauer gesagt, wie im Fall des Prozesses von obigem Schritt S106 werden Prozesse in der Kopferkennungseinheit 131, der Erkennungseinheit 132 für die rechts liegende Schulter, der Erkennungseinheit 133 für die links liegende Schulter, der Erkennungseinheit 134 für die Beininnenseite, der Erkennungseinheit 136 für das links liegende Bein und der Raderkennungseinheit 137 durchgeführt. Dann wird an sechs Teilen, d. h. einem Kopfteil, einem Schulterteil auf der rechten Seite, einem Schulterteil auf der linken Seite, einem Beininnenseitenteil, einem Beinteil an der linken Seite und einem Radteil, jeweils unter Verwendung einer Schablone eine Ähnlichkeit zu der Schablone in einer Position einer jeden Zelle berechnet.
Durch derartige Rechenprozesse werden Ähnlichkeiten (Erkennungsergebnisse) von sechs Teilen, d. h. einem Kopfteil, einem Schulterteil auf der rechten Seite, einem Schulterteil auf der linken Seite, einem Beininnenseitenteil, einem Beinteil auf der linken Seite und einem Radteil, berechnet. Auf der Grundlage dieser Ähnlichkeiten werden in dem aufgenommenen Bild ein sich nach links bewegendes bestimmtes Fahrzeug und sein Fahrer erkannt.
Genauer gesagt und wie im Fall von Schritt S103 wird für eine Zelle, bei der eine Ähnlichkeit eines Kopfteils gleich oder größer als ein bestimmter Schwellenwert T5 ist (der gleich dem Schwellenwert T1 sein kann), eine Position einer jeden Zelle der verbleibenden Teile auf der Grundlage der Referenzpositionsbeziehung (siehe 5) bestimmt und ihre Ähnlichkeiten zu den verbleibenden Teilen werden berechnet. Diese Ähnlichkeiten von sechs Teilen werden integriert und dann wird eine integrierte Ähnlichkeit berechnet. Diese integrierte Ähnlichkeit ist gleich der integrierten Ähnlichkeit, die im Schritt S103 berechnet wurde, mit der Ausnahme, dass ein Beinteil an der rechten Seite durch ein Radteil ersetzt ist, und kann daher einfach berechnet werden, indem nur die Ähnlichkeiten dieser Teile ausgetauscht werden. Die berechnete integrierte Ähnlichkeit zeigt einen Grad der Wahrscheinlichkeit, dass ein sich nach links bewegendes bestimmtes Fahrzeug mit seinem Fahrer in einem rechteckförmigen Bereich vorhanden ist, der die bestimmten Positionen von sechs Zellen enthält.
Dann beurteilt die Objekterkennungsvorrichtung 1, ob oder ob nicht die berechnete integrierte Ähnlichkeit (Ähnlichkeit eines nach links weisenden bestimmten Fahrzeugs) gleich oder größer als ein bestimmter Schwellenwert T6 ist (Schritt S111). Im Ergebnis beurteilt die Objekterkennungsvorrichtung 1, wenn es eine oder mehrere integrierte Ähnlichkeiten gleich oder größer als der Schwellenwert T6 gibt (JA im Schritt S111), dass ein bestimmtes sich nach links bewegendes Fahrzeug und sein Fahrer in einem rechteckförmigen Bereich vorhanden sind, der Positionen von sechs Zellen enthält, in denen diese integrierten Ähnlichkeiten berechnet wurden (Schritt S112).
Dann beurteilt die Objekterkennungsvorrichtung 1, ob oder ob nicht jedes bestimmte Fahrzeug, das als vorhanden beurteilt worden ist (im aufgenommenen Bild erkannt worden ist), sich einer voraus liegenden Fahrbahn (vorhersagbaren Fahrtroute) des Fahrzeugs nähert, und zwar auf der Grundlage von Position und Fahrtrichtung (nach rechts weisende Richtung) eines jeden bestimmten Fahrzeugs. Wenn beispielsweise das sich nach links bewegende bestimmte Fahrzeug an der rechten Seite des aufgenommenen Bilds vorhanden ist, wird beurteilt, dass sich das bestimmte Fahrzeug der voraus liegenden Fahrbahn nähert. Wenn das sich nach links bewegende bestimmte Fahrzeug sich an der linken Seite des aufgenommenen Bilds befindet, wird beurteilt, dass sich das bestimmte Fahrzeug von der voraus liegenden Fahrbahn entfernt. Danach geht die Objekterkennungsvorrichtung 1 mit ihrem Prozess zum Schritt S114.
Wenn andererseits keine integrierte Ähnlichkeit gleich oder größer als der Schwellenwert T6 vorliegt (NEIN im Schritt S111), geht die Objekterkennungsvorrichtung 1 zum Prozess von Schritt S114, ohne die Prozesse der Schritte S112 und S113 durchzuführen.
Im Schritt S114 wird als Prozess der Erkennungseinheit 16 für bearbeitete Bilder von der Objekterkennungsvorrichtung 1 ein Prozess durchgeführt, ein bearbeitetes Bild zu erzeugen und das bearbeitete Bild an die fahrzeugseitige Anzeige 3 auszugeben. In dem bearbeiteten Bild sind ein rechteckförmiger Bereich, in welchem ein Fußgänger als vorhanden beurteilt wird, und ein rechteckförmiger Bereich, in welchem ein bestimmtes Fahrzeug und ein Fahrer als vorhanden beurteilt werden, im aufgenommenen Bild hervorgehoben. Danach enden die Abläufe von 4. Im Ergebnis wird das bearbeitete Bild von der fahrzeugseitigen Anzeige 3 dargestellt.
Beispielsweise in einem bearbeiteten Bild 30 gemäß 6 werden rechteckförmige Rahmen 31 und 32 in Bereichen hinzugefügt, in welchen Objekte (ein Fußgänger, ein bestimmtes Fahrzeug und sein Fahrer) vorhanden sind. Insbesondere unterscheiden sich bezüglich eines Bereichs, bei dem ein bestimmtes Fahrzeug und sein Fahrer vorhanden sind, ein Fall, bei dem sie sich einer voraus liegenden Fahrbahn 33 nähern, und ein Fall, bei dem sie sich von der voraus liegenden Fahrbahn 33 entfernen, hinsichtlich der Rahmenbreite der Rahmen. In 6 wird der Rahmen 32, der ein sich der voraus liegenden Fahrbahn 33 näherndes bestimmtes Fahrzeug repräsentiert, so dargestellt, dass er eine größere Rahmenlinienbreite als der Rahmen 31 hat, der ein bestimmtes Fahrzeug darstellt, das sich von der voraus liegenden Fahrbahn 33 entfernt.
3. Effekte
Wie oben beschrieben, identifiziert in der Objekterkennungsvorrichtung gemäß dieser Ausführungsform die Teileerkennungseinheit 13 unterschiedliche Teiletypen, die teilweise Objekte in dem aufgenommenen Bild darstellen. Dann erkennt auf der Grundlage von Erkennungsergebnissen der Teile, welche teilweise einen Fußgänger darstellen, aus Erkennungsergebnissen unterschiedlicher Typen von Objekten, die von der Teileerkennungseinheit 13 erkannt wurden, die Fußgängererkennungseinheit 14 einen Fußgänger. Weiter erkennt aus Erkennungsergebnissen unterschiedlicher Typen von Objekten, die von der Teileerkennungseinheit 13 erkannt wurden, auf der Grundlage von Erkennungsergebnissen von Teilen, die teilweise ein bestimmtes Fahrzeug und seinen Fahrer darstellen, die Erkennungseinheit 15 für bestimmte Fahrzeuge ein bestimmtes Fahrzeug und dessen Fahrer. Die unterschiedlichen Typen von Teilen enthalten gemeinsame Teile, welche Teile darstellen, die (i) einem Fußgänger und (ii) einem bestimmten Fahrzeug und dessen Fahrer gemeinsam sind. Diese gemeinsamen Teile werden sowohl von der Fußgängererkennungseinheit 14 als auch der Erkennungseinheit 15 für bestimmte Fahrzeuge verwendet.
Gemäß der Objekterkennungsvorrichtung 1 können ein Fall, bei dem ein Fußgänger erkannt wird, und ein Fall, bei dem ein bestimmtes Fahrzeug und dessen Fahrer erkannt werden, für einen Prozess zur Erkennung gemeinsamer Teile im aufgenommenen Bild gemeinsam sein. Dies kann die Prozessbelastung (Rechenkosten) während der Bildbearbeitung zur Erkennung unterschiedlicher Objekte in dem aufgenommenen Bild verringern.
Genauer gesagt, die gemeinsamen Teile beinhalten Teile einer oberen Hälfte eines menschlichen Körpers eines Fußgängers und eines Fahrers eines bestimmten Fahrzeugs. Dann erkennt die Fußgängererkennungseinheit 14 einen Fußgänger auf der Grundlage von (i) Erkennungsergebnissen gemeinsamer Teile und (ii) eines Erkennungsergebnisses eines menschlichen Beinteils, das einen Teil eines Beins eines Fußgängers darstellt. Zusätzlich erkennt die Erkennungseinheit 15 für ein bestimmtes Fahrzeug ein bestimmtes Fahrzeug und dessen Fahrer auf der Grundlage von (i) Erkennungsergebnissen dieser gemeinsamen Teile und (ii) eines Erkennungsergebnisses eines Radteils, welches einen Teil zumindest eines Rads des bestimmten Fahrzeugs darstellt. Somit sind ein Fußgänger und ein Fahrer eines bestimmten Fahrzeugs durch Unterscheidung zwischen einem menschlichen Bein und einem Rad unterscheidbar.
Die unterschiedlichen Typen von Teilen enthalten ein Beinteil auf der rechten Seite und ein Beinteil auf der linken Seite, welche voneinander getrennt beide Beine eines Fußgängers wiedergeben. Dann erkennt die Fußgängererkennungseinheit 14 einen Fußgänger auf der Grundlage (i) eines Erkennungsergebnisses des Beinteils auf der rechten Seite und (ii) eines Erkennungsergebnisses des Beinteils auf der linken Seite. Zusätzlich erkennt die Erkennungseinheit 15 für ein bestimmtes Fahrzeug ein bestimmtes Fahrzeug und dessen Fahrer auf der Grundlage (i) eines beliebigen Erkennungsergebnisses von Beinteil auf der rechten Seite und Beinteil auf der linken Seite und (ii) eines Erkennungsergebnisses eines Radteils. Somit kann entweder das Beinteil auf der rechten Seite oder das Beinteil auf der linken Seite ebenfalls als gemeinsames Teil verwendet werden.
Genauer gesagt, die Erkennungseinheit 15 für ein bestimmtes Fahrzeug erkennt ein nach rechts weisendes bestimmtes Fahrzeug mit dessen Fahrer, welches nach rechts weist, auf der Grundlage (i) eines Erkennungsergebnisses des Beinteils auf der rechten Seite und (ii) eines Erkennungsergebnisses eines Radteils. Zusätzlich erkennt die Erkennungsergebnis 15 für ein bestimmtes Fahrzeug ein nach links weisendes bestimmtes Fahrzeug und dessen Fahrer, das nach links weist, auf der Grundlage (i) eines Erkennungsergebnisses des Beinteils auf der linken Seite und (ii) eines Erkennungsergebnisses eines Radteils. In dieser Ausgestaltung kann die Erkennungsgenauigkeit im Vergleich zu einer Ausgestaltung zur Erkennung eines bestimmten Fahrzeugs und dessen Fahrers ungeachtet der Fahrtrichtung verbessert werden.
Das aufgenommene Bild ist ein Bild in einem vorderhalb liegenden Bereich in Fahrtrichtung des mit der Objekterkennungsvorrichtung 1 ausgestatteten Fahrzeugs. Auf der Grundlage von Lage und Richtung des bestimmten Fahrzeugs, erkannt durch die Erkennungseinheit 15 für bestimmte Fahrzeuge, führt die Erkennungseinheit 16 für bearbeitet Bilder einen Prozess zur Unterscheidung zwischen einem Fall durch, bei dem das bestimmte Fahrzeug sich einer vorhergesagten Fahrtroute nähert, und einem Fall, bei dem sich das bestimmte Fahrzeug von der vorhersagbaren Fahrtroute entfernt, wobei dieses Unterscheidungsergebnis mitgeteilt wird. Im Ergebnis wird eine Anzeige zur Vorhersage der Bewegung des bestimmten Fahrzeugs über die fahrzeugseitige Anzeige 3 dargestellt. Selbst wenn daher eine Mehrzahl bestimmter Fahrzeuge im aufgenommen Bild vorhanden ist, ist es möglich, ein bestimmtes Fahrzeug zu melden, welches seitens eines Fahrers spezielle Aufmerksamkeit benötigt.
In der oben beschriebenen Ausführungsform entspricht die Teileerkennungseinheit 13 einem Beispiel von Teileerkennungsmitteln (oder einer Teileerkennungseinheit), die Fußgängererkennungseinheit 14 entspricht einem Beispiel erster Objekterkennungsmittel (oder einer ersten Objekterkennung), die bestimmte Erkennungseinheit 15 entspricht einem Beispiel zweiter Objekterkennungsmittel (oder einer zweiten Objekterkennung), die Erzeugungseinheit 16 für bearbeitete Bilder entspricht einem Beispiel von Mitteilungsverarbeitungsmitteln (oder einer Mitteilungsverarbeitungseinheit). Der Fußgänger entspricht einem Beispiel eines ersten Objekts, das bestimmte Fahrzeug und sein Fahrer entsprechen einem Beispiel eines zweiten Objekts und das Fahrzeug entspricht einem Beispiel eines mobilen Fahrzeugs oder mobilen Körpers.
4. Abwandlungen
Oben wurde die vorliegende Erfindung unter Bezugnahme auf die oben beschriebene Ausführungsform erläutert. Die vorliegende Erfindung ist jedoch nicht auf die obige Ausführungsform beschränkt. Verschiedene Abwandlungen können durch einen Fachmann auf diesem Gebiet hinsichtlich Auslegung und Details der vorliegenden Erfindung im Rahmen der vorliegenden Erfindung gemacht werden. Beispielsweise können die folgenden Abwandlungen realisiert werden.
In der oben Ausführungsform werden ein Prozess (Schritte S103 bis S105) zur Erkennung eines Fußgängers, ein Prozess (Schritte S106 bis S109) zur Erkennung eines nach rechts weisenden bestimmten Fahrzeugs und dessen Fahrers und ein Prozess (Schritte S110 bis S113) zur Erkennung eines nach links weisenden bestimmten Fahrzeugs und dessen Fahrers separat durchgeführt (vergleiche 4). Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Beispielweise kann in einem Teilbildbereich, wenn ein erstes Objekt nicht erkannt wird, ein Prozess zur Erkennung eines zweiten Objekts durchgeführt werden, und nachfolgend kann, sobald das erste Objekt erkannt worden ist, der Prozess zur Erkennung des zweiten Objekts in dem Teilbildbereich nicht durchgeführt werden.
Als ein Beispiel wird zunächst ein Prozess zur Erkennung eines Fußgängers durchgeführt. Wenn dann der Fußgänger nicht erkannt wird, wird jeder der beiden Beinteile auf den rechten und linken Seiten aus den sechs Teilen bei einem Radteil angewendet, um jede Ähnlichkeit zum Radteil zu berechnen. Dann wird die größere Ähnlichkeit des Radteils durch die Ähnlichkeit des entsprechenden Beinteils ersetzt. Dann wird eine integrierte Ähnlichkeit berechnet, indem jede der berechneten Ähnlichkeiten der sechs Teile integriert wird. Nachfolgend wird, wenn die berechnete integrierte Ähnlichkeit gleich oder größer als ein bestimmter Schwellenwert ist, beurteilt, dass ein bestimmtes Fahrzeug und sein Fahrer in einem rechteckförmigen Bereich vorhanden sind, der Positionen von sechs Zellen beinhaltet, in welchen die Ähnlichkeiten von sechs Teilen berechnet wurden. Hierbei wird ein Prozess zur Erkennung eines bestimmten Fahrzeugs und dessen Fahrers nicht in einem Teilbildbereich durchgeführt, wo ein Fußgänger erkannt worden ist, und damit kann die Prozessbelastung während der Bildbearbeitung weiter verringert werden.
In der obigen Ausführungsform wird bei einer Zelle, wo eine Ähnlichkeit eines menschlichen Kopfteils gleich oder größer als der Schwellenwert T1 ist, eine Position jeder Zelle der anderen Teile auf der Grundlage der Referenzpositionsbeziehung (siehe 5) bestimmt, und dann wird eine integrierte Ähnlichkeit, welche die Ähnlichkeiten von sechs Teilen integriert, berechnet (siehe beispielsweise Schritt S103). Jedoch ist die vorliegende Erfindung nicht hierauf beschränkt. Beispielsweise kann ein Teil für ein Kriterium zum Bestimmen, ob eine integrierte Ähnlichkeit zu berechnet ist, ein anderer. Teil als ein menschlicher Kopfteil sein. Weiterhin wird, ungeachtet, ob oder ob nicht eine Ähnlichkeit eines Teils für das Kriterium gleich oder größer als der Schwellenwert ist (ohne Beseitigung der Berechnung einer integrierten Ähnlichkeit aus einem Prozess auf der Grundlage des Schwellenwerts), an allen Kombinationen von Teilen mit der Referenzpositionsbeziehung (siehe 5) in dem aufgenommenen Bild die integrierte Ähnlichkeit berechnet.
Wie in der obigen Ausführungsform beschrieben, wird eine integrierte Ähnlichkeit aus einem Prozess beseitigt, wenn eine Ähnlichkeit eines Teils (beispielsweise eines menschlichen Kopfteils) für das Kriterium unter dem Schwellenwert ist. Gemäß dieser Ausgestaltung können unnötige Rechenprozesse beseitigt werden und damit kann die Prozessbelastung während der Bildbearbeitung weiter verringert werden.
In der oben Ausführungsform wird auf der Grundlage, ob ein bestimmtes Fahrzeug in dem aufgenommenen Bild an der linken oder der rechten Seite vorhanden ist, beurteilt, ob das bestimmte Fahrzeug sich einer voraus liegenden Fahrbahn nähert oder sich von der voraus liegenden Fahrbahn entfernt (siehe Schritt S109). Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Beispielsweise kann unter Verwendung eines allgemein bekannten Prozesses einer Fahrbahnmarkierungserkennung ein Fahrbahnbereich in einem aufgenommenen Bild erkannt werden, und dann kann beurteilt werden, ob sich ein bestimmtes Fahrzeug dem erkannten Fahrbahnbereich nähert oder sich von dem erkannten Fahrbahnbereich entfernt. Dies macht es möglich, die Beurteilungsgenauigkeit bei einer Fahrbahnkurve oder dergleichen weiter zu verbessern.
In der obigen Ausführungsform sind, was einen Bereich betrifft, wo ein bestimmtes Fahrzeug und dessen Fahrer vorhanden sind, ein Fall, wo sie sich einer voraus liegenden Fahrbahn näher, und ein Fall, wo sie sich von der voraus liegenden Fahrbahn entfernen, in der Rahmenlinienbreite eines jeden Rahmens unterschiedlich (siehe 6). Aufgrund der Rahmenlinienbreitendifferenz zwischen den beiden Rahmen können die beiden obigen Fälle voneinander unterschieden werden. Jedoch ist die vorliegende Erfindung nicht hierauf beschränkt. Beispielsweise können die obigen Fälle auch voneinander unterschieden werden, indem eine unterschiedliche Rahmenlinienfarbe, ein Rahmenlinientyp (z. B. gestrichelt) oder ein Anzeigemuster (beispielsweise Blinken) in einem Rahmen vorliegen.
In obiger Ausführungsform ist eine Ausgestaltung dargestellt, welche (i) einen Fußgänger und (ii) ein bestimmtes Fahrzeug und dessen Fahrer auf der Grundlage von sechs Teilen erkennt, d. h. Kopfteil, Schulterteil auf der rechten Seite, Schulterteil auf der linken Seite, Beininnenseitenteil, Beinteil auf der rechten Seite (oder Radteil) und Beinteil auf der rechten Seite (oder Radteil). Die vorliegende Erfindung ist jedoch nicht auf diese Teile und die Anzahl der Teile beschränkt. Beispielsweise können beide Beine eines Fußgängers nicht als zwei Teile, sondern als ein Teil erkannt werden. Auch hierbei ist aufgrund eines Unterschieds zwischen den beiden Beinen eines Fußgängers und einem Rad eines bestimmten Fahrzeugs eine Unterscheidung von Fußgänger und bestimmtem Fahrzeug voneinander möglich.
In der obigen Ausführungsform werden Bilddaten (jedes Pixel durch RGB-Werte ausgedrückt), die ein aufgenommenes Bild darstellen, das von der fahrzeugseitigen Kamera 2 kommt, in Bilddaten gewandelt, die durch Helligkeitswerte dargestellt sind. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Beispielsweise kann die fahrzeugseitige Kamera 2 so ausgelegt sein, dass sie Bilddaten erzeugt, die durch Helligkeitswerte dargestellt sind. In diesem Fall kann die Farbwandlereinheit 11 (Graustufenwandlerprozess) von den Elementen der obigen Ausführungsform weggelassen werden.
In obiger Ausführungsform werden Objekte in einem aufgenommenen Bild eines in Fahrtrichtung des Fahrzeugs vorderhalb liegenden Bereichs erkannt. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Beispielsweise können Objekte in einem aufgenommenen Bild eines in Fahrtrichtung des Fahrzeugs hinterhalb liegenden Bereichs oder seitlichen Bereichs erkannt werden. Weiterhin können Objekte in einem Bild erkannt werden, das von einem mobilen Objekt (mobilen Körper oder sich bewegenden Fahrzeug) anders als einem Kraftfahrzeug aufgenommen wird.
Die Objekterkennungsvorrichtung 1 gemäß obiger Ausführungsform kann durch Hardware, Software oder einer Kombination hiervon realisiert werden. Beispielsweise können wenigstens ein Teil der Bauelemente der Objekterkennungsvorrichtung 1, d. h. die Farbwandlereinheit 11, die Merkmalsbetragserkennungseinheit 12, die Teileerkennungseinheit 13, die Fußgängererkennungseinheit 14, die Erkennungseinheit 15 für bestimmte Fahrzeuge und die Erzeugungseinheit 16 für bestimmte Fahrzeuge durch eine Computervorrichtung realisiert werden, welche einen Prozess (ein Programm) gemäß obiger Beschreibung durchführt. Diese Computervorrichtung kann eine zentrale Verarbeitungseinheit (CPU), einen Lesespeicher (ROM), einen Speicher mit wahlfreiem Zugriff (RAM), eine Eingabe/Ausgabe (I/O) etc. enthalten. In diesem Fall kann ein Programm betreffend einen durch das Flussdiagramm von 4 dargestellten Prozess vorab bestimmt und in dem Speicher gespeichert werden, und dann kann die CPU das Programm durchführen. Da die Elemente der Objekterkennungsvorrichtung 1 funktionell unterschieden sind, kann ein Teil davon oder können alle als funktionell oder körperlich getrennt oder zusammengefasst ausgelegt sein.
Die obige Ausführungsform ist eine von beispielhaften Ausführungsformen gemäß der vorliegenden Erfindung. Die vorliegende Erfindung kann durch unterschiedliche Typen, d. h. unterschiedliche Objekterkennungsvorrichtungen, Objekterkennungsverfahren, ein Programm, das es einem Computer ermöglicht, als Objekterkennungsvorrichtung zu arbeiten, oder ein computerlesbares Aufzeichnungsmedium, in welchem das Programm aufgezeichnet ist, oder dergleichen realisiert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2010-224787 A [0002]

Claims

Eine Objekterkennungsvorrichtung (1), aufweisend: Teileerkennungsmittel (13) zur Erkennung unterschiedlicher Typen von Teilen, welche teilweise wenigstens ein Objekt in einem aufgenommenen Bild repräsentieren, um ihre Erkennungsergebnisse zu erzeugen; erste Objekterkennungsmittel (14 (S103 bis S105)) zur Erkennung eines ersten Objekts auf der Grundlage von Erkennungsergebnissen einer Mehrzahl von Teilen, die teilweise das erste Objekt repräsentieren, aus den Erkennungsergebnissen der unterschiedlichen Typen von Teilen, die von den Teileerkennungsmitteln (13) erkannt wurden; und zweite Objekterkennungsmittel (15 (S106 bis S113)) zur Erkennung eines zweiten Objekts auf der Grundlage von Erkennungsergebnissen einer Mehrzahl von Teilen, die teilweise das zweite Objekt repräsentieren, aus den Erkennungsergebnissen der unterschiedlichen Typen von Teilen, die von den Teileerkennungsmitteln (13) erkannt wurden, wobei die unterschiedlichen Typen von Teilen wenigstens einen gemeinsamen Teil enthalten, der wenigstens einen Teil darstellt, der dem ersten Objekt und dem zweiten Objekt gemeinsam ist, der wenigstens eine gemeinsame Teil sowohl von den ersten Erkennungsmitteln (14) als auch den zweiten Erkennungsmitteln (15) verwendet wird.
Die Objekterkennungsvorrichtung (1) nach Anspruch 1, wobei: das erste Objekt ein Fußgänger ist; das zweite Objekt ein bestimmtes Fahrzeug und dessen Fahrer ist; der wenigstens eine gemeinsame Teil wenigstens einen Teil enthält, der wenigstens einen Teil einer oberen Hälfte eines menschlichen Körpers des Fußgängers und des Fahrers darstellt; die ersten Objekterkennungsmittel (14) den Fußgänger auf der Grundlage von Erkennungsergebnissen des wenigstens einen gemeinsamen Teils und wenigstens eines Teils eines menschlichen Beins erkennen, der wenigstens einen Teil eines menschlichen Beins des Fußgängers darstellt; und die zweiten Objekterkennungsmittel (15) das bestimmte Fahrzeug und dessen Fahrer auf der Grundlage von Erkennungsergebnissen des wenigstens einen gemeinsamen Teils und wenigstens eines Radteils erkennen, der wenigstens einen Teil eines Rads des bestimmten Fahrzeugs darstellt;
Die Objekterkennungsvorrichtung (1) nach Anspruch 2, wobei: die unterschiedlichen Typen von Teilen einen ersten Beinteil und einen zweiten Beinteil enthalten, die zwei Beine des Fußgängers darstellen; die ersten Objekterkennungsmittel (14) den Fußgänger auf der Grundlage von Erkennungsergebnissen des ersten Beinteils und des zweiten Beinteils erkennen; und die zweiten Objekterkennungsmittel (15) das bestimmte Fahrzeug und dessen Fahrer auf der Grundlage von Erkennungsergebnissen des Radteils und entweder des ersten Beinteils oder des zweiten Beinteils erkennen.
Die Objekterkennungsvorrichtung (1) nach Anspruch 3, wobei: das bestimmte Fahrzeug ein erstes bestimmtes Fahrzeug, das in eine erste Richtung weist, und ein zweites bestimmtes Fahrzeug enthält, das in eine zweite Richtung entgegengesetzt zur ersten Richtung weist; und die zweiten Objekterkennungsmittel (15) das erste bestimmte Fahrzeug und dessen Fahrer auf der Grundlage von Erkennungsergebnissen des ersten Beinteils und des Radteils und das zweite bestimmte Fahrzeug und dessen Fahrer auf der Grundlage von Erkennungsergebnissen des zweiten Beinteils und des Radteils erkennen.
Die Objekterkennungsvorrichtung (1) nach Anspruch 4, wobei: das aufgenommene Bild ein aufgenommenes Bild in einem vorderhalb liegenden Bereich in Fahrtrichtung eines mobilen Fahrzeugs ist, das mit der Objekterkennungsvorrichtung ausgestattet ist; und die Objekterkennungsvorrichtung (1) weiterhin aufweist: Mitteilungsverarbeitungsmittel (16) zur Durchführung eines Prozesses zur Unterscheidung zwischen einem ersten Fall, wo sich das bestimmte Fahrzeug einer vorhersagbaren Fahrtstrecke des beweglichen Fahrzeugs nähert, und einem zweiten Fall, wo sich das bestimmte Fahrzeug von der vorhersagbaren Fahrtstrecke entfernt, basierend auf Position und Richtung des bestimmten Fahrzeugs, erkannt von den zweiten Objekterkennungsmitteln (15), um deren Unterscheidungsergebnis mitzuteilen.
Ein fahrzeugseitiges System, aufweisend: eine Kamera (2), die in einem Fahrzeug angeordnet ist und ein Bild eines Bereichs um das Fahrzeug herum aufnimmt, um das aufgenommene Bild auszugeben; eine Objekterkennungsvorrichtung (1), die in dem Fahrzeug angeordnet ist und ausgelegt ist, um (i) wenigstens ein Objekt in dem aufgenommenen Bild zu erkennen, das von der Kamera (2) empfangen wird, (ii) ein bearbeitetes Bild zu erzeugen, in welchem ein erkanntes Objekt so bearbeitet ist, dass es in dem aufgenommenen Bild hervorgehoben ist, und (iii) das bearbeitete Bild auszugeben; und eine Anzeige (3), die in dem Fahrzeug angeordnet ist und das von der Objekterkennungsvorrichtung (1) empfangene bearbeitete Bild darstellt, um es einem Fahrer des Fahrzeugs zu ermöglichen, das bearbeitete Bild visuell wahrzunehmen, wobei die Objekterkennungsvorrichtung (1) aufweist: Teileerkennungsmittel (13) zur Erkennung unterschiedlicher Typen von Teilen, welche teilweise das wenigstens eine Objekt in dem aufgenommenen Bild repräsentieren, um ihre Erkennungsergebnisse zu erzeugen; erste Objekterkennungsmittel (14 (S103 bis S105)) zur Erkennung eines ersten Objekts auf der Grundlage von Erkennungsergebnissen einer Mehrzahl von Teilen, die teilweise das erste Objekt repräsentieren, aus den Erkennungsergebnissen der unterschiedlichen Typen von Teilen, die von den Teileerkennungsmitteln (13) erkannt wurden; und zweite Objekterkennungsmittel (15 (S106 bis S113)) zur Erkennung eines zweiten Objekts auf der Grundlage von Erkennungsergebnissen einer Mehrzahl von Teilen, die teilweise das zweite Objekt repräsentieren, aus den Erkennungsergebnissen der unterschiedlichen Typen von Teilen, die von den Teileerkennungsmitteln (13) erkannt wurden, wobei die unterschiedlichen Typen von Teilen wenigstens einen gemeinsamen Teil enthalten, der wenigstens einen Teil darstellt, der dem ersten Objekt und dem zweiten Objekt gemeinsam ist, der wenigstens eine gemeinsame Teil sowohl von den ersten Erkennungsmitteln (14) als auch den zweiten Erkennungsmitteln (15) verwendet wird.
Ein Objekterkennungsverfahren, aufweisend: Erkennen mittels Teileerkennungsmitteln (13) von unterschiedlichen Typen von Teilen, welche teilweise wenigstens ein Objekt repräsentieren, in einem aufgenommenen Bild, um Erkennungsergebnisse zu erzeugen; Erkennen durch erste Objekterkennungsmittel (14) eines ersten Objekts auf der Grundlage von Erkennungsergebnissen einer Mehrzahl von Teilen, die teilweise das erste Objekt repräsentieren, aus den Erkennungsergebnissen der unterschiedlichen Typen von Teilen, die von den Teileerkennungsmitteln (13) erkannt wurden; und Erkennen durch zweite Objekterkennungsmittel (15) eines zweiten Objekts auf der Grundlage von Erkennungsergebnissen einer Mehrzahl von Teilen, die teilweise das zweite Objekt repräsentieren, aus den Erkennungsergebnissen der unterschiedlichen Typen von Teilen, die von den Teileerkennungsmitteln (13) erkannt wurden, wobei die unterschiedlichen Typen von Teilen wenigstens einen gemeinsamen Teil enthalten, der wenigstens einen Teil repräsentiert, der dem ersten Objekt und dem zweiten Objekt gemeinsam ist, der wenigstens eine gemeinsame Teil sowohl von den ersten Erkennungsmitteln (14) als auch den zweiten Erkennungsmitteln (15) verwendet wird.