-
Technisches Gebiet
-
Die
vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung,
welche an einem Fahrzeug und Ähnlichem montiert ist, und
ihr Verfahren, und insbesondere eine Objekterkennungsvorrichtung
zum Erkennen des Bildbereichs, bei dem eine große Möglichkeit
besteht, dass ein Objekt enthalten ist, wie z. B. ein Fußgänger
und Ähnliches, eines Bilds, welches durch eine einlinsige
Kamera erfasst wird, die an einem Fahrzeug und Ähnlichem
montiert ist, und ihr Verfahren.
-
Stand der Technik
-
In
Bezug auf das vorhandene, an einem Fahrzeug montierte Ankündigungspräventionssystem
von Frontkollisionsunfällen werden verschiedene Verfahren
vorgeschlagen.
-
Beispielsweise
schlägt Patentdokument 1 ein System zum Erkennen der Größe
und Position eines Fahrzeugs vor, indem Licht in einem Bild erkannt
wird, welches durch zwei Infrarotkameras erfasst wird.
-
Als
ein System zum Zielen auf ein und Erkennen eines Objekts, wie z.
B. eines Fußgängers und Ähnlichem, schlägt
Nichtpatentdokument 1 ein Verfahren vor.
-
Das
herkömmliche Objekterkennungsverfahren eines Fußgängers
und Ähnlichem, welches durch Nichtpatentdokument 1 offenbart
wird, nutzt die Tatsache, dass die Form eines Fußgängers
axial nahezu symmetrisch ist, und extrahiert den Kandidatenbereich
des Fußgängers, indem die axiale Symmetrie in
einem lokalen Bildbereich ausgewertet wird.
-
Das
Objekterkennungsverfahren, welches durch das Nichtpatentdokument
1 offenbart wird, wertet die Symmetrie eines Helligkeitsbilds und
eines Randbilds in einem rechteckförmigen Bereich jedes
Pixels aus, von welchem angenommen wird, dass er eine Person umschließt,
wenn davon ausgegangen wird, dass das Pixel ihre Füße
repräsentiert, basierend auf der Objektgröße
und den perspektivischen Projektionsbedingungen (das detaillierte
Verfahren ist nicht offenbart). In diesem Fall, wenn eine Mehrzahl
von Rechteckbereichen vorhanden ist, deren Symmetrieauswertungswert
gleich oder größer ist als ein Schwellenwert auf
der Symmetrieachse, wird einer ausgewählt, in welchem die
Symmetrie eines vertikalen Randbilds und eine Auswertungsfunktion
(nicht offenbart), deren Komponente eine vertikale Randdichte ist,
Maxima sind.
-
Jedoch,
wenn davon ausgegangen wird, dass die gleiche vertikale Symmetrieachse
von ganz oben bis ganz unten eines rechteckförmigen Bereichs
vorhanden ist, von welchem angenommen wird, dass er eine Person
umschließt, tritt manchmal ein Problem auf.
-
Beispielsweise
kann in dem Fall einer Person, welche mit einem großen
Fußschritt seitwärts geht, die Symmetrie eines
Unterkörpers manchmal nicht auf der gleichen Symmetrieachse
wie der des Oberkörpers erhalten werden. In diesem Fall
wird ein kleiner Bereich in dem Abschnitt weiter oben als erforderlich
ausgewählt.
-
Dies
verursacht ein Problem, dass, wenn ein Abstand von ihrem eigenen
Fahrzeug konvertiert wird, sie weiter entfernt erkannt wird als
sie tatsächlich ist, da der rechteckförmige Bereich
kleiner wird. In einem kleinen rechteckförmigen Bereich
besteht eine Möglichkeit, dass ein rechteckförmiger
Bereich für nur den Oberkörper durch die detaillierte
Bestimmung einer Mustererkennung in der späteren Phase
verworfen wird, was die Erkennungsfunktion verschlechtert.
-
1 zeigt
das oben beschriebene Problem.
-
1 gibt
typischerweise ein Bild wieder, in welchem eine Person geht.
-
Wenn
eine Person geht ist es schwierig, eine Symmetrieachse zu erhalten,
welche vom Oberkörper bis zum Unterkörper durchgeht.
In 1 weicht eine Symmetrieachse 2, gegen
welche der Unterkörper horizontal symmetrisch ist, von
der Symmetrieachse 1 des Oberkörpers ab. In dem
System des Nichtpatentdokuments 1 wird, obwohl das Bild dieser einen
Person im Wesentlichen wie ein rechteckförmiger Bereich 4 erkannt werden
muss, nur der rechteckförmige Bereich 3 des Oberkörpers
erkannt, und der Unterkörper wird als ein anderer rechteckförmiger
Bereich verarbeitet.
-
Jedoch
sind in dem Nichtpatentdokument 2 zwei Kameras an einem Fahrzeug
montiert und die Distanz eines rechteckförmigen Bereichs
wird durch Messen der Distanz durch ein Stereobildverarbeitungsverfahren
erhalten. Dann wird die Korrektur eines rechteckförmigen
Bereichs auf eine Position und eine Größe angewendet,
welche durch die perspektivischen Projektionsbedingungen beeinflusst
werden, basierend auf der erhaltenen Distanz. Jedoch werden in diesem
Verfahren des Nichtpatentdokuments 2, da ein Mechanismus für
einen Stereobildprozess notwendig ist, beispielsweise da zwei Kameras
notwendig sind, Kosten hoch.
-
Wenn
sein Kontrast mit dem Hintergrund nicht ausreichend ist und das
Bild 5 des Unterkörpers nicht klar ist, wird ein
kleinerer Bereich 6 in dem Abschnitt weiter oben als erforderlich
ausgewählt, da der vertikale Rand nicht ausreichend extrahiert
wird, wie in 2(a) gezeigt.
-
Wenn
eine Symmetriestruktur 7 (Anstrich, Gully, etc.)
an seinen Füßen vorhanden ist, wird ein großer rechteckförmiger
Bereich 8 in dem Abschnitt weiter unten als erforderlich
als der rechteckförmige Bereich für den Fußgänger
ausgewählt, wie in 2(b) gezeigt,
da der vertikale Rand berücksichtigt wird.
-
In
Anbetracht des Obigen ist es eine Aufgabe der vorliegenden Erfindung
ein Objekterkennungssystem und – Verfahren mit einem Mechanismus
bereitzustellen, um den Bereich eines Zielobjekts mit höherer Genauigkeit
zu bestimmen, wobei nur ein Bild verwendet wird, welches durch eine
einlinsige Kamera erfasst wird, ohne einen Stereobildprozess durchzuführen.
-
Es
ist eine weitere Aufgabe der vorliegenden Erfindung, ein Objekterkennungssystem
und -Verfahren mit einer besseren Objekterkennungsfunktion bei niedrigen
Kosten bereitzustellen.
- Patentdokument 1: Japanische Patentanmeldung mit der Nummer
2003-230134 .
- Nichtpatentdokument 1: Massimo Bertozzi, Alberto Broggi
et al., "Vision-based Pedestrian Detection: Will Ants Help?", IEEE
Intelligent Vehicles 2002, Volume 1, Seiten 1–7 (Juni 2002).
- Nichtpatentdokument 2: Alberto Broggi, Massimo Bertozzi
et al., "Pedestrian Localization and Tracking System with Kalman
Filtering", IEEE Intelligent Vehicles 2004, Seiten 584–589
(Juni 2004).
-
Offenbarung der Erfindung
-
Um
die oben beschriebenen Probleme zu lösen, umfasst ein Objekterkennungssystem
gemäß der vorliegenden Erfindung eine Erzeugungseinheit
für geometrische Information, eine Symmetrieauswertungseinheit,
eine Auswertungseinheit für eine Symmetrieachsenkontinuität
und eine Erzeugungseinheit für einen rechteckförmigen
Bereich.
-
Die
Erzeugungseinheit für geometrische Information berechnet
die Relationsinformation zwischen der Position auf dem Bild eines
Objekts, welches auf einer Straßenoberfläche existiert,
und der Bildbereichsgröße des Bilds, welches durch
eine Kamera erfasst wird, wobei die tatsächliche Grö ße
eines Zielobjekts und Kameraparameterinformation verwendet werden.
-
Die
Symmetrieauswertungseinheit wertet eine Existenzmöglichkeit
einer Symmetrieachse in einem spezifischen Pixel aus, wobei eine
Intervallgröße T verwendet wird, welche basierend
auf geometrischer Information bestimmt wird.
-
Die
Auswertungseinheit für eine Symmetrieachsenkontinuität
wertet mindestens eine der Dichte und Kontinuität in der
Nähe der Mittelachse eines rechteckförmigen Bereichs
des Pixels aus, dessen Symmetriewert, der durch die Symmetrieauswertungseinheit
ausgewertet wird, gleich oder größer ist als ein
spezifischer Schwellenwert, und erkennt den tiefsten Endpunkt des
symmetrischen Objekts.
-
Die
Erzeugungseinheit für einen rechteckförmigen Bereich
gibt die Position und Größe des Kandidatenbereichs
des symmetrischen Objekts basierend auf dem tiefsten Endpunkt aus,
welcher durch die Auswertungseinheit für eine Symmetrieachsenkontinuität
und die geometrische Information spezifiziert wird.
-
Gemäß dieser
Konfiguration kann die Symmetrieachse eines rechteckförmigen
Bereichs, der aus einem Bild extrahiert wird, berechnet werden,
und kann die Kontinuität dieser Symmetrieachse als ein
rechteckförmiger Bereich betrachtet werden.
-
Die
vorliegende Erfindung kann des Weiteren eine Extraktionseinheit
für einen Reflexionsbereich umfassen, welche mit einem
Beleuchtungslicht zum abwechselnden An/Ausschalten synchron mit
dem Verschluss der Kamera verbunden ist, um das Differenzbild zwischen
einem Bild, welches erfasst wird, wenn das Beleuchtungslicht an
ist, und einem Bild, welches erfasst wird, wenn das Beleuchtungslicht
aus ist, zu berechnen und um einen Reflektionsbereich zu extrahieren,
indem ein Liniensegmenteliminierungsfilter angewendet wird. Die
Erzeugungseinheit für geometrische Informati an berechnet
die Relationsinformation zwischen der Position eines Objekts auf
einem Bild, welches auf einer Straßenoberfläche
existiert, und einer Bildbereichsgröße in dem
Reflektionsbereich, wobei die tatsächliche Größe
eines Zielobjekts und Kameraparameterinformation verwendet werden.
-
Gemäß dieser
Konfiguration kann ein Reflektionsbereich zum Erzeugen eines Bilds,
in welchem die Struktur in einem Straßenoberflächenbereich
abgeschwächt ist und ein Lichtreaktionsbereich hervorgehoben ist,
aus dem durchgängigen Bild extrahiert werden.
-
Des
Weiteren kann die vorliegende Erfindung auch umfassen: eine Speichereinheit
für eine Körperteilaufteilung eines Zielobjekts
zum Speichern von Körperteilbereichsinformation, abhängig
von dem Zielobjekt in dem rechteckförmigen Bereich, eine
Verarbeitungseinheit für eine Bereichsaufteilung zum Aufteilen
eines rechteckförmigen Bereichs in eine Mehrzahl von Teilbereichen,
basierend auf der Körperteilbereichsinformation, und eine
integrierte Bestimmungseinheit zum integrierten Bestimmen eines
Kandidatenfußgängerbereichs basierend auf einer
Wahrscheinlichkeit einer existierenden Symmetrieachse, welche in
jedem der Teilbereiche durch die Auswertungseinheit für
eine Symmetrieachsenkontinuität berechnet wird. Die Auswertungseinheit
für eine Symmetrie wertet die Existenzmöglichkeit
einer Symmetrieachse in jedem der aufgeteilten Teilbereiche aus,
indem die Intervallgröße verwendet wird, welche
durch die Körperteilbereichsinformation definiert wird, und
die Auswertungseinheit für eine Symmetrieachsenkontinuität
wertet eine Dichte an einer vorgeschriebenen Position in dem Teilbereich
des Kandidatensymmetrieachsenbereichs aus, welcher durch die Auswertungseinheit
für eine Symmetrie ausgewertet wird, und berechnet eine
Wahrscheinlichkeit einer Existenz einer Symmetrieachse.
-
Gemäß dieser
Konfiguration kann ein System mit einer besseren Objekterkennungsfunktion
realisiert werden.
-
Die
vorliegende Erfindung umfasst auch sei Objekterkennungsverfahren
in seinem Umfang.
-
Kurze Beschreibung der Zeichnungen
-
1 zeigt
Probleme bei der herkömmlichen Objekterkennung.
-
2(a) zeigt einen Fall, in welchem, da
ein vertikaler Rand nicht ausreichend extrahiert wird, ein kleiner
Bereich in dem Abschnitt weiter oben als erforderlich ausgewählt
wird.
-
2(b) zeigt einen Fall, in welchem eine
Symmetriestruktur (Anstrich, Gully, etc.) an seinen Füßen vorhanden
ist.
-
3 zeigt
die Zusammenfassung dieses bevorzugten Ausführungsbeispiels.
-
4 zeigt
die Systemkonfiguration des ersten bevorzugten Ausführungsbeispiels.
-
5 zeigt
ein Zusammensetzungsbeispiel einer Tabelle für geometrische
Information, welche in dem ersten bevorzugten Ausführungsbeispiel
verwendet wird.
-
6 zeigt
eine Intervallgröße T.
-
7 zeigt
eine Funktion Symm(x, T).
-
8 zeigt
den Reaktionsbereich Fx eines Symmetriefilters, dessen Symmetrieauswertungswert gleich
oder größer ist als ein Schwellenwert, einen Liniensegmentbereich
EL und den unteren Endpunkt E eines Liniensegmentbereichs EL.
-
9 zeigt
die Auswertung der Dichte und Kontinuität eines ausgedünnten
Liniensegmentbereichs EL, in der Nähe der Mittelachse eines
rechteckförmigen Bereichs R.
-
10 ist
ein Flussdiagramm, welches den Prozess des Systems in dem ersten
bevorzugten Ausführungsbeispiel zeigt.
-
11(a) zeigt die Systemkonfiguration des
zweiten bevorzugten Ausführungsbeispiels.
-
11(b) zeigt seinen Prozess.
-
12 zeigt
die Synchronisation zwischen dem Verschluss einer Nahinfrarotkamera
und einem Nahinfrarotbeleuchtungslicht.
-
13 zeigt,
wie ein Reflektionsbereich R in dem zweiten bevorzugten Ausführungsbeispiel
zu berechnen ist.
-
14 zeigt
ein Zusammensetzungsbeispiel einer Tabelle für geometrische
Information, welche in dem zweiten Ausführungsbeispiel
verwendet wird.
-
15 ist
ein Flussdiagramm, welches den Prozess des Systems in dem zweiten
bevorzugten Ausführungsbeispiel zeigt.
-
16 zeigt
Probleme, welche durch das System in dem dritten bevorzugten Ausführungsbeispiel
zu lösen sind.
-
17 zeigt
einen Fall, in welchem ein Kandidatenbereich in eine Mehrzahl von
Bereichen aufgeteilt wird und ein anderes Symmetrieintervall für
jeden Bereich verwendet wird.
-
18 zeigt
ein Systemzusammensetzungsbeispiel des dritten bevorzugten Ausführungsbeispiels.
-
19 zeigt
ein Beispiel einer Körperteilbereichsinformation, welche
in der Speichereinheit für eine Körperteilaufteilungsinformation
eines Zielobjekts gespeichert ist.
-
20 zeigt
typischerweise einen Teilbildbereich Ii.
-
21 zeigt
typischerweise einen Teilbereich Ri.
-
22 ist
ein Flussdiagramm, welches den Prozess des Systems in dem dritten
bevorzugten Ausführungsbeispiel zeigt.
-
Bester Modus zum Durchführen
der Erfindung
-
Ein
bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung
wird nachfolgend mit Bezugnahme auf die Zeichnungen beschrieben.
-
In
dem System dieses bevorzugten Ausführungsbeispiels wird
ein Bild durch eine einlinsige Kamera erfasst, welche an einem Fahrzeug
und Ähnlichem montiert ist, und wird ein Bildbereich, welcher
eine Liniensymmetrie beinhaltet, als ein Bildbereich erkannt, bei
dem eine große Möglichkeit besteht, dass ein Erkennungszielobjekt
enthalten ist, wobei ein Merkmal berücksichtigt wird, dass
das Erkennungszielobjekt, wie z. B. ein Fußgänger
und Ähnliches, nahezu liniensymmetrisch ist.
-
Insbesondere
in 3 wird durch ein Auswerten der Symmetrie dünner
rechteckförmiger Bereiche 11-1~11-6,
von welchen angenommen wird, dass sie die Breite einer Person eines
Bilds umschließen, welches durch die Kamera erfasst wird,
und durch ein Auswerten der Dichte und Kontinuität von
Kandidatensymmetrieachsenbereichen 14-1~14-6,
welche in der Nähe der Mittelachse 13 eines rechteckförmigen
Bereichs 12 existieren, von welchem angenommen wird, dass
er eine Person umschließt, der Kandidatenbereich einer
Person erzeugt, was einen robusten Effekt in einem Fall hat, in
welchem die Symmetrieachse teilweise abweicht und eine Symmetrieachse
schräg ist.
-
Das
System in dem zweiten bevorzugten Ausführungsbeispiel umfasst
des Weiteren ein Beleuchtungslicht, welches abwechselnd horizontal
leuchtet/ausgeht, synchron mit dem Verschluss einer Kamera, und kann
ein System mit einer noch besseren Objekterkennungsfunktion bereitstellen,
indem ein Reflektionsbereich zum Erzeugen eines Bilds extrahiert
wird, in welchem die Struktur in einem Straßenoberflächenbereich abgeschwächt
ist und ein Lichtreaktionsbereich hervorgehoben ist, kann aus dem
durchgängigen Bild extrahiert werden, und indem der gleiche
Prozess wie in dem ersten be vorzugten Ausführungsbeispiel
auf ein Bild in diesem Reflektionsbereich angewendet wird.
-
Das
System in dem dritten bevorzugten Ausführungsbeispiel kann
ein System mit einer noch besseren Objekterkennungsfunktion bereitstellen,
indem der Extraktionsframe des extrahierten Ziels in eine Mehrzahl von
Bereichen aufgeteilt wird und indem eine Symmetrieachse für
jeden Bereich ausgewertet wird.
-
4 zeigt
das Systemkonfigurationsbeispiel des ersten bevorzugten Ausführungsbeispiels.
-
In 4 ist
ein Objekterkennungssystem 22a mit einer Kamera 21 verbunden
und umfasst eine Kameraschnittstelle 23, eine Speichereinheit 24 für
einen Bildframe, eine Symmetrieauswertungseinheit 25, eine Auswertungseinheit 26 für
eine Symmetrieachsenkontinuität, eine Erzeugungseinheit 27 für
einen rechteckförmigen Bereich, eine Verarbeitungseinheit 28 für
einen letzten Schritt, eine Speichereinheit 29 für
Kameraparameter, eine Erzeugungseinheit 30 für
geometrische Information und eine Speichereinheit 31 für
eine Tabelle für geometrische Information.
-
Die
Kameraschnittstelle 23 verbindet die Kamera 21 und
das Objekterkennungssystem 22a. Die Speichereinheit 24 für
einen Bildframe ist ein Speicher, welcher die Daten eines Bildframes
speichert, der durch die Kamera 21 erfasst wird. Die Symmetrieauswertungseinheit 25 wertet
die Möglichkeit einer Symmetrieachse in der horizontalen
Richtung aus, in einem spezifischen Pixel durch ein Symmetrieintervall
(Intervallgröße), welches basierend auf geometrischer
Information bestimmt wird, die in der Speichereinheit 31 für
eine Tabelle für geometrische Information gespeichert ist.
Die Auswertungseinheit 26 für eine Symmetrieachsenkontinuität wertet
die Dichte und Kontinuität in der Nähe der Mittelachse
in einem rechteckförmigen Bereich aus, eines Pixels, dessen
Symmetriewert, der durch die Symmetrieauswertungs einheit 25 ausgewertet
wird, gleich oder größer ist als ein spezifischer
Schwellenwert, und erkennt seinen tiefsten Endpunkt (Füße).
Die Erzeugungseinheit 27 für einen rechteckförmigen
Bereich gibt die Position und Größe eines Kandidatenbereichs
aus, wie z. B. eines Fußgängers und Ähnlichem,
basierend auf dem tiefsten Endpunkt, welcher durch die Auswertungseinheit 26 für
eine Symmetrieachsenkontinuität und die geometrische Information
spezifiziert wird.
-
Die
Verarbeitungseinheit 28 für einen letzten Schritt
wendet einen Identifikationsprozess durch ein neutrales Netzwerk
und/oder einen Mustervergleichsprozess auf den Kandidatenbereich
an, wie z. B. einen Fußgänger und Ähnliches,
welcher durch die Erzeugungseinheit 27 für einen
rechteckförmigen Bereich ausgegeben wird, um zu bestimmen,
ob es ein rechteckförmiger Bereich für einen Fußgänger
und Ähnliches ist. Die Speichereinheit 29 für
Kameraparameter speichert die Parameter der Kamera 21,
welche mit dem Objekterkennungssystem 22a verbunden ist,
wie z. B. die Fokusdistanz f der Kamera 21, die Position
0' (x0, y0, z0) der Kamera 21 gegen die Mitte 0 der Bewegung
ihres eigenen Fahrzeugs und die Richtung θ (Gier, Roll, Nick)
der Kamera 21. Die Erzeugungseinheit 30 für
geometrische Information berechnet einen Bildbereich, von dem angenommen
wird, dass er ein Objekt umschließt, wenn angenommen wird,
dass ein Pixel seine Füße repräsentiert,
jedes Pixels, aus der Objektgröße und den perspektivischen
Darstellungsbedingungen der Kamera. Die Speichereinheit 31 für
eine Tabelle für geometrische Information speichert eine
Tabelle für geometrische Information, in welcher Information über
die Höhe und Breite eines rechteckförmigen Bereichs,
um eine Person zu umschließen, miteinander zusammenhängt,
wenn die Y-Koordinate jedes Pixels die Füße des
Fußgängers repräsentiert, eines erfassten
Bilds.
-
Als
nächstes wird die detaillierte Erkennung eines Fußgängers
durch das System beschrieben, welches in 4 gezeigt
ist.
-
Die
Erzeugungseinheit 30 für eine geometrische Information
berechnet einen Bildbereich für ein Bild, welches durch
eine Kamera 21 erfasst wird, von welchem angenommen wird,
dass er ein Objekt umschließt, wenn angenommen wird, dass
das Pixel seine Füße repräsentiert, jedes
Pixels in dem rechteckförmigen Bereich, aus der Größe
des Objekts (Fußgänger) und den perspektivischen
Projektionsbedingungen. Insbesondere hängen beispielsweise
tatsächliche Koordinaten P (X, Y, Z) und Koordinaten Q
(u, v) auf dem Bildschirm durch einen öffentlich bekannten
Umwandlungsausdruck zusammen, wobei die Fokusdistanz f der Kamera 21, die
Position 0' (x0, y0, z0) der Kamera 21 gegen die Mitte
0 der Bewegung ihres eigenen Fahrzeugs und die Richtung θ (Gier,
Roll, Nick) der Kamera 21, welche in der Speichereinheit 29 für
Kameraparameter gespeichert sind, verwendet werden.
-
Alternativ
wird, indem die Breite einer tatsächlichen Person so spezifiziert
wird, dass sie beispielsweise 70 cm oder Ähnliches beträgt,
die Relation zwischen der Y-Koordinate eines Punkts in dem Bild
und der Größe der Höhe und Breite eines
Rechtecks, um eine Person zu umschließen, in dem Fall,
in welchem angenommen wird, dass der Punkt seine Füße
repräsentiert, im Voraus als Tabelle für geometrische
Information erzeugt und wird in der Speichereinheit 31 für
eine Tabelle für geometrische Information gespeichert.
-
5 zeigt
ein Zusammensetzungsbeispiel der Tabelle für geometrische
Information.
-
In
der Tabelle für geometrische Information, die in 5 gezeigt
ist, hängen die Y-Koordinate jedes Pixels in einem Bild,
welches durch die Kamera erfasst wird, die Breite W und die Höhe
H eines rechteckförmigen Bereichs, umfassend ein Objekt
(Fußgänger) des rechteckförmigen Bereichs,
und eine Intervallgröße T miteinander zusammen
und sind in einem Koordinatensystem gespeichert, in welchem die
Höhen- und Breitenrichtungen eines Bilds, welches durch
die Kamera 21 erfasst wird, in den X- und Y-Achsen aufgetragen
werden, und die obere linke Ecke als der Ursprung verwendet wird,
als geometrische Information. Wenn beispielsweise die Y-Koordinate
eines Pixels an seinen Füßen 140 ist,
sind die Breite W und Höhe H eines rechteckförmigen
Bereichs, umfassend ein Objekt (Fußgänger), und
eine Intervallgröße 10, 20 beziehungsweise 17,5.
Die Intervallgröße ist ein Wert, welcher verwendet
wird, wenn die Symmetrie des Rechtecks ausgewertet wird, was später
im Detail beschrieben wird.
-
Die
Erzeugungseinheit 30 für geometrische Information
ordnet tatsächliche Koordinaten P (X, Y, Z) und Koordinaten
Q in einem Bild, welches durch die Kamera 21 erfasst wird,
indem eine Tabelle für geometrische Information verwendet
wird, die in der Speichereinheit 31 für eine Tabelle
für geometrische Information gespeichert ist, und Kameraparameter
zu, die in der Speichereinheit 29 für Kameraparameter
gespeichert sind.
-
In
solch einem Zustand wird ein rechteckförmiger Bereich,
umfassend einen Fußgänger in einem Bild, welches
durch die Kamera 21 erfasst wird, in den folgenden Prozeduren
spezifiziert.
-
Der
detaillierte Prozess, welcher durch das System 22a in dem
ersten bevorzugten Ausführungsbeispiel durchgeführt
wird, wird nachfolgend der Reihe nach beschrieben.
-
[Schritt 1]
-
Die
Symmetrieauswertungseinheit 25 bestimmt die Intervallgröße
T der Breite W des rechteckförmigen Bereichs entsprechend
jeder Y-Koordinate, indem die Tabelle für geome trische
Information verwendet wird, die in der Tabelle für geometrische
Information gespeichert ist.
-
In
Bezug auf die Intervallgröße T, welche in der
Tabelle für geometrische Information gespeichert ist, können
beispielsweise (N + 1) Arten von Intervallgrößen
T verstreut bestimmt werden, indem ein Wert verwendet wird, der
durch gleichmäßiges Teilen des Mindestwerts Wmin und Maximalwerts Wmax einer
Breite W eines rechteckförmigen Bereichs durch N erhalten
wird.
-
In
diesem Fall kann eine Intervallgröße T wie folgt
berechnet werden.
-
[Mathematischer Ausdruck 1]
-
-
S = (Wmax – Wmin)/N
-
Ti = S(i – 0,5) + Wmin
-
Wenn
dieses T grafisch ausgedrückt wird, wird 6 erhalten
(N = 5 in 6).
-
Wenn
beispielsweise Wmin = 10, Wmax =
110 und N = 8, werden neun Arten von Intervallgrößen
T = 17,5, 30, 42,5, 55, 67,5, 80, 92,5, 105 und 117 bestimmt.
-
In
diesem Fall wird in Bezug auf eine spezifische Y-Koordinate eine
Intervallgröße Ti definiert, indem das Minimum
"i" verwendet wird, wobei W < Ti.
-
Wenn
beispielsweise in der Tabelle für geometrische Information,
die in 5 gezeigt ist, die Y-Koordinate = 141 ist, dann
ist W = 11. Daher wird eine Intervallgröße T =
17,5 bestimmt, indem das Minimum i = 1 verwendet wird, was W < Ti erfüllt.
-
[Schritt 2]
-
Dann
erzeugt die Symmetrieauswertungseinheit 25 ein Filter reagierendes
Bild Fi, in welchem die Symmetrie in der horizontalen Richtung in
jedem Pixel x eines Bilds I durch die Funktion Symm(x, T) eines Symmetriefilters
ausgewertet wird, in jeder Intervallgröße Ti.
-
Symm(x,
T) wird berechnet, indem die maximale ungerade Zahl, welche Ti nicht überschreitet,
für die bestimmte Intervallgröße Ti verwendet
wird. Wenn beispielsweise T = 17,5 ist, wird T = 17 verwendet.
-
Die
Symmetrie in der Intervallgröße T eines Signals
in der horizontalen Richtung eines Pixels kann durch die folgende
Funktion Symm eines Symmetriefilters ausgewertet werden. [Mathematischer
Ausdruck 2]
Gerade Funktionskomponente
E(u, x) = 0,5·(I(x – u) + I(x + u)) ⇒ normalisiertes
E' = E – EAV Ungerade
Funktionskomponente O(u, x) = 0,5·(I(x – u) +
I(x + u)) -
In
der obigen Gleichung sind E und O die geraden beziehungsweise ungeraden
Funktionskomponenten eines Bilds I, welches x als die Mitte verwendet.
In diesem Fall wird E normalisiert, indem der Mittelwert EAV von E bei u = 1~T von E subtrahiert wird,
um E' zu berechnen. Dann kann sie zur Auswertungsfunktion einer Symmetrie
gemacht werden, indem sie durch eine Differenz in einer Quadratsumme
zwischen der ungeraden Funktionskomponente O und dem normalisierten
Wert E' ausgewertet wird.
-
Wenn
diese Funktion Symm(x, T) graphisch ausgedrückt wird, wird 7 erhalten.
-
Obwohl
in der obigen Gleichung nur eine Linie in der horizontalen Richtung
eines Bilds I ausgewertet wird, ist dieses bevorzugte Ausführungsbeispiel
nicht darauf beschränkt. Eine Mehrzahl von Linien kann
auch in der horizontalen Richtung zugeordnet und ausgewertet werden.
-
Wenn
eine Mehrzahl von Linien von Pixeln ausgewertet wird, wird die Auswertungsfunktion
Symm wie folgt. [Mathematischer
Ausdruck 3]
Gerade Funktionskomponente
E(u, x, y) = 0,5·(I(x – u, y) + I(x + u, y)) ⇒ normalisiertes
E' = E – EAV Ungerade
Funktionskomponente O(u, x, y) = 0,5·(I(x – u,
y) + I(x + u, y)) -
[Schritt 3]
-
Die
Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
wendet einen Glättungsprozess auf jedes Bild Fi an, indem
ein Gewicht in der Höhenrichtung verwendet wird, um ein
Bild Fi' zu erzeugen. Das Bild Fi' kann gemäß einem
Auswertungsausdruck Vsymm(x) erhalten werden.
-
[Mathematischer Ausdruck 4]
-
-
Vsymm(x) = Symm(x, T) ⊗ Ones(m,
n)
-
- Ones(m, n):
- Matrix m × n,
in welcher alle Elemente 1 sind Beispiel m = 7, n = 3
- ⊗:
- Faltungsoperation
-
[Schritt 4]
-
Die
Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
wendet einen Ausdünnungsprozess nur auf die Höhenrichtung
eines Bereichs Fx an, dessen Symmetrieauswertungswert gleich oder
größer ist als ein spezifischer Schwellenwert
Th1, und extrahiert einen Liniensegmentbereich EL, welcher durch
den Ausdünnungsprozess erhalten wird.
-
Wenn
ein Wert Fi'(x) in dem Pixel x eines Bilds Fi' das Maximum des peripheren
Pixels Fi'(x – t), ..., Fi'(x), ..., Fi'(x + t) bei einem
Abstand "t" in beiden links/rechts Richtungen wird, gibt der Ausdünnungsprozess 1
aus. Andernfalls gibt er 0 aus.
-
Der
Ausdünnungsprozess Thin wird wie folgt ausgedrückt. Thin (x, t) = 1, wenn Fi'(x) = max(Fi'(x – t),
..., Fi'(x), ..., Fi'(x + t)), andernfalls 0
-
Der
Reaktionsbereich Fx eines Symmetriefilters, dessen Symmetrieauswertungswert
gleich oder größer ist als ein Schwellenwert Th1,
ein Liniensegmentbereich FL und der untere Endpunkt E eines Liniensegmentbereichs
EL sind in 8 gezeigt.
-
Die
Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
extrahiert den unteren Endpunkt E des Liniensegmentbereichs EL,
auf welchen ein Ausdünnungsprozess angewendet wird. Der
untere Endpunkt E kann erhalten werden, indem die Kontinuität
in der Y-Achsenrichtung des Liniensegmentbereichs EL ausgewertet
wird, welcher durch den Ausdünnungsprozess erhalten wird.
-
[Schritt 6]
-
Die
Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
bestimmt einen rechteckförmigen Bereich R, der in dem oberen
Abschnitt existiert, basierend auf der Speichereinheit 31 für
eine Tabelle für geometrische Information.
-
Insbesondere
wird beispielsweise davon ausgegangen, dass ein Bereich X = –W/2
+ x~x + W/2, Y = y – H + 1~y ein rechteckförmiger
Bereich R ist. Jedoch, wenn die Breite W eines Rechtecks größer
oder kleiner ist als ein vorgeschriebener Wert für eine
Intervallgröße T, wird dieser rechteckförmige
Bereich R verworfen. Beispielsweise nur wenn 0,5·T < W < 1,5 T gilt, wird
er als ein rechteckförmiger Bereich R angenommen.
-
[Schritt 7]
-
Die
Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
wertet die Dichte und Kontinuität des Ausdünnungsliniensegmentbereichs
EL in der Nähe der Mittelachse des rechteckförmigen
Bereichs R aus, welcher in Schritt 6 bestimmt wird.
-
Ihr
detaillierter Prozess wird nachfolgend mit Bezugnahme auf 9 beschrieben.
-
Zuerst,
wenn die Mittelkoordinaten eines rechteckförmigen Bereichs
mit einer Breite W und einer Höhe H (x1, y1) sind, wird
die Existenz NEL eines Ausdünnungsliniensegmentbereichs
EL in jeder Linie eines Mittelbereichs (x1 – 0,5·a·W~x1
+ 0,5·a·W, y = y1 – H~y1) von a% ausgewertet.
In diesem bevorzugten Ausführungsbeispiel wird die Menge
von Ausdünnungsliniensegmentbereichen EL, welche in einem
Bereich a% von diesem Mittebereich existieren, Dichte genannt.
-
In 9 werden
ein Teil, in welchem der Liniensegmentbereich EL in dem Mittelbereich
a·W von a% enthalten ist, und ein Teil, in welchem der
Liniensegmentbereich EL aus dem Mittelbereich a·W von a%
ausgeschlossen ist, mit 1 beziehungsweise 0 ausgedrückt.
-
Dann,
wenn die Summe SNEL (7 in 9)
von NEL für alle Linien des Mittelbereichs
von a% gleich oder größer ist als ein vorbestimmter
Schwellenwert Th2, wird bestimmt, dass es eine Symmetrieachse in
dem rechteckförmigen Bereich R gibt. (Beispielsweise
SNEL > H·Th2)
-
[Schritt 8]
-
Die
Erzeugungseinheit 27 für einen rechteckförmigen
Bereich integriert rechteckförmige Bereiche R, welche in
jedem reagierenden Bild Fi (i = 1, ..., N + 1) eines Zielfilters
erhalten werden, und integriert nah angeordnete. Wenn beispielsweise
eine Distanz zwischen Bodenmittelpunkten E1 und E2 jedes von zwei
rechteckförmigen Bereichen R1 und R2 gleich oder kleiner
ist als ein spezifischer Schwellenwert Th3, wird ein rechteckförmiger
Bereich, dessen Dichte (N2/H) in der Nähe der Mittelachse
der Symmetrieachse die größere ist, ausgewählt
und der andere wird verworfen.
-
Der
so erhaltene rechteckförmige Bereich R wird als ein rechteckförmiger
Bereich eines Kandidatenfußgängers betrachtet.
-
Dann
wendet die Verarbeitungseinheit 28 für einen letzten
Schritt einen Identifikationsprozess durch ein neutrales Netzwerk
und/oder einen Mustervergleichsprozess auf diesen rechteckförmigen
Bereich eines Kandidatenfußgängers an, und es
wird bestimmt, ob es ein echter rechteckförmiger Bereich
eines Fußgängers ist.
-
Wenn
die Prozesse der Symmetrieauswertungseinheit 25 und der
Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
durchgeführt werden, wobei eine Intervallgröße
T verwendet wird, kann ein Mehrfachauflösungsprozess, wie
z. B. Gaußpyramide (engl. Gaussian Pyramid) oder Ähnliches,
auch die Größe eines Bilds auf 1/2, 1/4 oder Ähnliches
reduzieren, um die Berechnungsmenge zu reduzieren. In diesem Fall wird,
beispielsweise wenn sie auf 1/2 reduziert wird, ein 1/2 großes
Bild ausgewertet, wobei eine Intervallgröße 1/2
T verwendet wird. Dann, wenn rechteckförmige Bereiche integriert
werden, wird es mit der ursprünglichen Größe
wiederhergestellt.
-
9 ist
ein Flussdiagramm, welches einen Prozess zeigt, der durch das System
in dem ersten bevorzugten Ausführungsbeispiel durchgeführt
wird.
-
In 10 wird
zuerst, als einen Vorbehandlung, für jeden Frame die Tabelle 31 für
geometrische Information berechnet.
-
Dann
wird in Schritt S1 eine Intervallgröße Ti bestimmt,
wobei auf die Tabelle 31 für geometrische Information
Bezug genommen wird.
-
Dann
wird in Schritt S2 der Auswertungsprozess für eine Symmetrieachse,
wobei die oben beschriebene Funktion Symm(x, T) verwendet wird,
auf jedes Pixel für jede intervallgröße
Ti angewendet.
-
Dann
wird in Schritt S3 ein Glättungsprozess durch die oben
beschriebene Funktion Vsymm auf jedes Pixel des Bilds angewendet,
welches in Schritt S2 erhalten wird.
-
Dann
wird in Schritt S4 ein Liniensegmentbereich EL durch einen Ausdünnungsprozess
Thin extrahiert.
-
Dann
wird in Schritt S5 der untere Endpunkt E des Liniensegmentbereichs
EL extrahiert, der in Schritt S4 erhalten wird.
-
Dann
wird in Schritt S6 ein rechteckförmiger Bereich R erzeugt,
wobei davon ausgegangen wird, dass dieser untere Endpunkt die Füße
eines Fußgängers sind.
-
Dann
wird in Schritt S7 überprüft, ob der Liniensegmentbereich
EL in dem Bereich a% von der Mitte enthalten ist, von dem rechteckförmigen
Bereich R, welcher in Schritt S6 erzeugt wird, und die Kontinuität
der Symmetrieachse wird ausgewertet.
-
Die
Prozesse in den Schritten S2 bis einschließlich S7 werden
für jede Intervallgröße Ti durchgeführt, und
in Schritt S8 werden nah angeordnete der rechteckförmigen
Be reiche R in jeder Intervallgröße Ti integriert. Dann
wird schließlich in Schritt S9 ein rechteckförmiger
Kandidatenbereich ausgegeben.
-
Wie
oben beschrieben kann er in dem ersten bevorzugten Ausführungsbeispiel,
wenn er in einem spezifischen Bereich von der Mitte ist, selbst
wenn sich die Symmetrieachsen in Bezug auf den Oberkörper
und Unterkörper eines Fußgängers unterscheiden,
als ein rechteckförmiger Bereich betrachtet werden.
-
Somit
kann ein kostengünstiges Hochleistungsfußgängererkennungssystem
realisiert werden, welches in der Lage ist, den Bereich eines Zielobjekts
mit hoher Genauigkeit zu bestimmen.
-
Als
nächstes wird das zweite bevorzugte Ausführungsbeispiel
der vorliegenden Erfindung beschrieben.
-
11 zeigt
das Konfigurationsbeispiel eines Systems 40 in dem zweiten
bevorzugten Ausführungsbeispiel.
-
Wie
in 11(a) gezeigt sind in dem zweiten
bevorzugten Ausführungsbeispiel ein Beleuchtungslicht 42,
um ein Nahinfrarotlicht und Ähnliches anzuwenden, und eine
Kamera 41, welche in der Lage ist, Licht zu empfangen,
das von diesem Beleuchtungslicht 42 ausgestrahlt wird,
mit dem System 40 verbunden. Das System 40 umfasst
eine Extraktionseinheit 43 für einen Reflektionsbereich,
eine Steuereinheit 44 für ein Beleuchten/Abschalten
und eine Lösungseinheit 45.
-
Obwohl
in der folgenden Beschreibung als das Beleuchtungslicht 42 und
die Kamera 41 ein nahinfrarotes, welches Nahinfrarotlicht
ausstrahlt, beziehungsweise ein nahinfrarotes, welches in der Lage
ist, Nahinfrarotlicht zu empfangen, verwendet werden, sind die Kamera 41 und
das Licht 42 dieses bevorzugten Ausführungsbeispiels
nicht auf solche beschränkt. Jedes andere Licht, welches
Licht aktiv abstrahlen kann, wie z. B. Radar und Ähnliches,
und jede ande re Kamera, welche das Reflektionslicht dieser Strahlung
empfangen kann, können auch verwendet werden.
-
Die
Extraktionseinheit 43 für einen Reflektionsbereich
extrahiert den Reflektionsbereich von Strahlungslicht. Die Steuereinheit 44 für
ein Beleuchten/Abschalten steuert, um abwechselnd das An/Aus des
Beleuchtungslichts 42 synchron mit dem Verschluss der Kamera 41 zu
schalten. Die Lösungseinheit 44 wendet die gleichen
Prozesse wie jene der Symmetrieauswertungseinheit 25, der
Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
und der Erzeugungseinheit 27 für einen rechteckförmigen
Bereich in dem ersten bevorzugten Ausführungsbeispiel auf
das Bild in dem Reflektionsbereich an, welcher durch die Extraktionseinheit 43 für
einen Reflektionsbereich extrahiert wird.
-
Das
Beleuchtungslicht 42 wird synchron mit dem Verschluss der
Kamera 41 an/aus geschaltet und strahlt nahezu parallel
zu der Straßenoberfläche.
-
Wie
in 11(b) gezeigt wird eine Differenz
zwischen einem Bild, welches in einem Zustand erfasst wird, in welchem
Nahinfrarotlicht und Ähnliches, gespeichert in einem Speicherbereich,
und einem Bild, welches in einem Zustand erfasst wird, in welchem
das Beleuchtungslicht 42 ausgeschaltet ist, durch eine
Subtraktionseinheit berechnet und in dem Speicherbereich gespeichert.
Das Extraktionsmittel für einen Reflektionsbereich wendet
einen Eliminierungsprozess für ein Liniensegment, welcher
später beschrieben wird, auf dieses Bild an und gibt ein
Reflektionsbild aus.
-
Die
Nahinfrarotkamera 41 und das Nahinfrarotbestrahlungslicht 42 werden
in einem Verschlusszyklus T durch das Synchronsignal des Verschlusses
der Kamera 42 synchronisiert. Wie in 12 gezeigt
wird in einem ungeraden Feld 52 ein Bild in dem An-Zustand
des Nahinfrarotbeleuchtungslichts 42 erfasst, und in einem
geraden Feld 52 wird es in dem Aus-Zustand des Nahinfrarotbeleuchtungslichts 42 erfasst.
Die Daten dieser erfassten Bilder werden in einem Speicherbereich
gespeichert, der in 12 nicht gezeigt ist.
-
Der
detaillierte Prozess des Systems 40 in dem zweiten bevorzugten
Ausführungsbeispiel wird nachfolgend der Reihe nach beschrieben.
-
[Schritt 1]
-
Die
Extraktionseinheit 43 für einen Reflektionsbereich
erzeugt ein Differenzbild D aus aufeinander folgenden, erfassten
Bildern I1 und I2 (Bild I1 bei Licht an und Bild I2 bei Licht aus).
In diesem Fall kann beispielsweise der absolute Differenzwert eines
entsprechenden Pixelwerts verwendet werden. D(x,
y) = |I1 – I2|
-
[Schritt 2]
-
Die
Extraktionseinheit 43 für einen Reflektionsbereich
erzeugt ein Bild B, auf welches ein Digitalisierungsprozess angewendet
wird, wobei ein vorgeschriebener Schwellenwert Th verwendet wird,
nachdem eine Gammakorrektur auf das Differenzbild D durch einen
vorgeschriebenen Koeffizienten y angewendet wird. Das Bild B kann
wie folgt berechnet werden. B(x, y) = 1, wenn
D(x, y)^γ > Th,
andernfalls 0
-
[Schritt 3]
-
Die
Extraktionseinheit 43 für einen Reflektionsbereich
wendet ein Öffnen/Schließen Filter für
eine morphologische Operation an, um einen kleinen isolierten Punkt
zu eliminieren, welcher in dem Bild B verursacht wird, oder ein
Loch zu stopfen, welches in dem Bild B verursacht wird, um ein Bild
M zu erzeugen.
-
[Schritt 4]
-
Die
Extraktionseinheit 43 für einen Reflektionsbereich
wendet ein Glättungsfilter einer vorgeschriebenen Fenstergröße
auf das Bild M an, um einen Pixelbereich zu verändern,
dessen Symmetrieauswertungswert gleich oder größer
ist als ein vorgeschriebener Schwellenwert Th2, auf einen Reflektionsbereich
R.
-
Beispielsweise
kann der Reflektionsbereich R wie folgt definiert werden.
-
[Mathematischer
Ausdruck 5]
-
-
- Ones(m, n):
- Matrix m×n,
in welcher alle Elemente 1 sind Beispiel m = 10, n = 10
- ⊗:
- Faltungsoperation
-
Wie
ein Reflektionsbereich R in dem zweiten bevorzugten Ausführungsbeispiel
zu berechnen ist, ist in 13 gezeigt.
-
Ein
Bild 61 ist eines, welches erfasst wird, während
das Nahinfrarotbeleuchtungslicht 42 ausgeschaltet ist,
und ein Bild 62 ist eines, welches erfasst wird, während
das Nahinfrarotbeleuchtungslicht 42 angeschaltet ist.
-
Das
Nahinfrarotbeleuchtungslicht 42 wird kaum auf einen Teil
einer Straßenoberfläche 64 aufgebracht, da
es nahezu parallel zu der Straßenoberfläche 64 ausgestrahlt
wird.
-
Ein
Bild 63 ist ein Differenzbild zwischen diesen Bildern 61 und 62,
welches durch die Subtraktionseinheit berechnet wird.
-
In
dem Bild 63 wird das Bestrahlungslicht des Nahinfrarotbestrahlungslichts 42 auf
einen Fußgänger 65 aufgebracht, um einen
Reflektionsbereich von ihm zu erzeugen. Obwohl bezüglich
der Straßenoberfläche 66 nur ihr Rand
verbleibt, wendet ein Glättungsfilter einen Liniensegmenteliminierungsprozess
darauf an, um ihn zu eliminieren.
-
Somit
wird nur der Fußgänger als ein Reflektionsbereich
R extrahiert.
-
[Schritt 6]
-
Die
Lösungseinheit 45 bestimmt eine Intervallgröße
T basierend auf einer Breite W eines rechteckförmigen Bereichs
entsprechend jeder Y-Koordinate, wie die Symmetrieevaluierungseinheit 25 in
dem ersten bevorzugten Ausführungsbeispiel. Für
diese Intervallgröße T wird beispielsweise die
minimale ungerade Zahl, welche W überschreitet, bestimmt.
-
14 zeigt
eine Tabelle für geometrische Information, welche in dem
zweiten bevorzugten Ausführungsbeispiel verwendet wird.
-
In 14 ist,
beispielsweise wenn y = 140, die Intervallgröße
T die minimale ungerade Zahl 11, welche die Breite W =
10 eines Rechtecks des Objekts überschreitet.
-
[Schritt 7]
-
Die
Lösungseinheit 45 extrahiert den unteren Endpunkt
E des Reflektionsbereichs R, welcher aus dem Bild in Schritt S5
extrahiert wird.
-
Der
untere Endpunkt E kann durch ein Auswerten der Kontinuität
in der Y-Achsenrichtung des Reflektionsbereichs R erhalten werden.
-
[Schritt 8]
-
Die
Lösungseinheit 45 geht davon aus, dass jeder extrahierte
untere Endpunkt E(x, y) seine Füße sind, und bestimmt
einen rechteckförmigen Bereich Rect, der in dem oberen
Abschnitt existiert, basierend auf einer Tabelle 1 für
geometrische Information.
-
[Schritt 9]
-
Die
Lösungseinheit 45 berechnet den Reaktionswert
Fi eines Symmetriefilters jedes Pixels in dem rechteckförmigen
Bereich Rect, wobei die Intervallgröße Ti der
Tabelle für geometrische Information verwendet wird, auf
welche bei der Y-Koordinate jedes unteren Endpunkts E(x, y) Bezug
genommen wird. Dieser Prozess ist der gleiche wie der in Schritt
2 des ersten bevorzugten Ausführungsbeispiels.
-
[Schritt 10]
-
Die
Lösungseinheit 45 wendet einen Glättungsprozess
durch Vsymm auf jeden rechteckförmigen Bereich Rect an.
Dieser Prozess ist der gleiche wie der in Schritt 3 des ersten bevorzugten
Ausführungsbeispiels.
-
[Schritt 11]
-
Die
Lösungseinheit 45 wendet einen Ausdünnungsprozess
durch Thin auf jeden rechteckförmigen Bereich Rect an.
Dieser Prozess ist der gleiche wie der in Schritt 4 des ersten bevorzugten
Ausführungsbeispiels.
-
[Schritt 12]
-
Die
Lösungseinheit 45 wendet einen Auswertungsprozess
für eine Symmetrieachsenkontinuität auf jeden
rechteckförmigen Bereich Rect an. Dieser Prozess ist der
gleiche wie der in Schritt 5 des ersten bevorzugten Ausführungsbeispiels.
-
Ein
Identifikationsprozess durch ein neutrales Netzwerk und/oder einen
Mustervergleichsprozess wird auf den rechteckförmigen Bereich
eines Kandidatenfußgängers angewendet, welcher
somit als ein letzter Prozess erhalten wird, um zu bestimmen, ob
es ein rechteckförmiger Bereich eines echten Fußgängers
ist.
-
Dadurch
kann ein rechteckförmiger Bereich für einen Fußgänger
genau erkannt werden.
-
15 ist
ein Flussdiagramm, welches einen Prozess zeigt, der durch das System
in dem zweiten bevorzugten Ausführungsbeispiel durchgeführt
wird.
-
Wenn
in 15 der Prozess gestartet wird, wird zuerst eine
Tabelle 31 für geometrische Information für
jeden Frame als eine Vorbehandlung berechnet.
-
Dann
führt die Extraktionseinheit 43 für einen
Reflektionsbereich in Schritt S11 einen Erzeugungsprozess für
ein Differenzbild durch. In diesem Erzeugungsprozess für
ein Differenzbild wird ein Bild, welches erfasst wird, wenn das
Nahinfrarotbeleuchtungslicht 42 angeschaltet ist, von einem
Bild subtrahiert, welches erfasst wird, wenn das Nahinfrarotbeleuchtungslicht 42 angeschaltet
ist.
-
Dann
digitalisiert die Extraktionseinheit 43 für einen
Reflektionsbereich in Schritt S12 das Differenzbild, welches in
Schritt S11 erhalten wird. Ein isolierter Punkt wird eliminiert
und ein Loch wird gestopft, indem ein Öffnen/Schließen
Filter für eine morphologische Operation auf dieses digitalisierte
Bild angewendet wird (Schritt S13).
-
Dann
extrahiert die Extraktionseinheit 43 für einen
Reflektionsbereich in Schritt S14 einen Reflektionsbereich, dessen
Symmetrieauswertungswert gleich oder größer ist
als ein Schwellenwert Th2, als ein Extraktionsprozess für
einen ebenen Bereich. Dann wird der untere Endpunkt M(x, y) dieses
Reflektionsbereichs erhalten (Schritt S15).
-
Dann
erzeugt die Lösungseinheit 44 in Schritt S16 einen
rechteckförmigen Bereich, wobei davon ausgegangen wird,
dass dieser untere Endpunkt M, welcher in Schritt S15 erhalten wird,
die Füße eines Fußgängers sind.
-
Dann
wendet die Lösungseinheit 44 in Schritt S17 einen
Auswertungsprozess für eine Symmetrieachse durch eine Funktion
Symm auf jeden rechteckförmigen Bereich an. Dieser Prozess
in Schritt S17 ist der gleiche wie der in Schritt S3 des ersten
bevorzugten Ausführungsbeispiels.
-
Dann
wendet die Lösungseinheit 44 in Schritt S18 durch
Vsymm einen Glättungsprozess auf jeden rechteckförmigen
Bereich an. Dieser Prozess in Schritt S18 ist der gleiche wie der
in Schritt S4 des ersten bevorzugten Ausführungsbeispiels.
-
Dann
wendet die Lösungseinheit 44 in Schritt S19 durch
Thin einen Ausdünnungsprozess auf jeden rechteckförmigen
Bereich an. Dieser Prozess in Schritt S19 ist der gleiche wie der
in Schritt S5 des ersten bevorzugten Ausführungsbeispiels.
-
Dann
wendet die Lösungseinheit 44 in Schritt S20 einen
Auswertungsprozess für eine Symmetrieachsenkontinuität
auf jeden rechteckförmigen Bereich an. Dieser Prozess in
Schritt S20 ist der gleiche wie der in Schritt S7 des ersten bevorzugten
Ausführungsbeispiels.
-
Dann
wird schließlich in Schritt S21 ein rechteckförmiger
Kandidatenbereich ausgegeben.
-
Wie
oben beschrieben können gemäß dem System
in dem zweiten bevorzugten Ausführungsbeispiel, selbst
wenn das Unterkörperbild eines Fußgängers
aufgrund des Mangels von Kontrast nicht klar ist und selbst wenn
eine Symmetriestruktur (Anstrich, Gully, etc.) an seinen Füßen
ist, die Füße mit hoher Genauigkeit erkannt werden.
-
Als
nächstes wird das dritte bevorzugte Ausführungsbeispiel
der vorliegenden Erfindung beschrieben.
-
Da
das System in dem dritten bevorzugten Ausführungsbeispiel
ein Symmetrieintervall T verwendet, welches auf eine Vorderschulterbreite
von dem oberen Ende bis zum unteren Ende eines rechteckförmigen Bereichs
abzielt, wird ein Symmetrieachsenkandidat davor bewahrt, an dem
Queranstrich einer Straßenoberfläche extrahiert
zu werden, um der Grund eines Erkennungsfehlers zu werden.
-
Dies
führt zu einem Problem, dass er näher erkannt
wird als er tatsächlich ist, wenn eine Distanz von seinem
eigenen Fahrzeug konvertiert wird, und zu einem Problem, dass er
in der Detailbestimmung der Verarbeitungseinheit 28 für
einen letzten Schritt verworfen wird, um die Erkennungsleistung
zu verschlechtern.
-
Es
kann auch ein Problem bewältigt werden, dass ein Kandidatenbereich
in einem Bereich erzeugt wird, wo kein Fußgänger
ist, durch die Kombination eines Straßenoberflächenanstrichs
und Straßenhintergrunds, wie in dem zweiten Ausführungsbeispiel.
Dies führt auch zu einem Problem, dass die Anzahl von Ausführungen
eines Detailbestimmungsprozesses in dem letzten Schritt ansteigt,
um die Menge von Prozessen zu erhöhen.
-
16 zeigt
diese Probleme.
-
In 16,
wenn ein Objekt (Fußgänger) erkannt wird, wird
beispielsweise ein rechteckförmiger Bereich, umfassend
einen Straßenoberflächenanstrich, oder ein rechteckförmiger
Bereich 75 eines anderen Objekts als ein Erkennungsziel 74 als
ein Kandidatenbereich anstelle eines rechteckförmigen Bereichs 72 erkannt,
welcher durch Verwendung eines Symmetrieintervalls (Intervallgröße)
erhalten wird, das aus der Schulterbreite des Fußgängers
im anfänglichen Schritt berechnet wird.
-
In
dem dritten bevorzugten Ausführungsbeispiel werden diese
Kandidatenbereiche ausgewertet und ein falscher rechteckförmiger
Bereich wird vor der Detailbestimmung der Verarbeitungseinheit 28 für
einen letzten Schritt entfernt.
-
Das
System in diesem bevorzugten Ausführungsbeispiel erkennt
einen Bildbereich, umfassend lineare Symmetrie, als einen Bildbereich,
bei dem eine große Möglichkeit besteht, dass ein
Fußgänger enthalten ist, wobei ein Bild verwendet
wird, welches durch eine an einem Fahrzeug montierte einlinsige
Kamera erfasst wird, wobei ein Merkmal berücksichtigt wird,
dass ein Fußgänger nahezu linearsymmetrisch ist.
-
Insbesondere
in 3 wird durch ein Auswerten der Symmetrie dünner
rechteckförmiger Bereiche 11-1~11-6,
von welchen angenommen wird, dass sie die Breite eines Objekts umschließen,
eines Bilds, welches durch eine Kamera erfasst wird, und ein Auswerten
der Dichte und Kontinuität von Kandidatensymmetrieachsenbereichen 14-1~14-6,
welche in der Nähe der Mittelachse 13 eines rechteckförmigen
Bereichs 12 existieren, von welchem angenommen wird, dass
er ein Objekt umschließt, der Kandidatenbereich eines Erkennungszielobjekts
erzeugt, was einen robusten Effekt in einem Fall hat, in welchem
eine Symmetrieachse teilweise abweicht oder eine Symmetrieachse
schräg ist.
-
In
diesem Fall wird in dem dritten bevorzugten Ausführungsbeispiel,
beispielsweise wenn ein Erkennungsziel ein Fußgänger
ist, ein anderes Symmetrieintervall für jeden Bereich verwendet,
der einem Körperteil entspricht, wie z. B. ein Kopf, ein
Oberkörper, ein Unterkörper und Ähnliches
einer Person, wenn die Symmetrie eines Bereichs ausgewertet wird,
von welchem angenommen wird, dass er die Breite einer Person umschließt.
-
17 zeigt
einen Fall, in welchem ein Kandidatenbereich in eine Mehrzahl von
Bereichen aufgeteilt wird und ein anderes Symmetrieintervall für
jeden Bereich verwendet wird.
-
17 zeigt
den Kandidatenbereich eines Fußgängers. Die Kandidatensymmetrieachsenbereiche
eines Kopfbereichs 81, eines Oberkörperbereichs 82 und
eines Unterkörperbereichs 83 werden berechnet,
wobei unterschiedliche Symmetrieintervalle Tbd, Tub beziehungsweise
Tlb verwendet werden.
-
Daher
kann das System in dem dritten bevorzugten Ausführungsbeispiel
eine höhere Erkennungsfähigkeit realisieren als
das System in dem ersten bevorzugten Ausführungsbeispiel.
-
18 zeigt
ein Systemzusammensetzungsbeispiel des dritten bevorzugten Ausführungsbeispiels.
-
18 ist
im Vergleich zu dem Systemzusammensetzungsbeispiel des ersten bevorzugten
Ausführungsbeispiels, das in 4 gezeigt
ist, gezeichnet, und die gleichen Bezugszeichen sind Komponenten
beigefügt, welche die im Wesentlichen gleiche Funktion
besitzen wie das erste bevorzugte Ausführungsbeispiel.
-
Wenn
sie mit der Konfiguration verglichen wird, die in 4 gezeigt
ist, umfasst die Konfiguration, die in 18 gezeigt
ist, des Weiteren eine Verarbeitungseinheit 91 für
eine Bereichsaufteilung, eine Speichereinheit 92 für
eine Aufteilungsinformation eines Zielkörperteils und eine
Verarbeitungseinheit 93 für eine integrierte Bestimmung.
-
Die
Verarbeitungseinheit 91 für eine Bereichsaufteilung
teilt einen rechteckförmigen Bereich für einen Gesamtkörper
in eine Mehrzahl von Körperteilbereichen auf, basierend
auf Information, welche in der Speichereinheit 92 für
eine Aufteilungsinformation eines Zielkörperteils gespeichert
ist. Die Speichereinheit 92 für eine Aufteilungsinformation
eines Zielkörperteils speichert Körperteilbereichsinformation
abhängig von einem Zielobjekt (Fußgänger)
eines rechteckförmigen Bereichs, der den gesamten Körper
einer Person umschließt, welche basierend auf einer Tabelle für
geometrische Information bestimmt wird. Die Verarbeitungseinheit 93 für eine
integrierte Bestimmung bestimmt integriert, ob der rechteckige Bereich
für einen gesamten Körper ein Zielobjekt (Fußgänger)
umfasst, basierend auf der Möglichkeit einer Existenz einer
Symmetrieachse, welche aus der Mehrzahl von Körperteilbereichen
erhalten wird.
-
Dann
berechnet die Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
die Wahrscheinlichkeit einer Existenz einer Symmetrieachse in einem
der Körperteilbereiche, welche durch die Verarbeitungseinheit 91 für
eine Bereichsaufteilung aufgeteilt werden.
-
Der
detaillierte Prozess des Systems 22b in dem dritten bevorzugten
Ausführungsbeispiel wird nachfolgend der Reihe nach beschrieben.
-
Die
folgenden Prozesse in Schritt A werden auf jede Y-Koordinate angewendet.
-
[Schritt A-1]
-
Die
Verarbeitungseinheit 91 für eine Bereichsaufteilung
bestimmt die vertikale Seitenlänge des rechteckförmigen
Bereichs eines gesamten Körpers, welcher eine Person umschließt,
bei jeder Y-Koordinate, basierend auf einer Tabelle für
geometrische Information, welche gegenwärtig verarbeitet
wird. Eine Intervallgröße, welche auf jeden Bereich
anzuwenden ist, wird bestimmt, indem auf die Körperteilbereichsinformation
Bezug genommen wird, welche in der Speichereinheit 92 für
eine Aufteilungsinformation eines Zielkörperteils gespeichert
ist, durch diese vertikale Seitenlänge.
-
Wenn
beispielsweise die Verarbeitungseinheit 91 für
eine Bereichsaufteilung den rechteckförmigen Bereich für
einen gesamten Körper in drei Bereiche eines Kopfs, eines
Oberkörpers und eines Unterkörpers aufteilt, umfasst
die Körperteilbereichsinformation, welche in der Speicherein heit 92 für
eine Aufteilungsinformation eines Zielkörperteils gespeichert
ist, ein vertikales Aufteilungsverhältnis, ein Verhältnis
einer Intervallgröße in jedem Bereich und die
Breite W eines Rechtecks eines Objekts, wie in 19 gezeigt.
Es umfasst auch eine Position in der horizontalen Richtung, wo eine
Asymmetrieachse existiert, des Körperteilbereichs.
-
Beispielsweise
wird das vertikale Aufteilungsverhältnis (Y-Koordinate)
des Kopfs, des Oberkörpers und des Unterkörpers
so berechnet, dass es 1:2:2 ist, gemäß einem vertikalen
Aufteilungsverhältnis. Die Verhältnisse der Intervallgrößen
des Kopfs und des Oberkörpers und des Unterkörpers
zu der Breite W eines Rechtecks eines Objekts werden mit 0,5, 1
beziehungsweise 0,3 ausgedrückt. Des Weiteren, wenn der
erwartete Wert der existierenden Position einer Symmetrieachse ausgedrückt
wird, werden jene des Kopfs und des Oberkörpers 0,5. Der
des Unterkörpers wird 0,3 und 0,7, da eine große
Möglichkeit besteht, dass zwei Symmetrieachsen auftreten
können.
-
Dann
wird wie in 20 gezeigt ein Bereich zwischen
der Linie 101 von Y = 130 und der Linie 102 von Y
= 180 (Bereich von Y = 131~180) in drei Bereich I1, I2 und I3 mit
dem Verhältnis von 1:2:2 von oben ab aufgeteilt, wobei
dieser Teil der Körperteilbereichsinformation, beispielsweise
H = 50 und W = 25, in dem Fall verwendet wird, in welchem ihre Y-Koordinate 180 beträgt,
was in 5 gezeigt ist. Dann werden Intervallgrößen Tlocal1
(entsprechend Tbd, in 17 gezeigt), Tlocal2 (entsprechend
Tub, in 17 gezeigt) und Tlocal3 (entsprechend
Tlb, in 17 gezeigt) der Bereiche I1,
I2 und I3, welche durch die Symmetrieauswertungseinheit 25 verwendet
werden, wie folgt berechnet. Tlocal1 = W·0,5 ≒ 13 Tlocal2 = W·1 ≒ 25 Tlocal3 = W·0,3 = 8
-
Dann
werden die folgenden Prozesse auf jeden Teilbildbereich Ii angewendet.
-
Die
folgenden Prozesse in Schritt B zeigen einige, die auf jeden Teilbildbereich
Ii angewendet werden.
-
[Schritt B-1]
-
Die
Symmetrieauswertungseinheit 25 erzeugt ein Filter reagierendes
Bild Fi, indem die Symmetrie in der horizontalen Richtung bei jedem
Pixel x des Bildbereichs Ii durch die Funktion Symm(x, T) eines
Symmetriefilters ausgewertet wird, wobei jede Intervallgröße
Tlocal i verwendet wird (der gleiche Prozess in Schritt 2 des ersten
bevorzugten Ausführungsbeispiels).
-
[Schritt B-2]
-
Die
Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
wendet einen Glättungsprozess auf jedes Bild Fi an, wobei
ein Gewicht in der vertikalen Richtung verwendet wird, um ein Bild
Fi' zu erzeugen. Dieses kann beispielsweise durch einen Auswertungsausdruck
Vsymm(x) erhalten werden (der gleiche Prozess in Schritt 3 des ersten
bevorzugten Ausführungsbeispiels).
-
[Schritt B-3]
-
Die
Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
wendet einen Ausdünnungsprozess auf das Bild Fi' nach dem
Glättungsprozess nur in der vertikalen Richtung eines Bereichs
Fx an, dessen Symmetrieauswertungswert gleich oder größer
ist als ein spezifischer Schwellenwert Th_i, und extrahiert einen
Liniensegmentbereich EL, welcher durch den Ausdünnungsprozess
erhalten wird (der gleiche Prozess in Schritt 4 des ersten bevorzugten
Ausführungsbeispiels).
-
Dann
werden die folgenden Prozesse auf jede X-Koordinate angewendet.
-
Die
folgenden Prozesse in Schritt C werden auf jede X-Koordinate angewendet.
-
[Schritt C-i]
-
Die
Auswertungseinheit 26 einer Symmetrieachsenkontinuität
bestimmt einen rechteckförmigen Bereich R, welcher oberhalb
dem vorhandenen Prozesszielpixel (x, y) existiert, basierend auf
der Tabelle 31 für geometrische Information (entsprechend
Schritt 6 in dem ersten bevorzugten Ausführungsbeispiel).
-
Insbesondere
wird der Bereich von X = –W/2 + x~x + W/2, Y = y – H
+ 1~y in einem Bereich zwischen der Linie 101 von Y = 130
und der Linie 102 von Y = 180 bestimmt, um ein rechteckförmiger
Bereich R zu sein, basierend auf einer Breite W eines Rechtecks
des Objekts, welche aus der Y-Koordinate erhalten wird.
-
Dann
werden die folgenden Prozesse auf jeden rechteckförmigen
Teilbereich Ri angewendet.
-
Der
folgende Prozess in Schritt D wird auf jeden rechteckförmigen
Teilbereich Ri angewendet.
-
21 zeigt
typischerweise den Teilbildbereich Ri in einem Bereich zwischen
einer Linie 101 von Y = 130 und einer Linie von Y = 180.
-
[Schritt D-1]
-
Die
Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
wertet die Dichte eines Ausdünnungsliniensegmentbereichs
EL aus, in der Nähe des Ri, welcher durch den rechteckförmigen
Bereich R definiert wird, der in Schritt C-1 bestimmt wird, und
des Bildbereichs Ii, und berechnet die Wahrscheinlichkeit einer Existenz
einer Symmetrieachse Psymm_i.
-
Beispielsweise
wird die Mittelposition x1 des Bereichs Ri bestimmt, indem auf die
Körperteilbereichsinformation Bezug genommen wird und basierend
auf der existierenden Position (erwarteter Wert) einer Symmetrieachse.
Beispielsweise wird sie im Falle eines Kopfs gemäß x1
= 0,5·W erhalten.
-
In
diesem Fall wird, wenn die Y-Koordinate des Bereichs Ri y1~y2 beträgt,
die Existenz NEL eines Ausdünnungsliniensegmentbereichs
EL in jeder Linie des Bereichs a% ausgewertet, wobei x1 als die
Mitte verwendet wird (x = x1 – 0,5·a·W~x1
+ 0,5·a·W, y = y1 – H~y1).
-
Wenn
davon ausgegangen wird, dass die Summe des NEL aller Linien in dem
Mittelbereich von a% SNEL ist, kann definiert werden, dass Psymm_i
= NEL/(y2 – y1 + 1) ist (das gleiche wie [Schritt 7] in
dem ersten bevorzugten Ausführungsbeispiel).
-
Wenn
zwei oder mehr Symmetrieachsen in dem Bereich Ri erwartet werden
können, wird wie in dem Fall eines Unterkörpers
die Psymm jeder Position berechnet, welche durch Bezugnahme auf
die Körperteilbereichsinformation erhalten werden kann.
-
Wenn
der Prozess in Schritt D abgeschlossen ist, wird Schritt C-2 auf
jede X-Koordinate angewendet.
-
[Schritt C-2]
-
Es
wird integral bestimmt, ob der rechteckförmige Bereich
R ein Zielobjekt umfasst, basierend auf der Psymm, aus jedem rechteckförmigen
Teilbereich Ri. Wenn beispielsweise alle Psymm_i einen vorgeschriebenen
Schwellenwert Thi erfüllen, wird bestimmt, dass eine Symmetrieachse
entsprechend jedem Körperteil eines Fußgängers
vorhanden ist, um den Bereich R anzunehmen. Andernfalls wird er
verworfen (wenn zwei oder mehr Wahrscheinlichkeiten einer Existenz aus
Ri erhalten werden, wird eine "Oder"-Bedingung angefügt).
wenn
Psymm1 > Th1 & Psymm2 > Th2 & (Psymm31 > Th31 Psymm32 > Th32), dann f(Psymm1,
Psymm2, Psymm3) = 1, andernfalls 0
-
Dann,
wenn f(Psymm1, Psymm2, Psymm3) gemäß der Auswertungsfunktion
1 ist, werden all die Teilbereiche angewendet. Wenn sie 0 ist, werden
all die Teilbereiche verworfen.
-
Durch
ein Anwenden der oben beschriebenen Schritte auf alle Y-Koordinaten
wird bestimmt, ob ein Fußgänger in jedem Punkt
(x, y) vorhanden ist.
-
22 ist
ein Flussdiagramm, welches den Prozess des Systems in dem dritten
bevorzugten Ausführungsbeispiel zeigt.
-
Wenn
der Prozess, der in 22 gezeigt ist, gestartet wird,
wird in Schritt S31 zuerst eine Tabelle für geometrische
Information für jeden Frame berechnet.
-
Diese
Tabelle für geometrische Information wird aus Parametern
berechnet, wie z. B. der Höhe, Neigung, Fokusdistanz und Ähnlichem
einer Kamera.
-
Dann
werden die folgenden Prozesse in Schritt S32~S38 wiederholt auf
jede Y-Koordinate angewendet.
-
Zuerst
wird in Schritt S32 ein Teilbereich basierend auf der Körperteilbereichsinformation
bestimmt.
-
Wenn
beispielsweise die Körperteilbereichsinformation wie in 19 gezeigt
ist, wird der Bereich eines ganzen Körpers in die Teilbereiche
eines Kopfs, eines Oberkörpers beziehungsweise eines Unterkörpers aufgeteilt,
bei dem Verhältnis von 1:2:2. Die Intervallgröße
jedes Teilbereichs wird bestimmt.
-
Dann
werden die folgenden Prozesse in Schritt S33~S35 auf jeden Teilbereich
Ii angewendet.
-
Zuerst
erzeugt die Symmetrieauswertungseinheit 25 in Schritt S33
ein Filter reagierendes Bild Fi, welches durch die Funktion Symm(x,
T) eines Symmetriefilters ausgewertet wird.
-
Dann
wendet die Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
in Schritt S34 einen Glättungsprozess auf jedes Bild Fi
an, wobei ein Gewicht in der vertikalen Richtung verwendet wird,
um ein Bild Fi' zu erzeugen.
-
Dann
wendet die Auswertungseinheit 26 für eine Symmetrieachsenkontinuität
in Schritt S35 einen Ausdünnungsprozess nur auf die vertikale
Richtung eines Bereichs, dessen Symmetrieauswertung gleich oder größer
ist als ein spezifischer Schwellenwert Th_i des Bilds Fi', nach
dem Glättungsprozess an und extrahiert einen Liniensegmentbereich
EL, welcher durch den Ausdünnungsprozess erhalten wird.
-
Nachdem
die oben beschriebenen Prozesse in Schritten S33~S35 auf all die
Teilbereich Ii angewendet wurden, wird Schritt S36 auf jede X-Koordinate
angewendet.
-
In
Schritt S36 wird ein Teilbereich R bestimmt. Dann wird der Prozess
in Schritt S37 auf all die Teilbereiche Ri angewendet.
-
In
Schritt S37 wird die Wahrscheinlichkeit einer Existenz einer Symmetrieachse
jedes Teilbereichs Ri berechnet.
-
Dann,
nach dem Prozess in Schritt S37, wird in Schritt S38 ein Bestimmungsprozess
basierend auf einer Wahrscheinlichkeit einer Existenz aller der
Teilbereiche Psymn durchgeführt, wobei f(Psymm1, Psymm2, ...)
verwendet wird.
-
Nachdem
die Prozesse in Schritt S32 bis einschließlich S38 auf
all die Y-Koordinaten angewendet werden, ist dieser Prozess abgeschlossen.
-
Wie
oben beschrieben wird gemäß dem System des ersten
bevorzugten Ausführungsbeispiels ein Kandidatenfußgängerbereich
erzeugt, indem die Symmetrie eines dünnen rechteckförmigen
Bereichs ausgewertet wird, von welchem angenommen wird, dass er
die Breite eines Fußgängers umschließt,
und indem die Dichte und Kontinuität eines Kandidatensymmetrie achsenbereichs
ausgewertet wird, welcher in der Nähe der Mittelachse des
rechteckförmigen Bereichs existiert, was einen robusten
Effekt in einem Fall hat, in welchem die Symmetrieachse teilweise
abweicht und eine Symmetrieachse schräg ist.
-
Somit
können die Probleme, dass ein rechteckförmiger
Bereich kleiner als notwendig erkannt wird, dass eine Distanz als
deutlich entfernter als notwendig erkannt wird, dass ein rechteckförmiger
Bereich durch die Detailbestimmung in dem letzten Schritt verworfen
wird und dass sich eine Erkennungsfunktion verschlechtert, gelöst
werden.
-
Da
eine einlinsige Kamera verwendet wird, kann ein kostengünstiges
und klein skaliertes System realisiert werden.
-
Gemäß dem
System des zweiten bevorzugten Ausführungsbeispiels, selbst
wenn ein Kontrast mit einem Hintergrund nicht ausreichend ist und
das Bild eines Unterkörpers nicht klar ist und selbst wenn
eine Symmetriestruktur (Anstrich, Gulli, etc.) an seinen Füßen
vorhanden ist, können die Füße mit Genauigkeit
erkannt werden. Wie in dem System in dem ersten bevorzugten Ausführungsbeispiel
können die Probleme, dass eine Distanz deutlich entfernter
als notwendig erkannt wird, dass ein rechteckförmiger Bereich
durch die Detailbestimmung in dem letzten Schritt verworfen wird
und dass sich eine Erkennungsfunktion verschlechtert, gelöst werden.
-
Gemäß dem
System des dritten bevorzugten Ausführungsbeispiels, durch
ein Aufteilen eines rechteckförmigen Bereichs in eine Mehrzahl
von Teilbereichen und ein Auswerten der Symmetrieachse jedes Teilbereichs,
wobei eine unterschiedliche Intervallgröße verwendet
wird, nimmt die Anzahl von Erkennungsfehlern ab, wodurch eine deutlich
bessere Objekterkennungsfunktion realisiert wird.
-
Obwohl
in den oben beschrieenen Beispielen ein Fußgänger
als ein Beispiel des Erkennungsziels verwendet wird, welches durch
das Objekterkennungssystem erkannt werden soll, ist das Erkennungsziel
eines Erkennungsziels gemäß der vorliegenden Erfindung
nicht auf einen Fußgänger beschränkt,
und es kann jedes andere Objekt sein, welches eine geringe Symmetrie
hat, wie z. B. ein Schild, ein Zeichen, ein Automobil, ein Fahrrad,
ein Motorrad und Ähnliches.
-
ZUSAMMENFASSUNG
-
Ein
Objekterkennungssystem, umfassend eine Erzeugungseinheit für
geometrische Information zum Berechnen von Relationsinformation
zwischen einer Position auf einem Bild eines Objekts, welches auf
einer Straßenoberfläche existiert, und einer Bildbereichsgröße
eines Bilds, welches durch eine Kamera erfasst wird, wobei eine
tatsächliche Größe eines Zielobjekts
und Kameraparameterinformation verwendet werden, eine Symmetrieauswertungseinheit
zum Auswerten einer Existenzmöglichkeit einer Symmetrieachse
in einem spezifischen Pixel, wobei ein Intervall T verwendet wird,
welches basierend auf geometrischer Information bestimmt wird, eine
Auswertungseinheit für eine Symmetrieachsenkontinuität
zum Auswerten mindestens einer von Dichte und Kontinuität
in der Nähe der Mittelachse eines rechteckförmigen
Bereichs eines Pixels, dessen Symmetriewert, der durch die Symmetrieauswertungseinheit
ausgewertet wird, gleich oder größer ist als ein spezifischer
Schwellenwert, und Erkennen des tiefsten Endpunkts des symmetrischen
Objekts, und eine Erzeugungseinheit für einen rechteckförmigen
Bereich zum Ausgeben einer Position und Größe
eines Kandidatenbereichs des symmetrischen Objekts basierend auf
dem tiefsten Endpunkt, welcher durch die Auswertungseinheit für
eine Symmetrieachsenkontinuität und die geometrische Information
spezifiziert wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- - Anstrich,
Gully, etc. [0015]
- - Massimo Bertozzi, Alberto Broggi et al., "Vision-based Pedestrian
Detection: Will Ants Help?", IEEE Intelligent Vehicles 2002, Volume
1, Seiten 1–7 (Juni 2002) [0017]
- - Alberto Broggi, Massimo Bertozzi et al., "Pedestrian Localization
and Tracking System with Kalman Filtering", IEEE Intelligent Vehicles
2004, Seiten 584–589 (Juni 2004) [0017]
