-
Die
vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung
zum Verarbeiten von Bildern von Fahrzeugen, wie etwa Straßenfahrzeugen,
und im Besonderen ein Verfahren und eine Vorrichtung zum Verarbeiten
von Zeitreihenbildern, um in den Bildern eine Anomalie zu detektieren,
wie beispielsweise eine Kollision oder ein Versagen von Fahrzeugen. In
dieser Beschreibung werden Fahrzeuge (die Pkw, Lkw und dergleichen
enthalten, ohne darauf begrenzt zu sein) als "mobile Einheiten" bezeichnet.
-
Eine
frühe Detektion
eines Verkehrsunfalls kann nicht nur eine Erfolgsrate bei der Lebensrettung durch
schnelle Rettungsmaßnahmen
erhöhen,
sondern auch einen mit dem Unfall in Zusammenhang stehenden Verkehrsstau
durch die Beschleunigung der polizeilichen Untersuchung vor Ort
mindern. Deshalb werden verschiedene Möglichkeiten zum Automatisieren
der Erkennung von Verkehrsunfällen
untersucht.
-
In
der Veröffentlichung
JP 2001-148019-A , deren
Erfinder auch die der vorliegenden Anmeldung sind, wird ein Anomaliedetektionsverfahren
für mobile
Einheiten offenbart, bei dem Zeitreihenbilder (sukzessive Videorahmen)
verarbeitet werden, um eine Anomalie von mobilen Einheiten (Fahrzeugen)
in den Bildern zu detektieren, mit den Schritten:
- (a)
Identifizieren von mobilen Einheiten in einem Rahmenbild zu einer
Zeit t auf der Basis einer Korrelation zwischen Rahmenbildern zu
den Zeiten (t – 1)
und t;
- (b) Detektieren eines Merkmalsbetrages (einer repräsentativen
Größe) einer
relativen Bewegung einer zweiten mobilen Einheit bezüglich einer
ersten mobilen Einheit als Beobachtungsbetrag und Speichern von
Beobachtungsbeträgen
in einer Zeitreihe als Beobachtungsreihe;
- (c) Berechnen einer Ähnlichkeit
der Beobachtungsreihe mit jeder von einer Vielzahl von Referenzreihen,
um eine relative Bewegung zwischen den mobilen Einheiten zu klassifizieren;
und
- (d) Bestimmen, dass eine Kollision aufgetreten ist, wenn die Ähnlichkeit
der Beobachtungsreihe mit einer Kollisionsreferenzreihe größer als
ein vorbestimmter Wert ist.
-
Gemäß diesem
Verfahren ist es möglich, eine
Anomalie, wie beispielsweise eine Kollision zwischen zwei Fahrzeugen,
automatisch zu detektieren.
-
In
dem Fall, wenn ein Kamerawinkel in Bezug auf eine Straßenoberfläche jedoch
gering ist, wenn sich zum Beispiel die zweite mobile Einheit der ersten
mobilen Einheit, die im Stillstand ist, nähert und danach die erste mobile
Einheit startet und stoppt, überlappt
die zweite mobile Einheit die erste mobile Einheit auf Bildern zu
Zeiten der Annäherung, und
ein Abstand zwischen ihnen wird Null, was manchmal fälschlicherweise
als Zeitreihenmuster einer Kollision bestimmt wird.
-
Ferner
wird in der obigen Veröffentlichung ein
Skalar (eine skalare Größe), der
durch Quantisieren von V/(d + ε)
erhalten wird, als Merkmalsbetrag (Beobachtungsbetrag) bei Schritt
(b) verwendet, wobei V einen Relativbewegungsvektor der zweiten
mobilen Einheit bezüglich
der ersten mobilen Einheit bezeichnet und c eine Konstante bezeichnet,
um zu vermeiden, dass der Nenner Null ist.
-
Unter
Verwendung dieses Beobachtungsbetrages können verschiedene Arten von
relativen Bewegungen zwischen mobilen Einheiten mit einer kleinen
Anzahl von Referenzreihen aufgrund der Quantisierung klassifiziert
werden.
-
Mit
diesem Verfahren ist jedoch keine eingehende Klassifizierung von
Bewegungen zwischen mobilen Einheiten möglich.
-
In
der obigen Veröffentlichung
kann bei Schritt (a), unter Verwendung des Identifikationsresultats
einer mobilen Einheit in einem Rahmenbild zu der Zeit (t – 1), die
mobile Einheit in einem Rahmenbild zu der Zeit t mit Leichtigkeit
aus der Korrelation identifiziert werden.
-
Wenn
jedoch mobile Einheiten mit einem geringen Kamerawinkel bezüglich einer
Straßenoberfläche von
ihrer Vorderseite her aufgenommen werden, um mit einer Kamera einen
weiten Bereich einzufangen, um die mobilen Einheiten zu verfolgen,
tritt zwischen mobilen Einheiten auf einem Bild häufig eine Überlappung
auf, wie in 13 gezeigt. Zu der Zeit (t – 1) werden
mobile Einheiten M1 und M2 als ein Cluster identifiziert, ohne die
mobilen Einheiten M1 und M2 voneinander zu unterscheiden. Das heißt, ein "Cluster" ist eine Vielzahl
von mobilen Einheiten, die sich in einem Rahmen so überlappen,
um nicht sofort voneinander unterschieden werden zu können. Obwohl
ein repräsentativer
Bewegungsvektor dieses Clusters verwendet wird, um den Cluster, der
die mobilen Einheiten M1 und M2 enthält, zu der Zeit t auf der Basis
der oben beschriebenen Korrelation zu identifizieren, ist eine genaue
Identifikation ausgeschlossen, da ein Unterschied in der Geschwindigkeit
zwischen den mobilen Einheiten M1 und M2 vorhanden ist. Obwohl zu
der nächsten
Zeit (t + 1) die mobile Einheit M2 von der mobilen Einheit M1 getrennt
worden ist, werden die mobilen Einheiten M2 und M3 als ein Cluster
identifiziert, da sie einander überlappen,
wodurch verhindert wird, die mobilen Einheiten M2 und M3 voneinander
zu unterscheiden.
-
Gemäß Aspekten,
die nicht Teil der vorliegenden Erfindung sind, können ein
Verfahren und eine Vorrichtung zum Verarbeiten von Bildern von mobilen
Einheiten (z. B. Fahrzeugen auf einer Straße) vorgesehen sein, wodurch
Anomalien, wie beispielsweise Kollisionen, akkurater automatisch
detektiert werden können.
-
Gemäß Aspekten,
die nicht Teil der vorliegenden Erfindung sind, können auch
ein Verfahren und eine Vorrichtung zum Verarbeiten von Bildern von
mobilen Einheiten vorgesehen sein, durch die eine detailliertere
Klassifizierung von verschiedenen Arten von Bewegungen zwischen
mobilen Einheiten mit einer kleinen Anzahl von Referenzreihen ausgeführt werden
kann.
-
Ausführungsformen
der vorliegenden Erfindung können
auch ein Verfahren und eine Vorrichtung zum Verarbeiten von Bildern
von mobilen Einheiten vorsehen, durch die verschiedene mobile Einheiten
auch dann identifiziert werden können,
wenn häufig
eine Überlappung
zwischen den mobilen Einheiten auftritt.
-
Gemäß einem
Aspekt, der nicht Teil der vorliegenden Erfindung ist, ist ein Anomaliedetektionsverfahren
für eine
mobile Einheit zum Verarbeiten von Zeitreihenbildern vorgesehen,
um eine Anomalie einer mobilen Einheit in einem Bild zu detektieren,
mit den Schritten:
- (a) Detektieren eines Merkmalsbetrages
einer relativen Bewegung einer zweiten mobilen Einheit bezüglich einer
ersten mobilen Einheit als Beobachtungsbetrag, um eine Zeitreihe
der Beobachtungsbeträge
als Beobachtungsreihe zu speichern;
- (b) Berechnen einer Ähnlichkeit
der Beobachtungsreihe mit einer vorbestimmten Kollisionsbeobachtungsreihe;
und
- (c) Bestimmen, wenn die Ähnlichkeit
größer als ein
vorbestimmter Wert ist, ob ein Kollisionsunfall geschehen ist oder
nicht, auf der Basis dessen, ob die erste oder zweite mobile Einheit
in einem vorbestimmten Halteverbotsbereich im Stillstand ist oder
nicht.
-
Hierbei
bezieht sich der "vorbestimmte
Halteverbotsbereich" auf
einen Teil eines Raumes, in dem sich mobile Einheiten bewegen können, zum Beispiel
auf einen Bereich einer Straße,
wo nicht mit dem Anhalten der mobilen Einheiten gerechnet wird.
-
In
dem Fall, wenn mobile Einheiten, die einander näher kommen, sich in einem Bild überlappen, obwohl
sie eigentlich nicht kollidiert sind, und zwar aufgrund eines geringen
Kamerawinkels bezüglich eines
Bewegungsraumes, werden Kollisionen fälschlicherweise detektiert,
falls das einzige Kriterium die Ähnlichkeit
zwischen einer Beobachtungsreihe und einer Referenzreihe ist. Gemäß dieser
Konfiguration wird jedoch der Kollisionsunfall zwischen mobilen Einheiten
genauer bestimmt, wobei die unechte Detektion von Unfällen vermieden
wird.
-
Bei
dem obigen Schritt (c) können
dadurch, dass berücksichtigt
wird, ob sich eine andere mobile Einheit bewegt oder nicht, Möglichkeiten
einer irrtümlichen
Detektion einer Kollision weiter reduziert werden. Das heißt, wenn
die Ähnlichkeit
kleiner als ein vorbestimmter Wert ist, wird bestimmt, ob die erste oder
die zweite mobile Einheit, die im Stillstand ist, einen Fehler begeht
(eine Panne hat oder verunglückt ist)
oder nicht, auf der Basis dessen, ob die erste oder die zweite mobile
Einheit in dem vorbestimmten Halteverbotsbereich im Stillstand ist.
-
Ferner
kann in dem Fall, wenn dieselben Bedingungen für die Kollisionsbestimmung
erfüllt
sind, außer
dass die Ähnlichkeit,
die bei dem obigen Schritt (b) erhalten wird, kleiner als der vorbestimmte Wert
ist, mit einer höheren
Wahrscheinlichkeit bestimmt werden, dass eine mobile Einheit, die
im Stillstand ist, einen Fehler begeht. Auch in diesem Fall kann
unter Berücksichtigung
dessen, ob sich die andere mobile Einheit bewegt oder nicht, mit
höherer Wahrscheinlichkeit
bestimmt werden, dass eine mobile Einheit im Stillstand einen Fehler
begeht.
-
Gemäß einem
anderen Aspekt, der nicht Teil der vorliegenden Erfindung ist, ist
ein Klassifizierungsverfahren der Bewegung zwischen mobilen Einheiten
vorgesehen, zum Verarbeiten von Zeitreihenbildern, um eine Bewegung
zwischen mobilen Einheiten in wenigstens einem der Bilder zu klassifizieren,
mit den Schritten:
- (a) Detektieren eines Merkmalsbetrages
einer relativen Bewegung einer zweiten mobilen Einheit bezüglich einer
ersten mobilen Einheit als Beobachtungsbetrag, um eine Zeitreihe
der Beobachtungsbeträge
als Beobachtungsreihe zu speichern;
- (b) Berechnen einer Ähnlichkeit
der Beobachtungsreihe mit einer Referenzreihe; und
- (c) Klassifizieren einer Bewegung des zweiten Objektes bezüglich der
ersten mobilen Einheit gemäß einem
Wert der Ähnlichkeit;
bei dem die Beobachtungsbeträge
jeweils enthalten: einen ersten Skalar, der durch Quantisieren eines
Betrages erhalten wird, der sowohl einer relativen Geschwindigkeit
V der zweiten mobilen Einheit bezüglich der ersten mobilen Einheit
als auch einer Distanz d zwischen den ersten und zweiten mobilen
Einheiten zugeordnet ist; und einen zweiten Skalar, der durch Quantisieren
eines relativen Positionsvektors der zweiten mobilen Einheit bezüglich der
ersten mobilen Einheit erhalten wird.
-
Da
bei dieser Konfiguration der zweite Skalar verwendet wird, der durch
Quantisieren des Relativpositionsvektors V erhalten wird, können relative
Bewegungen zwischen mobilen Einheiten klassifiziert werden, die
nur mit dem ersten Skalar, der dem Relativgeschwindigkeitsvektor
zugeordnet ist, nicht voneinander unterschieden werden konnten,
wodurch eine Situation genauer erfasst werden kann und so ein Beitrag
zu einer genaueren Detektion eines Verkehrsunfalls geleistet wird.
-
Gemäß einem
Aspekt der vorliegenden Erfindung ist ein Identifikationsverfahren
für eine
mobile Einheit vorgesehen, bei dem jedes von Zeitreihenbildern in
Blöcke
geteilt wird, die jeweils eine Vielzahl von Pixeln enthalten, um
die Bilder zu verarbeiten, bei welchem Verfahren Identifikationscodes
einer Vielzahl von mobilen Einheiten, die in einem Rahmenbild zu
einer Zeit t enthalten sind, in Einheiten des Blocks zugewiesen
werden und Bewegungsvektoren der Vielzahl von mobilen Einheiten
in Einheiten des Blocks erhalten werden, falls Identifikationscodes
der Vielzahl von mobilen Einheiten, die in einem Rahmenbild zu einer
Zeit (t – 1)
enthalten sind, in Einheiten des Blocks zugewiesen worden sind und Bewegungsvektoren
der Vielzahl von mobilen Einheiten in Einheiten des Blocks erhalten
worden sind, welches Verfahren die Schritte umfasst:
- (a) Bewegen eines Blocks j zu der Zeit (t – 1), dessen Identifikationscode
IDj ist und dessen Bewegungsvektor Vj ist, um den Vektor Vj, um
einen im Wesentlichen entsprechenden Block i zu der Zeit t zu erhalten,
und Bewegen des Blocks i um einen Vektor –Vj, um eine erste Box zu der
Zeit (t – 1)
zu erhalten, um einen Auswertungswert zu berechnen, der einer Korrelation
zwischen einem Bild in der ersten Box zu der Zeit (t – 1) und
einem Bild des Blocks i zu der Zeit t zugeordnet ist;
- (b) Bewegen eines Blocks k zu der Zeit (t – 1), dessen Identifikationscode
IDk ist und dessen Bewegungsvektor Vk ist, um den Vektor Vk, um
einen im Wesentlichen entsprechenden Block zu erhalten, der der
Block i zu der Zeit t ist, und Bewegen des Blocks i um einen Vektor –Vk, um
eine zweite Box zu der Zeit (t – 1)
zu erhalten, um einen Auswertungswert zu berechnen, der einer Korrelation
zwischen einem Bild in der zweiten Box zu der Zeit (t – 1) und
dem Bild des Blocks i zu der Zeit t zugeordnet ist; und
- (c) Zuweisen des IDj oder des IDk zu dem Block i zu der Zeit
t auf der Basis von Größen der
Auswertungswerte, die bei den Schritten (a) und (b) berechnet wurden.
-
Da
bei dieser Konfiguration ein Bewegungsvektor von jedem Block verwendet
wird, ist es möglich,
einen von einer Vielzahl von Identifikationscodes einem Block innerhalb
eines Clusters zuzuweisen, der eine Vielzahl von mobilen Einheiten
enthält,
die zu einer Zeit t verschiedene Geschwindigkeiten haben; dadurch
kann ein Cluster in Cluster mit verschiedenen Identifikationscodes
geteilt werden. Das heißt, es
wird möglich,
mobile Einheiten zu verfolgen, bei denen das nach Stand der Technik
nicht möglich
war, wodurch ein Beitrag zu einer genaueren Detektion von Ereignissen
wie beispielsweise einem Kollisionsunfall oder einem Verkehrsverstoß geleistet
wird.
-
Zum
Beispiel enthält
der Auswertungswert von Schritt (a) eine Summe über p = 1 bis Na eines Wertes,
der einem Wert |VCm(t – 1) – VBp(t – 1)| zugeordnet
ist, unter der Annahme, dass ein Identifikationscode des Blocks
i zu der Zeit t IDj ist, wobei VCm(t – 1) einen Bewegungsvektor
eines Blocks m zu der Zeit (t – 1)
bezeichnet, der Block m zu der Zeit (t – 1) dem Block i zu der Zeit
t entspricht und VBp(t – 1)
einen Bewegungsvektor eines Blocks bezeichnet, dessen Identifikationscode
IDj ist und der an den Block m zu der Zeit (t – 1) angrenzt, und enthält der Auswertungswert
von Schritt (b) eine Summe über
q = 1 bis Nb eines Wertes, der einem Wert |VCn(t – 1) – VBq(t – 1)| zugeordnet
ist (zum Beispiel |VCn(t – 1) – VBq(t – 1)|r, r > 1),
unter der Annahme, dass ein Identifikationscode des Blocks i zu
der Zeit t IDk ist, wobei VCn(t – 1) einen Bewegungsvektor
eines Blocks n zu der Zeit (t – 1)
bezeichnet, der Block n zu der Zeit (t – 1) dem Block i zu der Zeit
t entspricht und VBq(t – 1)
einen Bewegungsvektor eines Blocks bezeichnet, dessen Identifikationscode
IDk ist und der an den Block n zu der Zeit (t – 1) angrenzt.
-
Bei
dieser Konfiguration wird es möglich, auch
wenn ein Fehler eines Bewegungsvektors zu der Zeit (t – 1) groß ist, da
fast dieselben Pixel sich verteilen (in dem Block verteilt sind),
Blockidentifikationscodes genauer zuzuweisen, wodurch ein Beitrag
zu einer genaueren Detektion von anomalen Ereignissen wie beispielsweise
Fahrzeugpannen oder Verkehrsdelikten geleistet wird.
-
Nur
beispielhaft wird Bezug auf die beiliegenden Zeichnungen genommen,
in denen:
-
1 ein
schematisches Diagramm ist, das eine Kreuzung und eine an der Kreuzung
installierte Vorrichtung einer Ausführungsform gemäß der vorliegenden
Erfindung zeigt;
-
2 ein
Funktionsblockdiagramm der Anomaliedetektionsvorrichtung für eine mobile
Einheit von 1 ist;
-
3 ein
Flussdiagramm ist, das eine Verarbeitung der Bestimmungssektion
von 2 zeigt;
-
4 eine
Darstellung von Spalten ist, die an 4 Einmündungen in die Kreuzung und
4 Ausmündungen
derselben angeordnet sind, und von Identifikationscodes von mobilen
Einheiten, die Blöcken
zugewiesen sind;
-
5 eine Darstellung von Vektoren zum Erläutern einer
Verarbeitung in der Beobachtungsbetragsdetektionssektion von 2 ist;
-
6 eine
Darstellung der Quantisierung eines Vektors V/D ist;
-
7 eine
Darstellung der Quantisierung eines Relativpositionsvektors und
einer Zeitreihenklassifizierung ist;
-
8(A) und 8(B) beide
Darstellungen der Klassifizierung von Bewegungen zwischen mobilen
Einheiten sind, die dicht aneinander vorbeifahren;
-
9(A) und 9(B) beide
Darstellungen der Klassifizierung von Bewegungen zwischen mobilen
Einheiten sind, die dicht aneinander vorbeifahren;
-
10 eine
Darstellung eines Zeitreihenmusters bei einem Kollisionsunfall ist;
-
11 eine
Darstellung der Bestimmung eines Kollisionsunfalls von mobilen Einheiten
an einer Kreuzung ist;
-
12 eine
Darstellung der Bestimmung einer Panne einer mobilen Einheit an
einer Kreuzung ist;
-
13 eine
Darstellung für
den Fall ist, wenn eine Überlappung
zwischen mobilen Einheiten auf einem Bild häufig auftritt;
-
14 eine
Darstellung zum Vorbereiten einer Objektkarte ist;
-
15 eine
Darstellung zum Vorbereiten einer Objektkarte ist;
-
16 eine
Darstellung zum Vorbereiten einer Objektkarte ist;
-
17 eine
Darstellung zum Vorbereiten einer Objektkarte ist;
-
18 eine
Darstellung zum Vorbereiten einer Objektkarte ist; und
-
19 eine
Darstellung zum Vorbereiten einer Objektkarte ist.
-
Unter
Bezugnahme auf die Zeichnungen, in denen gleiche Bezugszeichen gleiche
oder entsprechende Teile über
mehrere Ansichten hinweg bezeichnen, wird unten nun eine bevorzugte
Ausführungsform
der vorliegenden Erfindung beschrieben.
-
1 ist
ein schematisches Diagramm, das eine Straßenkreuzung und eine Anomaliedetektionsvorrichtung
für eine
mobile Einheit, die an der Kreuzung installiert ist, um die Bewegung
von Fahrzeugen auf der Straße
zu überwachen,
als Beispiel für
eine Anwendung der vorliegenden Erfindung zeigt.
-
Diese
Vorrichtung ist mit einer elektronischen Kamera 10 versehen,
die die Kreuzung aufnimmt, um ein Bildsignal auszugeben (nämlich eine chronologische
Sequenz von Videorahmen), und mit einer Anomaliedetektionsvorrichtung 20 für eine mobile
Einheit, die die Rahmen (Bilder) verarbeitet, um Kollisionen zwischen
mobilen Einheiten automatisch zu detektieren und ein Versagen einer
mobilen Einheit zu detektieren.
-
2 ist
ein Funktionsblockdiagramm der Anomaliedetektionsvorrichtung 20 für eine mobile Einheit
von 1. Von den Bestandteilen der Anomaliedetektionsvorrichtung 20 für eine mobile
Einheit kann jeder Bestandteil, außer Speichersektionen, auch
aus Computersoftware oder dedizierter Hardware konstruiert sein.
Zeitreihenbilder, die durch die elektronische Kamera 10 aufgenommen
werden, werden in einem Bildspeicher 21 mit einer Rate
von zum Beispiel 12 Rahmen/s gespeichert.
-
Eine
Hintergrundbilderzeugungssektion 22 ist mit einer Speichersektion
und einer Verarbeitungssektion versehen. Diese Verarbeitungssektion greift
auf den Bildspeicher 21 zu, um Histogramme jeweiliger Pixel
vorzubereiten, wobei jedes Histogramm entsprechende Pixelwerte von
allen Rahmen zum Beispiel während
der letzten 10 Minuten hat, um ein durchschnittliches Bild zur Verwendung
als Hintergrundbild zu erzeugen (worin jeder Pixelwert der häufigste
Wert des entsprechenden Histogramms ist), das frei von Fahrzeugen
ist, und das Hintergrundbild in der Speichersektion zu speichern.
Diese Verarbeitung wird periodisch wiederholt, um das Hintergrundbild
zu aktualisieren.
-
Wie
in 4 gezeigt, sind Zonen oder "Spalte" als Bereiche innerhalb des Hintergrundbildes
vordefiniert, die zum Beispiel besondere Sektionen einer Straßenkreuzung
darstellen. Zusätzlich
wird das gesamte Bild, einschließlich der Spalte, in ein Netz
aus Blöcken
geteilt, wobei jeder Block mehrere Pixel enthält. Daten der Positionen und
Größen, in
einem Bildrahmen, von Spalten EN1 bis EN4, die an 4 Einmündungen
in eine Kreuzung angeordnet sind, und EX1 bis EX4, die an 4 Ausmündungen
von ihr angeordnet sind, werden im Voraus in einer ID-Erzeugungs-/Löschsektion 23 festgelegt.
-
Die
ID-Erzeugungs-/Löschsektion 23 liest Bilddaten
in den Einmündungsspalten
EN1 bis EN4 von dem Bildspeicher 21 Block für Block,
um zu bestimmen, ob eine mobile Einheit in den Einmündungsspalten
existiert oder nicht. Quadrate in dem Netz von 4 sind
Blöcke,
wobei jeder Block eine Größe von zum
Beispiel 8 × 8
Pixel hat, und in dem Fall, wenn ein Rahmen aus 480 × 640 Pixel
gebildet ist, wird ein Rahmen in 60 × 80 Blöcke geteilt. Ob eine mobile
Einheit in einem Block existiert oder nicht, wird anhand dessen
bestimmt, ob eine Gesamtsumme der Differenzen zwischen Pixeln in
dem Block und entsprechenden Pixeln des Hintergrundbildes größer als
ein vorbestimmter Wert ist. Diese Bestimmung wird auch in einer
Verfolgungssektion 25 für
eine mobile Einheit ausgeführt.
-
Die
ID-Erzeugungs-/Löschsektion 23 weist einen
neuen Cluster-Identifikationscode ID einem Block zu, wenn sie bestimmt,
dass eine mobile Einheit in dem Block existiert. Wenn sie bestimmt
hat, dass eine mobile Einheit in einem Block angrenzend an einen
anderen Block existiert, dem ein ID bereits zugewiesen worden ist,
weist die ID-Erzeugungs-/Löschsektion 23 denselben
ID wie jenen zu, der zuvor diesem benachbarten Block zugewiesen wurde.
Dieser Block, dem der ID zugewiesen worden ist, kann solch einer
sein, der an einen Einmündungsspalt
angrenzt. Zum Beispiel wird in 4 ID = 1
den Blöcken
in dem Einmündungsspalt
EN1 zugewiesen, worin eine mobile Einheit existiert, und ID = 5
wird Blöcken
in dem Einmündungsspalt
EN4 und ihren benachbarten Blöcken
zugewiesen, in denen eine mobile Einheit existiert.
-
Die
Zuweisung von ID-Codes erfolgt für
entsprechende Blöcke
in einer Objektkartenspeichersektion 24. Die Objektkartenspeichersektion 24 wird zum
Speichern von Informatio nen (einer Objektkarte) zum Erleichtern
der Verarbeitung hinsichtlich jedes der 60 × 80 Blöcke in dem obigen Fall verwendet,
und die Informationen enthalten Flags, die jeweils angeben, ob ein
ID zugewiesen worden ist oder nicht. Hinsichtlich jedes Blocks enthalten
die Informationen, wenn der ID zugewiesen worden ist, ferner die ID-Nummer
und einen Blockbewegungsvektor, der später beschrieben ist. Es sei
erwähnt,
dass ohne Verwendung des Flags ID = 0 verwendet werden kann, um
keine ID-Zuweisung anzugeben. Ferner kann das höchstwertige Bit des ID das
Flag sein.
-
Bei
jedem Cluster von sich bewegenden Objekten, der einen Einmündungsspalt
passiert hat, weist die Verfolgungssektion 25 der mobilen
Einheit denselben ID Blöcken
zu, die in einer Bewegungsrichtung angeordnet sind, und löscht denselben
ID von Blöcken,
die in einer Richtung entgegengesetzt zu der Bewegung angeordnet
sind; das heißt,
sie führt
eine Verfolgungsverarbeitung für
Cluster aus. Die Verfolgungssektion 25 der mobilen Einheit
erzeugt, wie später
beschrieben, eine Objektkarte zu einer Zeit t auf der Basis einer
Objektkarte und eines Rahmenbildes zu einer Zeit (t – 1).
-
Die
Verfolgungssektion 25 der mobilen Einheit führt die
Verfolgungsverarbeitung bis hin zu und in einem Ausmündungsspalt
für jeden
Cluster (Gruppe von Fahrzeugen) aus.
-
Die
ID-Erzeugungs-/Löschsektion 23 prüft ferner,
ob ein ID den Blöcken
in den Ausmündungsspalten
EX1 bis EX4 zugewiesen ist oder nicht, auf der Basis des Inhaltes
der Objektkartenspeichersektion 24, und falls einer zugewiesen
ist, löscht
sie den ID, wenn der Cluster, der den ID hat, einen Ausmündungsspalt
passiert hat. Wenn zum Beispiel ein Übergang von einem Zustand,
bei dem ein ID Blöcken
in dem Ausmündungsspalt
EX1 in 4 zugeordnet ist, zu einem Zustand, bei dem ihnen
kein ID zugeordnet ist, ausgeführt
worden ist, wird ID = 3 gelöscht.
Der gelöschte
ID kann als nächster
zu erzeugender (zuzuordnender) ID verwendet werden.
-
Eine
Beobachtungsbetragsdetektionssektion 26 erhält einen
mittleren Bewegungsvektor von jedem Cluster auf der Basis des Inhaltes
der Objektkartenspeichersektion 24 als Bewegungsvektor
des Clusters, erhält
einen Relativbewegungsvektor und einen Relativpositionsvektor zwischen
Clustern, erhält
ferner den kürzesten
Abstand zwischen den Clustern und erhält dadurch einen unten beschriebenen
Beobachtungsbetrag. Die Beobachtungsbetragsdetektionssektion 26 speichert
den Beobachtungsbetrag in einer Beobachtungsreihenspeichersektion 27,
um eine Beobachtungsreihe hinsichtlich eines jeden zwischen Clustern
zu erzeugen.
-
Als
Bewegungsbetrag wird ein erster Skalar berücksichtigt, der durch Quantisieren
eines Betrages erhalten wird, der einem Relativbewegungsvektor zugeordnet
ist, und ein zweiter Skalar, der durch Quantisieren eines Relativpositionsvektors
erhalten wird. Zuerst folgt eine Beschreibung des ersten Skalars
und seiner Zeitreihe.
-
Zum
Beispiel zeigt 5(B) einen Relativbewegungsvektor
V eines Bewegungsvektors V1 einer mobilen Einheit M1 und eines Bewegungsvektors
V2 einer mobilen Einheit M2, die in 5(A) gezeigt sind.
Wie in 5(A) gezeigt, wird, wenn d der
kürzeste
Abstand zwischen den mobilen Einheiten M1 und M2 ist, ein Vektor
V/D betrachtet, wobei D = d + ε ist
und ε eine
Konstante zum Gewährleisten
von D > 0 ist, wenn
d = 0 ist. Es wird leicht, aus einer Zeitreihe von Vektoren V/D
eine Kollision zu bestimmen, da ja V = 0 ist, weil nämlich bei
einer Kollision V/D = 0 ist und |V/D| vor und nach der Kollision
große
Werte annimmt. Um viele von relativen Zuständen zwischen den mobilen Einheiten
M1 und M2 einfach zu klassifizieren, wird der Vektor V/D in einen
Skalar quantisiert, wie in 6 gezeigt.
Das heißt,
wenn ein Bereich in Regionen geteilt wird, wie in 6 gezeigt, wobei
der Ursprung des Vektors V/D das Zentrum des Bereiches ist, und
Skalare jeweiligen abgeteilten Regionen zugeteilt werden, wird der
Vektor V/D in den Skalar einer Region quantisiert, zu der die Spitze des
Vektors gehört.
-
Zum
Beispiel soll ein Fall betrachtet werden, bei dem eine Zeitreihe
von V/D = v v0 → v1 → v2 ist, die
bezeichnet wird durch (v0, v1, v2) und quantisiert wird in (0, 1,
2). Die Zeitreihe von quantisierten Beobachtungsbeträgen wird
als Beobachtungsreihe bezeichnet. Bei einem Kollisionsunfall, der
in 10 gezeigt ist, wird die Beobachtungsreihe über eine Zeit
t = 4 bis 9 bezeichnet durch (1, 2, 3, 0, 8, 7). Durch solch eine
Quantisierung können
verschiedene Arten von Kollisionsunfällen leicht erkannt werden,
da ein Kollisionsmuster und ein anderes, zu ihm analoges Kollisionsmuster
untereinander dieselben Beobachtungsreihen haben. Ferner ist durch
die Quantisierung eine Beobachtungsreihe eine einfache Sequenz von
Zahlenwerten, weshalb ein anschließender Erkennungsprozess vereinfacht
werden kann.
-
Das
Bestimmen, ob eine Kollision aufgetreten ist oder nicht, erfolgt
anhand dessen, ob eine Ähnlichkeit
zwischen einer Beobachtungsreihe und einer Referenzreihe von jedem
von mehreren Kollisionsunfällen
(zum Beispiel eine Beobachtungsreihe von verschiedenartigen Kollisionen,
die tatsächlich passiert
sind) einen vorbestimmten Wert überschreitet
oder nicht. Obwohl die Anzahl von erforderlichen Referenzreihen
durch die obige Quantisierung reduziert werden kann, wird in einem
Fall, um die Anzahl weiter zu reduzieren, wenn ein Zeitreihenmuster
einer relativen Bewegung durch das Rotieren eines stationären Koordinatensystems
dasselbe wird, eine Beobachtungsreihe angeglichen, um dieselbe zu sein.
Zu diesem Zweck wird zum Beispiel hinsichtlich des obigen Ausdrucks
(v0, v1, v2) die Referenzrichtung des ersten Vektors v0 in der Zeitreihe,
das heißt, ein
Winkel θ zu
der X-Achse von 6 erhalten, woran sich eine
Rotation von –θ der Vektoren
v0, v1 und v2 anschließt. 5(C) zeigt die Rotation in dem Fall, wenn V/D
der erste Vektor in einer Zeitreihe ist. Durch die Rotation sind
ein Beobachtungsbetrag des relativen Vektors V/D der mobilen Einheit
M2 bezüglich
der mobilen Einheit M1 und ein Beobachtungsbetrag des relativen
Vektors –V/D
der mobilen Einheit M1 bezüglich
der mobilen Einheit M2 einander gleich.
-
In
dem Fall, wenn eine mobile Einheit M1 und eine mobile Einheit M2,
die voneinander getrennt sind, einander näher kommen und dicht aneinander vorbeifahren,
entfernen sie sich danach voneinander, wie es durch die Muster in 8(A), 8(B), 9(A) und 9(B) angegeben
ist, worin gestrichelte Linien Spuren der mobilen Einheiten darstellen.
Beobachtungsreihen in den jeweiligen Fällen sind zum Beispiel wie
folgt:
- 8(A): {1, 1, 2, 2, 3, 1, 1,
1, 1, 1, 1}
- 8(B): {1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1}
- 9(A): {1, 1, 2, 2, 3, 1, 1,
1, 1, 1, 1}
- 9(B): {1, 1, 2, 2, 3, 1, 1,
1, 1, 1, 1}
-
Wie
aus diesen Beobachtungsreihen ersichtlich ist, ist es nicht möglich, durch
die Beobachtungsreihen von 8(A), 8(B), 9(A) und 9(B) diese gegenseitigen relativen Bewegungen zu
identifizieren. Deshalb wird zum Ermöglichen der Identifikation
von relativen Bewegungen ein Relativpositionsvektor der mobilen
Einheit M2 bezüglich
der mobilen Einheit M1 quantisiert, um den zweiten Skalar zu erhalten,
wie in 7 gezeigt. Das heißt, ein Bereich wird in Regionen
mit gestrichelten Linien geteilt, wie in 7 gezeigt,
wobei das Zentrum des Bereiches der Ursprung des Relativpositionsvektors P12
ist und eine Referenzrichtung einer Richtung des Bewegungsvektors
V1 der mobilen Einheit M1 gleich ist, und Skalare werden den jeweiligen
abgeteilten Regionen zugewiesen. Der Relativpositionsvektor P12
wird in einen Skalar einer Region quantisiert, zu der dessen Spitze
gehört.
-
Im
Falle von 8(A), wo mobile Einheiten M1
und M2 sich in entgegengesetzte Richtungen bewegen und dicht aneinander
vorbeifahren, wird, wenn ein Relativpositionsvektor P12 zu der Zeit
t P12(t) ist, eine Zeitreihe von Relativpositionsvektoren P12(t – 1), P12(t)
und P12(t + 1) der mobilen Einheit M2 bezüglich der mobilen Einheit M1
quantisiert in {20, 80, 60}.
-
Der
Grund dafür,
dass der erste Skalar durch einen einstelligen Zahlenwert dargestellt
wird, während
der zweite Skalar ein zweistelliger Zahlenwert ist, wobei die niedrigere
Stelle 0 ist, liegt darin, dass beide leicht synthetisiert werden
können.
Zum Beispiel stellt in dem Fall, wenn der erste Skalar 6 ist und der
zweite Skalar 20 ist, ein Wert von 26, der die Summe aus beiden
ist, einen Beobachtungsbetrag dar. In dem Fall, wenn der Beobachtungsbetrag
als Summe aus dem ersten Skalar und dem zweiten Skalar bezüglich der
mobilen Einheit M2 definiert ist, werden die Beobachtungsreihen
von 8(A), 8(B), 9(A) und 9(B) wie
folgt dargestellt:
- 8(A):
{21, 21, 82, 82, 83, 81, 81, 81, 81, 61, 61}
- 8(B): {21, 21, 41, 41, 41, 41,
41, 41, 41, 61, 61}
- 9(A): {61, 61, 42, 42, 43, 41,
41, 41, 41, 21, 21}
- 9(B): {21, 21, 42, 42, 43, 41,
41, 41, 41, 61, 61}
-
In
dem Fall, wenn der Beobachtungsbetrag als Summe aus dem ersten Skalar
und dem zweiten Skalar bezüglich
der mobilen Einheit M1 definiert ist, werden die Beobachtungsreihen
von 8(A), 8(B), 9(A) und 9(B) wie
folgt dargestellt:
- 8(A):
{21, 21, 82, 82, 83, 81, 81, 81, 81, 61, 61}
- 8(B): {21, 21, 41, 41, 41, 41,
41, 41, 41, 61, 61}
- 9(A): {21, 21, 82, 82, 83, 81,
81, 81, 81, 61, 61}
- 9(B): {61, 61, 82, 82, 83, 81,
81, 81, 81, 21, 21}
-
Wie
in 7 anhand von geraden Linien gezeigt, die jeweils
einen Pfeil haben, wird der Fall, wenn sich der zweite Skalar verändert wie
20 → 80 → 60, klassifiziert
als PAS0, wird der Fall, wenn sich der zweite Skalar verändert wie
20 → 40 → 60, klassifiziert als
PAS1, wird der Fall, wenn sich der zweite Skalar verändert wie
60 → 40 → 20, klassifiziert
als PAS2 und wird der Fall, wenn sich der zweite Skalar verändert wie
60 → 80 → 20, klassifiziert
als PAS3. Ferner wird der Fall, wenn eine Veränderung des Relativpositionsvektors
der mobilen Einheit M2 bezüglich
der mobilen Einheit M1 dargestellt wird als PASk und eine Veränderung
des Relativpositionsvektors der mobilen Einheit M1 bezüglich der
mobilen Einheit M2 dargestellt wird als PASm, als PASkm bezeichnet.
-
In
jedem Fall von 8(A) und 8(B) sind
eine Veränderung
des Relativpositionsvektors der mobilen Einheit M2 bezüglich der
mobilen Einheit M1 und eine Veränderung
des Relativpositionsvektors der mobilen Einheit M1 bezüglich der
mobilen Einheit M2 einander gleich, die klassifiziert werden als
PAS00 bzw. PAS11. Andererseits unterscheiden sich in den Fällen von 9(A) und 9(B) eine Veränderung
des Relativpositionsvektors der mobilen Einheit M2 bezüglich der
mobilen Einheit M1 und eine Veränderung
des Relativpositionsvektors der mobilen Einheit M1 bezüglich der
mobilen Einheit M2 voneinander, die klassifiziert werden als PAS20
bzw. PAS13.
-
Obwohl
es nicht möglich
ist, die relative Bewegung von mobilen Einheiten nur unter Verwendung
des ersten Skalars zu unterscheiden und zu erkennen, wird dies in
solch einer Weise durch das Klassifizieren der relativen Bewegung
unter Verwendung des zweiten Skalars ermöglicht, wodurch ein genaueres
Verstehen der Zustände
möglich
wird.
-
Wenn
zum Beispiel die Anzahl von Clustern auf einer Objektkarte 3 ist
und IDs 1, 2 und 3 sind und eine Beobachtungsreihe zwischen Clustern
von ID = i und ID = j durch OSi, j bezeichnet wird, werden Beobachtungsreihen
OS1, 2; OS2, 1; OS2, 3; OS3, 1 und OS1, 3 in der Beobachtungsreihenspeichersektion 27 von 2 gespeichert.
Der Grund dafür,
dass OSi, j und OSj, i beide gespeichert werden, besteht darin,
dass die Klassifizierung der obigen PASkm ermöglicht werden soll, wobei sich
die Aufmerksamkeit auf zweite Skalare in einer Zeitreihe konzentriert.
In der Beobachtungsreihenspeichersektion 27 umfasst jede
der gespeicherten Beobachtungsreihen eine vorbestimmte Anzahl, wie
zum Beispiel 24, von Beobachtungsbeträgen, und bei jedem Vorrücken um
1 wird der älteste
Beobachtungsbetrag gelöscht
und wird ein neuer Beobachtungsbetrag bei jedem Beobachtungsbetrag
hinzugefügt.
-
Eine
Klassifizierungssektion 28 liest Beobachtungsreihen zwischen
Clustern, die in der Beobachtungsreihenspeichersektion 27 gespeichert
sind, um Ähnlichkeiten
zwischen jeder der Beobachtungsreihen und jeder von vorbestimmten
Referenzreihen von Kollisionen und anderen Ereignissen zu berechnen
und um die berechneten Ähnlichkeiten
einer Bestimmungssektion 29 als Klassifizierungsresultate einzugeben.
Jede der Beobachtungsreihen ist eine Zeitreihe von Beobachtungsbeträgen, die
jeweils eine Kombination aus dem ersten Skalar und dem zweiten Skalar
haben, und die Referenzreihen sind in ähnlicher Weise aufgebaut. Es
sei erwähnt,
dass eine Berechnung hinsichtlich einer Ähnlichkeit mit jeder vorbestimmten
Referenzreihe eines Kollisionsunfalls nur bezüglich des ersten Skalars von
jeder Beobachtungsreihe und hinsichtlich einer Ähnlichkeit mit jeder vorbestimmten
Referenzreihe einer obigen PASkm bezüglich ihres zweiten Skalars
ausgeführt werden
kann, um der Bestimmungssektion 29 die berechneten Ähnlichkeiten
als Klassifizierungsresultate einzugeben.
-
Bekannte
Musterähnlichkeitsberechnungsverfahren
wie etwa das Verfahren des verborgenen Markov-Modells (HMM) und
ein Mustervergleichsverfahren können
zur Anwendung kommen. Zum Beispiel kann, wie in der oben beschriebenen
Veröffentlichung
JP 2001-148019-A offenbart
ist, eine Auftrittswahrscheinlichkeit der Beobachtungsreihen als Ähnlichkeit
durch das HMM berechnet werden, deren Parameter unter Verwendung
von Beobachtungsreihen von tatsächlichen
Kollisionsunfällen
als Lernreihen bestimmt worden sind.
-
Nun
folgt eine Beschreibung der Detektion eines Kollisionsunfalls und
eines Versagens einer mobilen Einheit unter Bezugnahme auf 11 und 12 anhand
des Straßenverkehrs
als Beispiel.
-
In 11 wird
angenommen, dass eine Kollisionssequenz zwischen mobilen Einheiten
M1 und M2 aufgetreten ist, wie in 10 gezeigt,
oder eine kollisionslose Sequenz, die dieser Kollisionssequenz ähnlich ist,
bei der die mobilen Einheiten M1 und M2 halten. Diese Kollisionssequenz
ist solch einer ähnlich,
wenn ein Straßenfahrzeug
M3 angehalten hat, um nach rechts abzubiegen, und zu der Zeit ein
Fahrzeug M4 sich dem Fahrzeug M3 von hinten nähert und deshalb das erste
Fahrzeug M3 ein wenig nach vorn fährt und anhält. In dem Fall, wenn der Verkehr mit
einer Kamera mit geringem Winkel bezüglich einer Straßenoberfläche betrachtet
wird, scheinen die Fahrzeuge einander zu überlappen, auch wenn sie tatsächlich voneinander
räumlich
getrennt sind, so dass das Risiko einer Fehlklassifizierung dieser
Situation als Kollision zwischen den Fahrzeugen vorhanden ist.
-
Die
mobilen Einheiten M3 und M4 befinden sich jedoch in einem Bereich,
wo das Anhalten zum Abbiegen nach rechts gestattet ist. Im Gegensatz dazu
befinden sich die mobilen Einheiten M1 und M2 in einem Bereich,
wo das Anhalten verboten ist; deshalb ist die Möglichkeit groß, dass
eine Kollision zwischen den mobilen Einheiten M1 und M2 aufgetreten ist.
In diesem Fall besteht die Möglichkeit,
dass der gesamte Verkehr angehalten hat, um einen Krankenwagen oder
dergleichen über
die Kreuzung zu lassen. Falls eine andere mobile Einheit vorhanden
ist, die dicht an den mobilen Einheiten M1 oder M2, die im Stillstand
sind, vorbeifährt,
wird deshalb die Möglichkeit
einer Kollision zwischen den mobilen Einheiten M1 und M2 höher.
-
Aus
der obigen Überlegung
heraus wird bestimmt, dass es sich um eine Kollision zwischen den mobilen
Einheiten M1 und M2 handelt, falls:
- (1) eine
relative Bewegung zwischen den mobilen Einheiten M1 und M2 als Kollision
klassifiziert wird;
- (2) die mobile Einheit M1 oder M2 in einem Halteverbotsbereich
im Stillstand ist; und
- (3) eine mobile Einheit, die nicht die mobile Einheit M1 und
M2 ist, sich in der Nähe
bewegt (z. B. an einer Straßenkreuzung).
-
Ferner
ist in dem Fall, wie in 12 gezeigt, wenn
die mobile Einheit M1 nicht mit einem anderen Pkw kollidiert ist,
sondern in dem Halteverbotsbereich im Stillstand ist, die Wahrscheinlichkeit
hoch, dass die mobile Einheit M1 versagt (z. B. eine Panne) hat.
Falls sich in diesem Fall eine andere mobile Einheit auf der Kreuzung
bewegt, ist die Möglichkeit
größer, dass
die mobile Einheit M1 versagt hat. Falls deshalb der obige Punkt
(1) als negativ entschieden wird, aber die obigen Punkte (2) und
(3) als positiv entschieden werden, wird bestimmt, dass die mobile Einheit,
die im Stillstand ist, versagt hat.
-
3 ist
ein Flussdiagramm, das eine Verarbeitung in der Bestimmungssektion 29 von 2 zeigt.
-
(S1)
Die Bestimmungssektion 29 liest eine maximale Kollisionsähnlichkeit
CS eines Cluster-Paares von der Klassifizierungssektion 28.
-
(S2
bis S4) Falls die Kollisionsähnlichkeit
CS größer als
ein vorbestimmter Wert CS0 ist, wird dann ein Flag F gesetzt, oder
sonst wird das Flag F zurückgesetzt.
-
(S5)
Eine Beobachtungsreihe entsprechend dem Paar von Clustern bei Schritt
S1 wird aus der Beobachtungsreihenspeichersektion 27 gelesen, und
falls die ersten Skalare vom letzten Mal einer vorbestimmten Anzahl
von Beobachtungsbeträgen
ab dem letzten Mal alle Null sind, das heißt, falls ein Zustand, bei
dem ein Relativbewegungsvektor V = 0 ist, länger als eine vorbestimmte
Zeitperiode andauert, wird dann Bezug auf die Objektkartenspeichersektion 24 genommen,
um zu untersuchen, ob Bewegungsvektoren aller Blöcke, die zu den Clustern gehören, die
die IDs haben, Null sind oder nicht, wonach dann, falls alle Bewegungsvektoren
Null sind, als Resultat bestimmt wird, dass die mobile Einheit im
Stillstand ist. Falls sie nicht im Stillstand ist, kehrt dann der
Prozess zu Schritt S1 zurück,
um eine maximale CS eines anderen Paares von Clustern zu lesen,
oder sonst geht der Prozess zu Schritt S6 über.
-
(S6)
Es wird untersucht, ob sich der Cluster im Stillstand innerhalb
eines der Halteverbotsbereiche befindet oder nicht, die im Voraus
in einer Halteverbotsbereichsspeichersektion 30 gespeichert
wurden, und falls er sich dort befindet, geht der Prozess zu Schritt
S7 über;
oder sonst kehrt der Prozess zu Schritt S1 zurück.
-
(S7)
Falls bei den Klassifizierungsresultaten der Klassifizierungssektion 28 eine Ähnlichkeit
eines Paares von Clustern, von denen einer ein anderer als die Cluster
bei Schritt S1 sind, mit einer Referenzreihe von einer von PAS00,
PAS11, PAS20 oder PAS13 einen vorbestimmten Wert überschreitet,
wird dann bestimmt, dass eine mobile Einheit existiert, die sich auf
der Kreuzung bewegt, und der Prozess geht zu Schritt S8 über, oder
sonst kehrt der Prozess zu Schritt S1 zurück.
-
(S8
bis S10) Falls F = 1 ist, wird dann bestimmt, dass es sich um einen
Unfall handelt, oder falls F = 0 ist, wird bestimmt, dass die mobile
Einheit versagt hat, und dieses Resultat wird ausgegeben. Dann kehrt
der Prozess zu Schritt S1 zurück.
-
Gemäß solch
einer Verarbeitung können
ein Kollisionsunfall und ein Versagen einer mobilen Einheit mit
hoher Wahrscheinlichkeit automatisch detektiert werden.
-
Nun
folgt eine eingehende Beschreibung eines Verfahrens zum Vorbereiten
einer Objektkarte zu einer Zeit t auf der Basis einer Objektkarte
und eines Rahmenbildes zu einer Zeit (t – 1) und eines Rahmenbildes
zu der Zeit t in der Verfolgungssektion 25 der mobilen
Einheit von 2.
-
In
dem Fall, wenn Fahrzeuge von ihrer Vorderseite mit einer Kamera
mit geringem Winkel bezüglich
einer Straßenoberfläche abgebildet
werden, um einen weiten Bereich mit einer Kamera aufzunehmen, um
den Verkehr zu überwachen,
treten zwischen Fahrzeugen in jedem Rahmen häufig Überlappungen auf, wie bei (A)
bis (C) von 13 gezeigt.
-
14 und 15 zeigen
vergrößerte Bilder
von (A) bzw. (B) von 13. Gestrichelte Linien dienen
zum Teilen eines Bildes in Blöcke.
In 14 entsprechen überlappte mobile Einheiten
einem Cluster C12 in der Objektkartenspeichersektion 24 von 2,
und es wird angenommen, dass die mobilen Einheiten M1 und M2 noch
nicht voneinander unterschieden sind. Andererseits entspricht ein
Cluster 3 einer mobilen Einheit M3.
-
Ein
Block in der i-ten Reihe und der j-ten Spalte zu einer Zeit t wird
bezeichnet durch B(t:i, j). Wie in 14 gezeigt,
sind Bewegungsvektoren der Blöcke
B(t – 1:11,
13) und B(t – 1:14,
13) mit V2 bzw. V3 bezeichnet. Die Spitzen der Bewegungsvektoren V2
und V3 existieren beide in einem Block (t – 1:18, 11). In einem Bild
zu der Zeit t von 15 entsprechen Rahmen SB2 und
SB3 jeweiligen Regionen, wo die Blöcke B(t – 1:11, 13) und B(t – 1:14,
13) in dem Bild von 14 um die Bewegungsvektoren
V2 bzw. V3 bewegt wurden.
-
Als
Nächstes
werden die Bewegungsvektoren V2 und V3 so verschoben, dass die Spitzen
der Bewegungsvektoren V2 und V3 beide mit dem Zentrum des Blocks
B(18, 11) koinzidieren. Dann werden die Bewegungsvektoren V2 und
V3 umgekehrt, und der Block B(t – 1:18, 11), der schraffiert
ist, wird um die Vektoren –V2
und –V3
bewegt, um Rahmen SBR2 bzw. SBR3 zu erhalten, wie in 16 gezeigt. Bilder
in den Boxen SBR2 und SBR3 sind unter der Annahme geschätzte Bilder,
dass ein Bild in dem Block B(t:18, 11) von 17 zu
den Clustern C12 und C3 von 16 zu
der Zeit (t – 1)
gehört
haben würde.
IDs der Cluster C12 und C3 sind durch ID12 bzw. ID3 bezeichnet.
-
Ein
Auswertungswert UD, der einer Ähnlichkeit
zwischen dem Bild in der Box SBR2 von 16 und
dem Bild in dem Block B(t:18, 11) zugeordnet ist, wird mit der folgenden
Gleichung berechnet, und der Wert wird durch UD(ID12) bezeichnet. UD = Σ|SP(t – 1:i, j) – BP(t:i,
j)| (1)wobei
SP(t – 1:i,
j) und BP(t:i, j) Pixelwerte in der iten Reihe und der j-ten Spalte
in der Box SBR2 von 16 bzw. in dem Block B(t:18,
11) von 17 bezeichnen und Σ eine Summe über i =
1 bis 8 und j = 1 bis 8 (eine Summe über alle Pixel in einem Block oder
einer Box) bezeichnet. Je kleiner der Auswertungswert UD ist, desto
höher ist
die Korrelation.
-
Desgleichen
wird ein Auswertungswert UD berechnet, der einer Korrelation zwischen
dem Bild in dem Block SBR3 von 16 und
dem Bild in dem Block B(t:18, 11) von 17 zugeordnet
ist, und der Wert wird durch UD(ID3) bezeichnet.
-
Im
Falle von 16 und 17 gilt
UD(ID3) < UD(ID12),
und dadurch wird ID3 dem Block B(t:18, 11) zugewiesen.
-
In
solch einer Weise können
unter Verwendung eines Bewegungsvektors jedes Blocks verschiedene
IDs Blöcken
zugeordnet werden, die in dem Cluster C123 enthalten sind, der eine
Vielzahl von mobilen Einheiten zu der Zeit t enthält, und
dadurch kann ein Cluster C123 in Subcluster mit verschiedenen IDs
geteilt werden.
-
Das
Ermitteln des Blocks B(t – 1:11,
13) in dem Cluster C12 und des Blocks B(t – 1:14, 13) in dem Cluster
C3, die beide dem Block B(t:18, 11) entsprechen, der zu dem Cluster
C123 von 15 gehört, geschieht wie folgt. Das
heißt,
wenn ein Vektor von dem Zentrum des Blocks B(t – 1:i, j) zum Zentrum des Blocks
B(t – 1:18,
11) V(18 – j,
11 – j)
ist und ein Bewegungsvektor des Blocks B(t – 11:i, j) V(t – 1:i, j) ist,
genügt
es, einen Block B(t – 1:i,
j) zu ermitteln, bei dem V(t – 1:j,
j) dem folgenden Ausdruck genügt: |V(18 – i,
11 – j) – V(t – 1:i, j)| < ΔVwobei ΔV eine Konstante
ist, deren Wert zum Beispiel das Dreifache der Anzahl von Pixeln
auf einer Seite eines Blocks ist. In dem Fall, wenn eine Vielzahl von
Blöcken
entsprechend dem Block B(t:18, 11) in dem Cluster C12 existiert, oder
in dem Fall, wenn eine Vielzahl von Blöcken entsprechend dem Block B(t:18,
11) in dem Cluster C3 existiert, wird der Auswertungswert für jeden
solcher Blöcke
erhalten und wird ein ID entsprechend dem kleinsten Auswertungswert
dem Block B(t:18, 11) zugewiesen.
-
Die
obige Prozedur wird auf andere Blöcke, die zu dem Cluster C123
von 15 gehören,
in ähnlicher
Weise angewendet.
-
In
dem obigen Fall, bei dem ID3 dem Block B(t:18, 11) zugewiesen wird,
kann geschätzt
werden, dass ein Bewegungsvektor des Blocks dem Vektor V3 nahezu
gleich ist. Um den Bewegungsvektor des Blocks B(t:18, 11) genauer
zu erhalten, wird die Box SBR3 jedes Mal um ein Pixel in einem vorbestimmten Bereich
verschoben, dessen Zentrum mit jenem der Box SBR3 koinzidiert, wird
der Auswertungswert für jede
Verschiebung erhalten und wird bestimmt, dass der Bewegungsvektor
des Blocks B(t:18, 11) ein Vektor ist, dessen Ursprung das Zentrum
der Box SBR3 ist, wenn der Auswertungswert das Minimum (die höchste Korrelation)
annimmt, und dessen Spitze das Zentrum des Blocks B(t:18, 11) ist.
Ein Bewegungsvektor eines Blocks zu einer Zeit t wird durch solch
einen Blockvergleich immer dann bestimmt, wenn dem Block ein ID
zugewiesen wird.
-
Um
eine Ähnlichkeit
genauer einzuschätzen, werden
die unten beschriebenen Beträge
berücksichtigt.
-
Ein
Teil der Box SBR3 in 16 liegt außerhalb des Clusters 3, und
wenn der Bereich außerhalb größer ist,
kann davon ausgegangen werden, dass die Chance, dass der ID von
Block B(t:18, 11) von 17 der ID3 ist, niedrig ist.
Wenn deshalb angenommen wird, dass der ID des Blocks B(t:18, 11)
dem ID3 gleich ist, wird die Anzahl S(t – 1) von Pixeln in der Box
SBR3 und die Zugehörigkeit
zu dem Cluster C3 erhalten, und ein Auswertungswert U, der einer Korrelation
zwischen dem Bild in der Box SBR3 von 16 und
dem Bild in dem Block B(t:18, 11) von 17 zugeordnet
ist, wird mit der folgenden Gleichung berechnet, und der berechnete
Wert wird durch US(ID3) bezeichnet: US
= (S(t – 1) – 64)2 (2)
-
Je
kleiner der Auswertungswert UD ist, desto höher ist die Korrelation. Desgleichen
wird angenommen, dass der ID des Blocks B(t:18, 11) dem ID12 gleich
ist und die Anzahl S von Pixeln in der Box SBR3 und die Zugehörigkeit
zu dem Cluster C12 erhalten wird, um den Auswertungswert US zu berechnen,
und der Wert durch US(ID12) bezeichnet wird. In den Fällen von 16 und 17 gilt
US(ID12) = 0 und US(ID3) > US(ID12).
-
U
= αUD + βUS, eine
lineare Kombination der obigen Gleichungen (1) und (2), ist als
Auswertungsfunktion definiert, und es gilt, dass die Ähnlichkeit
desto höher
ist, je kleiner der Auswertungswert U ist, wobei α und β positive
Konstanten sind und auf der Basis der praktischen Erfahrung bestimmt
werden, so dass die Auswertung der Ähnlichkeit korrekter wird.
-
Bei
jedem Block von 17 zu der Zeit t wird in derselben
Weise bestimmt, ob ID12 oder ID3 jenem Block zugewiesen ist. Da
eine Wahrscheinlichkeit einer Fehlbestimmung in dem Fall hoch ist,
wenn der Absolutwert einer Differenz von Auswertungswerten |U(ID12) – U(ID3)|
kleiner gleich einem vorbestimmten Wert ist, wird kein ID zugewiesen
und wird der folgende Betrag bezüglich
eines Bildes zu einer Zeit t berücksichtigt.
Zum Beispiel wird in dem Fall, wenn angenommen wird, dass der ID
vom Block B(t:18, 11) von 17, der
nicht bestimmt worden ist, dem ID3 gleich ist, die Anzahl N(t) der
Blöcke,
denen der ID3 zugeordnet ist, von 8 Blöcken erhalten, die an den Block
B(t:18, 11) angrenzen, wird ein Auswertungswert UN mit der folgenden
Gleichung berechnet und wird der Wert durch UN(ID3) bezeichnet: UN = (N(t) – 8)2 (3)
-
Je
kleiner der Auswertungswert ist, desto höher ist die Korrelation. Ähnlich wird
in dem Fall, wenn angenommen wird, dass der ID des Blocks B(t:18, 11)
von 17 dem ID12 gleich ist, die Anzahl N von Blöcken, denen
der ID12 zugeordnet ist, von 8 Blöcken erhalten, die an den Block
B(t:18, 11) angrenzen, wird der Auswertungswert UN berechnet und wird
der Wert durch UN(ID12) bezeichnet.
-
Ferner
kann, wenn der Fehler eines Bewegungsvektors zu einer Zeit (t – 1), der
durch Blockvergleich erhalten wird, groß ist, da nahezu dieselben
Pixelwerte verteilt sind, der Fall betrachtet werden, wenn der Absolutwert
|U(ID12) – U(ID3)|
einer Differenz der Auswertungswerte der linearen Kombination U
= αUD + βUS der obigen
Gleichungen (1) bis (3) kleiner gleich einem vorbestimmten Wert
ist. Indem die Aufmerksamkeit auf Bewegungsvektoren von Blöcken in
der Nachbarschaft der Blöcke
B(t – 1:14, 13)
und B(t – 1:11,
13) entsprechend dem Block (t:18, 11) gerichtet wird, wird deshalb
eine Auswertung einer Ähnlichkeit
korrekter. Das heißt,
ein Auswertungswert UV wird unter Verwendung der folgenden Gleichung
berechnet, die einen Bewegungsvektor VC(t – 1) = V3 des Blocks B(t – 1:14,
13) zu der Zeit (t – 1)
entsprechend B(t:18, 11) enthält,
unter der Annahme, dass der Block B(t:18, 11) den ID3 hat; und Bewegungsvektoren
VBi(t – 1),
für i =
1 bis NX und NX = NX3, von Blöcken
(Blöcke,
die in 16 jeweils mit einem kleinen
schwarzen Punkt versehen sind), die sich unter 8 Blöcken befinden,
die an den Block B(t – 1:14,
13) angrenzen und deren ID dem ID3 gleich ist, und der Auswertungswert
wird bezeichnet durch UV(ID3): UV
= Σ|VC(t – 1) – VBi(t – 1)|2/NX (4)wobei Σ eine Summe über i =
1 bis NX bezeichnet. Je kleiner der Auswertungswert ist, desto höher ist
die Korrelation. Ähnlich
wird ein Auswertungswert UV in Hinblick auf einen Bewegungsvektor
VC = V2 des Blocks B(t – 1:11,
13) zu der Zeit (t – 1)
entsprechend B(t:18, 11) unter der Annahme berechnet, dass der Block
B(t:18, 11) den ID12 hat; und Bewegungsvektoren VBj(t – 1), für j = 1
bis NX und NX = NX12, von Blöcken
(Blöcke,
die in 16 jeweils mit einem Zeichen × versehen
sind), die sich unter acht Blöcken befinden,
die an den Block B(t – 1:11,
13) angrenzen und deren ID dem ID12 gleich ist, und der Auswertungswert
wird bezeichnet durch UV(ID12).
-
Eine
lineare Kombination der obigen Gleichungen (1) bis (4), nämlich U = αUD
+ βUS + γUN + ΔUV (5)wird als
Auswertungsfunktion verwendet, und es gilt, dass die Ähnlichkeit
desto höher
ist, je kleiner der Auswertungswert ist, wobei γ und δ auch positive Konstanten sind
und auf der Basis der praktischen Erfahrung bestimmt werden, so
dass die Auswertung der Ähnlichkeit
zuverlässiger
wird.
-
In
solch einer Weise wird nicht nur bestimmt, ob der ID in jedem Block
in dem Cluster C123 von 17 der
ID12 oder der ID3 ist, sondern es wird auch ein Bewegungsvektor
von jedem Block bestimmt. Das heißt, eine Objektkarte zu einer
Zeit t wird bestimmt, und wie in 18 gezeigt,
kann der Cluster in Cluster mit verschiedenen IDs geteilt werden,
auch wenn die mobile Einheit M2 die beiden mobilen Einheiten M1
und M3 überlappt.
-
Ähnlich kann
eine Objektkarte zu der Zeit (t + 1) von einem Rahmenbild und einer
Objektkarte zu der Zeit t erhalten werden. Da C12 und C3 zu der
Zeit t voneinander unterschieden werden und die mobile Einheit M1
in dem Rahmenbild zu der Zeit (t + 1) von der mobilen Einheit M2
getrennt ist, wie in 19 gezeigt, werden C1 bis C3
entsprechend den mobilen Einheiten M1 bis M3 zu der Zeit (t + 1)
voneinander unterschieden.
-
Es
sei erwähnt,
dass in dem Fall, wenn die Gleichung (5) verwendet wird, einer oder
mehrere der Werte β, γ und δ Null sein
können,
um eine Berechnungszeit zu reduzieren.
-
Ferner
kann eine Objektkarte X zu einer Zeit (t – 1) in einen Arbeitsbereich
als Objektkarte Y vor der Vorbereitung einer Objektkarte zu einer
Zeit t kopiert werden, und ein Bewegungsvektor Vi von jedem Block
i, dessen ID gleich dem IDα ist,
in der Objektkarte X kann durch einen mittleren Vektor (ΣΔVj)/p, für j = 1
bis p, ersetzt werden, wobei ΔV1
bis ΔVp
Bewegungsvektoren von allen Blöcken
in der Objektkarte Y sind, die einen Block entsprechend dem Block
i enthalten, und Blöcke,
die an diesen entsprechenden Block angrenzen und deren ID = IDα ist. Mit
solch einer Prozedur werden in dem Fall, wenn Fehler von Bewegungsvektoren
groß sind,
da eine Textur in einem Block denen in benachbarten Blöcken ähnlich ist,
die Fehler reduziert. Das Kopieren in einen Arbeitsbereich dient
zum eindeutigen Bestimmen des mittleren Vektors.
-
Als
Nächstes
folgt die Beschreibung eines Verfahrens zum genaueren Erhalten einer
Objektkarte unter Verwendung der Auswertungsfunktion der obigen
Gleichung (5) und einer Objektkarte zu einer Zeit t, die so wie
oben beschrieben erhalten wurde, als Ausgangsbedingung. Da dieses
Verfahren selbst dasselbe wie jenes ist, das in der obigen Veröffentlichung
offenbart ist, außer
der Auswertungsfunktion U, folgt hier ein Überblick darüber.
-
Die
Blöcke
in den Clustern C12 und C3 von 18 sind
durch BKi bezeichnet, für
i = 1 bis n. Der ID eines Blocks BKi ist eine Variable IDi und dessen U
wird ausgedrückt
als U(BKi, IDi). IDi ist gleich ID12 oder ID3. ID1 bis IDn werden
so bestimmt, dass eine Summe UT von Auswertungswerten U über i =
1 bis n UT = ΣU(BKi,
IDi)das Minimum annimmt. Ausgangswerte von ID1 bis IDn sind
durch eine Objektkarte zu der Zeit t gegeben, die wie oben beschrieben
erhalten wird.
-
Obwohl
eine bevorzugte Ausführungsform der
vorliegenden Erfindung beschrieben worden ist, versteht sich, dass
die Erfindung nicht darauf begrenzt ist und dass verschiedene Veränderungen und
Abwandlungen vorgenommen werden können, ohne vom Umfang der Erfindung
abzuweichen.
-
Zum
Beispiel hat die Vorrichtung von 2, die einen
Kollisionsunfall und eine Fahrzeugpanne automatisch detektiert,
Charakteristiken in der Bestimmungssektion 29, und Beobachtungsbeträge, die
durch die Beobachtungsbetragsdetektionssektion 26 detektiert
werden, brauchen nur von den ersten Skalaren sein. Ferner kann eine
Konfiguration, in der ein Beobachtungswert, der die ersten und zweiten Skalare
umfasst, verwendet wird, in einer Vorrichtung zur Anwendung kommen,
die etwas anderes als die Bestimmung eines Kollisionsunfalls und
einer Fahrzeugpanne ausführt,
wie zum Beispiel in einer Vorrichtung, die Bewegungen von mobilen
Einheiten automatisch klassifiziert, um Statistiken aufzustellen. Weiterhin
kann ein Verarbeitungsverfahren in der Verfolgungssektion 25 der
mobilen Einheit unter Verwendung der oben beschriebenen Auswertungsfunktion
U auf verschiedene Arten von Verfolgungsvorrichtungen von mobilen
Einheiten angewendet werden.