DE102005029866A1

DE102005029866A1 - Bewegungsermittlungsverfahren und -vorrichtung, Programm und Fahrzeugüberwachungssystem

Info

Publication number: DE102005029866A1
Application number: DE102005029866A
Authority: DE
Inventors: Isao Kariya Aichi
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2004-08-23
Filing date: 2005-06-27
Publication date: 2006-03-02
Also published as: US20060039584A1; US7346188B2; JP2006059252A

Abstract

Auf der Basis eines Eingabebildes von einer Bilderzeugungsvorrichtung (3) und eines vorgegebenen Hintergrundbildes wird ein digitalisiertes Bild für jedes Einzelbild erzeugt (S120). Die digitalisierten Bilder werden verglichen (S130). Dann werden ein vergrößerter Bereich, ein reduzierter Bereich und ein Überlappungsbereich, die einander benachbart sind, als ein einziger integrierter Bereich extrahiert (S130). Bereichsparameter, die ein Bereichsareal sind, eine Summe der X-Koordinaten und eine Summe der Y-Koordinaten werden für jeweils den extrahierten und integrierten vergrößerten Bereich und reduzierten Bereich erhalten (S140). Auf der Basis der Bereichsparameter wird für jeden der integrierten Bereiche eine Bewegung des im integrierten Bereich dargestellten Objekts erhalten (S150).

Description

Die vorliegende Erfindung betrifft ein Bewegungsermittlungsverfahren und eine Vorrichtung zur Ermittlung einer Bewegung eines auf einem Bild dargestellten Objekts. Die vorliegende Erfindung betrifft auch ein Fahrzeugüberwachungssystem, das das Bewegungsermittlungsverfahren und die Vorrichtung benutzt.

Um die Bewegung eines auf einem Bild dargestellten Objekts zu ermitteln, wird das Bild horizontal und vertikal in eine Mehrzahl von Bildblöcken unterteilt, um für jeden der Bildblöcke einen Bewegungsvektor zu berechnen. Der Bewegungsvektor zeigt die Richtung an, in der sich jeder der Bildblöcke bewegt.

Insbesondere wird eine Korrelationsoperation, wie eine Musterdeckung, durchgeführt zwischen einem zu einem gewissen Zeitpunkt durch Abgrenzen eines Bildes erhaltenen Bildblock (einem Zielblock) und einem Bildblock, der durch Abgrenzen zu einem anderen Zeitpunkt erhalten wird (einem Vergleichsblock). Der gleiche Vorgang wird wiederholt, während die Position des Vergleichsblocks vertikal und horizontal um ein Pixel innerhalb eines Suchbereichs bewegt wird, der in Bezug auf die dem Zielblock als Zentrum entsprechende Position festgelegt ist. Ein Vergleichsblock mit dem größten Korrelationswert aller erhaltenen Korrelationswerte wird als Bestimmungsblock oder Quellenblock spezifiziert.

Bei diesem Verfahren sind unter der Voraussetzung, daß die Zahl der durch Abgrenzen des Bildes erhaltenen Zielblöcke M ist, die Zahl der Pixel in jedem der Zielblöcke L × L ist und ein durch Hinzufügen einer Pixelzahl N um die Zielblöcke erhaltener Bereich ein Suchbereich ist, L² × M × (2N+1)² Korrelationsoperationen erforderlich. Deshalb ist eine enorme Zahl von Operationen erforderlich.

Nimmt man beispielsweise an, daß ein Bild 640 × 640 Pixel enthält, ein Zielblock 16 × 16 Pixel enthält und ein Suchbereich ±32 Pixel umfaßt, erhält man L=16, M=1200 und N=32. Demgemäß liegt die Zahl von Korrelationsaktionen im 1,3G-(Giga)-Bereich. Um die Menge der Korrelationsoperationen zu reduzieren, werden die Pixel ausgedünnt, um eine Mehrzahl von Bildern mit unterschiedlicher Auflösung zu erstellen. Zunächst wird eine Suche mit dem die niedrigste Auflösung aufweisenden Bild durchgeführt. Unter Verwendung des Ergebnisses dieser Suche wird die Suche wiederholt durchgeführt, wobei die Bilder eine höhere Auflösung aufweisen (z.B. US 5,276,513 , (Jp-6-60187 A) und JP 2003-99782 A). Jedoch benutzt dieses Verfahren grundsätzlich die Musterdeckung und es entsteht ein Problem, daß die Reduzierung einer großen Zahl von Operationen nicht erwartet werden kann, selbst wenn ein hierarchisches Verfahren benutzt wird. Außerdem steigt die Menge der Operationen nach einer Exponentialfunktion an, wenn der Suchbereich erweitert wird. Deshalb wird der Suchbereich durch die Operationskapazität begrenzt. Als Ergebnis kann ein Objekt mit einer starken Bewegung, das heißt ein schnell bewegliches Objekt, nicht entdeckt werden.

Andererseits ist auch ein Verfahren zur Ermittlung einer Bewegung und der Bewegungsrichtung eines auf einem Differenzbild (Subtraktionsbild) dargestellten Objekts ohne Benutzung der Objektdeckung bekannt. Bei diesem Verfahren wird ein Hintergrunddifferenzbild, das einem Differenzbild zwischen einem vorerstellten Hintergrundbild und einem Eingabebild entspricht, für jedes Einzelbild des Eingabebildes erhalten. Die Hintergrunddifferenzbilder werden zwischen den Einzelbildern derart verglichen, daß ein Bereich mit einem Unterschied (ein Differenzbereich) extrahiert wird. Das Ausmaß der Bewegung und eine Bewegungsrichtung eines Gravitationszentrums (center of gravity) des extrahierten Differenzbereichs werden erhalten (z.B. JP-6-14698 B2). Bei diesem Verfahren wird jedoch vom ganzen Bild ein einziges Arealzentrum (area center) erhalten. Deshalb kann, wenn eine Mehrzahl von Objekten zu ermitteln ist, eine Bewegung für jedes dieser Objekte nicht ermittelt werden.

Das Gravitationszentrum des Differenzbereichs wird insbesondere auf folgende Weise berechnet. Eine Verteilung der Zahl der im Differenzbereich enthaltenen Pixel wird für eine X-Koordinatenachse und eine Y-Koordinatenachse eines die Position eines Pixels kennzeichnenden Koordinatensystems erhalten. Durch die Verteilung werden die X-Koordinaten und die Y-Koordinaten, die eine Gesamtzahl der Pixel halbieren, die im Differenzbereich, d.h. dem Zentrum des Areals des Differenzbereichs, enthalten sind als das Gravitationszentrum des Differenzbereichs erhalten.

Die vorliegende Erfindung hat die Aufgabe, ein Bewegungserkennungsverfahren und eine Vorrichtung zu schaffen, die die Reduzierung der Menge der Operationen und die Erkennung einer individuellen Bewegung erlauben, selbst wenn eine Mehrzahl von zu erkennenden Objekten gegenwärtig ist, sowie ein diese nutzendes Fahrzeugüberwachungssystem.

Gemäß der vorliegenden Erfindung wird ein Hintergrunddifferenzbild, das einem Differenzbild zwischen einem sequentiell eingegebenen Eingabebild für jedes Einzelbild und einem vorgegebenen Hintergrundbild entspricht, zunächst digitalisiert (in einen Binärcode übertragen), um ein digitalisiertes Bild zu erzeugen, zusammengesetzt aus einem sich vom Hintergrundbild unterscheidenden Zielbereich und einem Hintergrundbereich ohne Unterschied gegenüber dem Hintergrundbild für jedes Einzelbild.

Dann werden die digitalisierten Bilder zwischen Einzelbildern verglichen, um einen Überlappungsbereich zu extrahieren, der als Zielbereich verbleibt, einen vergrößerten Bereich, der vom Hintergrundbereich zum Zielbereich verändert ist, und einen reduzierten Bereich, der vom Zielbereich zum Hintergrundbereich verändert ist.

Außerdem werden Bereichsparameter für jeweils den integrierten Bereich, den vergrößerten Bereich und den reduzierten Bereich erhalten, wobei der integrierte Bereich durch Integrierung des Überlappungsbereichs und des vergrößerten und des reduzierten Bereichs erhalten wird, die dem Überlappungsbereich benachbart sind. Hier werden die Bereichsparameter durch die Zahl der im Bereich enthaltenen Pixel zusam mengesetzt, wobei die Summe der X-Koordinaten durch Addition von X-Koordinatenwerten, in die Position eines Pixels anzeigenden, zweidimensionalen Koordinaten, aller im Bereich enthaltenen Pixel erhalten wird und die Summe der Y-Koordinaten durch Addition von Y-Koordinatenwerten aller im Bereich enthaltenen Pixel.

Dann wird die Bewegung eines im integrierten Bereich angezeigten, sich bewegenden Objekts auf der Basis der Bereichsparameter für jeden der integrierten Bereiche ermittelt.

Insbesondere kann, wie in den 7A bis 7D gezeigt, die Bewegungsrichtung oder das Ausmaß der Bewegung des sich bewegenden, im integrierten Bereich angezeigten Objekts aus der Position oder Größe (dem Areal) des vergrößerten oder reduzierten Bereichs im integrierten Bereich erhalten werden.

Noch spezieller wird die Summe der X-Koordinaten eines bestimmten Bereichs durch die Zahl der im Bereich enthaltenen Pixel dividiert, um eine X-Koordinate eines Gravitationszentrums des Bereichs zu erhalten. Gleichermaßen wird die Summe der Y-Koordinaten des bestimmten Bereichs durch die Zahl der im Bereich enthaltenen Pixel geteilt, um ein Y-Koordinate des Gravitationszentrums des Bereichs zu erhalten. Ein Bereich, der durch die Subtraktion des vergrößerten Bereichs vom integrierten Bereich erhalten wird, entspricht einem Zielbereich vor der Bewegung, während ein Bereich, der durch die Subtraktion des reduzierten Bereichs vom integrierten Bereich erhalten wird, einem Zielbereich nach der Bewegung entspricht.

Die Position des Gravitationszentrums des sich bewegenden Objekts vor der Bewegung (ein Zielbereich des vorhergehenden Einzelbildes), angezeigt im integrierten Bereich, und die Position des Gravitationszentrums des sich bewegenden Objekts nach der Bewegung (ein Zielbereich des folgenden Einzelbildes) können erhalten werden auf der Basis der Bereichsparameter des integrierten Bereichs, des vergrößerten Bereichs und des reduzierten Bereichs. Anhand einer Veränderung der Position des Gravitations zentrums kann eine Bewegung (das Ausmaß der Bewegung oder eine Bewegungsrichtung) des sich bewegenden Objekts erkannt werden.

Wie oben beschrieben, wird eine im integrierten Bereich angezeigte Bewegung des sich bewegenden Objekts für jeden der integrierten Bereiche ermittelt. Deshalb kann eine Bewegung eines jeden der zu ermittelnden Objekte individuell ermittelt werden, selbst wenn das Eingabebild eine Mehrzahl von zu ermittelnden Objekten enthält. Außerdem kann die Menge der Operationen für die Bewegungsermittlung bemerkenswert reduziert werden, weil der integrierte Bereich, der vergrößerte Bereich und der reduzierte Bereich ohne Musterdeckung ermittelt werden können.

Insbesondere werden bei der vorliegenden Erfindung bei der Extraktion des integrierten Bereichs, des vergrößerten Bereichs und des reduzierten Bereichs nur die Durchführung einer Differenzialoperation zur Erzeugung eines digitalisierten Bildes (ein Hintergrunddifferenzbild) und eine Vergleichsoperation der digitalisierten Bilder für die Extraktion der Bereiche erforderlich. Deshalb liegt beispielsweise unter der Annahme, daß das Eingabebild 640 × 480 Pixel enthält, die Zahl der Operationen im 0,6M-(Mega)-Bereich (= 640 × 480 × 2) für jedes Einzelbild, was etwa 1/2000 der Zahl bei der obern erwähnten konventionellen Vorrichtung (etwa 1,3G-Bereich für jedes Einzelbild) ist.

Die obigen und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden deutlicher durch die folgende detaillierte, unter Bezugnahme auf die beigefügten Zeichnungen erstellte Beschreibung. In den Zeichnungen zeigt:
1 ein Blockschaltbild eines Fahrzeugüberwachungssystems gemäß einer Ausführungsform der vorliegenden Erfindung,
2A und 2B schematische Darstellungen die die Anordnung einer Bilderzeugungsvorrichtung und ein durch die Bilderzeugungsvorrichtung erfaßtes Bild zeigen,
3 ein Flußdiagramm zur Darstellung eines bei der Ausführungsform durchgeführten Bewegungsermittlungsverfahrens,
4 ein Flußdiagramm zur Darstellung eines bei der Ausführungsform durchgeführten Verfahrens zur Hintergrund-Differenzdigitalisierung,
5 ein Flußdiagramm zur Darstellung eines bei der Ausführungsform durchgeführten Rahmenvergleichsverfahrens,
6 ein Flußdiagramm zur Darstellung eines bei der Ausführungsform durchgeführten Verfahrens zur Bereichsaufteilung und
7A bis 7D schematische Ansichten, die begrifflich darstellen, daß eine Bewegungsrichtung und das Ausmaß der Bewegung eines Gegenstandes bei der Ausführungsform von einem vergrößerten Bereich und einem verkleinerten Bereich in einem integrierten Areal erhalten werden können.
Wie in 1 gezeigt, umfaßt ein Fahrzeugüberwachungssystem 1 eine Bilderzeugungsvorrichtung 3, eine Bewegungsermittlungsvorrichtung 5, eine Feststellungsvorrichtung 7 und eine Kommunikationsvorrichtung 9. Die Bilderzeugungsvorrichtung 3 kann eine Fischaugenkamera sein. Die Bewegungsermittlungsvorrichtung 5 dient der Ermittlung der Bewegung eines sich bewegenden Objekts basierend auf einem von der Bilderzeugungsvorrichtung 3 ausgegebenem Bildsignal. Die Feststellungsvorrichtung 7 dient dazu, auf der Basis des Ergebnisses der Ermittlung durch die Bewegungsermittlungsvorrichtung 5 die Gegenwart eines Eindringlings oder verdächtigen Individuums festzustellen. Die Kommunikationsvorrichtung 9 dient der Übertragung des Ermittlungsergebnisses der Feststellungsvorrichtung 7 an einen vorher festgelegten, zu informierenden Empfänger.
Die Bilderzeugungsvorrichtung 3 ist, wie in 2A gezeigt, in der Mitte der Innenseite eines Fahrzeugdachs angeordnet. Wie in 2B gezeigt, ist die Bilderzeugungsvorrichtung 3 so eingestellt, daß durch die einzige Bilderzeugungsvorrichtung 3 Bilder des Fahrzeuginneren und durch ein Fenster von dessen Umgebung erhalten werden. In dem eingefangenen Bild wird die Fahrzeuglängsrichtung als Richtung einer X-Achse, die Richtung in der Breite des Fahrzeugs als Richtung einer Y-Achse und eine sowohl zur X-Achse als auch zur Y-Achse rechtwinklig verlaufenden Richtung als die Richtung einer Z-Achse bezeichnet.
Die Bewegungsermittlungsvorrichtung 5 umfaßt einen Analog-Digital-Umwandler 11, einen Bildspeicher 13, eine arithmetische und logische Einheit 15, die einen Mikrocomputer und eine Speichereinheit 17 umfaßt. Der Analog-Digital-Umwandler 11 wandelt ein von der Bilderzeugungsvorrichtung 3 erhaltenes analoges Signal in ein digitales um. Der Bildspeicher 13 speichert den Ausgang des Analog-Digital-Umwandlers 11 für jedes Bild (einen (in Ziffern: 1) Bildschirm). Die arithmetische und logische Einheit 15 führt ein Bewegungsermittlungsverfahren zur Feststellung einer Bewegung eines im Bild erfaßten, sich bewegenden Objekts auf der Basis des im Bildspeicher 13 enthaltenen Inhalts und dergleichen durch. Die Speichereinheit 17 speichert ein Programm des durch die arithmetische und logische Einheit 15 durchgeführten Bewegungsermittlungsverfahrens, ein im Bewegungsermittlungsverfahren benutztes Hintergrundbild und verschiedene im Laufe der Durchführung des Verfahrens erzeugte Bilder.
Das in der Speichereinheit 17 gespeicherte Hintergrundbild ist ein Bild, das bei Abwesenheit eines sich bewegenden Objekts im abzubildenden Bereich aufgenommen wurde. Es kann entweder ein beim Verladen des Fahrzeugs durch die Bilderzeugungsvorrichtung 3 aufgenommenes Bild feststehend benutzt werden, oder es kann ein Bild benutzt werden, das von der Bilderzeugungsvorrichtung 3 zu einem vorgegebenen Zeitpunkt jedesmal aufgenommen wird, wenn eine Fahrzeugtür geschlossen wird.
Das durch die arithmetische und logische Einheit 15 durchgeführte Bewegungsermittlungsverfahren ist in den 3 bis 6 dargestellt. Dieses Verfahren wird jeweils nach einer gewissen Zeit wiederholt, die so eingestellt ist, daß sie länger ist als die von der Bilderzeugungsvorrichtung 3 zur Aufnahme eines Bildes benötigte Zeit.
Wenn das Verfahren gestartet wird, werden zunächst die Bilddaten für ein Einzelbild (Eingabebild) aus der Bilderzeugungsvorrichtung 3 im Bildspeicher 13 festgehalten (S110). Dann wird ein Digitalisierungsverfahren für die Hintergrundunterschiede (S120) derart durchgeführt, daß ein Differenzbild des Hintergrundes entsprechend einem Differenzbild zwischen dem im Bildspeicher 13 festgehaltenen Eingabebild und dem in der Speichereinheit 17 gespeicherten Hintergrundbild digitalisiert wird, um ein digitales Bild zu erzeugen. Es wird angenommen, daß das Eingabebild m Pixels in der X-Richtung (z.B. m = 640) und n Pixels in der Y-Achse (z.B. n = 480) enthält.
Beim Verfahren zur Digitalisierung des Hintergrundunterschieds, wie es in 4 dargestellt ist, wird zunächst ein Parameter j zur Spezifizierung einer Y-Koordinate eines jeden der das Bild gestaltenden Pixel auf 0 initialisiert (S210). Gleichzeitig wird ein Parameter i zur Spezifizierung einer X-Koordinate eines jeden der das Bild gestaltenden Pixel ebenfalls auf 0 initialisiert (S220).
Dann wird festgestellt, ob ein absoluter Wert eines Unterschieds zwischen einem Pixelwert Bij eines durch die Parameter i und j spezifizierten Pixels beim Hintergrundbild und einem Pixelwert Cij eines durch die Parameter i und j spezifizierten Pixels beim Eingabebild (d.h. ein Pixelwert der Pixel im Hintergrunddifferenzbild) größer ist als ein vorgegebener Schwellenwert Thr (|Bij – Cij| > Thr) (S230). Als Schwellenwert Thr kann ein fester Wert benutzt werden. Alternativ kann als Ursprungswert ein absoluter Wert einer Differenz zwischen den Pixelwerten (d.h. ein Pixelwert des Hintergrunddifferenzbildes) |Bij – Cij| gespeichert werden, so daß der Schwellenwert Thr auf der Basis eines Durchschnittswertes des Ursprungswertes (beispielsweise die Hälfte des Ursprungswertes oder dergleichen) eingestellt wird.
Dann wird, wenn beim Schritt S230 festgestellt wird, daß der absolute Wert (|Bij – Cij|) größer ist als der Schwellenwert Thr, ein Pixelwert DCij des digitalisierten Bildes, der einem Pixelwert eines durch die Parameter i und j im digitalisierten Bild entspricht, auf 1 gesetzt (S240). Andererseits wird, falls festgestellt wird, daß der absolute Wert (|Bij – Cij|) des Pixelwertes des Hintergrunddifferenzbildes gleich oder kleiner ist als der Schwellenwert Thr, der Pixelwert DCij des digitalisierten Bildes auf 0 gesetzt (S250).
Wenn der Pixelwert des digitalisierten Bildes in dieser Weise gesetzt wird, wird der Parameter i inkrementiert (i←i+1) (S260). Dann wird festgestellt, ob der Parameter i gleich der Zahl der Pixel m in der Richtung der X-Achse ist (S270). Falls bei diesem Schritt der Parameter i nicht gleich der Zahl der Pixel m ist, kehrt das Verfahren zum Schritt S230 zurück, so daß das Verfahren für die Schritte S230 bis S260 wiederholt wird. Andererseits, wenn der Parameter i gleich der Zahl der Pixel m ist, wird der Parameter j inkrementiert (j←j+1) (S280). Dann wird festgestellt, ob der Parameter j gleich der Zahl der Pixel n in der Richtung der Y-Achse ist (S290). Falls bei diesem Schritt der Parameter j nicht gleich der Zahl der Pixel n ist, kehrt das Verfahren zum Schritt S220 zurück, so daß das Verfahren für die Schritte S220 bis S260 wiederholt wird. Andererseits, wenn der Parameter j gleich der Zahl der Pixel n ist, wird festgestellt, daß das Digitalisierungsverfahren für alle Pixel vollendet ist und das Verfahren wird beendet.
Insbesondere werden durch das Digitalisierungsverfahren für den Hintergrund das Eingangsbild und das Hintergrundbild mit einander verglichen, um das digitalisierte Bild zu erstellen. Im digitalisierten Bild wird der Pixelwert DCij eines vom Hintergrundbild abweichenden Bereichs (ein Zielbereich) durch 1 repräsentiert, während der Pixelwert DCij eines Bereichs ohne Unterschied (Hintergrundbereich) durch 0 repräsentiert wird.
Bezugnehmend auf 3 werden nach der in dieser Weise erfolgten Erzeugung des digitalisierten Bildes, das digitalisierte Bild eines aktuellen Einzelbildes, das beim Schritt S120 erzeugt wurde, und das digitalisierte Bild des vorhergehenden Einzelbildes, die in der Speichereinheit 17 gespeichert sind, mit einander verglichen, wobei ein Einzelbildvergleichsverfahren abläuft, um ein Vergleichsbild (einen Pixelwert Rij) zum Vergleich zwischen den Einzelbildern zu erstellen.
Bei Einzelbildvergleichsverfahren wird, wie in 5 dargestellt, der Parameter j zur Spezifizierung der Y-Koordinate eines jeden der das Bild gestaltenden Pixel auf 0 initialisiert (S310).
Anschließend wird unter der Annahme, daß der Pixelwert des digitalisierten Bildes des aktuellen Einzelbildes (aktueller Pixelwert) DCij und der Pixelwert des digitalisierten Bildes der vorhergehenden Einzelbildes (vorhergehender Pixelwert) DPij ist, festgestellt, ob der aktuelle, durch die Parameter i und j spezifizierte Pixelwert DCij auf 1 gesetzt ist (S330) und ob der vorhergehende, durch die Parameter i und j spezifizierte Pixelwert DPij auf 1 gesetzt ist (S340 und S370).
Wenn der aktuelle Pixelwert DCij = 1 (S330: JA) und der vorhergehende Pixelwert DPij = 1 (S340: JA) eingerichtet sind, das heißt, der Zielbereich unverändert bleibt, wird der Pixelwert Rij des Vergleichsbildes zwischen den Einzelbildern auf 0 gesetzt, was einen Überlappungsbereich anzeigt (S350). Falls der aktuelle Pixelwert DCij = 1 (S330: JA) und der vorhergehende Pixelwert DPij = 0 (S340: NEIN) eingerichtet sind, das heißt, der Hintergrundbereich zum Zielbereich verändert wurde, wird der Pixelwert Rij des Vergleichsbildes zum Vergleich zwischen den Einzelbildern auf 1 gesetzt, was für einen vergrößerten Bereich kennzeichnend ist (S360).
Falls der aktuelle Pixelwert DCij = 0 (S330: NEIN) und der vorangehende Pixelwert DPij = 1 (S370: JA) eingerichtet sind, das heißt, der Zielbereich zum Hintergrund verändert wird, wird der Pixelwert Rij des Vergleichsbildes zum Vergleich zwischen den Einzelbildern auf -1 gesetzt, was für einen reduzierten Bereich kennzeichnend ist (S380). Falls der aktuelle Pixelwert DCij = 0 (S330: NEIN) und der vorangehende Pixelwert DPij = 0 (S370: NEIN) eingerichtet sind, das heißt, der Hintergrundbereich unverändert bleibt, wird der Pixelwert Rij des Vergleichsbildes zum Vergleich zwischen den Einzelbildern auf 99 gesetzt, was für die anderen Bereiche kennzeichnend ist (S390).
Wenn der Pixelwert Rij des Vergleichsbildes zum Vergleich zwischen den Einzelbildern in dieser Weise gesetzt wird, wird der Parameter i inkrementiert (i←(S400). Dann wird festgestellt, ob der Parameter i gleich der Anzahl der Pixel m in der Richtung der X-Achse ist (S410):Falls bei diesem Schritt der Parameter i nicht gleich der Zahl der Pixel m ist, kehrt das Verfahren zum Schritt S330 zurück, so daß das Verfahren mit den Schritten S330 bis S400 wiederholt wird. Andererseits wird, wenn der Parameter i gleich der Zahl der Pixel m ist, der Parameter j inkrementiert (j←J + 1) (S420). Dann wird festgestellt, ob der Parameter j gleich der Zahl der Pixel n in der Richtung der Y-Achse ist (S430). Falls bei diesem Schritt der Parameter j nicht gleich der Zahl der Pixel n ist, kehrt das Verfahren zum Schritt S320 zurück, so daß das Verfahren mit den Schritten S320 bis S420 wiederholt wird. Andererseits wird, wenn der Parameter j gleich der Zahl der Pixel n ist, festgestellt, daß das Vergleichsverfahren für alle Pixel vollendet ist und das Verfahren wird beendet.
Insbesondere wird das Vergleichsbild zum Vergleich zwischen den Einzelbildern, das in Bereiche aufgeteilt ist, die in vier Typen klassifiziert werden können, durch das Einzelbildvergleichsverfahren erstellt. Die vier Typen der Bereiche sind, wie in der folgenden [Tabelle 1] gezeigt, im Vergleich zum vorhergehenden Einzelbild ein vergrößerter Bereich (Rij = 1) verändert vom Hintergrundbereich zum Zielbereich [Dcij = 1 und Dpij = 0), ein verringerter Bereich (Rij = -1) verändert vom Zielbereich zum Hintergrundbereich (Dcij = 0 und Dpij = 1), ein überlappender Bereich (Rij = 0) verbleibend als Zielbereich (Dcij = 1 und Dpij = 1) and die anderen Bereiche (Rij = 99) verbleibend als Hintergrundbereich (Dcij = 0 und Dpij = 0).
[Tabelle 1]
Bezugnehmend auf 3 wird das Vergleichsbild zum Vergleich zwischen den Einzelbildern in der Weise erstellt, daß ein den Bereich unterteilendes (segmentierendes) Verfahren durchgeführt wird. Bei dem den Bereich unterteilenden Verfahren wird ein integrierter Bereich dadurch erhalten, daß der vergrößerte Bereich, der verringerte Bereich und der überlappende Bereich, die auf dem gleichen sich bewegenden Objekt (dem gleichen Zielbereich) basieren, extrahiert werden. Gleichzeitig werden für den integrierten Bereich, den vergrößerten Bereich und den verringerten Bereich Bereichsparameter erhalten, die zusammengesetzt sind aus dem Areal des Bereichs, das die Gesamtzahl der im Bereich enthaltenen Pixel repräsentiert, der Summe der X-Koordinaten, die durch die Addition der X-Koordinaten aller im Bereich enthaltenen Pixel erhalten wird, und die Summe der Y-Koordinaten, die durch die Addition der Y-Koordinaten aller im Bereich enthaltenen Pixel erhalten wird.
Bei dem den Bereich unterteilenden Verfahren wird, wie in 6 gezeigt, der Parameter j zur Spezifizierung der Y-Koordinate eines jeden das Bild bildenden Pixels zunächst auf 0 initialisiert (S510). Zur gleichen Zeit wird der Parameter i zur Spezifizierung der X-Koordinate eines jeden das Bild bildenden Pixels auf 0 initialisiert (S530).
Anschließend wird festgestellt, ob der Pixelwert Rij eines durch die Parameter i und j spezifizierten Pixels in dem Vergleichsbild zum Vergleich zwischen den Einzelbildern (spezifiziertes Pixel) auf 99 gesetzt ist, was für die anderen Bereiche kennzeichnend ist. Fall der Pixelwert Rij des spezifizierten Pixels auf 99 gesetzt ist, schreitet das Verfahren nach S620 fort und überspringt die Schritte S540 bis S610.
Andererseits, falls der Pixelwert Rij des spezifizierten Pixels auf einen anderen Wert als 99 gesetzt ist, wird festgestellt, ob es einen integrierten Bereich gibt, der dem spezifizierten Pixel benachbart ist (S540). Falls es einen benachbarten integrierten Bereich gibt, werden Bereichsparameter für den integrierten Bereich gelesen (S550). Andererseits wird, falls es keinen benachbarten integrierten Bereich gibt, festgestellt, daß ein durch den Pixelwert Rij bezeichneter Bereich ein neuer integrierter Bereich ist, so daß die Bereichsparameter für den integrierten Bereich erstellt und initialisiert werden (S560).
Dann werden von den bei S550 oder S560 vorbereiteten Bereichsparametern die Bereichsparameter (Bereichsareal S, Summe der X-Koordinaten Xsum, Summe der Y-Koordinaten Ysum) für den integrierten Bereich aktualisiert (S570). Insbesondere wird das Bereichsareal S inkrementiert (S←S + 1), der Parameter i, der für die X-Koordinate des spezifizierten Pixels kennzeichnend ist, wird zur Summe der X-Koordinaten Xsum hinzugefügt (Xsum←Xsum + i) und der Parameter j, der für die Y-Koordinate kennzeichnend ist, wird der Summe der Y-Koordinaten Ysum hinzugefügt (Ysum←Ysum + j).
Anschließend wird festgestellt, ob der Pixelwert Rij des spezifizierten Pixels auf 1 gesetzt ist, was für den vergrößerten Bereich kennzeichnend ist (S580). Es wird auch festgestellt, ob der Pixelwert Rij des spezifizierten Pixels auf -1 gesetzt ist, was für den verringerten Bereich kennzeichnend ist (S600).
Dann werden, falls der Pixelwert Rij des spezifizierten Pixels auf 1 gesetzt ist (S5980: JA), die Bereichsparameter für den vergrößerten Bereiche (ein Bereichsareal S_Inc, die Summe der X-Koordinaten Xsum_Inc und die Summe der Y-Koordinaten Ysum_Inc) unter den bei S550 oder S580 vorbereiteten Bereichsparametern aktualisiert (S590). Dann schreitet das Verfahren nach S620 fort. Insbesondere, wenn das Bereichsareal S_Inc inkrementiert wurde (S_Inc←S_Inc + 1), wird der Parameter i, der für die X-Koordinate des spezifizierten Pixels kennzeichnend ist, der Summe der X-Koordinaten Xsum Inc hinzugefügt (Xsum_Inc←Xsum_Inc + i) und der für die Y-Koordinate des spezifizierten Pixels kennzeichnende Parameter j wird der Summe der Y-Koordinaten Ysum_Inc hinzugefügt (Ysum_Inc←Ysum_Inc + j).
Falls der Pixelwert Rij des spezifizierten Pixels auf -1 gesetzt wird (S580: NEIN und S600: JA), werden die Bereichsparameter für die reduzierten Bereiche (ein Bereichsareal S_Dec, die Summe der X-Koordinaten Xsum_Dec und die Summe der Y-Koordinaten Ysum_Dec) unter den bei S550 oder S560 vorbereiteten Bereichsparametern aktualisiert (S590). Dann schreitet das Verfahren nach S620 fort. Insbesondere wird nach der Inkrementierung des Bereichsareals S_Dec (S_Dec←S_Dec + 1) der für die X-Koordinate des spezifizierten Pixels kennzeichnende Parameter i der Summe der X-Koordinaten Xsum_Dec hinzugefügt (Xsum_Dec←S_Dec + i) und der für die Y-Koordinate des spezifizierten Pixels kennzeichnende Parameter j wird zur Summe der Y-Koordinaten Ysum_Dec hinzugefügt (Ysum_Dec←Ysum_Dec + j).
Andererseits wird, wenn der Pixelwert Rij des spezifizierten Pixels auf einen anderen Wert als 1 und -1 gesetzt ist (S580: NEIN und S600: NEIN) schreitet das Verfahren nach S620 fort, ohne die Bereichsparameter für den vergrößerten Bereich und den verringerten Bereich zu aktualisieren.
Nachdem die Bereichsparameter in dieser Weise aktualisiert wurde, wird der Parameter i inkrementiert (i←i + 1) (S620). Dann wird festgestellt, ob der Parameter i gleich der Zahl der Pixel m in der X-Richtung des Bildes ist (S630). Falls der Parameter nicht gleich der Zahl der Pixel m ist, kehrt bei diesem Schritt das Verfahren zum Schritt S530 zurück, um die Verfahrensschritte S530 bis S620 zu wiederholen. Andererseits wird der Parameter j inkrementiert [j←j + 1), falls der Parameter i gleich der Zahl der Pixel m ist (S640). Dann wird festgestellt, ob der Parameter j gleich der Zahl der Pixel n in Richtung der Y-Achse des Bildes ist (S650). Falls der Parameter j nicht gleich der Zahl der Pixel n ist, kehrt bei diesem Schritt das Verfahren zum Schritt S520 zurück, um das Verfahren mit den Schritten S520 bis S640 zu wiederholen. Andererseits, wenn der Parameter gleich der Zahl der Pixel n ist, wird festgestellt, daß das Verfahren für alle Pixel vollendet ist und das Verfahren wird beendet.
Insbesondere bei dem den Bereich unterteilenden Verfahren werden der vergrößerte Bereich, der reduzierte Bereich und der überlappende Bereich, die einander benachbart sind, als integrierter Bereich extrahiert. Gleichzeitig werden, wie in der [Tabelle 2] gezeigt ist, die Bereichsparameter für jeden extrahierten Bereich, den integrierten Bereich, den vergrößerten Bereich und den reduzierten Bereich erhalten.
[Tabelle 2]
Rückkehrend zu 3 wird, nachdem das integrierte Areal extrahiert ist und die Bereichsparameter in der obigen Weise berechnet sind, ein Bewegungsberechnungsverfahren zur Berechnung der Bewegung des im integrierten Areal abgebildeten Objekts auf der Basis der berechneten Bereichsparameter durchgeführt (S150). Dann wird das Verfahren beendet.
Beim Bewegungsberechnungsverfahren wird für jeden der bei S140 extrahierten integrierten Bereiche, d.h. für jedes der auf dem Eingabebild angezeigten und sich vom Hintergrund unterscheidenden Objekte, unter Verwendung der folgenden Ausdrücke (1) bis (3) ein Bewegungsvektor V = (Vx, Vy, Vz) berechnet, der für eine Bewegungsrichtung und den Betrag der Bewegung kennzeichnend ist, Gleichzeitig wird unter Verwendung der Ausdrücke (4) und (6) die Position eines Gravitationszentrums des integrierten Bereichs G = (Gx, Gy) berechnet.
[Ausdruck 1]

Vx={Xsum-Xsum_Dec)/(S-S_Dec)}-{(Xsum-Xsum_Inc)/(S-S_Inc)} (1)

[Ausdruck 2]

Vy={(Ysum=Ysum_Dec)/(S-S_Dec)}-{(Ysum-Ysum_Inc)/(S-S_Inc) (2)

[Ausdruck 3]

(S_Inc-S_Dec)/S (3)

[Ausdruck 4]

Gx=Xsum/S (4)

[Ausdruck 5]

Gy=Ysum/S (5)

Falls der integrierte Bereich eine Mehrzahl von vergrößerten Bereichen und reduzierten Bereichen enthält (7C und 7D), dienen die Bereichsparameter, die durch Hinzufügen der Bereichsparameter für den gleichen Bereichstyp erhalten wurden, als Bereichsparameter des Bereichs (vergrößerter Bereich oder reduzierter Bereich). Die 7A bis 7D zeigen Bewegungsrichtungen, die die durch Veränderung von Bildern vom Zielbereich des vorhergehenden Einzelbildes zum Zielbereich des aktuellen Einzelbildes bestimmt sind.
Obwohl die Position des Gravitationszentrums des integrierten Bereichs bei dieser Ausführungsform erhalten wird, kann statt dessen das Zentrum der Gravitation des Zielbereichs des aktuellen Einzelbilds erhalten werden. In diesem Falle, kann Gx durch den Gebrauch des ersten Terms auf der rechten Seite des Ausdrucks (1) erhalten werden, während Gy durch den Gebrauch des ersten Terms auf der rechten Seite des Ausdrucks (2) erhalten werden kann.
Danach wird eine Bewegungsspur des Objekts für jedes der entdeckten Objekte (integrierte Bereiche) durch Benutzung des Bewegungsvektors V und die Position des Gravitationszentrums G für das Objekt in Übereinstimmung mit dem Resultat der Ermittlung in der Bewegungsermittlungsvorrichtung 5 in der Feststellungsvorrichtung 7 ermittelt. Ein verdächtiges Individuum oder ein Eindringling wird an der Charakteristik oder Position der Bewegungsspur (tracked motion) erkannt.
Insbesondere kann das Objekt als verdächtig erkannt werden, wenn das Objektwährend einer gewissen Zeitspanne in der Umgebung des Fahrzeugs stationär bleibt oder ein Objekt sich um das Fahrzeug bewegt. Falls sich das Objekt im Fahrzeug befindet, kann es als Eindringling erkannt werden.
Wenn dann in der Feststellungsvorrichtung 7 festgestellt wird, daß ein verdächtiges Individuum oder ein Eindringling vorhanden ist, informiert die Kommunikationsvorrichtung 9 einen vorgegebenen Empfänger der Feststellung (beispielsweise ein Mobiltelefon oder dergl.) durch die Feststellvorrichtung 7.
Wie oben beschrieben, wird in dem Fahrzeugüberwachungssystem 1 das digitalisierte Bild, das sich aus dem sich vom Hintergrundbild unterscheidenden Zielbereich und dem sich vom Hintergrundbild nicht unterscheidenden Hintergrundbereich zusammensetzt, für jedes Einzelbild auf der Basis des Eingangsbildes von der Bilderzeugungsvorrichtung 3 und dem vorgegebenen Hintergrundbild erzeugt (S120). Die digitalisierten Bilder werden mit den Einzelbildern verglichen. Der Überlappungsbereich, der als der Objektbereich verbleibt, der vergrößerte Bereich, der vom Hintergrundbereich zum Zielbereich verändert wurde und der reduzierte Bereich, der vom Zielbereich zum Hintergrundbereich verändert wurde, werden extrahiert (S130).
Dann werden der vergrößerte Bereich, der reduzierte Bereich und der Überlappungsbereich, die einander benachbart sind, als ein einziger integrierter Bereich extrahiert. Zur gleichen Zeit werden die Bereichsparameter (das Bereichsareal, die Summe der X-Koordinaten und die Summe der Y-Koordinaten) für jeden der extrahierten Bereiche, den integrierten Bereich, den vergrößerten Bereich und den reduzierten Bereich erhalten (S140). Die im integrierten Bereich dargestellte Bewegung des Objekts (der Zielbereich) wird für jeden der integrierten Bereiche auf der Basis der Bereichsparameter erhalten (S150).
Deshalb kann gemäß dem Fahrzeugüberwachungssystem 1 eine auf dem integrierten Bereich angezeigte Bewegung des Objekts für jeden der integrierten Bereiche ermittelt werden. Deshalb kann eine Bewegung eines jeden der zu ermittelnden Objekte individuell ermittelt werden, selbst wenn des Eingangsbild eine Mehrzahl von zu ermittelnden Objekten enthält.
Außerdem wird die Erzeugung des digitalisierten Bildes oder des Vergleichsbildes aus dem Vergleich der Einzelbilder nur durch die Subtraktion und die Vergleichoperation für jedes der Pixel ohne Musterübereinstimmung realisiert. Weiterhin werden das integrierte Areal, das vergrößerte Areal und das reduzierte Areal durch die Feststellung extrahiert, ob ein benachbarter integrierter Bereich für jedes der Pixel vorhanden ist. Außerdem wird die Berechnung der Bereichsparameter einfach durch das Inkrementierungsverfahren ohne Multiplikation und Division realisiert. Deshalb kann gemäß dem Fahrzeugüberwachungssystem 1 im Vergleich mit einer herkömmlichen Vorrichtung die Menge der Operationen für die Bewegungsermittlung beachtlich verringert werden. Demgemäß kann das Fahrzeugüberwachungssystem 1 unter Verwendung einer kostengünstigen arithmetischen Prozessoreinheit gestaltet werden, weil die Implementierung der Bewegungsermittlung und die Feststellung der Gegenwart eines verdächtigen Individuums oder eines Eindringlings mit einem reduzierten Aufwand an Operationen erfolgen kann.
Außerdem wird bei dem Fahrzeugüberwachungssystem 1 nach dieser Ausführungsform als Bilderzeugungsvorrichtung 3 eine Fischaugenkamera verwendet. Des weiteren ist die Bilderzeugungsvorrichtung 3 an der Innenseite der Dachmitte des Fahrzeugs vorgesehen, so daß eine einzige Kamera die Bilder vom Fahrzeuginneren und durch ein Fenster rings um das Fahrzeug aufnehmen kann. Insbesondere weil die Struktur für das Erhalten eines Eingangsbildes einfach ist, kann das Fahrzeugüberwachungssystem 1 gut als im Fahrzeug eingebaute Ausrüstung bei Fahrzeugen mit begrenztem Raum verwendet werden.
Die vorliegende Erfindung ist nicht auf die vorstehende Ausführungsform beschränkt, sondern kann in verschiedener Weise ohne Abweichung vom Erfindungsgedanken verwendet werden.
Beispielsweise kann anstelle der als Bilderzeugungsvorrichtung 3 verwendeten Fischaugenkamera eine Rundsichtkamera verwendet werden. Außerdem kann auch als Bilderzeugungsvorrichtung 3 eine Infrarotkamera oder eine Kamera zur Lieferung eines Entfernungsbildes als Eingangsbild verwendet werden, das einen Pixelwert in Übereinstimmung mit einer zu messenden Entfernung zu einem abgebildeten Objekt aufweist. In diesen Fällen kann selbst ein Objekt mit einer niedrigen Luminanz als Bild eingefangen werden.

Claims

Bewegungsermittlungsverfahren folgende Schritte umfassend: die Digitalisierung (S120) eines Hintergrunddifferenzbildes, das einem Differenzbild zwischen einem sequentiell für jedes Einzelbild eingegebenen Eingabebild und einem vorgegebenen Hintergrundbild entspricht, um für jedes Einzelbild ein digitalisiertes Bild zu erzeugen, das aus einem sich vom Hintergrundbild unterscheidenden Zielbereich und einem Hintergrundbereich ohne Unterschied zum Hintergrundbild zusammengesetzt ist, das Vergleichen (S130) der digitalisierten Bilder zwischen Einzelbildern, um einen Überlappungsbereich zu extrahieren, der als der Zielbereich verbleibt, einen vergrößerten Bereich, der vom Hintergrundbereich zum Zielbereich verändert ist, und einen reduzierter Bereich, der vom Zielbereich zum Hintergrundbereich verändert ist, das Erhalten (S140) von Bereichsparametern zusammengesetzt aus der Zahl der im Bereich enthaltenen Pixel, wobei die Summe der X-Koordinaten durch Addition von X-Koordinatenwerten, in die Position eines Pixels anzeigenden, zweidimensionalen Koordinaten, aller im Bereich enthaltenen Pixel erhalten wird und die Summe der Y-Koordinaten durch Addition von Y-Koordinatenwerten aller im Bereich enthaltenen Pixel, für jeweils einen integrierten Bereich, den vergrößerten Bereich und den reduzierten Bereich, wobei der integrierte Bereich durch Integrierung des Überlappungsbereichs und des vergrößerten und des reduzierten Bereichs erhalten wird, die dem Überlappungsbereich benachbart sind, und Ermittlung der Bewegung eines im integrierten Bereich angezeigten, sich bewegenden Objekts auf der Basis der Bereichsparameter für jeden der integrierten Bereiche.
Bewegungsermittlungsvorrichtung umfassend: ein Mittel (S120) zur Erzeugung eines digitalisierten Bildes für die Digitalisierung eines Hintergrunddifferenzbildes, das einem Differenzbild zwischen einem sequentiell für jedes Einzelbild eingegebenen Eingangsbild und einem vorgegebenen Hintergrundbild entspricht, um ein digitalisiertes Bild zu erzeugen, das sich zusammensetzt aus einem sich vom Hintergrundbild unterscheidenden Zielbereich und einem Hintergrundbereich ohne Unterschied gegenüber dem Hintergrundbild für jedes Einzelbild, ein Mittel (S130) zur Berechnung der Bereichsparameter, um die Bereichsparameter aus der Zahl der im Bereich enthaltenen Pixel zu erhalten, wobei eine Summe von durch die Addition von X-Koordinatenwerten, in die Position eines Pixels anzeigenden, zweidimensionalen Koordinaten, aller im Bereich enthaltenen Pixel erhalten wird; und eine Summe von Y-Koordinaten durch Addition von Y-Koordinatenwerten aller im Bereich enthaltenen Pixel, für jeweils einen integrierten Bereich, den vergrößerten Bereich und den reduzierten Bereich, wobei der integrierte Bereich durch Integrierung des Überlappungsbereichs und des vergrösserten und des reduzierten Bereichs erhalten wird, die dem Überlappungsbereich benachbart sind, und Bewegungsermittlungsmittel (S150) zur Ermittlung einer Bewegung eines sich bewegenden Objekts, das für jeden der integrierten Bereiche auf der Basis der durch das Bereichsparameterberechnungsmittel (S130) erhaltenen Bereichsparameter im integrierten Bereich angezeigt wird.
Bewegungsermittlungsvorrichtung nach Anspruch 2, bei welcher das Bewegungsermittlungsmittel (S150) eine Position eines Gravitationszentrums (center of gra vity) des sich bewegenden Objekts vor und nach der Bewegung auf der Basis der Bereichsparameter erhält, um eine Bewegung des sich bewegenden Objekts zu ermitteln.
Programm zur Durchführung einer Computer-Funktion entsprechend jedem der die Bewegungsermittlungsvorrichtung nach Anspruch 2 bildenden Mittel.
Fahrzeugüberwachungssystem umfassend: das Bewegungsermittlungsmittel nach Anspruch 2; ein in einem Fahrzeuginnenraum vorgesehenes Bilderzeugungsmittel (3) zur Lieferung eines durch Aufnahme des Fahrzeuginnenraums oder der Umgebung des Fahrzeugs durch ein Fenster an die Bewegungsermittlungsvorrichtung als ein Eingabebild; ein Feststellungsmittel (7) zur Feststellung der Gegenwart irgendeines Eindringlings und eines verdächtigen Individuums auf der Basis des Ermittlungsergebnisses der Bewegungsermittlungsvorrichtung; und ein Benachrichtigungsmittel (9) zur Information über das Ergebnis einer Feststellung durch das Feststellungsmittel.
Fahrzeugüberwachungssystem nach Anspruch 5, bei welchem das Bilderzeugungsmittel (3) an der Innenseite des Fahrzeugdachs vorgesehen ist.
Fahrzeugüberwachungssystem nach Anspruch 5, bei welchem das Bilderzeugungsmittel (3) eine Fischaugenkamera oder eine Rundsichtkamera einschließt.
Fahrzeugüberwachungssystem nach einem der Ansprüche 5 bis 7, bei welchem das Bilderzeugungsmittel (3) eine Infrarotkamera einschließt.
Fahrzeugüberwachungssystem nach einem der Ansprüche 5 bis 7, bei welchem das Bilderzeugungsmittel (3) ein Abstandsbild liefert, dessen Pixelwert entsprechend dem Abstand zu einem abgebildeten Objekt als das Eingabebild gemessen wird.