DE60131796T2

DE60131796T2 - Objektgebietdatenerzeugungsmethode und -vorrichtung, Polygonannäherungsmethode und -vorrichtung

Info

Publication number: DE60131796T2
Application number: DE2001631796
Authority: DE
Inventors: Koichi Masukura; Osamu Hori; Toshimitsu Kaneko; Takeshi Mita; Koji Yamamoto
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-03-17
Filing date: 2001-03-16
Publication date: 2008-12-04
Anticipated expiration: 2021-03-17
Also published as: CN1227624C; KR20010090466A; DE60131796D1; KR100427879B1; CN1318815A; EP1134984B1; EP1134984A3; JP2001266159A; US20010025298A1; EP1134984A2

Description

Die vorliegende Erfindung betrifft ein Verfahren und einen Herstellungs-Gegenstand für die Erzeugung von Objekt-Bereichs-Daten, welche einen Bereich eines Objekts in einem bewegten Bild anzeigen. Zusätzlich betrifft die vorliegende Erfindung ein Verfahren und eine Vorrichtung für das Erzeugen eines Näherungs-Polygons, welches in einem Rahmen eines bewegten Bildes oder eines Festbildes (statisches Bild) einen beliebigen Objekt-Bereich annähert.
In den letzten Jahren wurde, mit dem schnellen Fortschritt der Bildverarbeitungs-Technologie, ein bewegtes Bild oder ein Festbild gewöhnlich in der Form von digitalen Daten verarbeitet. Mit dieser Digitalisierung wurde eine Technik für effizientes Komprimieren von bewegten Bildern und Festbildern mit deren großen Datenmengen etabliert. Zusätzlich wird mit der Entwicklung der Netzwerk-Technologie, solcher wie Internet oder Satelliten-Funk, CATV und Ähnlichem, eine Datenbank, welche eine große Menge von bewegten Bildern und Festbildern oder ein Video-auf-Anforderung-System speichert, in einen praktikablen Zustand gebracht. Weiter wird ein automatisches Überwachungs/Steuerungs-System für eine ferne Anlage ein größeres Ziel. Auf dem Wege zu diesem Ziel gibt es, wenn ein bewegtes Bild oder ein Festbild verwendet wird, eine Reihe von Anforderungen, um solche bewegten Bilder oder Festbilder entsprechend zu einem Objekt in einem bewegten Bild oder einem Festbild zu klassifizieren.
Um auf diese Anforderungen zu reagieren, werden technische Forschungen durchgeführt, um zu bestimmen, was in einem bewegten Bild oder einem Festbild dargestellt ist. Jedoch existiert in einem bewegten Bild oder einem Festbild beides, ein Hintergrund und eine Vielzahl von Objekten. Um ein bestimmtes Objekt zu identifizieren, ist es erforderlich den Hintergrund solcher Objekte durch Vorverarbeitung zu identifizieren. Zu diesem Zeitpunkt ist es notwendig die Objekt-Bereichs-Daten in irgendeiner Form zu repräsentieren und Daten zu Objekt-Position, Größe und Form müssen präzise ausgedrückt werden. Als eine Technik für diesen Zweck ist zum Beispiel eine Alpha-Karte, repräsentierend ein Bild mit hoher Helligkeit eines Bereichs, in welchem ein Objekt existiert, und ein Bild eines Bereichs geringer Helligkeit, in welchem kein Objekt existiert, oder eine Eingrenzungs-Box (Container), annähernd ein Objekt durch eine rechteckige Form, entwickelt. Jedoch hat die Alpha-Karte Nachteile dahingehend, dass eine große Datenmenge erforderlich ist und ein großer Berechnungs-Aufwand für das Feststellen einer Position oder einer Größe eines Objekts. Zusätzlich ist es unmöglich durch eine solche Eingrenzungs-Box die Form eines Objekts zu beschreiben.
Als eine Technik für die Behebung dieser Nachteile gibt es ein Verfahren für das Annähern eines Objekts durch eine Polygon-Form. In diesem Fall werden nur die Koordinaten einer jeden Ecke eines Polygons beschrieben und daher ist eine erheblich kleinere Menge an Daten als diejenige einer Alpha-Karte erforderlich. Zusätzlich ist dieses Verfahren am besten geeignet um Objekt-Bereichs-Daten auszudrücken, da es Eigenschaften hat, durch welche die Position, Größe und Form eines Objekts getreu ausgedrückt wird.
Jedoch wurde konventionell als ein Verfahren für das Annähern eines Objekts durch eine Polygon-Form hauptsächlich eine Technik angewendet, in welcher eine Trägheits-Haupt-Achse eines Objekts erhalten sowie ein Punkt, an welchen die Trägheits-Haupt-Achse eine Objekt-Kontur kreuzt, als ein Eckpunkt definiert wird; sodann wird ein Punkt auf der Objekt-Kontur, für welchen eine Entfernung von einer Eckpunkte verbindenden Linie, zu welcher eine Entfernung von einer Eckpunkte miteinander verbindenden Linie die Entfernteste ist, als ein Eckpunkt hinzugenommen, um ein Polygon mit einer erforderlichen Anzahl von Eckpunkten zu erhalten. Bei dieser Technik ist es erforderlich jedes Mal, wenn ein Versuch gemacht wird einen Eckpunkt hinzuzufügen, einen Punkt auf der Objekt-Kontur zu suchen. Daher hat es den Nachteil gegeben, dass ein großer Rechenaufwand für Polygon-Annäherung erforderlich ist. Zusätzlich, da Eckpunkte immer auf einer Objekt-Kontur existieren, dringt ein Eckpunkte miteinander verbindendes Linien-Segment an einem heraus ragenden Bereich des Objekts in das Innere eines Objekts ein. Umgekehrt wird ein Eckpunkte verbindendes Linien-Segment bei einem Einbuchtungs-Bereich des Objekts auf die Außenseite hinaus gedrückt. Es gibt daher ein Problem darin, dass eine große Fehler-Abweichung zwischen einem Polygon und einem Objekt zu tolerieren ist.
Zusätzlich, hinsichtlich der Beschreibung eines Objekts in einem bewegten Bild, ist, im Vergleich mit der Alpha-Karte oder Eingrenzungs-Box oder Ähnlichem, aus dem Aspekt der Datenmenge oder der Beschreibung der Position, der Größe und Form des Objekts, aus dem ähnlichen Grund wie bei dem Festbild Polygon-Annäherung hervorragend geeignet. Jedoch, wenn eine Zeitreihen-Veränderung eines Objekts durch Polygon-Annäherung beschrieben wird, wird die Bewegung eines jeden Eckpunktes der Polygon-Annäherung beschrieben. Jedoch gibt es ein Problem darin, dass, um eine Position des Eckpunktes in Serie in jedem Rahmen zu beschreiben, eine große Datenmenge erforderlich ist, was störend ist.
„MPEG-4 and Rate-Distortion-Based Shape-Coding Techniques" by Katsaggelos, A. K. et al, Proceedings of the IEEE, New York, US, Vol. 86 No. 6. June 1988, pages 1126–1153 offenbart Techniken für Form-Kodierung innerhalb MPEG-4 Standardisierung. Dieses Dokument offenbart einen Rahmen für die Repräsentation von Formen durch Verwendung von deren Konturen und die Repräsentationen werden durch das Verwenden von Kurven verschiedener Ordnungen erzielt.
Entsprechend ist es ein Ziel der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung für die Erzeugung von Objekt-Bereichs-Daten bereitzustellen, erzeugend eine Trajektorie eines Eckpunktes einer Polygon-Annäherung, welche einen Bereich eines gewünschten Objekts in einem bewegten Bild mit hoher Geschwindigkeit und hoher Präzision beschreibt.
Es ist ein anderes Ziel der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung für die Erzeugung von Objekt-Bereichs-Daten bereitzustellen, beschreibend einen Bereich eines erwünschten Objekts in einem bewegten Bild mit einer geringen Datenmenge und erleichternd die Erzeugung eines solchen Objekts oder die Daten-Verarbeitung.
Es ist ein weiteres Ziel der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung bereitzustellen, welche eine Polygon-Annäherung erzeugen, die einen Bereich eines beliebigen Objekts in einem Rahmen eines bewegten Bildes oder eines Festbildes mit hoher Präzision und hoher Geschwindigkeit annähert.
Entsprechend einem ersten Aspekt der vorliegenden Erfindung ist ein Verfahren des Erzeugens von Objekt-Bereichs-Daten bereitgestellt, wie durch Anspruch 1 dargelegt. Bevorzugte Eigenschaften dieses Aspekts sind in den Ansprühen 2 bis 7 dargelegt.
Entsprechend einem zweiten Aspekt der vorliegenden Erfindung ist eine Vorrichtung für das Erzeugen von Objekt-Bereichs-Daten, wie dargelegt im Anspruch 8, bereitgestellt. Bevorzugte Eigenschaften dieses Aspekts sind in den Ansprüchen 9 bis 14 dargelegt.
Entsprechend einem dritten Aspekt der vorliegenden Erfindung ist ein Herstellungs-Gegenstand bereitgestellt, wie in dem Anspruch 15 dargelegt. Bevorzugte Eigenschaften dieses Aspekts sind in den Ansprüchen 16 bis 21 dargelegt.
Diese Zusammenfassung der Erfindung beschreibt nicht notwendigerweise alle notwendigen Eigenschaften, so dass die Erfindung auch eine Unter-Kombination dieser beschriebenen Eigenschaften sein kann.
Die Erfindung kann vollständiger verstanden werden aus der folgenden detaillierten Beschreibung, wenn genommen in Verbindung mit den begleitenden Zeichnungen, in welchen:
1 eine Ansicht ist, zeigend ein Beispiel einer Objekt-Bereichs-Daten erzeugenden Vorrichtung entsprechend einer ersten Ausführungsform der vorliegenden Erfindung;
2 ist eine Ansicht eines Beispiels von Verarbeitungsprozeduren in der ersten Ausführungsform;
3 ist ein Fluss-Diagramm eines Beispiels von Polygon-Erzeugungs-Verarbeitung;
4 ist eine Ansicht, illustrierend eine Polygon-Erzeugungs-Verarbeitung
5 ist eine Ansicht, illustrierend Eckpunkt-Löschungs-Verarbeitung und Bewegungs-Verarbeitung von Eckpunkten in einer Verarbeitung für das Erzeugen einer Polygon-Annäherung;
6 ist ein Fluss-Diagramm, darstellend ein Beispiel einer Prozedur für den Eckpunkt-Assoziierungs-Prozess;
7 ist eine Ansicht, illustrierend einen Eckpunkt-Assoziierungs-Vorgang;
8A und 8B sind Ansichten, jede illustrierend Funktions-Näherungs-Verarbeitung;
9 ist eine Ansicht, darstellend ein Beispiel einer Daten-Struktur von Objekt-Bereichs-Daten;
10 ist eine Ansicht, darstellend ein Beispiel einer Daten-Struktur von Näherungs-Polygon-Daten, enthalten in Objekt-Bereichs-Daten;
11 ist eine Ansicht, darstellend ein Beispiel einer Daten-Struktur von Eckpunkt-Trajektorien-Daten, enthalten in Näherungs-Polygon-Daten;
12 ist ein Fluss-Diagramm, darstellend ein Beispiel von Verarbeitungsprozeduren in einer zweiten Ausführungsform der vorliegenden Erfindung; und
13 ist eine Ansicht, illustrierend die Verarbeitung in der zweiten Ausführungsform der vorliegenden Erfindung.
Es wird nun eine bevorzugte Ausführungsform eines Verfahrens und einer Vorrichtung für die Erzeugung von Objekt-Bereichs-Daten und ein Verfahren und eine Vorrichtung für die Näherungs-Polygon-Erzeugung entsprechend der vorliegenden Erfindung mit Bezug zu den begleitenden Zeichnungen beschrieben.
1 zeigt ein Konfigurations-Beispiel einer Objekt-Bereichs-Daten erzeugenden Apparatur entsprechend der ersten Ausführungsform der Erfindung. Wie in 1 gezeigt, umfasst diese Objekt-Bereichs-Daten erzeugende Vorrichtung eine Bild-Speicherungs-Vorrichtung 100, einen Polygon-Erzeuger 101, eine Eckpunkt-Assoziierungs-Einheit 102, eine Funktions-Annäherungs-Einheit 103 und eine Objekt-Bereichs-Daten Speicher-Vorrichtung 104.
Die Bild-Speicher-Vorrichtung 100 speichert Bild-Daten, solche wie Daten bewegter Bilder oder Festbild-Daten, und umfasst eine Harddisk oder optische Platte und einen Halbleiter-Speicher oder Ähnliches.
Der Polygon-Generator 101 erzeugt ein Polygon, das einen Bereich eines Objekts repräsentiert, welcher aus Daten bewegter Bilder aus jedem Rahmen, in welchem ein solches Objekt existiert, zu extrahieren ist. Der Term „Objekt", wie hier verwendet, bezeichnet zum Beispiel eine bestimmte Person oder Tier in einem Bild oder irgendwelche anderen Kreaturen oder Erzeugnisse oder strukturierte Materialien, solche wie ein Fahrzeug oder Gebäude (oder Teile dieser Materialien, einschließend menschlichen Kopf, Fahrzeug-Chassis oder Tor eines Gebäudes). Ein Objekt wird spezifiziert durch einen Operator oder ein Objekt-extrahierenden Algorithmus, so wie für eine stereoskopische Darstellung verwendet. Hiernach wird ein Polygon, repräsentierend eine Fläche für ein Objekt, ein Näherungs-Polygon genannt. Ein Näherungs-Polygon wird repräsentiert durch die Koordinaten (X-Y Koordinaten-Gruppe) eines jeden Eckpunkts eines solchen Polygons.
Es gibt zwei Verfahren für das Erzeugen eines Näherungs-Polygons: ein Verfahren des Erzeugens von Polygonen mit deren in der Anzahl identischen Eckpunkten über alle Rahmen bezüglich identischer Objekte und ein Verfahren, in welchem die Anzahl der Eckpunkte in einem Polygon unterschiedlich sein kann von einem zu einem anderen Rahmen.
Die Eckpunkt-Assoziierungs-Einheit 102 assoziiert korrespondierende Eckpunkte von Näherungs-Polygonen zwischen benachbarten Rahmen bezüglich der Eckpunkte von über eine Vielzahl von Rahmen für jedes Objekt erzeugten Näherungs-Polygonen in einer verbundenen Weise, und erzeugt eine Trajektorie der Eckpunkte des Näherungs-Polygons für jedes Objekt über eine Vielzahl von Rahmen. Das bedeutet, diese Verarbeitung der Eckpunkt-Assoziation wird für jedes aus dem bewegten Bild zu extrahierende Objekt ausgeführt beginnend mit einem Rahmen, in welchem das Objekt erscheint, bis zu einem Rahmen, in welchem es verschwindet.
Zum Beispiel, wenn ein Eckpunkt eines Näherungs-Polygons, in welchem ein Bereich eines Objekts in einem Rahmen angenähert ist, assoziiert ist mit einem Eckpunkt des korrespondierenden Polygons des benachbarten Rahmens, wodurch eine Trajektorie des Eckpunkts erhalten wird, kann eine Entfernung zwischen dem Eckpunkt in einem Rahmen und dem assoziierten Eckpunkt des benachbarten Rahmens so bestimmt werden, dass diese minimal ist. Vor dem Erhalten dieser Entfernung können zwei Polygone so zueinander ausgerichtet werden, dass deren Schwerpunkte miteinander zusammenfallen.
Zusätzlich wird zum Beispiel eine Position eines Eckpunkts des benachbarten Rahmens aus einer Trajektorie des bereits assoziierten Eckpunkts berechnet, so dass eine Entfernung zwischen dem berechneten Eckpunkt und einem Eckpunkt in einem benachbarten Rahmen so bestimmt werden kann, dass diese ein Minimum ist.
Außerdem wird zum Beispiel das charakteristische Maß der Eckpunkte eines Polygons so berechnet, dass ein Eckpunkt, der sein am wenigsten abweichendes charakteristisches Maß in dem benachbarten Rahmen hat, mit einem anderen Eckpunkt assoziiert werden kann.
Die Funktions-Annäherungs-Einheit 103 führt Funktions-Annäherung für jedes Objekt bezüglich zur Trajektorie eines jeden Eckpunkts in einem Näherungs-Polygon (eine Serie von Koordinaten der korrespondierenden Eckpunkte über eine Vielzahl von Rahmen von einem Rahmen, in welchem ein Objekt erscheint bis zu einem Rahmen, in welchem ein Objekt verschwindet) aus. Zum Beispiel, mit Bezug zu jedem Eckpunkt eines Näherungs-Polygons eines Objekts, wird eine Trajektorie eines Eckpunkts als eine Funktion einer Rahmen-Nummer „f" oder einer Zeitmarke „t" einem bewegten Bild für jede X- und Y-Koordinate zugeordnet. Funktions-Näherungs-Verfahren schließen Annäherung unter Verwendung einer geraden Linie oder Annäherung unter Verwendung einer Spline-Kurve oder Ähnlichem ein. Das Ergebnis von Funktions-Annäherung wird ausgedrückt durch einen Parameter-Wert, zum Beispiel einen solchen wie einen Polynom-Koeffizienten einer Näherungs-Funktion. Auf diese Weise wird die Trajektorie von Eckpunkten über eine Vielzahl von Rahmen durch eine Funktion angenähert und die Funktion wird nur durch Parameter beschrieben, wodurch eine aufzuzeichnende Datenmenge reduziert ist.
Die Objekt-Bereichs-Daten-Speicher-Vorrichtung 104 speichert in Übereinstimmung mit einem vorgegebenen Format Objekt-Bereichs-Daten, erzeugt durch die Funktions-Annäherungs-Einheit 103, die Daten enthaltend Daten, erhalten durch Beschreiben einer Zeitreihen-Trajektorie einer jeden Koordinate eines jeden Eckpunkts des Näherungs-Polygons eines jeden Objekts in einer Funktions-Annäherungs-Weise (zum Beispiel Parameter-Werte, solche wie Polynom-Koeffizienten der Näherungs-Funktion). So wie die Bild-Speicher-Vorrichtung 100 und Ähnliche, umfasst auch die Objekt-Bereichs-Daten-Speicher-Vorrichtung 104 eine Harddisk oder Optische Platte, einen Halbleiter-Speicher und Ähnliches.
Die bezüglich eines jeden Objekts erzeugten Objekt-Bereichs-Daten werden verwendet, wenn ein Objekt in einer Datenbank bewegter Bilder oder einem Überwachungs/Steuerungs-System erkannt oder klassifiziert wird.
Die Bild-Speicher-Vorrichtung 100 und die Objekt-Bereichs-Daten-Speicher-Vorrichtung 194 können unterschiedliche Speicher-Vorrichtungen oder identische Speicher-Vorrichtungen enthalten.
2 ist ein Fluss-Diagramm, darstellend ein Beispiel des Verarbeitungs-Ablaufs bei Verwendung einer Objekt-Bereichs-Daten-Erzeugungs-Vorrichtung entsprechend der vorliegenden Erfindung.
Eine Mannigfaltigkeit von Verarbeitungsprozeduren schließt ein:

(1) ein Verfahren des Ausführens sequentieller Verarbeitung eines jeden Rahmens durch Lesen eines Rahmens, um eine Reihe von Verarbeitungs-Funktionen (Polygon-Erzeugungs-Verarbeitung, Eckpunkt-Assoziierungs-Verarbeitung, Funktions-Annäherungs-Verarbeitung) in den Schritten S11 bis S13 auszuführen und einen nächsten Rahmen zu lesen;
(2) ein Verfahren des zuerst Ausführens der Verarbeitung für das Ausführen der Polygon-Erzeugungs-Verarbeitung im Schritt S11 mit Bezug zu einer Vielzahl von Rahmen, ausführend Eckpunkt-Assoziierungs-Verarbeitung im Schritt S12 im Paket und Ausführen der Funktions-Annäherungs-Verarbeitung im Schritt S13; und
(3) ein Verfahren des zuerst Ausführens von Polygon-Erzeugungs-Verarbeitung im Schritt S11 mit Bezug zu allen Ziel-Rahmen, des Ausführens der Eckpunkt-Assoziierungs-Verarbeitung im Schritt S12 im Paket, und des Ausführens der Funktions-Annäherungs-Verarbeitung im Schritt S13 im Paket.

Die Objekt-Bereichs-Daten erzeugende Apparatur entsprechend der vorliegenden Erfindung kann natürlich unter Verwendung von Software implementiert werden. In diesem Fall kann ein Programm auf einem Computer ausgeführt werden durch Erzeugen des Programms in Übereinstimmung mit dem in 2 gezeigten Fluss-Diagramm, zum Beispiel, und durch Installieren des Programms in dem Computer.
Hiernach wird eine Beschreibung hauptsächlich für einen Fall gegeben, in welchem Funktions-Annäherung, verwendend die Funktions-Annäherungs-Einheit 103, ausgeführt wird, wodurch die Datenmenge verringert wird, und Objekt-Bereichs-Daten aufgezeichnet werden. Es ist möglich den Koordinaten-Wert eines jeden Eckpunkts einer Annäherungs-Graphik für jeden Rahmen in den Objekt-Bereichs-Daten, ohne das Ausführen der Funktions-Annäherung unter Verwendung der Funktions-Annäherungs-Einheit 103, aufzuzeichnen (in dem letzteren Fall kann die Funktions-Annäherungs-Einheit 103 weggelassen sein).
Hiernach wird jede der Verarbeitungs-Funktionen in der vorliegenden Ausführungs-Form detaillierter beschrieben werden.
Zuerst wird der Prozess der Polygon-Erzeugung unter Verwendung des Polygon-Generators 101 mit Bezug zu den 3 und 5 beschrieben.
3 zeigt ein Beispiel von Verarbeitungsprozeduren für das Erzeugen einer Polygon-Annäherung. Welche einen Bereich eines Objekts eines Rahmens, in welchem das Objekt existiert, anzeigt.
Zuerst wird im Schritt S21 wird ein Anfangs-Polygon mit einer Vielzahl von Eckpunkten erzeugt, welches den Bereich eines Objekts präzise anzeigt.
Als Eingabe-Bilder können verwendet werden:
ein Pixel-Bild (Alpha-Karte, Bit-Map), in welchem ein Bereich in welchem ein Objekt existiert als eine „1" definiert ist, oder ein Bereich in welchem ein Objekt nicht existiert als „0" definiert ist;
ein Kanten-Bild, erhalten durch Entfernen einer scharfen Kante aus dem Bild; oder
irgendein anderes Bild-Format, solange ein Bereich, in welchem ein Objekt existiert, oder ein Bereich, in welchem ein Objekt nicht existiert, getrennt von einander identifiziert werden kann.
Ein Beispiel eines Eingabe-Bildes ist in einem Bild 301 in 4 gezeigt.
Ein Punkt auf einer Objekt-Kontur wird in dem Eingabe-Bild gesucht und dieser Punkt wird als ein Eckpunkt eines Anfangs-Polygons definiert. Wenn dieser Eckpunkt als ein Start-Punkt definiert ist, während eine Objekt-Kontur in kleinem Abstand verfolgt wird, wird der Eckpunkt auf der Kontur als ein Eckpunkt definiert und wird sequentiell dem Anfangs-Polygon hinzugefügt. Gewöhnlich ist ein Polygon-Annäherungs-Fehler, obwohl das Anfangs-Polygon als ein Polygon mit einer sehr großen Anzahl von Eckpunkten gebildet ist, klein (zum Beispiel die Differenz zwischen einer Fläche für einem tatsächlichen Objekt-Bereich und einer Fläche für das Näherungs-Polygon oder ein Wert, erhalten durch Teilen dieser Differenz durch die Fläche für den tatsächlichen Objekt-Bereich oder die Fläche des Näherungs-Polygons). Ein Beispiel des Anfangs-Polygons, erhalten durch das Eingabe-Bild 301 ist in einem Bild 302 in 4 gezeigt. In diesem Fall, in welchem eine große Datenmenge erforderlich ist, wird dann Verarbeitung zur Verringerung der großen Datenmenge ausgeführt.
Im Schritt S22 wird ein charakteristisches Maß für jeden Eckpunkt des erhaltenen Anfangs-Polygons berechnet. Das charakteristische Maß bewertet, wie sehr der Polygon-Annäherungs-Fehler anwächst, wenn ein solcher Eckpunkt entfernt wird. Das charakteristische Maß kann ein Winkel sein, geformt durch diesen Eckpunkt und zwei zu diesem benachbarte Eckpunkte, oder eine Fläche für ein Dreieck, gebildet durch diesen Eckpunkt und zwei zu diesem benachbarte Eckpunkte.
Ein Beispiel für eine Beziehung zwischen einem Eckpunkt und dessen charakteristischem Maß ist in einem in 5 gezeigten Bild 304 dargestellt. In dem Bild 304 ist ein an einem Eckpunkt t_i und zwei zu diesem benachbarten Eckpunkten gebildeter Winkel als θ_i definiert und eine Fläche für ein Dreieck, gebildet an diesem Eckpunkt und zwei zu diesem benachbarten Eckpunkten, ist definiert als s_i.
Wo eine Fläche s_i für ein Dreieck als charakteristisches Maß des Eckpunkts t_i = (x_i, y_i) verwendet ist, wenn die benachbarten Eckpunkte definiert sind als ti-1 = (xi-1, yi-1) ti+1 = (xi+1, yi+1) wird dascharakteristische Maß s_i repräsentiert durch: si = |(xi+1 – xi)·(yi-1, yi) – (xi-1, xi)·(yi+1, yi)|/2
Wenn ein Polygon vor dem Entfernen eines Eckpunkts t_i ein Objekt gut annähert, ist ein Objekt-Fehler, erhöht durch Entfernen des Eckpunkts t_i, proportional zu dem charakteristischen Maß s_i. Daher wird der Objekt-Fehler wenig beeinflusst, wenn das charakteristische Maß klein ist, auch wenn der Eckpunkt t_i entfernt ist.
Im Schritt S23 wird ein Eckpunkt, für welchen der kleinste Polygon-Annäherungs-Fehler eintritt, wenn der Eckpunkt weggelassen wird (das bedeutet, der Eckpunkt mit dem minimalem charakteristischen Maß s_i), entsprechend dem im Schritt S22 erhaltenen charakteristischen Maß ausgewählt, und ein solcher Eckpunkt wird entfernt.
Wenn ein weggelassener Punkt zu einem herausragenden Teil eines Polygons korrespondiert, gibt es eine hohe Wahrscheinlichkeit, dass der durch Entfernen eines Eckpunkts erzeugte Näherungs-Fehler zu einem Fehler korrespondiert, der durch ein Polygon beim Eindringen in das Innere eines Objekts erzeugt wird. In diesem Fall werden die beiden zu dem entfernten Eckpunkt benachbarten Eckpunkte zur Außenseite des Polygons verschoben, wodurch ein Näherungs-Fehler auf ein Minimum reduziert wird.
Umgekehrt, wenn ein gelöschter Punkt zu einem Einbuchtungs-Bereich eines Polygons korrespondiert, dann besteht eine hohe Wahrscheinlichkeit, dass der durch Entfernen eines Eckpunkts erzeugte Näherungs-Fehler zu einem durch Hinausdrücken des Polygons nach außen aus dem Objekt erzeugten Fehler korrespondiert. In diesem Fall werden daher zwei Eckpunkte benachbart zu dem gelöschten Eckpunkt zur Innenseite des Polygons bewegt, wodurch ein Näherungs-Fehler auf ein Minimum reduziert wird.
Obgleich ein Bewegungs-Vektor der benachbarten Eckpunkte beliebig sein kann, wenn der Bewegungs-Betrag zu groß ist, wächst der Näherungs-Fehler umgekehrt an. Deswegen kann dieser Vektor zum Beispiel aus einem Polygon-Annäherungs-Fehler oder dessen peripheren Eckpunkt-Koordinaten bestimmt werden.
Im Fall der Bestimmung aus dem Polygon-Annäherungs-Fehler wird nach dem besten Bewegungs-Vektor gesucht, während ein Bewegungs-Vektor verändert wird (zum Beispiel wird ein Bewegungs-Vektor mit dem minimalen Fehler übernommen).
In dem Fall der Bestimmung aus dessen Eckpunkt-Koordinaten, zum Beispiel wenn ein Eckpunkt t_i entfernt wird, wird ein Bewegungs-Vektor v_i eines benachbarten Eckpunkts t_i-1 und t_i+1 als ein Vektor senkrecht zu einer geraden Linie, verbindend einen Eckpunkt t_i+1 zu einem Eckpunkt t_i-1, bestimmt, wobei der Vektor eine Länge hat, welche die Hälfte einer Entfernung zwischen der geraden Linie, verbindend den Eckpunkt t_i+1 mit mit dem Eckpunkt t_i-1, ist. Wenn ein Vektor, verbindend den Eckpunkt t_i mit dem Eckpunkt t_i-1, als a_i definiert ist und ein Vektor, verbindend den Eckpunkt t_i+1 mit mit dem Eckpunkt t_i-1, als b_i definiert ist, ist der Bewegungs-Vektor v_i wie folgt ausgedrückt. vi = {ai – (ai·bi/|bi|2) × bi}/2wobei (a_i·b_i/|b_i|²) × b_i eine positive Projektion von a_i und b_i bezeichnet.
Ein Beispiel eines Bewegungs-Vektors des benachbarten Eckpunkts, wenn ein Eckpunkt gelöscht ist, ist in einem Bild 305 in 5 gezeigt und ein Beispiel, wenn die benachbarten Eckpunkte durch den Bewegungs-Vektor bewegt werden, ist in einem Bild 306 in 5 dargestellt.
Die Eckpunkte werden entfernt und die benachbarten Eckpunkt werden bewegt, wodurch eine Notwendigkeit entsteht das charakteristische Maß eines Eckpunkts zu aktualisieren. Im Schritt S24 wird das charakteristische Maß eines zu aktualisierenden Eckpunkts neu berechnet. Der zu aktualisierende Eckpunkt ist ein im Schritt S23 bewegter Eckpunkt (Eckpunkte t_i-1 und t_i+1 zeigen ein Beispiel, dargestellt in 5) und die zu diesem benachbarten Eckpunkte (t_i-2 und t_i+2 in einem Beispiel in 5).
Im Schritt S25 wird bestimmt, ob oder ob nicht Beendigungs-Bedingungen erfüllt sind.
Eine Mannigfaltigkeit von Beendigungs-Bedingungen wird unten beschrieben.
Zum Beispiel gibt es ein Verfahren des Verwendens einer Beendigungs-Bedingung abhängend davon, ob die Anzahl von Eckpunkten in einem Näherungs-Polygon viel größer als eine spezifizierte Zahl ist. In diesem Fall, wenn das Polygon die spezifizierte oder geringere Anzahl von Eckpunkten nach der Löschung von Eckpunkten einschließt, wird die Verarbeitung beendet. Wenn Eckpunkte in Anzahl gleich oder übersteigend die spezifizierte Anzahl von Eckpunkten übrig bleiben, wird zum Schritt S23 zurückgegangen, in welchem die Schritte S23 bis S25 wiederholt werden, bis das Polygon die spezifizierte Anzahl von Eckpunkten oder weniger einschließt.
Zusätzlich, neben einem Verfahren der Beurteilung, ob oder ob nicht ein Polygon eine spezifizierte Anzahl von Eckpunkten oder weniger einschließt, gibt es zum Beispiel ein Verfahren für das Spezifizieren einer Beendigungs-Bedingung in Übereinstimmung damit, ob oder ob nicht ein Polygon-Annäherungs-Fehler einen Schwellwert überschreitet. In diesem Fall, wenn der Polygon-Annäherungs-Fehler einen solchen Schwellwert überschreitet, endet die Verarbeitung.
Außerdem kann eine UND oder ODER-Bedingung aus einer Vielzahl von Bedingungen eingesetzt werden.
Wo Funktions-Annäherung, verwendend die Funktions-Annäherungs-Einheit 103, ausgeführt wird, ist es vorzuziehen, dass die Anzahl der Eckpunkte gleich ist (es gibt ein Verfahren, bei welchem die Anzahl von Eckpunkten aller Objekte für jedes zu einander identisch ist und ein Verfahren, bei welchem die Anzahl der Eckpunkte von Objekten verschieden von einander sein kann). Umgekehrt, wenn Funktions-Annäherung nicht unter Verwendung der Funktions-Annäherungs-Einheit 103 ausgeführt wird, muss die Anzahl der Eckpunkte nicht gleich sein.
In einem Bild 303, gezeigt in 4, ist ein Beispiel eines Näherungs-Polygons dargestellt, das einen durch diese Verarbeitung erhaltenen Bereich repräsentiert.
Nun wird Eckpunkt-Assoziierungs-Verarbeitung in den benachbarten Rahmen unter Verwendung der Eckpunkt-Assoziierungs-Einheit 102 mit Bezug zu den 6 und 7 beschrieben.
6 zeigt ein Beispiel von Verarbeitungsprozeduren für das Assoziieren eines jeden Eckpunkts eines Näherungs- Polygons, das einen Bereich für jedes für jeden Rahmen extrahierte Objekt repräsentiert.
Zuerst, im Schritt S71, wenn ein Näherungs-Polygon, repräsentierend einen Bereich eines Objekts in einem Rahmen, als P_i definiert ist, und ein Näherungs-Polygon in einem nächsten (benachbarten) Rahmen eines solchen Rahmens als P_i+1 definiert ist, werden die Schwerpunkte dieser Polygone P_i und P_i+1 erhalten. Beispiele der Näherungs-Polygone P_i und P_i+1 und der damit erhaltene Schwerpunkte sind in den Bildern 311 und 321 in 7 gezeigt.
Wenn es mehrere Objekte (deren Näherungs-Polygone) in dem benachbarten Rahmen gibt, wird eine Entfernung zwischen dem Schwerpunkt des Näherungs-Polygons P_i des Ziel-Objekts in dem Rahmen und jenem in jedem der Näherungs-Polygone in dem benachbarten Rahmen berechnet; sodann wird ein Näherungs-Polygon, dessen Schwerpunkt unter diesen die geringste Entfernung aufweist, als ein Näherungs-Polygon P_i+1 als das zu dem Objekt korrespondierende definiert. Natürlich können die Näherungs-Polygone unter Verwendung einer Variante eines anderen Verfahrens mit einander assoziiert sein.
Als Nächstes betrachte ein Polygon P'_i, in welchem der Schwerpunkt des Näherungs-Polygons P_i in dem Rahmen bewegt wird, um im Schwerpunkt des Näherungs-Polygons P_i+1 in dem benachbarten Rahmen positioniert zu sein. Ein Beispiel einer Beziehung zwischen jedem der Polygone P_i, P_i+1 und P'_i und jedem von deren Schwerpunkten wird in den Bildern 312 und 322 in 7 dargestellt.
Allerdings, wenn eine Entfernung zwischen dem Schwerpunkt des Näherungs-Polygons P_i und jenem des Näherungs-Polygons P_i+1 kurz kurz ist, kann der Schwerpunkt des Näherungs-Polygons P_i als P'_i definiert werden, ohne Bewegung zu verursachen, so dass der Schwerpunkt des Näherungs-Polygons P_i zusammenfällt mit jenem des Näherungs-Polygons P_i+1.
Im Schritt S73 wird jeder Eckpunkt des Polygons P'_i mit jedem Eckpunkt von P_i+1 assoziiert. Ein Beispiel, in welchem diese Eckpunkte miteinander assoziiert werden, ist in den Bildern 313 und 323 in 7 dargestellt.
Hiernach werden Beispiele einer Mannigfaltigkeit von Eckpunkt-Assoziierungs-Funktionen gezeigt.
(Verfahren 1: Verfahren für das Bestimmen, basierend auf der Entfernung zwischen Eckpunkten)
Eine Entfernung zwischen einem Eckpunkt und jedem Eckpunkt des Näherungs-Polygons P_i+1 in dem benachbarten Rahmen wird für jedes Polygon P'_i erhalten, welches zu einer Position bewegt worden ist, in welcher dessen Schwerpunkt mit demjenigen des Näherungs-Polygons P_i+1 zusammenfällt, und ein Eckpunkt des Polygons P_i+1 mit dessen kürzester Entfernung ist definiert als ein Eckpunkt korrespondierend zu einem solchen Eckpunkt.
Als ein Ergebnis des obigen Verarbeitens, wenn einer oder mehrere von den Eckpunkten des Polygons P_i+1 nicht mit Eckpunkten des Polygons P'_i unter den Eckpunkten des Polygons P_i+1 assoziiert werden können, wird ein solcher Eckpunkt assoziiert mit einem Eckpunkt, welcher am nächsten zu den Eckpunkten des Polygons P'_i ist (dieses gilt für die Verfahren 2 und 3).
(Verfahren 2: Verfahren für das Bestimmen der Assoziation basierend auf der Form eines Polygons)
Das charakteristische Maß eines jeden Eckpunkts eines Näherungs-Polygons in jedem Rahmen wird erhalten und die Eckpunkte mit deren zu einander nächstliegenden charakteristischen Maßen werden miteinander assoziiert. Die charakteristischen Maße schließen eine Fläche oder einen Eckpunkt-Winkel eines Dreiecks, erzeugt an dem Eckpunkt und mit den zu diesem benachbarten beiden Eckpunkten, ein.
(Verfahren 3: Verfahren für das Berechnen einer zu assoziierenden Eckpunkt-Position eines Rahmens, basierend auf der Trajektorie des Eckpunkts)
Die Trajektorie des j-ten Eckpunkts von den in den Rahmen assoziierten Eckpunkten des Polygons P₁, ..., P_i wird angenähert durch eine Zeit-Funktion T_j(t);
eine Eckpunkt-Position in dem Rahmen i+1 wird berechnet, basierend auf der Funktion T_j(t); und
ein Eckpunkt von den Eckpunkten des Polygons P_i+1 in dem Rahmen, welcher am nächsten zu der berechneten Eckpunkt-Position ist, wird als ein Eckpunkt definiert, welcher zu dem j-ten Eckpunkt korrespondiert.
(Verfahren 4)
Wo in den obigen Verfahren (1 bis 3) die Anzahl von Eckpunkten in dem Polygon P'_i gleich ist zu derjenigen des Polygons P_i+1, wenn vielfache Eckpunkte des Polygons P'_i assoziiert werden mit demselben Eckpunkt in dem Polygon P_i+1 als ein Ergebnis der Verarbeitung (das bedeutet, wenn einer oder mehrere Eckpunkte in dem Polygon P_i+1 nicht mit den Eckpunkten des Polygons P'_i assoziiert werden können), dann können solche Assoziationen nicht verwendet werden. Zusätzlich kann die Verarbeitung fortgeführt werden, um eine andere Assoziation herauszufinden, so dass die Eckpunkte des Polygons P'_i assoziiert werden mit denen des Polygons P_i+1 auf einer eins-zu-eins-Basis. Zum Beispiel, wenn vielfache Eckpunkte des Polygons P'_i mit demselben Eckpunkt des Polygons P_i+1 zu assoziieren sind, wird ein geeigneter Eckpunkt von den vielen Eckpunkten des Polygons P'_i ausgeschlossen (um assoziiert zu werden mit dem Eckpunkt des Polygons P_i+1), und es wird versucht die verbleibenden Eckpunkte mit einem Eckpunkt von den Eckpunkten des Polygons Pi+1, welcher nicht assoziiert ist mit dem Eckpunkt des Polygons P'_i, zu assoziieren.
(Verfahren 5)
In den obigen Verfahren (1 bis 4), in dem Fall der Begrenzung der Assoziation derart, dass kein Teilbereich auftritt, in welchem die Sequenz der Eckpunkt-Assoziation ersetzt ist mit Eckpunkt-Assoziation (zum Beispiel ein Fall, in welchem die Eckpunkte der Polygone in den wechselseitig benachbarten Rahmen in einem Uhrzeiger-Sinn miteinander korrespondieren), wenn Assoziierung erhalten wird, derart, dass die Sequenz der Eckpunkt-Assoziation nicht umgekehrt ist, wird eine solche Assoziation nicht verwendet. Die Verarbeitung wird dann fortgesetzt, um eine andere Assoziation mit sequentieller Ordnung zu finden. Es wird zum Beispiel ein Teil oder die gesamte Assoziation verändert und die Verarbeitung wird auf eine Versuch und Irrtum -Weise wiederholt.
(Verfahren 6)
Wo die Anzahl von Eckpunkten in einem Polygon P'_i gleich ist zu der eines Polygons P_i+1, wenn die Sequenz von Eckpunkten für die Assoziation begrenzt ist in einer vorbestimmten Reihenfolge, zum Beispiel einer solchen wie der Uhrzeiger-Sinn-Sequenz, dann wird eine kürzeste Entfernung zwischen jedem der Eckpunkte des Polygons P'_i und jedem der Eckpunkte des Polygons P_i+1 erhalten, der Eckpunkt des Polygons P'_i wird assoziiert mit dem Eckpunkt des Polygons P'_i+1 und weiter, der rechts benachbarte Eckpunkt des assoziierten Eckpunkts des Polygons P'_i wird assoziiert mit dem rechts benachbarten Eckpunkt des assoziierten Eckpunkts des Polygons P_i+1 und darauf folgend kann eine solche Assoziierung ähnlich in der Richtung des Uhrzeiger-Sinns wiederholt werden. Zusätzlich, anstatt dass zuerst ein Eckpunkt assoziiert wird, wird eine Summe aus einer Entfernung zwischen Eckpunkten in dem Fall des Assoziierens einer vorbestimmten Anzahl (einer Vielzahl) von zueinander benachbarten Eckpunkten in dem Polygon P'_i mit der gleichen Anzahl von Eckpunkten benachbart zueinander in dem Polygon P_i+1 bestimmt, und eine Korrespondenz der vorbestimmten Anzahl von Eckpunkten, in welchen die Summe ein Minimum ist, übernommen. Weiter wird der rechts benachbarte Eckpunkt von der assoziierten vorbestimmten Anzahl von Eckpunkten des Polygons P'_i assoziiert mit demjenigen des Polygons P_i+1, und darauf folgend kann die Assoziierung ähnlich in der Richtung des Uhrzeiger-Sinns wiederholt werden. Neben der Verwendung einer Entfernung zwischen den Eckpunkten für das Bestimmen der ersten Eckpunkt-Assoziation, wie oben beschrieben, kann ein Verfahren für das Verwenden eines charakteristischen Maßes oder eines Verfahrens für das Verwenden einer berechneten Eckpunkt-Position verwendet werden.
(Verfahren 7)
Zusätzlich, wenn in einer Variation des obigen Verfahrens 1 die Anzahl von Eckpunkten in dem Polygon P'_i gleich ist zu derjenigen des Polygons P_i+1, dann wird eine Entfernung zwischen jedem der Eckpunkte des Polygons P'_i erhalten, welches erhalten wird durch Bewegen des Näherungs-Polygons P_i+1 in dem Rahmen und jeden der Eckpunkte des Näherungs-Polygons P_i+1 in dem benachbarten Rahmen in der Weise, dass eine Kombination von Eckpunkt-Assoziationen übernommen werden kann, so dass eine Summe von Entfernungen zwischen allen den Eckpunkten, von Kombinationen in welchen die Eckpunkte des Polygons P'_i eins-zu-eins assoziiert sind mit denen des Polygons P_i+1 minimiert ist. In Bezug zu den Verfahren 2 und 3 kann eine ähnlich Variation angewandt werden, Im Verfahren 2 kann die Summe von Differenzen der charakteristischen Maße eingesetzt werde und in Verfahren 3 kann die Summe von Entfernungen zwischen einer berechneten Eckpunkt-Position und einer Assoziations-Eckpunkt-Position verwendet werden.
Weiter ist es zu diesem Zeitpunkt möglich, eine Bedingung zu betrachten, in welcher eine Sequenz nicht wie oben beschrieben verändert wird, eine Bedingung basierend auf der eins-zu-eins Korrespondenz oder eine Bedingung basierend auf der eins-zu-eins Korrespondenz ohne eine Veränderung der Sequenz der Eckpunkte.
In Bezug zu einem Objekt, wenn die Anzahl von Eckpunkten in einem Näherungs-Polygon, welches einen Bereich für das Objekt repräsentiert, sich unterscheiden kann abhängig von einem Rahmen über eine Zeitdauer von einem Rahmen, in welchem das Objekt erscheint bis zu einem Rahmen, in dem das Objekt verschwindet, wird die folgende Verarbeitung ausgeführt, so dass der obige Fall in einer Weise verarbeitet werden kann, in welcher die Anzahl von Eckpunkten in dem Polygon P'_i gleich ist zu derjenigen in dem Polygon P_i+1.
Es ist angenommen, dass die Anzahl von Eckpunkten für das Erhalten einer Trajektorie, das ist die Anzahl von Eckpunkten eines Näherungs-Polygons, welches einen Bereich für ein Objekt repräsentiert, definiert ist als „s" und die Anzahl von Eckpunkten in dem Näherungs-Polygon in jedem Rahmen gleich zu oder kleiner als „s" ist. Wenn ein Rahmen eine Anzahl von Eckpunkten s – Δs (Δs > 0) hat, wird einer der Eckpunkte des Näherungs-Polygons in diesem Rahmen als ein gemultiplexter Eckpunkt der Δs + 1 Anzahl von Eckpunkten mit deren identischen Koordinaten betrachtet (alternativ werden Δs Eckpunkte als ein gemultiplexter Eckpunkt von zwei Eckpunkten mit deren identischen Koordinaten betrachtet oder die andere Assoziation, verwendend eine ähnliche Technik, wird ausgeführt), wodurch Verarbeitung (Verfahren 1 bis 7) in einer ähnlichen Weise zu einem Fall, in welchem die Anzahl von Eckpunkten gleich ist, verwendet werden kann. Es gibt ein Verfahren für das Ausführen der Verarbeitung nach dem im-voraus-Bestimmen der zu verarbeitenden Eckpunkte als gemultiplext und ein Verfahren, in welchem ein als gemultiplext verarbeiteter Eckpunkt als ein Ergebnis der Verarbeitung bestimmt wird.
Es wird angenommen, dass die Anzahl von Eckpunkten für das Erhalten einer Trajektorie, das ist die Anzahl von Eckpunkten eines Näherungs-Polygons, welches einen Bereich für ein Objekt repräsentiert, als „s" definiert ist und die Anzahl von Eckpunkten in dem Näherungs-Polygon in jedem Rahmen größer als „s" ist. Wenn ein Rahmen eine Anzahl von Eckpunkten s + Δs (Δs > 0) hat, werden die Koordinaten mit Bezug zur nicht-assoziierten Δs-Anzahl von Eckpunkten des Näherungs-Polygons dieses Rahmens speziell als ein isolierter Punkt aufgezeichnet; oder solche Daten werden als ein isolierter Punkt verworfen (die Eckpunkte werden als nicht vorhanden verarbeitet), wobei Verarbeitungen (Verfahren 1 bis 7) verwendet werden können in einer Weise ähnlich zu einem Fall, in welchem die Anzahl von Eckpunkten gleich ist (es gibt ein Verfahren für das Ausführen der Verarbeitung nach dem im-voraus-Bestimmen, dass die Eckpunkte als isolierte Punkte zu betrachten sind, und ein Verfahren, in welchem ein als isolierter Punkt betrachteter Eckpunkt als ein Ergebnis der Verarbeitung bestimmt wird).
Zusätzlich, wenn die Anzahl von Eckpunkten für das Erhalten einer Trajektorie, das bedeutet, die Anzahl von Eckpunkten eines Näherungs-Polygons, welches einen Bereich für ein Objekt repräsentiert, als „s" definiert ist und die Anzahl von Eckpunkten in dem Näherungs-Polygon in jedem Rahmen sich von einem Wert kleiner als „s" zu einem Wert größer als „s" verändert, kann die obige Verarbeitung selektiv ausgeführt werden in Übereinstimmung damit ob oder ob nicht die Anzahl von Eckpunkten des Näherungs-Polygons in dem Rahmen gleich zu oder kleiner als „s" ist oder größer als „s" ist.
Nun wird Funktions-Annäherungs-Verarbeitung unter Verwendung einer Funktions-Annäherungs-Einheit 103 im Folgenden beschrieben.
Wenn die obige Polygon-Annäherung und Eckpunkt-Assoziation bezüglich aller Rahmen in welchen Objekte existieren vollendet ist, wird die Trajektorie einer jeden Koordinate eines jeden Eckpunkts in dem Näherungs-Polygon eines jeden Objekts unter Verwendung einer Funktion angenähert, wodurch die Menge der Daten verringert wird. Als eine Funktions-Annäherung kann irgendeine Näherungs-Technik, eine solche wie lineare Näherung, quadratische Näherung oder Spline-Funktion-Näherung eingesetzt werden.
Die 8A und 8B sind Ansichten, jede illustrierend einen detaillierteren Überblick über die Verarbeitung für das Annähern der Trajektorie eines Eckpunkts in einem Näherungs-Polygon unter Verwendung der Funktions-Annäherungs-Einheit 103.
In 8A bezeichnet die Bezugsnummer 331 einen Rahmen in einem für das Verarbeiten vorgesehenen bewegten Bild. Bezugsnummer 332 bezeichnet jeden Eckpunkt, wenn ein Bereich für ein Objekt durch ein Polygon angenähert wird. Hier wird zur Klärung angenommen, dass die Annäherung durch ein Rechteck (vier Eckpunkte) in einer Serie von Rahmen gemacht wird. Zusätzlich wird eine Beschreibung gegeben, annehmend, dass eine Spline-Funktion für die Annäherung verwendet ist.
Bei der Funktions-Annäherungs-Verarbeitung wird eine Trajektorie, erhalten wenn jeder Eckpunkt eines Näherungs-Polygons, das jedes Objekt repräsentiert, in zeitlicher Reihenfolge angeordnet ist, angenähert basierend auf einer Spline-Funktion für jede von den X- und Y-Koordinaten. In diesem Beispiel ist die Spline-Funktion in den X- und Y-Koordinaten erforderlich für jeden von den vier Eckpunkten, welche Eckpunkte eines Näherungs-Polygons sind. Damit werden insgesamt acht Spline-Funktionen erzeugt.
Die Verarbeitung unter Verwendung der Funktions-Annäherungs-Einheit 103 schließt ein: ein Verfahren für das Durchführen der Verarbeitung jedes Mal, wenn der Koordinaten-Wert des Eckpunkts des Näherungs-Polygons in jedem Rahmen betreffend einen Bereich für das Objekt erhalten wird (zum Beispiel ein Verfahren für das Ausführen der Näherung jedes Mal, wenn der Koordinaten-Wert des Eckpunkts in jedem Rahmen erhalten wird, und Erhalten eines Näherungs-Fehlers und dann geeignetes Setzen eines Näherungs-Intervalls, das bedeutet eines Rahmen-Intervalls derart, dass der Näherungs-Fehler innerhalb eines vorbestimmten Bereichs verringert wird); oder ein Verfahren für das Ausführen der Verarbeitung, nachdem die Koordinaten-Werte der Eckpunkte mit Bezug zu allen Rahmen betreffend einen Bereich für das Objekt erhalten wurden.
Zusätzlich, abhängig von einem Verfahren für die Ausführung der Eckpunkt-Assoziierung unter Verwendung der Eckpunkt-Assoziierungs-Einheit 102, gibt es einen Fall, in welchem eine Trajektorie von Eckpunkten über alle Rahmen von einem Rahmen, in welchem ein Bereich für ein Objekt erscheint, bis zu einem Rahmen, in welchem dieses verschwindet, erhalten wird (zum Beispiel ein Fall, in welchem die Anzahl von Eckpunkten des Assoziierungs-Polygons über alle Rahmen gleich ist und ein Eckpunkt mit einem anderen Eckpunkt eins-zu-eins über alle benachbarten Rahmen assoziiert ist); und ein Fall, in welchem eine Trajektorie eines Eckpunkts nur in einem Intervall in einigen von allen Rahmen, in welchem ein Bereich für ein Objekt erscheint, bis zu einem Rahmen, in welchem dieses verschwindet, existiert (zum Beispiel ein Fall, in welchem die Anzahl der Eckpunkte in einem Näherungs-Polygon verschieden ist, abhängig von dem Rahmen, und die Trajektorie von bestimmten Eckpunkten in einem Rahmen mit einer kleinen Anzahl von Eckpunkten unterbrochen ist; oder ein Fall, in welchem die Trajektorie von bestimmten Eckpunkten in einem solchen Rahmen unterbrochen ist, weil die korrespondierenden Eckpunkte in einem Rahmen zueinander eins-zu-eins korrespondieren, auch wenn die Anzahl von Eckpunkten in einer Näherung über alle Rahmen gleich ist). In diesem letzteren Fall ist der Rahmen, in welchem die Trajektorie der Eckpunkte unterbrochen ist, immer definiert als ein Knotenpunkt einer Näherungs-Funktion.
In der 8B repräsentiert die Bezugs-Nummer 333 eine angenäherte Spline-Funktion auf eine drei-dimensionale Weise.
Daten, anzeigend die so erhaltene Näherungs-Funktion, werden in der Objekt-Bereichs-Daten-Speicher-Vorrichtung 104 in Übereinstimmung mit einem vorgegebenen Daten-Format aufgezeichnet.
Hiernach wird das Daten-Format der in der Objekt-Bereichs-Daten-Speicher-Vorrichtung 104 gespeicherten Objekt-Bereichs-Daten beschrieben. Eine Beschreibung wird gegeben durch Erläutern eines Falls, in welchem ein Eckpunkt durch eine Spline-Funktion angenähert wird. Natürlich wird dieses angewandt auf einen Fall, in welchem ein solcher Eckpunkt durch eine andere Funktion angenähert ist.
9 zeigt ein Beispiel eines Daten-Formats von Objekt-Bereichs-Daten für das Aufzeichnen einer Spline-Funktion, welche einen Bereich eines Objekts in einem bewegten Bild repräsentiert.
Die ID-Zahl 400 ist eine jedem Objekt zugeordnete Identifikations-Nummer.
Eine Start-Rahmen-Nummer 401 und eine End-Rahmen-Nummer 402 sind die erste und letzte Rahmen-Nummer, welche die Existenz eines durch eine ID-Nummer gegebenen Objekts definieren. Diese Nummern korrespondieren speziell zu den Nummern von Rahmen, in welchen ein Objekt in einem bewegten Bild erscheint und verschwindet. Jedoch kann anstelle der Nummern von Rahmen, in welchen ein Objekt in Wirklichkeit erscheint und verschwindet, zum Beispiel eine beliebige Rahmen-Nummer später als jene, die einem Rahmen bei dem Erscheinen eines Objekt in einem bewegten Bild zugeordnet wird, als eine Start-Rahmen-Nummer zugeordnet werden. Ähnlich kann eine beliebige Rahmen-Nummer später als die Start-Rahmen-Nummer und früher als diejenige Nummer, die einem Rahmen zugeordnet ist, in welchem ein Objekt in einem bewegten Bild verschwindet, als eine End-Rahmen-Nummer zugeordnet sein. Die Start/End-Rahmen-Nummern können ersetzt werden durch Start/End-Zeitmarken.
Näherungs-Polygon-Daten 403 sind Trajektorien-Daten zu Eckpunkten für das Ausdrücken eines Näherungs-Polygons (zum Beispiel Parameter für die Spline-Funktion oder Ähnliches). Wo ein Objekt in einer Vielzahl von Objekt-Bereichen gebildet ist, werden die Näherungs-Polygon-Daten 403 vielfach bereitgestellt.
10 zeigt ein Beispiel einer Daten-Struktur der Näherungs-Polygon-Daten 403.
Die Anzahl von Eckpunkten 431 zeigt die Anzahl von Eckpunkten für das Ausdrücken eines Näherungs-Polygons an.
Ein Paar von Eckpunkt-Trajektorien-Daten 432-1 und 432-2 sind Daten-Bereiche betreffend eine Spline-Funktion für das Ausdrücken einer Trajektorie von für ein Näherungs-Polygon repräsentativen Punkten. Die Spline-Funktions-Daten zu den X- und Y-Koordinaten sind für einen Eckpunkt erforderlich. Daher bestehen die Eckpunkt-Trajektorien-Daten für das Spezifizieren einer solchen Spline-Funktion aus Eckpunkt-Anzahl M × 2 Koeffizienten. Die aufzuzeichnende Sequenz von Eckpunkten kann eine vorbestimmte Sequenz, eine solche wie zum Beispiel eine sequentielle Reihenfolge von Eckpunkten sein.
11 zeigt ein Beispiel einer Daten-Struktur von Eckpunkt-Trajektorien-Daten 432-1 und 432-2.
Eine Knotenpunkt-Rahmen-Nummer 4320 repräsentiert einen Knoten einer Spline-Funktion. Diese Nummer zeigt an, dass die Polynom-Daten 4323 bis zu diesem Knoten wirksam sind. Die Anzahl von Polynom-Koeffizienten-Daten variiert abhängig von der Ordnung der Spline-Funktion. Wenn die maximale Ordnung als K definiert ist, ist die Anzahl von Koeffizienten-Daten als K + 1 definiert. Daher wird bezogen auf eine Polynom-Ordnung 4321. Der Polynom-Ordnung 4321 folgen die Polynom-Koeffizienten-Daten Nummer 4322, welche zu K + 1 korrespondieren.
Zusätzlich wird eine Spline-Funktion durch ein Polynom zwischen jedem der benachbarten Knoten ausgedrückt, daher werden Polgnome in einer Anzahl benötigt, die zur Anzahl der Knoten korrespondiert. Daten 4323, enthaltend eine Knoten-Rahmen-Nummer 4320, Polynom-Koeffizienten 4322 oder Ähnliches werden daher wiederholt vielfach beschrieben. Wenn ein Knoten-Rahmen-Nummer gleich ist zu einem letzten Rahmen, bedeutet das, dass die Daten 4323 die letzten Polynom-Koeffizienten-Daten sind. So wird gefunden, dass die Trajektorien-Daten enden.
Wie in den oben erwähnten Variationen, wenn die Koordinate ohne Assoziation in Bezug zu einem Eckpunkt eines Näherungs-Polygons in einem benachbarten Rahmen aufgezeichnet wird, wird die Koordinate eines solchen Eckpunkts und dessen Rahmen-Nummer in den Daten 4323 beschrieben.
In der Zwischenzeit kann eine Mannigfaltigkeit anderer Daten-Elemente zu den in 9 gezeigten Objekt-Bereichs-Daten hinzugefügt werden. zum Beispiel kann eine Mannigfaltigkeit von Attribut-Daten, assoziiert mit einem Objekt der ID-Nummer oder Daten (solche wie Datei-Name, URL oder irgendeine andere Adresse), anzeigend ein Verfahren des Zugangs zu assoziierter Information eines assoziierten Objekts der ID-Nummer, hinzugefügt sein. Assoziierte Informations-Daten können Zeichen, Stimmen, Festbilder, bewegte Bilder oder eine Kombination von diesen sein oder Daten, beschreibend Programme oder Computer-Aktivitäten.
Wenn Funktions-Annäherung nicht unter Verwendung einer Funktions-Annäherungs-Einheit 103 ausgeführt wird, kann zum Beispiel der Koordinaten-Wert eines jeden Eckpunkts einer Näherungs-Graphik in jedem Rahmen aufgezeichnet werden, wie dies in den Näherungs-Polygon-Daten 403, enthalten in den in 9 gezeigten Objekt-Bereichs-Daten ist.
Es wird nun im Folgenden ein Verfahren für das Bereitstellen von Daten bewegter Bilder oder Objekt-Bereichs-Daten beschrieben.
Wenn die durch Verarbeiten entsprechend der vorliegenden Ausführungs-Form erzeugten Objekt-Bereichs-Daten für einen Anwender bereitgestellt werden, ist es erforderlich die Objekt-Bereichs-Daten durch Anwenden irgendeines Verfahrens von einem Erzeuger zu einem Anwender zu liefern. Die Daten werden in einer Mannigfaltigkeit von Moden bereitgestellt, wie nachstehend erläutert.

(1) Daten bewegter Bilder und deren Objekt-Bereichs-Daten werden simultan bereitgestellt als Aufzeichnung auf einem oder vielfachen Aufzeichnungs-Medien; und
(2) Daten bewegter Bilder werden zuerst bereitgestellt und danach werden Objekt-Bereichs-Daten simultan als Aufzeichnung auf einem oder vielfachen Aufzeichnungs-Medien bereitgestellt.

Die obigen Moden sind assoziiert mit einem Fall, in welchem die Daten hauptsächlich durch ein Aufzeichnungs-Medium bereitgestellt werden. Auf andere Weise kann ein Modus bereitgestellt werden, in welchem ein Teil oder die Gesamtheit der Daten über ein Kommunikations-Medium geliefert werden.
Wie oben beschrieben wurde, wird entsprechend der vorliegenden Ausführungs-Form ein Objekt-Bereichs-Daten erzeugendes Verfahren und eine Apparatur für das Erzeugen von Objekt-Bereichs-Daten, welche Daten betreffend einen Bereich für ein beliebiges Objekt in einem bewegten Bild beschreiben, in welchen der Bereich für das Objekt in den Daten bewegter Bilder angenähert ist durch Verwenden eines Näherungs-Polygons in Bezug auf jeden der vielfachen Rahmen. Jeder der vielfachen Eckpunkte des Näherungs-Polygons in einem vorangehenden Rahmen wird angenähert mit einem Eckpunkt des Näherungs-Polygons in dem gegenwärtigen Rahmen, aufweisend eine kürzeste Entfernung zwischen Eckpunkten, nachdem das Näherungs-Polygon in dem gegenwärtigen Rahmen bewegt wurde, um die Schwerpunkte von beiden Näherungs-Polygonen miteinander zusammenfallend zu machen. Dadurch wird eine Trajektorie der assoziierten Eckpunkte durch Anordnen der Eckpunkte entlang der Sequenz der Rahmen erhalten. Die Objekt-Bereichs-Daten werden basierend auf der Trajektorie der erhaltenen vielfachen Eckpunkte erzeugt.
Entsprechend der vorliegenden Ausführungs-Form wird auch ein Verfahren und eine Apparatur zur Erzeugung von Objekt-Bereichs-Daten bereitgestellt, welche Daten betreffend einen Bereich für ein beliebiges Objekt in Daten bewegter Bilder beschreiben, in welchen der Bereich für das Objekt in den Daten bewegter Bilder angenähert ist durch Verwenden eines Näherungs-Polygons betreffend jeden der vielfachen Rahmen. Jeder der vielfachen Eckpunkte des Näherungs-Polygons in einem vorangehenden Rahmen wird angenähert durch einen Eckpunkt des Näherungs-Polygons in dem gegenwärtigen Rahmen, welches nächstliegend zu einer berechneten Position des Eckpunkts basierend auf einer Trajektorie der assoziierten Eckpunkte ist, wobei eine Trajektorie der assoziierten Eckpunkt erhalten wird durch Anordnen der Eckpunkte entlang der Sequenz der Rahmen. Die Objekt-Bereichs-Daten werden basierend auf der Trajektorie der erhaltenen vielfachen Eckpunkte erzeugt.
Entsprechend der vorliegenden Ausführungs-Form wird ein Verfahren und eine Apparatur für die Erzeugung von Objekt-Bereichs-Daten bereitgestellt, welche Daten betreffend einen Bereich für ein beliebiges Objekt in Daten bewegter Bilder beschreibt, in welchen der Bereich für das Objekt in dem bewegten Bild angenähert ist durch Verwenden eines Näherungs-Polygons in Bezug auf jeden der vielfachen Rahmen. Jeder der vielfachen Eckpunkte des Näherungs-Polygons in einem vorangehenden Rahmen ist angenähert mit einem Eckpunkt des Näherungs-Polygons in dem gegenwärtigen Rahmen, aufweisend ein am besten übereinstimmendes charakteristisches Maß, wodurch eine Trajektorie von assoziierten Eckpunkten durch Anordnen der Eckpunkte entlang der Sequenz der Rahmen erhalten wird. Die Objekt-Bereichs-Daten werden erzeugt basierend auf der Trajektorie der erhaltenen vielfachen Eckpunkte.
Eine Eckpunkt-Assoziation kann begrenzt sein auf eine eins-zu-eins Assoziation oder einer solchen Assoziation, bei welcher die Sequenz von Eckpunkten nicht verändert ist.
Entsprechend der vorliegenden Ausführungs-Form sind ein Verfahren und eine Apparatur zur Erzeugung eines Näherungs-Polygons bereitgestellt, welche einen Bereich für ein beliebiges Objekt in einem Rahmen eines bewegten Bildes oder eines Festbildes annähern, wobei eine Kontur eines Bereichs des Objekts in einem Rahmen eines bewegten Bildes oder Festbildes extrahiert wird. Ein Anfangs-Polygon, repräsentierend einen Bereich des Objekts wird basierend auf der extrahierten Kontur erzeugt. Ein zu entfernender Eckpunkt wird zu diesem Zeitpunkt gewählt, basierend auf dem charakteristischen Maß eines jeden Eckpunkts eines Polygons; der so ausgewählte Eckpunkt wird gelöscht. Die zu dem entfernten Eckpunkt benachbarten Eckpunkte werden verschoben und das charakteristische Maß eines jeden Eckpunkts des Polygons wird aktualisiert und die Verarbeitung wird ausgeführt bis eine vorgegebene Beendigungs-Bedingung erfüllt ist. Dadurch wird ein Näherungs-Polygon erzeugt, welches den Bereich für das Objekt in dem Rahmen annähert.
Als ein charakteristisches Maß kann eine Fläche eines Dreiecks, erzeugt durch den gelöschten Eckpunkt und die zwei zu diesem benachbarten Eckpunkte, oder ein Winkel, erzeugt durch den oben gelöschten Eckpunkt und die zwei benachbarten Eckpunkte, verwendet werden.
Als eine Beendigungs-Bedingung kann verwendet werden ob oder ob nicht die Anzahl von Eckpunkten in einem Polygon kleiner als ein vorgegebener Wert wird oder ob oder ob nicht der Näherungs-Fehler des Näherungs-Polygons gegenüber dem tatsächlichen Objekt größer ist als der Wert.
Entsprechend der vorliegenden Ausführungs-Form wird ein Objekt in einem bewegten Bild repräsentiert als eine Trajektorie von Eckpunkten in einem Näherungs-Polygon wie folgt.
Ein Bereich, in welchem ein Objekt in jedem Rahmen existiert, wird zuerst festgestellt und ein Anfangs-Polygon wird aus einer Kontur eines solchen Bereichs erzeugt. Ein Eckpunkt, der durch Löschung am wenigsten bewirkt, wird in einem Polygon basierend auf dem charakteristischen Maß eines jeden Eckpunkts gesucht und wird gelöscht. Zu diesem Zeitpunkt wird ein Anwachsen des Fehlers, verursacht durch die Löschung des Eckpunkts, verringert durch Verschieben der benachbarten Eckpunkte. Diese Verarbeitung wird wiederholt bis die Beendigungs-Bedingung erfüllt ist, wodurch ein Polygon erzeugt wird, das Objekt-Bereichs-Daten mit einer kleineren Anzahl von Eckpunkten repräsentiert.
Da ein Punkt auf einer Objekt-Kontur mit einem großen Rechenaufwand nur für die Erzeugung eines Anfangs-Polygons gesucht wird, arbeitet dieser Algorithmus mit höherer Geschwindigkeit als ein konventioneller Algorithmus. Zusätzlich ist es ein Vorteil, dass ein Näherungs-Fehler klein ist, weil ein Polygon erzeugt wird während ein Eckpunkt dynamisch verändert wird.
Objekt-Bereichs-Daten für jeden Rahmen werden erzeugt und Eckpunkte werden miteinander zwischen benachbarten Rahmen assoziiert, wodurch eine Zeitreihen-Veränderung des Objekts als eine Trajektorie von Eckpunkten beschrieben wird. Zum Beispiel wird die Assoziierung so ausgeführt, dass eine Entfernung zwischen den korrespondierenden Eckpunkten minimiert ist. Dann wird die Trajektorie eines jeden Eckpunkts durch eine Funktion angenähert, wodurch die Datenmenge verringert wird.
Zusätzlich, wenn ein Versuch gemacht wird, eine Trajektorie eines Eckpunkts zu erzeugen, jedes Mal wenn das Objekt eines jeden Rahmens eingegeben ist, werden die Objekt-Bereichs-Daten für einen zu erzeugenden Rahmen berechnet, basierend auf den Objekt-Bereichs-Daten des bereits erzeugten Rahmens, und die berechneten Objekt-Bereichs-Daten sind entsprechend zu einem Objekt abgeändert, wobei die Trajektorie eines Eckpunkts erzeugt wird.
Auf diese Weise ist es entsprechend der vorliegenden Ausführungs-Form möglich, Größe, Form, Bewegung, Verformung oder Ähnliches eines Bereichs eines gewünschten Objekts in einem bewegten Bild als ein Polygon mit hoher Präzision und hoher Geschwindigkeit anzunähern. Zusätzlich wird der Bereich des gewünschten Objekts in dem bewegten Bild durch eine kleine Datenmenge beschrieben, was es ermöglicht, das Erzeugen eines solchen Objekts und die Daten-Verarbeitung zu erleichtern. Als ein Ergebnis wird dieses angenäherte Polygon in einer Datenbank bewegter Bilder oder einem Überwachungs- System und Ähnlichem für Objekt-Erkennung, -Klassifizierung, -Suche oder Ähnliches verwendet.
Zusätzlich wird entsprechend der vorliegenden Erfindung bevorzugt Funktions-Annäherung ausgeführt, auch wenn die Möglichkeit besteht, dass die Anzahl der Eckpunkte abhängig von jedem Rahmen verschieden ist oder es eine hohe Wahrscheinlichkeit gibt, dass Eckpunkte zwischen Rahmen miteinander durch Objekt-Verformung oder Bewegung assoziiert sind.
Wie oben beschrieben worden ist, ist es möglich die Größe, Form, Bewegung, Verformung oder Ähnliches eines Bereichs eines gewünschten Objekts in einem bewegten Bild als ein Polygon mit hoher Präzision und hoher Geschwindigkeit anzunähern. Zusätzlich wird der Bereich des gewünschten Objekts in dem bewegten Bild durch eine kleine Datenmenge beschrieben, was die Objekt-Erzeugung oder Daten-Verarbeitung möglich macht. Als ein Ergebnis wird dieses angenäherte Polygon in einer Datenbank bewegter Bilder oder einem Überwachungs-System und Ähnlichem für Objekt-Erkennung, -Klassifizierung, -Suche oder Ähnlichem verwendet.
Zusätzlich wird entsprechend der vorliegenden Ausführungs-Form bevorzugt Funktions-Annäherung ausgeführt, auch wenn die Möglichkeit besteht, dass die Anzahl der Eckpunkte abhängig von jedem Rahmen verschieden ist oder es vielfache Möglichkeiten gibt, dass Eckpunkte zwischen Rahmen miteinander als Folge von Objekt-Verformung oder Bewegung assoziiert sind.
Weiter wird der Bereich für das Objekt in dem bewegten Bild beschrieben als ein Parameter für eine Kurve, welche eine Zeitreihen-Trajektorie (Trajektorie der Eckpunkt-Koordinaten an welchen eine Rahmen-Nummer oder eine Zeit-Marke als eine Variable definiert ist) annähert. Auf diese Weise wird der Bereich des Objekts in dem bewegten Bild durch einen Funktions-Parameter ausgedrückt und daher können die Objekt-Bereichs-Daten mit einer kleinen Datenmenge erzeugt und die Daten einfach verarbeitet werden. Zusätzlich wird ein Näherungs-Polygon aus dem Parameter für den Näherungs-Parameter einfach erzeugt.
Die zweite Ausführungsform des Verfahrens und der Apparatur für die Erzeugung der Objekt-Bereichs-Daten und das Verfahren für die Erzeugung des Näherungs-Polygons entsprechend der vorliegenden Erfindung wird nun mit Bezug zu den begleitenden Zeichnungen beschrieben.
Die vorliegende Ausführungs-Form ist grundsätzlich ähnlich zu der ersten Ausführungsform. Anschließend werden hauptsächlich Unterschiede zu der ersten Ausführungsform beschrieben.
In der ersten Ausführungsform werden Eckpunkte eines Näherungs-Polygons eines Bereichs des Objekts in jedem Rahmen erhalten und dann wird eine Korrespondenz der Eckpunkte des Näherungs-Polygons in den beiden benachbarten Rahmen erhalten. In der zweiten Ausführungsform ist jeder der korrespondierenden Eckpunkte eines Näherungs-Polygons in einem Ziel-Rahmen erhalten durch Verwenden der Trajektorie eines jeden der korrespondierenden Eckpunkte des Näherungs-Polygons in den bereits erhaltenen vorangehenden Rahmen. Zum Beispiel ist diese Ausführungsform effizient in einem Fall, in welchem Verarbeitung ausgeführt wird, während ein bewegtes Bild in einem Strom bewegter Bilder eingegeben wird.
Ein Konfigurations-Beispiel einer Apparatur zur Erzeugung von Objekt-Bereichs-Daten entsprechend der vorliegenden Ausführungs-Form ist ähnlich zu dem in 1 gezeigten.
Weiter ist ein Beispiel des Verarbeitungs-Ablaufs unter Verwendung der Apparatur für Erzeugung der Objekt-Bereichs-Daten entsprechend der vorliegenden Ausführungs-Form ähnlich der in 2 gezeigten. Die Verarbeitung für die Polygon- Erzeugung im Schritt S11 wird jedoch nur für den ersten Rahmen, in welchem ein Objekt erscheint, ausgeführt. Alternativ kann bezüglich zu einer ersten vorgegebenen Anzahl von Rahmen (einige Rahmen) eine Korrespondenz eines Eckpunkts eines Näherungs-Polygons des gegenwärtigen Rahmens mit jenen in einer Vielzahl von Rahmen entsprechend der Verarbeitung in den Schritten S11 und S12 der ersten Ausführungsform erhalten werden. Darauf folgend werden die Eckpunkte der Näherungs-Polygone in den nachfolgenden Rahmen einer nach dem anderen entsprechend der Verarbeitung im Schritt S12 in der vorliegenden Ausführungs-Form erhalten.
Hiernach wird Eckpunkt-Assoziierungs-Verarbeitung unter Verwendung der Eckpunkt-Assoziierungs-Einheit 102 in der vorliegenden Ausführungs-Form mit Bezug zu den 12 und 13 beschrieben.
Im Schritt S81 wird, mit Bezug zu einem Objekt, die Trajektorie eines jeden Eckpunkts eines Näherungs-Polygons in einer Vielzahl von bereits erzeugten Rahmen (zum Beispiel alle Rahmen oder eine vorgegebene Anzahl der nächstliegenden Rahmen) als eine Zeit-Reihen-Funktion angenähert, wie angezeigt durch die Bezugsnummer 601 in der 13. Diese Punktions-Näherung kann durch Verwendung irgendeiner Näherungs-Technik, einer solchen wie Linear-Näherung, quadratischer Näherung oder Spline-Näherung, ausgeführt werden.
Als Nächstes wird im Schritt S82 die Eckpunkt-Position in einem zu verarbeitenden Rahmen basierend auf einer Näherungs-Funktion berechnet, wodurch ein Eckpunkt (Eckpunkte) eines in dem zu verarbeitenden Rahmen berechneten Polygons erzeugt wird. Ein Beispiel des berechneten Näherungs-Polygons ist durch die Bezugsnummer 602 in 13 bezeichnet.
Wenn ein Objekt in jedem Rahmen sich um einen kleinen Betrag bewegt, wird (werden) ein Eckpunkt (Eckpunkte) eines Näherungs-Polygons in dem nächstgelegenen Rahmen unverändert als ein Eckpunkt (Eckpunkte) eines berechneten Polygons ohne Ausführung der Funktions-Annäherung eingesetzt.
Zusätzlich, wenn ein Objekt sich in jedem Rahmen um einen großen Betrag bewegt, aber der Betrag der Verformung klein ist, wird der Schwerpunkt des Näherungs-Polygons in einem zu erzeugenden Rahmen berechnet aus jenem der Näherungs-Polygone in einer Vielzahl bereits erzeugter Rahmen. Dann kann ein Polygon, erhalten durch Bewegen eines Näherungs-Polygons in dem nächstliegenden Rahmen derart, dass dessen Schwerpunkt zusammenfällt mit dem berechneten Schwerpunkt, als ein berechnetes Näherungs-Polygon verwendet werden.
In einer Anfangs-Phase der Verarbeitung, wenn eine kleine Anzahl von Rahmen verarbeitet ist, kann die Verarbeitung in den Schritten S81 und S82 durch eine kleine Anzahl solcher Rahmen ausgeführt werden. Alternativ kann ein Näherungs-Polygon in dem direkt vorangehenden Rahmen als ein berechnetes Polygon, ohne dass die Näherung im Schritt S81 ausgeführt wird, verwendet werden. Zusätzlich, wenn ein Näherungs-Polygon zuerst für nur einen Rahmen oder eine kleine Anzahl von Rahmen erhalten wird, kann eine Näherung in dem direkt vorangehenden Rahmen als ein berechnetes Polygon verwendet werden, ohne dass die Näherung im Schritt S81 ausgeführt wird.
Als Nächstes wird im Schritt S83 ein Objekt-Bereich für einen zu verarbeitenden Rahmen gelesen und jeder Eckpunkt des berechneten Näherungs-Polygons wird entsprechend diesem Objekt-Bereich bewegt. Ein Beispiel des Objekt-Bereichs für einen eingegebenen zu verarbeitenden Rahmen wird durch die Bezugsnummer 603, gezeigt in 13, bezeichnet.
Es gibt eine Mannigfaltigkeit von Bewegungs-Verfahren, einschließend das Bewegen eines Objekts an eine Position auf einer Objekt-Kontur, die nächstliegend zu einer solchen berechneten Position für jeden Eckpunkt ist, oder Bewegen eines Objekts durch Anwenden eines Parameter-Optimierungs-Verfahrens, eines solchen wie des Gradienten-Ansatzes oder de Newton-Ansatzes, um so einen Näherungs-Fehler zu minimieren.
Wenn eine Vielzahl von Objekten (das bedeutet Näherungs-Polygone) in benachbarten Rahmen existieren, wie in der ersten Ausführungsform, wird ein Objekt-Bereich verwendet, der bestimmt ist als mit einem Objekt in dem Ziel-Rahmen assoziiert.
Ein Beispiel, in welchem Eckpunkte deshalb bewegt werden, um mit einem Objekt assoziiert zu sein, ist durch die Bezugsnummern 604, gezeigt in 13, bezeichnet. Zusätzlich ist ein Beispiel des bewegten und erzeugten Näherungs-Polygons durch die Bezugsnummer 605, gezeigt in 13, bezeichnet.
Die vorliegende Ausführungs-Form ist ähnlich zu der ersten Ausführungsform in der Funktions-Annäherungs-Verarbeitung unter Verwendung der Funktions-Annäherungs-Einheit 103.
Weiter ist es möglich den Koordinaten-Wert eines jeden Eckpunkts des Näherungs-Polygons in jedem Rahmen unverändert in den Objekt-Bereichs-Daten ohne Ausführung der Funktions-Annäherung unter Verwendung der Funktions-Annäherungs-Einheit 103 aufzuzeichnen. In dem letzteren Fall kann die Funktions-Annäherungs-Einheit 103 nicht vorgesehen sein.
Wie oben beschrieben worden ist, ist entsprechend der vorliegenden Ausführungs-Form ein Verfahren und eine Apparatur für die Erzeugung von Objekt-Bereichs-Daten bereitgestellt, welche Daten betreffend einen Bereich eines beliebigen Objekts in bewegter Bildern über eine Vielzahl fortlaufender Rahmen beschreibt, wobei basierend auf Daten, anzeigend eine Trajektorie von Positions-Daten zu einer Vielzahl von Eckpunkten eines Näherungs-Polygons, welches den Bereich für das Objekt von dem bereits erzeugten Start-Rahmen über den direkt vorangehenden Rahmen annähert, Positions-Daten zu einer Vielzahl von Eckpunkten des Näherungs-Polygons, welches den Bereich für das Objekt in dem zu verarbeitenden Rahmen berechnet werden, und diese modifiziert werden, um mit einem Bereich für den zu verarbeitenden Rahmen assoziiert zu sein, wobei Verarbeitung für das Erzeugen von Daten ausgeführt wird, welche eine Trajektorie darstellt von Positions-Daten zu einer Vielzahl von Eckpunkten eines Näherungs-Polygons, welches einen Bereich für das Objekt von dem Start-Rahmen bis zu dem Ziel-Rahmen anzeigt, und die Objekt-Bereichs-Daten erzeugt werden auf der Basis einer Trajektorie der Vielzahl von Eckpunkten, erhalten durch wiederholtes Ausführen dieser Verarbeitung über die Vielzahl der Rahmen.
Um Positions-Daten zu Eckpunkten des Näherungs-Polygons zu berechnen, können die Positions-Daten zu den Eckpunkten des Näherungs-Polygons in dem Näherungs-Polygon in dem bereits erzeugten nächstliegenden Rahmen verwendet werden.
Um Positions-Daten zu Eckpunkten des Näherungs-Polygons zu berechnen, kann die Position des Schwerpunkts des Rahmens aus dem Schwerpunkt des Näherungs-Polygons über eine Vielzahl der bereits erzeugten Rahmen berechnet werden, um so die Positions-Daten zu den Eckpunkten des Näherungs-Polygons zu verwenden, wenn das Näherungs-Polygon in dem bereits erzeugten nächstliegenden Rahmen zu der Schwerpunkts-Position bewegt ist.
Wie oben beschrieben ist es entsprechend der vorliegenden Erfindung möglich, die Größe, Form, Bewegung oder Verformung und Ähnliches eines Bereichs eines gewünschten Objekts in einem bewegten Bild als ein Polygon mit hoher Präzision und hoher Geschwindigkeit anzunähern. Zusätzlich wird der Bereich für das gewünschte Objekt in dem bewegten Bild durch eine kleine Datenmenge beschrieben, was es ermöglicht, die Objekt- Erzeugung oder Daten-Verarbeitung zu erleichtern. Als ein Ergebnis wird das Näherungs-Polygon in einer Datenbank bewegter Bilder, einem Überwachungs-System und Ähnlichem verwendet für Objekt-Erkennung, -Klassifizierung, -Suche oder Ähnliches.
Weiter wird entsprechend der vorliegenden Erfindung bevorzugt Funktions-Annäherung ausgeführt, auch wenn es eine Möglichkeit gibt, dass die Anzahl der Eckpunkte variiert, abhängig von jedem Rahmen, oder eine hohe Wahrscheinlichkeit besteht, dass Eckpunkte zwischen Rahmen durch Objekt-Verformung und Bewegung oder Ähnliches miteinander assoziiert sind.
Die vorliegende Erfindung entsprechend der Apparatur ist etabliert entsprechend dem Verfahren und umgekehrt.
Weiter kann die vorliegende Erfindung als ein Computerlesbares Aufzeichnungs-Medium implementiert sein, welches ein Programm aufzeichnet, einen Computer veranlassend vorgegebene Programm-Codes auszuführen (oder einen Computer veranlassend, als ein vorgegebenes Mittel zu funktionieren oder einen Computer veranlassend eine vorgegebene Funktion zu implementieren).
Wie oben beschrieben worden ist, ist es entsprechend der vorliegenden Erfindung möglich, einen Bereich eines gewünschten Objekts in einem bewegten Bild als ein Polygon mit hoher Präzision und hoher Geschwindigkeit anzunähern und der Bereich des gewünschten Objekts in dem bewegten Bild wird durch eine kleine Datenmenge beschrieben, was es ermöglicht die Objekt-Erzeugung oder die Daten-Verarbeitung zu erleichtern.

Claims

Ein Verfahren des Erzeugens von Objekt-Bereichs-Daten betreffend einen Objekt-Bereich in zumindest drei Rahmen von bewegten Bildern, wobei die zumindest drei Rahmen in einer Zeitreihen-Veränderung gereiht sind, umfassend: Erzeugen (S11) eines Polygons, welches einen Umriss des Objekt-Bereichs in jedem der drei Rahmen annähert, wobei das Polygon Eckpunkte aufweist; und Assoziieren (S12) eines jeden der Eckpunkte in jedem der zumindest drei Rahmen mit jedem der gleichen Eckpunkte in einem benachbarten Rahmen, gekennzeichnet durch außerdem Umfassen das: Gewinnen (S13) von Trajektorien, jede der Trajektorien verbindend die gleichen Eckpunkte über die zumindest drei Rahmen; und Erzeugen (S13) der Objekt-Bereichs-Daten, die Objekt-Bereichs-Daten umfassend eine die Trajektorien ausdrückende Daten-Näherungs-Funktion.
Ein Verfahren nach Anspruch 1, gekennzeichnet dadurch, dass jeder der Eckpunkte in jedem der zumindest drei Rahmen assoziiert ist mit jedem der gleichen Eckpunkte in dem benachbarten Rahmen in der Weise, dass ein Abstand zwischen jedem der Eckpunkte in jedem der zumindest drei Rahmen und jedem der gleichen Eckpunkte in dem benachbarten Rahmen minimal ist.
Das Verfahren nach Anspruch 2, gekennzeichnet dadurch, dass der Abstand zwischen jedem der Eckpunkte in jedem der zumindest drei Rahmen und jedem der gleichen Eckpunkte in dem benachbarten Rahmen berechnet wird, nachdem ein Schwerpunkt des Polygons in jedem der drei Rahmen bewegt worden ist, um in einem Schwerpunkt des Polygons in dem benachbarten Rahmen positioniert zu sein.
Das Verfahren nach Anspruch 1, gekennzeichnet dadurch, dass das Assoziieren eines jeden der Eckpunkte mit jedem der gleichen Eckpunkte dieses umfasst: das Schätzen der Eckpunkte in dem benachbarten Rahmen, basierend auf den Trajektorien, und das Auswählen derjenigen Eckpunkte in dem benachbarten Rahmen, welche den geschätzten Eckpunkten am nächsten sind.
Das Verfahren nach Anspruch 1, gekennzeichnet dadurch, dass das Assoziieren eines jeden der Eckpunkte mit jedem der gleichen Eckpunkten dieses umfasst: das Gewinnen eines charakteristischen Maßes der Eckpunkte in jedem der zumindest drei Rahmen und das Assoziieren der Eckpunkte in jedem der Rahmen mit den gleichen Eckpunkten in dem benachbarten Rahmen, welche die am engsten übereinstimmenden charakteristischen Maße aufweisen.
Das Verfahren nach Anspruch 1, 4 oder 5, gekennzeichnet dadurch, dass die Trajektorien jeweils durch vorbestimmte Funktionen angenähert werden und die Objekt-Bereichs-Daten durch Verwenden der Funktionen erzeugt werden.
Das Verfahren nach Anspruch 1, 4 oder 5, gekennzeichnet dadurch, dass die Objekt-Bereichs-Daten Positions-Daten der Eckpunkte in jedem der zumindest drei Rahmen und Assoziations-Daten, anzeigend die Korrespondenz der Eckpunkte zwischen den Rahmen, einschließen.
Eine Apparatur für das Erzeugen von Objekt-Bereichs-Daten betreffend einen Objekt-Bereich in zumindest drei Rahmen von bewegten Bildern, wobei die zumindest drei Rahmen in einer Zeitreihen-Veränderung gereiht sind, die Apparatur umfassend: eine Näherungs-Einheit (101), konfiguriert um ein Polygon zu erzeugen, welches einen Umriss des Objekt-Bereichs in jedem der zumindest drei Rahmen annähert, das Polygon Eckpunkte aufweisend; und eine Assoziations-Einheit (102), konfiguriert um jeden der Eckpunkte in jedem der zumindest drei Rahmen mit jedem der gleichen Eckpunkte in einem benachbarten Rahmen zu assoziieren, gekennzeichnet durch außerdem Umfassen: eine Trajektorien-Gewinnungs-Einheit (103), konfiguriert um Trajektorien zu gewinnen, jede der Trajektorien verbindend die gleichen Eckpunkte über die zumindest drei Rahmen; und eine Objekt-Bereichs-Daten-Erzeugungs-Einheit (103), konfiguriert um die Objekt-Bereichs-Daten zu erzeugen, wobei die Objekt-Bereichs-Daten eine die Trajektorien ausdrückende Daten-Näherungs-Funktion umfassen.
Eine Apparatur nach Anspruch 8, gekennzeichnet dadurch, dass jeder der Eckpunkte in jedem der zumindest drei Rahmen mit jedem der gleichen Eckpunkte in dem benachbarten Rahmen in einer solchen Weise assoziiert wird, dass ein Abstand zwischen jedem der Eckpunkten in jedem der drei Rahmen und jedem der gleichen Eckpunkte in dem benachbarten Rahmen minimal ist.
Die Apparatur nach Anspruch 9, gekennzeichnet dadurch, dass der Abstand zwischen jedem der Eckpunkte in jedem der zumindest drei Rahmen und jedem der gleichen Eckpunkte in dem benachbarten Rahmen berechnet wird, nachdem ein Schwerpunkt des Polygons in jedem der zumindest drei Rahmen bewegt worden ist, um in einem Schwerpunkt des Polygons in dem benachbarten Rahmen positioniert zu sein.
Die Apparatur nach Anspruch 8, gekennzeichnet dadurch, dass die Assoziierungs-Einheit, konfiguriert um jeden der Eckpunkte mit jedem der gleichen Eckpunkte zu assoziieren, dieses umfasst: das Schätzen der Eckpunkte in dem benachbarten Rahmen basierend auf den Trajektorien und das Auswählen derjenigen Eckpunkte in dem benachbarten Rahmen, welche den geschätzten Eckpunkten am nächsten sind.
Die Apparatur nach Anspruch 8, gekennzeichnet dadurch, dass die Assoziierungs-Einheit, konfiguriert um jeden der Eckpunkte mit jedem der gleichen Eckpunkte zu assoziieren, dieses umfasst: das Gewinnen eines charakteristischen Maßes der Eckpunkte in jedem der zumindest drei Rahmen und das Assoziieren der Eckpunkte in jedem der Rahmen mit den gleichen Eckpunkten in dem benachbarten Rahmen, welche das am engsten übereinstimmende charakteristische Maß aufweisen.
Die Apparatur nach Anspruch 8, 11 oder 12, gekennzeichnet dadurch, dass die Trajektorien jeweils durch vorbestimmte Funktionen angenähert werden und die Objekt-Bereichs-Daten durch Verwenden der Funktionen erzeugt werden.
Die Apparatur nach Anspruch 8, 11 oder 12, gekennzeichnet dadurch, dass die Objekt-Bereichs-Daten Positions-Daten der Eckpunkte in jedem der zumindest drei Rahmen und Assoziierungs-Daten, anzeigend die Korrespondenz der Eckpunkte zwischen den Rahmen, einschließen.
Ein Herstellungs-Gegenstand umfassend ein Computerverwendbares Medium, darin verkörpert Computer-lesbare Programm-Code-Mittel, erzeugend Objekt-Bereichs-Daten betreffend einen Objekt-Bereich in zumindest drei Rahmen bewegter Bilder, die drei Rahmen gereiht in einer Zeitreihen-Veränderung, die Computer-lesbaren Programm-Code-Mittel umfassend: erste Computer-lesbare Programm-Code-Mittel für das Veranlassen eines Computers, ein Polygon, annähernd einen Umriss des Objekt-Bereichs in jedem der zumindest drei Rahmen, zu erzeugen, wobei das Polygon Eckpunkte aufweist; zweite Computer-lesbare Programm-Code-Mittel für das Veranlassen eines Computers, jeden der Eckpunkte in jedem der zumindest drei Rahmen mit jedem der gleichen Eckpunkte in einem benachbarten Rahmen zu assoziieren; dritte Computer-lesbare Programm-Code-Mittel für das Veranlassen eines Computers, Trajektorien zu gewinnen, jede der Trajektorien verbindend die gleichen Eckpunkte über die zumindest drei Rahmen; und vierte Computer-lesbare Programm-Code-Mittel für das Veranlassen eines Computers, die Objekt-Bereichs-Daten zu erzeugen, die Objekt-Bereichs-Daten umfassend eine die Trajektorien ausdrückende Daten-Näherungs-Funktion.
Ein Herstellungs-Gegenstand nach Anspruch 15, gekennzeichnet dadurch, dass jeder der Eckpunkte in jedem der zumindest drei Rahmen assoziiert wird mit jedem der gleichen Eckpunkte in dem benachbarten Rahmen in der Weise, dass ein Abstand zwischen jedem der Eckpunkte in jedem der zumindest drei Rahmen und jedem der gleichen Eckpunkte in dem benachbarten Rahmen minimal ist.
Ein Herstellungs-Gegenstand nach Anspruch 16, gekennzeichnet dadurch, dass der Abstand zwischen jedem der Eckpunkte in jedem der zumindest drei Rahmen und jedem der gleichen Eckpunkte in dem benachbarten Rahmen berechnet wird, nachdem ein Schwerpunkt des Polygons in jedem der zumindest drei Rahmen bewegt worden ist, um in einem Schwerpunkt des Polygons in dem benachbarten Rahmen positioniert zu sein.
Ein Herstellungs-Gegenstand nach Anspruch 15, gekennzeichnet dadurch, dass das zweite Computer-lesbare Programm-Code-Mittel, konfiguriert um jeden der Eckpunkte mit jedem der gleichen Eckpunkte zu assoziieren, dieses umfasst: das Schätzen der Eckpunkte in dem benachbarten Rahmen, basierend auf den Trajektorien, und das Auswählen der Eckpunkte in dem benachbarten Rahmen, welche den geschätzten Eckpunkten am nächsten sind.
Ein Herstellungs-Gegenstand nach Anspruch 15, gekennzeichnet dadurch, dass das zweite Computer-lesbare Programm-Code-Mittel, konfiguriert um jeden der Eckpunkte mit jedem der gleichen Eckpunkte zu assoziieren, dieses umfasst: das Gewinnen eines charakteristischen Maßes der Eckpunkte eines jeden der zumindest drei Rahmen und das Assoziieren der Eckpunkte in jedem der Rahmen mit den gleichen Eckpunkten in dem benachbarten Rahmen, welche das am engsten übereinstimmende charakteristische Maß aufweisen.
Ein Herstellungs-Gegenstand nach Anspruch 15, 18 oder 19, gekennzeichnet dadurch, dass die Trajektorien jeweils durch vorbestimmte Funktionen angenähert werden und die Objekt-Bereichs-Daten durch Verwenden der Funktionen erzeugt werden.
Ein Herstellungs-Gegenstand nach Anspruch 15, 18 oder 19, gekennzeichnet dadurch, dass die Objekt-Bereichs-Daten Positions-Daten der Eckpunkte in jedem der zumindest drei Rahmen und Assoziierungs-Daten, anzeigend die Korrespondenz der Eckpunkte zwischen den Rahmen, einschließen.