DE69506449T2

DE69506449T2 - Verfahren und vorrichtung zur zwischenbildkodierung

Info

Publication number: DE69506449T2
Application number: DE69506449T
Authority: DE
Inventors: John Hampshire Po16 7Pa Maltby
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1995-03-21
Filing date: 1995-08-02
Publication date: 1999-07-15
Anticipated expiration: 2015-08-03
Also published as: GB9505646D0; US6088394A; EP0815540B1; JP3216884B2; GB2299233A; WO1996029680A1; DE69506449D1; EP0815540A1; JPH10504157A

Description

Die vorliegende Erfindung betrifft ein System und ein Verfahren zur Verarbeitung von digitalen Bildern.
Um eine Folge von digitalen Bildern zu speichern oder zu übertragen, ist es erwünscht, die Folge zu komprimieren, so daß die Datenmenge, welche die komprimierte Folge darstellt, kleiner als die Datenmenge der ursprünglichen Folge ist, und die ursprüngliche Folge aus der komprimierten Folge wiederherstellen zu können.
Die Komprimierung kann beispielsweise bei Videokonferenzsystemen, Bildtelefonen oder Verbundarbeitssystemen angewandt werden. Die Benutzer solcher Systeme kommunizieren sowohl mündlich, als auch visuell. Die Möglichkeit, den anderen Teilnehmer zu sehen, verleiht der Kommunikation einen natürlicheren und interaktiveren Charakter und erlaubt den Teilnehmern, ihren Gesprächspartner sicherer einzuschätzen. In solchen Systemen müssen große Datenmengen ausgetauscht werden, um die Bilder der Teilnehmer zu aktualisieren. Außerdem beansprucht eine Folge von komprimierten digitalen Bildern im Vergleich zu einer Folge von vollständigen digitalen Bildern weniger Übertragungsbandbreite.
Die Komprimierung von digitalen Bildern findet auch Anwendung bei der Speicherung von Bilddaten auf Massenspeichermedien, wie beispielsweise CD-ROMs oder magnetischen Speichermedien, um das zur Aufzeichnung einer. Folge von digitalen Bildern notwendige Speichervolumen zu verringern.
Zusammenhängende Bilder, die von einer Bilderfassungsvorrichtung, wie beispielsweise einer Videokamera, während einer Videokonferenz erzeugt oder von einem Massenspeichermedium gewonnen werden, sind oftmals weitgehend gleich und weichen nur geringfügig voneinander ab. Folglich hat man versucht, von dieser Eigenschaft Gebrauch zu machen, um die Datenmenge, die zur Unterstützung einer Videokonferenz ausgetauscht oder zur Aufzeichnung einer Folge von digitalen Bildern verarbeitet werden muß, zu verringern. Die Verringerung wird erreicht, indem man beispielsweise nur selektive Bereiche der digitalen Bilder austauscht oder speichert oder die Bereiche ausläßt, die gleichbleibend sind, da sie zwischen zusammenhängenden Bildern liegen.
US 4 958 378 beschreibt ein System und ein Verfahren, welche die Aktualisierung eines digitalen Bildes gemäß Unterschieden zwischen aufeinanderfolgenden digitalen Bildern ermöglichen. Während eines Speichervorgangs, bei dem Daten im Speicher abgelegt werden, werden die Daten, die gerade gespeichert werden, gelesen und mit Daten verglichen, die an denselben Speicherplatz geschrieben werden sollen. Wenn die Daten nicht gleich sind, werden der Unterschied und der Speicherplatz dieser Daten in einem getrennten Speicherbereich vermerkt, der zur anschließenden Auswertung verwendet werden soll. Durch Verwendung von Informationen, die über die geänderten Pixel zusammengetragen wurden, braucht ein Bildschirm nur die geänderten Daten zu aktualisieren, wodurch die zu bearbeitende Datenmenge verringert wird. US 4 958 378 vergleicht alle entsprechenden Pixel zwischen aufeinanderfolgenden Bildern und aktualisiert nur das vorhergehende Bild, wenn Unterschiede zwischen ihnen festgestellt werden.
WO 86/03922 beschreibt ein Bildkomprimierungssystem und - verfahren, bei dem aufeinanderfolgende Bilder verglichen wer den, um Bereiche, die sich geändert haben, festzustellen. Ein Referenzspeicher wird verwendet, so daß jedesmal, wenn festgestellt wird, daß sich ein Bereich eines. Bildes geändert hat, eine Prüfung durchgeführt wird, um festzustellen, ob der geänderte Bildbereich Informationen entspricht, die an einem betreffenden Speicherplatz des Referenzspeichers gespeichert sind; wenn das Ergebnis der Prüfung positiv ist, gibt der Sender ein Codewort aus, mit dem er den Empfänger anweist, Bilddaten aus seinem betreffenden Referenzspeicher abzurufen; andernfalls wird der geänderte Bildbereich an den Empfänger übertragen.
EP 0 303 322 A1, beschreibt ein System zur Übertragung und/oder Speicherung von Daten in digitalisierter Form. Aufeinanderfolgende Bilder, die in betreffenden Speichern abgelegt werden, werden miteinander verglichen, und wenn Unterschiede zwischen entsprechenden Positionen festgestellt werden, werden die Bilddaten von einem Speicher an einen Empfänger übertragen und auch zur Aktualisierung des Bildes verwendet, das in dem anderen Speicher abgelegt ist.
Einer der, Faktoren, der die Geschwindigkeit bestimmt, mit der Bilder aktualisiert werden können, ist die Anzahl der Pixel, die zur Durchführung einer Aktualisierung verglichen werden müssen.
Folglich stellt die vorliegende Erfindung ein Verfahren zur Verarbeitung einer Folge von digitalen Bildern bereit, die ein aktuelles Bild und ein nachfolgendes Bild einschließt, wobei das Verfahren die folgenden Schritte umfaßt:
Speichern einer Liste von Positionen,
Vergleichen des aktuellen digitalen Bildes und des nachfolgenden digitalen Bildes nur an Positionen, die in der Liste gespeichert sind, um alle Positionen festzustellen, die Unterschieden zwischen dem aktuellen Bild und dem nachfolgenden Bild entsprechen,
Ausgeben der Positionen von jedweden solchen Unterschieden und entsprechender Pixelwerte, um das aktuelle Bild zu aktualisieren, und
Aktualisieren der Liste als Antwort auf die Positionen, die in dem Vergleichsschritt festgestellt worden sind, indem Positionen zu der Liste hinzugefügt und/oder aus der Liste gelöscht werden.
Die Geschwindigkeit, mit der das aktuelle Bild und nachfolgende Bilder oder zusammenhängende Bilder verarbeitet werden, wird aufgrund der erheblich verringerten Anzahl Pixel, die während des Vergleichs berücksichtigt werden, enorm gesteigert. Es dürfte klar sein, daß die Bildqualität zugunsten der Geschwindigkeit geopfert wird und das Verfahren verlustbehaftet ist.
Eine weitere Ausführungsform stellt ein Verfahren bereit, bei dem der Aktualisierungsschritt das Entfernen von Positionen aus der Liste einschließt, bei denen keine Unterschiede zwischen dem aktuellen Bild und dem nachfolgenden Bild festgestellt wurden.
Das Entfernen von redundanten Positionen aus der Liste gewährleistet, daß die Positionen, die gleiche Werte haben, bei einem zukünftigen Vergleich, der zwischen aufeinanderfolgenden Bilderen durchgeführt wird, nicht berücksichtigt werden, und trägt dazu bei, die Größe der Liste auf ein Minimum zu reduzieren.
Während eines Vergleichs zwischen aufeinanderfolgenden Bildern können die Bilder auch bei Positionen, die nicht in der Liste enthalten sind, voneinander abweichen.
Folglich stellt eine weitere Ausführungsform ein Verfahren bereit, das desweiteren die Schritte
der Auswahl von Positionen, die an die Positionen angrenzen, die in der Liste enthalten sind, und das Hinzufügen der benachbarten Positionen zu der Liste
umfaßt.
Vorzugsweise stellt eine Ausführungsform ein Verfahren bereit, bei dem benachbarte Positionen nur für diejenigen Positionen ausgewählt werden, die in dem Vergleichsschritt festgestellt worden sind.
Die Verwendung von benachbarten Positionen ist bei der darauffolgenden Bewegung über das Bild wirkungsvoll.
Die Verwendung desselben Musters von benachbarten Positionen zur Feststellung der benachbarten Positionen kann dazu führen, daß bestimmte Aktualisierungen immer wieder fehlen.
Folglich stellt eine Ausführungsform ein Verfahren bereit, bei dem der Schritt der Auswahl von benachbarten Positionen die Auswahl eines anderen Musters von benachbarten Positionen für verschiedene, aufeinanderfolgende Bilder umfaßt.
Die Verwendung mehrerer Muster von benachbarten Positionen verhindert, daß bestimmte Aktualisierungen immer wieder fehlen.
In bestimmten Fällen können sich Unterschiede zwischen aufeinanderfolgenden Bildern ergeben, die nicht genügend nah an einer Position sind, die gerade geprüft wird, um während eines Vergleichs von benachbarten Positionen festgestellt zu werden.
Folglich stellt eine weitere Ausführungsform ein Verfahren bereit, das des weiteren den Schritt des Hinzufügens von auswählbaren Positionen zu der Liste umfaßt, die weitgehend gleichmäßig über das aktuelle und das nachfolgende Bild verteilt sind.
Das Hinzufügen von verteilten Positionen zu der Liste macht es auf vorteilhafte Weise möglich, daß Unterschiede, die sich fern der aktuellen, in der Liste gespeicherten Positionen befinden, erkannt und während späterer Vergleiche berücksichtigt werden können.
Beginnt man mit der Grobabtastung dauernd an derselben Position, kann dies dazu führen, daß Aktualisierungen unerkannt bleiben.
Folglich stellt eine Ausführungsform ein Verfahren bereit, bei dem die Stellen der auswählbaren Positionen in bezug auf eine veränderliche Ausgangsstelle bestimmt werden.
Da die Anzahl der Positionen, die in der Liste gespeichert werden, zunimmt, nimmt auch deren Größe zu.
Folglich stellt eine Ausführungsform ein Verfahren bereit, bei dem sich die Anzahl der auswählbaren Positionen entsprechend der Anzahl der in der Liste gespeicherten Positionen verändert.
Eine Beschränkung der Anzahl der Positionen, die zu der Liste hinzugefügt werden, verhindert, daß die Kapazität der Liste überschritten wird.
Die Speicherung sowohl des aktuellen Bildes als auch eines nachfolgenden Bildes während dessen Verarbeitung kann beträchtliche Speicheranforderungen an die Speicherressourcen eines Systems stellen, das zur Realisierung einer Ausführungsform verwendet wird.
Folglich stellt eine weitere Ausführungsform ein Verfahren bereit, bei dem die Liste für jede darin gespeicherte Position außerdem einen zugehörigen Wert enthält, der den Wert des aktuellen Bildes an dieser Position darstellt, und bei dem der Vergleichsschritt der zugehörigen Werte mit Werten an entsprechenden Positionen des nachfolgenden Bildes vergleicht, um jedwede Unterschiede zwischen ihnen festzustellen.
Indem zugehörige Werte und Positionen von zuvor erkannten Unterschieden gespeichert werden, kann das aktuelle Bild gelöscht werden, wodurch sich die zur Realisierung einer Ausführungsform notwendige Speicherkapazität erheblich verringern läßt.
Das einfache Vergleichen von Pixelwerten zwischen aufeinanderfolgenden Bildern kann dazu führen, daß Positionen zu der Liste hinzugefügt werden, bei denen die Unterschiede zwischen Pixeln in dem aktuellen Bild und dem nachfolgenden Bild fast vernachlässigbar sind.
Folglich stellt eine Ausführungsform ein Verfahren bereit, bei dem der Vergleichsschritt einen Schwellenwert verwendet, so daß alle Unterschiede, die kleiner als der Schwellenwert sind, ignoriert werden.
Noch eine weitere Ausführungsform stellt ein Verfahren bereit, bei dem der Schwellenwert entsprechend der Anzahl der Positionen in der Liste veränderlich ist.
Eine Veränderung des Schwellenwerts erhöht auf vorteilhafte Weise die Kontrolle, die über die Anzahl der in der Liste gespeicherten Positionen ausgeübt werden kann.
Die vorliegende Erfindung stellt auch ein System zur Verarbeitung einer Folge von digitalen Bildern, die ein aktuelles Bild und ein nachfolgendes Bild einschließt, bereit, das folgendes. umfaßt:
ein Mittel, um eine Liste von Positionen zu speichern,
ein Mittel, um das aktuelle digitale Bild und das nachfolgende digitale Bild nur an Positionen zu vergleichen, die in der Liste gespeichert sind, um alle Positionen festzustellen, die Unterschieden zwischen dem aktuellen Bild und dem nachfolgenden Bild entsprechen,
ein Mittel, um die Positionen von jedweden solchen Unterschieden und entsprechende Pixelwerte auszugeben, um das aktuelle Bild zu aktualisieren, und
ein Mittel, um die Liste als Antwort auf die Positionen, die in dem Vergleichsschritt festgestellt worden sind, zu aktualisieren, indem Positionen zu der Liste hinzugefügt und/oder aus der Liste gelöscht werden.
Ausführungsformen der vorliegenden Erfindung werden nun lediglich anhand eines Beispiels mit Bezug auf die Begleitzeichnungen beschrieben, in denen:
Fig. 1 ein übergeordnetes Blockdiagramm eines Datenverarbeitungssystems ist, das zur Realisierung von Ausführungsformen verwendet wird;
Fig. 2 die Funktionsweise einer Ausführungsform schematisch veranschaulicht;
Fig. 3 die Ableitung der Positionen von Unterschieden zwischen einem ersten Bild und einem zweiten Bild veranschaulicht;
die Fig. 4a und 4b Schablonen mit benachbarten Positionen veranschaulichen;
Fig. 5 eine weitere Ausführungsform veranschaulicht, bei der eine Liste für jede darin enthaltene Position außerdem einen zugehörigen Wert enthält;
die Fig. 6a bis 6c einen verzögerten Vergleich von benachbarten Positionen veranschaulichen;
Fig. 7 einen groben Vergleich von aufeinanderfolgenden Bildern veranschaulicht;
Fig. 8 ein Flußdiagramm einer Ausführungsform darstellt.
Bezug nehmend auf Fig. 1, ist ein Blockdiagramm eines Personal-Computersystems 10, wie beispielsweise eines Personalcomputers IBM PS/2, gezeigt. Das Rechnersystem 10 enthält einen Systembus 12. Angeschlossen an den Systembus 12 ist eine Zentraleinheit (CPU) 14, beispielsweise ein Mikroprozessor vom Typ Intel 80486 oder ein gleichwertiger Mikroprozessor. Die CPU 14 überträgt Daten an und empfängt Daten von anderen Einheiten, die an den. Systembus 12 angeschlossen sind oder diesen verwenden. Der Verkehr auf dem Bus wird von einer Bussteuereinheit 16 gesteuert. Eine Unterbrechungssteuereinheit 18 verwaltet Unterbrechungen, die zwischen der CPU 14 und den restlichen Einheiten übertragen werden;
Der Nur-Lese-Speicher (ROM) 20 ist ein nichtflüchtiger Speicher, der Einschalttestprozesse und ein. Grundeingabe-/Ausgabe- System (BIOS oder ROM-BIOS) speichert. Der Systemspeicher 22 ist ein Speicher mit wahlfreiem Zugriff, in den ein Betriebssystem, wie beispielsweise das Betriebssystem IBM OS/2, Programme und Daten zur Ausführung oder Bearbeitung geladen werden können. Weitere Hardware-Komponenten des Rechners 10 schließen eine Speichersteuereinheit 24 und einen Systemkonfigurationsspeicher 26, der vom Speicher mit wahlfreiem Zugriff (RAM) bereitgestellt wird, ein.
Ein Hilfsdatenspeicher wird von peripheren Steuereinheiten und zugehörigen Speichereinheiten bereitgestellt, die eine Disket- tenlaufwerk-Steuereinheit 28 und ein Diskettenlaufwerk 30, eine Festplattenlaufwerk-Steuereinheit 32 und eine Testplattenlaufwerkeinheit 34 und eine Compact-Disk-(CD-)Nur-Lese-Speicher- (ROM-)Steuereinheit 36 mit einem CD-ROM-Laufwerk 38 einschließen. Digitale Bilder, die in der hier beschriebenen Art und Weise komprimiert werden, können dem Rechnersystem 10 von komprimierten Bilddaten, die auf tragbaren, im CD-ROM-Laufwerk 38 eingelegten Datenträgern gespeichert sind, zugeführt oder über ein Kommunikationsnetzwerk (nicht gezeigt) empfangen werden. Nach der Dekomprimierung durch die CPU 14 kann die optische Wiedergabe der Bilder unter Verwendung einer geeigneten Gtafikanordnung, wie beispielsweise einer SVGA-Steuereinheit 40 und eines geeigneten Bildschirms 42, durchgeführt werden. Die SVGA- Steuereiriheit 40 enthält einen RAM-Puffer 44, in dem das aktuelle Vollbild zur Anzeige gespeichert wird. Bei manchen Rechnern kann der Puffer 44 direkt vom Systemspeicher 22 oder von einer Hilfsspeichersteuereinheit geladen werden. Beim System 10 verwaltet die CPU 14 das Laden der dekomprimierten Daten für jedes neue Vollbild in die geeigneten Speicherplätze im Puffer 44, um das Vollbild zu aktualisieren.
Die Direktspeichetzugriffs-(DMA-)Steuereinheit 46 führt Datenübertragungen zwischen den Hilfsspeichereinheiten oder anderen Eingabe-/Ausgabeeinheiten und dem Systemspeicher 22 ohne Einwirkung der CPU 14 durch. Die Tastatursteuereinheit 48 stellt eine Schnittstelle zu einer Tastatur 50 für Benutzereingaben bereit und kann zur Bereitstellung einer Schnittstelle zu einer Maus verwendet werden. Die parallele Steuereinheit 52 ist eine Gerätesteuereinheit für eine Eingabe- oder Ausgabeeinheit (z. B. einen Drucker, der über ein paralleles Kabel an den Rechner 10 angeschlossen ist).
Digitale Bilder können von einer Reihe von Quellen, einschließlich Grafiken, die von einem auf der CPU 14 laufenden Anwendungsprogramm erzeugt werden, oder von einer Kamera 56 und einer zugehörigen Videoschnittstelle 54, wie sie in Videokonferenz- oder Verbundarbeitssystemen verwendet werden, gewonnen werden. Die Schnittstelle 54 setzt ein analoges Videosignal, wie beispielsweise ein NTSC- oder ein PAL-Signal, in ein digitales Videosignal um. Das digitale Signal umfaßt eine Reihe von Vollbildern oder Bildern, von denen jedes eine Gruppe von Bytes ist, die Intensitäts- oder Farbinformationen (z. B. RGB-Werte) für jeweilige Pixel übertragen. Die Vollbilder werden in chronologischer Reihenfolge angeordnet. Von der Videoeingabeschnittstelle 54 gelieferte digitale Videosignale werden von der CPU 14 verarbeitet, um ein komprimiertes Videosignal zu erzeugen, das Informationen über den Unterschied zwischen einem Ausgangsvollbild und einem nachfolgenden Vollbild zur Speicherung auf einer Festplattenlaufwerkeinheit 34 oder zur anderweitigen Verarbeitung umfaßt, wie z. B. die Übertragung an eine ferne Datenstation eines Videokonferenz- oder Verbundarbeitssystems. Die Geschwindigkeit, mit der diese Komprimierung durchgeführt werden kann, hängt von der Anzahl der Dateneinheiten ab, die vergliichen werden müssen, um die komprimierten Daten zu erzeugen.
Die vorstehend beschriebene Rechner-Hardware ist in der Technik bekannt, und der Fachmann wird sofort verstehen, daß von dieser Rechner-Hardware abweichende Formen ebenfalls verwendet werden können, ohne von der Erfindung abzuweichen.
Fig. 2 veranschaulicht schematisch die Funktionsweise einer Ausführungsform. Pixel eines aktuellen Bildes 200 werden mit Hilfe eines Komparators 230 mit Pixeln eines anschließend empfangenen Bildes 210 nur an Pixelpositionen (x&sub1;, y&sub1;), ..., (Xc, Yc), ..., (Xn, Yn) verglichen, die in einer Liste 220 ausgewiesen sind. Die aktüelle Position (Xc, Yc), die in der Liste ausgewiesen ist, legt fest, welche entsprechenden Pixel des aktuellen Bildes 200 und des nachfolgenden Bildes 210 verglichen werden. Entsprechende. Pixel für alle Positionen, die in der Liste ausgewiesen sind, werden verglichen. Wenn zwischen entsprechenden Pixeln ein Unterschied festgestellt wird, werden der Wert des Pixels in dem nachfolgenden Bild zusammen mit dessen Position zur weiteren Verarbeitung ausgegeben. Die weitere Verarbeitung schließt typischerweise die Aktualisierung des aktuellen Bildes mit diesem Wert und die Übertragung der Position und des Werts an eine ferne Datenstation ein. Wenn bei der Position, die gerade geprüft wird, kein solcher Unterschied vorhanden ist, wird die Liste aktualisiert, um diese Position zu entfernen, und die Verarbeitung der verbleibenden Positionen wird fortgesetzt. Alle in der Liste ausgewiesenen Positionen werden einmal für aktuelle. Bild 200 und das nachfolgende Bild 210 durchlaufen.
Die Liste ist eine Matrix fester Größe. Die Matrix enthält einen Relativzeiger vom Beginn eines. Bildes auf jede darin gespeicherte Position. Wenn ein Speicherplatz der Matrix nicht verwendet wird, werden die Positionseinzelheiten auf NULL-Werte gesetzt. Genauso werden die Positionseinzelheiten auf NULL- Werte gesetzt, wenn eine Position aus der Liste entfernt wird. Wird eine Position zur Liste hinzugefügt, wird von einer geeigneten Ausgangsposition in der Matrix, wie beispielsweise von deren Beginn, ein Suchlauf nach einem Speicherplatz gestartet, der NULL-Werte hat. Wenn solch ein Speicherplatz gefunden wird, wird er zur Speicherung det neu erfaßten Positionseinzelheiten verwendet. Die Größe der Matrix ist so ausgelegt, daß die Anzahl der Positionen, die sie halten kann, ungefähr einem Viertel der Anzahl der Pixel, die ein Bild darstellen, entspricht. Jedoch kann die Matrix entsprechend den Speicher- oder Verarbeitungsanforderungen auch anderes dimensioniert werden. Andere geeignete Listen, wie beispielsweise eine verknüpfte Liste, können zur Speicherung der Positionseinzelheiten verwendet werden. Ferner kann eine Ausführungsform einen DRAM oder dergleichen verwenden, um die Positionen zu speichern, d. h. die Liste wird durch einen geeigneten Speicher ersetzt.
Nach dem Empfang eines nachfolgenden Bildes 210 vergleicht der Komparator 230 entsprechende Pixel des aktuellen Bildes 200 und des nachfolgenden Bildes 210 an betreffenden Positionen (x&sub1;, y&sub1;), wobei die erste Position in der Liste ausgewiesen ist. Wenn ein Unterschied zwischen verglichenen Pixeln in dem aktuellen und dem nachfolgenden Bild festgestellt wird, bleibt die Position (x&sub1;, y&sub1;) in der Liste, und die Position des. Unterschieds und der Wert des Pixels an dieser Position in dem nachfolgenden Bild werden zur weiteren Verarbeitung ausgegeben. Die Position (x&sub1;, y&sub1;) in dem aktuellen Bild wird ebenfalls aktualisiert, wobei der Pixelwert des nachfolgenden Bildes an der entsprechenden Position verwendet wird. Wenn zwischen verglichenen Pixeln kein Unterschied festgestellt wird, wird die Liste 220 aktualisiert, um die Position (x&sub1;, y&sub1;) daraus zu entfernen, und an der Position (x&sub1;, y&sub1;) wird zwischen dem aktuellen Bild und dem nächsten nachfolgenden Bild kein Vergleich durchgeführt.
Der Komparator 230 vergleicht dann die entsprechenden Pixel des aktuellen Bildes 200 und des nachfolgenden Bildes 210 an der Position (x&sub2;, y&sub2;). Wenn es einen Unterschied gibt, bleibt die Position (x&sub2;, y&sub2;) wieder in der Liste, und die Position und der Pixelwert an dieser Position im nachfolgenden Bild werden zur weiteren Verarbeitung ausgegeben und auch zur Aktualisierung des aktuellen Bildes verwendet. Wenn es zwischen ihnen keinen Unterschied gibt, wird die Position (x&sub2;, y&sub2;) aus der Liste 220 entfernt.
Der obige Ablauf wird so lange wiederholt, bis Pixel des aktuellen Bildes 200 und des nachfolgenden Bildes 210 nur an Positionen verglichen worden sind, die von der Liste 220 festgelegt wurden. Nachdem alle in der Liste ausgewiesenen Positionen so verglichen worden sind, enthält die Liste 220 nur Positionen, bei denen zwischen dem aktuellen Bild 200 und dem nachfolgenden Bild 210 Unterschiede erkannt worden sind. Indem nur die in der Liste ausgewiesenen Positionen geprüft werden, wird die Anzahl der Pixel, die verglichen werden, im Vergleich zu einem zwischen allen Pixeln von aufeinanderfolgenden Bildern durchgeführten Vergleich drastisch verringert, und der Vergleich zwischen den Bildern geht schneller. Es dürfte klar sein, daß die höhere Verarbeitungsgeschwindigkeit zu Lasten der Bildqualität geht.
Obwohl die obige Ausführungsform alle erkannten Pixelwerte und entsprechende Positionen, so wie sie erkannt werden, ausgibt, kann eine Ausführungsform realisiert werden, bei der alle diese Werte und entsprechende Positionen erst zur weiteren Verarbeitung ausgegeben werden, nachdem alle Positionen in der Liste geprüft worden sind. Außerdem wird der Inhalt des Ausgabepuf fers zur weiteren Verarbeitung ausgegeben, wenn der Ausgabepuffer während eines Listendurchlaufs voll wird oder wenn die Erfassung neuer Positionen dazu führt, daß die Liste voll wird.
Der vorstehende Vergleich und die vorstehende Verwaltung der Liste werden für jedes nachfolgende Bild in der Reihenfolge der digitalen Bilder wiederholt. Ein neu empfangenes nachfolgendes Bild ersetzt das alte nachfolgende Bild.
An einer fernen Datenstation wird das erste vollständige Bild empfangen, und die nachfolgend empfangenen Positionen und entsprechenden Werte werden zur Aktualisierung des vollständigen Bildes verwendet.
Fig. 3 veranschaulicht die Initialisierung der Liste, die zur Verarbeitung von aufeinanderfolgenden digitalen Bildern verwendet wird. Ein erstes Bild 300 und ein zweites Bild 310 werden mit Hilfe eines Komparators 320 verglichen, um die Positionen 330 bis 360 von Unterschieden zwischen ihnen festzustellen. Die Koordinaten von beliebigen solcher Positionen werden in der Liste 370 gespeichert. Die anfänglichen Unterschiede lassen sich auf viele Arten feststellen. Entsprechende Pixel des ersten Bildes 300 und des zweiten Bildes 310 werden einzeln verglichen, um die Positionen von jedweden Unterschieden festzüstellen; alle diese Positionen werden in der Liste 370 gespeichert.
Bei einer bevorzugten Alternative wird ein grober Vergleich (wie nachstehend ausführlicher beschrieben werden wird) zwischen dem ersten und dem zweiten Bild durchgeführt, und die Positionen von allen Unterschieden, die in dem groben Vergleich festgestellt werden, werden in der Liste gespeichert und dienen als Positionskeime, aus denen die Positionen für einen späteren Vergleich entstehen können.
Das erste und das zweite Bild brauchen, absolut betrachtet, nicht unbedingt das erste und das zweite Bild zu sein. Es ist vielleicht erwünscht, in regelmäßigen Abständen ein vollständig neuesn Bild zur weiteren Verarbeitung auszugeben. Das neu ausgegebene, vollständige Bild würde das aktuelle Bild oder das "erste" Bild werden, und das zweite oder nachfolgende Bild würde in bezug auf das "erste" Bild so bezeichnet werden. Die Übertragung des vollständigen Bildes in regelmäßigen Abständen hat zur Folge, daß die Ausführungsform langsamer ist, aber etwas Schutz gegen Übertragungsfehler bietet.
Die Position eines Werts in einem Bild wird mit Hilfe einer einzigen Zahl ermittelt, die den Relativzeiger auf, diesen Wert bezogen auf das erste Pixel des Bildes darstellt. Wenn die Anzahl der Bytes, die zur Darstellung eines Relativzeigers notwendig ist, kleiner als die Anzahl der Bytes ist, die zur Darstellung eines Paars kartesischer Koordinaten notwendig ist, wird aus Sicht der Speicherbelegung die Relativzeiger-Darstellung bevorzugt und umgekehrt. Des weiteren kann der Relativzeiger statt auf das erste Pixel des Bildes bezogen im Verhältnis zur letzten Position, die zur weiteren Verarbeitung ausgegeben wird, bemessen werden. Die Verwendung eines solchen Relativzeigers hat den Vorteil, daß die Anzahl der Bytes, die zur Feststellung der Position eines bestimmten Werts notwendig ist, weiter verringert werden kann.
Statt den absoluten Wert eines Pixels im nachfolgenden Bild auszugeben, kann ein davon abgeleiteter Wert ausgegeben werden, d. h. der Unterschied zwischen verglichenen Pixeln kann ausgegeben werden.
Zwischen dem aktuellen Bild und einem nachfolgenden Bild können auch andere als die in der Liste ausgewiesenen Pixel verschieden sein. Daher wird ein Vergleich zwischen dem aktuellen Bild und einem nachfolgenden Bild im allgemeinen nicht nur bei denjenigen Positionen durchgeführt, bei denen zuvor schon Unterschiede festgestellt worden sind, sondern auch bei benachbarten Positionen. Der Vergleich wird vom Komparator zwischen dem aktuellen Bild und einem nachfolgenden Bild an den in der Liste ausgewiesenen Positionen (x&sub1;, y&sub1;), ..., (xn, Yn) und benachbarten Positionen (x'&sub1;, y'&sub1;), ..., (x'm, Y'm) durchgeführt. Die benachbarten Positionen, (x'&sub1;, y'&sub1;, ..., (x'm, Y'm), werden von den Positionen abgeleitet, die in der Liste bereits ausgewiesen sind und können an die Liste angefügt oder in die Liste integriert werden. Der Vergleich wird weitgehend gleich wie bei den anderen hier beschriebenen Ausführungsformen durchgeführt. Bei den Positionen, die geprüft werden, werden die Positionen jedweder Unterschiede zwischen entsprechenden Pixeln des aktuellen Bildes und eines nachfolgenden Bildes festgestellt. Wenn solch eine festgestellte Position bereits Teil der Liste ist, bleibt sie dies. Positionen, bei denen keine Unterschiede festgestellt werden, werden aus der Liste entfernt. Positionen, die an Positionen angrenzen, bei denen Unterschiede festgestellt wurden, werden zur Liste hinzugefügt.
Eine Verbesserung der Verarbeitungsgeschwindigkeit läßt sich erzielen, wenn man beim Hinzufügen von benachbarten Positionen zu der Liste sorgfältig vorgeht, um sicherzustellen, daß jede benachbarte Position nur einmal in die Liste aufgenommen wird. Dies läßt sich erreichen, indem man beim Hinzufügen der benachbarten Positionen zur Liste letztere durchsucht, um doppelte Positionen zu vermeiden. Ein vollständiger Suchlauf durch die Liste wird durchgeführt, um festzustellen, ob eine Position, die vorschlagshalber zur Liste hinzugefügt werden soll, bereits in der Liste enthalten ist oder nicht.
Die Wirksamkeit kann verbessert werden, wenn die Positionen und benachbarte Positionen nach einem Schlüssel sortiert werden.
Beispielsweise können die Positionen unter Verwendung der Ordinate als primärem Sortierschlüssel und der Abszisse als sekundärem Sortierschlüssel oder bei Verwendung von Relativzeigern nach der Größe des Relativzeigers sortiert werden.
Noch eine weitere Alternative wäre die Verwendung eines Hash- Algorithmus, bei dem jede Position in einem Bild einem Hash- Algorithmus unterworfen und auf eine bestimmte Position in der Datenstruktur abgestimmt wird.
Die Nähe der benachbatten Positionen zu den in der Liste ausgewiesenen Positionen kann variabel festgelegt werden. Beispielsweise kann eine Ausführungsform realisiert werden, bei der nur benachbarte Positionen, die unmittelbar an die Positionen in der Liste angrenzen, ebenfalls verarbeitet werden. Alternativ dazu können die benachbarten Positionen diejenigen Positionen einschließen, bei denen es sich in bezug auf die in der Liste enthaltenen. Positionen um die übernächsten oder die nächsten bis auf N Positionen handelt, wobei N eine positive ganze Zahl ist. Zum Beispiel können alle Positionen an den äußersten Rändern des benachbarten Bereichs im Umkreis von beispielsweise fünf Pixeln einer in der Liste enthaltenen Position liegen.
Bezug nehmend auf Fig. 4a, sind eine Position 400 und ausgewählte benachbarte Positionen 410 bis 480 gezeigt. Die ausgewählten benachbarten Positionen sind von der Position 400, die gerade geprüft wird, um zwei Pixel oder eine Schrittgröße von zwei versetzt. Die Anzahl der benachbarten Positionen 410 bis 480, die für jede bestimmte Position 400 in der Liste geprüft werden, bleibt fest, nämlich acht in diesem Fall. Die Verteilung der ausgewählten benachbarten Positionen 410 bis 480 in bezug auf eine Position 400 braucht nicht regelmäßig zu sein, wie in den Fig. 4a und 4b gezeigt ist; die Verteilung kann alternativ dazu unregelmäßig sein. Aus Fig. 4b ist ersicht lich, daß alternative Schrittgrößen verwendet werden können; um die benachbarte Position, die geprüft wird, zu verändern. Fig. 4b stellt eine Schrittgröße von eins bezogen auf die Position 400 dar.
Während der Verarbeitung einer Folge von digitalen Bildern kann die Schrittgröße variabel gehalten werden. Zum Beispiel kann die Schrittgröße so eingestellt werden, daß sie zwischen eins und zwei hin- und herschaltet und dabei die verglichenen benachbarten Positionen verändert (d. h. zwischen den Fig. 4a und 4b wechselt). Alternativ dazu kann eine Reihe von Schablonen mit benachbarten Positionen festgelegt und gemäß einer vorher festgelegten Reihenfolge, oder bestimmter Kriterien schrittweise durchlaufen werden.
Die Anzahl der benachbarten Positionen kann in Abhängigkeit von der Anzahl der Positionen, die in der Liste enthalten sind, oder der prozentualen Belegung der Liste verändert werden. Wenn beispielsweise die Höchstzahl der Positionen, die in der Liste gespeichert werden können, erreicht ist, kann die Prüfung von benachbarten Positionen vorübergehend ausgesetzt werden. Alternativ dazu, wenn beispielsweise die Anzahl der Positionen, die in der Liste enthalten sind, die Hälfte der Höchstzahl der Positionen, die gespeichert werden können, erreicht, kann eine Schablone mit benachbarten Positionen, die weniger benachbarte Positionen umfaßt, für spätere Vergleiche verwendet werden, wodurch die mögliche Wachstumsrate der Anzahl vier Positionen, die in der Liste enthalten sind, verringert wird.
Fig. 5 veranschaulicht eine weitere Ausführungsform, bei der eine Liste 500 für jede der darin gespeicherten Positionen (x&sub1;, y&sub1;), ..., (xn, yn) einen Wert v&sub1;, ..., vn enthält. Die Werte stellen die Pixelwerte von jeweiligen Positionen im aktuellen Bild (nicht gezeigt) dar. Indem man diese Werte v&sub1;, ..., vn in der Liste. 500 festhält, kann das aktuelle Bild gelöscht werden, wodurch die zur Realisierung einer Ausführungsform notwendige Speicherkapazität verringert wird. Ein Komparator 510 führt einen Vergleich zwischen den in der Liste 500 gespeicherten Werten v&sub1;, ..., vn und den Pixeln an entsprechenden Positionen (x&sub1;, y&sub1;), ..., (xn, yn) in einem nachfolgenden Bild 520 durch.
Nach dem Erhalt eines nachfolgenden Bildes 520 wird zum Beispiel der Wert des Pixels an der Position (x&sub1;, y&sub1;) in dem Bild mit dem in der Liste 500 gespeicherten Wert v&sub1; verglichen. Wenn sie voneinander abweichen, bleibt die Position (x&sub1;, y&sub1;) in der Liste 500, und der zugehörige Wert v&sub1; wird aktualisiert, um den, Wert v'&sub1; des Pixels an der Position (x&sub1;, y&sub1;) in dem nachfolgenden Bild 520 widerzuspiegeln. Wenn sie nicht voneinander abweichen, werden die Position (x&sub1;, y&sub1;) und der betreffende Wert v&sub1; aus der Liste 500 entfernt. Die verbleibenden Positionen (x&sub2;, y&sub2;) und die folgenden Positionen und die betreffenden Werte v&sub2; und die folgenden Werte werden genauso verarbeitet, bis alle Positionen in der Liste 500 geprüft worden sind.
Man beachte, daß Pixelwerte für benachbarte Positionen bei diesem Lösungsansatz anfangs nicht verfügbar sind. Nach der Auswahl von benachbarten Positionen nehmen diese Positionen deshalb die Werte von betreffenden Pixeln in dem nachfolgenden Bild an. Anschließende Vergleiche werden unter Verwendung der jüngst erfaßten Werte durchgeführt.
Bezug nehmend auf die Fig. 6a bis 6c, kann anstelle der Erfassung der Werte von den benachbarten Positionen von einem nachfolgenden Bild, SIn, ein Vorteil realisiert werden, wenn die Erfassung dieser Werte bis zum Empfang des nächsten nachfolgenden Bildes, SIn+1, verzögert wird, falls sich das Bild bewegt oder bewegt hat. Die anschließende Verzögerung beim Vergleich von neu erfaßten Werten von benachbarten Positionen bis zum Empfang eines neuen nachfolgenden Bildes, SIn+2, hat den Vorteil, daß ein Vergleich erstens nicht sofort durchgeführt wird, was den unmittelbaren Verarbeitungsbedarf verringert, und zweitens, wenn sich das Bild bewegt, die Werte von benachbarten Positionen zwischen aufeinanderfolgenden Bildern möglicherweise gleich sind und die Position aus der Liste gelöscht werden kann, wodurch die zur weiteren Verarbeitung auszugebende Datenmenge verringert wird.
Wenn sich zum Beispiel die Position eines Pixels zwischen aufeinanderfolgenden Bildern aufgrund einer Bild- oder Kamerabewegung ändert, kann sich die folgende Ereignisfolge für ein bestimmtes, sich bewegendes Pixel ergeben. Mit Bezug auf Fig. 6a nehmen wir an, daß sich das sich bewegende Pixel 600 in einem nachfolgenden Bild, SIn, an einer der benachbarten Positionen 610 befindet und die benachbarte Position zur Liste 615 hinzugefügt wird. In Fig. 6b wird der Pixelwert der benachbarten Position 610 erfaßt, wenn das nächste nachfolgende Bild, SIn+1, empfangen wird; jedoch hat sich das Pixel 600 an eine neue Po- , sition 620 bewegt, und dementsprechend ist der Wert der benachbarten Position beispielsweise X im Gegensatz zum vorherigen Wert des Pixels 600. Der Wert X wird zur Liste 615 hinzgefügt. In Fig. 6c werden die benachbarte Position 610 und der jüngst erfaßte Wert X mit dem Pixelwert der betreffenden Position 610 im nächsten nachfolgenden Bild, SIn+2, verglichen. Man kann sehen, daß die Werte gleich sind, und folglich wird die benachbarte Position 610 aus der Liste entfernt. Wenn die Erfassung des Werts der benachbarten Position gleichzeitig mit der Erfassung der benachbarten Position selbst erfolgen würde, würde sich im Gegensatz dazu die folgende Ereignisfolge ergeben. Der Wert des Pixels 600 wird zur Liste hinzugefügt. Nach dem Empfang eines nachfolgenden Bildes SIn+1 wird der hinzugefügte Wert mit dem Pixelwert X an det entsprechenden Position 610 in dem nachfolgenden Bild SIn+1 verglichen. Da die Werte; verschieden sind, werden dessen Position und der Pixelwert X im nachfolgenden Bild SIn+1 zur weiteren Verarbeitung ausgegeben.
Daher wird die zur weiteren Verarbeitung ausgegebene Datenmenge als Folge der Verzögerung der Erfassung von Pixelwerten bezogen auf die Erfassung von benachbatten Positionen Verringert. Eine Pixelbewegung, wie sie vorstehend beschrieben wurde, kann auftreten, wenn eine Rückflanke eines sich bewegenden Bildes verarbeitet wird.
In den obigen Ausführungsformen konzentrieren sich die Vergleiche auf Positionen, die in der Datenstruktur aufgeführt sind. Folglich werden Unterschiede zwischen aufeinanderfolgenden Bildern, die sich nicht innerhalb oder in ausreichender Nähe dieser Positionen befinden, übersehen. Deshalb wird vorzugsweise ein grober Vergleich zwischen dem aktuellen Bild und einem nachfolgenden Bild durchgeführt. Bezug nehmend auf Fig. 7, werden ausgewählte Positionen (xs1, Ys1),...(Xsn, Ysn) eines aktuellen Bildes 700 und eines nachfolgenden Bildes 710 mittels eines Komparators 720 verglichen, um die Positionen von Unterschieden zwischen ihnen festzustellen. Gemäß den vorstehenden Ausführungsformen werden die Positionen (xsw, ysw), ... (Xsz, Ysz) von allen solchen festgestellten Unterschieden zur Liste 730 zur künftigen Berücksichtigung (und gegebenenfalls die zugehörigen Werte der Pixel) hinzugefügt.
Der grobe Vergleich kann durchgeführt werden, indem entsprechende Positionen im aktuellen Bild 700 und im nachfolgenden Bild 710, zum Beispiel jedes zehnte Pixel, sowohl horizontal als auch vertikal verglichen werden. Wenn das Anfangspixel beim ersten groben Vergleich das Pixel (0,0) ist, sind folglich die anderen Pixel, die verarbeitet werden, die Pixel (0+10,0), (0+20,0), ..., (0,0+10), (0,0+20) usw. Der grobe Vergleich kann variieren, so daß, verschiedene Pixel zum Vergleich ausgewählt werden. Beispielsweise kann für jeden groben Vergleich ein anderes Anfangspixel ausgewählt werden. Im allgemeinen können die Positionen der Pixel, die zum Vergleich ausgewählt werden, beider veranschaulichten Ausführungsform angegeben werden durch:
(sx + mx*n, sy + my*m),
wobei
sx die Anfangsordinate des ersten Pixels eines Vergleichs ist,
sy, die Anfangsabszisse des erstem Pixels eines Vergleichs ist,
mx die Schrittgröße der Ordinate der Pixelposition ist,
n der n-te Schritt der Ordinate ist,
my, die Schrittgröße der Abszisse der Pixelposition ist,
m der m-te Schritt der Abszisse ist.
Bei einem Vergleich verändern sich m und n wie folgt. Beide beginnen bei null, n wird bis zu einem Höchstwert schrittweise um eins erhöht, der von der Anzahl der Pixel, die eine Zeile des Bildes bilden, bestimmt wird. Wenn n den Höchstwert erreicht, wird es auf null zurückgesetzt, und m wird schrittweise um eins erhöht; m wird, gemäß n, bis zu einem Höchstwert schrittweise erhöht, der von der Anzahl der Pixelzeilen, die von einem bestimmten Anzeigemodus unterstützt werden, bestimmt wird. Alternativ dazu können die Pixel, die als Grundlage für den groben Vergleich ausgewählt werden, gemäß einer statistischen Verteilung oder auf eine andere gewünschte Art und Weise festgelegt werden, beispielsweise indem aus einer Vielzahl von Schablonen für einen groben Vergleich eine Schablone ausgewählt wird.
Bei einem anschließenden Vergleich können die Anfangsordinate und die Anfangsabszisse variieren. Beispielsweise können sowohl sx als auch sy um einen vorher festgelegten Wert erhöht und der obige Vorgang wiederholt werden. Außerdem kann die Durchführung eines solchen groben Vergleichs in regelmäßigen Abständen ver anlaßt werden. Der Zeitraum kann in Zeiteinheiten oder in Vielfachen von verglichenen Bildern oder bezogen auf die Anzahl der Positionen, die gerade in der Liste gespeichert sind, bemessen werden. Ferner können die Schrittgrößen m und n gemäß verschiedenen Kriterien, wie beispielsweise der Anzahl der in der Liste enthaltenen Positionen, variabel gehalten werden. Wenn die Liste verhältnismäßig leer ist, kann die Schrittgröße verkleinert werden und umgekehrt.
Wie zuvor erwähnt wurde, ist es angebracht, den groben Vergleich durchzuführen, um die Liste anfangs zu besetzen. Die Positionen, die durch den groben Vergleich festgestellt werden, dienen wirksam als Positionskeime, und die Anzahl der in der Liste gespeicherten Positionen nimmt schließlich zu, vorausgesetzt, daß benachbarte Positionen während nachfolgender Vergleiche ebenfalls berücksichtigt werden.
Bezug nehmend auf Fig. 8, ist ein Flußdiagramm gezeigt, das die Schritte einer Ausführungsform darstellt. Im Schritt 800 wird das aktuelle Bild gespeichert. Im Schritt 805 wird ein nachfolgendes Bild empfangen und gespeichert. Im Schritt 810 wird festgestellt, ob es in der Liste weitere Positionen gibt, die verarbeitet werden müssen.
Wenn die Liste keine weiteren zu verarbeitenden Positionen enthält, wird im Schritt 815 die nächste Position in der Liste ermittelt. In den Schritten 820 und 825 werden die Pixelwerte in dem aktuellen und dem nachfolgenden Bild an der Position, die gerade geprüft wird, ermittelt. Die ermittelten Pixelwerte werden im Schritt 830 verglichen. Wenn sie gleich sind, wird die. Position im Schritt 840 aus der Liste entfernt, und die Verarbeitung der restlichen Positionen in der Liste wird im Schritt 810 fortgesetzt. Wenn die Pixelwerte verschieden sind, werden der Pixelwert des nachfolgenden Bilds und dessen Position im Schritt 850 zur weiteren Verarbeitung ausgegeben. Die benachbarten Positionen der aktuellen Position werden ermittelt und im Schritt 860 zur Liste hinzugefügt, und die Verarbeitung der in der Liste gespeicherten Positionen wird im Schritt 810 fortgesetzt.
Wenn die Liste keine weiteren zu verarbeitenden Positionen enthält (was typischerweise der Fall ist, wenn das erste und das zweite Bild anfangs gespeichert werden oder nachdem alle Einträge in der Liste verarbeitet worden sind), werden weit über die Bilder verteilte Positionen berechnet und im Schritt 870 während eines groben Bilderdurchlaufs zur Liste hinzugefügt. Ein Vergleich, der diese weit verteilten Positionen einschließt, wird durchgeführt, wenn das nächste nachfolgende Bild empfangen und die Liste das nächste Mal durchlaufen wird. Im Schritt 880 werden Parameter, wie beispielsweise der Kontrastschwellenwert, die Auflösung im groben Durchlauf und die Schablonen mit benachbarten Positionen, beispielsweise entsprechend der prozentualen Belegung der Liste geändert. Diese Abstimmung trägt dazu bei, eine Überschreitung der Kapazität der Liste zu vermeiden, wenn sich die Bilder schnell ändern. Das nächste nachfolgende Bild wird im Schritt 805 empfangen, und der obige Vorgang wird wiederholt.
An den Einzelheiten des obigen Vorgangs sind viele Veränderungen möglich. Obwohl die vorstehende Ausführungsform Positionen aus einem groben Durchlauf zur Liste hinzufügt und unter Verwendung dieser Positionen Vergleiche zwischen dem aktuellen Bild und dem nächsten nachfolgenden Bild durchführt, kann beispielsweise eine Ausführungsform realisiert werden, bei der diese Positionen bei Vergleichen berücksichtigt werden, die zwischen den Bildern durchgeführt werden, die gerade verarbeitet werden, d. h. dem aktuellen Bild und dem nachfolgenden Bild.
Genauso können die Veränderung der Schrittauflösung oder der Durchführungsintervalle der Grobabtastungen entsprechend der Belegung det Liste oder die Grobabtastungen entweder bevor oder nachdem alle benachbarten Positionen, die sich gerade in der Liste befinden, verarbeitet worden sind, durchgeführt werden. Außerdem ist beim Hinzufügen von benachbarten Positionen die Variation zwischen beispielsweise dem Hinzufügen von benachbarten Positionen zur Liste, nachdem alle Positionen, die sich gerade in der Liste befinden, verarbeitet worden sind, und dem Hinzufügen von benachbarten Positionen unmittelbar nachdem jede Position verarbeitet worden ist, möglich.
Ungeachtet dessen, daß das Flußdiagramm im Schritt 850 einen Pixelwert und die betreffende Position ausgibt, kann eine alternative Ausführungsform realisiert werden, bei welcher der Pixelwert gespeichert wird und alle Pixelwerte zusammen mit den Positionen, die sich gerade in der Liste befinden, ausgegeben werden, wenn alle Positionen verarbeitet worden sind.
Statt Pixelwerte zu vergleichen und festzustellen, ob es einen Unterschied gibt, kann bei allen vorstehenden Ausführungsformen eine Ausführungsform realisiert werden, bei der ein Unterschied nur dann als vorhanden betrachtet wird, wenn dieser Unterschied einen Schwellenwert überschreitet. Die Verwendung eines solchen Schwellenwertes verringert die Anzahl der Pixel noch mehr, die zur weiteren Verarbeitung ausgegeben werden müssen, um eine Aktualisierung eines Bildes vorzunehmen, und sie verringert die Anzahl der Positionen, die zur Liste hinzugefügt werden.
Die Vergleiche in den obigen Ausführungsformen können zwischen Indexen auf eine Farbpalette, die zum Beispiel Werte zwischen 0 und 255 hat, die RGB-Werte indexieren, oder zwischen tatsächlichen RGB-Werten oder davon abgeleiteten Werten vorgenommen werden.
Außerdem kann der Schwellenwert als sich typischerweise als Teil des Abstimmschrittes verändernder Wert ausgelegt werden. Die Veränderung des Schwellenwerts kann auf die Anzahl der in, der Liste enthaltenen Positionen bezogen werden. Wenn die Anzahl der gespeicherten Positionen gering ist, d. h. die Liste schwach besetzt ist, kann der Schwellenwert herabgesetzt werden, so daß mehr verglichene Pixel als ausreichend verschieden gelten, um die Aufnahme in die Liste und die Ausgabe zur weiteren Verarbeitung und umgekehrt zu rechtfertigen.
Die nachstehende Tabelle 1 veranschaulicht einen vereinfachten Code für den Empfang eines nachfolgenden Bildes. Entsprechende Pixel in dem aktuellen Bild und in nachfolgenden Bildern werden über einen Aufruf einer anderen Funktion, DvCotnp(), (nicht gezeigt) verglichen, und die Positionen von jedweden Unterschieden werden zur Liste hinzugefügt. Die benachbarten Positionen werden ebenfalls ermittelt und zur Liste hinzugefügt. Ein grober Durch- oder Suchlauf durch die Bilder wird durchgeführt, um weitere Positionen festzustellen, die zur Liste hinzuzufügen sind.
Die Parameter der Zeile 1 sind wie folgt: "pbNew" ist ein Zeiger auf das nachfolgende oder neu erfaßte Bild, "pbBuffer" ist ein Zeiger auf einen Puffer, der dazu dient, die Positionen von allen festgestellten Unterschieden zwischen dem aktuellen Bild und einem dem nachfolgenden Bild vorangehenden Bild zu halten; "pulBQty "stellt die Anzahl der zum Puffer hinzugefügten Aktualisierungen dar.
Die Zeilen 2 bis 17 stellen eine While-Schleife dar. Die While- Schleife durchläuft schrittweise die in der Liste enthaltenen Positionen. Der Zugriff auf, die Positionen erfolgt mit Hilfe eines auf die Positionen zeigenden Zeigers, pGist. Ein Ver gleich zwischen den Pixelwerten von entsprechenden Positionen, die in dem aktuellen Bild und einem nachfolgenden Bild enthalten sind, wird durchgeführt. Aus Zeile 3 der Ausführungsform ist ersichtlich, daß die Position eines Pixels nicht als ein Paar kartesischer Koordinaten, sondern als Relativzeiger gespeichert wird. Der letzte Speicherplatz der Liste wird in "pgDvLast" gespeichert. In der Zeile 3 wird festgestellt, ob der Speicherplatz der Liste, auf den gerade zugegriffen wird, NULL ist. Wenn ja, berechnen die Zeilen 4 und 5 die Positionen von entsprechenden Pixeln oder Speicherplätzen in dem aktuellen Bild und einem nachfolgenden Bild; pbDvOld und pbDvNew stellen die Position des ersten Pixels in dem aktuellen beziehungsweise dem neuen Bild dar. Die Zeiger"pTOld" und "pTNew" sind Zeiger auf Positionen, die gerade in dem aktuellen beziehungsweise dem nachfolgenden Bild geprüft werden. Die Zeile 6 wird zum Aufruf einer Funktion, DvComp(), verwendet, welche die Pixelwerte vergleicht und einen Code zurückgibt, der angibt, ob die Werte in Übereinstimmung gebracht werden oder nicht. Die Rückgabecodes sind "DV_REMOVE" und "DV_UPDATE", die angeben, ob die Pixel übereinstimmten beziehungsweise unterschiedlich waren. Der zurückgegebene Code wird in der Variablen "rc" der Funktion "DvUpdate" gespeichert. Die Parameter der Funktion DvComp sind Zeiger auf zu vergleichende Pixel. Die Zeile 7 stellt fest, ob der Rückgabecode DV_UPDATE ist. Wenn ja, wird der Ausgabepuffer wie folgt aktualisiert. In der Zeile 8 wird eine Prüfung durchgeführt, um sicherzustellen, daß der Ausgabepuffer über genügend Speicherkapazität verfügt, um eine neue, hinzuzufügende Position zu halten; "pbLast" speicherte die Position des letzten Speicherplatzes des Ausgabepuffers. Wenn genügend Speicherkapazität vorhanden ist, stellt die Zeile 9 den Relativzeiger auf die Position in einen Ausgabepuffer an eine Stelle, auf die. "pbBuffer" zeigt, und die Zeilen 10 bis 11 kopieren den Pixel- Wert an der aktuellen Position im nachfolgenden Bild in das aktuelle Bild und erhöhen in der Zeile 12 den Püfferzeiger, pbBuffer, in Vorbereitung des Empfangs des nächsten Bildbytes; "DV_BPPEL" stellt die zur Darstellung eines Pixels verwendete Anzahl Bytes dar. In der Zeile 13 wird die Funktion DVNebr() aufgerufen, um die benachbarten Positionen der Positionen zu prüfen, die gerade geprüft werden. Die Funktionsweise dieser Funktion ist nachstehend in Tabelle 2 beschrieben.
Wenn der Rückgabecode der Funktion DvComp() DV_REMOVE ist, werden die Pixelwerte in Übereinstimmung gebracht, und die entsprechende Position wird aus der Liste entfernt, indem die Funktion DvCutGist(pcist) in den Zeilen 14 und 15 aufgerufen wird. Die Funktion DvCutGist() stellt an der Stelle, auf die der Zeiger pGist zeigt, lediglich einen NULL-Wert in die Liste.
Die Zeile 16 erhöht den Zeiger pGist, um die nächste Position in der Liste zu verarbeiten.
Das Vorstehende wird so lange wiederholt, bis alle in der Liste enthaltenen Positionen verarbeitet worden sind.
Nachdem alle in der Liste enthaltenen Positionen verarbeitet worden sind, ruft die Zeile 18 eine Funktion DvSeek(), die nachstehend in der Tabelle 3 beschrieben ist, zur Durchführung eines groben Durchlaufs durch die Bilder auf, um die Positionen zu berechnen, die bei der Feststellung weiterer Unterschiede zwischen, dem aktuellen Bild und dem nächsten nachfolgenden Bild verwendet werden sollen. Jedwede solcher Positionen werden zur Liste hinzugefügt. TABELLE 1
Nachstehende Tabelle 2 veranschaulicht den Code, der dazu dient, die Positionen der benachbarten Positionen zu der Liste hinzuzufügen. Die Funktion empfängt als einen Parameter, die Position in der Liste, die gerade geprüft wird.
Die Zeilen 2 bis 6 durchlaufen schrittweise die Matrizen aCx und yCy, welche die x- beziehungsweise y-Koordinaten der relativen Positionen der benachbarten Positionen enthalten, wobei sie die benachbarten Positionen zur Liste hinzufügen. Die Matrizen aCx Lind ycy enthalten tatsächlich zwei Schablonen, von denen jede acht Positionen hat. Die Schablone, die während eines Vergleichs verwendet werden soll, wird vom Wert "DvNTog" festgelegt. Die Funktion DvCalc() berechnet die Position innerhalb eines Bilds von einer bestimmten benachbarten Position. Der Aufruf der Funktion DvAddGist() fügt die benachbarte Posi tion zur Liste hinzu, wenn genügend Speicherplatz vorhanden ist. Wenn nicht genügend Speicherplatz vorhanden ist, ist der Rückgabewert der Funktion DvAddGist (siehe Tabelle 4 nachstehend) NULL, die Liste ist voll, und die Verarbeitung von benachbarten Positionen wird beendet. TABELLE 2
Nachstehende Tabelle 3 veranschaulicht den Code zur Durchführung eines groben Durch- oder Suchlaufs durch das aktuelle Bild- und ein nachfolgendes Bild. Es ist zu sehen, daß die Funktion abgebrochen wird, wenn während des Suchlaufs die Höchstzahl der Positionen, welche die Liste halten kann, erreicht wird. Die Variable n dient zum Halten des Relativzeigers auf die im groben Durchlauf festgestellten Positionen. Die Variable ns dient zum Halten der Ausgangsstelle, in bezug auf/einen Relativzeiger, für den groben Vergleich. Die Höchstzahl der groben Vergleiche, die entweder in der x- oder der y-Richtung durchgeführt werden, wird von der Bildgröße und der Suchauflösung, iDvRSeek, bestimmt und in maxX beziehungsweise maxY gespeichert; ssDvOX und ssDvOY stellen die Breite beziehungsweise die Höhe der Bilder dar. Die Variablen stepX und stepY dienen zum Halten der Schrittgröße in der x- und der y-Richtung, um auf die Positionen zuzugreifen. Ein Zeiger, pgNew, dient zum Hinzufügen neuer Positionen zu der Liste, die während der Suchopera tion festgestellt wurden. Die Variablen iDvCreepX und iDvCreepY werden zur Veränderung des Anfangspunkts der Grobabtastung verwendet. Die Zeilen 2 bis 5 gewährleisten, daß die Werte der. Vorwärtsbewegung geringer als die Schrittbreite sind. Die Zeilen 6 und 7 legen die Höchstzahl der Suchpositionen in horizontaler beziehungsweise Vertikaler Richtung fest. Die Startposition ns für den groben Vergleich wird in der Zeile 8 in bezug auf die Anzahl der Bytes vom ersten Byte des Bildes berechnet. Die Schrittgröße für den groben Vergleich in der x-Richtung wird in der Zeile 9 in bezug auf eine Anzahl Bytes durch
SchrittX = (Suchauflösung * Anzahl der Bytes pro Position) berechnet.
Die Schrittgröße für den groben Vergleich in der y-Richtung wird in der Zeile 10 in bezug auf eine Anzahl Bytes durch
SchrittY = (Suchauflösung * Bildbreite * Anzahl der Bytes pro Position) berechnet.
Die Zeilen 11 bis 20 stellen verschachtelte For-Schleifen dar, die alle Positionen, die während des groben Durchlaufs berechnet wurden, zur Liste hinzufügen, vorausgesetzt, daß letztere genügend Speicherplatz zur Verfügung hat, um die im groben Durchlauf ermittelten Positionen aufzunehmen. Die Zeile 11 ermittelt Abszissen der aktuellen Pixelzeile, die gerade geprüft wird. Die Zeile 14 stellt fest, ob die neu berechnete Position, n, zur Liste hinzugefügt worden ist oder nicht. Man beachte, daß in dieser Stufe kein Vergleich stattfindet. Der Vergleich wird verzögert, wie bei den vorstehenden Ausführungsformen erörtert wurde, bis dass nächste nachfolgende Bild empfangen wird.
Wenn die Feststellung in der Zeile 14 so ausfällt, daß von der Funktion DvAddGist() ein NULL-Wert zurückgegeben wurde, ist die Liste voll, und die Ausführung der Funktion wird von den Zeilen 15, 17 und 18 eingestellt. Wenn eine Position erfolgreich zur Liste hinzugefügt worden ist, wird in der Zeile 16 die nächste Position in der x-Richtung berechnet. Das Vorstehende wird so lange wiederholt, bis entweder alle Positionen des groben Durchlaufs zur Liste hinzugefügt worden sind oder die Liste voll ist. TABELLE 3
Nachstehende Tabelle 4 veranschaulicht das Hinzufügen einer Position zur Liste. Die Zeilen 2 und 3 geben Zeiger an, die von der Funktion verwendet werden. Der Zeiger pGist der Zeile 4 zeigt auf die erste Position in der Liste, die unter Verwendung von pgDvFirst gespeichert wird. Die Zeilen 4 bis 8 durchsuchen die Liste, um die Stelle des ersten leeren oder NULL-Speicherplatzes festzustellen, der unter Verwendung einer While-Schleife eine neüe Position aufnehmen und sicherstellen kann, daß die Position, die vorschlagshalber zur Liste hinzugefügt werden soll, nicht bereits Teil der Liste ist. Die While-Schleife wird abgebrochen, wenn entweder festgestellt wird, daß die Position, die gerade geprüft wird, bereits Teil der Liste ist oder alle Positionen in der Liste geprüft worden sind. Die Zeile 9 stellt fest, ob das Ende der Liste erreicht worden ist; pgDvLast wird zur Feststellung der letzten in der Liste enthaltenen Daten verwendet. Wenn die Position noch nicht in der Liste enthalten ist und die Liste über ausreichend Kapazität, verfügt, wird die Position am ersten leeren oder NULL-Speicherplatz zur Liste hinzugefügt, die Anzahl der Positionen, ulDvGQty, die in der Liste gespeichert sind, wird dementsprechend aktualisiert, und der Speicherplatz der neu hinzugefügten Position wird zurückgegeben. Ein NULL-Wert wird zurückgegeben, wenn der Versuch, die. Position zur Liste hinzuzufügen, fehlschlug; andernfalls wird der Speicherplatz der Positionen in der Liste zurückgegeben. TABELLE 4

Claims

1. Verfahren zur Verarbeitung einer Folge von digitalen Bildern, die ein aktuelles Bild (200) und ein nachfolgendes Bild (210) umfaßt, wobei das Verfahren die folgenden.

Schritte umfaßt:

Speichern einer Liste (220) von Positionen, Vergleichen (830) des aktuellen digitalen Bildes und des nachfolgenden digitalen Bildes nur an Positionen, die in der Liste gespeichert sind, um alle Positionen festzustellen, die Unterschieden zwischen dem aktuellen Bild und dem nachfolgenden Bild entsprechen,

Ausgeben (850) der Positionen von jedweden solchen Unterschieden und entsprechender Pixelwerte, um das aktuelle Bild zu aktualisieren, und

Aktualisieren der Liste als Antwort auf die Positionen, die in dem Vergleichsschritt festgestellt worden sind, indem Positionen zu der Liste hinzugefügt (860) und/oder aus der Liste gelöscht (840) werden.

2. Verfahren nach Anspruch 1, wobei der Aktualisierungsschritt das Entfernen (840) von Positionen aus der Liste umfaßt, bei denen kein Unterschied zwischen dem aktuellen Bild und dem nachfolgenden Bild festgestellt worden ist.

3. Verfahren nach Anspruch 1 oder Anspruch 2, das des weiteren die folgenden Schritte umfaßt:

Auswählen von Positionen, die an die Positionen angrenzen, die im der Liste enthalten sind, und

Hinzufügen (860) der benachbarten Positionen zu der Liste.

4. Verfahren nach Anspruch 3, wobei nur für diejenigen Pösitionen, die in dem Vergleichsschritt festgestellt worden sind, benachbarte Positionen ausgewählt werden.

5. Verfahren nach Anspruch 3 oder Anspruch 4, wobei der Schritt der Auswahl von benachbarten Positionen die Auswahl eines anderen Musters von benachbarten Positionen für verschiedene, aufeinanderfolgende Bilder umfaßt.

6. Verfahren nach einem vorhergehenden Anspruch, das des weiteren den Schritt des

Hinzufügens von auswählbaren Positionen zu der Liste umfaßt, die weitgehend gleichmäßig über das aktuelle und das nachfolgende Bild verteilt sind.

7. Verfahren nach. Anspruch 6, wobei die Stellen der auswählbaren Positionen in bezug auf eine veränderliche Ausgangsstelle bestimmt werden.

8. Verfahren nach Anspruch 6 oder Anspruch 7, wobei sich die Anzahl der auswählbaren Positionen entsprechend der Anzahl der in der Liste gespeicherten Positionen verändert.

9. Verfahren nach einem vorhergehenden Anspruch, wobei die, Liste für jede darin gespeicherte Position außerdem einen zugehörigen Wert enthält, der den Wert des aktuellen Bildes an dieser Position darstellt, und wobei der Vergleichsschritt die zugehörigen Werte mit Werten an ent sprechenden Positionen des nachfolgenden Bildes vergleicht, um jedwede Unterschiede zwischen ihnen festzustellen.

10. Verfahren nach einem vorhergehenden Anspruch, wobei der Vergleichsschritt einen Schwellenwert verwendet, so daß alle Unterschiede, die kleiner als der Schwellenwert sind, ignoriert werden.

11. Verfahren nach Anspruch 10, wobei der Schwellenwert entsprechend der Anzahl der Positionen in der Liste veränderlich ist.

12. System zur Verarbeitung einer Folge von digitalen Bildern, die ein aktuelles Bild (200) und ein nachfolgendes Bild (210) umfaßt, das folgendes umfaßt:

ein Mittel, um eine Liste (220) von Positionen zu speichern,

ein Mittel (230), um das aktuelle digitale Bild und das nachfolgende digitale Bild nur an Positionen zu vergleichen, die in der Liste gespeichert sind, um alle Positionen festzustellen, die Unterschieden zwischen dem aktuellen Bild und dem nachfolgenden Bild entsprechen,

ein Mittel, um die Positionen von jedweden solchen Unterschieden und entsprechende Pixelwerte auszugeben, um das aktuelle Bild zu aktualisieren, und

ein Mittel, um die Liste als Antwort auf die Positionen, die indem Vergleichsschritt festgestellt worden sind, zu aktualisieren, indem Positionen zu der Liste hinzugefügt und/oder aus der Liste gelöscht werden.