DE4206280A1

DE4206280A1 - Verfahren zum aufzeigen eines bewegungsvektors

Info

Publication number: DE4206280A1
Application number: DE4206280A
Authority: DE
Inventors: Keon-Young Choi
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 1991-12-14
Filing date: 1992-02-28
Publication date: 1993-07-01
Anticipated expiration: 2012-02-29
Also published as: FR2685108A1; KR930015828A; FR2685108B1; DE4206280C2; KR940010241B1; US5173772A

Description

Gegenstand der Erfindung

Die vorliegende Erfindung betrifft allgemein ein Bewegungs- Ausgleichsverfahren in einem System zur Bearbeitung von sich bewegenden Bildern, wie beispielsweise ein Videophon (Video- Telefon), einem Video-Konferenzsystem (Video-Telefon-Konfe renzsystem) und einem HDTV-System, und insbesondere ein Ver fahren zum Aufzeigen eines Bewegungsvektors, wobei sich die Geschwindigkeit eines dreistufigen Suchschrittes in einem geeigneten Raster-Algorithmus (block matching algorihtmus - nachfolgend als "BMA" bezeichnet) vergrößert.

Stand der Technik

Allgemein sind verschiedene Arten von Verarbeitungssystemen für bewegliche Bilder, wie beispielsweise ein Video-Konfe renzsystem und ein Videophon, bekannt. In einem solchen Vi deophon umfaßt der größte Raum des Bildes eine stationäre (feststehende bzw. unbewegte) Darstellung, wie beispiels weise ein Hintergrund-Bild, und zusätzlich das Gesicht bzw. die Büste eines Menschen, die also die Hauptobjekte, die ge zeigt werden, bilden. Daher ist die Korrelation zwischen zwei aufeinanderfolgenden Einzelbildern sehr groß, da nur eine geringe Änderung zwischen den einzelnen Bildern (Bild rahmen) auftritt. Bei der Verwendung einer solchen Aus führung eines der Bilder, die in einem Videophon verarbeitet werden, wurde eine Zwischenbild-Differenz-Pulscode-Modu lation (interframe differential pulse code modulation - nachfolgend als "DPCM" bezeichnet) vorgeschlagen, um die Re dundanz in Richtung der Zeitachse zu reduzieren. Um die Effizienz in der Vorhersage des Zwischenbild-DPCM zu ver größern, ist ein die Bewegung kompensierendes Zwischenbild- DPCM angegeben, das eine Änderung entsprechend einer Bewe gung des Objektes voraussehen kann. Weiterhin wird von den verschiedenen die Bewegung kompensierenden Zwischenbild-DPCM meistens das BMA verwendet, das eine Bewegung in einer Ras tereinheit aufzeigt.

Ein zusammengesetztes Kodierverfahren, das das Zwischenbild- DPCM mit einem diskreten Zweikreis-Transformations-Verfahren (discret consine transform method - nachfolgend als "DCT" bezeichnet) verbindet, zeigt eine Differenz zwischen dem momentanen Einzelbild-Raster, das entschlüsselt werden soll, und einem vorgegebenen Bildraster nach dem DCT-Verfahren auf. Das zusammengesetzte Kodierverfahren besitzt einen Auf bau, wie er in Fig. 1 dargestellt ist.

Wie die Fig. 1 zeigt, teilt ein Formatabschnitt 11 eine Ein zelbild-Einheit eine Anzahl von Blöcken einer vorgegebenen Größe, um dadurch eine Formatierung des eingegebenen Bildes vorzunehmen. Eine Subtraktionseinheit 21 (Verknüpfungsglied) erhält die Bildblöcke in einer seriellen Folge, um so eine Differenz zwischen der vorhergehenden und der momentanen Einzelbild-Information aufzuzeigen. Ein erster Daten-Kom pressor 12 komprimiert die Ausgangsdaten des Subtraktions gliedes 21 zunächst nach dem DCT-Verfahren. Ein zweiter Da tenkompressor 13 quantifiziert die Ausgangsdaten des ersten Datenkompressors 12, um dadurch weiterhin die Ausgangsdaten des Subtraktionsgliedes 21 zu komprimieren. Ein dritter Da tenkompressor 14 führt eine variable Längenkodierung im Hin blick auf die quantifizierten Daten, aus, indem eine statis tische Auswertung der quantifizierten Daten vorgenommen wird.

In der Zwischenzeit dehnt ein Daten-Expander 17 (Dynamik- Dehner) die Signale des Ausgangsbildes des zweiten Datenkom pressors 13 aus, indem er eine Inversion des DCT vornimmt. Ein Einzelbild-Speicher 19 speichert die Information über das vorhergehende Einzelbild, um es dort hinzuzuspeichern, und erzeugt die die Bewegung kompensierende Rasterdaten (Blockdaten) mittels einer vorgegebenen Steuerung. Ein Schleifenfilter 18 filtert die die Bewegung kompensierenden Rasterdaten.

Ein Addierglied 22 addiert die gefilterten die Bewegung kom pensierenden Rasterdaten des Filters 18 zu den gedehnten Bildsignalen des Datenexpanders 17, um so das vorangegangene Einzelbild wieder zu speichern, und speichert dieses dann in dem Einzelbildspeicher 19. In diesem Fall erhält der Einzel bildspeicher 19 Informationen S2 über die Position (Stelle) von einem Bewegungsdetektor 20. Bei der Information über die Stellung S2 handelt es sich um einen Bewegungsvektor, der eine relative Stellung eines Rasters in dem vorangegangenen Einzelbild anzeigt, das ähnlich einem Raster in dem laufen den Rahmen entspricht, wie dies in Fig. 3 gezeigt ist.

Ein Multiplexer 15 überträgt die quantifizierte Informa tion S1 von dem zweiten Datenkompressor 13 und die Posi tions-Information S2 von dem Bewegungsdetektor 20, und zwar entsprechend einem Format, das in Bezug zu einem übertrage nen und einem empfangenen Ende steht. Ein Puffer 16 über trägt ein Ausgangsergebnis des Multiplexers 15 zu dem em pfangenen Ende und erzeugt ein Steuersignal CC zur Einstel lung eines Grades für die Datenkompression für den zweiten Datenkompressor 13, und zwar passend für seine jeweilige Eingangs-/Ausgangs-Geschwindigkeit.

Falls ein Differenz-Signal und ein Bewegungsvektor während der Speicherung der vorhergehenden Einzelbild-Information erhalten wird, wird am Empfangsende ein momentanes Raster durch Austausch eines Bewegungsteiles der vorhergehenden Einzelbild-Information für einen Differenz-Signal- und ei nen Bewegungs-Signal-Vektor gespeichert und demzufolge kann ein kontinuierliches Bewegungsbild erstellt werden.

Basierend auf dem zusammengesetzten Kodierverfahren wird nun nachfolgend das BMA-Verfahren und eine Messung der Verzeich nung (Verzerrung) beschrieben. Das BMA weist einen Ver fahrensschritt zum Aufzeigen eines Rasters des vorhergehen den Einzelbildes auf, das einem Raster, das in einem laufen den Einzelbild-Rahmen kodiert wird, ähnlich ist. Anders aus gedrückt besteht dieser Verfahrensschritt darin, ein Raster eines momentanen Einzelbildes zu vergleichen, das mit einem Raster einer entsprechenden Suchstellung in einem vorherge sagten Suchbereich eines vorhergehenden Einzelbildes kodiert werden soll, um dadurch die sich am meisten ähnelnden Raster aufzuzeigen.

In dem zusammengesetzten Kodierer besteht die Funktion des BMA-Moduls darin, einen richtigen Bewegungs-Vektor zu ermit teln und demzufolge wird meistens ein dreistufiger Suchmode als ein Verfahren zum einfachen Aufbau einer Hardware einge setzt, wobei die rechnerische Komplexität für ein Realzeit system reduziert werden soll.

Wie die Fig. 4 zeigt, weist ein dreistufiges Suchverfahren drei Verfahrensschritte auf und stellt eine Art von Grob- Fein-Suche dar, um zunächst grob in einem ersten Verfahrens schritt zu suchen und um dann in einem zweiten und einem dritten Verfahrensschritt genau basierend auf der Annahme der Verzeichnungs-Messung zwischen jedem Raster feinfühlig in einem Suchbereich eine exakte Suche durchzuführen.

Zur Berechnung der Verzeichnungs-Messung bestehen vier Funk tionen in Form des NCCF (Normalized Cross-Correlation Function), des MSE (Mean Square Error), des MAE (Mean of Ab solute Error) und des MNAE (Mean Number of bits necessary to binary code the Absolute Error). Unter diesen vier Funktio nen ist das MSE weit verbreitet, das ein einfaches Rechen verfahren darstellt.

wobei M und N die Größe der Raster darstellt und I(m+i,n+j,t-.) eine Intensität der Helligkeit von einem (m, n)ten Bildelement eines vorhergehenden Bildrasters an zeigt, das in einem Abstand von (i, j) zu einem momentanen Raster, das verschlüsselt werden soll, vorhanden ist.

Es dauert eine vorgegebene Zeit, wie noch weiter unten be schrieben wird, um eine Verzeichnungsmessung unter der Ver wendung eines digitalen Signal-Prozessors (nachfolgend als "DSP" bezeichnet) durchzuführen.

Für die Berechnungsgleichung (1) wird eine Differenz zwi schen dem m-ten und dem n-ten Pixel (Bildpunkt) zunächst ge speichert und eine Differenz zwischen dem entsprechenden je weiligen M×N Rastern quadriert und dann durch eine SQRA-An weisung akkumuliert. Die SQRA-Anweisung ist eine allgemeine Anweisung zur Akkumulierung, nach der ein Wert quadriert wurde, wobei das Quadrieren und das Akkumulieren in einem Zyklus der Anweisung vorgenommen wird. Weiterhin kann die Zahl der Anweisungs-Zyklen, die erforderlich sind, wie folgt angegeben werden:

M×N×25×4 = 100 MN (Zyklen) (2)

wobei die Zahl 25 eine Anzahl von Pixeln darstellt, nach der gesucht werden soll, wie dies in Fig. 4 gezeigt ist (in diesem Fall sind 9 Elemente als "O" in einem ersten Ver fahrensschritt und 8 Elemente jeweils als "x" und "" in ei nem zweiten und einem dritten Verfahrensschritt angezeigt) und die Zahl 4 stellt eine Anzahl von Zyklen dar, die für eine Operation erforderlich sind.

Das Ergebnis der Gleichung (2) bedeutete daß 3 Zyklen pro Pixel, um die Differenz zu speichern, und ein Zyklus zur Durchführung der Anweisung der SQRA erforderlich sind. Z.B. kann in der Berechnung der Verzeichnungs-Messung eines 16×16 großen Rasters unter Verwendung eines DSP-Chips vom Typ TMS 320C25 der Texas Instruments Company eine Verarbeitungs zeit durch folgende Gleichung dargestellt werden:

16×16×25×4×100 (nsec/Zyklus) = 2,560 µsec (3)

Entsprechend den CCITT-Vorschriften H.261 für Videophone ist es empfehlenswert, daß das Eingangs-Einzelbild eine Größe von 1/4 CIF und eine räumliche Auflösung, wie sie in der Ta belle 1 gezeigt ist, aufweist, für den Fall, daß sie in zehn Einzelbilder pro Sekunde verarbeitet werden, und wobei ein Makro-Raster eine 16×16 Luminanz-Komponente Y und 8×8 Farb- Differenz-Signale R-Y, B-Y, aufweist. Entsprechend kann ein Pixel-Takt-Signal und eine Zeitdauer für einen Makro-Block, wobei ein solcher Makro-Block aus 16×24 Pixel besteht, der verarbeitet werden soll, durch die Gleichungen (4) und (5) ausgedrückt werden.

Tabelle 1

Fp=(176×144+88×72) (Pixel/Einzelbild) × 10 (Einzelbild/sec)
= 380,16 (KPixel/sec) (4)

T_B = 384/Fp = 1010,1 (µsec) (5)

Dementsprechend werden Eingangsdaten, die verarbeitet werden sollen, mit 360,16 kPixel/sec erhalten und eine mögliche Zeit für die Verarbeitung des Makro-Blockes, der 384 Pixel aufweist, wird auf 10,1 µsec begrenzt (zugeteilte Zeit). Demzufolge ist festzustellen, daß wenigstens mehr als drei DSP-Module notwendig sind, um das Videophone in einem Real zeitverfahren zu realisieren, um eine Information über die Verzeichnungs-Messung eines Makro-Blockes innerhalb einer Zeit für die Verarbeitung eines Makro-Blockes zu suchen. Da die Geschwindigkeit für die Bewegungsermittlung festlegt, wieviele DSP-Elemente erforderlich sind, ist die Geschwin digkeit für die Bewegungsermittlung sehr erheblich, um einen solchen Bewegungsdetektor aufzubauen, falls dies aus einem wirtschaftlichen Gesichtspunkt sowie auch im Hinblick auf eine Vereinfachung des Aufbaues der Hardware hinsicht lich einer Reduzierung der Größe der Hardware betrachtet wird.

Derzeit ist ein Realzeit-Bewegungs-Detektor bekannt, der zwei DSP-Chips vom Typ TMS 320C25 verwendet, wodurch die Verarbeitungszeit reduziert wird und wobei weiterhin ein dreistufiges BMA-Verfahren für eine Unter-Abtastung verwen det wird.

Der Bewegungs-Detektor ist in der "Embodiment of a time motion detector by using a DSP element", herausgegeben durch das Korea Institute of Science and Technology durch Ki-hwan KIM 1990, festgelegt.

Dennoch ist das vorstehend angegebene herkömmliche Verfahren ungeeignet, falls ein Verfahrens-Mode des DSP in Erwägung gezogen wird. Da jeder Wert zum Quadrat erhoben und einmal nach Speicherung einer Differenz zwischen dem entsprechenden Pixel des laufenden und des vorhergehenden Einzelbild-Rah mens zusammengefaßt wird, kann eine Ausführung des Betriebes des DST-Elementes, das eine Addition und eine Akkumulation nach Durchführung der Multiplikation vornimmt, nicht in sei ner Gesamtheit verwendet werden, und weiterhin ist dies im Hinblick auf die Verarbeitungsgeschwindigkeit nicht sehr effektiv.

Zusammenfassung der Erfindung

Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Ermittlungsverfahren für einen Bewegungs-Vektor anzuge ben, um die Verarbeitungsgeschwindigkeit eines Drei-Stufen- BMA (block metching algorithmus) zu erhöhen.

Entsprechend einem Aspekt der vorliegenden Erfindung wird ein Verfahren zur Ermittlung eines Bewegungs-Detektors in einem Einzelbild-Verarbeitungs-System, das Betriebseinrich tungen für die Durchführung der Summierung und der Akkumu lierung nach der Multiplikation aufweist, angegeben, wobei die Luminanz-Komponenten-Daten eines laufenden Makro-Rasters aufgenommen werden und eine Initialisierungsadresse eines Suchbereiches erzeugt wird, um so den Bewegungs-Vektor auf zuzeigen, das folgende Verfahrensschritte aufweist: Qua drierung eines Helligkeitswertes jedes Pixel des laufenden Makro-Blockes und Aufsummierung der quadrierten Ergebnisse, um einen ersten Summationswert zu bilden; Empfangen der Da ten über den Suchbereich eines vorhergehenden Einzelbildes, und zwar entsprechend der initialisierten Adresse (Anfangs adresse) Aufbauen einer vorgegebenen Anzahl von Suchpositi onen mit regelmäßigen Abständen zwischen den Pixeln in einem Suchbereich des vorhergehenden Einzelbildes; Aufbauen der Raster der gleichen Größe, um von dem genannten laufenden Makro-Raster an entsprechenden Suchstellen, um dadurch unabhängige Bearbeitungsabschnitte in den Bereichen festzu legen, die alle Raster umfassen, und Quadrierung und Aufsum mierung der Helligkeitswerte der Pixel entsprechenden den Suchpositionen im Hinblick auf jeden unabhängigen Bearbei tungsabschnitt, um dadurch unabhängige Bearbeitungswerte zu erhalten; Aufsummierung der unabhängigen Werte, die den je weiligen Rastern jeder Suchposition entsprechen; Multipli zieren des laufenden Makro-Rasters mit einem Helligkeitswert des entsprechenden Pixel, das dem jeweiligen Raster an jeder Suchposition entspricht, Aufsummieren des multiplizierten Ergebnisses, um einen dritten Summationswert zu bilden, und Verdopplung des aufsummierten Ergebnisses; Addieren des ers ten Summationswertes zu dem zweiten Summationswert zu jeder Suchposition und Subtraktion des doppelten Wertes davon, um so einen minimalen Wert davon auszuwählen; und Bestimmung einer Suchposition eines Rasters, das den minimalen Wert als einen Bewegungsvektor für den Fall der Ausführung einer dreistufigen Suche aufweist, und Rückkehr, oder, im anderen Fall, eine Schleifenbildung zu dem vierten Verfahrens schritt, nachdem eine gegebene Zahl von Suchpositionen in einem Intervall zwischen den Pixeln enger als das des vor hergehenden Verfahrensabschnittes an der Suchposition des Rasters, das den minimalen Wert aufweist, vorgenommen wurde.

Die vorliegende Erfindung wird nun nachfolgend detaillierter unter Bezugnahme auf die Zeichnungen anhand von Beispielen erläutert.

In der Zeichnung zeigt

Fig. 1 eine Ansicht eines Video-Kodierers, bei dem die vor liegende Erfindung verwirklicht wird,

Fig. 2 ein Strukturdiagramm eines Makro-Rasters,

Fig. 3 eine Ansicht, die das Ermitteln eines Bewegungs-Vek tors mittels eines geeigneten Raster-Algorithmus- Verfahren erläutert,

Fig. 4 eine beispielhafte Ansicht eines dreistufigen Such- Verfahrens,

Fig. 5 eine beispielhafte Darstellung eines Bereiches, der während der Berechnung Σ(b_ÿ)² überlappt wird, und zwar gemäß der vorliegenden Erfindung,

Fig. 6 ein Diagramm einer unabhängigen Verarbeitung in ei nem ersten Verfahrensschritt,

Fig. 7 ein Diagramm eines unabhängigen Verfahrens in einem zweiten Verfahrensabschnitt,

Fig. 8 ein Diagramm eines unabhängigen Verfahrens in einem dritten Verfahrensschritt,

Fig. 9 ein schematisches Blockschaltbild für einen Bewe gungsdetektor gemäß der vorliegenden Erfindung,

Fig. 10 ein Flußdiagramm, das die Ermittlung der Bewegung gemäß der vorliegenden Erfindung darstellt,

Fig. 11 ein Flußdiagramm, das ein Unterprogramm eines pas senden Raster-Algorithmus gemäß der vorliegenden Er findung darstellt, und

Fig. 12 ein Flußdiagramm, das den Betrieb eines geeigneten Algorithmus eines Dreistufen-Rasters gemäß der vor liegenden Erfindung darstellt.

Beschreibung von bevorzugten Ausführungsformen

Unter der Annahme, daß I(m, n, t) a_k ist und I(m+i, n+j, t-.) b_kl in der Gleichung (1) ist, um eine MSE-Verzeichnungs-Mes sung zu berechnen, kann die Gleichung (1) wie folgt darge stellt werden:

wobei l für einen Suchstellungsindex von 1, . . ., 25 bedeu tet. Die Summe . . . wird eindimensional für sämtliche Pixel von k Blöcken (wobei k=1, . . ., M×N ist) durchgeführt.

Da eine Bearbeitungsausführung des DSP-Elementes darin be steht, die Summation und Akkumulation nach der Multiplika tion, wie vorstehend beschrieben, durchzuführen, ist die Gleichung (6) in die nachfolgende Gleichung (7) umgeformt, um die Ausführung der Bearbeitung des DSP in geeigneter Weise vorzunehmen.

Eine Anweisung MAC in dem DSP-Element führt eine Multipli kation und eine Addition in einem Zyklus gleichzeitig durch. Dementsprechend kann der Anweisungs-Zyklus zur Berechnung eines MSE durch die Verwendung der Anweisung MAC wie folgt ausgedrückt werden:

wobei M×N die Zahl der Pixel in einem entsprechenden Raster und die Zahl 25 die Zahl der Suchpositionen darstellt. Durch die getrennte Berechnung jedes Terms erfordert es insgesamt 51xMxN Zyklen zur Berechnung des MSE und dies beträgt etwa 51% der 100×M×N Zyklen, die in Gleichung (2), die vorstehend angegeben ist, berechnet werden. Dementsprechend kann die Verarbeitungszeit um 49% verringert werden.

Es ist festzustellen, daß, da eine Bearbeitung des dritten Terms unabhängig erfolgt, der dritte Term nicht weiter ver ringert werden kann. Dennoch kann in einer Bearbeitung des zweiten Terms eine Verarbeitungszeit durch Bearbeitung eines redundanten Bearbeitungsteiles (z. B. ein sich überlappender Bereich während des Betriebes) effektiv reduziert werden, da immer redundante Bearbeitungsbereiche an jedem Suchbereich auftreten. Beispielsweise ist der redundante Bearbeitungsbe reich der Suchbereiche 1 und 5 in Fig. 5 ein Bereich, der durch die unterbrochene Linie eingeschlossen ist.

Falls der Suchbereich gleich 1 ist (z. B. l=1), ist ein Ras ter des vorhergehenden Einzelbildes entsprechend einem mo mentanen Rasters ein Bereich b_k5 und ein Raster eines vor hergehenden Rasters entsprechend einem momentanen Raster an einer Suchposition 5 das Raster, das durch die unterbrochene Linie eingeschlossen ist. Gerade dadurch ist es erforder lich, die Gleichungen Σ(b_k1)² und Σ(b_k5)² zu berechnen, und da der sich überlappende Bereich ausgerechnet wird, kann danach die Bearbeitungszeit verringert werden, da es nur er forderlich ist, daß die sich nicht überlappenden Bereiche zu dem Ergebnis des berechneten sich überlappenden Bereiches hinzu addiert werden.

Da die CCITT-Vorschriften H.261 empfehlen, eine 16x16 Ras ter-Größe für die Bewegungs-Ermittlung der Luminanz-Kompo nenten in einem Videophone zu verwenden, werden in der Aus führungsform die Rastergrößen M und N jeweils auf 16 zur Be rechnung des MSE gesetzt und die Verarbeitungszeit wird un ter der Bedingung einer 16×16 Raster-Größe berechnet.

In einem ersten Suchschritt, in dem die Pixel-Intervalle in dem Raster ±4 betragen, ist der gesamte Suchbereich in 25 Bereiche, die unabhängig voneinander bearbeitet werden, unterteilt, wie dies in Fig. 6 gezeigt ist.

In einem Raster entsprechend jedem Suchbereich wird der be rechnete Wert Σ(b_kl)² (wobei l=1, 2.., 25 ist) des zwei ten Terms dadurch erhalten, daß die Σ(b_k)² der Bear beitungswerte der jeweiligen neun unabhängigen Bereiche auf summiert werden (wobei "sec" den jeweiligen Suchabschnitt bezeichnet).

Demzufolge ist die gesamte zur Bearbeitung des zweiten Terms in dem ersten Verfahrensschritt erforderliche Zeit zu der Bearbeitung des zweiten Terms in dem ersten Schritt als Sum mation der Anweisung SQRA zur Addition und Quadrierung eines relativen Bildelementes jedes Bereiches gegeben und die Zahl der Summationszyklen, die zur Addition der Bereichswerte der neun Bereiche entsprechend den Rastern in jedem Suchbereich zu der Zahl der Zyklen, die zur Durchführung der SAC-Anwei sung zur Speicherung der addierten Werte erforderlich ist, gegeben. Weiterhin kann die Gesamtzeit durch die Gleichung

ausgedrückt werden, wobei PL die Zahl der zur Quadrierung und Akkummulierung erforderlichen Zyklen darstellt und S die Zahl der zur Speicherfunktion erforderlichen Zyklen bedeu tet. Demzufolge sind in der Ausführung nach der Fig. 6 601 Zyklen erforderlich.

Die Zahl der Eckbereiche beträgt 16 (z. B. S1, S2, S4, S5, S6, S7, S9, S10, S16, S17, S19, S20, S21, S22, S24, S25) und die Zahl der Eckbereiche beträgt 8 (z. B. S3, S8, S11, S12, S14, S15, S18, S23) und die Zahl der Pixel eines zentralen Bereiches S13, zu dem ein anderer addiert wird, beträgt 65. Daher wird das Ergebnis der Berechnung der Zyklen mit 17×16+33×8+65×1=601 Zyklen ausgedrückt.

Zusätzlich sind 10 Zyklen zur Addierung der 9 Bereiche der Raster entsprechend zu jedem Suchbereich erforderlich. Zum Beispiel wird eine Bearbeitung des zweiten Terms für die Suchposition 1 durch Aufsummierung der 9 Bereiche S1, S2, S3, S6, S7, S8, S11, S12, S13 in Fig. 6 durchgeführt und eine Bearbeitung des zweiten Terms für den Suchbereich 5 wird durch Aufsummierung der 9 Bereiche S7, S8, S9, S12, S13, S14, S17, S18 und S19 durchgeführt.

Da die Zahl der Suchbereiche in dem ersten Verfahrensab schnitt 9 beträgt und 10 Zyklen zur Aufsummierung der Werte von 9 Bereichen für jeweils einen Suchbereich erforderlich sind, beträgt die Gesamtzahl der Zyklen zur Aufsummierung aller sich ergebenden Werte aller Suchbereiche 90. Dement sprechend beträgt die gesamte Bearbeitungszeit des zweiten Terms in dem ersten Verfahrensabschnitt 691 Zyklen.

In einem zweiten Verfahrensabschnitt wird der gesamte Such bereich in eine Zahl von 25 Bereiche, die unabhängig vonein ander bearbeitet werden sollen, unterteilt, wie dies in Fig. 7 gezeigt ist, und die gesamte Bearbeitungszeit wird in der gleichen Weise wie nach dem ersten Verfahrensschritt wie folgt berechnet:
5×16+25×8+144×1=424 Zyklen
10×8=80 Zyklen.

Dementsprechend ergibt sich die Gesamtbearbeitungszeit in Form von 504 Zyklen, indem zu 424 Zyklen 80 Zyklen hinzuad diert werden.

In einem dritten Verfahrensschritt wird ein Suchbereich in 25 Bereiche, die unabhängig voneinander bearbeitet werden sollen, unterteilt, wie dies in Fig. 8 gezeigt ist, und die gesamte Bearbeitungszeit wird in der gleichen Weise wie folgt berechnet:
1×16+14×8+196×1=324 Zyklen 10×8=80 Zyklen.

Die Gesamtbearbeitungszeit beträgt 404 Zyklen, wobei diese Zahl durch Aufsummieren von 324 Zyklen und 80 Zyklen gebil det ist.

Schließlich erfordert es 1599 Zyklen, um die Berechnung des zweiten Terms Σ(b_kl)² (wobei l=1, 2, . . ., 25 bedeutet) durchzuführen, da der erste Verfahrensschritt 691 Zyklen und der zweite und der dritte Verfahrensschritt 504 Zyklen und 404 Zyklen jeweils erfordert.

Wie vorstehend beschrieben ist, wird die Berechnungszeit des MSE für einen auf 16×16 standardisiertes Raster durch die folgende Gleichung erhalten:

wobei l=1, 2, . . ., 25 läuft. Die Gesamt-Zyklen des vor stehenden Ergebnisses betragen 32,2% von den 25 600 Zyklen, die durch die Gleichung (2) b erechnet werden, z. B. 100×M×N=100×16×16.

Dementsprechend kann die MSE-Berechnung gemäß der vorliegen den Erfindung in ihrer Berechnungszeit um 66,8% verglichen mit einem herkömmlichen Berechnungsverfahren verringert wer den.

Falls die Zeit für die Durchführung der drei Verfahrens- Suchschritte BMA kleiner als die dem BMA-Prozessor zugeord nete Zeit ist, wie vorstehend beschrieben, kann der Real zeit-Bewegungsdetektor 20 in seiner Ausführung durch ein DSP-Chip (BMA-Prozessor) gebildet werden.

Wie die Fig. 10 zeigt, wird für den Betrieb des Bewegungsde tektors 20 ein DSP-Chip, wie dies dargestellt ist, verwen det. Ein auf dem Chip befindlicher Datenspeicher des BMA-Prozessors und ein externer Speicher werden auf einen Anfangswert durch Unterbrechung der Stromversorgung initia lisiert und einige Konstantwerte, die zur Durchführung des BMA erforderlich sind, werden so gebildet und gespeichert.

Nach der Durchführung der routinemäßigen Initialisierung führt der Bewegungsdetektor 20 das BMA-Unterprogramm durch eine gewollte Unterbrechung des Bedieners aus und verbleibt in einem Leerlaufstatus. Falls eine nächste durch den Anwen der hervorgerufene Unterbrechung auftritt, wiederholt der Bewegungsdetektor 20 das BMA-Unterprogramm in gleicher Weise.

Die Fig. 11 zeigt im Detail das BMA-Programm. Falls eine Un terbrechung durch einen Anwender verursacht wird, wird eine Luminanz-Komponente eines Makro-Rasters in einem Eingangs- Puffer IB, der mit einem Eingangs-Ende des BMA-Prozessors PR verbunden ist, gespeichert, und die Format-Teilung 11 wird als eine Raster-Einheit erhalten und in einem internen Spei cher gespeichert.

Nachdem eine Initialisierungs-Adresse des Rasterbereiches für die Suche des vorhergehenden Einzelbildes, das erzeugt werden soll, berechnet wurde, wird ein Bewegungsvektor durch den ersten, zweiten und dritten Verfahrensschritt in dieser Reihenfolge aufgefunden und über ein Relais LA (latch LA, Verriegelung), das mit einem Anschluß des BMA-Prozessors PR an den Multiplexer 15 angeschlossen ist, übertragen. Ein vor gegebenes Raster wird von dem vorhergehenden Einzelbild- Speicher durch den Bewegungsvektor ermittelt und zu einem Ausgangs-Puffer OB, mit dem das andere Ende des BMA-Prozes sors PR verbunden ist, übermittelt. Nachdem das Raster in dem Schleifenfilter 18 gefiltert ist, wird eine Differenz zwischen dem Raster und einem Raster des momentanen Einzel bildes in dem Subtraktor 21 ermittelt. Wenn der vorstehende Ablauf in seiner Reihenfolge abgeschlossen ist, verbleibt der Bewegungsdetektor 20 in einer Leerlaufstellung, bis ein nächster Anwender eine Unterbrechung verursacht.

Die Fig. 12 zeigt jeden Verfahrensschritt, um das BMA durch zuführen. Zunächst wird eine initialisierte Adresse des Suchbereiches, der von einem vorhergehendem Bildspeicher zu geführt wird, zur Durchführung des ersten Verfahrensab schnittes nach Speicherung einem Ergebnisses durch Berech nung des ersten Terms

der MSE-Gleichung bestimmt. Anders ausgedrückt weist die initialisierte Adresse des Suchbereiches Such-Raster entsprechend der Zahl von 9 Menü- Vektoren auf, die von einem momentanen Makro-Block um ±4 Pixel entfernt liegen. Daten über die Suchbereiche werden durch die initialisierten Adressen erhalten und in dem in ternen Speicher gespeichert.

Als nächstes wird der Wert

berechnet und im Hin blick auf jeden der fünfundzwanzig Bereiche, wie sie in Fig. 6 gezeigt sind, gespeichert. Dann wird der Wert an jedem Such-Bereich berechnet und gespeichert (wobei l=1, 2,.., 25 ist).

Nachdem der Wert

an jedem Suchbereich erhalten ist, wird der Wert

jeweils für die neun Suchbereiche berechnet. Nachdem die vorstehend beschriebenen Verfahrensschritte durchgeführt sind, wird der minimale MSE-Wert der neun MSE-Werte als ein MSE-Wert erhal ten.

Der zweite und der dritte Verfahrensschritt zur Ermittlung des MSE wird in der gleichen Weise wie der erste Verfahrens schritt durchgeführt. Allerdings wird eine hinsichtlich des ersten Verfahrensschrittes unterschiedliche Form des Berei ches gebildet, wie die in den Fig. 11 und 12 gezeigt ist, um Σb_kl)² zu berechnen, da der Menü-Vektor jeweils das Inter vall von ±2 und ±1 Pixel in dem zweiten und dem dritten Ver fahrensschritt entsprechend aufweist.

Weiterhin wird, da der minimale MSE-Wert als Menü-Vektor für den nächsten Verfahrensschritt verwendet wird, die Zahl der neuen Menü-Vektoren, die zu bilden sind, mit acht angenommen und demzufolge eine Berechnung des MSE achtmal durchgeführt.

Zusammenfassend ist festzustellen, daß es möglich ist, die Bearbeitungszeit dadurch zu verringern, indem im wesent lichen von der Ausgestaltung des DSP-Chips für die Durch führung einer Bewegungs-Ermittlung mit einem dreistufigen Bewegungs-Ermittlungs-Verfahren Gebrauch gemacht wird. Daher wird der Realzeit-Bewegungs-Detektor in Form eines Einzel- DSP-Chips ausgeführt; weiterhin ist es wirtschaftlich, daß der Umfang der Hardware bei gleicher Effektivität reduziert werden kann.

Es ist ersichtlich, daß, obwohl konkrete Ausführungsformen vorstehend beschrieben wurden, für den Fachmann möglich ist, Änderungen im Rahmen des allgemeinen Erfindungsgedankens vorzunehmen.

Claims

1. Verfahren zur Ermittlung eines Bewegungs-Vektors in einem Einzelbild-Verarbeitungs-System, das Betriebseinrich tungen für die Durchführung der Summierung und der Akku mulierung nach der Multiplikation aufweist, wobei die Luminanz-Komponenten-Daten eines laufenden Makro-Rasters aufgenommen werden und eine Initialisierungsadresse eines Suchbereiches erzeugt wird, um so den Bewegungs-Vektor aufzuzeigen, das folgende Verfahrensschritte aufweist:
Quadrierung eines Helligkeitswertes jedes Pixel des laufenden Makro-Rasters und Aufsummierung der quadrierten Ergebnisse, um einen ersten Summationswert zu bilden; Empfangen der Daten über den Suchbereich eines vorherge henden Einzelbildes, und zwar entsprechend der initiali sierten Adresse (Anfangsadresse);
Aufbauen einer vorgegebenen Anzahl von Suchpositionen mit regelmäßigen Abständen zwischen den Pixeln in einem Such bereich des vorhergehenden Einzelbildes;
Aufbauen der Raster der gleichen Größe, um von dem ge nannten laufenden Makro-Raster an entsprechenden Such stellen die Helligkeitswerte der Pixel in den gebildeten Raster zu quadrieren und diese quadrierten Ergebnisse aufzusummieren, um einen zweiten Summationswert zu bil den,
Multiplizieren des laufenden Makro-Rasters mit einem Helligkeitswert des entsprechenden Pixel, das dem jeweiligen Raster an jeder Suchposition entspricht, Aufsummieren des multiplizierten Ergebnisses, um einen dritten Summations wert zu bilden, und Verdopplung des aufsummierten Ergeb nisses;
Addieren des ersten Summationswertes zu dem zweiten Sum mationswert für jede Suchposition und Subtraktion des doppelten Wertes davon, um so einen minimalen Wert daraus auszuwählen; und
Bestimmung einer Suchposition eines Rasters, das den minimalen Wert als einen Bewegungsvektor für den Fall der Ausführung einer dreistufigen Suche aufweist, und Rück kehr, oder, im anderen Fall, eine Schleifenbildung zu dem vierten Verfahrensschritt, nachdem eine gegebene Zahl von Suchpositionen in einem Intervall zwischen den Pixeln enger als das des vorhergehenden Verfahrensabschnittes an der Suchposition des Rasters, das den minimalen Wert auf weist, vorgenommen wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Verfahrensschritt zur Bestimmung des Rasters folgende Schritte aufweist:
Bestimmung der Raster gleicher Größe wie diejenige des laufenden Makro-Rasters an den jeweiligen Such-Positio nen, um dadurch unabhängige Betriebsbereiche an Bereichen zu bilden, die alle diese Raster aufweisen, und Qua drieren und Aufsummieren der Helligkeitswerte der Pixel entsprechend den Suchpositionen hinsichtlich jedes unab hängigen Betriebs-Bereiches, um dadurch unabhängige Be triebswerte zu erhalten; und
Aufsummieren der unabhängigen Werte, die die mit dem je weiligen Raster jeder Such-Position korrespondieren.

3. Verfahren zur Ermittlung eines Bewegungs-Vektors in einem Einzelbild-Verarbeitungs-System, das Betriebseinrich tungen für die Durchführung der Summierung und der Akku mulierung nach der Multiplikation aufweist, wobei die Lu minanz-Komponenten-Daten eines laufenden Makro-Rasters aufgenommen werden und eine Initialisierungsadresse eines Suchbereiches erzeugt wird, um so den Bewegungs-Vektor aufzuzeigen, das folgende Verfahrensschritte aufweist:
Quadrierung eines Helligkeitswertes jedes Pixel des lau fenden Makro-Blockes und Aufsummierung der quadrierten Ergebnisse, um einen ersten Summationswert zu bilden;
Empfangen der Daten über den Suchbereich eines vorherge henden Einzelbildes, und zwar entsprechend der initiali sierten Adresse (Anfangsadresse);
Aufbauen einer vorgegebenen Anzahl von Suchpositionen mit regelmäßigen Abständen zwischen den Pixeln in einem Such bereich des vorhergehenden Einzelbildes;
Aufbauen der Raster der gleichen Größe, um von dem ge nannten laufenden Makro-Raster an entsprechenden Such stellen Positionen zu bestimmen, um dadurch unabhängige Bearbeitungsabschnitte in den Bereichen festzulegen, die alle Raster umfassen, und Quadrierung und Aufsummierung der Helligkeitswerte der Pixel entsprechend den Suchpo sitionen im Hinblick auf jeden unabhängigen Bearbeitungs abschnitt, um dadurch unabhängige Bearbeitungswerte zu erhalten;
Aufsummierung der unabhängigen Werte, die den jeweiligen Rastern jeder Suchposition entsprechen;
Multiplizieren des laufenden Makro-Rasters mit einem Hel ligkeitswert des entsprechenden Pixel, das dem jeweiligen Raster an jeder Suchposition entspricht, Aufsummieren des multiplizierten Ergebnisses, um einen dritten Summations wert zu bilden, und Verdopplung des aufsummierten Ergeb nisses;
Addieren des ersten Summationswertes zu dem zweiten Sum mationswert für jede Suchposition und Subtraktion des doppelten Wertes davon, um so einen minimalen Wert daraus auszuwählen; und
Bestimmung einer Suchposition eines Rasters, das den minimalen Wert als einen Bewegungsvektor für den Fall der Ausführung einer dreistufigen Suche aufweist, und Rück kehr, oder, im anderen Fall, eine Schleifenbildung zu dem vierten Verfahrensschritt, nachdem eine gegebene Zahl von Suchpositionen in einem Intervall zwischen den Pixeln enger als das des vorhergehenden Verfahrensabschnittes an der Suchposition des Rasters, das den minimalen Wert auf weist, vorgenommen wird.