DE69216312T2

DE69216312T2 - Bildsignalverarbeitungsgerät

Info

Publication number: DE69216312T2
Application number: DE69216312T
Authority: DE
Inventors: Mitsuharu Ohki
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1991-07-16
Filing date: 1992-07-10
Publication date: 1997-06-12
Anticipated expiration: 2012-07-11
Also published as: EP0523924A2; EP0523924A3; DE69216312D1; JP3116967B2; JPH0522648A; US5313296A; KR930003746A; EP0523924B1; KR100230033B1

Description

Die vorliegende Erfindung bezieht sich auf eine Bildinformations-Verarbeitungsvorrichtung wie eine Kamera- Wobbel-Korrektureinrichtung zur Korrektur der Zwischenbildform eines Bildes in einer Videokamera durch Erfassung des Zwischenbild-Bewegungsvektors in Eingangs- Dynamikbilddaten oder einen Bildkomprimierer zur Komprimierung der Datenmenge des dynamischen Bildes.
Bei einer Bildinformations-Verarbeitungsvorrichtung wie einer Kamera-Wobbel-Korrektureinrichtung zur Korrektur der Schwankungen oder dergleichen bei einem Videoaufnahmevorgang oder einer Dynamikbild-Komprimierungseinrichtung zur Komprimierung der Datenmenge zur Erreichung einer Bildübertragung mit hoher Effizienz ist es notwendig, eine exakte Kalkulation des Zwischenbild-Bewegungsvektors (Bewegungsvektors) des Bildes auszuführen, um eine korrekte Wobbel-Korrektur oder effiziente Datenkomprimierung zu erreichen. Ein Verfahren zur Berechnung eines solchen Bewegungsvektors ist in der US-4,777,530 beschrieben.
Zum besseren Verständnis wird eine Beschreibung eines Verfahrens zur Erfassung des Bewegungsvektors V(n) des momentanen (n-ten) Halbbildes verglichen mit dem vorangegangenen ((n-1)-ten) Halbbild angegeben, mit (i=1) bei der folgenden Erläuterung.
Fig. 6 der beiliegenden Zeichnungen zeigt eine exemplarische Anordnung, wo 16 repräsentative Punkte Pk (wobei k=o bis 15) in einem Bild vorbereitet sind, den Bewegungsvektor V zu berechnen. In diesem Beispiel sind die Pixeldaten der Punkte Pk (n-1) in dem (n-1)-ten Halbbild (im folgenden als Repräsentativ-Punktdaten bezeichnet) mit Ak(n-1) bezeichnet. Innerhalb jeder der Suchbereiche Wk im n-ten Feld (wo ein Suchursprung durch Pk(n) bezeichnet ist und jeder Bereich aus horizontalen Q-Pixeln und vertikalen R-Pixeln besteht), wird eine Suche für die Pixeldaten Aij(n) des n-ten Halbbildes entsprechend den Repräsentativ-Punktdaten Ak(n-1) ausgeführt. Bezüglich des Vektors (l, m) vom Suchursprung Pk zu jedem der Suchpunkte (1, m) innerhalb des Suchbereiches Wk wird insbesondere das Residium S(l, m), gegeben durch die folgende Gleichung, berechnet.
Oben bezeichnet Ak(l, m) (n) Pixeldaten des n-ten Halbbildes am Suchpunkt (l, m) im Suchbereich Wk.
Bezüglich des minimalen Restes (Residuums) S(ll, ml) aus den gesamten Resten S(l, m) bei allen Suchpunkten wird der Bewegungsvektor V(n) des n-ten Halbbildes bezüglich des (n- 1)-ten Halbbildes als Vektor (ll, ml) ausgedrückt.
Zusätzlich zu dem Beispiel von Fig. 6, wo der Bewegungsvektor V durch Berechnung der Reste 5 bezüglich der Gesamtheit eines Bildes erhalten wird, kann ein anderes Beispiel aus Fig. 7 erhalten werden, wo ein Bild in mehrere, z.B. vier Blöcke B1, B2, B3, B4 aufgeteilt werden und die Bewegungsvektoren V1, V2, V3, V4 der individuellen Blöcke ähnlich wie bei dem vorherigen Beispiel von Fig. 6 erfaßt werden. (Genauer gesagt wird jeder Block als gesamtes Bild im vorangegangenen Beispiel angesehen).
In Übereinstimmung mit einer Gesamtheit von vier Bewegungsvektoren V1, V2, V3, V4, die von den individuellen Blöcken erfaßt werden, wird der Bewegungsvektor V(n) des n- ten Halbbildes beispielsweise auf Basis der folgenden Entscheidungsreferenz bestimmt.
Erster Fall: Wenn mehr als drei der vier Bewegungsvektoren untereinander gleich sind, werden solche übereinstimmenden Vektoren als der Bewegungsvektor V(n) des n-ten Halbbildes angesehen.
Zweiter Fall (alle anderen Fälle außer der erste Fall): Der Bewegungsvektor V(n) wird als unerf aßbar angesehen oder jeder Block wird gewichtet und der Bewegungsvektor V(n) wird bestimmt; oder der Bewegungsvektor Vw des gesamten Bildes wird simultan mit den vier Vektoren V1, V2, V3, V4 von den individuellen Blöcken erfaßt und der Bewegungsvektor Vw des gesamten Bildes wird als der Bewegungsvektor V(n) des n-ten Halbbildes übernommen.
Das obige ist ein Verfahren, das angewendet wird, wenn der Bewegungsvektor V3 des dritten Blockes B3 beispielsweise aufgrund eines störenden Einflußes von bewegten Objekten wie Menschen oder Fahrzeugen nicht korrekt erfaßbar ist.
Fig. 8 und 9 sind Blockdiagramme, die Ausbildungen herkömmlicher Kamera-Wobbel -Korrektureinrichtungen als Bildinformations-Verarbeitungsvorrichtungen zeigen, die Fig. 6 bzw. 7 entsprechen. Der Unterschied zwischen den beiden Vorrichtungen von Fig. 8 und 9 liegt darin, daß erstere einen Restspeicher 54 mit einer Speicherkapazität von Q x R Wörtern aufweist, während letzterer einen ersten und zweiten Restspeicher 64, 65 aufweist, die jeweils eine Kapazität von Q x R Wörtern für den ersten und zweiten Block B1, B2 oder den dritten und vierten Block B3, B4 aufweisen.
Daher wird eine Beschreibung anhand des Beispieles von Fig. 9 angegeben, wobei ein Bild in mehrere Blöcke aufgeteilt ist, und eine wiederholte Erläuterung bezüglich des darin enthaltenen Beispieles von Fig. 8 wird weggelassen.
Fig. 9 ist ein Blockdiagramm einer herkömmlichen Bildinformations-Verarbeitungsvorrichtung, die eine Kamera- Wobbel-Korrektureinrichtung der Blockanordnung von Fig. 7 ist.
Es sei hier angenommen, daß vor dem Zeitpunkt T0 (in Fig. 7 gezeigt) die Bilddaten Aij (n-1) des (n-1)-ten Halbbildes in einem Halbbildspeicher 8 mittels eines Datenbusses BU gespeichert werden und Repräsentativ-Punktdaten Ak(n-1) aus den Bilddaten Aij (n-1) in einem Repräsentativ-Punktspeicher 2 mittels des Datenbusses BU gespeichert werden.
Während der Zeitperiode T0 bis T1 werden die Bilddaten Aij (n) des n-ten Halbbildes aufeinanderfolgend als ein Eingabesignal 1 einem Bewegungsvektor-Detektor 6 zugeführt. Dann berechnet eine in dem Bewegungsvektor-Detektor 6 enthaltene Subtraktionseinrichtung 31 die Differenz zwischen den Pixeldaten an gesamten Suchpunkten in den ersten und zweiten Blöcken B1, B2 aus den Bilddaten Aij (n) und die von dem Repräsentativpunktspeicher über den Datenbus BU zugeführten Repräsentativ-Punktdaten Ak(n-1) und die so erhaltene Differenz wird durch eine Absolutwertschaltung 32 verarbeitet, um einen absoluten Differenzwert zu erhalten. Anschließend wird eine Kumulation des absoluten Differenzwertes, d.h. ein Zwischenresultat oder ein Endresultat des Restes S(l, m) durch einen Addierer 33 berechnet und dann im ersten und zweiten Restspeicher 64, 65 gespeichert.
Der gesamte Rest S1(l, m) (oder dessen Zwischenresultat) des ersten Blockes B1 wird in dem ersten Restspeicher 64 gespeichert, während der gesamte Rest S2(l, m) (oder dessen Zwischenresultat) in dem zweiten Restspeicher 65 gespeichert wird. Die Reste S1(l, m) und S2(l, m) werden wie folgt berechnet.
Ein Minimumrest-Kalkulator 39 erfaßt den minimalen Rest S1(lll, mll) aus dem gesamten Rest S1(l, m) des in dem ersten Restspeicher 64 gespeicherten ersten Blockes B1 und gibt den erfaßten Rest als Bewegungsvektor V1(lll, mll) des ersten Blockes B1 aus.
Die Schaltungsanordnung kann so modifiziert werden, um den minimalen Rest S11(lll, mll), den zweiten minimalen Rest S12(112, m12) und den dritten minimalen Rest S13(ll3, ml3) usw. zu erfassen und dann mehrere Bewegungsvektoren auf V11(lll, mll), V12(ll2, ml2), V13(lll, ml3) usw. als Bewegungsvektoren des ersten Blockes B1 auszugeben. Derselbe Vorgang kann bezüglich jedes anderen Blockes als des ersten Blockes ausgeführt werden.
Zur Zeit T1 wird der Bewegungsvektor V2(lll, mll) des ersten Blockes B1 und der Bewegungsvektor V2(l2l, m2l) des zweiten Blockes B2 an eine Steuerung 7 ausgegeben.
Während der Zeitperiode T1 bis T2 werden der Bewegungsvektor V31(131, m31) des dritten Blockes B3 und der Bewegungsvektor V41(141, m41) des vierten Blockes B4 durch den Bewegungsvektor-Detektor erfaßt. Die Reste S3(l, m) und S4(l, m) werden in dem ersten bzw. zweiten Restspeicher 64 während der Zeitperiode T1 bis T2 wie durch die folgenden Gleichungen ausgedrückt gespeichert.
Zur Zeit T2 entsprechend der Beendigung der Eingabe des n- ten Halbbildes wird der Bewegungsvektor V(n) des n-ten Halbbildes bezüglich des (n-1)-ten Halbbildes durch die Steuerung 7 aus den Bewegungsvektoren V1, V2, V3, V4 der Blöcke B1, B2, B3, B4 auf Basis der oben erwähnten Entscheidungsreferenzen bestimmt. Der so erhaltene Bewegungsvektor V(n) wird einem kumulativen Bewegungsvektor Vt dem Referenzhalbbild (dem ersten Halbbild) folgend addiert, um so (Vt(n)=Vt(n-1)+V(n)) zu erzeugen und eine =bezüglich des kumulativen Bewegungsvektors Vt(n) korrigierte Leseadresse ADR wird einem Halbbildspeicher 8 ausgegeben.
Während der Zeitperiode T0 bis T2 werden die Repräsentativ- Punktdaten Ak(n) aus den Bilddaten Aij(n) des n-ten Halbbildes in dem Repräsentativ-Punktspeicher gleichzeitig mit der Erfassung der Bewegungsvektoren V1, V2, V3 und V4 gespeichert und die schon verwendeten Repräsentativ- Punktdaten Ak(n-1) werden aufeinanderfolgend gelöscht, um den Speicherinhalt des Speichers zu aktualisieren. Ebenfalls während der Zeitperiode T0 bis T2 werden die Bilddaten Aij(n-1) des in dem Halbbildspeicher 8 gespeicherten (n-1)- ten Halbbildes aufeinanderfolgend einem Interpolator 9 über den Datenbus BU ausgegeben und die vorangehenden Bilddaten Aij(n-1), die schon ausgegeben wurden, werden nacheinander durch die Bilddaten Aij(n) des n-ten Halbbildes ersetzt, so daß die Daten aktualisiert sind.
Fig. 10 illustriert einen Eingabe-Bildbereich, der im Halbbildspeicher zu speichern ist&sub1; und einen Ausgabe- Bildbereich, der während der Zeitperiode des nächsten Halbbildes auszulesen ist.
In Fig. 10 besteht der Eingabe-Bildbereich aus einem Referenzhalbbiid-Ausgabebildbereich und einen am Rand des Referenzhalbbild-Ausgabebereiches in Übereinstimmung mit einem angenommenen Maximal-Bewegungsvektor definierten Korrekturbereich. Der Ausgabe-Bildbereich (durch eine gestrichelte Linie bezeichnet) für das Referenzhalbbild oder jedes beliebige Halbbiid ist etwas kleiner als der Eingabe- Bildbereich
Im Falle, daß der Ausgabe-Bildbereich kleiner als ein Vollbildbereich ist, ist es notwendig, das Bild durch Interpolation der Bilddaten zu vergrößern.
Fig. 11(A) ist ein Blockdiagramm des Interpolators 9; Fig. 11(B) ist ein Zeitverlaufsdiagramm von Daten zur Erläuterung der Funktionsweise des Interpoiators 9 in einem Modus, das Bild 3/2-fach zu vergrößern; und Fig. 11(C) zeigt das Ergebnis der Interpolation.
In Fig. ii(A) wird das in Fig. 9 gezeigte Eingabesignal 1 aufeinanderfolgend als Abtastzeilendaten Yi (wobei i=0, 1, 2, ...) während jeweiliger Horizontalabtastperioden H eingegeben. Die Eingabe-Abtastzeilendaten Yi werden in einem Muitiplizierer 91 mit einem Koeffizienten C&sub0; multipliziert und dann einem Addierer 95 eingegeben. Gleichzeitig damit werden die Abtastzeilendaten Yi auch einer 1H- verzögerungsleitung 93 über einen Schalter 92 eingegeben, so daß diese um eine Zeit entsprechend einer Horizontalabtastperiode (1H) verzögert werden und die verzögerten Daten werden in einem Multiplizierer 94 mit einem Koeffizienten C1 multipliziert und dann dem Addierer 95 eingegeben. Die Ausgaben der beiden Multiplizierer 91 und 94 werden in dem Addierer 95 zueinander addiert, wobei die Ausgabe-Abtastzeilendaten Yi daraus erzeugt werden.
In Fig. 11(B), die die Funktionsweise der durch den Interpolator 9 in einem 3/2-fach-Vergrößerungsmodus ausgeführte Zeileninterpolation zeigt, werden die Abtastzeilendaten Yi (Y0, Y1, Y2, ...) wie gezeigt nacheinander eingegeben, während Dummy-Daten DM während einer Horizontalabtastperiode (1H) nach Eingabe der Abtastzeilendaten Y0 oder der beiden Abtastzeilendaten Yi und Y2, Y3 und Y4, usw. eingegeben werden.
Der Schalter 92 wird selektiv während der Eingabeperiode der Abtastzeilendaten zu einer Seite a oder während der Eingabeperiode der Dummy-Daten DM zu einer Seite b geschaltet, so daß die 1H-Verzögerungsleitung 93 die Verzögerungsieitungsdaten Y0, Y0, Y1, Y2, Y2, Y3, Y4, Y4, usw., die jeweils um die Zeit entsprechend einer Horizontalabtastperiode (1H) verzögert sind, an dem Mulitiplizierer 94 ausgibt.
Der Koeffizient C&sub0; des Multiplizierers 91 ist so gesteuert, daß er wie gezeigt 0, 2/3 oder 1/3 in Synchronisierung mit der Horizontaiabtastperiode (H) wird, während der Koeffizient C1 des Multiplizierers 94 so gesteuert wird, daß er ähnlich dazu 1, 1/3 oder 2/3 wird, während die korrigierten unten angegebenen Abtastzeiledaten yi von dem Addierer 95 mit einer Verzögerung von 1H ausgegeben werden.
y0 = Y0
y1 = 1/3 Y0 +2/3 Y1
y2 = 2/3 Y1 + 1/3 Y2
y3 = Y2
y4 = 1/3 Y2 + 2/3 Y3
y5 = 2/3 Y3 + 1/3 Y4
y6 = y4
In Fig. 11(C) sind die Eingabe-Abtastzeilendaten Yi durch durchgezogene Linien bezeichnet und die korrigierten Abtastzeilendaten sind entsprechend durch gestrichelte Linien bezeichnet.
Obwohl die Horizontalvergrößerung des Bildes zusätzlich zu der Vertikalvergrößerung notwendig ist, wird deren Erläuterung hier weggelassen, da sie auf der bekannten Technik basiert. Wenn in Fig. 10 der Ausgabe-Bildbereich mit dem Budrahmen übereinstimmt, wird die oben beschriebene Vergrößerung benötigt. Bezüglich des zum Schreiben des Eingabe-Bildbereiches in den Halbbildspeicher wird jedoch der Ausgabe-Bildbereich mit Einfügung von Dummy-Daten DM pro mehreren Zeilen ähnlich wie oben erwähnt ausgegeben und die Dummy-Daten DM werden mittels des anstelle des Interpolators 9 verwendeten Umsetzers entfernt. Daher besteht auch in diesem Fall eine Dummy-Daten-Versorgungszeit, während der keine Ausgabe von dem Halbbildspeicher zu dem Datenumsetzer geliefert wird.
In Fig. 9 werden während der Zeitperiode T0 bis T2(n+1) des nächsten (n+1)-ten Halbbildes die Bilddaten Aij(n), die im Halbbildspeicher 8 gespeichert sind, nacheinander über den Datenbus BU an den Interpolator 9 auf der Basis der Leseadresse ADR(n) ausgegeben, die von der Steuerung 7 ausgegeben wurde und nachdem sie wie erwähnt interpoliert wurden, werden die Bilddaten als Ausgangssignal 10 zur verfügung gestellt.
Bei der oben beschriebenen herkömmlichen Vorrichtung werden die Vorgänge des Schreibens von Daten im und des Auslesens derselben aus dem Halbbildspeicher 8 auf die folgende Art und Weise ausgeführt. Die Eingabe-Bilddaten Aij(n) des n-ten Halbbildes werden nacheinander über den in dem Ausgabe- Bildbereich des (n-1)-ten Halbbildes enthaltenen Bereich geschrieben und schon an den Interpolator 9 ausgegeben und ebenfalls über den nicht ausgegebenen Bereich (Korrekturbereich) an der Peripherie des Ausgabe- Bildbereiches.
Bei dem obigen herkömmlichen Beispiel ist die Anzahl der in jedem Suchbereich Wk festgelegten Suchpunkte gleich (Q x R).
Bei der obigen herkömmlichen Vorrichtung wird der Rest S(l, m) bezüglich jedes der gesamten in dem Suchbereich Wk gewählten Suchpunkte des gesamten Bildes oder jedes Blockes berechnet, so daß jeder der Restspeicher 54, 64, 65 eine Speicherkapazität von (Q x R) Wörtern hat.
In dem Beispiel, wo ein Bild in vier Blöcke (= 2 x 2) aufgeteilt wird, sind die Blöcke so wählbar, daß der erste plus zweite Block (B1 + B2) als ein fünfter Block B5; der dritte plus vierte Block (B3 + B4) als ein sechster Block B6 und der erste plus zweite plus dritte plus vierte Block (das gesamte Bild) als siebter Block B7 verwendet werden. Ferner ist auch eine Aufteilung in neun Blöcke (3 x 3) zusätzlich zu der beschriebenen Aufteilung in vier (2 x 2) möglich. In solch einem Fall ist es gemäß der herkömmlichen Vorrichtung notwendig, eine bestimmte Anzahl a von Restspeichern vorzusehen, die jeweils eine Speicherkapazität von Q x R Wörtern aufweisen, um simultan Bewegungsvektoren von a Blöcken (beispielsweise vier Blöcken B1, B2, B3, B7) zu erfassen. Daher wird bei einem Versuch, eine exakte Erfassung von genauen Bewegungsvektoren durch Erhöhung der Anzahl von Repräsentativ-Punkten oder Blöcken die Kapazität jedes Restspeichers großer, wodurch schließlich ein Problem auftritt, daß die Schaitungsabmessungen vergrößert werden.
Erfindungsgemäß wird eine Bildinformations-Verarbeitungsvorrichtung vorgeschlagen aufweisend:
eine Einrichtung zur Erfassung des Bewegungsvektors eines Bildes im derzeitigen Halbbild verglichen mit demjenigen im vorangegangenen Halbbild;
eine Verarbeitungsschaltung zur Verarbeitung des Bildes des in einem Halbbiidspeicher gespeicherten gegenwärtigen Halbbildes auf Basis des Bewegungsvektors; und
einen Restspeicher zur Speicherung von Restinformation zur Verwendung bei der Berechnung des Bewegungsvektors;
dadurch gekennzeichnet, daß der Restspeicher ausgebildet ist, die während der Zeitdauer der Eingabe der Bilddaten einer Horizontalabtastzeile berechnete Restinformation zu speichern;
und dadurch, daß eine Einrichtung vorgesehen ist, die in dem Restspeicher gespeicherte Restinformation in einen Leerbereich des Halbbildspeichers während eines festgelegten Intervalles nach der Zeitdauer, währenddessen die Bilddaten eingegeben werden, zu überschreiben.
So ist es gemäß der vorliegenden Erfindung möglich, die Bildinformations-Verarbeitungsvorrichtung durch Verringerung der Speicherkapazität jedes Restspeichers auf Q Worte von üblicherweise Q x R Worte durch Überschreiben des Zwischenresultates des Restes in einem Austastbereich des Halbbiidspeichers während des horizontalen Rücklaufintervalles oder dergleichen, zu verbessern, wenn der Halbbildspeicher frei von einer Eingabe oder Ausgabe ist. Der Halbbildspeicher kann als Mehrkanalspeicher ausgebildet sein.
Die genannte Restinformation kann ein Zwischenresultat oder des Restes sein und die Verarbeitungsschaltung kann eine Wobbel-Korrektur zur Korrektur des Schütteins eines Bildes zwischen Halbbildern ausführen.
Ferner kann die Verarbeitungsschaltung die Datenmenge des dynamischen Bereiches komprimieren und die Information eines gesamten Bildes kann verarbeitet werden, nachdem es in mehrere Blöcke aufgeteilt wurde.
Die Erfindung liefert auch ein entsprechendes Verfahren zur Bildinformations-Verarbeitung.
Die Erfindung wird lediglich beispielhaft anhand der erläuternden beiliegenden Zeichnungen beschrieben, in denen
Fig. 1 ein Blockdiagramm eines ersten Ausführungsbeispieles ist, das eine erfindungsgemäße Bildinformations- Verarbeitungsvorrichtung zeigt;
Fig. 2 den beispielhaften Aufbau von Pixeln in einem Bild illustriert;
Fig. 3 eine Anordnung von Repräsentativ-Punkten und Suchbereichen auf dem Bild illustriert;
Fig.4 ein Diagramm zur Erläuterung der Funktionsweise des ersten Ausführungsbeispieles ist;
Fig. 5 ein Blockdiagramm eines zweiten Ausführungsbeispieles ist, das die erfindungsgemäße Vorrichtung repräsentiert;
Fig. 6 schematisch eine Anordnung von Repräsentativ-Punkten und Suchbereichen bei dem zweiten Ausführungsbeispiel illustriert;
Fig. 7 schematisch eine exemplarische Anordnung von mehreren Blöcken illustriert;
Fig. 8 ein Blockdiagramm einer herkömmlichen Bildinformations-Verarbeitungsvorrichtung ist;
Fig. 9 ein Blockdiagramm einer weiteren herkömmlichen Vorrichtung ist;
Fig. 10 Eingabe- und Ausgabe-Bildbereiche illustriert; und
Fig. 11A bis 11C die Schaltungskonfiguration eines Interpolators und dessen Funktionsweise zeigt.
Im folgenden wird ein erstes erfindungsgemäßes Ausführungsbeispiel anhand Fig. 1 beschrieben.
Zum Zwecke der Vereinfachung der Erläuterung ist die Anzahl der Pixel pro Halbbild auf 100 beschränkt. Insbesondere sind die Pixeldaten Aij auch auf 100 (wobei i = 0 bis 9 und j = 0 bis 9 ist) beschränkt. Ein Suchbereich W0 wird als i = 0 bis 4 und j = 0 bis 4; ein Suchbereich W1 als i = 0 bis 4 und j = 5 bis 9; ein Suchbereich W2 als i = 5 bis 9 und j = 0 bis 4; und ein Suchbereich W3 als i = 5 bis 9 und j = 5 bis 9 bestimmt.
Jeder der Suchbereiche Wk (wobei k = 0 bis 5) hat eine Größe von Q = 5 und R = 5 und der Rest S(l, m) wird bezüglich jeder der 25 Vektoren berechnet, wobei 1 = -2, -1, 0, 1, 2 und m = -2, -1, 0, 1, 2.
[1]Der Zustand zur Startzeit T0(n) auf einem beliebigen Halbbild (n-ten Halbbiid) ist wie folgt.
[1-1]Pixeldaten Ak(n-1) an Repräsentativ-Punkten Pk im (n- 1)-ten Halbbild werden in einem Repräsentativ-Punktspeicher 2 gespeichert.
Bei diesem Ausführungsbeispiel sind Pixeldaten A0(n-1) am Repräsentativ-Punkt P0 A22(n-1); Pixeldaten A1(n-1) am Repräsentativ-Punkt P1 A27(n-1); Pixeldaten A2(n-1) am Repräsentativ-Punkt P2 A72(n-1); und Pixeldaten A3(n-1) am Repräsentativ-Punkt P3 A77(n-1).
[1-2] Einer Steuerung 7 wird ein Eingabe-Bewegungsvektor V(n-1) des (n-1)-ten Halbbildes zugeführt, das von einem Bewegungsvektor-Detektor 3 ausgegeben wird, dann aktualisiert dieser den kumulativen Bewegungsvektor Vt durch Addition des Bewegungsvektors V(n-1) zu dem kumulativen Bewegungsvektor Vt nach dem Referenz-Halbbild (erstes Halbbild), und gibt einem Halbbildspeicher 8 eine Leseadresse ADR aus, die durch den aktualisierten kumulativen Bewegungsvektor korrigiert ist.
[1-3] Im Halbbildspeicher 8 werden Pixeldaten Aij(n-1) des (n-1)-ten Halbbildes gespeichert.
[2] Nun wird die während des n-ten Halbbildes ausgeführte Funktion beschrieben.
[2-1] Die Funktionsweise in der nullten Horizontal-Abtastperiode ist wie folgt.
[2-1-1] Ein Restspeicher 34 mit einer Speicherkapazität von 5 (=Q) Worten (Adressen 0 bis 4) wird gelöscht.
[2-1-2] Pixeldaten A00 im Suchbereich W0 (k=0) werden eingegeben und Pixeldaten A0(n-1) am Repräsentativ-Punkt P0 (k=0) werden von dem Repräsentativ-Punktspeicher 2 ausgelesen. Dann berechnet eine Subtraktionseinrichtung 31 und eine Absolutwertschaltung 32 einen ersten Teilwert des Restes (-2, -2), d.h. einen Absoiut-Differenzwert A00 - A0(n-1) . Ein Addierer 33 liest ein Zwischenresultat (=0) des Restes S (-2, -2), das unter einer Adresse 0 im Restspeicher 34 gespeichert ist, aus und addiert den ersten Teilwert dazu und speichert das Ergebnis dieser Addition unter der Adresse 0 im Restspeicher 34.
Bezüglich der Pixeldaten A01, A02, A03 und A04 des Suchbereiches W0, die nacheinander eingegeben wurden, werden die ersten Teilterme der Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2) ähnlich wie oben berechnet und es werden zu den ersten Teiltermen die Zwischenergebnisse (=0) der Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2) addiert, die unter den Adressen 1, 2, 3 bzw. 4 im Restspeicher 34 gespeichert sind. Die Ergebnisse dieser so erhaltenen Additionen werden nacheinander unter den Adressen 1, 2, 3 und 4 im Festspeicher 34 gespeichert.
[2-1-3] Pixeldaten A05 des Suchbereiches W1 (k=1) werden eingegeben, während die Pixeldaten A1(n-1) am Repräsentativ- Punkt P1 (k-1) von dem Repräsentativ-Punktspeicher ausgelesen werden. Dann berechnen die Subtraktionseinrichtung 31 und die Absolutwertschaltung 32 einen zweiten Teilterm des Restes (-2, -2), d.h. einen Absolut-Differenzwert A05 - A1(n-1) . Der Addierer 33 liest ein Zwischenergebnis (= A00 - A0(nm-1) ) des Restes S (-2, - 2) aus, das unter der Adresse 0 im Restspeicher 34 gespeichert ist, und speichert das Ergebnis einer solchen Addition unter der Adresse 0 im Restspeicher 34 ab.
Bezüglich der Pixeldaten A06, A07, A08 und A09 des Suchbereiches W1, die nacheinander eingegeben wurden, werden zweite Teilterme der Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2) ähnlich wie oben berechnet und es werden zu den zweiten Teiltermen die Zwischenresultate der Reste S (- 1, -2), S (0, -2), S (1, -2) und S (2, -2) unter den Adressen 1, 2, 3 bzw. 4 im Restspeicher 34 gespeichert. Die Ergebnisse der so erhaltenen Additionen werden nacheinander unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 abgespeichert.
[2-1-4] Während des Horizontal-Rücklaufintervalles von der Eingabe der Pixeldaten A09 zu der Eingabe der Pixeldaten A10, wird der gesamte Inhalt des Restspeichers 34, d.h. der unter den Adressen 0 bis 4 gespeicherte Inhalt zu Adressen bis 4 eines Austastbereiches im Feldspeicher 8 über den Datenbus BU überschrieben (shunted). Somit werden die Zwischenergebnisse (Summen der ersten und zweiten Teilterme) der Reste S(1, -2), d.h. S (-2, -2), S (-1, -2), S (0, -2), (1, -2) und S (2, -2) in dieser Reihenfolge unter den Adressen 0 bis 4 des Austastbereiches im Teilbildspeicher 8 gespeichert.
[2-2] Ebenfalls während jeder der ersten bis vierten Horizontal-Abtastperioden (i = 1 bis 4) wird das gleiche Verfahren wie das vorher [2-1] beschriebene ausgeführt und Zwischenresultate (Summen der ersten und zweiten Teilterme) der Reste S (1, -1), S (1, 0), S (1, 1) und S (1, 2) werden aufeinanderfolgend unter Adressen 5 bis 24 des Austastbereiches im Teilbildspeicher 8 gespeichert.
[2-3] Die während der fünften Horizontal-Abtastperiode ausgeführte Funktion wird wie folgt beschrieben.
[2-3-1] Der Inhalt unter den Adressen 0 bis 4 des Leerbereiches im Halbbildspeicher 8 wird unter den Adressen bis 4 des Restspeichers 34 mit einer Speicherkapazität von 5 (=Q) Wörtern geschrieben (umgespeichert).
[2-3-2] Pixeldaten A50 im Suchbereich W2 (k=2) werden eingegeben, während Pixeldaten A2(n-1) am Repräsentativ- Punkt P2 (k=2) von dem Repräsentativ-Punktspeicher 2 ausgelesen werden. Dann berechnen die Subtraktionseinrichtung 31 und die Absolutwertschaltung 32 einen dritten Teilterm des Restes (-2, -2), d.h. einen Absolut-Differenzwert A50 - A2 (n-1) . Der Addierer 33 liest das Zwischenresultat ( A00 - A0(n-1) + A05 - A1(n-1) ) des Restes S (-2, -2), das im Restspeicher 34 unter der Adresse 0 gespeichert ist, aus und addiert den dritten Teilterm dazu. Das Ergebnis einer solchen Addition wird unter der Adresse 0 im Restspeicher 34 gespeichert.
Bezüglich jeder der Pixeldaten A51, A52, A53 und A54 des Suchbereiches W2, die nacheinander eingegeben wurden, werden dritte Teilterme der Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2) ähnlich wie oben berechnet und es werden zu den dritten Teiltermen die Zwischenresultate der Reste S (- 1, -2), S (0, -2), S (1, -2) und S (2, -2), die unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 gespeichert sind, addiert. Die Ergebnisse solcher Additionen werden nacheinander unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 gespeichert.
[2-3-3] Pixeldaten A55 des Suchbereiches W3 (k=3) werden eingegeben, während Pixeldaten A3(n-1) am Repräsentativ- Punkt P3 (k=3) aus dem Repräsentativ-Punktspeicher 2 ausgelesen werden. Dann berechnet die Subtraktionseinrichtung 31 und die Absolutwertschaitung 32 einen vierten Teilterm des Restes (-2, -2), d.h. einen Absoiut-Differenzwert A555 - A3 (n-1) . Der Addierer 33 liest das Zwischenresultat (= A00 - A0(n-1) + A05 - A1(n-1) + A50 - A2(n-1) ) des Restes S (-2, -2), der unter der Adresse 0 im Restspeicher 34 gespeichert ist, aus und addiert den vierten Teilterm dazu. Das Ergebnis einer solchen Addition, d.h. der Rest S (-2, -2) wird unter der Adresse 0 im Restspeicher 34 gespeichert.
Bezüglich jeder der Pixeldaten A56, A57, A58 und A59 des Suchbereiches W3, die nacheinander eingegeben werden, werden vierte Teilterme der Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2) ähnlich wie oben berechnet und es werden zu den vierten Teiltermen die Zwischenergebnisse der Reste S (- 1, -2), S (0, -2), S (1, -2) und S (2, -2), die unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 gespeichert sind, addiert. Und die Ergebnisse solcher Additionen, d.h. die Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2) werden nacheinander unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 gespeichert.
[2-3-4] Während des horizontalen Rückführungsintervalles von der Eingabe der Pixeldaten A59 zur Eingabe der Pixeldaten A60 wird der gesamte Inhalt des Restspeichers 34, d.h. der unter den Adressen 0 bis 4 gespeicherte Inhalt zu den Adressen 0 bis 4 des Austastbereiches im Halbbildspeicher 8 mittels des Datenbusses BU überschrieben. Somit werden die Reste S (1, -2), d.h. S (-2, -2), S (-1, -2), S (0, -2), S (1, -2) und S (2, -2) in dieser Reihenfolge unter den Adressen 0 bis 4 des Austastbereiches im Halbbildspeicher 8 gespeichert.
[2-4] Während jeder der sechsten bis achten Horizontal- Abtastperioden (i = 6 bis 8) wird das gleiche Verfahren wie das vorher beschriebene [2-3] ausgeführt und die Reste S (1, -1), S (1, 0) und S (1, 1) werden nacheinander unter den Adressen 5 bis 19 des Austastbereiches im Halbbildspeicher 8 gespeichert.
Anschließend während der neunten Horizontal-Abtastperiode (i=9) werden die Reste S (1, 2), die ähnlich wie oben berechnet sind, unter den jeweiligen Adressen 0 bis 4 des Restspeichers 34 gespeichert.
[2-5] Nach Eingabe der letzten Pixeldaten A99 des n-ten Halbbildes erfaßt ein Minimum-Restwertkalkulator 39 den minimalen Restwert S (ll, ml) aus den 20 Restwerten S (l, m) (wobei 1 = -2 bis 2, m = -2 bis 1), die unter den Adressen bis 19 des Austastbereiches im Halbbildspeicher 8 gespeichert sind und ebenso aus den fünf Restwerten S (1, 2), die im Restwertspeicher 34 gespeichert sind. Und ein Vektor (ll, ml) relativ zu einem solchen minimalen Restwert wird an die Steuerung 7 als Bewegungsvektor V(n) des n-ten Halbbildes bezüglich des (n-1)-ten Halbbildes ausgegeben.
[2-6] Aus den Repräsentativ-Punktdaten Ak(n-1), die im Repräsentativ-Punktspeicher 2 gespeichert sind, werden die schon zur Berechnung des Restwertes verwendeten und unnötig gewordenen Daten aufeinanderfolgend durch die Repräsentativ- Punktdaten Ak(n) ersetzt, die in den Eingabe-Pixeldaten Aij(n) enthalten sind, wobei die gespeicherten Daten aktualisiert werden.
[2-7] Die Pixeldaten Aij(n-1) des (n-1)-ten Halbbildes werden von dem Halbbildspeicher 8 an den Interpolator 9 über den Datenbus BU infolge der Leseadresse ADR(n-1) ausgegeben und die Pixeldaten Aij(n-1) des aufeinanderfolgend eingegebenen n-ten Halbbildes werden simultan über die Pixeldaten Aij(n-1) geschrieben, die schon ausgegeben wurden und unnötig geworden sind.
[2-8] Der Interpolator 9 interpoliert die Pixeldaten Aij(n- 1), die von dem Halbbildspeicher 8 ausgegeben wurden, so, daß dieselben zur Ausfüllung des Bildrahmens vergrößert werden, wodurch ein Ausgabesignal 10 des (n-1)-ten Halbbildes erzeugt wird.
Die oben beschriebenen Verfahrensschritte [2-1] bis [2-8] werden bezüglich der nachfolgenden Halbbilder wiederholt, d.h. des (n+2)-ten Halbbildes, des (n+2)-ten Halbbildes usw. ausgeführt. Wenn daher die vorliegende Erfindung auf eine Wobbel-Korrektureinrichtung für eine Videokamera oder dergleichen angewendet wird, wird eine Real-Time-Wobbel- Korrektur für jedes Zwischenbildschütteln unter der verbesserten Bedingung möglich gemacht, daß die Speicherkapazität des Restwertspeichers von herkömmlich Q x R Wörtern auf Q Worte, d.h. auf 1/R reduzierbar ist. Wenn ferner die vorliegende Erfindung auf eine Dynamikbereich Komprimierungseinrichtung zur Verwendung bei einer Bildtransmission angewandt wird, wird eine Real-Time- Bilddatenkomprimierung mit einer Verringerung der Restwertspeicherkapazität auf die gleiche Weise wie oben ermöglicht.
Im folgenden wird eine detaillierte Beschreibung eines ersten Ausführungsbeispieles unter Bezugnahme auf die beiliegenden Zeichnungen angegeben, wo die erfindungsgemäße Bildinformations-Verarbeitungsvorrichtung auf eine Wobbel- Korrektureinrichtung für eine Videokamera oder dergleichen angewandt wird.
Fig. 1 ist ein Blockdiagramm des ersten Ausführungsbeispieles, das die erfindungsgemäße Vorrichtung repräsentiert, wobei der genannte Restwertspeicher 54 (aufweisend eine Speicherkapazität von Q x R Worten) des Bewegungsvektor-Detektors 5 beim herkömmlichen Beispiel (Fig. 8) durch einen Restwertspeicher 34 (aufweisend eine Speicherkapazität von Q Worten) eines Bewegungsvektor- Detektors 3 ersetzt ist, und wobei während jedem Horizontal- Rückführungsintervall Q im Restwertspeicher 34 gespeicherte Restwerte oder Zwischenergebnisse über den Datenbus BU zu einem Austastbereich des Halbbildspeichers 8 überschrieben werden, während die Zwischenresuitate der Q während der nächsten Horizontal-Abtastperiode benötigten Restwerte aus dem Austastbereich des Halbbildspeichers 8 gelesen und über den Datenbus BU in den Restwertspeicher 34 geschrieben (umgespeichert) werden.
Im folgenden wird zuerst der Austastbereich des Halbbildspeichers 8 erläutert.
Es sei in diesem Ausführungsbeispiel angenommen, daß Dynamik-Bildeingabedaten Aij(n) eines beliebigen Halbbildes (später als n-tes Halbbild bezeichnet) aus 240.000 Worten (500 Pixel pro Horizontal-Abtastzeile und 480 Abtastzeilen pro Halbbild) bestehen. Da die Speicherkapazität in diesem Fall eine hohe Potenz von 2 ist, wird die Speicherkapazität des Halbbildspeichers selektiv zu 2¹&sup8; = 262.144 Worten gewählt. Die Differenz zwischen zwei Zahlen von Worten wird ein Austastbereich des Halbbildspeichers 8 bezeichnet. Bei der vorliegenden Erfindung werden deren Restwerte oder Zwischenresultate, die im Restwertspeicher 34 gespeichert sind, in einen solchen Austastbereich überschrieben, der bei dem Stand der Technik nicht verwendet wird, wodurch die Speicherkapazität des Restwertspeichers 34 auf einen Wert entsprechend der Restwertberechnung in einer Horizontal- Abtastzeile, d.h. auf Q Worte verringert wird.
Bei dem in Fig. 1 gezeigten ersten Ausführungsbeispiel wird der folgende Vorgang ausgeführt. Zum Zwecke der Vereinfachung der Beschreibung sei hier angenommen, daß, wie in Fig. 2 illustriert, das n-te Halbbiid aus 10 Pixeln (j = 0 bis 9) pro Horizontal-Abtastzeile und 10 Abtastzeilen (j = 0 bis 9) pro Halbbild besteht. Somit bestehen die Pixeldaten Aij(n) aus 100 Worten von A00 bis A99. Es wird auch angenommen, daß Repräsentativ-Punkte und Bewegungsvektor- Suchbereiche Wk (wobei k = 0 bis 3) wie in Fig. 3 illustriert ausgewählt werden. Insbsondere enthält ein Suchbereich W0 Pixeldaten Aij (wobei i = 0 bis 4, j = 0 bis 4); ein Suchbereich W1 enthält Pixeldaten Aij (wobei i = 0 bis 4, j = 5 bis 9); ein Suchbereich W2 enthält Pixeldaten Aij (wobei i = 5 bis 9, j = 0 bis 4); und ein Suchbereich W3 enthält Pixeldaten Aij (wobei 1 = 5 bis 9, j = 5 bis 9). Somit werden die horizontalen und vertikalen Größen jeder der Suchbereiche Wk als Q = 5 bzw. R = 5 bestimmt; die Speicherkapazität des Restwertspeichers 34 ist 5 (=Q) Worte (Adressen 0 bis 4); die Anzahl der Restwerte S (l, m), die zu berechnen sind, ist 25 (1 = -2, -1, 0, 1, 2 und m = -2, - 1, 0, 1, 2); und der Austastbereich des Halbbildspeichers 8 zum Überschreiben der Restwerte S (l, m) oder deren Zwischenresultate hat eine Kapazität von 25 Worten (Adressen bis 24).
In Fig. 1 sind die Zustände der Komponentenschaltungen zu der Startzeit T0(n) des n-ten Halbbildes wie folgt. Solche Zustände werden erzeugt, wenn der unbestimmte Vorgang jeder Schaltung während des n-ten Halbbildes auch während des (n- 1)-ten Halbbildes ausgeführt wurde.
[1] Pixeldaten Ak(n-1) bei Repräsentativ-Punkten Pk in dem (n-1)-ten Halbbild werden in einem Repräsentativ- Punktspeicher 2 gespeichert.
In diesem Beispiel sind die Pixeldaten A0(n-1) am
Repräsentativ-Punkt P0 A22(n-1); Pixeldaten A1(n-1) am
Repräsentativ-Punkt P1 A27(n-1); Pixeldaten A2(n-1) am
Repräsentativ-Punkt P2 A72 (n-1); und Pixeldaten A3 (n-1) am
Repräsentativ-Punkt P3 A77 (n-1).
[2] Einer Steuerung 7 wird ein Eingabe-Bewegungsvektor V(n- 1) des (n-1)-ten Halbbildes eingegeben, der von einem Bewegungsvektor-Detektor 3 ausgegeben wird, dann aktualisiert diese den kumulativen Bewegungsvektor Vt durch Addition des Bewegungsvektors V(n-1) zu dem kumulativen Bewegungsvektor Vt nachfolgend zu dem Referenz-Halbbild (d.h. dem ersten Halbbild) und gibt eine durch den aktualisierten kumulierten Bewegungsvektor korrigierte Leseadresse ADR an den Halbbildspeicher 8 aus.
[3] In dem Halbbildspeicher 8 werden Pixeldaten Aij(n-1) des (n-1)-ten Halbbildes gespeichert.
Nun wird der während des n-ten Halbbildes ausgeführte Vorgang beschrieben.
[1] Die Funktionsweise in der nullten Horizontal- Abtastperiode ist wie folgt.
[1-1] Ein Restwertspeicher 34 mit einer Speicherkapazität von 5 (=Q) Worten (Adressen 0 bis 4) wird gelöscht.
[1-2] Pixeldaten A00 im Suchbereich W0(k=0) werden eingegeben und Pixeldaten A0(n-1) am Repräsentativ-Punkt P0 (k=0) werden aus dem Repräsentativ-Punktspeicher 2 ausgelesen. Dann berechnen eine Subtraktionseinrichtung 31 und eine Absolutwertschaltung 32 einen ersten Teilterm des Restes (-2, -2), d.h. einen Absolut-Differenzwert A00 - A0(n-1) . Ein Addierer 33 liest ein Zwischenresultat (=0) des Restes S (-2, -2) aus, der unter der Adresse 0 im Restwertspeicher 34 gespeichert ist und addiert dann dazu den ersten Teilterm A00 - A0 (n-1) und speichert das Ergebnis dieser Addition (= 0 + A00 - A0(n-1) ) unter der Adresse 0 im Restwertspeicher 34.
Bezüglich der nacheinander eingegebenen Pixeldaten A01, A02, A03 und A04 des Suchbereiches W0 werden die ersten Teilterme A01 - A0 (n-1) , A02 - A0 (n-1) , A03 - A0 (n-1) und A04 - A0(n-1) der Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2) ähnlich wie oben berechnet und zu den ersten Teiltermen werden die Zwischenresultate (=0) der Reste S (- 1, -2), S (0, -2), S (1, -2) und S (2, -2), die jeweils unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 gespeichert sind, addiert. Dann werden die Ergebnisse der Additionen A01 - A0(n-1) , A02 - A0(n-1) , A03 - A0(n-1) und A04 - A0(n-1) nacheinander unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 abgespeichert.
[1-3] Pixeldaten A05 des Suchbereiches W1 (k=1) werden eingegeben, während die Pixeldaten A1(n-1) am Repräsentativ- Punkt P1 (k=1) aus dem Repräsentativ-Punktspeicher 2 ausgelesen werden. Dann berechnet die Subtraktionseinrichtung 31 und die Absolutwertschaltung 32 einen zweiten Teilterm des Restes (-2, -2), d.h. einen Absolut-Differenzwert A05 - A1(n-1) . Der Addierer 33 liest ein Zwischenresultat (= A00 - A0(n-1) ) des Restes S (-2, - 2) aus, welcher unter der Adresse 0 im Restspeicher 34 gespeichert ist und nachdem dazu der zweite Teilterm A05 - A1(n-1) addiert wurde, speichert dieser das Ergebnis der Addition ( A00 - A0(n-1) + A05 - A1(n-1) ) unter der Adresse 0 im Restspeicher 34.
Bezüglich der Pixeldaten A06, A07, A08 und A09 des Suchbereiches W1, die nacheinander eingegeben werden, werden zweite Teilterme A06 - A1(n-1) , A07 - A1(n-1) , A08 - A1(n-1) und A09 - A1(n-1) der Reste S (-1, -2), S (0, - 2), S (1, -2) und S (2, -2) ähnlich wie oben berechnet und zu den zweiten Teiltermen werden die Zwischenergebnisse ( A01 - A0 (n-1) , A02 - A0(n-1) , A03 - A0 (n-1) und A04 - A0(n-1) ) der Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2), die jeweils unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 gespeichert sind, addiert. Die Ergebnisse dieser Additionen ( A01 - A0(n-1) + A06 - A1(n-1) , A02 - A0(n-1) + A07 - A1(n-1) , A03 - A0(n-1) + A08 - A1(n- 1) und A04 - A0(n-1) + A09 - A1(n-1) ) werden nacheinander unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 gespeichert.
[1-4] Während des Horizontal-Rückführungsintervalles von der Eingabe der Pixeldaten A09 zur Eingabe der Pixeldaten A10 wird der gesamte Inhalt ( A01 - A0(n-1) + A06 - A1(n-1) , A02 - A0(n-1) + A07 - A1(n-1) , A03 - A0(n-1) + A08 - A1(n-1) und A04 - A0(n-1) + A09 - A1(n-1) ) des Restspeichers 34, d.h. der unter den Adressen 0 bis 4 gespeicherte Inhalt, zu den Adressen 0 bis 4 eines Austastbereiches im Halbbildspeicher 8 mittels des Datenbusses BU überschrieben (shunted). Daher werden Zwischenresültate (Summe der ersten und zweiten Teilterme) der Reste S (1, -2), d.h. S (-2, -2), S (-1, -2), S (0, -2) S (1, -2) und S (2, -2) in dieser Reihenfolge unter den Adressen 0 bis 4 des Austastbereiches im Halbbildspeicher 8 gespeichert.
[2] Ebenfalls während jeder der ersten bis vierten Horizontal-Abtastperioden (i = 1 bis 4) wird das gleiche Verfahren wie das vorangegangene [1] ausgeführt und Zwischenergebnisse (Summen der ersten und zweiten Teilterme) der Reste S (1, -1), S (1, 0), S (1, 1) und S (1, 2) werden nacheinander unter den Adressen 5 bis 24 des Austastbereiches im Halbbildspeicher 8 gespeichert.
[3] Das während der fünften Horizontal-Abtastperiode ausgeführte Verfahren ist wie folgt.
[3-1] Der Inhalt ( A00 - A0(n-1) + A05 - A1(n-1) , A01 - A0(n-1) + A06 - A1(n-1) , A02 - A0(n-1) + A07 - A1(n- 1) , A03 - A0 (n-1) + A08 - A1 (n-1) und A04 - A0 (n-1) + A09 - A1(n-1) ) unter den Adressen 0 bis 4 des Austastbereiches im Halbbildspeicher 8 wird unter den Adressen 0 bis 4 im Restspeicher 34 mit einer Speicherkapazität von 5 (=Q) Worten geschrieben (umgespeichert).
[3-2] Pixeldaten A50 im Suchbereich W2 (k=2) werden eingegeben, während Pixeldaten A2(n-1) am Repräsentativ- Punkt P2 (k=2) aus dem Repräsentativ-Punktspeicher 2 ausgelesen werden. Dann berechnet die Subtraktionseinrichtung 31 und eine Absolutwertschaltung 32 einen dritten Teilterm des Restes (-2, -2), d.h. einen Absolut-Differenzwert A50 - A2 (n-1) . Der Addierer 33 liest das Zwischenresultat ( A00 - A0(n-1) + A05 - A1(n-1) des Restes S (-2, -2), das unter der Adresse 0 im Restspeicher 34 gespeichert ist, aus und addiert den dritten Teilterm A50 - A2(n-1) dazu. Das Ergebnis dieser Addition ( A00 - A0(n-1) + A05 - A1(n-1) + A50 - A2(n-1) ) wird unter der Adresse 0 im Restspeicher 34 gespeichert.
Bezüglich jeder der Pixeldaten A51, A52, A53 und A54 des Suchbereiches W2, die aufeinanderfolgend eingegeben werden, werden dritte Teilterme ( A51 - A2(n-1) , A52 - A2 (n-1) , ( A53 - A2 (n-1) und A54 - A2 (n-1) ) der Reste S (-1, -2) (0, -2), S (1, -2) und S (2, -2) ähnlich wie oben berechnet und es werden zu solchen dritten Teiltermen die Zwischenresultate ( A01 - A0(n-1) + A06 - A1(n-1) , A02 - A0(n-1) + A07 - A1(n-1) , A03 - A0(n-1) + A08 - A1(n- 1) und A04 - A0(n-1) + A09 - A1(n-1) ) der Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2), die unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 gespeichert sind, addiert. Die Ergebnisse solcher Additionen ( A01 - A0(n-1) + A06 - A1(n-1) + A51 - A2(n-1) , A02 - A0(n-1) + A07 - A1(n-1) + A52 - A2(n-1) , A03 - A0(n-1) + A08 - A1(n- 1) + A53 - A2(n-1) und A04 - A0(n-1) + A09 - A1(n-1) + A54 - A2(n-1) ) werden aufeinanderfolgend unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 gespeichert.
[3-3] Pixeldaten A55 des Suchbereiches W3 (k=3) werden eingegeben, während Pixeldaten A3(n-1) am Repräsentativ- Punkt P3 (k=3) von dem Repräsentativ-Punktspeicher 2 ausgelesen werden. Dann berechnet die Subtraktionseinrichtung 31 und die Absolutwertschaltung 32 einen vierten Teilterm des Restes (-2, -2), d.h. einen Absolut-Differenzwert A55 - A3 (n-1) . Der Addierer 33 liest das Zwischenresultat (= A00 - A0(n-1) + A05 - A1(n-1) + A50 - A2(n-1) ) aus dem unter der Adresse 0 im Restspeicher 34 gespeicherten Rest S (-2, -2) aus und addiert den vierten Teilterm A55 - A3(n-1) dazu. Das Ergebnis dieser Addition, d.h. der Rest S (-2, -2) (= A00 - A0(n-1) + A06 - A1(n- 1) + A50 - A2 (n-1) ) + A66 - A3 (n-1) ) wird unter der Adresse 0 im Restspeicher 34 gespeichert.
Bezüglich jeder der Pixeldaten A56, A57, A58 und A59 des Suchbereiches W3, die aufeinanderfolgend eingegeben werden, werden vierte Teilterme A56 - A3 (n-1) , A57 - A3 (n-1) , A58 - A3 (n-1) und A59 - A3 (n-1) der Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2) ähnlich wie oben berechnet und es werden zu diesen vierten Teiltermen die Zwischenergebnisse ( A01 - A0(n-1) + A06 - A1(n-1) + A51 - A2 (n-1) , A02 - A0 (n-1) + A07 - A1(n-1) + A52 - A2(n- 1) , A03 - A0(n-1) + A08 - A1(n-1) + A53 - A2(n-1) und A04 - A0(n-1) + A09 - A1(n-1) + A54 - A2(n-1) ) der Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2), die unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 gespeichert sind, addiert. Und die Ergebnisse dieser Additionen, d.h. die Reste S (-1, -2), S (0, -2), S (1, -2) und S (2, -2) werden aufeinanderfolgend unter den Adressen 1, 2, 3 und 4 im Restspeicher 34 gespeichert.
[3-4] Während des Horizontal-Rückführungsintervalles von der Eingabe der Pixeldaten A59 zur Eingabe der Pixeldaten A60 wird der gesamte Inhalt des Restspeichers 34, d.h. der unter den Adressen 0 bis 4 gespeicherte Inhalt zu den Adressen bis 4 des Austastbereiches des Halbbildspeichers 8 über den Datenbus BU überschrieben (shunted). Daher werden die Reste S (1, -2), d.h. S (-2, -2), S (-1, -2), S (0, -2), S (1, -2) und S (2, -2) in dieser Reihenfolge unter den Adressen 0 bis 4 des Austastbereiches im Halbbildspeicher 8 gespeichert.
[4] Während jeder der sechsten bis achten Horizontal-Abtastperioden (i = 6 bis 8) wird das gleiche wie oben unter [3] beschriebene Verfahren ausgeführt und die Reste S (1, -1), S (1, 0) und S (1, 1) werden aufeinanderfolgend unter den Adressen 5 bis i9 des Austastbereiches im Halbbildspeicher 8 gespeichert.
Anschließend werden während der neunten Horizontal- Abtastperiode (i = 0) die Reste S (1, 2) ähnlich wie oben berechnet und unter den jeweiligen Adressen 0 bis 4 im Restspeicher 34 gespeichert.
[5] Nach Eingabe der letzten Pixeldaten A99 des n-ten Halbbildes erfaßt eine Minimum-Restberechnungseinrichtung 39 den minimalen Rest S (ll, ml) von den 20 Resten S (l, m) (wobei 1 = -2 bis 2, und m = -2 bis 1), die unter den Adressen 0 bis 19 des Austastbereiches im Halbbildspeicher 8 gespeichert sind und ebenso aus den 5 Resten S (1, 2), die im Halbbildspeicher 34 gespeichert sind. Und ein Vektor (ll, ml) relativ zu einem solchen minimalen Rest wird an die Steuerung 7 als Bewegungsvektor V(n) des n-ten Halbbildes bezüglich des (n-1)-ten Halbbildes ausgegeben.
[6] Aus den Repräsentativ-Punktdaten Ak(n-1), die im Repräsentativ-Punktspeicher 2 gespeichert sind, werden die schon zur Berechnung des Restes verwendeten und unnötig gewordenen Daten nacheinander durch die Repräsentativ- Punktdaten Ak(n) (d.h. A0(n) = A22(n), A1(n) = A27(n), A2(n) = A72(n) und A3(n) = A77(n)), die in den Eingabe-Pixeldaten Aij(n) enthalten sind, ersetzt, wobei die gespeicherten Daten aktualisiert werden.
[7] Die Pixeldaten Aij(n-1) des (n-1)-ten Halbbildes werden von dem Halbbildspeicher 8 an den Interpolator 9 über den Datenbus BU infolge der Leseadresse ADR(n-1) ausgegeben und gleichzeitig werden die Pixeldaten Aij(n-1) des n-ten Halbbildes, die aufeinanderfolgend eingegeben sind, über die Pixeldaten Aij (n-1), die schon ausgegeben wurden und unnötig geworden sind, überschrieben.
[8] Der Interpolator 9 interpoliert die Pixeldaten Aij(n-1), die von dem Halbbildspeicher 8 empfangen werden, so, daß dieselben vergrößert werden, um den Budrahmen zu füllen, wodurch ein Ausgabesignal 10 des (n-1)-ten Halbbildes erzeugt wird.
Die oben beschriebenen Verfahrensschritte [1] bis [8] werden bezüglich der folgenden Halbbilder, d.h. des (n+1)-ten Halbbildes, des (n+2)-ten Halbbildes usw. wiederholt ausgeführt. Wenn daher die vorliegende Erfindung auf eine Wobbel-Korrektureinrichtung für eine Videokamera oder dergleichen angewandt wird, wird die Real-Time-Wobbel- Korrektur für jedes Zwischenbildschütteln unter der verbesserten Bedingung ermöglicht, daß die Speicherkapazität des Restspeichers von den herkömmlichen Q x R Worten auf Q Worte, d.h. auf 1/R verringerbar ist. Wenn ferner die vorliegende Erfindung auf einen Dynamikbereich-Komprimierer zur Verwendung bei einer Bildübertragung verwendet wird, wird eine Real-Time-Bilddaten-Komprimierung mit einer Verringerung der Restspeicherkapazität auf die gleiche Weise wie oben ermöglicht.
Fig. 4 ist ein Diagramm zur Erläuterung der Funktionsweise des Bewegungsvektor-Detektors 3. Da diese schematisch das obige Verfahren tabelliert, wird eine wiederholte Beschreibung hier weggelassen.
Fig. 5 ist ein Biockdiagramm eines zweiten erfindungsgemäßen Ausführungsbeispieles, wobei die genannten ersten und zweiten Restspeicher 64, 65 (jeder eine Speicherkapazität von Q x R Worten aufweisend) des Bewegungsvektor-Detektors 6 im herkömmlichen Beispiel (Fig. 9) durch erste und zweite Restspeicher 44, 45 (jeder eine Speicherkapazität von Q Worten aufweisend) eines Bewegungsvektor-Detektors 4 ersetzt sind. In diesem Ausführungsbeispiel werden die Reste des ersten oder dritten Blockes oder deren Zwischenresultate im Restspeicher 44 und die Q Reste des zweiten oder vierten Blockes oder deren Zwischenresultate im Restspeicher 45 aus den Restspeichern 44 bzw. 45 während eines Horizontal- Rückführungsintervalles ausgelesen und über den Datenbus BU in den Austastbereich des Halbbildspeichers 8 überschrieben. Und die jeweiligen Zwischenresultate der während der nächsten Horizontai-Abtastperiode gebrauchten Q Reste werden aus dem Austastbereich des Halbbildspeichers 8 ausgelesen und über den Datenbus BU in die Restspeicher 44 und 45 geschrieben (umgespeichert).
Die Funktionsweise der ersten und zweiten Restspeicher 44, 45 mit einer verringerten Speicherkapazität von Q Worten ist die gleiche wie diejenige des Restspeichers 34, der bei dem (in Fig. 1 gezeigten) oben erwähnten Ausführungsbeispiel verwendet wird, und die Funktionsweise des Bewegungsvektor- Detektors 4 zur Erfassung des Bewegungsvektors in jedem Block eines gesamten Bildes ist die gleiche wie diejenige bei dem (in Fig. 9 gezeigten) herkömmlichen Beispiel, wie im Detail beschrieben wurde. Daher wird eine wiederholte Erläuterung bezüglich Fig. 5 hier weggelassen.
Bei dem vorangegangenen Ausführungsbeispiel wird ein Horizontal-Rückführungsintervall als Zeitperiode zum Überschreiben der Daten von dem Restspeicher in den Halbbildspeicher und auch zum Umspeichern der Daten von dem Halbbildspeicher in den Restspeicher verwendet. Jedoch kann eine solche Zeitperiode ebenso die genannte Dummy-Daten- Lieferzeit oder ein vertikales Rückführungsintervall sein. Es sei ferner erwähnt, daß, wenn ein Zwei-Eingänge- / Zwei- Ausgänge-Mehrkanalspeicher als Halbbildspeicher 8 bei dem erfindungsgemäßen Ausführungsbeispiel verwendet wird, der Vorgang des Überschreibens oder Umspeicherns der Daten ohne Beschränkung auf eine festgelegte Zeitperiode wie das Horizontal-Rückführungsintervall, die Dummy-Daten-Lieferperiode oder das Vertikal-Rückführungsintervall ausgeführt werden kann.
Das obige Ausführungsbeispiel repräsentiert einen beispielhaften Fall der Anwendung einer erfindungsgemäßen Bildinformations-Verarbeitungsvorrichtung auf eine Wobbel- Korrektureinrichtung für eine Videokamera oder dergleichen. Wenn die erfindungsgemäße Vorrichtung auf eine Dynamikbereich- Komprimierungseinrichtung zur Komprimierung der Datenmenge eines Dynamikbildes bei einer Bildübertragung oder dergleichen verwendet wird, wird eine Real-Time- Bilddaten-Komprimierung bei Verwendung eines Restspeichers mit kleiner Kapazität unter den Bedingungen möglich, daß der genannte Bewegungsvektor von dem gesamten Bild oder jedem der mehreren Blöcke von diesen geliefert wird und die Differenz zwischen den durch den Bewegungsvektor verschobenen Bilddaten relativ zu einem gesamten Bild oder eines Blockes davon berechnet wird.
Zusätzlich zu dem obigen Ausführungsbeispiel, wo 4 oder 16 Repräsentativ-Punkte in einer Quadratgitter-Anordnung gewählt sind, können die Punkte in einer Hexagonalgitter- Anordnung oder dergleichen gewählt werden, und die Anzahl solcher Punkte kann ebenso einen anderen Wert haben. Ferner kann bei der genannten Erfassung eines Bewegungsvektors eines beliebigen Halbbildes bezüglich des vorangegangenen (n-1)-ten Halbbildes die Differenz i zwischen den Halbbildnummern nicht auf 1 allein beschränkt sein und kann auch einen anderen Wert haben. In dem Fall, daß das Eingangssignal aus Digitaldaten besteht und die Koordinaten der Repräsentativ-Punkte durch Dezimaibrüche gegeben sind, sind entsprechende Pixel nicht existent, aber Repräsentativ- Punktdaten können durch die bekannte Technik mittels Interpolation basierend auf benachbarten Pixeln erhalten werden.
Erfindungsgemäß werden wie oben beschrieben Reste oder deren Zwischenresultate bezüglich der Bilddaten der vorangegangenen Horizontal-Abtastperiode von dem Restspeicher in einen Austastbereich des Halbbildspeichers unter Verwendung einer festgelegten Zeitperiode wie das Horizontal-Rückführungsintervall überschrieben, wobei die Speicherkapazität des Restspeichers von herkömmlich Q x R Worten auf Q Worte verringert werden kann.
Daher kann die Anzahl von Repräsentativ-Punkten oder die von Blöcken, die bisher aufgrund von Beschränkungen der Schaltungsausmaße beschränkt war, ohne einen Nachteil der Vergrößerung der Schaltungsausmaße stark erhöht werden, wodurch eine genauere Erfassung des Bewegungsvektors realisiert wird. Wenn daher die erfindungsgemäße Bildinformations-Verarbeitungsvorrichtung auf eine Wobbel- Korrektureinrichtung für eine Videokamera oder dergleichen angewandt wird, kann eine exakte Wobbel-Korrektur mit Sicherheit erzielt werden. Wenn die erfindungsgemäße Vorrichtung auf eine Dynamikbereich- Komprimierungseinrichtung, die für Bildübertragung verwendet wird, angewandt wird, ist eine verbesserte Effizienz bei der Ausführung des Real-Time-Verfahrens der Datenmengen- Komprimierung möglich.

Claims

1. Biidinformations-Verarbeitungsvorrichtung aufweisend:

eine Einrichtung (39) zur Erfassung des Bewegungsvektors eines Bildes im derzeitigen Halbbild verglichen mit demjenigen im vorangegangenen Halbbild;

eine Verarbeitungsschaltung (7, 9) zur Verarbeitung des Bildes des in einem Halbbildspeicher (8) gespeicherten gegenwärtigen Halbbildes auf Basis des Bewegungsvektors; und

einen Restspeicher (34) zur Speicherung von Restinformation zur Verwendung bei der Berechnung des Bewegungsvektors;

dadurch gekennzeichnet, daß der Restspeicher (34) ausgebildet ist, die während der Zeitdauer der Eingabe der Bilddaten einer Horizontalabtastzeile berechnete Restinformation zu speichern;

und dadurch, daß eine Einrichtung vorgesehen ist, die in dem Restspeicher (34) gespeicherte Restinformation in einen Leerbereich des Halbbildspeichers (8) während eines festgelegten Intervalles nach der Zeitdauer, währenddessen die Bilddaten eingegeben werden, zu überschreiben.

2. Bildinformations-Verarbeitungsvorrichtung gemäß Anspruch 1, wobei der Halbbildspeicher (34) aus einem Mehrkanalspeicher besteht.

3. Vorrichtung gemäß Anspruch 1 oder 2, wobei die Restinformation ein Zwischenergebnis des Restes ist.

4. Vorrichtung gemäß Anspruch 1, 2 oder 3, wobei die Verarbeitungsschaltung (7, 9) eine Wobble-Korrelctur ausführt, um das Schütteln des Bildes zwischen Halbbildern zu korrigieren.

5. Vorrichtung gemäß Anspruch 1, 2, 3 oder 4, wobei die Verarbeitungsschaltung (7, 9) die Datenmenge des dynamischen Bildes komprimiert.

6. Vorrichtung gemäß einem der Ansprüche 1 bis 5, wobei die Information des gesamten Bildes verarbeitet wird, nachdem es in mehrere Blöcke aufgeteilt wurde.

7. Verfahren zur Verarbeitung von Bildinformation aufweisend:

Erfassung des Bewegungsvektors eines Bildes in dem derzeitigen Halbbild verglichen mit demjenigen des vorangegangenen Halbbildes;

Verarbeitung des Bildes des in einem Halbbildspeicher (8) gespeicherten derzeitigen Halbbildes aufbasis des Bewegungsvektors; und

Speicherung von Restinformation zur Verwendung bei der Berechnung des Bewegungsvektors in einem Restspeicher (34);

gekennzeichnet durch die Speicherung von Restinformation in dem Restspeicher (34), die während der Zeitdauer berechnet wurde, in der die Bilddaten einer Horizontalabtastzeile eingegeben werden;

und durch Überschreiben der gespeicherten Restinformation in den Leerbereich eines Halbbildspeichers (8) während eines festgelegten Intervalles nach der Zeitdauer, in der die Bilddaten eingegeben werden.