DE2062922B2

DE2062922B2 - Voraussage- video- codierung unter verwendung der gemessenen objektgeschwindigkeit

Info

Publication number: DE2062922B2
Application number: DE19702062922
Authority: DE
Inventors: Barin Geoffry; Limb John Ormond; New Shrewsbury N.J. Haskeil (V.St.A.)
Original assignee: Western Electric Co Inc
Current assignee: AT&T Corp
Priority date: 1969-12-23
Filing date: 1970-12-21
Publication date: 1972-04-13
Also published as: FR2072025A1; DE2062922A1; BE760627A; GB1329146A; JPS494564B1; SE357122B; FR2072025B1; US3632865A

Description

Hemeh.es im vorausgesagten augenblicklichen Bild liegt. Dadurch ergibt sich ein Abbild des Ohjeklhereiches 12 aus dem vergangenen Bild als Bereich 12' innerhalb der Grenzlinie 17 im vorausgesagten augenblicklichen Bild, und zwar geometrisch nach oben und noch rechts verschoben.

Das \crschohene Abbild enthält als Teil des Bewegimgshereiches di-* Ahsehnitte 14' und 15'. die Verlagerungen von Elementen im vergangenen Bild innerhalb der Abschnitte 14 bzw. 15 darstellen, obwohl die Abschnitte 14 und 15 nicht Teil des Bewegungsbereiches sind. Es findet natürlich keine Verlagerung in den Abschnitt 16 statt, da dieser aus dem Bewegungsbereich ausgeschlossen ist. Der freigelegte Hintergrundbereich ■wird mit Elementwerten au·; dem Hintergrundbereich 11 gefüllt, die seihst nicht innerhalb des Bewegungsbereiches liegen. Es ist natürlich nicht möglich, die Helligkeit in diesem freigelegten Bereich auf der Grundlage des vergangenen Bildes vorauszusagen. Außerdem gibt eine Voraussage auf der Grundlage der Verlagerung allein das Objekt im Fall einer Rotation oder Formänderung nicht genau wieder, beispielsweise bei Lippenbewegungen oder Augenzwinkern. Eine Vorhersage eines Objekts unter Verwendung der Verlagerung allein wird daher in gewissem Umfang von dem wirklichen Bild abweichen, so daß mit Hilfe üblicher Verfahren, beispielsweise einer differentiellen Codierung, dieser Fehler korrigiert werden muß. In Fig. 1 ist zwar zur Erläuterung eine große Verlagerung gezeigt ■worden, aber für Personen tritt, falls überhaupt, innerhalb des kurzen Zeitintervalls zwischen zwei Bildern eine größere Bewegung nur selten auf. Daher wird der Fehler zwischen der wirklichen und der vorhergesagten Intensität im Bewegungsbereich im allgemeinen klein sein.

Eine Vorhersage-Codierung unter Auswertung der Bewegungsgesrhwindigkeit eines Objekts entsprechend F i g. 1 umfaßt eine Folge von Verfahrensschritten: (1) Die Helligkeit jedes Bildelementes des augenblicklichen Bildes wird mit der Helligkeit des entsprechenden Punktes im vorhergehenden Bild verglichen: jede Stelle im augenblicklichen Bild, die gegenüber dem vorhergehenden Bild eine wesentliche Helligkeitsänderung zeigt, wird als Teil des Bewegungsbereiches bezeichnet, der aus vielen, nicht benachbarten Bereichen bestehen kann: (2) die durchschnittliche Verlagerung des Bewegungsbcrcichcs wird bestimmt, indem die durchschnittliche Korrelation zwischen der Helligkeit von Elementen dss Bewegungsbereiches mit der Helligkeit von Bildelementen für verschiedene feste Verlagerungen im vorhergehenden Bild gesucht wird: diejenige Verlagerung, die dem Maximum dieser durchschnittlichen Korrelationen entspricht, wird dann als die wahrscheinlichste durchschnittliche Verlagerung gewählt: (3) es wird ein vorausgesagtes augenblickliches Bild durch Duplizicrung des vergangenen Bildes mit der Ausnahme erzeugt, daß ein Bildelemcnt im Bewcgungsbercich durch ein um die durchschnittliche Verlagerung verschobenes Element im vergangenen Bild ersetzt wird: (4) die Helligkeiten der Bildelcmente im vorausgesagten augenblicklichen Bild und im tatsächlichen augenblicklichen Bild werden zur Erzeugung einer Diffcrenzangahc ^rür jedes Element im Bewegungsbereich verglichen. Die gemessene Bewegungsgcschwindigkcit und Differenzinformationen werden zusammen mit einer Adressierung zur Bezeichnung des Bewegungsbercichcs verglichen, und der Empfänger erzeugt dann das vorausgesagte Bild aus der Geschwindigkeit*- und Adresseninformatiun. indem er den Bewegungsbceich verlagert und dann das Bild entsprechend der DifTerenzinfnrmation auf den neuesten Stand bringt.

Die folgende, genauere Erläuterung eines speziellen Verfahrens und spezieller Einrichtungen zur Messung der durchschnittlichen Geschwindigkeit oder Verlagerung zwischen zwei Bildern und zur Erzeugung eines vorausgesagten Bildes auf der Grundlage der Geschwindigkeit soll die erfindungsgemäßen Operationen verdeutlichen.

F i g. 2 zeigt Abschnitte von zwei aufeinanderfolgenden Bildern, nämlich des augenblicklichen Bildes F₁, und des unmittelbar vorhergehenden Bildes F_n ,. Jedes Bild besteht aus /V Bildelementen (von denen einige in Austastlücken liegen können), die beispielsweise in üblichen vertikalen Spalten und horizontalen Zeilen angeordnet sind. Eine Stelle oder ein Bildelement im augenblicklichen Bild F₁, ist mit X ''nd die identische Stelle im vorhergehenden Bild />-, mit Y bezeichnet. Bei diesem Beispiel tastet eine Fernsehkamera die Elemente Λ' im augenblicklichen Bild sequentiell von links nach rechts ab. Zur vollständigen Abtastung jedes aufeinanderfolgenden Bildes werden N Abtast-Intervalle benötigt, so daß Y um /V Intervalle vor -V abgetastet wird. Wenn daher das Kamera-Ausgangssignal um 1 Bild oder N Intervalle verzögert wird, so stellt das verzögerte Ausgangssignai Y im Bild F,,-, dar. während das gleichzeitig erzeugte Kamera-Aus-

j° gangssignal X im Bild F_p angibt. Verzögerungen um mehr oder weniger als ein Bild bewirken eine Verlagerung des verzögerten Elementes eines vorhergehenden Bildes von der geometrischen Stelle des augenblicklichen Elementes. Eine bestimmte Verzögerung entspricht einer bestimmten Verlagerung. Beispielsweise liefert eine Verzögerung, die um zwei Intervalle kleiner als ein Bild ist. das Element Y - 2 gleichzeitig mit X.

Man erkennt, daß an gewissen Positionen von .V im

Bild Fp eine bestimmte Verzögerung einer Verlagerung entspricht, die zu einer Stelle außerhalb des sichtbaren Bereiches des Bildes F_n , führt. Wenn beispielsweise λ' am äußersten rechten Rand einer Abtastzeile (Quadranten I oder II in F i g. 2) liegt, so bringt eine Verzögerung von weniger als einem Bild (entsprechend einer Verlagerung nach rechts) den verzögerten Punkt, mit dem Λ' zu korrelieren ist. in die horizontale Austastlückc oder, wenn er zeitlich außerhalb dieser Lücke liegt, an das linke Ende der nachfolgenden Zeile. Diese unvollständige Entsprechung zwischen der Verzögerung und der Verlagerung tritt auch am Ende eines Bildes auf. da der verlagerte Punkt in die vertikale Austastliickc oder möglicherweise in ein anderes Bild fallen kann.

Der durch die unrichtige Lage des \erzögertcn Punktes erzeugte Fehler ist im allgemeinen tragbar, insbesondere dai.n. wenn nur einige wenige gewählte Verlagerungen von der augenblicklichen Stelle von .V in Beziehung gesetzt werden. Im Interesse der Vollständigkeit kann jedoch entsprechend der folgenden

Erläuterung an Hand von F i g. 4 ein Abschaltvcrfahrcn benutzt werden, um die Korrelation 7.11 verhindern, wenn das vctv.ögeite Bildelcment der vorgegebenen geometrischen Verlagerung nicht entspricht.
F i g. 3 zeigt ein Blockschaltbild eines Codiersystems, das eine Voraussage auf der Grundlage der Bilder F_n , und /",, gcmä'i I i g. 2 mach!. Der Helligkeitswcrt jedes Bildelcmcnies .V im Bild /·',, wird nacheinander von einer Kamci : (nicht gezeigt) an eine Ver-

Hildes stellt Hlement für Element eine Dupli/.ierung des vorhergehenden Bildes mit Ausnahme der EIemciUe in dem Bewegungsbereich dar. die durch eine Verlagerung \on I 'lementen des vorhergehenden Rasters entsprechend der festgestellten Geschwindigkeit gewonnen werden, Es wird eine übliche differentielle Codierung zur übertragung des Unterschiedes /as i se her» dem Bewegungsbereich des vorausgesagten augenblicklichen Bildes und dem des tatsächlichen augenblicklichen Bildes benutzt. In jedem Raster besteht die übertragene Information nur aus einer einzigen Geschwindigkeitsangabe, der Adresseninformation für den Bewegimgshereich und den differentiellen Amplituden.

Nachfolgend wird die Erfindung an Hand der Zeichnungen näher beschrieben. Es zeigt

K i g. 1 ein vergangenes, augenblickliches und vorausgesagtes augenblickliches Bild nach der Erfindung.

F i g. 2 ein Diagramm für die Elemente von Abschnitten ZAveier aufeinanderfolgender Bilder.

F i g. 3 ein Blockschaltbild eines Voraussage-Codierers nach der Erfindung.

F i g. 4 eine Abwandlung eines Teiles der F i g. 3 mit einem zusätzlichen Abschaltmerkmal.

F i g. 5 ein Blockschaltbild eines Decodierers nach der Erfindung.

F i g. 1 verdeutlicht eine Szene, die in einem vorhergehenden und einem augenblicklichen Bild sowie einem vorausgesagten augenblicklichen Bild dargestellt ist. Die Szene besteht aus einem sich nicht bewegenden Hintergrundbereich 11. der beispielsweise das Bild von Vorhängen. Bücherregalen usw. enthalten kann, welche durch die Fläche 13 dargestellt sind, und einem sich bewegenden Objektbereich 12. der bei diesem Beispiel geometrisch nicht definiert ist. Es kann sich dabei um das Bild einer Person handeln. Die Bereiche 11 (einschließlich 13) und 12 stellen nur bestimmte Bereichstypen dar und können jeweils Bildelemente unterschiedlicher Helligkeit innerhalb ihrer Grenzen enthalten.

In dem vorhergehenden (vergangenen) Bild nimmt der Objektbereich 12 die durch die Grenzlinie 12o definierte Lage ein. Das augenblickliche Bild stellt einen Zustand dar. in welchem sich der Objektbereich 12 in eine durch die Grenzlinie Ub definierte Lage etwas rechts von der Lage im vergangenen Bild bewegt hat. Die gestrichelte Grenzlinie 12a zeigt die Lage des Objektbereiches 12 im vergangenen Bild.

Der Bewegungsbereich im augenblicklichen Bild ist entsprechend der oben angegebenen Definition aus denjenigen Bildelementen zusammengesetzt, deren Helligkeit sich gegenüber dem vorhergehenden Bild wesentlich geändert hat. Im augenblicklichen Bild gemäß F i g. 1 liegt dieser Bewegungsbereich innerhalb der strichpunktierten Linie 17. da angenommen worden ist. daß für den Hintergrundbereich 11 keine Helligkeitsänderungen (durch Bewegungen oder auf andere Weise) zwischen den Bildern aufgetreten sind. Innerhalb der Grenzlinie 17 stellt der nur innerhalb der Grenzlinie 12a liegende Bereich den Hintergrund dar. der durch die Bewegung des Objekts nach rechts freigelegt worden ist. -während der allein innerhalb der Grenzlinie 12b liegende Bereich denjenigen Bereich des Objekts angibt, der vorher frei liegende Teile des Hintergrunds abdeckt.

Der Bereich innerhalb der Grenzlinie 17 weist außerden einen Überlappungsbereich auf. der sowohl durch die Grenzlinie 126 (augenblickliche Lage des Objekts

12) als auch die Grenzlinie \2a (vergangene Lage des Objekts 12) definiert wird. Der Abschnitt 15 wird als ein Teil des überlappenden Bereichs angenommen, der Bildelemente enthält, welche zufällig in beiden Bildern identisch sind. Da keine Helligkeitsänderung aufgetreten ist. stellt der Abschnitt 15 nicht einen Teil des Bewegungsbereiches dar.

Es können weitere Bereiche innerhalb der Grenzlinie 17 aus dem Bewegungsbereich ausgeschlossen

ίο werden. Beispielsweise bedeuten die Abschnitte 14 und 16 Bereiche, in welchen der Helligkeitswert von Elementen koin/ident im vergangenen und im augenblicklichen Bild identisch ist. Der Abschnitt 14 stellt einen Teil des Ohjektbereieh.es 12 im vergangenen Bild dar.

is dessen Helligkeit der Helligkeit des frei gewordenen Hintergrundes im augenblicklichen Raster entspricht. Der Abschnitt 16 ist ein Teil des Objektbereiches 12 im augenblicklichen Raster, der gleichzeitig dem vorher freien Hintergrund entspricht. Wenn das Objekt 12 eine Person ist. können die Abschnitte 14 und 16 beispielsweise Teile des Kragens darstellen, dessen Helligkeit der des Hintergrundes entspricht, und der Abschnitt 15 kann aus zwei Teilen der Kleidung mit identischer Helligkeit bestehen. Die Abschnitte 14. 15 und

as 16. die im orhergehenden und im vorhergesagten augenblicklichen Bild identisch sind, stellen lediglich Beispiele für solche Umstände dar. die dazu führen, daß Teile innerhalb der Verlagerungsgrenze 17 vom Beweguiigsbereich ausgeschlossen werden. In der Darstellung sind zwar alle Elemente in diesen Abschnitten mit gleicher Helligkeit in beiden Bildern dargestellt, sie müssen aber nicht gleiche Helligkeit haben. Es sei außerdem darauf hingewiesen, daß der Bevvegungsbereich nicht notwendigerweise ein einziger geschlossener Bereich sein muß.

Erfindungsgemäß werden die Helligkeiten der einzelnen Bildelemente im augenblicklichen Bild Punkt für Punkt mit den entsprechenden Bildelementen im vorhergehenden Bild verglichen. Die einzigen BiIdelementvergleiche, die eine Helligkeitsänderung anzeigen, sind die durch den Bewegungsbereich im augenblicklichen Bild definierten Elemente. Alle anderen werden keine Änderung zeigen, so daß ihnen folglich der gleiche Helligkeitswert im vorhergesagten augenblicklichen Bild zugeordnet wird, den sie im vergangenen Bild hatten. Die Bildelemente im Bewegungsbereich des augenblicklichen Bildes werden dagegen entsprechend der folgenden Erläuterung derart analysiert, daß sich eine durchschnittliche Verlagerung ergibt, die die Bewegungsrichtung und -größe des durchschnittlichen Bildelementes im Bereich angibt.

Wenn sich beispielsweise das Objekt zwischen dem vorhergehenden und dem vorausgesagten Bild um einen durchschnittlichen Betrag von drei Hnhciien nach rechts und eine Einheit nach oben bewegt ha!, m· werden diese Informationen zur Erzeugung des vorausgesagten augenblicklichen Bildes nach I ι g. 1 benutzt in welchem die Helligkcitswerte aller Bildelemente ir den sich nicht bewegenden Bereichen, beispielsweise

^s° im Hintergrundsbereich 11 uiul in ilen Abschnitten 14 15 und 16. mit den Helligkeitswertcn im vorhergehen den Bild übereinstimmen und in welchem die Bild elemente im Bewegungsbereich (innerhalb der Grenz linie 17 ausschließlich der Abschnitte 14. 15 unc¹ 16) j< einen Helligkeitswert erhalten, der gleich dem de Bildelementes im vergangenen Bild an einer Stelle ist die horizontal drei Einheiten links und vertikal ein Einheit unterhalb von der Stelle des entsprechende!

15

zögerungsleitung 31 geliefert, die vorher /iigefiihrlc Werte ans dem UiId /·',, , enthält. Wenn der Wert eines Bildclementes ,V im Bild /,, an den Eingang der Verzögerungsleitung 31 gegeben wird, erscheint der llclligkeitsuert der entsprechenden Stelle )' im Di 1 el F_n , an der Anza;'. ung 7_ft. die um ein HiId gegen den Hingang verzögert ist. Benachbarte Elemente im Bild /·",, , erscheinen gleichzeitig an Anzapfungen '/'., . . . T. κ. die je um ein einzelnes Abtastintcrvall voneinander gelrennt sind. Die Ausgangssignale Y 1 . . . }' K an den Anzapfungen 7'., . . . / -κ sind um weniger als cm feiIcI verzögert, und die Ausgangssignale >-! Y-K ■n den Anzapfungen 7" , ... T κ um mehr als ein Bild.

Der erste Schritt der obengenannten Verfahrensichritte erfordert eine Aufteilung der Szene in feste und »ich bewegende Bereiche entsprechend der obigen Definition. Dies wird mit Hilfe eines Schwellwert-Komparators 32 erreicht, der die Helligkeit eines betrachteten Elementes .V im augenblicklichen Bild f _p mit dem geometrisch entsprechenden Element Y im vergangenen BiIdAV, 1 vergleicht. Der Komparator 32 erzeugt ein binäres Ausgangssignal, dessen Wert nur dann Eins ist. wenn der Absolutwert der Heiligkeitsdifferenz !wischen Λ und Y einen vorgegebenen Schwellwert übersteigt, wodurch angezeigt wird, daß X ein Element im Bewciingsbereich des Bildes F_p ist. Das Eingangssignal X des augenblicklichen Bildes für den Komparator 32 wird direkt aus der Kamera gewonnen und M identisch mit dem F.mgangssignal der Verzögerungsleitung 31. Da-, Eingangssignal Y wird von der Anzapfung 7₀ eingeleitet, die entsprechend der obigen Erläuterung einer Verzögerung um ein Bild entspricht.

Gleichzeitig m;t dem Anlegen von .V und Y an den Komparator 32 wird X außerdem jedem '»on einer Anfahl "· >n Korrelatoren ',' κ his γ , und 7 1 bis 7 -κ zugeführt. Ein zweites Eingangssignal für jeden Korrelator wird von einer der Anzapfungen T y; bis T , und 7"-, bis T κ abgeleitet. Die zweiten Eingangssignale «■teilen Heiligkeitswerte von Elementen im Bild F_p ,

cnlsprecheiul der I larslelluiig das gesamte Bild oder lediglich eine kleine Anzahl von gewählten l'uiiklcn enthalten, die um Betrage verlagert sind, welche im Hinblick auf die erwartete licwegimgsgesehwindigkeil des Objektes geeignet erscheinen.

Wenn ,V kein Element des Hewe)',unnsbcrciehes des K aste rs /',, ist. dann werden die I lelligkeilswerte für .V und >' im wesentlichen gleich sein. Wenn daf'egeii eine Bewegung vom Betrachter aus gesehen nach links stattgefunden hat. dann sollte die I lellif'keil von .V etwn gleich eier Helligkeit irgendeines Punktes rechts von K. beispielsweise Y \. Y ■ 2, Y ' usw. im vorhergehenden Bild I _p , sein. Statistisch gesagt sollte V also eine hohe durchschnittliche Korrelation zu irgendeinem l'imkt rechts von Γ zeilen. Diese durchschnittliche K01 relation kann zur Bestimmung der durchschnittlichen Verlagerung benutzt werden, die der OhjeklbertTjh zwischen dem vergangenen Bild /,, , und dem augenblicklichen Bild I-_r gezeigt hat. Wenn beispielsweise der Vergleich zcij't, daß im Mittel die Punkte Y-') im Bild /„ , im hohen Maße korreliert sind mit den Punkten X im Bild /·,,, so entspricht ein guter Schätzwert für die Obicktgeschwindigkeit drei Bildclemcnten nach links und einem Bildelemcnt nach oben je Bildintervall.

Ein Ausgungssignal Eins des Komparalors 32 gibi an. daß die Helligkeit .on .V wesentlich von dci Helligkeit des cnt«prcc!"n.nden Punktes Y abweicht X wird daher als "Κ·Ί des Bewr.-gungsbcmchc. bezeichnet. Ein Ausgiir-^signal Null zeigt keine Änderung und folglich keine Bewegung an. Das Alizarins- -tigiidl des Kompariiors 32 wird als I ingiingssi>>rial ar alle L ND-f latter 33 angelegt, denen ic als zweite-Eingangssignal das Korrelationssignal von einem dei Korrelatoren 7 jr zugeführt wird, .'.ohei / I

k ist. Die Gatte!" 33 lassen das Korrelationssi^na v..n dem zugeordneten Korrelator durch oder s pe rrer es. .'.enn das Au'gangssignal des Komparator-. 3i Null bzw. Eins ist. Auf diese Weise v.ird die Korrc iation .on Punkten außerhalb de=

liar, deren Position um eine feste Verlagerung von der reiches nicht beachtet, während die Korrelation

Lass ■·■ π .V (oder >') abweicht. -.0 daß jeder Korrelator t:ner bestimmten Geschwindigkeit ;der einem bc-♦ iirr.rnten VerJaserunirv-ektor zugeordnet ist. Beii—eU-A-ei-e erhält der korrelator ν _; '!en Wert Y ': gieichzeitia m;t .V. Entsprechend F 1 .2. 2 entspricht C;es einem Ge-xhwindigkeitsvektor '.on einer E.mheit Punkten innerhalb de-. Beweg^ngVoerei'.he-, zu Ί':ι Vorhersageschaltung weitergeführt ·'.irrl

Die durchgelassenen Ausgang-.-.ign;ile der K'-rre iatorer'.'t wurden üHer den BeAcgMr.2,K':r':!'.fi <\<:r} eine einfache Summierung gemiftelv her.piel ,·<-<:ι■.· durch eine iniegrition rr.it Hilfe irk-nti /-her I ntc Eratoren h. wi-ibei ί' · i . l· is*. fJie G^t'er X.

■■■':■: ■-:- 42 -

•sgrsv.T J,.

t-r..·/· ■ '-■■■'■-■ ·''

wacht die Video-Kurvenfoi m von .V bei Abtastung des Hildes/·";,. Hier ist nur ein einziger Generator 46 erforderlich, da der gleiche Punkt .V allen Korrelatoren zugeführt wird. Die Generatoren 46 und 47/- erzeugen auf übliche Weise horizontale und vertikale Auslastimpulse//,, und ! ,, sowie //,, , und I₁, , aus dem vorhergehenden bzw augenblicklichen Bild. Beispielsweise sei angenommen, daß die Generatoren 46 und 47;.· ein Alisgangssignal ^Λ1« erzeugen, wenn die Video-Kurvenform einer Stelle innerhalb des sichtbaren Teiles des Bildes entspricht, und ein Ausgangssignal "On. wenn die Kurvcnform einer Stelle in einer Austastlüeke entspricht. !Die Hori/ontal-Ausgangstsignalc //,, und //,, , werden an einen Horizontal-Flipflop 44a und die Vertikal-Ausgangssignale V_n Und I ,ι ι an einen entsprechenden Vertikal-Flipflop 45/· angelegt. Die Flipflops 44 und 45*· erzeugen im eingeschalteten Zustand ein Ausgangssignal "I" lind im ausgeschalteten Zustand ein Ausgangssignal *Q< >. Γίη Übergang von »1" auf »0« am AUS-Eingang schaltet den HipHop aus. und ein Obergang von »0« auf >·1<· am FIN-Eingang schaltet den Flipflop ein.

Das Gatter 33 in F i g. 3 ist durch ein Gatter 48/-ersetzt, das von Null abweichende Signale an jedem Keiner Fingänge .·). B und C benötigt, um den Intefiratoren die am Hingang D erscheinende Korrelationsnformation zuzufügen. Die Ausgänge der Flipflops44/. Und 45* sind mit den Eingängen B und C verbunden. 11 ml der Ausgang des Schwell wert-Komparator* 32 liegt am Eingang A. Fin »U-Signal am Hingang I gibt den Bewegiingsbereich an. während ein >0«-Signal Um Eingang A wie bei den Gattern 33 das Gatter 48/· abschaltet. Für einen Punkt .V im Bcwegungsbercich Wird also eine Korrelationsinformation nur dann durchgelassen, wenn beide Flipflops 44/ und 45ι· eingeschaltet sind.

Jeder Korrelator vergleicht um eine bestimmte Heil verzögerte Punkte, die einer bestimmten Verlagerung entspricht. Die \'er!^!>gerungsarten lassen »ich in vier Gruppen ordnen, die die vier Quadranten darstellen, die entsprechend F i g. 2 um den Ort von Y im Bild F₁, , herum angeordnet sind. Zu den Korrelatoren im Quadranten I zählen diejenigen, die den Punkt V mit Elementen korrelieren, die direk nach rechts, direkt nach unten und sowohl nael rechts als auch nach unten mit Bezug auf die Stelle ', bezogen sind. Die Korrelatoren des Quadranten I vergleichen .V mit Elementen, die direkt oberhalb um sowohl rechts als auch oberhalb von Y liegen. Oi Korrelatoren des Quadranten III vergleichen A mi Elementen, die sowohl links als auch oberhalb voi >' liegen. Die Korrelatoren des Quadranten IV ver

ίο gleichen .V mit Punkten direkt links und sowohl link als auch .,nterhalb von Y.

Im Verlauf der Abtastung bewegen sich die Qua dranten über das Bild. Für jeden Quadranten ode jede Verlageriingsart sind unterschiedliche Abschal tiingen erforderlich. Diese werden durch unterschied liehe Verbindungen der Ausgänge der Generatoren 4( und 47/· mit den Eingängen der Flipflops 44/ und 45, verwirklicht. Beispielsweise wird für den Quadranten die Korrelation von demjenigen Zeitpunkt, zu den }' k den sichtbaren Teil des Bildes verläßt und i; die horizontale oder vertikale Austastlücke eintritt bis zu demjenigen Zeitpunkt gesperrt, zu dem \ die Austastliicke in der nächsten Zeile oder im nach sten Bild verläßt. Der Horizontal-Flipflop 44/· mn f.

daher ausgeschaltet werden, wenn K ·■ k in die hori zontale Austastliicke eintritt, und darf nur dann wie der eingeschaltet werden, wenn ,V die horizontale Austastliicke verläßt. Für die Korrelatoren in diesen-Quadranten sind der Yk entsprechende horizontalt:

Austastimpuls //_;, , mit dem ALS-Eingang des Hori zontal-Flipflops 44/- und der .V entsprechende hori zontale Ausgangsimpuls //_;, mit dem EIN-Eingan< des Horizontal-Flipflops 44/· verbunden. Entsprechenc muß für den Quadranten I der Vertikal-Flipflop 45;

3.S ausgeschaltet werden, wenn Y — k in die Vertikal Austastlücke eintritt, und darf nur eingeschaltet wer den. wenn .V die Vertikal-Austastlücke verläßt. Dabei sind der Vertikal-Austastimpuls V₁, , an den ALS Eingang des Vertikal-Flipflops 45/· und der Vertikal Austastimpuls V_p an den EIN-Eingang des Vertikal Flipflops 45/- angelegt. Wenn daher entweder dei Flipflop 44/· oder 45;- ausgeschaltet ist. so ist da-Gatter 48/· abgeschaltet.

k in
Quadrant

Gatter 4S₁ abgeschaltet, wenn Verbindung

III

Iv

>' Ä· tritt ein in Horizontal-Austast-

lücke //; i bi-

.V verläßt Horizontal-Au>tastliicke //,·, )" - k tritt ein in Vertikal-Austast-

liicke I ;-. , Hi^
Λ" verläßt Vertikal-Au>tastlücke V₁

Y - k tritt ein in Horizontal-Austastlücke //.,-, j bis

.V verläßt Horizontal-Austastliicke H₁, X tritt ein in Venikal-Austastlücke I',, bis )' -■ k verläßt Vertikal-Austastlücke Γ;-.-,

X f.'itt ein in Horizontal-Austastlücke H-, bis )' — k verläßt Horizontal-Austastlücke W„-i .Y tritt ein in \'ertika!-Austa>tlücke ^!'_P bis

Y — k verläßt Vertikal-Austastlücke [",,_,

X tritt ein in Vertikal-Austastlücke H_r. bis

Y — A' verläßt Horizontal-Austastlücke H₁-^₁

Y k tritt ein in Yertikal-Austastlücke I ■;-.-,

X verläßt \'ertikaI-Austastlücke V-,, mit AL'S-tingang von F F 44/-

mit EIN-Eingang von F F 44;· mit ALS-Eingang von F F 45;

mit EIN-Ei lgang ν (in F F 45.; mit AL S-Einsan? von F F 44;-

mit EiN-mit AUS
mit EIN-

mit AUS
mit EIN-mit AUS
mit EIN-

mit AUS
mit EIN-mit AUS

Eingang von
-Eingang F F
Eingang von

Eingang ν on
Eingang von

Eingang von
Eingang von

Eingang von
Eingang von
-Eingang von

F F 44;.

45.· F F 45;.-

F F 44; F F 44;. F F 45; F F 45,-

F F 44j-F F 44a-

F F 45/·

mit EIN-Einsans von F Γ 45»-

Die vorstehende Tabelle definiert die Bedingungen, unter denen das C iatter 4Si₁ abgeschaltet sein muß. mn einen Durcha.ing unrichtiger Korrelationsdaten vom Korrelator <> .«■ n\ \ermeiden. Außerdem /eigt die Tabelle die zugehörigen Verbindungen der Generatoren 46 und 47/, mit den Fliptlops (F [·") 44/ und 45»· für jeden Quadranten.

L'nabhängig davon, ob die in l·" i g. 4 dargestellte Abschaltniöglichkeit henul/t wird, geben ti ie an den Integratoratisgüngen erscheinenden durchschnittlichen in Korrelationen für jede \on 2 K Verlagerungen den Cirail der Korrelation an. Wie in I- i g. 3 gezeigt, «erden diese Ausgangssignale am !-linie jedes Bildes dem Wähler 34 zugeführt, der bestimmt, welche-Inlegiator-Ausgangssignal den grollten Wert hat. und folglich, welche durchschnittliche Verlagerung die wahrscheinlichste ist.

Das Ausgangssignal des Wahlers 34 ist das Signal A. »obei A I ...- λ' ist. Dieses Signal bezeichnet

den Integrator mit dem größten Ausgangssignal. Dieses Ausgangssignal A erfüllt daher den zweiten Verfahrensschritt, da es einem bestimmten durchschnittlichen Verlagerungsvektor entspricht, der durch die Verzögerung zwischen > und Y k definiert ist.

I ine geeignete Anordnung für den Wahler 34 kann ei υ Integrator-Ausgangssignal mit einem anderen v-Tgleichen und den größeren Wert zusammen mit einer Kennung des zugehörigen Integrators speichern. Die weiteren Integrator-Ausgangssignale werden dann

II !'heinander mit dem gespeicherten Wert \erglichen. bis alle Vergleiche durchgeführt sind. [Die Kennung desjenigen Integrators, dessen Wert am Ende der Suche gespeichert ist. wird an den Ausgang gegeben. Geeignete Schaltiingsanordnungen zur Verwirklichung dieses und anderer möglicher Verfahren linden sich beispielsweise in The Determination of the Time Position of Pulses jn the Presence of Noise« von

H. N. Mit\ashe\. \eroffentlicht von MacDonald. London. 1965. S. 1?S. und sind im übrigen für den Fachmann ohne weiteres zu übersehen.

Der Wahler 34 arbeitet nur während des vertikalen Austastintervalls. Wenn also die Anzahl der Integratoren nicht groß ist. steht genügend Zeit zur Durchführung der Suche nach dem maximalen Wert zur Verfügung. Wenn dagegen die Anzahl der Integratoren groß ist. können viele Schaltungen derart vorgesehen sein, daß jede gleichzeitig eine kleine Anzahl von Integraior-Au^gLingssignalen anah-iert. Die -Yusgangslign.ile dieser Schaltungen können dann durch eine ♦ eiu-re Schaltung anahsjert werden, um festzustellen. Hciir6 !nte'jraior-.V.i^sjanüsMgnal den größten Wert h.-.{. Danach werden die vorher festgestellten Summen in den Integratoren durch ein v,>m Wähler 34 eingeleitete^ Rück-'elKigna! für das nächste Bild gelöscht.

Nach Beendigung der ersten beiden Verfahrens- !•ch ritte durch Bestimmung des Bewegungsbereiches Und der durchschnittlichen Verlagerung durch diese feev.egung /wischen den Bildern F. und F..-_; ist das System zur Durchführung des dritten Verfahrens-Schrittes bereit, nämlich der Voraussage des Bildes F. aus dem Bild F.--,. Dies geschieht, während das nächfete Bild F₁-. _, anahsiert wird, um die durchschnittliche Verlagerung zwischen den Bildern F₁, und F₁ , _M te. Zustellen. Zur Durchführung der vorhergehenden S5 Verfahrensschritte ist eine Zeit von einem Bild betiötigt worden, und zu diesem Zeitpunkt ist das fiild F₁, in der Verzögerungsleitung 31 gespeichert.

während (.las Bild F₁, ., sich in tier Vevögerimgsleitung 35 befindet, die eine Verzögerungszeit von einem Bild besitz! und in den verschiedene!. Abt;sstinter- \allen angezapft ist. Es ist daher zweckmäßig, die zeitlich um die zusätzliche Bikiverz.ögerung .V bzw. V" vorgerückten Punkte in den Bildern /·",, und F₁ _: neu zu bezeichnen, um eine Verwechselung zwischen den Ausgangssignalen der Verzögerungsleitungen 31 und 35 zu vermeiden.

Wenn das Ausgangssignal des Integrators //· den maximalen Wert hat. dann wäre die beste Voraussage der Helligkeit des Elementes V" des sich bewegenden Bereichs die Ihlligkcit de·; Elements Y' '■■ k im Bild F_n ,. wobei k - ■ I . . K. Der Datenschalter 36 macht den Helligkeitswert des Elementes im Bild /■',, , verfügbar, das der vorausgesagten Verlagerung entspricht. Für iedes Bild stellt also das Ausgangssignal des Wählers 34 den Dateuschalter 36 au" dasjenige Eingangssignal von der Verzögerungsleitung 35 ein. das der Verlagerung mit der höchsten Korrektion im Bewegungshereich entspricht. Wenn beispielsweise /.., das maximale Ausgangssignal besitzt, bewirkt der üatcnschalter 36. daß das Element >" ■ 2. welches einer durchschnittlichen Verlagerung um zwei Elemente nach links entspricht, an seinem Ausgang erscheint. Der Datenschalter 36 kann einfach aus einem Schalter bestehen, dessen Stellung entsprechend F i g. 3 durch das Ausgangssignal des Wählers 34 gesteuert wird. Das vorausgesagte Bild entspricht dem vergangenen Bild mit der Ausnahme, daß Elemente Λ" innerhalb des Bewegungsbereiches durch verlagerte, vom Schalter 36 gelieferte Elemente Y' - k ersetzt sind.

Der vierte Verfahrensschritt, bei dem ein Signal erzeugt wird, das die Differenz zwischen dem wirklichen Signal im Bild F,, und den vorausgesagten Helligkeiten darstellt, wird von der Subtrahiereinrichtung 39 durchgeführt, deren Eingangssignal^ von der Anzapfung F_n der Verzögerungsleitung 31 und vom Ausgang des Schalters 36 stammen. Das Ausgangssignal der Subtrahiereinrichtung 39 gibt die Differenz, zwischen den Helligkeiten der Elemente .V" und den verlagerten F.lementen V" - A- aus dem vorhergehenden Bild an. Der Datenschalter 36 stellt sicher, daß >" - A- dasjenige verlagerte Element ist das die beste Voraussage innerhalb des Bevvegungsbereiches liefert. Wenn das betrachtete Element Λ" im Bewegungsbereich liegt, was durch einen Schwellv.ert-Komparator 37 bestimmt wird, der die an den Anzapfungen F₁, und F₁₁' der Verzögerungsleitungen31 b/w. 35 erscheinenden Werte Λ" und )" vergleicht, dann wird die Differenz zusammen mit der durch der Adressenzähler 38 gelieferten Adresse des Elemente; zum Empfänger übertragen. Die Gatter 40 und 41 verhindern eine Übertragung, falls das binäre Aussransssicnal des Komparator* 37 nicht den Wer Eins hai. wodurch die Übertragung des Differenz sisnals und der Adresseninformation auf Element; im Bewegungsbereich beschränkt wird.

Wie oben angedeutet, werden die Information he züglich der durchschnittlichen Verlagerung von Wähler 34. die Differenzinformation vom Gatter 41 und die entsprechende Adresseninfcrmatio-i von Gatter 41 einem Sender zugeführt. Diese !nformatio nen treten in unregelmäßiger Folge auf. sr daß ei^! Puffer (nicht gezeigt) zur Übertragung über eine Kanal erforderlich ist. der eine konstante Daten freüuenz benötiüt.

Bei dem oben beschriebenen Codier\erfahren und den Codiereinriehiungen wird eine Liesamiverzögerung von mehr als zwei Bildern benutzt. Die erforderliche Verzögerung läßt sich um ein Bild verringern, wenn angenommen wird, aaß sich die Objektgesclnvindigkeit langsam im Vergleich zur Bildfrequenz ändert. Liner Verwendung der zwischen zwei vorhergehenden Bildern gemessenen Geschwindigkeit kann der Codierer eine Voraussage des augenblicklichen Bildes unter Benutzung des unmittelbar vergangenen Bildes als Bezug erstellen. Während die Differenz zwischen dem augenblicklichen Bild und dem vorausgesagten augenblicklichen Bild übertragen wird, wird eine neue durchschnittliche Geschwindigkeit oder Verlagerung zwischen dem augenblicklichen Bild und dem vorhergehenden Bild gemessen. Diese Geschwindigkeit wird dann für eine Voraussage des nächstfolgenden Bildes benutzt.

Wenn man annimmt, daß die Beschleunigung des Objekts sich langsam ändert, aber nicht Null ist. dann kann an Stelle der gemessenen Geschwindigkeit der Codierer mit der verringerten Verzögerung eine lineare Extrapolation der beiden vorher gemessenen Geschwindigkeiten zur Gewinnung einer genaueren Voraussage benutzen, als dies lediglich unter Ver-Wendung der vorhergehenden Geschwindigkeit möglich ist.

Der Decodierer des Empfängers ist in F i g. 5 gezeigt. Er stellt einen umgekehrten Codierer mit der Ausnahme dar. daß er keine durchschnittlichen Verlagerungen berechnet. Außer für Elemente im Bewegungsbereich gibt er Element für Element das Video-Ausgangssignal des vorhergehenden Bildes an eine Wiedergabeeinrichtung (nicht gezeigt). Elemente im Bewegungsbereich werden durch ein geeignet \erlagcrtes Element aus dem vorhergehenden Bild und das empfangene Differenzsignal ersetzt. Gleichzeitig wird das Video-Signal zur Verwendung bei der Decodierung des nächsten Bildes einer Verzögerungsleitung mit einer Verzögerung von einem Bild zügeführt.

Am Beginn des Bildes F_p sind die Elementwerte des Bildes/",,_, in der Verzögerungsleitung 51 gespeichert und werden über entsprechende Anzapfungen dem naienschaher 52 zugeführt, der mit dem DatenschaltL-r36 identisch ist. Der Datenschalter 52 v.irI auf die gleiche Position wie der Dateiischalier 36 in Abhängigkeit win dem empfangenen Signal/, für den durchschnittlichen Verlagerungsvektor eingestellt, so daß das Aiisgangssignal des Schalters 52 dem Element )" - k entspricht. Wäh.end der Lhertragung der Adresse und der Differenzinformatii>n vergleicht der Komparator 53 die Adresseninf.nmation des nächsten empfangenen Elementes im Bewegungsbereich mit der des nächsten Video-Aii,-gangseiementes vom Adressenzähler 55. der mit der gleichen Frequenz wie der Zähler 38 läuft. Wenn die Adressen nicht gleich sind, bewirkt der Komparator53 eine Neueinstellimg des Schalters 54 auf die Position >", wodurch der verlagerte Helligkeitswert. der der identischen geometrischen Stelle entspricht, der Wiedergabeeinrichtung zugeführt wird. Wenn die Adressen gleich sind, wird der Neueinstellungsschalter 54 unter Steuerung des Komparator 53 in die Neueinstellunss-Position gebracht, um der Wiedergabeeinrichtung den Helligkeitswert vom Addierer 56 zuzuführen, der den verlagerten Helligkeitswert vom Datenschalter 52 und die empfangene Differenzinformation kombiniert. Die empfangene Adressen- und Differenzinformation muß natürlich in geeigneten Puffern gespeichert werden, wenn die Übertragung mit einer gleichförmigen Datenfrequenz erfolgt.

Der Grundgedanke der Erfindung hängt nicht von der benutzten Video-Norm ab. Für ein Zeilensprungverfahren ist es lediglich erforderlich, daß eine durchschnittliche Verlagerung nach jedem Halbbild statt nach jedem Bild bestimmt wird. Eine analoge oder digitale Codierung macht entsprechend analoge oder digitale Ausführungsformen für die Schaltungsblöcke in den F i g. 3 und 5 erforderlich. Für den Digitalfall stellen beispielsweise integrierte DigitalschalUingen für die Datcnschalter zur Verfügung. Die Verzögerungsleitungen können aus üblichen, taktgesteuerten Schiebercgistern bestehen.

Die Gattersignale, die zur Vermeidung von Elementen in den Austastlücken verwendet werden, und Taktsignale sind oben nicht beschrieben, da deren Verwendung für den Fachmann bekannt sein dürfte.

Hierzu 1 Blatt Zeichnungen

Claims

Patentansprüche:

1. Vitleo - Infoniiatioiisüheriragungsanordiumg liiit einem Codierer zur Erzeugung einer Signalfolge, die die Helligkeit von Bildelenicnten gcorneirisclicr Bereiche eines Bildes auf einem Schirm darstellt, dad ti rch gekennzeichnet, daß <ler Codierer folgende Bauteile aufweist:

einen Komparator (32) zur Aufteilung der Bereiche eines augenblicklichen Bildes (Rasters) in sich bewegende und sich nicht bewegende Bereiche:

Einrichtungen ( Korrelatoren <y *■. Integratoren //.·. Wähler 34). die jeden Punkt eines sich bewegenden Bereiches zu geometrisch verlagerten Punkten im vorhergehenden Bild in Beziehung setzen, um die durchschnittliche Verlagerung des .ich bewegenden Bereiches zwischen dem vorhergehenden und dem augenblicklichen Bild zu bestimmen;
Einrichtungen (Komparator 37, Subtrahiereinrichtung 39. Datenschalter 36) zum Vergleich jedes Punktes in dem sich bewegenden Bereich mit einem um die durchschnittliche Verlagerung verschobenen Punkt im vorhergehenden Bild, um für jeden Punkt in dem sich bewegenden Bereich ein Differenzsignal zu erzeugen.

2. Anordnung nach Anspruch I. dadurch gekennzeichnet, daß der Codierer Übertragungsschaltungen aufweist, die die durchschnittliche Ver'igerung der sich bewegende Bereiche darstellende Signi.le und die DilTcrenzsignale übertragen.

3. Anordnung nach Anspruch 1 oder 2. dadurch gekennzeichnet, daß eine Decodiereinrichtung vorgesehen ist. die auf die die mittlere Verlagerung der sich bewegenden Bereiche darstellenden Signale und die DilTcrenzsignale zur Rekonstruktion des Bildes anspricht.

Die Erfindung betrifft eine Video-lnformationsiibertragimgsanordnung mit einem Codierer zur Erzeugung einer Signalfolge, die die Helligkeit von BiIdclcmcntcn geometrischer Bereiche eines Bildes auf einem Schirm darstellt.

Eine Verringerung der für die Übertragung von Video-Informationen erforderlichen Nach rich ten kanal-Kapazität ist auf verschiedenen Wegen erreicht worden. Hei einer Gruppe von Verfahren wird die Voraussage tines zukünftigen Bildes an Hand der vorhergehenden bilder angewendet. Bei Benutzung einer Voraussagc-COdicrimg braucht die übertragene Information nur lius einer Angabe des empfangsseitig zu benutzenden Voraussageverfallrens sowie der Differenz zwischen der Voraussage und dem wirklichen Bild zu bestehen. Es sind viele solcher Voratissagcvcrfahren bekannt. Bei einem einfachen Beispiel wird angenommen, daß jedes Bild genau gleich dem vorhergehenden Bild ist. Bei einem solchen Verfahren ist jedoch eine Korrektur der fehlerhaften Voraussage erforderlich, wenn eine Szene sich zwischen den Bildern ändert oder wenn ein Bereich der S/enc. beispielsweise eine Person, sich bewegt. Im KaII einer Kcnischvcrbiiulimg zwischen zwei Personell, beispielsweise beim Fernsehtelefon, ist die Verlagerung des Objekts zwischen den Bildern klein, aher kontinuierlich, und eine Voraussage unter Zugrundelegung einer ah.soluten Unverändcrlielikeit von Bild ZLi Bild erfordert beträchtliche Änderungen.

Aufeinanderfolgende Bilder in geschlossenen Fernsehanlagen, beispielsweise heim Fernsehtelefon, sind sich sehr ähnlich, da die Aufnahmekamera stationär ist und eine Bewegung nur für einen begrenzten Bereich der Szene iiuiftritt. Die Erfindung hat sich zum Ziel gesetzt, diese Bewegung eines Objekts von Bild zu Bild

ίο in einem Codiersystem zLir genauen Voraussage eines nachfolgenden Bildes zu benutzen und die Übertragung redundanter Informationen zu verringern, wodurch dif für eine Videoübertragung erforderliche Kanalkapazität herabgesetzt wird.

Das Bild besteht in erster Linie aus einem stationären Hintergrund und einem Objekt, üblicherweise einer Person. Wenn sich das Objekt relativ zur Aufnahmekamera bewegt, führen die sich ergebenden Helligkeitsänderungen zwischen aufeinanderfolgenden Bildern zur Definition eines Bewegungsbereiches in einem nachfolgenden Bild. Der Bewegungsbereich in jedem gegebenen Bild wird hier als derjenige Bereich definiert, in welchem sich die Bildelemente dieses Bildes wesentlich bezüglich ihrer Helligkeit von der Helligkeit dieser Elemente im vorhergehender! Bild unterscheiden. Der Bewegungsbereich entspricht also nicht direkt der Objektfläche, da ein bestimmtes Bildelement lediglich durch eine Helligkeitsänderung als Teil dieses Bereiches definiert ist und eine solche Änderung sich auch auf Grund anderer Faktoren ergeben kann, beispielsweise Rauschen oder durch Freiwerden einer vorher verborgenen Hintergrundfiäche.

Zur Lösung der vorstehend erläuterten Aufgabe geht die Erfindung von einer Übertragungsanordnung der eingangs genannten Art aus und ist dadurch gekennzeichnet, daß der Codierer folgende Bauteile aufweist:

einen Komparator zur Aufteilung der Bereiche eines augenblicklichen Bildes in sich bewegende i>nd sich nicht bewegende Bereiche:

Einrichtungen, die jeden Punkt eines sich bewegenden Bereiches zu geometrisch verlagerten Punkten im vorhergehenden Bild in Beziehung setzen, um die durchschnittliche Verlagerung des sich bewegenden Bereiches zwischen dem vorhergehenden und dem augenblicklichen Bild zu bestimmen:

Einrichtungen zum Vergleich jedes Punktes in dem sich bewegenden Bereich mit einem um die durchschnittliche Verlagerung verschobenen Punkt im vorhergehenden Bild, um für jeden Punkt in dem sich bewegenden Bereich ein Differenzsignal zu erzeugen.

Nach einer Weiterbildung der Erfindung weist der Codierer Übcrtragungsschaltungcn auf. die die durchschnittliche Verlagerung der sich bewegenden Bereiche darstellende Signale und die Diffcrenzsignale aussenden.

Eine zusätzliche Weiterbildung der Erfindung sieht vor. daß die Übertragungsanordnung eine Decodiereinrichtung enthält, die in Abhängigkeit von den die durchschnittliche Verlagerung der sich bewegenden Bereiche darstellenden Signalen und den Diffcrcnzsignalcn das Bild rekonstruieren.

Durch die Verwendung einer steuerbaren Verzögerung wird ein Schätzwert für die Geschwindigkeit oder die Verlagerung von Bild zu Bild für den Bcwegimgsbcrcich bestimmt. Die Voraussage des augenblicklichen