DE19615657A1 - Verfahren zur Komprimierung von eine Bildfolge repräsentierenden Bilddaten - Google Patents

Description

Die vorliegende Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruchs 1, d. h. ein Verfahren zur Komprimierung von eine Bildfolge repräsentierenden Bilddaten, die von einer Aufnahme der Bildfolge durch eine Videokamera herrühren.

Verfahren dieser Art werden angewandt, um Video-Bildfolgen repräsentierende Daten unter möglichst umfangreicher Reduzie­ rung der Datenmenge effizient übertragen und/oder speichern zu können. Eine Anordnung, bei welcher ein derartiges Verfah­ ren nutzbringend einsetzbar ist, ist in der Figur veranschau­ licht.

Die gezeigte Anordnung besteht aus einer Videokamera 10, einer sendeseitigen Verarbeitungseinheit 11, einer Signal­ übertragungsstrecke 20, einer empfangsseitigen Verarbeitungs­ einheit 31 und einem Videomonitor 30.

Die Videokamera 10 nimmt Bildfolgen (aufeinanderfolgende Ein­ zelbilder) auf und generiert den Bildfolgen bzw. Einzelbil­ dern derselben entsprechende Bilddaten. Diese Bilddaten wer­ den zur sendeseitigen Verarbeitungseinheit 11 gegeben, welche diese unter anderem komprimiert und codiert, um sie effizient zu einer entfernten Empfangsstation übertragen zu können oder sie effizient für eine spätere Weiterverarbeitung oder Be­ trachtung speichern zu können. Die durch die sendeseitige Verarbeitungseinheit 11 verarbeiteten Bilddaten werden vor­ liegend über die Signalübertragungsstrecke 20 zur empfangs­ seitigen Verarbeitungseinheit 31 übertragen, wo sie unter an­ derem decodiert und dekomprimiert werden, um schließlich auf dem Videomonitor 30 gezeigt werden zu können.

Zur Komprimierung von Bilddaten werden unter anderem eine lo­ kale örtlich Fourier-Transformation, eine Chrominanz-Codie­ rung, eine Frame-Codierung (nur die "Deltas" bzw. Veränderun­ gen gegenüber dem vorhergehenden Einzelbild werden übertra­ gen) und/oder eine Bewegungsschätzung (ein neues Bild wird durch Verschiebung von mehr oder weniger großen Pixelblöcken unter Berücksichtigung eines zuvor aus Bildveränderungen be­ rechneten Bewegungsvektors erzeugt) durchgeführt.

Wenngleich unter Verwendung dieser bekannten Verfahren be­ reits eine beachtliche Komprimierung der anfallenden Bild­ daten erzielbar ist, besteht nach wie vor das Bedürfnis nach einer noch effizienteren Komprimierung.

Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, das Verfahren gemäß dem Oberbegriff des Patentanspruchs 1 derart weiterzubilden, daß die Effizienz beim Komprimieren von Bildfolgen repräsentierenden Daten auf einfache Weise weiter steigerbar ist.

Diese Aufgabe wird erfindungsgemäß durch die im kennzeichnen­ den Teil des Patentanspruchs 1 beanspruchten Merkmale gelöst.

Demnach ist vorgesehen, daß die Komprimierung der Bilddaten unter Berücksichtigung der Kamerastellung, der Kameraeinstel­ lungen und/oder Veränderungen derselben während der Aufnahme der Bildfolge erfolgt.

D.h., es werden nunmehr nicht nur die Bilddaten selbst, son­ dern zusätzlich auch die Führung und/oder die Bedienung bzw. Einstellung der Videokamera während der Aufnahme der Bild­ folge berücksichtigt. Hieraus lassen sich ohne Kenntnis des tatsächlichen Bildinhaltes Rückschlüsse auf diesen oder Ver­ änderungen desselben ziehen, und diese Rückschlüsse lassen sich wiederum zu einer äußerst effizienten Bilddaten-Kompri­ mierung ausnutzen.

Auswertbare Informationen sind dabei beispielsweise (Translations- und Rotations-)Bewegungen der Videokamera, Einstellungen bzw. Veränderungen der Objektivbrennweite, der Belichtungszeit, der Blendenöffnung, des Farbabgleichs, Ein­ blendungen ins Bild und dergleichen.

Die Berücksichtigung der Kamerastellung, der Kameraeinstel­ lungen und/oder Veränderungen derselben bei der Komprimierung der Bilddaten schließt nicht aus, daß auch die bisher ange­ wandten Maßnahmen zur Bilddaten-Komprimierung weiter bzw. zu­ sätzlich anwendbar sind; die neu vorgeschlagenen Maßnahmen stellen vielmehr eine relativ einfach realisierbare, aber äußerst wirkungsvolle Ergänzung der bisherigen Maßnahmen zur Bilddaten-Komprimierung dar.

Es wurde mithin ein Verfahren geschaffen, durch welches die Effizienz beim Komprimieren von Bildfolgen repräsentierenden Daten auf einfache Weise erheblich steigerbar ist.

Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.

Die Erfindung wird nachfolgend anhand eines Ausführungsbei­ spiels unter Bezugnahme auf die Figur näher erläutert.

Die Figur zeigt eine Anordnung, bei welcher eine Komprimie­ rung von eine Bildfolge repräsentierenden Bilddaten vorteil­ haft einsetzbar ist.

Der prinzipielle Aufbau dieser Anordnung, welche zur Durch­ führung des erfindungsgemäßen Bilddaten-Komprimierungsverfah­ rens wie auch zur Durchführung herkömmlicher Bilddaten-Kom­ primierungsverfahren ausgelegt sein kann, wurde eingangs be­ reits ausführlich erläutert, so daß an dieser Stelle auf eine (nochmalige) detaillierte Beschreibung verzichtet werden kann.

Dem erfindungsgemäßen Bilddaten-Komprimierungsverfahren und den herkömmlichen Bilddaten-Komprimierungsverfahren ist ge­ meinsam, daß die von der Videokamera 10 erzeugten, aufgenom­ menen Bildfolgen entsprechenden Bilddaten in der sendeseitige Verarbeitungseinheit 11 komprimiert werden, um eine effi­ ziente Übertragung der Bilddaten zur Empfangsstation zu er­ möglichen. Ihnen ist ferner gemeinsam, daß die Komprimierung der Bilddaten unter Verwendung aller bisher bekannten Maßnah­ men zur Komprimierung erfolgen kann, unter anderem also bei­ spielsweise, wie eingangs bereits erwähnt, unter Verwendung der lokalen örtlichen Fourier-Transformation, der Chrominanz- Codierung, der Frame-Codierung und der Bewegungsschätzung.

Zusätzlich zu den bekannten Maßnahmen zur Bilddaten-Kompri­ mierung, also im Gegensatz zu den bekannten Bilddaten-Kompri­ mierungsverfahren werden bei dem erfindungsgemäßen Bilddaten- Komprimierungsverfahren jedoch auch Informationen in die Bilddaten-Komprimierung einbezogen, die die Kamerastellung, die Kameraeinstellungen und Veränderungen derselben bei der Aufnahme der Bildfolge betreffen.

Um die Kamerastellung und Veränderungen, d. h. Translations- und Rotationsbewegungen derselben während der Aufnahme erfas­ sen zu können, ist eine zur Durchführung des erfindungsge­ mäßen Verfahrens geeignete Videokamera mit Sensoren, bei­ spielsweise mit 2D-Beschleunigungs- und Gyrosensoren ausge­ stattet. Bei elektrisch gesteuerter Kamerapositionsein­ stellung, wie sie beispielsweise beim sogenannten Video­ conferencing zum Einsatz kommen kann, können die Kamera­ stellung und Veränderungen derselben alternativ oder zusätz­ lich direkt aus den Steuergrößen für den Stellmechanismus er­ mittelt werden. Sofern die Videokamera über ein mechanisches (optisches) oder elektronisches Verwacklungsschutzsystem ver­ fügt, muß auch dessen Ansprechen berücksichtigt werden, denn die Bewegungen der Kamera bei der Aufnahme sind nur insoweit von Interesse, als diese auch einen Niederschlag in den auf­ genommenen (ausgegebenen) Bilddaten finden.

Die vorstehend erwähnten Kameraeinstellungen und Veränderun­ gen derselben betreffen sämtliche Kameraeinstellungen, aus welchen sich qualitativ und/oder quantitativ Rückschlüsse auf lokale oder globale Gemeinsamkeiten oder Unterschiede in auf­ einanderfolgenden Einzelbildern einer Bildfolge ziehen las­ sen. Eine der diesbezüglich auswertbaren Kameraeinstellungen ist die jeweilige Einstellung des Zoomfaktors bzw. der aktu­ ellen Objektivbrennweite; die Verwertbarkeit dieser Zusatz­ information für die Bilddaten-Komprimierung wird später noch ausführlich beschrieben. Die Zoomfaktor- bzw. Objektivbrenn­ weiteneinstellung und Veränderungen derselben können entweder durch einen entsprechenden Sensor aus der Stellung eines Stellgliedes (insbesondere bei manueller Einstellung) oder direkt aus den Steuergrößen für einen Stellmechanismus (insbesondere bei motorgetriebener Einstellung) ermittelt werden.

Die Informationen über die Kamerastellung und die Kameraein­ stellungen sind, da insbesondere jeweils die Unterschiede zwischen jeweils genau definierten Einzelbildern interessie­ ren, unter exakter Zuordnung zu den jeweiligen Einzelbildern der Bildfolge auszugeben und zu verwalten.

Die genannten, nicht das aufzunehmende Objekt, sondern den Aufnahmevorgang als solchen betreffenden Zusatzinformationen lassen sich sehr wirkungsvoll für eine verbesserte, d. h. ein­ fachere und effizientere Bewegungsschätzung verwenden. Die Kamerastellung und die Zoomfaktoreinstellung, insbesondere Veränderungen derselben ermöglichen nämlich unter anderem die Berechnung von Bewegungsvektoren, anhand derer ein momentan zu verarbeitendes Einzelbild hinsichtlich des Bildausschnit­ tes auf den Bildausschnitt des vorhergehenden Einzelbildes rückführbar ist. Eine derartige Rückführung entspricht einem Nullsetzen der Zoomeinstellungsveränderung (der Veränderung des Vergrößerungsfaktors α), der Translationsbewegung der Ka­ mera (des Translations-Bewegungsvektors µ) und der Rotations­ bewegung der Kamera (des Rotations-Bewegungsvektors ϕ) zwi­ schen zwei aufeinanderfolgenden Einzelbildern.

Durch die Rückführung des Bildausschnittes des betrachteten Einzelbildes auf den Bildausschnitt des vorhergehenden Ein­ zelbildes sind zu verschiedenen Zeitpunkten aufgenommene, aber hinsichtlich ausgewählter Aufnahmebedingungen (des Bild­ ausschnittes) identische (angeglichene) Einzelaufnahmen für einen Vergleich gegenüberstellbar.

Aufeinanderfolgende Einzelbilder, die derart vorverarbeitet sind, d. h. bezüglich des Bildausschnittes so weit wie möglich in Übereinstimmung gebracht wurden, ermöglichen aufgrund der Reduzierung der ursprünglich vorhandenen Unterschiedsmerkmale auf einfache Weise, d. h. durch einen simplen Vergleich von positionsmäßig innerhalb der jeweiligen Bildausschnitte ein­ ander entsprechenden Pixeln bzw. Pixelblöcken die Erfassung von Gemeinsamkeiten und Unterschieden in aufeinanderfolgenden Einzelbildern. Insbesondere ist dadurch schnell und einfach feststellbar, ob und gegebenenfalls welche Abschnitte des vorhergehenden Einzelbildes zur Generierung des momentan be­ trachteten Einzelbildes heranziehbar sind und welcher Verar­ beitung (Verschiebung, Drehung, Vergrößerung, Helligkeits­ änderung, Farbänderung etc.) die betreffenden Abschnitte hierfür zu unterziehen sind.

Allgemein gesprochen findet eine derartige Bilddaten-Kompri­ mierung also in zwei aufeinander aufbauenden Stufen statt. In der ersten Stufe werden auf Veränderungen der Kamerastellung und/oder ausgewählten Kameraeinstellungen zurückgehende Un­ terschiede in aufeinanderfolgenden Einzelbildern durch eine entsprechende Rückführung des betrachteten Einzelbildes auf das vorhergehende Einzelbild eliminiert. In der zweiten Stufe wird aus den bezüglich der Kamerastellung und/oder ausgewähl­ ten Kameraeinstellungen aneinander angeglichenen Einzelbil­ dern auf herkömmliche Weise ermittelt, ob und wie das be­ trachtete Einzelbild oder Teile desselben aus dem vorherge­ henden Einzelbild gewonnen werden können.

Die detaillierte und vollständige Erfassung von vorhandenen Gemeinsamkeiten und Unterschieden in aufeinanderfolgenden Einzelbildern ist ohne Rückführung des momentan betrachteten Bildes auf die Kamerastellung und/oder ausgewählte Kameraein­ stellungen nur erheblich ungenauer und unvollständiger oder nur unter großem rechnerischen Aufwand durchführbar.

Die beschriebene zweistufige Bilddaten-Komprimierung unter zusätzlicher Einbeziehung von Informationen über die Kamera­ stellung und/oder ausgewählte Kameraeinstellungen, also bei­ spielsweise über Bildausschnittsveränderungen in aufeinander­ folgenden Einzelbildern einer Bildfolge ist einfacher und ge­ nauer als die bisher bekannte einstufigen Bewegungsvektor­ berechnungen durchführbar; sie ermöglicht in kürzerer Zeit eine effektivere und qualitativ hochwertigere Bilddaten­ komprimierung.

Neben den vorstehend behandelten Informationen über die Kamerastellung und die Zoomfaktoreinstellung sind alternativ oder zusätzlich auch andere Kameraeinstellungen und deren Veränderungen während der Aufnahme der Bildfolge im Hinblick auf eine effizientere Bilddatenkomprimierung vorteilhaft aus­ wertbar.

So kann beispielsweise bei einer sehr langen (verlängerten) Belichtungszeit vermutet bzw. gefolgert werden, daß aufeinan­ derfolgende Einzelbilder identisch sind, wenn diese in unver­ änderten (kurzen) zeitlichen Abständen von der Videokamera ausgegeben werden. Entsprechendes gilt für Zeitlupenaufnah­ men, bei denen aufeinanderfolgende Einzelbilder in verkürzten zeitlichen Abständen, also ebenfalls mehrere Einzelbilder pro Belichtungsintervall von der Videokamera ausgegeben werden.

Auch bekannte Veränderungen der Blendenöffnung, Veränderungen der Farbeinstellung (z. B. des Farbabgleichs), Umschaltungen zwischen Positiv- und Negativbild und dergleichen können bei der Bilddaten-Komprimierung nutzbringend ausgewertet werden. Das bereits vor dem Beginn der Bilddaten-Komprimierung vor­ handene Wissen um das Vorliegen einer derartigen globalen, d. h. sich auf alle Pixel eines Einzelbildes auswirkenden Ver­ änderung im der Komprimierung zu unterwerfenden Einzelbild bzw. - anders ausgedrückt - der Wegfall der Notwendigkeit der Berechnung und Verarbeitung einer Vielzahl von lokalen, d. h. nur jeweils einzelne Pixel oder Pixelblöcke betreffenden Ver­ änderungen trägt nämlich einerseits zur Reduzierung des Rechenaufwandes bei der Bilddaten-Komprimierung bei und er­ möglicht andererseits ebenfalls eine effektivere, d. h. weni­ ger redundante Bilddaten-Komprimierung. Dies gilt insbeson­ dere dann, wenn - wie bei der Informationsauswertung über die Kamerastellung und die Zoomfaktoreinstellung - vor der Anwen­ dung der herkömmlichen Maßnahmen zur Bilddaten-Komprimierung das betrachtete Einzelbild in einer ersten Stufe auf ein Bild zurückgeführt wird, das so belichtet und farblich abgeglichen ist, wie es beim vorhergehenden Einzelbild der Fall ist.

Neben den vorstehend genannten Kameraeinstellungen können auch weitere, nicht explizit erwähnte Einstellungen auf die beschriebene oder andere Weise in die Bilddaten-Komprimierung einbezogen werden.

Berücksichtigt man bei der Bilddaten-Komprimierung neben den Bilddaten selbst zusätzlich (Zusatz-)Informationen über die Aufnahmebedingungen, d. h. insbesondere über die Kamera­ stellung und die Kameraeinstellungen und deren Veränderungen während der Aufnahme der Bildfolge und führt darauf basierend hinsichtlich der Aufnahmebedingungen eine Angleichung des be­ trachteten Einzelbildes an das vorhergehende Einzelbild (Rückführung auf das vorhergehende Einzelbild) durch, so ver­ einfachen sich aufgrund der dadurch herstellbaren Überein- Stimmungen zwischen aufeinanderfolgenden Bildern die nach wie vor anwendbaren bekannten Maßnahmen zur Bilddaten-Komprimie­ rung oder können gegebenenfalls sogar ganz entfallen.

Die Effizienz beim Komprimieren von Bildfolgen repräsentie­ renden Daten kann dadurch auf äußerst einfache Weise erheb­ lich gesteigert werden.

Claims (7)

1. Verfahren zur Komprimierung von eine Bildfolge repräsen­ tierenden Bilddaten, die von einer Aufnahme der Bildfolge durch eine Videokamera (10) herrühren, dadurch gekennzeichnet, daß die Komprimierung der Bilddaten unter Berücksichtigung der Kamerastellung, der Kameraeinstellungen und/oder Verände­ rungen derselben während der Aufnahme der Bildfolge erfolgt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß bei der Komprimierung Translations- und Rotationsbewegun­ gen der Videokamera (10) berücksichtigt werden.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Translations- und Rotationsbewegungen der Videokamera (10) durch in der Videokamera vorgesehene Bewegungssensoren erfaßt werden.

4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Translations- und Rotationsbewegungen der Videokamera (10) aus Steuergrößen für ein die Videokamera bewegendes Stellglied ermittelt werden.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß bei der Komprimierung der an der Videokamera (10) jeweils eingestellte Zoomfaktor berücksichtigt wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß ein einer Bilddaten-Komprimierung zu unterwerfendes Ein­ zelbild der Bildfolge hinsichtlich der Kamerastellung und/oder der Kameraeinstellungen auf die Kamerastellung und die Kameraeinstellungen des vorhergehenden Einzelbildes rück­ geführt wird, und daß die zurückgeführte Fassung des Einzel­ bildes im Anschluß daran herkömmlichen Maßnahmen zur Bild­ daten-Komprimierung unterworfen wird.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß durch das Rückführen des betrachteten Einzelbildes auf die Kamerastellung und die Kameraeinstellungen des vorherge­ henden Einzelbildes zwischenzeitliche Translations- und Rota­ tionsbewegungen der Videokamera und Veränderungen des Zoom­ faktors jeweils auf den Wert null zurückgeführt werden.