DE102005004132A1

DE102005004132A1 - Verfahren zur Aufbereitung und Komprimierung von Videobildern

Info

Publication number: DE102005004132A1
Application number: DE200510004132
Authority: DE
Inventors: Jörg Hempel
Original assignee: NANOBIT GmbH
Current assignee: NANOBIT GmbH
Priority date: 2005-01-28
Filing date: 2005-01-28
Publication date: 2006-08-03

Abstract

Verfahren und Vorrichtung zur anwenderfreundlichen und schnellen Aufbereitung und größtmöglichen Komprimierung von Videosequenzen ohne Qualitätsverlust.

Description

Technische Fortschritte in digitalen Übertragungsnetzwerken tragen gemeinsam dazu bei, dass die Übertragung und Speicherung von digitalen Videosignalen in vielen Bereichen wirtschaftlich ist. Ein wichtiger Aspekt bei der Verbreitung, und somit der Wirtschaftlichkeit, eines Informationsmediums ist die Übertragungszeit die für die Übertragung von bestimmten Einheiten, zum Beispiel Werbeblöcken, benötigt wird.
Denn gerade die Übertragung von digitalisierten, unkomprimierten Bildern verursacht wegen der anfallenden riesigen Datenmengen lange Übertragungszeiten und einen enormen Speicherplatzbedarf bei der weiteren Signalverarbeitung.
In Anbetracht dieser hohen Datenraten bei der digitalen Übertragung und Speicherung von Ton – und vor allem Bildinformationen ist hierbei die Anwendung von Bildcodierverfahren zur Datenkompression unverzichtbar. Bei der Verbreitung von großen Mengen an Bildinformation muss selbst mit der in Breitbandnetzen reichlich vorhandenen Kapazität an Übertragungsmöglichkeiten sparsam umgegangen werden. Denn die erreichbare Verbreitung jedes Informationsmediums ist auch eine Frage der entstehenden Betriebskosten.
Den Begriff Datenkompression kann man hierbei definieren als eine Technik zur Reduzierung der benötigten Bandbreite für den Fall, dass ein vorgegebener Betrag an Information in einer gegebenen Zeit übertragen werden soll, oder als eine Technik zur Verringerung der benötigten Zeit für den anderen Fall, dass ein vorgegebener Betrag an Information mit einer gegebenen Bandbreite übertragen werden soll.
Die einfachste Möglichkeit der Datenreduzierung, nämlich eine Verringerung der Bildpunkte oder der Grauwertstufen, erweist sich als unpraktikabel, wenn eine bestimmte Bildqualität nicht unterschritten werden soll. Denn bei gleich bleibendem Bildformat ist eine Verringerung der Anzahl der Bildpunkte ersichtlich deshalb nachteilig, weil dadurch bei größerem Abstand zum betrachteten Bild die Rasterstruktur erkennbar wird und der Eindruck eines kontinuierlichen Bildes verloren geht.
Im Stand der Technik ist eine Vielzahl von Kompressionsverfahren bekannt. Diese ermöglichen entweder hohe Kompressionsverfahren oder eine gute Bildqualität.

Um den steigenden Anforderungen der neueren Multimedia-Anwendungen im Bereich der Bilddatenkompression gerecht zu werden, wird seit 1997 innerhalb der ISO/IEC JTC/SC29/WG01 ein neuer Standard zur Kompression von Standbildern mit der Bezeichnung ISO 15444 entwickelt. Dieser auch als JPEG 2000 bezeichnete Standard hat etwa ab Mitte 2001 die Nachfolge des weit verbreiteten Standards ISO/IEC 10918, auch bekannt unter dem Namen JPEG (Joint Photographic Experts Group), angetreten.

Neben einer verbesserten Bildqualität im Bereich niedriger Bitraten hat JPEG 2000 speziell die Codierung von unterschiedlichen Bildtypen (Schwarzweiß-, Graustufen-Farb- und Multikomponentenbildern) mit unterschiedlichen Charakteristiken (natürliche Bilder, medizinische Bilder, Computergraphiken, Text) für diverse Anwendungsbereiche mit unterschiedlichen Anforderungen in einem System vereint.

Mittlerweile gibt es viele mehr oder weniger neue Videoformate.

So ist zum Beispiel AVI ein Videoformat, welches für Windows als einheitliche Lösung für die Wiedergabe von kurzen Videoclips entwickelt wurde. AVI steht hierbei für „ Audio Video Interleave" was nichts anderes bedeutet als dass Audio- und Videodaten ineinander verzahnt, also „interleaved" abgespeichert sind. Hierbei wird die so genannte Keyframe-Technik eingesetzt. Dabei wird lediglich jedes 12. bis 17. Bild, abhängig vom Bildinhalt, als Vollbild abgespeichert. Für die dazwischen liegenden Frames werden nur die Unterschiede zum jeweils vorhergehenden Bild angegeben.

Das grundsätzliche Verfahren einer MPEG-Kodierung besteht aus dem Versuch, möglichst viele Bildteile nur durch die Differenz des Bildinhalts zum vorherig kodierten Bild zu beschreiben. Dies geschieht im Gegensatz zu den AVI/FLI-Formaten mit einer zusätzlichen Funktion der Bewegungskompensation (Motioncompensation). Diese Funktion ermittelt eine Verschiebung von Bildteilen, wie sie bei Kameraschwenks oder sich bewegenden Objekten entsteht. Die Bewegung von diesen Bildteilen kann dann in Form von einfachen zweidimensionalen Verschiebungsvektoren ausgedrückt werden. Mit den Kompressionsraten bei Intraframes von 1:6 – 80 und Interframes von 1:70 – 1000 wird im Mittel eine Gesamtkompression von 1:150 – 400 erreicht.

Im Rennen um Alternativen zu MP3 versucht auch Microsoft den hauseigenen WMA- Codec zu etablieren. Dieses Format sieht die Integration von Kopierschutzverfahren vor und ist daher auch für die Musikindustrie interessant. Im Gegensatz zu MP3 ist das WMA-Format multimedial ausgelegt und beinhaltet neben den Audio-Codecs auch einen Video-Codec. Über einen Datencontainer können WMA, WMV und ASF-Dateien abgespeichert werden, die neben Musik oder Video auch Links zu Webseiten oder Dokumenten enthalten können. Laut Microsoft soll WMA bereits ab 64 kBit CD-Qualität liefern und schnelle Kompression und Dekompression bieten.

Dateien, die WMV – kodierte Audio-Streams enthalten sind meist n Microsofts Container- Format Advanced Streaming Format (ASF) eingebettet. Diese Dateien haben meist im Falle einer Video-Datei die Erfindung .wmv.

Das ASF-Format wurde von Microsoft unmittelbar für das Internet entwickelt. Die erzeugten Dateien sind in Abhängigkeit von der Kompressionsrate relativ klein. Einer der Vorzüge dieses Format ist die garantierte Streamingfähigkeit.

Ein alternatives Videoformat bzw. Codec ist zum Beispiel Quicktime von Apple.

Aus der DE 692 30 704 T2 ist ein spezielles Verfahren und ein System zur Komprimierung von sich bewegenden, digitalen Videosignalen mit Algorithmen, bekannt, die mit dem MPEG-Standard in Einklang stehen.

In Videokomprimierungsalgorithmen wird die Bewegungskompensation dazu benutzt, die zur Darstellung der einzelnen Bilder in einer Videosequenz benötigte Datenmenge zu reduzieren. Algorithmen mit fester Bitrate müssen zwar insgesamt eine durchschnittliche Bitrate einhalten, die in etwa einem bestimmten Vorgabewert entspricht, oft bleibt aber noch etwas Spielraum bei der Anzahl der einzelnen Bits für das einzelne Bild. Wenn jedem Bild exakt die gleiche Zahl von Bits zugeordnet wird, entsteht eine komprimierte Sequenz, deren Qualität zeitlichen Schwankungen unterworfen ist. Dies wird vom Betrachter aber als störend empfunden. Das hier verwendete Bildbitzuordnungs-Subsystem besitzt Prozeduren zum Zuordnen von Bits zu den komprimierten Bildern in einer Videosequenz. Es eignet sich vor allem für Videokomprimierungsalgorithmen, die einen Datenstrom mit fester Bitrate erzeugen sollen, und in denen eine Bewegungskompensation stattfindet, zum Beispiel im OSO/IEC MPEG-Videokomprimierungsstandard.

Im Wesentlichen handelt es sich bei diesem bekannten Verfahren um ein Verfahren zum Zuordnen von Bits, die zur Komprimierungscodierung digitaler Datensignale, welche eine oder mehrere Gruppen von Bildern in einer bewegten Videosequenz darstellen, benutzt werden, in Form eines M-PEG II-Datenstroms, bestehend aus folgenden Schritten:
Identifizieren jedes Bildes der Gruppe bzw. Gruppen, die einer Komprimierungscodierung unterzogen werden soll, als zugehörig zu einem der dreit Typen I,P,B.

Ermitteln der Gesamtzahl der Bits, die bei der Komprimierungscodierung jeder Bildgruppe verwendet werden soll, anhand einer festgelegten Soll-Bitrate für jede Sequenz.

Nachdem vorzugsweise von der Gesamtanzahl der Bits ein Schätzwert für die Anzahl der zum Codieren der Nebeninformation in jeder Gruppe benötigten Bits subtrahiert worden ist, woraus eine modifizierte Gesamtanzahl der Bits resultiert, von der Gesamtzahl der Bits zur Verwendung bei der Komprimierungscodierung eines Bildes in jeder Gruppe zugeordnet werden, werden vor der Komprimierungscodierung der einzelnen Bilder Zuordnungen für jeden Bildtyp der Gruppe bestimmt.

Es wird hierbei der Schwierigkeitsgrad der Komprimierungscodierung jedes Bildtyps berücksichtigt, sowie die Gesamtzahlen jedes der drei Bildtypen in jeder Gruppe zur Erzeugung von Zuordnungen, die die feste Soll-Bitrate erfüllen.

So stellt dieses bekannte Verfahren innerhalb der Videoebene des MPEG-Datenstroms sicher, dass die komprimierten Daten weiter in mehreren Schichten oder Ebenen angeordnet, in einen mehrschichtigen Systemdatenstrom gepackt sind.

Dies erfolgt jedoch lediglich im Rahmen eines Formates.

Es ist deshalb die Aufgabe der vorliegenden Erfindung ein Verfahren anzugeben, mit dem sich bewegende Videobilder eines gebräuchlichen Formats auf einfache Weise und weitgehend selbständig in Videobilder gleicher oder besserer Qualität aber mit einem anderen Format und reduziertem Datenvolumen wandeln lassen Diese Aufgabe wird mit einem Verfahren nach Anspruch 1 oder 2, bzw. einer Vorrichtung nach Anspruch 13 oder 14 gelöst.

Es wird bei diesem Verfahren nicht nur berücksichtigt, woher die zu bearbeitende Videosequenz stammt, sondern auch wie die speziellen Eigenschaften der durch sie repräsentierten Bilder beschaffen sind.

Desgleichen wird bei diesem Verfahren detailliert abgefragt und hinsichtlich der weiteren Bearbeitung berücksichtigt, wohin die betreffende Videosequenz exportiert werden soll, sowie welche speziellen Eigenschaften diese Ergebnissequenz aufweisen soll, siehe 1.

Selbstverständlich ist bei dem erfindungsgemäßen Verfahren gewährleistet, dass die Qualität der von der jeweiligen Videosequenz repräsentierten Bilder trotz der jeweiligen Bearbeitungsschritte mindestens erhalten bleibt, bzw. besser wird.

Das erfindungsgemäße Verfahren ermöglicht, dass der Import und der Export von Videosequenzen für den Anwender erheblich vereinfacht, damit bedienerfreundlicher wird und schneller realisiert werden kann.

Es ergibt sich somit eine extreme Zeitersparnis durch die Vermeidung von mehrfacher Bildbearbeitung für verschiedene Übertragungsbandbreiten in Verbindung mit dem Internet und unterschiedlichen Datenträgern.

Als Eingabeformate, bzw. Importformate, können unterschiedliche Bildformate angegeben werden, zum Beispiel AVI, MPEG, WMA, WMV, ASF.

Als Ausgabeformate, bzw. Exportformate können zum Beispiel AVI, MPEG, Quicktime 2.0, WMA, WMV oder ASF gewählt werden.

Durch das erfindungsgemäße Verfahren werden die Gruppen – Bilder zuerst analysiert. Bei der Analyse wird schon berücksichtigt, was der Benutzer später mit Videosequenz machen will. Für die Merkmale, die der Benutzer sich wünscht, wird eine Bildoptimierung durchgeführt, die mit der heutigen Technologie bis an die Grenze des Machbaren geht.
So werden die Helligkeit analysiert, der Kontrast, die Eigenschaften der drei Grundfarben Rot, Grün, Blau. Ferner wird ermittelt in welchen Bildteilen eine Bewegung stattfindet und welche speziellen Abschnitte hiervon betroffen sind.
Ein Analysemodul stellt fest, welches Bildformat importiert wurde. Weiter wird ermittelt wie viel Speicherplatz die betreffende Bilddatei umfasst. Ferner werden die Farbwerte und die Farbtiefe des betreffenden Bildes analysiert (RGB, CMYK). Es werden zudem die horizontale und die vertikale Auflösung des Bildes in DPI und die Bit-Tiefe ermittelt. Aufgrund der ermittelten Werte errechnet das Analysemodul den Original-Komprimierungsfaktor bei der Importdatei der betreffenden Videosequenz.
Das Steuermodul ist ein weiteres Modul in dem entsprechend der Vorgabe, bzw. des Ergebnisses, der Analyse vorher ermittelte Werte als Festwerte einprogrammiert sind, wie zum Beispiel Farbwerte, DPI-Werte, Graustufen, Kontrast, Luminanz usw. Hier sind auch die Einstellungen gespeichert, die die bearbeitete Videosequenz aufweisen soll wie zum Beispiel die Höhe und Breite eines Bildes und die Bandbreite. Es ist festgelegt wie viel Bilder pro Sekunde die Videosequenz zeigen soll. Verschiedenste Kriterien der zu erzielenden Bildqualität sind hier gespeichert und das gewünschte Zielformat.
Neben den jeweils wunschgemäß vorliegenden Werten gibt es auch feste, vorprogrammierte Erfahrungswerte.
Diese einprogrammierten Werte wurden beispielhaft für bestimmte Typen oder Arten von Bildern und Bildsequenzen, sowie besonderen Typen von Videosequenzen, rechnerisch ermittelt und stehen gewissermaßen als Bibliothek zur Verfügung. Derzeit umfasst diese Bibliothek eine dreistellige Anzahl von verschiedenen Typen von Bildern, Parametern und Videosequenzen. Sie wird, soweit erforderlich, laufend erweitert. Erforderlich wird eine solche Erweiterung zum Beispiel wenn ein neues Format auf dem Markt erscheint. Das erfindungsgemäße Verfahren wird hierdurch kontinuierlich weiter verbessert und der technischen Entwicklung angepasst.
Im Arbeitsspeicher werden die aufgrund der Analyse und der Einstellwerte vorgegebenen Parameter als Grundlage zur Berechnung eines Weichzeichnungsfaktors verwendet.
Der Weichzeichnungsfaktor wird hierbei erhöht wenn die Auflösung kleiner wird. Zusätzlich wird der harmonische Ablauf der Bewegung zwischen den einzelnen Bildern einer Videosequenz berücksichtigt indem die Helligkeit und der Kontrast der verschiedenen aufeinander folgenden Bilder so geändert werden, dass ein optisch harmonischer Ablauf gewährleistet ist. Auch hier werden Parameter verwendet die aus einer Bibliothek verschiedener Typen und Klassen von möglichen Bildübergängen entnommen werden. Siehe Figur 1

Claims

Verfahren zur Aufbereitung und Komprimierung von Bildern einer Videosequenz mit den folgenden Verfahrensschritten: a) Feststellung des jeweiligen Importformats und der gewünschten Einstellparameter, b) Analyse einer Gruppe von Bildern der Videosequenz c) Berechnung eines geeigneten Weichzeichnungsfaktors, d) Anwendung des betreffenden Weichzeichnungsfaktors auf die in einem Metaformat vorliegende jeweilige Bildgruppe der Videosequenz e) Wandlung der Videosequenz in ein gewünschtes Format.
Verfahren zur Aufbereitung und Komprimierung von Bildern einer Videosequenz mit den folgenden Verfahrensschritten: a) Feststellung des jeweiligen Importformats und der gewünschten Einstellparameter, b) Analyse einer Gruppe von Bildern der Videosequenz c) Berechnung eines geeigneten Weichzeichnungsfaktors, d) Anwendung des betreffenden Weichzeichnungsfaktors auf die in einem Metaformat vorliegende jeweilige Bildgruppe der Videosequenz e) Änderung von Helligkeit und Kontrast nach Kriterien der optischen Fließharmonie f) Wandlung der Videosequenz in ein gewünschtes Format.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Bearbeitungszyklus von der Analyse der Bildgruppe bis zur Anwendung des betreffenden Weichzeichnungsfaktors auf die, in einem Metaformat vorliegende, Bildgruppe bei Bedarf mehrfach durchlaufen wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Weichzeichnungsfaktor in der Anwendung einer und/oder mehrer Filterfunktionen in unterschiedlicher Reihenfolge auf die jeweilige Gruppe der Videosequenz besteht.
Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass bei der Analyse der Videosequenz u.a. folgende Parameter ermittelt werden: a) Helligkeit b) Kontrast c) Farbeigenschaften d) Bewegungsmuster e) Bewegungsabschnitte
Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass folgende Einstellparameter ermittelt werden a) Höhe b) Breite c) Bandbreite d) Bildgeschwindigkeit e) Bildqualität f) Zielformat (Exportformat)
Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass als Filterfunktionen u.a. die folgenden zur Anwendung kommen: a) Bildgröße ändern, b) Bildauflösung ändern, c) Weichzeichnen, d) Rauschen, e) Bildschärfe
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass zum Weichzeichnen als Filtermittel u.a. verwendet werden: a) Motion b) Radial c) Zoom d) Gauß e) Anti Alias f) Mittelwert.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass als Filtermittel u.a. die folgenden Arten von Rauschen verwendet werden: a) Median b) Plus c) Minus
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass als Filtermittel u.a. die folgenden Arten von Rauschen verwendet werden: d) Median e) Plus f) Minus
Verfahren nach Anspruch 7,: dadurch gekennzeichnet, dass als Filtermittel die Bildschärfe nach plus bzw. minus verändert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Bildanalyse u.a. folgende Kriterien berücksichtigt werden: a) Farbwerte, Farbtiefe, b) DPI – Werte, (horizontale und vertikale Auflösung) c) Graustufen, d) Kontrast, e) Luminanz.
Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, dass a) in einem Eingabemodul das jeweilige Importformat festgestellt wird, b) in einem Analysemodul eine Gruppe von Bildern der Videosequenz analysiert wird, c) im Arbeitsspeicher ein spezieller Weichzeichnungsfaktor berechnet wird, d) der betreffende Weichzeichnungsfaktor auf die in einem Metaformat vorliegende jeweilige Bildgruppe der Videosequenz angewendet wird, e) in einer Ausgabeeinheit die jeweilige Bildgruppe in ein gewünschtes Format gewandelt wird.
Vorrichtung zur Durchführung des Verfahrens nach Anspruch 2, dadurch gekennzeichnet, dass a) in einem Eingabemodul das jeweilige Importformat festgestellt wird, b) in einem Analysemodul eine Gruppe von Bildern der Videosequenz analysiert wird, c) im Arbeitsspeicher ein spezieller Weichzeichnungsfaktor berechnet wird, d) der betreffende Weichzeichnungsfaktor auf die in einem Metaformat vorliegende jeweilige Bildgruppe der Videosequenz angewendet wird, e) in einer weiteren Stufe Helligkeit und Kontrast nach Kriterien der optischen Fließharmonie eingestellt werden, f) in einer Ausgabeeinheit die jeweilige Bildgruppe in ein gewünschtes Format gewandelt wird.
Vorrichtung nach einem der Ansprüche 13 oder 14, dadurch gekennzeichnet, dass der Bearbeitungszyklus von der Analyse der Bildgruppe bis zur Anwendung des betreffenden Weichzeichnungsfaktors auf die, in einem Metaformat vorliegende, Bildgruppe bei Bedarf mehrfach durchlaufen wird.
Vorrichtung nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass der Weichzeichnungsfaktor in der Anwendung einer und/oder mehrer Filterfunktionen in unterschiedlicher Reihenfolge auf die jeweilige Gruppe der Videosequenz besteht.