DE60219364T2 - Berechnung von komprimierten videoinformationen - Google Patents

Description

• Die vorliegende Erfindung bezieht sich auf eine Anordnung zum Komprimieren von Videoinformation und auf ein Verfahren zum Betreiben einer derartigen Anordnung.
• Aus der US Patent Nr. 5.508.743 ist eine Kompressionsanordnung bekannt. Es sind mehrere Techniken zum Komprimieren von Videoinformation (Bewegungsbildern) bekannt. Diese Techniken haben zum Ziel, den Betrag an Bandbreite, erforderlich zum Übertragen oder Speichern der komprimierten Videoinformation zu reduzieren, während die Qualität des Bildes, das bei Decodierung der komprimierten Videoinformation erhalten werden kann, maximiert wird.
• MPEG ist eine durchaus bekannte Reihe von Standards zum Darstellen komprimierter Videoinformation. Genau genommen schreibt MPEG nur Decodierungstechniken vor, aber selbstverständlich haben die erlaubten Decodierungstechniken auch Implikationen zum Codieren und Komprimieren. Jeder MPEG Decodierungsstandard unterstützt mehrere Formen von Kompression von Videoinformation. So können beispielsweise einige der Frames in einer Folge von Frames, welche die Videoinformation bilden (sog. P Frames und B Frames) in Termen von Änderungen in Bezug auf benachbarten Frames in der Sequenz codiert werden. Nur ein Teil der Frames (sog. I Frames) sollen unabhängig von anderen Frames codiert werden. Eine andere Kompressionstechnik unterstützt durch MPEG ist das Aufteilen von Frames in rechteckige Blöcke um für jeden Block eine digitale Kosinustransformation der Information in die Blöcke zu berechnen und den Quantisierungspegel verschiedener Elemente der transformierten Information selektiv einzustellen, so dass eine minimale Anzahl sichtbarer Artefakte in dem decodierten Bild auftreten.
• Es wurden bereits mehrere Kompressionstechniken entwickelt um die Bildqualität eines komprimierten Bildes mit einem begrenzten Betrag an Bandbreite, der in Echtzeit decodiert werden kann zu optimieren (mit einer Rate, bei der die Videoinformation wiedergegeben werden muss, beispielsweise 50 oder 60 Frames in der Sekunde), mit einem begrenzten Betrag an Rechenaufwand zum Dekodieren. Das US Patent Nr. 5.508.743 beispielsweise selektiert die Rate, mit der Kompression zwischen Codierungsänderungen zwischen Frames und Codierung unabhängig von Nachbarn anders für verschiedene Blöcke umschaltet. US 5.508.743 beschreibt, dass diese Rate nach abrupten Bildänderungen angepasst werden kann zum reduzieren der Bandbreite, erforderlich für das Signal.
• Diese Art von Techniken gewährleistet, dass Decodierung (Dekompression) in Echtzeit von einer spezifizierten Decodieranordnung, oft von einer Anordnung, speziell zum Decodieren, durchgeführt werden kann. Die Rechenvorgänge, erforderlich zum Komprimieren andererseits können im Grunde von jeder beliebigen Rechenanordnung durchgeführt werden. Dies ändert sich, wenn ein Echtzeitkompressionsvorgang erforderlich ist (Kompression mit der Rate, mit der die Videoinformation eintrifft, beispielsweise mit 50 oder 60 Frames in der Sekunde). In dem Fall soll die Kompressionsanordnung mit einem ausreichenden Betrag an rechnerischer Leistung zum Durchführen von Kompression entworfen werden.
• Es ist erwünscht, Videosignalkompression mit einem programmierbaren Computer durchzuführen, der gleichzeitig für mehrere Aufgaben verwendet werden kann, d.h. nicht nur zum Codieren des Videosignals. In dem Fall soll ein ausreichender Betrag an Rechenmitteln für die Echtzeitkompressionsaufgabe reserviert werden, wobei die restlichen Aufgaben nur den Restteil der Mittel erhalten, oder welche Mittel überhaupt übrig geblieben sind, wenn weniger Mittel zu der betreffenden Zeit für Kompression erforderlich sind, und zwar wegen des Inhaltes der Videoinformation. Dies bedeutet, dass ein sehr kräftiger und dadurch teurer Computer für die Echtzeitkompression erforderlich ist.
• Ein Verfahren zum Übertragen von Bildinformation ist aus einem Artikel von J. Sato u. a., veröffentlicht in "Proceedings of the Twelfth International Conference on Information Networking" (Tokyo, Japan 21.–23. Januar 1998) Seiten 110–115 von der "IEEE Computing society US" am 21. Januar 1998 (EPO Bezugwert XP 10265287; ISBN 0-8186-7225-0) mit dem Titel: "Dynamic rate control methods for continuous media transmission" bekannt. In diesem Artikel wird vorgeschlagen, das Zeitintervall zwischen Paketen, in denen Videodaten übertragen werden, wenn die Paketverlustrate wegen CPU Belastung bei einem Kunden oder in einem Serber eine Schwelle übersteigt, zu steigern. Das gesteigerte Zeitintervall kann den Effekt haben, dass die normale Bildrate bei einem Kunden nicht erreicht werden kann. Es wird vorgeschlagen, das Quellenvideo in dem Fall einem Unterabtastvorgang auszusetzen. Auf diese Weise wird, wenn die CPU stark belastet wird, weniger Information übertragen.
• Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, eine Echtzeitkompressionstechnik zu schaffen, die einen weniger kräftigen Computer erfordert und/oder mehr Raum lässt zum gleichzeitigen Durchführen anderer Aufgaben als nur Echtzeitkompression.
• Die vorliegende Erfindung schafft ein Verfahren zum berechnen komprimierter Videoinformation mit einer Rechenanordnung nach Anspruch 1.
• Auf diese Weise wird die Kompressionsrate in Abhängigkeit von den verfügbaren Rechenmitteln gesteuert. Vorzugsweise wird die Qualität des komprimierten Bildes im Wesentlichen konstant gehalten, und zwar auf Kosten der höheren bandbreite, wenn weniger Rechenmittel verfügbar sind. Dies soll von herkömmlichen Techniken unterschieden werden, die bezwecken, die Vergleichstechnik entsprechend den Bandbreitenbegrenzungen anzupassen (wobei Bandbreite kein Rechenmittel ist). In der letztgenannten Technik wird mehr Kompression, oder sogar eine komplette Unterdrückung von Information normalerweise angewandt, wenn die Grenzen der verfügbaren Bandbreite erreicht sind. Im Gegensatz dazu wird nach der vorliegenden Erfindung weniger Kompression angewandt, wenn die Grenzen der Rechenmittel erreicht sind.
• Vorzugsweise umfasst das Verfahren eine Selektion, abhängig von dem genannten Ausmaß, zwischen Codierung wenigstens eines Teils eines Bildes aus einer Sequenz von Bildern von der Videoinformation, wobei auf alternative Weise ein erster Prozess angewandt wird, mit Hilfe von Informationsänderung gegenüber einem Nachbarbild oder ein zweiter Prozess unabhängig von einem Nachbarbild in der genannten Sequenz, wobei der erste oder zweite Prozess selektiert wird, wenn das genannte Ausmaß darunter oder unter der Schwelle liegt. Auf diese Weise werden in einem MPEG Codierungsprozess mehr I Frames verwendet, wenn zum Codieren wenig Mittel verfügbar sind und mehr P oder B Frames verwendet werden, wenn mehr Mittel verfügbar sind. Selbstverständlich kann eine minimale Anzahl I Frames eingeschlossen werden, unabhängig von den verfügbaren Mitteln, wie entsprechend den MPEG Empfehlungen erforderlich.
• Eine Selektion aus einer unabhängigen Codierung und einer Änderungscodierung, wobei diese letztere mehr Rechenmittel erfordert als die unabhängige Codierung, aber zu einer größeren Kompressionsrate führt als die unabhängige Codierung, ist eine einfache und effektive Art und Weise eine Anpassung von Mitteln zu verwirklichen, die zur Codierung verwendet werden. Selbstverständlich können andere Möglichkeiten einer An passung angewandt werden, wie Anpassung der Auflösung der Frames, die komprimiert werden.
• Das Verfahren kann vorzugsweise in einem Multitasking Computer angewandt werden, wobei in diesem Fall die Kompressionsrate in Abhängigkeit von den bei anderen Aufgaben übrig gelassenen Mitteln selektiert wird, wobei diese Aufgaben von dem Computer durchgeführt werden.
• Ausführungsbeispiele der vorliegenden Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
• 1 ein System zum verarbeiten von Videoinformation,
• 2 Beziehungen zwischen codierten Frames von Videoinformation.
• 1 zeigt ein System mit einem Eingang 10 zum Empfangen von Videoinformation, einem Eingangsspeicher 11, einem Prozessor 12, einem Arbeitsspeicher 14, einem Übertragungsmedium 16 und mit einer Dekompressionsanordnung 18. Der Eingang 10 ist mit dem Eingangsspeicher 11 gekoppelt. Der Prozessor 12 ist mit dem Eingangsspeicher 11, dem Arbeitsspeicher 14 und dem Medium 16 gekoppelt. Die Dekompressionsanordnung 18 ist mit dem Medium 16 gekoppelt.
• Im Betrieb trifft ein Videosignal, das Videoinformation enthält, die eine Sequenz von Frames beschreibt (zweidimensionalen Bildern), beim Eingang 10 ein. Die Videoinformation wird in dem Eingangsspeicher 11 gespeichert. Der Prozessor 12 liest die Videoinformation aus dem Eingangsspeicher 11 und komprimiert die Videoinformation (unter Verwendung des Arbeitsspeichers 14 für Zwischeninformation) und sendet die komprimierte Information zu dem Medium 16. Das Medium 16 ist beispielsweise eine Speicheranordnung (wie eine Festplatte, eine optische Disk, ein Magnetband usw.) oder ein Übertragungskanal wie ein Datenbus oder ein Rundfunkkanal. Die Dekompressionsanordnung 18 liest die komprimierte Videoinformation aus dem Medium 16, dekomprimiert diese Information und gibt sie an einem (nicht dargestellten) Wiedergabeschirm wieder oder sendet sie zur Weiterverarbeitung weiter.
• Kompression erfolgt mit Hilfe des Prozessors 12 beispielsweise zum Erhalten eines komprimierten Signals entsprechend einem MPEG Standard. Innerhalb der Definition der komprimierten Videosignale entsprechend dem MPEG Standard sind verschiedene Typen von Kompression bekannt. Einer derselben ist die Anwendung von Prädiktion des Inhaltes von Frames aus dem Inhalt direkter oder indirekter Nachbarframes. Beispiele die ser Art von Prädiktion sind Einrichtungsprädiktion (vorwärts oder rückwärts, von einem vorhergehenden oder nachfolgenden Frame) und Interpolation zwischen Frames in zwei Richtungen.
• 2 zeigt die Beziehung zwischen verschiedenen Frames entsprechend den MPEG Standards. Die Wiedergabezeit läuft in der horizontalen Richtung. Eine Anzahl aufeinander folgender Frames (oder Bilder) aus dem Videosignal, bezeichnet durch I, B und P, sind nacheinander angegeben. Ein I Frame (oder I Bild) ist ein Frame, das unabhängig von den anderen Frames decodiert werden kann. Ein P Frame ist ein Frame, das durch Bezugnahme auf ein vorhergehendes oder nachfolgendes Frame decodiert wird (oder daraus extrapoliert), meistens einem vorhergehenden Frame. In 2 ist diese Art von Bezugnahme durch Pfeile angegeben, die auf das Frame zeigen, von dem das P Frame während der Decodierung hergeleitet wird. Ein B Frame ist ein Frame, das durch Interpolation zwischen benachbarte Frames in Vorwärts- und Rückwärtsrichtung decodiert wird. In 2 sind die Frames, aus denen das B Frame interpoliert wird, durch Pfeile von dem B Frame angegeben.
• Die Beziehung zwischen P Frames oder B Frames und den Frames, auf die sie sich beziehen, kann beispielsweise in Termen von Verlagerungsvektoren ausgedrückt werden. Der Gedanke dahinter ist, dass der Inhalt der Frames sich von dem einen Frame zu dem anderen Frame nicht stark ändert und wenn, dann nur hauptsächlich durch Verlagerung von gebieten (beispielsweise sich verlagernden Objekten) von der einen Lage in dem einen Frame in eine andere Lage in einem anderen (benachbarten) Frame. Dadurch kann der Inhalt dieses anderen Frames mit Hilfe von Vektoren ausgedrückt werden, welche die Verlagerungen verschiedener Gebiete in dem Frame darstellen und ggf. einer gewissen Korrekturinformation zum Korrigieren von Unzulänglichkeiten einer derartigen Prädiktion (wobei die Verlagerungsvektoren mit Sorgfalt selektiert werden, damit Unzulänglichkeiten minimiert werden).
• Wenn B Frames oder P Frames verwendet werden erden, soll der Prozessor 12 nach Werten der Verlagerungsvektoren suchen, welche die Unzulänglichkeiten der Prädiktion oder Interpolation des B oder P Frames minimieren. Dies erfordert einen Betrag an Rechenaufwand, betreffend beispielsweise die Berechnung von Korrelationskoeffizienten zwischen jedem Gebiet von dem einen Frame und einer Anzahl gebiete von einem anderen Frame. Mehr Aufwand ist erforderlich um B Frames völlig zu benutzen als für P Frames, da im Falle von B Frames Gebiete von zwei benachbarten Frames verglichen werden müssen, statt eines wie bei P Frames.
• Der Prozessor 12 ist vorzugsweise ein Multitasking Prozessor, der imstande ist, eine oder mehrere Aufgaben gleichzeitig mit der Kompressionsaufgabe durchzuführen. Das heißt, er wird gesteuert von einem Betriebssystem, das berechnet, wie viel von den Rechenmitteln des Prozessors von den jeweiligen Aufgaben beansprucht werden und stellt nicht benutzte Rechenmittel für die Aufgaben zur Verfügung. Auf diese Weise teilen sich die jeweiligen Aufgaben Rechenmittel des Prozessors 12. In einem Beispiel der gemeinsamen Benutzung der Rechenmittel können die Aufgaben abwechselnd über den Prozessor 12 laufen, wobei jede Aufgabe einen teil der Verarbeitungszeit erhält. In einem anderen Beispiel kann jede Aufgabe jeweils nur ihren eigen Teil des Arbeitsspeichers 14 (oder des Speichers des örtlichen Prozessors 12) benutzen, um bestimme Koprozessoren usw. zu verwenden.
• Im Grunde können ein fester Betrag an Mitteln. Ausreichend für Kompression, für die Kompressionsaufgabe reserviert werden. Wenn aber die Kompressionsaufgabe auf einen derartigen festen Betrag begrenzt wird, müsste der Betrag an Kompression (der mit dem Betrag an verwendetem Rechenaufwand wächst) auf diese Weise begrenzt werden oder es blieben nur wenig Rechenmittel für die anderen Aufgaben übrig.
• Nach der vorliegenden Erfindung wird dies dadurch umgangen, dass der Betrag an Kompression entsprechend dem Betrag an Rechenmitteln, der für die anderen Aufgaben übrig geblieben ist, angepasst wird. In einer speziellen Ausführungsform wird eine Wahl, ob einerseits ein Frame als ein I Frame codiert werden soll oder andererseits als ein B oder P Frame, unter Ansteuerung eines Signal gemacht, das diesen Betrag an Rechenmitteln darstellt.
• Vorzugsweise wird Kompression von dem Prozessor 12 unter Ansteuerung eines Computerprogramms durchgeführt, das selektiert, ob ein I Frame, ein P Frame oder eine B Frame zur Codierung eines Frames der eintreffenden Videoinformation verwendet wird. Das Programm macht eine Basisselektion von Frames, die als I Frames codiert werden sollen, und zwar auf Basis des Bedarfs an MPEG Codierung, beispielsweise des Bedarfs, alle × Anzahl Millisekunden ein unabhängig codiertes Frame zu haben. Das Programm selektiert ein oder mehrere der restlichen Frames als einerseits I Frames oder andererseits als B oder P Frames zu codieren, und zwar abhängig davon, ob mehr oder weniger als ein minimaler Betrag an Mitteln verfügbar sind. Bei einer weiteren Ausführungsform wird sogar eine Selektion durchgeführt, ob ein Frame als B Frame oder als P Frame codiert werden soll, und zwar abhängig von den verfügbaren Mitteln, wobei ein P Frame (Einrichtungsprädiktion) selektiert wird, wenn relativ wenig Mittel verfügbar sind.
• Auf diese Weise wird eine höhere Kompressionsrate verwirklicht, wenn die anderen Aufgaben mehr Mittel frei lassen und es wird eine niedrigere Kompressionsrate verwirklicht, wenn die anderen Aufgaben weniger Mittel frei lassen. Im Grunde kann die andere Aufgabe von jeder beliebigen Art sein, die von dem Prozessor 12 durchgeführt werden kann, einschließlich möglicherweise anderer Bildkompressionsaufgaben. In einer Ausführungsform braucht es überhaupt keine andere Aufgabe zu geben, wobei der Betrag an Mitteln von der Kompressionsaufgabe übrig gebliebene Mittel sind, und zwar abhängig von der Art des zu komprimierenden Videosignals.
• Auf diese Weise kann die Bildqualität des komprimierten Bildes mehr oder weniger konstant gehalten werden mit einem variablen Betrag an Rechenmitteln, sei es auf Kosten einer variablen Verwendung von Bandbreite in dem Medium 16.
• Es dürfte einleuchten, dass die vorliegende Erfindung auf jede Art von Prozessor 12 angewandt werden kann, der imstande ist, eine Kompressionsaufgabe durchzuführen. Vorzugsweise ist der Prozessor 12 ein Multitasking Prozessor 12, wie ein MIPS Prozessor oder ein VLIW Prozessor, aber die Erfindung kann auf mehr spezialisierte Prozessoren, ebenso wie Signalprozessoren angewandt werden.
• Obschon die vorliegende Erfindung in Termen der Selektion, ob ggf. ein Frame unabhängig von anderen Frames oder in Termen von Änderungen an einem oder mehreren Nachbarframes unter Ansteuerung eines die Verfügbarkeit von Mitteln darstellenden Signals codiert werden soll, erläutert worden ist, dürfte es einleuchten, dass die Anpassung an die verfügbaren Mittel auch auf andere Aspekte der Kompression angewandt werden kann. Beispielsweise auf Anpassung der Auflösung, mit der die Videoinformation codiert wird.

Claims (10)

1. Verfahren zum Berechnen komprimierter Videoinformation mit einer Rechenanordnung (18), wobei das Verfahren das automatische Selektieren eines Betrags an Kompression umfasst, die in der Rechenanordnung (18) angewandt wird, und zwar unter Ansteuerung eines Ausmaßes davon ein Rechenmittel für Kompression als in der Rechenanordnung (18) verfügbar detektiert wird, wobei eine mehr oder weniger mittelintensive Kompressionstechnik selektiert wird, wobei der Betrag an Kompression verringert und vergrößert wird, wenn das Ausmaß unterhalb bzw. über einer Schwelle liegt.
2. Verfahren nach Anspruch 1, wobei das genannte Selektieren des Betrags an Kompression das Selektieren umfasst, und zwar abhängig von dem genannten Ausmaß, zwischen der Codierung wenigstens eines Teils eines Frames aus einer Sequenz von Frames aus der Videoinformation, wobei auf alternative Weise ein erster Prozess angewandt wird, und zwar durch Änderung von Information gegenüber einem Nachbarframe oder ein zweiter Prozess, unabhängig von einem Nachbarframe in der genannten Sequenz, wobei der erste oder der zweite Prozess selektiert wird, wenn das genannte Ausmaß unterhalb bzw. über der Schwelle liegt.
3. Verfahren nach Anspruch 1 oder 2, wobei das genannte Selektieren eines Betrags an Kompression das Selektieren umfasst, und zwar abhängig von dem genannten Ausmaß, zwischen der Codierung eines Frames aus einer Sequenz von Frames aus der Videoinformation, und zwar durch alternative Anwendung eines ersten Prozesses durch Interpolation zwischen Nachbarframes in der Vorwärts- und Rückwärtsrichtung oder eines zweiten Prozesses durch Änderung von Information gegenüber einem einzigen Nachbarframe, wobei der erste oder der zweite Prozess selektiert wird, wenn das genannte Ausmaß unterhalb bzw. über der Schwelle liegt.
4. Verfahren nach Anspruch 1, wobei der Betrag an Kompression derart selektiert wird, dass die Qualität des komprimierten Bildes nach wie vor konstant ist, und zwar auf Kosten einer größeren Bandbreite, wenn weniger Rechenmittel verfügbar ist.
5. Rechenanordnung (18), vorgesehen zum Komprimieren von Videoinformation, wobei die Rechenanordnung (18) dazu vorgesehen ist, einen Betrag an Kompression anzupassen, und zwar unter Ansteuerung eines Ausmaßes davon ein Rechenmittel für Kompression als in der Rechenanordnung (18) verfügbar detektiert wird, wobei eine mehr oder weniger mittelintensive Kompressionstechnik selektiert wird, wobei der Betrag an Kompression verringert und vergrößert wird, wenn das Ausmaß unterhalb bzw. über einer Schwelle liegt.
6. Rechenanordnung (18) nach Anspruch 5, vorgesehen zum gleichzeitigen Durchführen einer Anzahl Aufgaben, wobei jede Aufgabe einen Anteil des Rechenmittels der Anordnung (18) benutzt, wobei die Aufgaben die genannte Kompression von Videoinformation umfasst und eine oder mehrere restliche Aufgaben, wobei die Rechenanordnung (18) dazu vorgesehen ist, die Kompressionstechnik zu wählen, und zwar in Abhängigkeit von einer Größe eines restlichen Anteils des Rechenmittels, der nicht von einer oder mehreren restlichen Aufgaben verwendet worden ist.
7. Rechenanordnung (18) nach Anspruch 5, vorgesehen zum Selektieren des Betrags an Kompression durch Selektion zwischen Codierung wenigstens eines Teils eines Frames aus einer Sequenz von Frames aus der Videoinformation, wobei auf alternative Weise ein erster Prozess angewandt wird mit Hilfe einer Änderung der Information gegenüber einem Nachbarframe in der genannten Sequenz oder ein zweiter Prozess, unabhängig von Nachbarframes in der genannten Sequenz, wobei die Rechenanordnung (18) Mittel aufweist zum Selektieren zwischen dem ersten und dem zweiten Prozess, und zwar unter Ansteuerung eines Signals, das das genannte Ausmaß darstellt, wobei der erste oder der zweite Prozess selektiert wird, wenn das genannte Ausmaß unterhalb bzw. über dem Schwellenpegel liegt.
8. Rechenanordnung (18) nach Anspruch 5 oder 7, vorgesehen zum Selektieren des Betrags an Kompression durch Selektion, und zwar abhängig von dem genannten Ausmaß, zwischen Codierung eines Frames aus einer Sequenz von Frames aus der Videoinfor mation, und zwar durch alternative Anwendung eines ersten Prozesses mit Hilfe einer Interpolation zwischen benachbarte Frames in der Vorwärts und Rückwärtsrichtung oder eines zweiten Prozesses durch Änderung von Information gegenüber einem einzigen Nachbarframe, wobei der erste oder der zweite Prozess selektiert wird, wenn das genannte Ausmaß unterhalb bzw. über der Schwelle liegt.
9. Rechenanordnung (18) nach Anspruch 5, wobei der Betrag an Kompression derart selektiert wird, dass die Qualität des komprimierten Bildes konstant ist, und zwar auf Kosten einer größeren bandbreite, wenn weniger Rechenmittel verfügbar ist.
10. Computerprogrammprodukt mit einem Computerprogramm, vorgesehen um dafür zu sorgen, dass eine Rechenanordnung (18) Videoinformation komprimiert, wobei die Kompression dazu vorgesehen ist, einen Betrag an Kompression anzupassen, und zwar unter Ansteuerung eines Ausmaßes, für das ein Rechenmittel zur Kompression als in der Rechenanordnung (18) verfügbar detektiert wird, wobei eine mehr oder weniger mittelintensive Technik selektiert wird, wobei der Betrag an Kompression abnimmt oder zunimmt, wenn das Ausmaß unterhalb oder über einer Schwelle liegt.