DE112005003791T5

DE112005003791T5 - Ein neues, auf benutzersensitive Informationen anpassungsfähiges Videotranscodierungsrahmenwerk

Info

Publication number: DE112005003791T5
Application number: DE112005003791T
Authority: DE
Inventors: Ruijia Li; Chun Xi Chen
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2005-12-28
Filing date: 2005-12-28
Publication date: 2008-09-25
Also published as: WO2007073616A8; US20090268808A1; GB2456593A; GB2456593B; WO2007073616A1; GB0806849D0; US20140079114A1; CN101346997A; US8406290B2; US9247244B2; CN101346997B

Abstract

Ein Verfahren, aufweisend:
Definieren eines ersten Teils eines Frames als sensitive Informationen enthaltend, wobei der Frame den ersten Teil und einen zweiten Teil umfasst;
Transcodieren des ersten Teils des Frames mit einer höheren Bitrate als den zweiten Teil des Frames basierend auf der für die Übertragung des transcodierten Frames verfügbaren Bandbreite.

Description

HINTERGRUND
Hintergrund
Transcodieren bezieht sich auf die Konvertierung einer digitalen Datei in eine andere. Die Konvertierung umfasst, ist allerdings nicht beschränkt auf, Änderungen des Formats, der Auflösung und der Bitrate. In Video-on-Demand-Anwendungen kann ein Host-Computer auf eine Benutzeranfrage antworten, eine gespeicherte Videodatei zu sehen. Der Host-Computer kann die gespeicherte Videodatei auf ein geeignetes Videoformat und Bitrate für die Übertragung über ein Netz zum Benutzer transcodieren. Das transcodierte Format kann mit der Plattform des Benutzers kompatibel sein, z. B. einem Fernseher oder einem PC. Der Host-Computer kann ebenfalls die Übertragungsbitrate anpassen, um die Anforderung an die Bandbreite des den Host und den Benutzer verbindenden Netzes zu erfüllen.
Die Netzverbindung zwischen dem Host und dem Benutzer kann manchmal instabil oder überfüllt sein. Eine Videoübertragung über eine Funkverbindung, wie z. B. Wireless Fidelity (WiFi)-Netz, ist insbesondere anfällig im Hinblick auf Datenverlust und Fehler. Deshalb setzt der Transcoder auf dem Host normalerweise die Übertragungsbitrate herab, um sich gegen solche Netzbedingungen abzusichern. Jedoch verschlechtert typischer Weise eine herabgesetzte Bitrate die Qualität des vom Benutzer empfangenen Videos.
KURZE BESCHREIBUNG DER ABBILDUNGEN
Die Ausführungsformen sind beispielhaft und nicht einschränkend in den Figuren der begleitenden Abbildungen dargestellt, in denen die gleichen Bezugszeichen ähnliche Elemente anzeigen. Es sollte beachtet werden, dass Verweise auf „eine" oder „die eine" Ausführungsform in dieser Offenlegungsschrift nicht notwendigerweise auf dieselbe Ausführungsform verweisen und dass solche Verweise stets mindestens eine bedeuten.
1 ist ein Blockdiagramm einer Ausführungsform eines Videosystems.
2 ist ein Beispiel einer Framesequenz, die drei Frames enthält.
3 ist ein Blockdiagramm eines statischen Modells des Videosystems.
4 ist ein Blockdiagramm eines dynamischen Modells des Videosystems.
5 ist ein Flussdiagramm, das Operationen eines Transcoders des Videosystems zeigt.
DETAILLIERTE BESCHREIBUNG
1 zeigt ein Blockdiagramm einer Ausführungsform eines Videosystems 10. Das Videosystem 10 kann ein PC, ein File-Server oder jedes Rechengerät sein, das Fähigkeiten zum Transcodieren besitzt. In einer Ausführungsform kann das Videosystem 10 ein Video-on-Demand (VOD)-System sein, das einen Video-Stream an einen Endbenutzer über ein Netz als Antwort auf eine Benutzeranfrage überträgt. Das Videosystem 10 kann an einen Speicher 12 über eine Speicherschnittstelle 17 und einen Speicherpfad 18 gekoppelt sein. Das Videosystem 10 kann ebenfalls an ein Netz 15 über eine Netzschnittstelle zum Übertragen von Video-Streams an einen Endbenutzer gekoppelt sein. Das Netz 15 kann ein kabelgebundenes (wire-lined), ein kabelloses Netz oder eine Kombination der beiden sein. Das Netz 15 kann ein Local Area Network, ein Wide Area Network, das Internet oder eine Kombination aller Obigen sein. Der Speicher 12 kann eine Kombination von einem oder mehreren flüchtigen oder nichtflüchtigen Speichergeräten oder jedes maschinenlesbare Medium sein. Ein maschinenlesbares Medium umfasst z. B. Nur-Lese-Speicher (ROM); Direktzugriffsspeicher (RAM); magnetische Plattenspeichermedien; optische Speichermedien; Flash-Speichergeräte; biologische elektrische, mechanische Systeme; elektrische, optische, akustische oder eine andere Form von sich ausbreitenden Signalen (z. B. Trägerwellen, Infrarotsignale oder digitale Signale).
Der Speicher 12 kann eine Vielzahl von Videodateien, einschließlich einer Media-Stream-Datei 123, in einem oder mehreren Videoformaten speichern. Die Media-Stream-Datei 123 kann eine Abfolge von Frames enthalten. Ein Teil von jedem Frame kann Informationen von besonderem Interesse oder benutzersensitive Informationen enthalten. So zeigt 2 z. B. drei aufeinanderfolgende Frames, von denen jeder eine rennende Person und zwei sich bewegende Fahrzeuge enthält. Der Benutzer kann stärker an der Person als an den Fahrzeugen interessiert sein und deshalb genau auf die Details der Person achten. Somit kann der Benutzer die Person als ein Objekt kennzeichnen, das benutzersensitive Informationen enthält. Auf die die Person enthaltenden Bereiche, wie durch die Ellipsen 21–23 angezeigt, wird als Bereiche von sensitiven Informationsteilen (sensitive information Parts, SIP) verwiesen. Auf Bereiche außerhalb der SIP-Bereiche wird als Nicht-SIP-Bereiche verwiesen.
Verweisend auf 1 kann das Videosystem 10 in einer Ausführungsform eine Transcoding-Einheit 16 haben, die einen Transcoder 110, einen Generator für sensitive Informationsteile (SIP) 120 und einen optionalen SIP-Dateianalysator 130 aufweist, um eine einseitige Ratenkontrolle (biased rate control) auf die Videodateien anzuwenden. In einer Ausführungsform kann der Transcoder 110 dem SIP-Bereich mehr Bits pro Makroblock (z. B. ein 16-Pixel mal 16-Pixel-Block) zuweisen, als dem Nicht-SIP-Bereich, wodurch die Qualität des SIPs und des Benutzererlebnisses erhöht wird. Der SIP-Generator 120 erzeugt die SIP-Informationen für jeden Frame. Die SIP-Informationen können gleichzeitig mit der Übertragung des transcodierten Streams oder statisch in eine SIP-Konfigurationsdatei 125 erzeugt werden, die im Speicher 12 gespeichert ist. Wenn die SIP-Informationen offline erzeugt und in der SIP-Konfigurationsdatei 125 gespeichert sind, muss das Format der SIP-Konfigurationsdatei nicht unmittelbar kompatibel mit dem Transcoder 110 sein. Der SIP-Dateianalysator 130 kann dazu verwendet werden, das Dateiformat für den Transcoder 110 zu konvertieren, um jede Formatinkompatibilität aufzulösen.
Der Transcoder 110, der SIP-Generator 120 und der SIP-Dateianalysator 130 sind in 1 als Hardware-Vorrichtungen gezeigt, die durch Application-Specific Intergrated Circuit (ASIC), Field Programmable Gate Array (FPGA) oder jede für die Implementierung von logischen Vorrichtungen geeignete Hardware-Technologie implementiert werden können. Diese Hardware-Vorrichtungen können durch einen Direktspeicherzugriff (DMA)-Controller 13 direkten Zugriff auf die Dateien im Speicher 12 haben. Alternativ können ein oder mehrere Transcoder 110, SIP-Generator 120 und SIP-Dateianalysator 130 als Softwaremodule implementiert werden, die auf einem maschinenlesbaren Medium gespeichert sind, das vorher definiert wurde. Diese Softwaremodule können Anweisungen enthalten, die von einem Prozessor 14 ausführbar sind.
In einer statischen Ausführungsform kann der SIP unter Anweisungen eines Benutzers erzeugt werden. So kann z. B. ein Benutzer manuell einen oder mehrere SIP-Bereiche in jedem Frame markieren und jedem der markierten Bereiche eine Priorität zuweisen. Der SIP- Generator 120 kann die Koordinaten von jedem markieren Bereich erzeugen und sie in der SIP-Konfigurationsdatei 125 speichern. Als Alternative kann der Benutzer den SIP im Frame markieren, in dem der SIP zuerst erscheint. Der SIP-Generator 120 kann die markierten Informationen verwenden, um automatisch die SIPs in den nachfolgenden Frames zu lokalisieren. Verweisend auf 2 kann ein Benutzer z. B. manuell die Ellipsen 21–23 markieren, um anzuzeigen, dass die rennende Person die sensitiven Informationen enthält. Der Benutzer kann alternativ nur die Ellipse 21 markieren. Der SIP-Generator 120 kann die Merkmale des Objekts (der rennenden Person) oder den in der Ellipse 21 enthaltenen Bereich analysieren und nach Objekten oder Bereichen mit denselben oder ähnlichen Merkmalen in den nachfolgenden Frames suchen. Der SIP-Generator 120 kann Standardfunktionen verwenden, wie die im Moving Picture Expert Group-4 (MPEG-4) für die Analyse und die Suche beschriebenen. Wenn der SIP-Generator 120 ein Objekt oder einen Bereich lokalisiert, kann der SIP-Generator eine Markierung in Form einer Ellipse oder jeder anderen passenden Form erzeugen, um es/ihn einzukreisen. Die Koordinaten der Markierungen, seien sie durch den Benutzer oder durch den SIP-Generator 120 erzeugt, können in der SIP-Konfigurationsdatei 125 gespeichert werden. Die SIP-Konfigurationsdatei 125 kann jeden SIP in der Form eines Elements speichern, das eine Framesequenznummer, eine SIP-Nummer, eine SIP-Priorität und die Form und die Koordinaten der den SIP einkreisenden Markierung umfasst.
Der Benutzer kann alternativ dem SIP-Generator 120 anzeigen, dass ein Objekt (z. B. die rennende Person) der SIP ist, ohne das Objekt einzukreisen. In diesem Szenario kann der Benutzer die Merkmale des Objekts (z. B. ein Objekt mit einer bestimmten Farbe oder mit einem bestimmten Seitenverhältnis) für den SIP-Generator 120 beschreiben. Der Benutzer kann alternativ einen Bereich mit festgelegten Koordinaten und festgelegter Form als den SIP-Bereich angeben. Der SIP-Generator 120 kann den Anweisungen des Benutzers folgen, um die Objekte oder die Bereiche in allen Frames zu lokalisieren.
Der SIP-Generator 120 kann ebenfalls den SIP ohne die Anweisungen des Benutzers oder mit minimaler Angabe vom Benutzer automatisch lokalisieren. Ein Benutzer kann z. B. eine Priorität für jedes der oft erscheinenden Objekte bereitstellen. Der SIP-Generator 120 kann die Objekte in einer Framesequenz vergleichen und die Objekte, die am häufigsten erscheinen und/oder die höchsten Prioritäten haben, als den SIP kennzeichnen. Alternativ kann der SIP-Generator 120 die Objekte in einer Framesequenz vergleichen und die Objekte, die an einem Ort, der am nächsten zur Mitte des Frames liegt, erscheinen, als den SIP kennzeichnen.
In einem anderen Szenario kann der SIP-Generator 120 die sich schneidenden Bereiche in einer Framesequenz vergleichen und die Bereiche, die am häufigsten erscheinen, als den SIP kennzeichnen.
In einigen Ausführungsformen kann das Videosystem 10 aus 1 durch ein statisches Modell oder ein dynamisches Modell implementiert werden. 3 und 4 veranschaulichen jeweils Ausführungsformen eines statischen Modells und eines dynamischen Modells des Videosystems 10. In beiden der statischen und dynamischen Modelle kann der Transcoder 110 eine Media-Stream-Datei 123 basierend auf den SIP-Informationen und der verfügbaren Bandbreite des Netzes 15 transcodieren. Der Transcoder 110 kann eine unterschiedliche Bitrate für die SIP- und die Nicht-SIP-Bereiche bestimmen, um sicherzustellen, dass die Qualität des SIPs nicht durch die beschränkte Bandbreite beeinträchtigt wird. Der SIP-Bereich kann mit einer höheren Bitrate als der Nicht-SIP-Bereich übertragen werden. Wenn die verfügbare Bandbreite niedrig oder das Netz 15 instabil ist, kann der Transcoder 110 die Bitrate der Übertragung des Nicht-SIP-Bereichs reduzieren, jedoch die Bitrate für die Übertragung des SIP-Bereichs beibehalten. Der Transcoder 110 kann alternativ die Bitrate beider der SIP- und der Nicht-SIP-Bereiche reduzieren, jedoch eine höhere Bitreduktionsrate auf den Nicht-SIP-Bereich anwenden. Um mehr Bandbreite für die SIPs mit höherer Priorität zu erhalten, können einige der SIP-Bereiche mit niedriger Priorität verworfen werden. D. h., dass die SIP-Bereiche mit niedriger Priorität mit derselben Bitrate wie die Nicht-SIP-Bereiche kodiert werden können. Somit kann sich das Videosystem 10 an unterschiedliche Netzzustände anpassen und effizient die Bandbreite nutzen, um die sensitiven Informationen in hoher Qualität zu liefern.
Im statischen Modell aus 3 wird die SIP-Konfigurationsdatei 125 vor der Übertragung des transcodierten Videos erzeugt. Die SIP-Konfigurationsdatei 125 kann von einer anderen Plattform importiert werden und muss nicht ein vom Transcoder 110 unmittelbar interpretierbares Format haben. Der SIP-Dateianalysator 130 kann die SIP-Konfigurationsdatei 125 lesen und das Dateiformat in ein anderes mit dem Transcoder 110 kompatibles Format konvertieren. Der Transcoder 110 kann dann einen transcodierten Stream aus einer Media-Stream-Datei 123 erzeugen, basierend auf dem von dem SIP-Dateianalysator 130 empfangenen SIP und dem Bandbreitenstatus des Netzes 15.
Im dynamischen Modell aus 4 kann auf die SIP-Konfigurationsdatei 125 und den SIP-Dateianalysator 130 verzichtet werden. Der SIP-Generator 120 erzeugt die SIP-Informationen gleichzeitig mit den Transcodierungsoperationen und sendet die SIPs direkt an den Transcoder 110. In einer Ausführungsform kann der Transcoder 110 den Bandbreitenstatus des Netzes 15 in den SIP-Generator 120 einspeisen, was dem SIP-Generator erlaubt, die Menge der auf der Grundlage des Netzzustandes erzeugten SIPs dynamisch anzupassen.
5 ist ein Flussdiagramm, das ein Beispiel der Arbeitsprozesse eines Transcoders in einigen Ausführungsformen, z. B. den Transcoder 110 aus 1, veranschaulicht. Im Block 51 empfängt der Transcoder 110 den Bandbreitenstatus, der die verfügbare Bandbreite zur Übertragung des transcodierten Videos angibt. Übereinstimmend mit dem statischen Modell aus 3 empfängt der Transcoder 110 im Block 52 die SIP-Informationen vom SIP-Dateianalysator 130. In Übereinstimmung mit dem dynamischen Modell aus 4 empfängt der Transcoder 110 alternativ die SIP-Informationen vom SIP-Generator 120 und leitet den Bandbreitenstatus an den SIP-Generator weiter. Obwohl die gezeigten SIP-Informationen nach dem Empfang des Bandbreitenstatus empfangen werden, kann der Empfang in jeder beliebigen Reihenfolge sein und kann gleichzeitig erfolgen. Basierend auf dem Bandbreitenstatus legt der Transcoder 110 im Block 53 die Bitrate für das Transcodieren der SIP- und der Nicht-SIP-Bereiche fest. Der Transcoder 110 kann ebenfalls festlegen, ob die SIPs mit niedriger Priorität verworfen werden. Im Block 54 bildet der Transcoder 110 Makroblöcke, die die markierten Bereiche oder Objekte annähern. Im Block 55 transcodiert der Transcoder 110 jeden der Makroblöcke in den SIP-Bereichen mit einer höheren Bitrate als die in den Nicht-SIP-Bereichen. Im Block 56 übermittelt der Transcoder den transcodierten Stream an einen Endbenutzer über das Netz 15.
In der vorhergehenden Spezifikation wurden bestimmte Ausführungsformen beschrieben. Es ist jedoch klar, dass unterschiedliche Modifikationen und Änderungen hieran gemacht werden können, ohne dass von dem erweiterten Geist und Rahmen der angefügten Ansprüche abgewichen wird. Die Beschreibung und die Abbildungen sind entsprechend eher in einem beschreibenden als in einem restriktiven Sinn zu betrachten.
ZUSAMMENFASSUNG
Ein Videosystem umfasst einen Generator für sensitive Informationen zur Erzeugung einer Definition von Bereichen von sensitiven Informationsteilen (SIP). Das Videosystem umfasst ebenfalls einen Transcoder zum Transcodieren der SIP-Bereiche mit einer höheren Bitrate als Nicht-SIP-Bereiche in den Frames basierend auf einer für Übermittlung der transcodierten Frames verfügbaren Bandbreite. Die SIP-Bereiche werden statisch oder dynamisch erzeugt. Das Videosystem passt sich an unterschiedliche Netzzustände an und verwendet effizient die Bandbreite, um die sensitiven Informationen in hoher Qualität zu liefern und das Benutzererlebnis zu verbessern.

Claims

Ein Verfahren, aufweisend: Definieren eines ersten Teils eines Frames als sensitive Informationen enthaltend, wobei der Frame den ersten Teil und einen zweiten Teil umfasst; Transcodieren des ersten Teils des Frames mit einer höheren Bitrate als den zweiten Teil des Frames basierend auf der für die Übertragung des transcodierten Frames verfügbaren Bandbreite.
Verfahren nach Anspruch 1, wobei das Definieren eines ersten Teils eines Frames des Weiteren aufweist: Definieren eines oder mehrerer Elemente des ersten Teils des Frames als sensitive Informationen enthaltend, wobei das Element eines von einem Bereich oder einem Objekt ist.
Verfahren nach Anspruch 2, des Weiteren aufweisend: Speichern der Koordinaten eines jeden der Elemente in einer Datei.
Verfahren nach Anspruch 2, wobei das Definieren eines oder mehrerer Elemente des ersten Teils des Frames des Weiteren aufweist: Transcodieren von Elementen mit niedriger Priorität mit derselben Bitrate wie den zweiten Teil des Frames, wenn sich die verfügbare Bandbreite verringert.
Verfahren nach Anspruch 1, wobei das Transcodieren des Weiteren aufweist: Herabsetzen der Bitrate des zweiten Teils des Frames unter Beibehaltung der Bitrate des ersten Teils des Frames, wenn sich die verfügbare Bandbreite verringert.
Verfahren nach Anspruch 1, wobei das Transcodieren des Weiteren aufweist: stärkeres Reduzieren der Bitrate des zweiten Teils des Frames als der Bitrate des ersten Teils des Frames, wenn sich die verfügbare Bandbreite verringert.
Verfahren nach Anspruch 1, wobei das Definieren eines ersten Teils eines Frames des Weiteren aufweist: Vergleichen von Objekten in einer Framesequenz; und Definieren des ersten Teils als die Objekte umfassend, die am häufigsten in der Framesequenz erscheinen.
Verfahren nach Anspruch 1, wobei das Definieren eines ersten Teils eines Frames des Weiteren aufweist: Vergleichen von Objekten in einer Framesequenz; und Definieren des ersten Teils als die Objekte umfassend, die an einem am weitesten zentralen Ort der Framesequenz erscheinen.
Eine Vorrichtung, aufweisend: einen Generator für sensitive Informationen zur Erzeugung einer Definition eines ersten Teils eines Frames als sensitive Informationen enthaltend, wobei der Frame den ersten Teil und einen zweiten Teil umfasst; einen Transcoder zum Transcodieren des ersten Teils des Frames mit einer höheren Bitrate als den zweiten Teil des Frames basierend auf der für die Übertragung des transcodierten Frames verfügbaren Bandbreite.
Vorrichtung nach Anspruch 9, des Weiteren aufweisend: Speicher zum Speichern einer Konfigurationsdatei, die eine Koordinate eines Elements im ersten Teil des Frames umfasst, wobei das Element eines von einem Objekt und einem Bereich ist.
Vorrichtung nach Anspruch 9, des Weiteren aufweisend: Speicher zum Speichern einer Konfigurationsdatei, die eine Priorität eines Elements im ersten Teil des Frames umfasst, wobei das Element eines von einem Objekt und einem Bereich ist.
Vorrichtung nach Anspruch 11, des Weiteren aufweisend: einen Dateianalysator zum Konvertieren eines Formats der Konfigurationsdatei in ein anderes mit dem Transcoder kompatibles Format.
Vorrichtung nach Anspruch 9, wobei der Generator für sensitive Informationen die Definition des ersten Frames an den Transcoder sendet und einen Bandbreitenstatus vom Transcoder empfängt.
Ein maschinenlesbares Medium, Anweisungen darin umfassend, die, wenn sie ausgeführt werden, eine Maschine dazu veranlassen: einen ersten Teil eines Frames als sensitive Informationen enthaltend zu definieren, wobei der Frame den ersten Teil und einen zweiten Teil umfasst; den ersten Teil des Frames mit einer höheren Bitrate als den zweiten Teil des Frames basierend auf der für die Übertragung des transcodierten Frames verfügbaren Bandbreite zu transcodieren.
Maschinenlesbares Medium nach Anspruch 14, wobei das Definieren eines ersten Teils eines Frames des Weiteren Anweisungen aufweist, die anwendbar sind, um: einen oder mehrere Elemente des ersten Teils des Frames als sensitive Informationen enthaltend zu definieren, wobei das Element eines von einem Bereich oder einem Objekt ist.
Maschinenlesbares Medium nach Anspruch 15, wobei das Definieren eines oder mehrerer Elemente des ersten Teils des Frames des Weiteren Anweisungen aufweist, die anwendbar sind, um: Einträge mit niedriger Priorität mit derselben Bitrate wie den zweiten Teil des Frames zu transcodieren, wenn sich die verfügbare Bandbreite verringert.
Maschinenlesbares Medium nach Anspruch 14, des Weiteren Anweisungen aufweisend, die anwendbar sind, um: die Bitrate des zweiten Teils des Frames unter Beibehaltung der Bitrate des ersten Teils des Frames herabzusetzen, wenn sich die verfügbare Bandbreite verringert.
Maschinenlesbares Medium nach Anspruch 14, des Weiteren Anweisungen aufweisend, die anwendbar sind, um: die Bitrate des zweiten Teils des Frames stärker zu reduzieren als die Bitrate des ersten Teils des Frames, wenn sich die verfügbare Bandbreite verringert.
Maschinenlesbares Medium nach Anspruch 14, wobei das Definieren eines ersten Teils eines Frames des Weiteren Anweisungen aufweist, die anwendbar sind, um: Objekte in einer Framesequenz zu vergleichen; und den ersten Teil als die am häufigsten in der Framesequenz erscheinenden Objekte enthaltend zu definieren.
Maschinenlesbares Medium nach Anspruch 14, wobei das Definieren eines ersten Teils eines Frames des Weiteren Anweisungen aufweist, die anwendbar sind, um: Objekte in einer Framesequenz zu vergleichen; und den ersten Teil als die an einem am weitesten zentralen Ort erscheinenden Objekte der Framesequenz enthaltend zu definieren.