DE102021118216A1

DE102021118216A1 - Verfahren und Vorrichtungen zum Entwurf einer Bitraten-Leiter für Videostreaming

Info

Publication number: DE102021118216A1
Application number: DE102021118216.6A
Authority: DE
Inventors: Matthias Narroschke; Andreas Kah; Wolfgang Ruppel
Original assignee: Hochschule Rheinmain Koerperschaft Des Oeffentlichen Rechts
Current assignee: Hochschule Rheinmain Koerperschaft Des Oeffentlichen Rechts
Priority date: 2021-07-14
Filing date: 2021-07-14
Publication date: 2023-01-19
Also published as: WO2023285535A1

Abstract

Die vorliegende Erfindung betrifft Verfahren und Vorrichtungen zum Bestimmen eines Satzes von Qualitätsstufen und zum Codieren von Repräsentationen eines Videoabschnitts. Das Bestimmen eines Satzes von Qualitätsstufen für die jeweiligen zugehörigen Repräsentationen eines Videoabschnitts nimmt bei der Erstellung besondere Rücksicht auf die resultierende subjektive Qualität. Diese wird vor allem durch qualitätsbasierende Parameter beschrieben. Diese sind die oberste und unterste Qualität und die Qualitätsstufe zwischen den einzelnen Repräsentationen.

Description

Die vorliegende Erfindung betrifft Verfahren und Vorrichtungen zum Bereitstellen von Qualitätsstufen für die Bestimmung einer Bitraten-Leiter für Videostreaming.
Bei der Übertragung von Videodaten hängt die Qualität des Videos von der Bitrate ab. Die Datenmenge, die notwendig ist, um auch ein Video geringer Laufzeit abzubilden kann so groß sein, dass Schwierigkeiten bei der Datenübertragung über Netzwerke limitierter Bandbreite auftreten können. Beispiele hierfür sind die Ausstrahlung eines digitalen Fernsehprogramms und Bild-/Videoübertragung über das Internet oder mobile Netzwerke.
Trotz der üblichen Komprimierung von Bild- bzw. Videodaten, bevor sie gespeichert oder über ein Netzwerk übertragen werden, kann die Datenmenge einer Qualität des Videos oftmals nicht ausreichend für Netzwerke limitierter Bandbreite reduziert werden.
Streamingdienste stellen daher üblicherweise mehrere Versionen desselben Videos mit jeweils unterschiedlichen Qualitätsstufen, zur Verfügung. Diese unterschiedlichen Versionen desselben Videos werden auch Repräsentationen eines Videos genannt. Sie haben voneinander unterschiedliche Bitraten. Die unterschiedlichen Bitraten werden durch unterschiedliche Einstellungen der Codierparameter beim Encoder erreicht. Beispielsweise kann der Quantisierungsschritt für unterschiedliche Repräsentationen unterschiedlich eingestellt werden.
Da die angestrebte Bildqualität möglichst hoch sein sollte, ist es somit erstrebenswert, die Auswahl der Bitrate an die zur Verfügung stehende Bandbreite des Nutzers anzupassen, ohne dabei signifikante Verluste der Bildqualität hinnehmen zu müssen. Es ist somit Aufgabe der vorliegenden Erfindung, Qualitätsstufen für eine Bitratenleiter zur Verfügung zu stellen, welche zum Codieren von Videos in eine Mehrzahl von Repräsentationen verwendet werden können.
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Die abhängigen Ansprüche definieren vorteilhafte Ausführungsformen.
Einige Ausführungen der vorliegenden Erfindung erlauben es, einen Satz an Repräsentationen von Videoabschnitten so zu erstellen, dass der maximale Qualitätsunterschied in einem Qualitätsmaß unter Berücksichtigung der Kosten für Codierung und Speicherung minimiert wird.
Die vorliegende Erfindung betrifft gemäß einem ersten Aspekt ein Verfahren zum Bestimmen von Qualitätsvorgaben zum Codieren von Repräsentationen eines Videoabschnitts. Das Verfahren umfasst das Bestimmen einer maximalen Qualitätsstufe und einer minimalen Qualitätsstufe anhand eines Qualitätsmaßes. Das Verfahren umfasst ferner das Bestimmen eines Satzes von Qualitätsstufen für die jeweiligen zugehörigen Repräsentationen eines Videoabschnitts, bestehend aus zwei oder mehreren Qualitätsstufen, die einen vordefinierten, maximalen Qualitätsabstand zwischen benachbarten Qualitätsstufen einhalten, wobei der Satz von Qualitätsstufen eine Qualitätsstufe oberhalb oder gleich der maximalen Qualitätsstufe enthält und eine Qualitätsstufe unterhalb oder gleich der minimalen Qualitätsstufe enthält.
Entsprechend einer Ausführungsform der vorliegenden Erfindung kann die minimale Qualitätsstufe anhand eines Akzeptanzmaßes bestimmt wird, welches eine Mindestqualität angibt, bei der eine vorbestimmte Anzahl von Zuschauern die zur Mindestqualität gehörende Repräsentation akzeptabel finden.
In einer Ausführungsform kann die maximale Qualitätsstufe anhand einer Qualität bestimmt wird, bei welcher eine vorbestimmte Anzahl von Zuschauern die der Qualität entsprechende Repräsentation nicht von einer Originalrepräsentation unterscheiden können.
Zum Beispiel kann eine minimale Anzahl an Qualitätsstufen durch die maximale Qualitätsstufe, die minimale Qualitätsstufe und den maximalen Qualitätsabstand bestimmt sein.
In einer Ausführungsform können benachbarte Qualitätsstufen, die sich um den maximalen Qualitätsabstand unterscheiden, durch eine vorbestimmte Anzahl von Zuschauern als subjektiv gleich eingestuft werden.
Gemäß einer Ausführungsform kann das Qualitätsmaß eine Schätzung einer subjektiven Videometrik sein.
Zum Beispiel kann das Qualitätsmaß eine VMAF-Metrik (Video Multi-Method Assessment Fusion) sein.
In einer Ausführungsform kann der maximale Qualitätsabstand in der VMAF-Metrik 2 betragen und/oder die maximale Qualitätsstufe in der VMAF-Metrik 95 betragen und/oder die minimale Qualitätsstufe in der VMAF-Metrik 55 betragen.
Die vorliegende Erfindung betrifft ferner gemäß einem zweiten Aspekt ein Verfahren zum Codieren von Repräsentationen eines Videoabschnitts. Das Verfahren umfasst das oben erwähnte Bestimmen von Qualitätsvorgaben. Das Verfahren umfasst ferner das Bestimmen von einem oder mehreren Codierparametern für jede Qualitätsstufe in dem Satz, so dass die Repräsentation eines Videoabschnitts nach dem Codieren mit einem oder mehreren Codierparametern die zur Repräsentation des Videoabschnitts zugehörige Qualitätsstufe im Wesentlichen erreicht.
Gemäß einer vorteilhaften Ausführungsform wird ein Computerprogramm breitgestellt, welches Programmanweisungen umfasst, die auf einem nicht-übertragbaren, computerlesbaren Medium gespeichert sind, und die, wenn sie auf einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, die Schritte eines der oben erwähnten Verfahren durchführt.
Die vorliegende Erfindung betrifft ferner gemäß einem dritten Aspekt eine Vorrichtung zum Bestimmen von Qualitätsvorgaben zum Codieren von Repräsentationen eines Videoabschnitts. Die Vorrichtung umfasst eine Einheit zum Bestimmen einer maximalen Qualitätsstufe und einer minimalen Qualitätsstufe anhand eines Qualitätsmaßes. Die Vorrichtung umfasst ferner eine Einheit zum Bestimmen eines Satzes von Qualitätsstufen für die jeweiligen zugehörigen Repräsentationen eines Videoabschnitts, bestehend aus zwei oder mehreren Qualitätsstufen, die einen vordefinierten, maximalen Qualitätsabstand zwischen benachbarten Qualitätsstufen einhalten, wobei der Satz von Qualitätsstufen eine Qualitätsstufe oberhalb oder gleich der maximalen Qualitätsstufe enthält und eine Qualitätsstufe unterhalb oder gleich der minimalen Qualitätsstufe enthält.
Die vorliegende Erfindung betrifft ferner gemäß einem vierten Aspekt eine Vorrichtung zum Codieren von Repräsentationen eines Videoabschnitts. Die Vorrichtung umfasst eine oben erwähnte Vorrichtung zum Bestimmen von Qualitätsvorgaben. Die Vorrichtung umfasst ferner eine Einheit zum Bestimmen von einem oder mehreren Codierparametern für jede Qualitätsstufe in dem Satz, so dass die Repräsentation eines Videoabschnitts nach dem Codieren mit einem oder mehreren Codierparametern die zur Repräsentation des Videoabschnitts zugehörige Qualitätsstufe im Wesentlichen erreicht.
Zusätzliche Vorteile und Vorzüge der vorliegenden Erfindung ergeben sich aus der detaillierten Beschreibung einer bevorzugten Ausführungsform und den Zeichnungen.
Figurenliste

1A zeigt ein Blockdiagram einer beispielhaften Vorrichtung zum Bestimmen einer Bitratenleiter.
1B zeigt exemplarische Beziehungen zwischen Bitrate und Qualität.
2 zeigt Beispiele für Qualitätsverlust und maximalen Qualitätsverlust in einem Qualitäts-Bitraten-Diagramm.
3 zeigt eine beispielhafte Einteilung in Qualitätsstufen.
4 zeigt eine beispielhafte Bestimmung der maximalen Qualitätsstufe.
5a zeigt Beispiele für die Akzeptanzrate und die VMAF-Bewertung für Videoabschnitte länger als 30 Sekunden.
5b zeigt Beispiele für die Akzeptanzrate und die VMAF-Bewertung für Videoabschnitte kürzer als 30 Sekunden.
6 zeigt ein beispielhaftes Flussdiagramm zur Ermittlung eines Satzes an Qualitätsstufen.
7 zeigt die ermittelte Abhängigkeit zwischen MOS und VMAF-Bewertung.
8 zeigt eine beispielhafte Bestimmung des maximalen Qualitätsverlusts.
9 zeigt eine exemplarische Unterteilung in Qualitätsstufen anhand der VMAF-Bewertung.
10 zeigt ein exemplarisches Flussdiagramm zur Codierung von Videoabschnitten.
11 zeigt eine beispielhafte Vorrichtung die Programmanweisungen ausführen kann.

AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM
Im Folgenden wird eine bevorzugte Ausführungsform der vorliegenden Erfindung anhand der Zeichnungen detailliert beschrieben.
1A zeigt eine Vorrichtung 100 zum Bestimmen einer Bitratenleiter, die zum Codieren von einer Videosequenz 140 in eine Mehrzahl von Repräsentationen 109 unterschiedlicher Qualitätsstufen verwendet werden kann. Eine solche Bitratenleiter kann einmal bestimmt werden und dann als Vorlage zum Codieren von einer Vielzahl von Videosequenzen verwendet werden. Das Codieren wird durch den Encoder 150 durchgeführt. Der Encoder 150 kann ein standardisierter Encoder sein, wie beispielsweise H.264/AVC („Advanced Video Coding“), H.265/HEVC („High-Efficiency Video Coding“), H.266/VVC („Versatile Video Coding“). Die vorliegende Erfindung kann mit beliebigen Encodern verwendet werden, soweit diese parametrisierbar sind, so dass eine gewünschte Bitrate und/oder Qualität der codierten Videosequenz durch einen oder mehrere Codierparameter einstellbar ist.
Eine Videosequenz 140 ist eine Folge einer Mehrzahl (zwei oder mehr) von Bildern, die abgekürzt auch „Video“ oder „Videosignal“ bezeichnet werden kann. Im Folgenden wird auch der Begriff „Videoabschnitt“ verwendet, um zu betonen, dass eine zu codierende Videosequenz, beispielsweise ein Film, nicht notwendigerweise in ihrer Gesamtheit codiert werden muss, sondern in einem oder mehreren Abschnitten. Ein Videoabschnitt kann einerseits ein zeitlicher Abschnitt sein, d.h. eine Untermenge der Gesamtzahl von Bildern in einer Videosequenz sein. Ein Videoabschnitt kann aber stattdessen oder zusätzlich ein räumlicher Abschnitt sein, e.g. ein Unterbild (engl. Subpicture) eines Gesamtbildes sein.
Die Vorrichtung 100 zum Bestimmen einer Bitratenleiter kann eine Einrichtung 110 zum Bestimmen der Qualitätsstufen enthalten. Dabei wird Qualität durch eine vordefinierte Qualitätsmetrik gemessen. Bevorzugterweise weist die Qualitätsmetrik eine Korrelation zu der durch Zuschauer wahrgenommenen Qualität auf. Die Bestimmung der Qualitätsstufen enthält das Bestimmen von einem Qualitätsbereich in dem sich die Mehrzahl der Repräsentationen befinden soll und der Stufen selbst (Anzahl und/oder Verteilung der Stufen in dem Qualitätsbereich).
Nachdem die Qualitätsstufen bestimmt worden sind, kann eine Bestimmung der Bitratenleiter in einer Einrichtung 120 auf Basis der bestimmten Qualitätsstufen erfolgen. Diese kann beispielsweise für einen bestimmten Codec durchgeführt werden. Allgemein ist es jedoch auch möglich, für bestimmte Qualitätsstufen unterschiedliche Codecs einzusetzen.
Eine Bitratenleiter ist ein Satz von Bitraten, welche den jeweiligen (in der Einrichtung 110) vorbestimmten Qualitätsstufen entsprechen. Zum Beispiel wird eine Bitrate in der Bitratenleiter so bestimmt, dass sie zu einer der Qualitätsstufen führt. Eine Bitrate hier bezeichnet die Bitrate einer codierten Videosequenz (oder eines Videoabschnittes). Ein konkreter Codec oder Encoder 150 erlaubt typischerweise eine Einstellung der Bitrate. Eine Bestimmung der Bitratenleiter kann also dadurch erfolgen, dass unterschiedliche Bitrateneinstellungen getestet werden. Dabei wird das Video mit jeder der Bitrateneinstellungen codiert und die Qualität ermittelt. Dann werden diejenigen Bitraten ausgewählt, deren Qualitäten den vorbestimmten Qualitätsstufen am nächsten kommen. In 1A wird diese Suche nach den Bitraten durch die Schleife 121 dargestellt - die Einrichtung 120 konfiguriert die Bitrateneinstellungen und die zu codierenden Videoabschnitte für den Encoder 150 und der Encoder 150 gibt einen codierten Bitstrom („Bitstream“) aus, welches von einem Decoder 155 decodiert wird. Die Qualität des decodierten Videoabschnitts wird ermittelt. Die Qualitätsbestimmung kann noch in dem Decoder 155, oder aber in der Einrichtung 120 aufgrund des decodierten Videoabschnitts erfolgen.
Es ist anzumerken, dass unterschiedliche Videosequenzen (e.g. mit unterschiedlichen Inhalten) auch bei gleicher Bitrateneinstellung zu unterschiedlichen Qualitäten nach dem Codieren und Decodieren (auch als Rekonstruktion bezeichnet) führen können. Deshalb kann die Bestimmung der Bitleiter auf Basis einer Vielzahl von codierten Videoabschnitten 101 (bereitgestellt als Eingang 140 des Encoders 150) erfolgen. Zudem muss ein Encoder 150 nicht direkt eine Eingabe der Bitrate unterstützen. Die Einstellung der Bitrate kann indirekt erfolgen, z.B. durch Einstellung von der Auflösung des Videos, dem Quantisierungsschritt, der Bittiefe, oder durch weitere Codierparameter. Die oben erwähnten Einrichtungen sind funktional und können alle in einer beliebigen Software und/oder Hardware umgesetzt werden. Streamingdienste verwenden adaptive Bitraten (ABR), um Endnutzern mit verschiedenen Bandbreiten verschiedene Qualitätsstufen des Videosignals anzubieten. Bei ABR-Streaming wird das Videosignal in verschiedenen Bitraten R₁,...,R_k,...,R_K encodiert. Diese verschiedenen Bitraten R₁, ..., R_k, ...,R_K entsprechen verschiedenen Qualitätsstufen Q₁,...,Q_k,...,Q_K. Ein encodiertes Videosignal einer bestimmten Bitrate und zugehörigen Qualitätsstufe ist eine Repräsentation (R_k,Q_k) und die Menge aller K Repräsentationen (R₁, Q₁), ..., (R_K, Q_K) ist eine Bitraten-Leiter.
Die Qualität Q eines digitalen Videosignals erhöht sich mit der Bitrate K, wie in 1B dargestellt. Des Weiteren kann die zu einer Bitrate gehörende Qualität abhängig vom Inhalt des Videoabschnitts sein. Ein komplexerer Inhalt eines Videosignals mit geringer Redundanz hat bei gleicher Bitrate typischerweise eine geringere Qualität als ein Inhalt mit höherer Redundanz.
Werden für die Erstellung einer Bitraten-Leiter vordefinierte Bitraten für alle Videoinhalte verwendet, führt dies dazu, dass bei weniger komplexen Inhalten Datenrate bzw. Speicher verschenkt werden. Genauso kann es dazu kommen, dass bei komplexeren Inhalten nicht genügend Datenrate bereitgestellt wird und dies zu einer Minderung der subjektiven (durch Zuschauer (Nutzer) wahrgenommene) Qualität führt.
Inhaltsabhängige Bitraten-Leitern können für vollständige Videoinhalte, wie zum Beispiel einen kompletten Film, optimiert sein („per-title encoding“) oder für feinere Unterteilungen, z.B. für Videoabschnitte, z.B. einzelne Szene eines Films, optimiert sein („per-scene encoding“). Durch die Berücksichtigung der resultierenden Qualität können Datenrate und ebenso Speicherplatz eingespart werden.
Die K Bitraten in der Bitraten-Leiter sind zum Beispiel folgenderweise sortiert: R₁ < ... < R_k < ... < R_K. Demzufolge gilt für die zugehörigen Qualitätsstufen Q₁ < ... < Q_k < ... < Q_K. Jedes Endnutzergerät kann Inhalte aus einem Ausliefernetzwerke für Inhalte (Content Delivery Network, CDN) mit einer Bitrate, welche für die individuelle Übertragungsrate T der Internetverbindung des Nutzers geeignet ist, anfordern und streamen. Es gibt eine Mehrzahl möglicher Auswahlstrategien für eine passende Bitrate. So kann beispielhaft die höchstmögliche Bitrate, die kleiner ist als die individuelle Übertragungsrate T, gewählt werden, d.h. $R_{p} (T) = max_{k = 1, \dots, K | R_{k} \leq T} R_{k} .$
Desweitern ist es zum Beispiel möglich zwischen verschiedenen Repräsentationen, z.B. (R_p,Q_p) und (R_p+1, Q_p+1), zu wechseln um die zur Verfügung stehende Übertragungsrate effizient auszunutzen. Die vorliegende Erfindung ist jedoch nicht auf diese Beispiele beschränkt.
Bei der Verwendung eines Satzes von Repräsentationen mit diskreten Bitraten R₁, ..., R_k, ..., R_K hat das gestreamte Video eine geringere Qualität, wenn die individuelle Übertragungsrate T nicht in der Menge R₁,..., R_k, ..., R_K enthalten ist. Dieser Unterscheid definiert den Qualitätsverlust $Δ Q (T) = Q (T) - Q (R_{p} (T)),$
wobei Q(T) die Qualitätsstufe bezeichnet, die der Nutzer aufgrund seiner individuellen Übertragungsrate empfangen könnte, und Q (R_p(T)) die maximale Qualitätsstufe bezeichnet, die der Nutzer aufgrund des diskreten Satzes an Repräsentationen empfangen kann. Dieser Qualitätsverlust ist in 2 exemplarisch dargestellt.
Zusätzlich lässt sich ein maximaler Qualitätsverlust ΔQ_max definieren. Dieser maximaler Qualitätsverlust bezeichnet den Qualitätsunterschied zweier aufeinanderfolgender Bitraten R_p und R_p+1 mit den zugehörigen Qualitätsstufen Q_p und Q_p+1, $Δ Q_{m a x} (Q_{p}, Q_{p + 1}) = Q_{p + 1} - Q_{p} .$
2 zeigt ein Beispiel eines solchen maximalen Qualitätsverlusts. Bei signifikanten Unterschieden zwischen den Qualitätsstufen aufeinanderfolgender Repräsentationen kann ein Qualitätsverlust ΔQ(T) zu einem erheblichen subjektiven Qualitätsverlust führen.
Es ist eine große Anzahl an Repräsentationen nötig um den maximalen Qualitätsverlust für alle Nutzer zu minimieren, sowohl Nutzer geringer Bandbreiten, z.B. in Mobilfunknetzen, als auch Nutzer hoher Bandbreiten, z.B. in Verbindungen über Glasfaserkabel, berücksichtigt werden sollten. Dies führt jedoch zu hohen Kosten für Codierung und Speicherung für die Betreiber. Demzufolge sollte der maximale Qualitätsverlust in einem Qualitätsmaß unter Berücksichtigung der Kosten für Codierung und Speicherung minimiert werden.
Um die Erzeugung des Satzes von Repräsentationen zu automatisieren wird die subjektive Nutzerwahrnehmung durch ein Qualitätsmaß geschätzt. Ein solches Qualitätsmaß kann eine Schätzung einer subjektiven Videometrik sein. Beispiele für ein Qualitätsmaß sind VMAF, ITU P1203 oder Index struktureller Ähnlichkeit (structural similarity, SSIM). Die vorliegende Erfindung ist jedoch nicht auf die Verwendung der genannten Beispiele eingeschränkt und weitere, sowie nicht standardisierte Qualitätsmaße können verwendet werden.
Das Qualitätsmaß kann eine VMAF-Metrik (Video Multi-Method Assessment Fusion, VMAF) sein. Die VMAF-Metrik ist eine objektive Metrik zur algorithmischen Bewertung von Bildqualität in Videos. Sie bewertet ein (beispielsweise durch Umcodieren) verändertes Video anhand des Vergleiches mit einer ungestörten Referenz (Original) in Form einer DMOS-Schätzung (differential mean opinion score, DMOS).
Die VMAF-Metrik ordnet einem Videosignal eine Bewertung zwischen 0 und 100 zu. Eine Bewertung von 0 entspricht einer niedrigen subjektiven Qualität, eine Bewertung von 100 entspricht einer hohen subjektiven Qualität. Der Mittelwert der VMAF-Bewertungen aller Frames eines Videosignals wird im Folgenden als VMAF-Bewertung des Videosignals definiert. Die Qualität Q entspricht der VMAF-Bewertung VMAF. Daraus ergibt sich der Qualitätsunterschied $Δ V M A F (T) = V M A F (T) - V M A F (R_{p} (T)) .$
Unter Verwendung eines solchen Qualitätsmaßes lässt sich eine Bitraten-Leiter, welche aus einem Satz von Repräsentationen besteht, so erzeugen, dass ein vordefinierter, maximaler Qualitätsverlust zwischen benachbarten Qualitätsstufen eingehalten wird.
Anhand eines Qualitätsmaßes wird eine minimale Qualitätsstufe Q_min und eine maximale Qualitätsstufe Q_max bestimmt. Ausgehend von der minimalen oder der maximalen Qualitätsstufe wird ein Satz von Qualitätsstufen erzeugt. Dieser Satz von Qualitätsstufen besteht aus K Qualitätsstufen, wobei gilt K ≥ 2.
Die niedrigste Qualitätsstufe Q₁ liegt dabei unterhalb der minimalen Qualitätsstufe Q_min oder ist gleich der minimalen Qualitätsstufe Q_min. Es gilt Q₁ ≤ Q_min. Die höchste Qualitätsstufe Q_K liegt dabei oberhalb der maximalen Qualitätsstufe Q_max oder ist gleich der maximalen Qualitätsstufe Q_max. Es gilt Q_K ≥ Q_max.
In anderen Worten, der Wertebereich zwischen der niedrigsten und der höchsten Qualitätsstufe Q₁ ≤ Q_min < Q_k < Q_max ≤ Q_K wird in Abschnitte unterteilt, welche den maximalen Qualitätsunterschied nicht überschreiten. Der maximale Qualitätsunterschied zwischen jedem Paar direkt aufeinanderfolgender Repräsentationen (R_k, Q_k) und (R_k+1, Q_k+1) ist kleiner oder gleich ΔQ_max für alle Übertragungsraten T im Wertebereich R₁ ≤ T ≤ R_K.
Die Einteilung anhand eines solchen maximalen Qualitätsunterschieds wird in 3 beispielhaft für eine VMAF-Bewertung gezeigt.
Die maximale Qualitätsstufe kann anhand einer Qualität bestimmt werden, bei welcher eine vorbestimmte Anzahl von Zuschauern die der Qualität entsprechende Repräsentation nicht von einer Originalrepräsentation unterscheiden können.
Die vorbestimmte Anzahl an Zuschauern kann sich aus standardisierten Testmethoden ergeben. Ein Beispiel ist die bekannte und standardisierte „Double Stimulus Impairmenf‟-Testmethode nach ITU-R BT.500 (ITU-R., „Rec. BT.500-14: Methodologies forthe subjective assessment of the quality of television images“ (2019)). Die vorliegende Erfindung ist jedoch nicht auf die Verwendung des genannten Beispiels eingeschränkt. Eine andere Methodologie kann bestimmt und angewendet werden.
Eine beispielhafte Bestimmung der maximalen Qualitätsstufe ist in 4 gezeigt. Um ein mögliches Set an Bewertungen auf der VMAF-Skala erhalten, wurden Tests mit Probanden durchgeführt. Anhand der ermittelten mittleren Meinungsbewertung (Mean Opinion Score, MOS) für verschiedene VMAF-Bewertungen von Testvideosequenzen ist ein Beispiel für eine kleinstmögliche maximale Qualitätsstufe durch eine VMAF-Bewertung von 95 erreicht. Der MOS wird in diesem Beispiel auf einer Skala zwischen 0 (sehr störende Beeinträchtigungen) und 10 (unmerkliche Beeinträchtigungen) angegeben.
Die minimale Qualitätsstufe Q_min kann anhand eines Akzeptanzmaßes bestimmt werden. Diese Akzeptanzmaß kann eine Mindestqualität angeben, bei welcher eine vorbestimmte Anzahl von Zuschauern die zur Mindestqualität zugehörige Repräsentation akzeptabel finden.
Eine beispielhafte Bestimmung der maximalen Qualitätsstufe ist in 5a und b gezeigt. 5a zeigt eine beispielhafte Akzeptanzrate für Videosequenzen, die länger als 30 Sekunden sind. Es wird zwischen freien und bezahlten Streamingangeboten unterscheiden.
5a zeigt eine beispielhafte Akzeptanzrate für Videosequenzen, die kürzer als 30 Sekunden sind. Die Akzeptanz wird mit 0 (nicht akzeptable subjektive Qualität) oder 1 (akzeptable subjektive Qualität) angegeben. Die Akzeptanzrate ergibt sich aus dem Mittelwert für alle Testpersonen.
Falls eine Akzeptanzrate von 0,5 gefordert wird, ergab sich eine mögliche minimale Qualitätsstufe von 55 auf der VMAF-Skala. Diese Untergrenze kann sich durch weitere Kriterien ändern. Beispielsweise sollte die minimale Bewertung auf der VMAF-Skala für einen ersten Streamingdienst um 10 bis 15 höher sein als für einen zweiten Streamingdienst. Wenn es sich um Videosequenzen von mehr als 30 Sekunden handelt, sollte die minimale VMAF-Qualitätsstufe bei 70 für Streamingdienste zweiter Art oder 85 bei Streamingdiensten erster Art liegen. Bei dem ersten und zweiten Streamingdienst kann es sich um einen bezahlten beziehungsweise freien Streamingdienst handeln, aber es muss sich nicht einen bezahlten beziehungsweise freien Streamingdienst handeln.
Eine minimale Anzahl an Qualitätsstufen kann durch die maximale Qualitätsstufe, die minimale Qualitätsstufe und den maximalen Qualitätsabstand bestimmt sein. Die minimale Anzahl kann sich aus der Erzeugung der Qualitätsstufen ergeben.
Die Erzeugung des Satzes von Qualitätsstufen ist beispielhaft in 6 gezeigt. Zuerst wird eine minimale und eine maximale Qualitätsstufe bestimmt S610.
Ausgehend von der maximalen Qualitätsstufe Q_max wird die nächstgelegene höhere Qualitätsstufe Q_K ≥ Q_max ausgewählt S620 für die eine Repräsentation mit zugehöriger Bitrate R_K existiert. Beginnend mit der Repräsentation (R_K, Q_K) wird aus einer Mehrzahl möglicher Repräsentationen jene Repräsentation (R_K-1, Q_K-1) in den Satz an Repräsentationen aufgenommen S630, die einen Qualitätsunterschied zur höchsten Qualitätsstufe Q_K kleiner oder gleich ΔQ_max besitzt.
So kann ausgehend von der vorhergehenden Repräsentation (R_k+1, Q_k+1) jeweils die folgende Repräsentation (R_k, Q_k) bestimmt werden (Nein in S640), indem aus mehreren möglichen Repräsentationen jene Repräsentation (R_k, Q_k) in den Satz an Repräsentationen aufgenommen, die einen Qualitätsunterschied zur vorhergehenden Qualitätsstufe Q_k+1 kleiner oder gleich ΔQ_max besitzt.
Dieses Schema wird fortgeführt bis eine minimale Qualitätsstufe Q_min, die anhand eines Akzeptanzmaßes, wie oben beschrieben, bestimmt wird, erreicht oder unterschritten wird (Ja in S640). Die niedrigste Qualitätsstufe im Satz an Qualitätsstufen ist somit Q₁ ≤ Q_min.
Die Erzeugung der Satzes an Repräsentationen kann auch ausgehend von einer minimalen Qualitätsstufe Q_min durchgeführt werden. Als Startstufe kann die nächst kleinere Qualitätsstufe Q₁ ≤ Q_min gewählt werden, zu der eine Repräsentation (R₁, Q₁) existiert. Der Satz an Qualitätsstufen für die zugehörigen Repräsentationen wird bestimmt, indem die nächsthöhere Qualitätsstufe Q_k aus einer Mehrzahl möglicher Repräsentationen so gewählt wird, dass der Qualitätsunterschied zur vorhergehenden Qualitätsstufe Q_k-1 kleiner oder gleich ΔQ_max ist. Dies kann fortgeführt werden bis die maximale Qualitätsstufe Q_max erreicht oder überschritten wird.
Ein ermittelter Zusammenhang zwischen der VMAF-Bewertung und dem MOS ist ungefähr linear, wodurch ein konstanter, maximaler Qualitätsabstand für alle benachbarten Paare im Satz von Repräsentationen gerechtfertigt ist. Dieser annähernd lineare Zusammenhang ist exemplarisch in 7 in einem MOS-VMAF-Diagramm dargestellt.
Der maximale Qualitätsunterschied kann so gewählt werden, das eine subjektive Qualität des Videosignals für R_k und R_k+1 für eine vorbestimmte Anzahl an Zuschauern gleich ist. Für die Bestimmung des maximalen Qualitätsunterschieds ΔQ_max können am Beispiel der VMAF-Metrik alle Paare der VMAF-Bewertung und zugehörigen Meinungsbewertung (opinion score, OS) ausgewertet werden. Die niedrigere VMAF-Bewertung wird mit VMAF₁ und die höhere VMAF-Bewertung wird mit VMAF_h angegeben. Daraus ergeben sich Werte für maximale Qualitätsunterschiede $Δ V M A F_{max} = V M A F_{h} - V M A F_{l}$
und die zugehörigen Differenzen der Meinungsbewertungen (differential opinion score, DOS) $D O S (Δ V M A F_{max}) = O S (V M A F_{h}) - O S (V M A F_{l}) .$
Eine beispielhafte Bestimmung der maximalen Qualitätsstufe ist in 8 gezeigt. Das Diagramm zeigt den Mittelwert der DOS-Werte (MDOS). Für den maximalen Qualitätsabstand kann ein Abstand von 2 auf der VMAF-Skala ergeben, wenn das Konfidenzintervall nicht mit einem MDOS-Wert von 0,5 überlappt.
Für eine maximale Qualitätsstufe von 95 auf der VMAF-Skala, eine minimale Qualitätsstufe von 55 und einen maximalen Qualitätsabstand von 2 ergeben sich mindestens 21 Qualitätsstufen. Die vorliegende Erfindung ist jedoch nicht auf die Verwendung der genannten beispielhaften Werte eingeschränkt. Bei der Verwendung eines anderen Qualitätsmaßes können sich andere Werte ergeben.
9 zeigt eine beispielhafte Einteilung in einem VMAF-Bitraten-Diagramm. Aus Gründen der Übersichtlichkeit wurde in diesem Beispiel ein maximaler Qualitätsabstand von 5 auf der VMAF-Skala gewählt. In diesem Beispiel ergeben sich neun Qualitätsstufen im Wertebereich, der die minimale und die maximale Qualitätsstufe umfasst. Diese beispielhafte Darstellung entspricht jedoch nicht einem idealen Satz von Qualitätsstufen, da zwischen den Stufen Qualitätsunterschiede wahrnehmbar sein können.
Die Codierung eines Videoabschnitts anhand Qualitätsvorgaben ist beispielhaft in 10 gezeigt. Nach der Bestimmung der Qualitätsvorgaben wie oben beschrieben S1010, wird für jede Qualitätsstufe in dem Satz an Qualitätsstufen einer oder mehrere Codierparameter bestimmt S1020. Ein Videoabschnitt erreicht nach dem Codieren S1030 mit dem einen oder den mehreren Codierparametern im Wesentlichen die zugehörige Qualitätsstufe (Ja in S1040). Das bedeutet, dass die zugehörige Qualitätsstufe im Mittel für mehrere, unterschiedliche Videoabschnitte erreicht wird. Erreicht der codierte Videoabschnitt nicht die geforderte Qualität (Nein in S1040), können einer oder mehrere neue Codierparameter erzeugt werden und der Videoabschnitt codiert werden (S1030). Es können verschiedene Sets bestehend aus einem oder mehreren Codierparametern erzeugt werden. Es wird das Set ausgewählt, dessen erreichte Qualitätsstufe der angestrebten Qualitätsstufe möglichst nahekommt.
Obwohl die Ausführungsformen der Erfindung basierend auf einer Codierung von Videodaten beschrieben wurden, ist die Erfindung nicht darauf beschränkt, sondern kann auch zur Codierung von unbewegten Bildern verwendet werden.
Ausführungsformen der vorliegenden Erfindung und deren Funktionen können in Hardware, Software, Firmware oder einer Kombination daraus implementiert sein, wie beispielhaft in 11 gezeigt ist. Wenn Ausführungsformen in Form von Software implementiert sind, können die Funktionen auf einem computerlesbaren Speichermedium 1130 gespeichert sein oder über einen Kommunikationskanal 1140 (Beispielsweise ein Bus) übertragen werden als Anweisungen oder Code, der von einer hardwarebasierten Prozessoreinheit 1120 ausgeführt wird. Zum Beispiel kann ein computerlesbares Speichermedium 1130 ein RAM, ROM, EEPROM, CD-ROM oder ein anderes optisches Speichermedium, ein magnetisches Speichermedium, Flash-Speicher, oder ein anderes Speichermedium sein, das verwendet werden kann, Programmcode in Form von Anweisungen zu speichern, so dass sie von einem Computer ausgelesen werden können.
Anweisung können von einem oder mehreren Prozessoren ausgeführt werden, wie zum Beispiel Digitalsignalprozessoren (DSP), allgemeine Mikroprozessoren, anwendungsspezifische integrierte Schaltkreise, programmierbare Logikgatter (Field Programmable Gate Array, FPGA), oder anderen integrierte oder diskrete Logikschaltungen.
Entsprechend kann sich der Ausdruck „Prozessor“ auf eine der genannten Strukturen oder andere Strukturen beziehen, die geeignet sind, die oben beschriebenen Verfahren zu implementieren. Darüber hinaus können die beschriebenen Funktionalitäten in dafür vorgesehener Hardware- und/oder Softwaremodulen implementiert sein, die eingerichtet sind, Bilddaten zu codieren und/oder zu decodieren, auch in Rahmen eines kombinierten Codecs. Die Verfahren können auch in einem oder mehreren Schaltkreisen oder Logikelementen implementiert sein.
Der Prozessor 1120 kann also die Einrichtung 110 oder 120, oder die Vorrichtung 100 zum Bestimmen einer Bitratenleiter umsetzen.
Eine Vorrichtung zum Bestimmen Qualitätsvorgaben zum Codieren von Repräsentationen eines Videoabschnitts umfasst eine Einheit, die die maximale und die minimale Qualitätsstufe wie oben beschrieben bestimmt, und eine Einheit, welche den Satz an Qualitätsstufen mit vordefinierten, maximalen Qualitätsabstand zwischen benachbarten Qualitätsstufen wie oben beschrieben bestimmt.
Eine Vorrichtung zum Codieren von Repräsentationen eines Videoabschnitts umfasst eine Einheit, die die Qualitätsvorgaben wie oben beschrieben bestimmt, und eine Einheit, welche einem oder mehreren Codierparametern für jede Qualitätsstufe in dem Satz wie oben beschrieben bestimmt.
Zusammenfassend betrifft die vorliegende Erfindung Verfahren und Vorrichtungen zum Bestimmen eines Satzes von Qualitätsstufen und zum Codieren von Repräsentationen eines Videoabschnitts. Das Bestimmen eines Satzes von Qualitätsstufen für die jeweiligen zugehörigen Repräsentationen eines Videoabschnitts nimmt bei der Erstellung besondere Rücksicht auf die resultierende subjektive Qualität. Diese wird vor allem durch qualitätsbasierende Parameter beschrieben. Diese sind die oberste und unterste Qualität und die Qualitätsstufe zwischen den einzelnen Repräsentationen.

Claims

Verfahren zum Bestimmen von Qualitätsvorgaben zum Codieren von Repräsentationen eines Videoabschnitts, umfassend: Bestimmen einer maximalen Qualitätsstufe und einer minimalen Qualitätsstufe anhand eines Qualitätsmaßes; Bestimmen eines Satzes von Qualitätsstufen für die jeweiligen zugehörigen Repräsentationen eines Videoabschnitts, bestehend aus zwei oder mehreren Qualitätsstufen, die einen vordefinierten, maximalen Qualitätsabstand zwischen benachbarten Qualitätsstufen einhalten, wobei der Satz von Qualitätsstufen eine Qualitätsstufe oberhalb oder gleich der maximalen Qualitätsstufe enthält und eine Qualitätsstufe unterhalb oder gleich der minimalen Qualitätsstufe enthält.
Verfahren nach Anspruch 1, wobei die minimale Qualitätsstufe anhand eines Akzeptanzmaßes bestimmt wird, welches eine Mindestqualität angibt, bei der eine vorbestimmte Anzahl von Zuschauern die zur Mindestqualität gehörende Repräsentation akzeptabel finden.
Verfahren nach einem der Ansprüche 1 bis 2, wobei die maximale Qualitätsstufe anhand einer Qualität bestimmt wird, bei welcher eine vorbestimmte Anzahl von Zuschauern die der Qualität entsprechende Repräsentation nicht von einer Originalrepräsentation unterscheiden können.
Verfahren nach einem der Ansprüche 1 bis 3, wobei eine minimale Anzahl an Qualitätsstufen durch die maximale Qualitätsstufe, die minimale Qualitätsstufe und den maximalen Qualitätsabstand bestimmt ist.
Verfahren nach einem der Ansprüche 1 bis 4, wobei benachbarte Qualitätsstufen, die sich um den maximalen Qualitätsabstand unterscheiden, durch eine vorbestimmte Anzahl von Zuschauern als subjektiv gleich eingestuft werden.
Verfahren nach einem der Ansprüche 1 bis 5, wobei das Qualitätsmaß eine Schätzung einer subjektiven Videometrik ist.
Verfahren nach einem der Ansprüche 1 bis 6, wobei das Qualitätsmaß eine VMAF-Metrik (Video Multi-Method Assessment Fusion) ist.
Verfahren nach einem der Ansprüche 1 bis 7, wobei der maximale Qualitätsabstand in der VMAF-Metrik 2 beträgt und/oder die maximale Qualitätsstufe in der VMAF-Metrik 95 beträgt und/oder die minimale Qualitätsstufe in der VMAF-Metrik 55 beträgt.
Verfahren zum Codieren von Repräsentationen eines Videoabschnitts, umfassend: Bestimmen von Qualitätsvorgaben nach einem der Ansprüche 1 bis 8; Bestimmen von einem oder mehreren Codierparametern für jede Qualitätsstufe in dem Satz, so dass die Repräsentation eines Videoabschnitts nach dem Codieren mit einem oder mehreren Codierparametern die zur Repräsentation des Videoabschnitts zugehörige Qualitätsstufe im Wesentlichen erreicht.
Computerprogramm, umfassend: Programmanweisungen, die auf einem nicht-übertragbaren, computerlesbaren Medium gespeichert sind, und die, wenn sie auf einem oder mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, Schritte eines der Verfahren 1 bis 9 auszuführen.
Vorrichtung zum Bestimmen von Qualitätsvorgaben zum Codieren von Repräsentationen eines Videoabschnitts, umfassend: eine Einheit zum Bestimmen einer maximalen Qualitätsstufe und einer minimalen Qualitätsstufe anhand eines Qualitätsmaßes; eine Einheit zum Bestimmen eines Satzes von Qualitätsstufen für die jeweiligen zugehörigen Repräsentationen eines Videoabschnitts, bestehend aus zwei oder mehreren Qualitätsstufen, die einen vordefinierten, maximalen Qualitätsabstand zwischen benachbarten Qualitätsstufen einhalten, wobei der Satz von Qualitätsstufen eine Qualitätsstufe oberhalb oder gleich der maximalen Qualitätsstufe enthält und eine Qualitätsstufe unterhalb oder gleich der minimalen Qualitätsstufe enthält.
Vorrichtung zum Codieren von Repräsentationen eines Videoabschnitts, umfassend: eine Vorrichtung zum Bestimmen von Qualitätsvorgaben nach Anspruch 11; eine Einheit zum Bestimmen von einem oder mehreren Codierparametern für jede Qualitätsstufe in dem Satz, so dass die Repräsentation eines Videoabschnitts nach dem Codieren mit einem oder mehreren Codierparametern die zur Repräsentation des Videoabschnitts zugehörige Qualitätsstufe im Wesentlichen erreicht.