DE102020200443A1 - Prüfverfahren für Videostreaming-Qualität - Google Patents

Abstract

Es wird ein Prüfverfahren für Videostreaming-Daten, die über eine IP-basierte Netzwerkschnittstelle (2) verteilt werden, offenbart. Bei diesem Prüfverfahren werden Videostreaming-Daten von einer Datenquelle (1) über die IP-basierte Netzwerkschnittstelle (2) von einer Prüfeinheit (5) erfasst. Es wird die Qualität der Videostreaming-Daten, die mindestens eine der folgenden Ebenen - IP-Ebene, Videosignalebene und Benutzerebene - enthält, gemessen. Bei Verwendung der Messung auf IP-Ebene wird die Qualität des Datenbereitstellungspfads von der Datenquelle zur Prüfeinheit gemessen. Bei Verwendung der Videosignalebene wird die Datensignalqualität an der Prüfeinheit überprüft. Bei Verwendung der Benutzerebene werden auf Benutzertransaktionen bezogene Prüfkriterien überprüft. Während des Prüfverfahrens werden Qualitätsdaten als Ergebnis der jeweiligen Messung erzeugt, und die erzeugten Qualitätsdaten werden aufgezeichnet. Mit einem solchen Prüfverfahren werden die Funktionen eines Prüfsystems zum Testen von Videostreaming-Daten erweitert.

Description

• Die Erfindung betrifft ein Prüfverfahren (Testverfahren) für Videostreaming-Daten, die über eine IP-basierte Netzwerkschnittstelle verteilt werden. Ferner betrifft die Erfindung eine in einem solchen Prüfverfahren zu verwendende Prüfeinheit sowie ein Prüfsystem, das eine derartige Prüfeinheit umfasst.
• Prüfsysteme für Mobilfunknetzwerke sind z. B. bekannt aus US 10,097,981 B1 , US 7,831,249 B2 und WO 2004/049746 A1 .
• Der Content-Bereich erlebt eine merkliche Transformation, die vom sich wandelnden Verbraucherverhalten, neuen Akteuren, sich ändernder Produktion von Inhalten und sich ändernden Vertriebsmodellen angetrieben wird. Der Konsum von digitalen Inhalten, insbesondere von Videoinhalten, nimmt in den meisten Märkten rund um den Globus zu.
• Das Herunterladen von Videoinhalten über die private Breitbandverbindung ist die populärste Technologie des Videostreaming-Umfelds. Seit der LTE-Bereitstellung ist das Mobilfunknetz ein Schlüsselfaktor, da immer mehr Menschen sich länger und häufiger Videos auf ihren Mobilgeräten ansehen. Die deutlich verbesserte 4G-Abdeckung und -Kapazität sowie die jüngste 5G-Einführung bewirken einen Wandel im Betrachtungsverhalten mobiler Videos - das sich vom Herunterladen von Inhalten über das private Breitbandnetzwerk und dem anschließenden Abspielen der Inhalte unterwegs zum Streaming der Inhalte unterwegs verlagert. Das Mobilfunknetz ist genauso wichtig wie TV, um jederzeit und überall auf Inhalte zuzugreifen und Inhalte zu konsumieren.
• Die Qualität der jederzeit und überall verfügbaren Videounterhaltung setzt sich in dem Multimediabereich und auf Mehrfachplattformen durch. Auf ein TV-Gerät, Laptop, Tablet oder Mobilgerät beliebiger Größe - entweder über OTT-Dienste oder über Live-Fernsehkanäle und Download-Dienste in einem 3G-, 4G- oder 5G-Mobilfunknetz - gestreamte oder heruntergeladene Programme müssen mit hoher Erfahrungsqualität auf jedem Gerät an jedem beliebigen Ort bereitgestellt werden.
• Es ist eine Aufgabe der Erfindung, die Fähigkeiten eines solchen Prüfsystems zu verbessern, um das Prüfen von Videostreaming zu ermöglichen.
• Diese Aufgabe wird gelöst durch ein Prüfverfahren, das die Merkmale aus Anspruch 1 beinhaltet, sowie durch ein Prüfsystem, das die Merkmale aus Anspruch 10 beinhaltet.
• Die zu prüfenden Videostreaming-Daten können durch Prüfungen auf der IP-Daten-Ebene und/oder über die Videosignalebene, z. B. der Dienstgüte, durchgeführt werden. Auf die Benutzertransaktion bezogene Prüfkriterien, d. h. Parameter, die sich auf die Anwendungsebene beziehen, sind z. B. die Handhabung oder Leistung einer mobilen App, der Beginn der Videostreaming-Übertragung, das Auswählen von Videokanälen/Breitbandkanälen, das Ansehen des Videos, eine Kanalumschaltungswartezeit, eine Lesbarkeit der Untertitel auf dem Display oder eine Audioqualität. Das Prüfverfahren kann die Dienstgüte und/oder Erfahrungsqualität in Bezug auf die verteilten Videostreams prüfen. Eine Inhaltsprüfung ist während des Prüfverfahrens nicht zwingend erforderlich. Das Prüfverfahren ist auch auf kodierte Videodaten über das Internet anwendbar. Das IP-basierte Netzwerk kann ein dediziertes Netzwerk sein, d. h. ein Netzwerk eines bestimmten Anbieters, oder ein offenes Internet-Netzwerk. Die durchgeführte Prüfung kann als aktive Prüfung bereitgestellt werden, d. h. als eine Prüfung, die einen Auslöser oder ein Startsignal erfordert. Das Prüfverfahren lässt sich als Prüfmethodik ohne Referenz einrichten, d. h. als eine Prüfung, die keinen Vergleich zwischen erfassten Daten und Referenzdaten durchführt. Die erzeugten Qualitätsdaten lassen sich als Key Parameter Indicators (KPIs) strukturieren.
• Bei der Prüfung auf Benutzerebene wird insbesondere ein Prüfverfahren der Videotransaktionsqualität durchgeführt. Solche Qualitätsparameter können durch weitere KPIs definiert werden, z. B. Videozugriffsfehlerverhältnis, Videozugriffszeit, Abschaltverhältnis für Videoabspielung, Videoabspieldauer, Verhältnis der störungsfreien Videositzungen, Zeitanteil des Videostillstands, Videoqualität.
• Das Prüfsystem kann eine neue Generation smartphonebasierter Prüfeinheiten einsetzen, um die Erfahrungsqualität beim Multimedia-Streaming aus der Perspektive eines Endbenutzers zu prüfen - trotz unterschiedlicher Zugriffstechnologien, mobiler Betriebssysteme, Gerätetypen, Apps mit schnell wechselnden Versionen und Bildschirmgrößen der Smartphones.
• Ein Prüfverfahren kann Videostreaming-Daten verwenden, die von einer Vielzahl von Prüfeinheiten erfasst werden. Eine solche Vielzahl an Prüfeinheiten kann an verschiedenen Stellen und Standorten verteilt werden. Alternativ kann genau eine Prüfeinheit von dem Prüfverfahren verwendet werden. Die mindestens eine Prüfeinheit kann am Standort des Unternehmens/der Firma oder am Standort von Privatkunden eingesetzt werden. Alternativ oder zusätzlich kann die Prüfeinheit am Standort eines Verteilungsnetzwerks eingesetzt werden, das die Luftschnittstelle bereitstellt. Alternativ oder zusätzlich kann die Prüfeinheit in einer Zentrale eingesetzt werden, die ein Prüfsystem steuert, um das Prüfverfahren durchzuführen.
• Während des Prüfverfahrens können Qualitätsdaten, die das Ergebnis entsprechender Prüf- und Messschritte sind, analysiert werden. Weitere Metadaten, die die Ergebnisse derartiger Prüf- und Messschritte sind, können während des Prüfverfahrens erzeugt werden. Solche während des Prüfverfahrens erzeugte Metadaten können in einem Prüfskript aufgezeichnet werden.
• Mit dem Prüfverfahren können auch Audiodaten, die über eine IP-basierte Netzwerkschnittstelle verteilt werden, mithilfe der in Bezug auf die Videodatenprüfung erörterten Verfahrensschritte geprüft werden.
• Ein Prüfverfahren nach Anspruch 2 ermöglicht eine schnelle Bewertung der Videodatenqualität.
• Eine Prüfeinheit nach Anspruch 3 gestattet eine vielseitige Nutzung.
• Eine Verlagerung der Prüfeinheit nach Anspruch 4 gestattet die Prüfung der Videostream-Verteilungsqualität im Einklang mit der tatsächlichen Praxis.
• Das Messen von mindestens einem Bildverschlechterungsparameter nach Anspruch 5 ermöglicht eine Prüfung auf Videosignalebene. Bildverschlechterungsparameter können sichtbare Artefakte basierend auf folgenden Ursprüngen sein: Aufnahme/Verarbeitung, Übertragung und Anzeige. Aufnahmeartefakte können Unschärfe, Belichtungszeitverzerrungen oder Zeilensprünge sein. Verarbeitungsartefakte können von Bandbreitenbegrenzungen oder durch Videokomprimierungssysteme verursacht werden, insbesondere zur Beseitigung von Redundanzen in Bildern und Videos. Weitere Verarbeitungsartefakte können durch das Kodieren der Videodaten verursacht werden, z. B. eine reduzierte räumliche und zeitliche Auflösung, Blockartefakte, Flackern und Unschärfe. Übertragungsartefakte können verloren/teilweise verloren gegangene Daten, verzerrte Daten oder versehentlich wiederholte Daten sein. Beispiele für Übertragungsartefakte sind Blockverluste, Bildausfälle, Einfrieren und Slicing. Anzeigeartefakte können durch die unterschiedlichen Displaytechnologien verursacht werden, z. B. ULED, LCD oder SED. Beispiele für Anzeigeartefakte sind Bildausfälle und Slicing. Diesbezügliche KPIs können Parameter sein, die Definitionen für Blockeffekte, Blockverlust, Unschärfe, Commercial Black, Kontrast, Belichtung, Flackern, Einfrieren, Zeilensprünge, Letterboxing, Rauschen, Pillarboxing, Slicing, räumliche Aktivität und zeitliche Aktivität verwenden.
• Ein Verfahren nach Anspruch 6 ermöglicht die Prüfung der Verteilung der Videostreaming-Daten auf der IP-Ebene. Solche Prüfungen auf IP-Ebene basieren auf Parametern, die von der Prüfeinheit erfasst und z. B. aus einem Videodaten-Transportpaket und einem Bitstream/Bitstrom mit oder ohne Teildekodierung der Videodaten, z. B. Dekodierung der Kopfzeilendaten, extrahiert werden können. Mit einer solchen Prüfung auf IP-Ebene können die Übertragungsqualität im laufenden Betrieb überwacht und die mittlere Bewertung (Mean Opinion Score, MOS) der Videoqualität gemessen werden. Eine solche Messung kann anhand einer Fünf-Punkte-Skala des Absolute Category Rating (ACR) erfolgen. Es können unterschiedliche Prüfkonzepte zur Handhabung der IPTV- und/oder OTT-Videoqualität über verschiedene Videoübertragungsprotokolle bereitgestellt werden. Bei Prüfungen auf IP-Ebene kann der Videodatenstream/Videodatenstrom verschlüsselt werden, z. B. unter Verwendung von HTTPs. Die Prüfung auf IP-Ebene kann ein parametrisches Prüfverfahren für IPTV beinhalten. Ein solches parametrisches Prüfverfahren kann eine Überwachung der Signalqualität und/oder eine Bewertung der Videoqualität beinhalten.
• Ferner kann die Prüfung auf IP-Ebene ein parametrisches bitstreambasiertes Prüfverfahren für die Adaptive Bit Rate (ABR)-Technologie beinhalten. Ein solches bitstreambasiertes Prüfverfahren kann eine Überwachung der Signalqualität und/oder eine Bewertung der Videoqualität beinhalten.
• Eine PCAP-Analyse nach Anspruch 7 kann in einer PCAP-Datei aufgezeichnet werden. Teil einer solchen PCAP-Analyse ist eine Anwendungsprogrammierschnittstelle (Application Programming Interface, API) zur Erfassung des Netzwerkdatenverkehrs. Eine solche PCAP-Analyse kann für einen nicht verschlüsselten Teil der Video- und Audiopakete der zu prüfenden Videostreaming-Daten durchgeführt werden.
• Das Auslösen und Überwachen einer Videoanwendung durch die Prüfeinheit nach Anspruch 8 ermöglicht insbesondere eine Qualitätsmessung auf Benutzerebene durch das Prüfverfahren.
• Eine Prüfeinheit nach Anspruch 9 ermöglicht eine vielseitige Durchführung des Prüfverfahrens. Smartphones können als Teil der neu entwickelten Prüfeinheit verwendet werden, um zusätzliche Erfahrungsdaten für die Prüfung zu liefern. Eine solche Prüfeinheit kombiniert die Funktionalitäten der Smartphones mit denen der Prüfeinheitumgebung.
• Die Vorteile eines Prüfsystems nach den Ansprüchen 10 und 11 entsprechen den vorstehend erwähnten Vorteilen in Bezug auf das Prüfverfahren
• Ein SIM-Multiplexer nach Anspruch 12 stellt eine geografische Trennung der mindestens einen Prüfeinheit und der verwendeten SIMs bereit. Alternativ oder zusätzlich ist eine Bereitstellung von eSIMs (embedded SIMs) oder eUICCs (embedded Universal Integrated Circuit Cards) möglich.
• Beispielhafte Ausführungsformen der Erfindung werden nachstehend mit Bezug auf die begleitenden Zeichnungen beschrieben. Diese Zeichnungen zeigen:
• 1 schematisch die Hauptbestandteile, die zu einem Videostream-Datenfluss einer Internet Protocol Televison (IPTV)-Vorrichtung beitragen, das eine Prüfeinheit eines Prüfsystems zur Durchführung eines Prüfverfahrens für Videodaten enthält;
• 2 schematisch die Hauptbestandteile, die zu einem Videostream-Datenfluss einer Over-The-Top (OTT)-Inhalt-Streaming-Vorrichtung beitragen, das eine Prüfeinheit eines Prüfsystems zur Durchführung eines Prüfverfahrens für Videodaten enthält;
• 3 eine Prüfeinheit-Anordnung, die vor allem in einer IPTV-Vorrichtung (z. B. Apple^® TV) gemäß 1 zu verwenden ist;
• 4 eine Prüfeinheit-Anordnung, die insbesondere in einer OTT-Streaming-Vorrichtung nach 2 zu verwenden ist;
• 5 eine Konfiguration des Prüfsystems mit Prüfsystemkomponenten, die über eine Cloud kommunizieren;
• 6 schematisch ein Videostream-Datenpaket, das in einer IPTV-Vorrichtung transportiert wird;
• 7 ein Videostream-Datenpaket im MPEG-2-Format, das Video-, Audio- und Programminformationen enthält; und
• 8 zwei Paketkonfigurationen, die Videostream-Daten im RTP-Paketformat verwenden.
• 1 zeigt Hauptkomponenten zum Einrichten von Videodatenübertragung in einer Internet Protocol Television (IPTV)-Anwendung. Eine Datenquelle 1 eines IPTV-Inhaltsanbieters, d. h. eines Mobilfunk- und/oder Festnetzanbieters, steht in Signalverbindung mit einem verwalteten Netzwerk 2. Das Netzwerk 2 ist ein Beispiel für eine IP-basierte Netzwerkschnittstelle. Über eine Set-Top-Box (STB) 3 steht das Netzwerk 2 in einer Signalverbindung mit einem Fernsehbildschirm 4.
• Auch eine Prüfeinheit 5 steht in Signalverbindung, um die übertragenen Videodaten zu erfassen. Eine solche Prüfeinheit 5 ist Teil eines Prüfsystems zur Durchführung eines Prüfverfahrens, um die Qualität der übertragenen Videodaten aktiv zu prüfen. Die Prüfeinheit 5 kann den Fernsehbildschirm 4 in der Prüfanwendung ersetzen.
• 2 zeigt die Hauptkomponenten einer Over-The-Top (OTT)-Streaming-Vorrichtung als ein weiteres Beispiel für eine Anwendung, die zu prüfende Videodaten überträgt. In 2 stellt eine Datenquelle 6 die OTT-Videodaten bereit. Ein Best-Effort-Netzwerk 7 steht in Signalverbindung mit der Datenquelle 6. Ein Endbenutzergerät kann ein Smartphone 8, ein Tablet 9 oder ein Anzeigebildschirm 10 eines Laptops oder Personalcomputers sein und steht in Signalverbindung mit dem Netzwerk 7. Eine Prüfeinheit 11 steht wiederum in Signalverbindung mit dem Netzwerk 7, um das Prüfverfahren zur Prüfung der über die OTT-Anwendung übertragenen Videodaten durchzuführen.
• 3 zeigt eine Prüfeinheit-Anordnung, die mit der IPTV-Anwendung gemäß 1 zu verwenden ist. Die Prüfeinheit 5 steht in Signalverbindung mit der STB 3. Eine solche Signalverbindung kann über eine IR-Steuerleitung 12 gesteuert werden. Ein High-Definition Multimedia Interface (HDMI)-Ausgangsanschluss der STB 3 ist über eine HDMI-Leitung 13 mit einem HDMI-Eingangsanschluss an der Prüfeinheit 5 verbunden. Um eine Signalverbindung zwischen der STB 3 und dem Netzwerk 2 herzustellen, ist eine Home-Gateway-Vorrichtung 14 installiert, insbesondere ein Router. Die Home-Gateway-Vorrichtung 14 ist über eine IP-Erfassungsleitung 15 mit einem IP-Erfassungsanschluss der Prüfeinheit 5 verbunden. Die Home-Gateway-Vorrichtung 14 und die Prüfeinheit 5 stehen in Verbindung, um es der Prüfeinheit 5 zu ermöglichen, einen Geschwindigkeitstest, eine Browsing-Prüfung und/oder einen Voice over IP (VoIP)-Test in Bezug auf die über die Home-Gateway-Vorrichtung 14 übertragenen Videostreaming-Daten durchzuführen.
• 4 zeigt Details der Prüfeinheit 11. Eine solche Prüfeinheit 11 beinhaltet ein Smartphone (SP) 16, das über die Leitung 17 in Verbindung mit einer Prüfeinheitumgebung 18 der Prüfeinheit 11 steht. Eine Prüfumgebung 18 steht über die Leitung 19 in Verbindung mit einer zentralen Prüfkomponente (Central Test Component, CTC) 20 des Prüfsystems.
• 5 zeigt mögliche Komponenten des Prüfsystems 21. All diese Komponenten stehen über eine Cloud 22 miteinander in Verbindung. Das Prüfsystem beinhaltet verschiedene lokale Einheiten, bei denen es sich um unterschiedliche Arten von Prüfeinheiten 5 gemäß 3 oder um ein Smartphone einschließlich Prüfeinheiten 11 gemäß 4 handeln kann. Solche Prüfeinheiten 5, 11 können über eine feste IP-Verbindungsleitung 23, über eine drahtlose IP-Verbindung 24 oder über eine quasi-permanente drahtlose IP-Verbindung 25 mit der Cloud 22 verbunden sein. Die quasi-permanente drahtlose IP-Verbindung 25 toleriert bestimmte Übertragungsnachteile, d. h. sie ist vor allem mit einer in Bewegung befindlichen Prüfeinheit 5 in dem Prüfbereich einsetzbar, wo die Abdeckung für die Videoübertragung sehr schwach ist. Eine solche Toleranz bezüglich Übertragungsnachteilen kann durch den autonomen Betrieb der Prüfeinheit und durch das Aufzeichnen des Videoprüfergebnisses in der Prüfeinheit bereitgestellt werden. Die in dem Bereich erzielte Videoqualität kann später in die Cloud 22 übertragen werden, wenn die Prüfeinheit wieder zur Drahtlosabdeckung zurückkehrt
• Das Prüfsystem 21 enthält ferner einen SIM-Multiplexer 26, der über eine weitere feste IP-Verbindung 23 mit der Cloud 22 verbunden ist. Das Prüfsystem 21 enthält ferner Bereitstellungsplattformen in Form von Clients 27, um Benutzern zu gestatten, Prüfverfahren zu starten und das Prüfergebnis anzuzeigen, z. B. das Dashboard. Solche Clients 27 stehen über die Cloud 22 in Signalverbindung mit der CTC 20 über einen Webbrowser.
• Erweiterung des Prüfsystems und Bereitstellung einer smartphonebasierten Prüfeinheit für die Videoprüfung
• Erweiterung des Prüfsystems
• Um das Multimedia-Streaming und vor allem die Qualität der Videodatenübertragung zu prüfen, führt das aktive End-to-End-Prüfsystem Tests in drei technischen Bereichen durch.
• - Erfassung, Verarbeitung und Berechnungen von Audio-Video,
• - Verwendung der smartphonebasierten Prüfeinheit 11 zur Prüfung und Überwachung der Videoerfahrung,
• - Kombination von drei Ebenen der Videoprüfung sowie aktiver und passiver Prüfungen in der Prüfmethodik.
• Die Datenstreams/Datenströme bei Multimedia (Audio/Video) werden von den Prüfeinheiten 5, 11 entweder auf IP-Ebene auf den Inhaltsbereitstellungspfaden oder am Endbenutzergerät erfasst - oder auf der Ebene des Videosignals an einem Endbenutzergerät (Display) 4 oder 8 bis 10 erfasst. Ein Multimedia-Verarbeitungsmodul ist an der Prüfeinheit 5, 11 installiert, an dem ein Endbenutzer-Videogerät angeschlossen ist, oder das er simuliert. Die Audio-Video-Verarbeitung und Qualitätsanalyse werden in der zentralen Prüfkomponente 20 des Multimediaoptimierten Prüfsystems 21 durchgeführt. Die zentrale Prüfkomponente 20 extrahiert die relevanten Qualitätsparameter und analysiert die von den Prüfeinheiten 5,11 erfassten Audio-Video-Bitstreams/Bitströme entweder in der Mitte der Übertragung oder an den Endbenutzergeräten 4 oder 8 bis 10 und stellt das Qualitätsergebnis bereit.
• Die Prüfeinheit 11, an dem das Smartphone 16 angeschlossen ist, wird für die Multimedia-Prüfung verwendet, während das Smartphone 16 die Multimedia-Datenstreams empfängt. Es ist entscheidend, dass das Prüfsystem 21 dem Benutzer in einer benutzerbevorzugten oder -definierten Prüfsequenz in allen Schritten eine echte Smartphone-Videoerfahrung bereitstellen kann, z. B. beim Starten des Videos, beim Auswählen der Kanäle, beim Ansehen von Videos, bei der Programm- oder Kanalumschaltung, in der Wartezeit, beim Lesen der Untertitel etc. Alle Benutzerverhaltensweisen werden aufgezeichnet und in Echtzeit als objektorientiertes Prüfskript beschrieben. Das Prüfskript wird dann ausgeführt. Das Prüfergebnis, das die Benutzererfahrung widerspiegelt, wird dann gemeldet.
• Des Weiteren überwacht das aktive Prüfsystem 21 durch Kombination von passiver Videoüberwachung und einem Prüfverfahren zur Qualitätsbewertung das Videostreaming auf drei Ebenen, auf der Transaktionsebene der Benutzererfahrung, auf der Ebene der Audio-/Videorahmen sowie auf der Ebene des IP-Bitstreams.
• Smartphonebasierte Prüfeinheit
• Die smartphonebasierte Prüfeinheit 11 wird bereitgestellt und prüft alle Dienste und Apps, die auf dem Benutzer-Smartphone 8 empfangen werden sollen, und liefert ein umfassendes Qualitätsbild als eine echte Smartphone-Erfahrung. Alle Prüfergebnisse hinsichtlich der Leistung von Diensten und Apps werden verfolgt, in dem Prüfsystem 21 aufgezeichnet und gemeldet.
• Die smartphonebasierte Prüfeinheit 11 kombiniert die Funktionen des Smartphones 16 mit denen der Prüfeinheitumgebung 18. Smartphonebasierte Prüfungen weisen die Kombination der digitalen Smartphone-Erfahrung mit der Servicequalität (Quality of Services, QoS) auf.
• Sowohl Android- als auch iOS-basierte Smartphones sind als Smartphone 16 einsetzbar.
• Die Prüfeinheit 11 stellt die Geräteprüfungssitzung für jedes angeschlossene Smartphone 16 bereit, bildet eine Schnittstelle mit und interagiert mit diesen Smartphones 16, z. B. bei der Tasteneingabe, Bildschirmberührungseingabe, Bildschirmaufnahme etc. Durch Implementieren geeigneter Software und Hardware unterstützt die Prüfeinheitumgebung 18 die Textextraktion und verschiedene Arten von Zuordnungen, z. B. Text-, Pixel-, Muster- und Videorahmen-Zuordnungen. Des Weiteren kommuniziert die Prüfeinheit 11 mit der zentralen Prüfkomponente 20. Basierend auf dem von der zentralen Prüfkomponente 20 empfangenen Prüfskript sendet die Prüfeinheitumgebung 18 die Prüfbefehle an das entsprechende Smartphone 16 und übermittelt die Prüfungszwischenergebnisse, Dateien, Protokolle sowie erfasste Video- und Audiodaten zur weiteren Verarbeitung und Analyse an die zentrale Prüfkomponente 20.
• Die zentrale Prüfkomponente 20 steuert den Zugriff auf die einzelnen verknüpften Smartphones 16, plant und überwacht die Prüfung, verarbeitet das von der Prüfeinheit 11 empfangene Prüfungszwischenergebnis, analysiert und berechnet die erfassten Audio- und Videodatenstreams, erzeugt die abschließenden Prüfergebnisse und meldet und präsentiert das Prüfergebnis.
• Mit Prüfeinheiten zusammenwirkendes Prüfsystem
• 5 zeigt die Architektur einer cloudifizierten zentralen Prüfkomponente (CTC) 20 des Prüfsystems 21. Die zentrale Prüfkomponente 20 steuert die Videoprüfsequenzen, empfängt das Prüfergebnis von den Prüfeinheiten 5, 11, analysiert die Prüfergebnisse basierend auf der Prüfmethodik, stellt die Audio-Video-Qualität bereit und meldet diese.
• Die Prüfsequenz oder das Testskript kann entweder vorab festgelegt oder unter Verwendung vordefinierter Prüfungsvorlagen vom Endbenutzer interaktiv erstellt werden. Letzteres ist besonders hilfreich, wenn eine smartphonebasierte Prüfeinheit 11 für die Prüfung verwendet wird.
• Die Prüfeinheiten 5, 11 führen die von der CTC 20 bereitgestellten Prüfsequenzen durch, überwachen und erfassen das Audio-Video-Signal oder die IP-Datenstreams in Abhängigkeit vom Standort, von der Videoverarbeitungsfähigkeit der einzelnen Prüfeinheiten 5, 11 und von der angewandten Prüfmethodik. Wenn die Prüfeinheit 5, 11 an den Videoübertragungspfad auf TCP/UDP/IP-Ebene angeschlossen wird, erfasst er die Kopfzeilen des Videodatenstreams oder sowohl die Kopfzeilen als auch die Nutzlasten und stellt die erfassten Videodatenstreams zur weiteren Verarbeitung für eine zentrale Prüfkomponente bereit.
• Die smartphonebasierte Prüfeinheit 11 prüft die Qualität und Leistung der OTT-Videodienste und übermittelt die resultierende Videobetrachtungserfahrung des Benutzers zur weiteren Verarbeitung und Analyse an die zentrale Prüfkomponente 20. Das Teilnehmerverhalten wird in dem Prüfskript aufgezeichnet, automatisiert und beschrieben.
• Eine WEB-basierte Benutzeroberfläche wird über den Test-Client 27 bereitgestellt. Ein menschlicher Prüfer kann interaktiv ein Prüfskript erstellen, das zur späteren Ausführung zu den Prüfeinheiten heruntergeladen werden kann. Die Prüfskripte können auch vorher für bestimmte Prüfzwecke mit einer vordefinierten Prüfmethodik vorgegeben werden. Basierend auf dem Prüfskript wird die Multimedia-Prüfung auf wiederholbare, deterministische und auf eine vom Benutzer bevorzugte Weise in Echtzeit automatisiert. Die zentrale Prüfkomponente 20 steuert das gesamte Prüfsystem 21 auf koordinierte Weise, plant einzelne Prüfungen, überwacht die Prüfungsleistung und sammelt die Ergebnisse zur weiteren Verarbeitung, Analyse und Berechnung. Mit einem intelligenten Berichtsmodul wird das Prüfergebnis auf intelligente Weise über dieselbe WEB-Oberfläche auf dem Test-Client 27 gemeldet und visualisiert. Eine zusätzliche API-Schnittstelle kann auch für externe Systeme bereitgestellt werden.
• Der SIM-Multiplexer 26 weist den einzelnen Prüfeinheiten 5 sowie den smartphonebasierten Einheiten 11 SIM-Karten zu. Alternativ kann eine eSIM oder eUICC entfernt bereitgestellt werden, sofern das an der Prüfeinheit 11 angeschlossene Smartphone 16 die eSIM-Funktion unterstützt.
• Bereitstellung des Prüfsystems bei einer echten Videoqualitätsprüfung
• Die Prüfeinheiten 5, 11 können an verschiedenen Stellen oder Standorten eingesetzt werden, z. B. an Firmenstandorten oder bei Privatkunden, auf den Pfaden der Multimedia-Verteilungsnetzwerke sowie in Zentralen oder an Kopfstationen. Die Prüfeinheiten 5, 11 können zusätzlich die Sicherung von festen IP- und VoIP-Diensten am Standort von Unternehmen oder Privatkunden bzw. im Verteilungsnetzwerk bereitstellen. Die Prüfeinheiten 5, 11 können die Sicherung von Videodiensten, die Sicherung fester IP-, PSTN- und VoIP-Diensten bereitstellen, die an der jeweiligen Datenquelle 1, 6 eingesetzt werden. Die Prüfeinheiten sind mit dem cloudifizierten Video-optimierten Prüfsystem 21 verbunden.
• Prüfen der Videostreaming-Qualität
• Zu prüfendes Videostreaming
• Basierend auf unterschiedlichen Technologien prüft ein Videostreaming-Prüfsystem vor allem zwei Video-Diensttypen, die in den 1 und 2 veranschaulicht sind.
• - IPTV - wird hauptsächlich von Kommunikationsdienstanbietern über Set-Top-Boxes (STBs) und verwaltete Netzwerke angeboten und auf einen einzigen Bildschirm verteilt;
• - OTT (Over-The-Top)-Streaming - wird hauptsächlich von Inhaltsanbietern angeboten und als nicht verwaltete Netzwerke über das Internet auf mehrere Bildschirme von Vorrichtungen verteilt.
• Videostreaming und Qualitätsprüfmetriken
• Videostreaming bezeichnet die Wiedergabe von Videodatenstreams auf kontinuierliche Weise, während diese Datenstreams vom Benutzer über das Datennetzwerk empfangen werden. Der Benutzer spielt den eingehenden Videodatenstream aus einem Zwischenspeicher ab, in dem die Datenpakete nach dem Eintreffen gespeichert werden (vgl. ETSI TR 102 493 v.1.3.1 (2017-07), „Speech and Multimedia Transmission Quality (STQ); Guidelines for the use of Video Quality Algorithms for Mobile Applications“). Videostreaming macht einen Großteil des Datenverkehrs im Datennetzwerk 2, 7 aus. Daher wird eine Erweiterung der Erfassung von Multimedia-Datenstreams an der Datenprüfeinheit 5, 11 als native Prüffunktion betrachtet.
• Typische Videostreaming-Anwendungen können in Bereitstellungsanwendungen für Video-on-Demand (VoD)- und Live-Informationen (d. h. Live-TV) unterteilt werden. Die Prüfmethodik in der vorliegenden Patentschrift befasst sich mit beiden Typen von Videostreaming und wird auf beide angewendet.
• Qualitätsprofil des zu prüfenden Videostreamings
• Das technische Profil des Videostreamings ist von Interesse, sobald eine Übertragung von bewegten Bildern oder von Standbildern stattfindet. Die Prüfmethodik wird auf das Profil angewendet, das drei charakteristische Parameter aufweist: Symmetrie (unidirektionaler Downstream), Datenraten (32 Kbit/s bis 10 Mbit/s) und unidirektionale Verzögerung (< 10 s).
• Abstrakte Prüfszenarien
• Bei den wesentlichen abstrakten Prüfszenarien, die in der Prüfung abgearbeitet und nach und nach erledigt werden, handelt es sich um:
• - Video-on-Demand in Echtzeit,
• - Live-Streaming in Echtzeit,
• - Verfügbarkeit der Videodienste in Echtzeit
• Die Szenarien können durch einen Bewegungs-/Fahrtest oder einen stationären Test geprüft werden. Die abstrakten Prüfszenarien erstrecken sich auch auf die Verfügbarkeit von Videokanälen/Videoanwendungen, die Lieferung der gewünschten Inhalte in Echtzeit, den Untertitel und die ausgewählte Sprache und decken diese ab. Alle drei Szenarien werden als Live-Überprüfung oder Live-Überwachung der Video-Servicequalität (Quality of Service, QoS) und/oder der Video-Erfahrungsqualität (Quality of Experience, QoE) bezeichnet.
• Videoqualitäts-Prüfmetriken und QoS/QoE-Zuordnung
• Die zu prüfende Videoqualität wird in vier Testgruppen kategorisiert: Inhalts-, Transport-, Adaptions- und Transaktionsqualität. Jede Gruppe hat eigene Prüfmetriken zur Messung der Videoqualität. Die Inhaltsqualität wird beispielsweise anhand des Video-Mittelwerts (MOS, Mean Opinion Score) beurteilt. Die Transportqualität wird durch zahlreiche geeignete KPIs (Key Performance Indicators) gemessen, wie etwa Paketverlust, Jitter, Neuübertragungsverhältnis etc. Die Adaptionsqualität misst die Qualität des TCP-basierten Videostreamings unter Verwendung der Technologie der adaptiven Bitrate (ABR). Daher sind Kontinuitätsfehler (das sogenannte Einfrieren des Bildes) und das Adaptionserfolgsverhältnis die wichtigsten KPIs. Schließlich wird die Transaktionsqualität durch die Latenz und die Verfügbarkeit von Videoempfangsmöglichkeiten gemessen.
• Aus Endbenutzersicht führt eine unzureichende Qualität in den vier allgemeinen Testgruppen zu niedrigeren Messwerten und spiegelt sich auf einem Videobildschirm als Bildartefakte wider oder zeigt diese an. Daher hat sich das e2e-Prüfverfahren zur Erkennung von Verschlechterungen des Videodienstes, zur direkten Messung von Artefakten in einer Bild- oder Videosequenz in Echtzeit und zur automatischen Beurteilung der Videoqualität als schnell, zuverlässig, besonders effizient und eingriffsfrei erwiesen.
• Verbesserte Methodik zur Videostreaming-Qualität
• Das Prüfsystem 21 hat eine verbesserte Videoprüfmethodik übernommen, die das aktive End-to-End-Prüfsystem 21 mit dem passiven Videoüberwachungsverfahren auf drei verschiedenen Ebenen kombiniert, nämlich auf Rahmen-, IP- und Transaktionsebene. Unter Einsatz der smartphonebasierten Prüfeinheiten 11 ist ein solches Prüfsystem 21 universell für jegliche Typen von Videodiensten (IPTV und ABR) jederzeit und überall einsetzbar.
• Kombinierte Drei-Ebenen-Prüfmethodik
• Um die gesamten Videoprüfmetriken abzudecken, kombiniert und integriert das Prüfsystem 21 eine Drei-Ebenen-Prüfmethodik zur Messung der Multimedia-Streaming-Qualität in Echtzeit, d. h. die Video- und/oder Audioqualitätsprüfung auf
• - Videorahmenebene,
• - IP-Ebene,
• - Anwendungs-/Transaktionsebene.
• Videoprüfung auf Videosignalebene
• Die Videoprüfung auf Videorahmenebene basiert auf der wahrnehmbaren Eingabe für eine Prüfeinheit. Die Prüfeinheit greift auf das dekodierte Videosignal zu und misst die unterschiedlichen Bildverschlechterungen, die als Artefakte bezeichnet werden (vgl. E. Wyckens, S. Borer und M. Leszczuk, MOAVI (Monitoring of Audio Visual Quality by Key Indicators), VQEG, Juli 2012, http://www.its.bldrdoc.gov/vgeg/projects/moavi/moavi.aspx). Die zu prüfende Videoqualität spiegelt die Erfahrung eines Endbenutzers wie auf dem Bildschirm „gesehen“ wider, unabhängig von Anwendungen und Streaming-Protokollen. Rahmenfür-Rahmen- Analysen resultieren in einem umfassenden Satz an KPIs in Bezug auf die Bildqualität. Auf die Artefakt-KPIs wird verwiesen in: ETSI TR 102 493 v.1.3.1 (2017-07), „Speech and Multimedia Transmission Quality (STQ); Guidelines for the use of Video Quality Algorithms for Mobile Applications“, und ITU-T P.10 / G.100 (11/2017), „Vocabulary for performance, quality of service and quality of experience“.
• Unterschiedliche Dienstanbieter und Wirtschaftsakteure befinden sich in der Videodienstekette und im Inhaltsbereitstellungsmodell. Jedes Glied in der Kette kann die Quelle erkannter Artefakte sein. Deshalb werden die im Prüfergebnis erkannten Artefakte basierend auf den Quellen in drei Gruppen unterteilt: Aufnahme/Verarbeitung, Übertragung und Anzeige.
• Ursachen von Artefakten
• Erfassung und Verarbeitung
• Erfassungsartefakte werden während der Videoaufzeichnung verursacht. Beispiele für Erfassungsartefakte beinhalten Unschärfe, Belichtungszeitverzerrungen und Zeilensprünge.
• Eine Verarbeitung ist erforderlich, um Einschränkungen wie Bandbreitenbegrenzungen zu erfüllen, die von den Übertragungsnetzwerken auferlegt werden. Ein zentrales Problem ist die zunehmende Nutzung von digitalen Videokomprimierungssystemen und deren Bereitstellung über Netzwerke zur Beseitigung von Redundanzen in Bildern und Videos. Das Kodieren kann unterschiedliche Typen von Artefakten verursachen, wie etwa reduzierte räumliche und zeitliche Auflösung, Blockartefakte, Flackern und Unschärfe. Kodierungsartefakte sind die häufigsten, dominantesten und unerwünschtesten im Test sichtbaren Artefakte.
• Übertragung
• Wenn Daten über Netzwerke, einschließlich Funkzugriffsnetzwerke (Radio Access Networks, RANs) oder WLAN-/Breitbandnetze, übertragen werden, kann ein Teil der Daten verloren gehen, verzerrt oder als wiederholt dargestellt werden. Beispiele für Übertragungsartefakte im Test sind Blockverluste, Bildausfälle, Einfrieren und Slicing.
• Display
• Unterschiedliche Displaysysteme können unterschiedliche subjektive Qualitäten für die gleiche Auflösung liefern. Doch bei den derzeit erhältlichen Bildschirmen lässt sich der Qualitätsunterschied für die unterschiedlichen Technologien OLED (Organic Light-Emitting Diode), LCD (Liquid Crystal Display) und SED (Surface-Conduction Electron-Emitter Display) minimieren. Die sichtbarsten Anzeigeartefakte bei der Prüfung sind Bildausfälle und Slicing.
• Artefaktdefinitionen
• Die für die Videobildqualität relevanten KPIs, z. B. Unschärfe, Belichtung, Rauschen, Blockverlust, Blockeffekte, Einfrieren etc., werden auch als MOAVI-Artefakt-KPIs (Monitoring of Audio Visual Quality by Key Performance Indicators) bezeichnet, die von der Video Quality Experts Group (VQEG) als De-facto-Industrienorm standardisiert wurden (vgl. E. Wyckens, S. Borer und M. Leszczuk, MOAVI (Monitoring of Audio Visual Quality by Key Indicators), VQEG, Juli 2012, http://www.its.bldrdoc.gov/vqeg/projects/moavi/moavi.aspx). Die Definitionen der Artefakt-KPIs sind in diesem Abschnitt enthalten.
• Blockeffekte
• Blockeffekte sind ein wahrnehmbares Maß der Blockstruktur, die für alle Bild- und Videokomprimierungsverfahren üblich ist, bei denen die Blöcke auf diskreter Kosinustransformation (Discrete Cosine Transform, DCT) basieren. Die DCT wird typischerweise auf 8x8 Blöcke im Rahmen angewendet, und die Koeffizienten in jedem Block werden separat quantisiert, was zu Unterbrechungen an den Grenzen zu den Nachbarblöcken führt. Wegen der Regelmäßigkeit und des Ausmaßes des resultierenden Musters ist der Blockeffekt leicht zu erkennen.
• Blockverlust
• Blockverlust tritt auf, wenn einige der Datenpakete, die den komprimierten Videodatenstream bilden, während der Übertragung verloren gehen. Wegen dieses Verlusts werden einer oder mehrere kontrastarme Farbblöcke an der Position der verlorenen Blöcke in den Rahmen eingesetzt.
• Unschärfe
• Unschärfe ist ein Maß für eine globale Verzerrung auf dem gesamten Bild und ist durch reduzierte Schärfe der Ränder und räumlichen Details gekennzeichnet. Unschärfe ist ein wahrnehmbares Maß für den Verlust feiner Details und ein Verschmieren der Ränder im Video. Das liegt an der Dämpfung hoher Frequenzen durch grobe Quantisierung, die in jedem verlustbehafteten Komprimierungsschema angewendet wird. Das kann durch Filter, z. B. für das Entblocken oder zum Verbergen von Fehlern, noch weiter verschlimmert werden, die in den meisten handelsüblichen Decodern verwendet werden, um das Rauschen oder den Blockeffekt im Video zu reduzieren. Eine weitere wichtige Quelle für Unschärfe sind Tiefpassfilter (z. B. ein Digital/Analog-Umsetzer oder eine Aufzeichnung auf eine VHS-Kassette).
• Commercial Black
• Schwarzer Bildschirm, kein Video
• Kontrast
• Kontrastprobleme, Bilder sind zu schwarz oder zu weiß.
• Belichtung
• Belichtungszeitverzerrungen sind als Unausgewogenheit der Helligkeit sichtbar, d. h. das Vorhandensein von Rahmen, die zu dunkel oder zu hell sind.
• Flackern
• Bild bewegt sich oder leuchtet unregelmäßig bzw. unstetig.
• Einfrieren
• Der KPI im vorliegenden Dokument ist breiter ausgelegt und beinhaltet die Erkennung von Standbildern und ruckartigen Bewegungen. ETSI hat zwei separate KPIs definiert, den KPI „natives Einfrieren“ für Standbilder und Ruckartigkeit für ruckartige Bewegungen (vgl. ETSI TR 102 493 v.1.3.1 (2017-07), „Speech and Multimedia Transmission Quality (STQ); Guidelines for the use of Video Quality Algorithms for Mobile Applications“).
• - KPI „natives Einfrieren“
• Das Video wird abgespielt, bis der Zwischenspeicher leer ist, wenn kein neues (auf Fehler geprüftes und korrigiertes) Paket empfangen wird. Wenn der Videozwischenspeicher leer ist, hält das Video an (friert ein), bis wieder eine ausreichende Anzahl an Paketen zwischengespeichert wird. Das heißt, dass bei einer schweren Netzwerküberlastung oder bei schlechten Funkbedingungen das Video angehalten wird, ohne während des erneuten Zwischenspeicherns zu springen, und dass keine Videobilder verloren gehen.
• - Ruckartigkeit
• Ruckartigkeit ist ein wahrnehmbares Maß an Bewegung, das nicht flüssig aussieht (im Extremfall ein eingefrorenes Bild, das als KPI „Einfrieren“ bezeichnet wird). Übertragungsprobleme wie eine Netzwerküberlastung oder Paketverlust sind die Hauptursachen für Ruckartigkeit. Ruckartigkeit kann auch durch den Kodierer verursacht werden, der Rahmen auslässt, um eine bestimmte Bitratenbeschränkung zu erzielen. Schließlich kann eine niedrige oder variierende Bildfrequenz auch die Wahrnehmung einer ruckartigen Bewegung bewirken.
• Zeilensprung
• Der KPI ist ein Maß des Artefakts, wenn Videos mit Zeilensprung in einem Format ohne Zeilensprung übertragen und angezeigt werden, z. B. für Computerbildschirme. Jeder Videorahmen mit Zeilensprung besteht aus zwei Halbbildern, die zu unterschiedlichen Zeitpunkten erfasst werden, z. B. HDTV mit Zeilensprung mit einer Auflösung von 1920×1080 Pixeln und mit einer Halbbildfrequenz von 60 Hz, bekannt als 1080i60 oder 1080i/30.
• Letterboxing
• Letterboxing ist das Verfahren, einen im Breitbild-Seitenverhältnis gedrehten Film in Videoformate mit Standardbreite zu übertragen, und dabei das Originalseitenverhältnis des Films beizubehalten. Das resultierende Videografikbild enthält schwarze Balken über und unter dem Bild als Teil des Bildes, d. h. für jeden Rahmen des Videosignals.
• Rauschen
• Rauschen ist ein unkontrolliertes oder unvorhergesehenes Muster von Intensitätsschwankungen. Es ist ein wahrnehmbares Maß für Hochfrequenz-Verzerrungen in Form von störenden Pixeln. Am stärksten fällt es in homogenen Bereichen und an Rändern (Randrauschen) auf. Das kann durch den Komprimierungsprozess entstehen, bei dem bestimmte Typen von Bildinhalten dem Rauschen ähnliche Artefakte verursachen, oder durch Übertragungsfehler, vor allem durch nicht korrigierte Bitfehler.
• Pillarboxing
• Der Pillarboxing-Effekt tritt auf Breitbild-Videodisplays auf, wenn schwarze Balken (oder Maskierungen) an den Seiten des Bildes platziert werden.
• Slicing
• Eine begrenzte Anzahl an Videozeilen (Streifen oder Slices) ist schwer beschädigt. Dies wird durch einen Verlust von Videodatenpaketen verursacht. In vielen Kodierungsschemata (z. B. in der MPEG-Familie) kann jedes Bild ein oder mehrere „Slices“ enthalten. Die Anzahl der Slices wird in der Regel steigen, je stärker die Komplexität des Bildes zunimmt. Slices werden vom Dekodierer verwendet, um Datenverluste oder -beschädigungen zu beheben. Jedes Mal, wenn ein Fehler im Datenstream festgestellt wird, der einen oder mehrere Slices beschädigt, geht der Dekodierer normalerweise zum Anfang des nächsten intakten Slice weiter. Für gewöhnlich erscheinen Slice-Fehler als schwarze Balken im Bild, obwohl der Effekt von Slice-Fehlern von dem Fehlerbehebungsmechanismus abhängig ist, der von Dekodierern eingesetzt wird.
• Räumliche Aktivität
• Räumliche Aktivität ist die wahrgenommene räumliche Information laut der Nomenklatur der ITU-T (vgl. ITU-T P.10 / G.100 (11/2017), „Vocabulary for performance, quality of service and quality of experience“). Sie ist ein Maß, das generell die Menge der räumlichen Details eines Bildes angibt. Sie ist bei räumlich komplexen Szenen für gewöhnlich höher.
• Die wahrgenommene räumliche Information (Spatial Perceptual Information, SI) basiert auf dem Sobel-Operator. Jeder Videorahmen (Luminanzebene) zum Zeitpunkt n (Fn) wird zunächst mit dem Sobel-Operator (Sobel(Fn)) gefiltert. Die Standardabweichung über die Pixel (stdspace) in jedem Sobel-gefilterten Rahmen wird dann berechnet. Dieser Vorgang wird für jeden Rahmen in der Videosequenz wiederholt und resultiert in einer Zeitreihe von räumlichen Informationen der Szene. Der maximale Wert in der Zeitreihe (maxtime) wird ausgewählt, um den räumlichen Informationsinhalt der Szene darzustellen. Dieser Prozess lässt sich in Gleichungsform darstellen als: $$\text{SI}=\text{maxtime}\left\{\text{stdspace}\left[\text{Sobel}\left(\text{Fn}\right)\right]\right\}$$

  
• Zeitliche Aktivität
• Zeitliche Aktivität ist die wahrgenommene zeitliche Information laut der Nomenklatur der ITU-T (vgl. ITU-T P.10 / G.100 (11/2017), „Vocabulary for performance, quality of service and quality of experience“). Sie ist ein Maß, das generell die Menge der zeitlichen Veränderungen einer Videosequenz angibt. Sie ist für gewöhnlich in bewegungsreichen Sequenzen höher.
• Das Maß der zeitlichen Information (Temporal Information, TI) wird als der Maximalwert über Zeit (maxtime) der Standardabweichung über Raum (stdspace) von Mn(i,j) über sämtliche i und j berechnet. $$\text{TI}=\text{maxtime}\left\{\text{stdspace}\left[\text{Mn}\left(\text{i}\text{,j}\right)\right]\right\}$$

  

  wobei Mn(i,j) die Differenz zwischen Pixeln an derselben Position im Rahmen ist, aber zu zwei nachfolgenden Rahmen gehört; das heißt: $$\text{Mn}\left(\text{i}\text{,j}\right)=\text{Fn}\left(\text{i}\text{,j}\right)-\text{Fn}-1\left(\text{i}\text{,j}\right)$$

  

  wobei Fn(i,j) das Pixel in der i-ten Zeile und j-ten Spalte des n-ten Rahmens im Zeitverlauf ist.
• Die zeitliche Informationsaktivität aufeinanderfolgender Rahmen beträgt < 100 ms.
• Videoprüfung auf IP-Ebene
• Die Videoprüfung auf IP-Ebene nutzt den Video-Bitstream-Eingang.
• 6 zeigt ein IP-Paket 31, das 1165 Bytes eines solchen Video-Bitstream-Eingangs einer IPTV-Übertragung enthält. Die echten Video- und Audio-Inhalte 32 werden in Transportdatenstream (Transport Stream, TS)-Rahmen 33 übertragen, die in einem Real-Time Transport Protokoll (RTP) 34 eingekapselt sind, was als RTP-Nutzlast bezeichnet wird. Eine derartige RTP-Nutzlast 34 kann 1125 Bytes an Videodaten enthalten. Zusätzlich zur RTP-Nutzlast 34 enthält das IP-Paket eine RTP-Kopfzeile 35, die zusammen mit der RTP Nutzlast 34 ein RTP-Paket 36 bildet, welche die Benutzer-Datagramm-Protokoll (User Datagram Protocol, UDP)-Nutzlast ist. Die RTP-Kopfzeile 35 kann 12 Bytes enthalten, die insbesondere einen Nutzlasttyp, einen Zeitstempel und die Kennung einer Synchronisationsquelle kennzeichnen. Des Weiteren enthält das IP-Paket 31 eine UDP-Kopfzeile 37, die zusammen mit dem RTP-Paket 36 die IP-Nutzlast 38 bildet, die auch als UDP-Paket bezeichnet wird. Die UDP-Kopfzeile 37 kann 8 Bytes aufweisen und enthält einen Quellport, einen Zielport eine Prüfsumme. Darüber hinaus enthält das IP-Paket 31 eine IP-Kopfzeile 39a. Die IP-Kopfzeile 39a kann 20 Bytes aufweisen und enthält eine Quelladresse, eine Zieladresse, eine Gültigkeitsdauer (Time to Live, TTL) und eine Größeninformation bezüglich des gesamten IP-Pakets 31.
• Der jeweilige Transportdatenstreamrahmen 32 kann eine Kopfzeile mit einer Größe von 4 Bytes mit einer Nutzlast von bis zu 184 Bytes aufweisen.
• 7 zeigt Videodaten in Form eines MPEG-2-Transportdatenstreams 39, der die TS-Pakete 40 etc. enthält. Jedes von ihnen weist Kopfzeilen und einen Inhaltsteil auf. Das TS-Paket 40 enthält eine TS-Kopfzeile 41 und eine PES-Kopfzeile 42 sowie eine Audio- und/oder Video-Nutzlast 32. Nachfolgende TS-Pakete enthalten eine weitere TS-Kopfzeile 41 und eine Audio- und/oder Video-Nutzlast 32. Ein weiteres TS-Paket enthält die Programminformation 43. Ein weiteres TS-Paket enthält eine Adaptionsfeld-Auffüllung 44 innerhalb des Transportdatenstreams 39. Die Video-, Audio- und Programminformationen, die ursprünglich in einem Video-PES-Paket 45 enthalten waren, werden in die verschiedenen TS-Pakete 40 etc. des Transportdatenstreams 39 multiplexiert.
• 8 oben zeigt eine nicht verschachtelte Sequenz der TS Pakete 46, 47, die die IP-Kopfzeilen 39, UDP-Kopfzeilen 37, RTP-Kopfzeilen 35 und TS-Pakete 40 enthalten.
• Das IP-Paket 31, 46 in 8 oben links enthält eine Sequenz von TS- oder Nutzlast-Inhalten „1“, „2“ und „3“, und das folgende IP-Paket (8 oben rechts) enthält die Sequenz der TS-Inhalte „4“, „5“ und „6“.
• 8 unten zeigt eine verschachtelte Sequenz von IP-Paketen 31, wobei das linke IP-Paket 31 die TS-Inhalte „1”, „4“ und „7“ enthält und das rechte IP-Paket 31 die TS-Inhalte „2“, „5“ und „8“ enthält. Eine solche verschachtelte Anordnung der Nutzlast-Inhalte „1”, „4“ etc. resultiert in weniger folgenreichen störenden Datenverlusten, da der Verlust eines IP-Pakets 31 nicht den Verlust nachfolgender Teile von Nutzlast-Inhalten nach sich zieht.
• Die Prüfeinheit 5, 11 greift auf die Transportschichtkopfzeile (IP-Kopfzeile 39, UDP-Kopfzeile 37, RTP-Kopfzeile 35) oder möglicherweise auf die Nutzlast 34 zu, nicht jedoch auf das dekodierte Videosignal 32. Die Videoqualität wird in den TCP/UDP/IP-Schichten unter Verwendung der PCAP-Analyse (die Paketerfassung, Packet Capture, ist eine Anwendungsprogrammierschnittstelle (API) zur Erfassung des Netzwerkdatenverkehrs) für den nicht verschlüsselten Teil der Video- und Audiopakete gemessen. Die Anzahl der KPIs, die gemessen werden können, hängt vom Streaming-Protokoll ab und davon, ob eine Verschlüsselung vorliegt oder nicht, entweder nur der Transport-Kopfzeileninformationen oder sowohl der Kopfzeile als auch der Nutzlast. Das Verfahren ist zum Messen der Verfügbarkeit und der grundlegenden Leistung des Multimedia-Dienstes geeignet, sogar wenn die Inhalte verschlüsselt sind (vgl. ITU-T P.1201.2, (8/2013) „Parametric non-intrusive assessment of audiovisual media streaming quality - Higher resolution application area“, und ITU-T P.1203, (10/2017) „Parametric bitstream-based quality assessment of progressive download and adaptive audiovisual streaming services over reliable transport“).
• Die Bewertung der Videoqualität auf IP-Ebene des Prüfsystems basiert auf Parametern, die von der Prüfeinheit erfasst und aus dem Transportdatenpaket und dem Bitstream ohne oder mit nur wenig Dekodieren extrahiert werden können. Der primäre Zweck der Prüfung auf IP-Ebene ist, die Übertragungsqualität im laufenden Betrieb zu überwachen und die mittlere Bewertung (Mean Opinion Score, MOS) der Qualität anhand einer Fünf-Punkte-Skala des Absolute Category Rating (ACR) vorherzusagen. Die Prüfeinheiten können auch an Endpunktstandorten von Unternehmen oder Privatbenutzern und an Mittelpunkten der Inhaltsverteilungsnetzwerke sowie in Zentralen oder an Kopfstationen eingesetzt werden. Die erfassten Multimedia-Datenstreams können in einer PCAP-Datei aufgezeichnet werden.
• Je nach Typ des Videodienstes und der Zuverlässigkeit des IP-Netzwerks nutzt das Prüfsystem zwei unterschiedliche Prüfkonzepte zur Handhabung der IPTV- und OTT-Videoqualität über unterschiedliche Videoübertragungsprotokolle.
• Der Videodatenstream auf IP-Ebene kann verschlüsselt werden, z. B. unter Verwendung von HTTPs. In diesem Fall ist die Sichtbarkeit der vorstehend erwähnten IP-Schicht beschränkt. Das Prüfsystem stellt eine reduzierte Anzahl an Videoqualitäts-KPIs bereit.
• Parametrisches Prüfverfahren für IPTV
• IPTV wird hauptsächlich von Mobilfunk- oder Festnetzanbietern angeboten und in zwei Modi betrieben, entweder als Multicast für Live-Fernsehen (das auch als linear übertragenes Fernsehen bezeichnet wird) oder als Unicast für Video-on-Demand. Das parametrische Prüfverfahren wird auf unverschlüsselte IPTV-Qualität angewendet.
• Überwachen der Signalisierungsqualität
• Die Prüfeinheit überwacht und erfasst die Signalisierungssteuerung und den Signalaustausch über IGMP (Internet Group Management Protocol) zwischen einer STB und einem lokalen Multicast-Router zum Starten, Anhalten und Wechseln des Programms für Live-Fernsehen.
• Bewertung der Videoqualität
• Die Medieninhalte (z. B. H.264-kodierte Videosignale und dazugehörige Audiosignale) werden in Pakete von paketierten Elementardatenstreams (Packetized Elementary Streams, PES) paketiert, d. h. Video- oder Audiodatenstreams, die noch weiter in Blöcke unterteilt und in Container für MPEG2-TS (Moving Picture Experts Group - part 2 Transport Stream) eingefügt werden. Die PES-Pakete können 8 oder 13 Bytes in einer Kopfzeile enthalten. Ein Transportdatenstream transportiert TS-Pakete mit den multiplexierten Video- und Audiodaten als Nutzlasten. Die TS-Datenstreams werden unter Verwendung von RTP (Real-time Transport Protocol) über UDP/IP übertragen. RTP ist besonders für den Multicast und den Unicast über zuverlässige Netzwerke geeignet.
• Sobald eine Videositzung von Live-Fernsehen oder VoD eingerichtet ist, überwacht und erfasst die Prüfeinheit die Paketkopfzeilen für einen bestimmten Zeitraum, z. B. 10 - 30 s über MPEG2-TS/RTPIUDP/IP. Die Prüfeinheit greift auf die Transportpaketkopfzeilen zu, aber nicht auf die Videoinhalte als Nutzlast. Informationen aus der Dekodierung des Bitstreams oder der Analyse der Paketnutzlast werden in dem Prüfverfahren nicht benötigt. Das parametrische Prüfverfahren schätzt die wahrgenommene Qualität basierend auf den vordefinierten und gemessenen Parametern. Typische Parameter, die aus den Paketkopfzeilen als Analyseeingabe extrahiert werden, sind Informationen über den Video/Audio-Codec, die kodierte Bitrate, den RTP-Paketverlust, Jitter sowie Lücken und Bursts im Paketdatenstream.
• Unter Verwendung von PCAP für unverschlüsselte Multimedia-Datenstreams werden drei Analyseschritte durchgeführt: die rahmenbasierte, sequenzbasierte und wahrnehmungsbasierte Analyse. Die rahmenbasierte Analyse bewertet, wie sich der Paketverlust und Jitter sowie Lücken und Bursts im Paketdatenstream auf die Qualität der einzelnen Videorahmen und Audiorahmen auswirken. Die sequenzbasierte Analyse erkennt den Szenenwechsel und unterschiedliche Inhaltstypen in den Datenstreams und stellt Erkenntnisse bereit, wie die Rahmenstruktur durch den Datenverlust beeinflusst wird. Die wahrnehmungsbasierte Analyse liefert MOS-Werte für die Video-, Audio- und Multimedia-Datenstreams (audiovisuelle Datenstreams).
• Parametrisches bitstreambasiertes Prüfverfahren für ABR
• Das parametrische bitstreambasierte Prüfverfahren wird auf die ABR-Videoqualität für Video-on-Demand angewendet.
• Überwachen der Signalisierungsqualität
• Die Prüfeinheit überwacht und erfasst die Signalisierungssteuerung und den Signalisierungsaustausch über das Real-Time Streaming Protocol (RTSP) über TCP beim Einrichten und Steuern von Media-Sitzungen zwischen einem Videoserver und einem Client-Endpunkt. Die anderen Signalisierungsprotokolle können auch verwendet werden, abhängig von den Videoanwendungen.
• Bewertung der Videoqualität
• Die Prüfeinheit verwendet das parametrische bitstreambasierte Prüfverfahren auf IP-Ebene zur Bewertung der TCP-basierten ABR-Videostreaming-Qualität. Die vom Endbenutzer erfahrene Videoqualität wird von der Audiokodierung und/oder von Videobeeinträchtigungen infolge von Kodierung, räumlicher Neuskalierung oder Schwankungen der Videorahmenraten sowie durch Übermittlungsbeeinträchtigungen infolge anfänglicher Ladeverzögerung oder Verzögerung, die durch erneutes Zwischenspeichern beim Endbenutzer verursacht werden, beeinflusst.
• Die Prüfeinheit überwacht und erfasst die Videodatenstreams für eine bestimmte Zeitdauer, z. B. 30 s oder länger über HTTP/TCP/IP. Unter Verwendung von PCAP analysiert und inspiziert die zentrale Prüfkomponente nicht nur die Transportpaketkopfzeilen, sondern auch die Nutzlast, sofern sie unverschlüsselt ist. Die nötigen vorkonfigurierten Parameter (z. B. die Auflösung des PC- oder Mobilgerät-Bildschirms) werden zusammen mit den aus der Paketkopfzeile extrahierten Parametern für die Analyse verwendet. Die Testanalyse kann in unterschiedlichen Modi arbeiten, abhängig davon, ob der gesamte Videodatenstream unverschlüsselt ist, ob nur die Videonutzlast (nicht aber die Videobildkopfzeile) verschlüsselt ist oder sowohl die Videonutzlast als auch die Videobildkopfzeile verschlüsselt sind. Das Prüfverfahren sagt die subjektiv wahrgenommene Videoqualität basierend auf der Analyse der Nutzlast und der Transportkopfzeilen voraus.
• Die durch das Prüfverfahren vorausgesagten Videoqualitätswerte spiegeln durchschnittlich wahrgenommene Beeinträchtigungen an dem Prüfpunkt wider, an dem die Prüfeinheit platziert ist. Die Qualitäts-KPIs enthalten pro Abtastintervall die ACR-5-Punkte-Skala für Video-MOS, die Anzahl der Paketverluste, die Anzahl der erneut gesendeten Pakete, die insgesamt empfangenen Pakete etc.
• Das Prüfverfahren wird auf OTT-ABR-Unicast-Videostreaming-Dienste über verschiedene Protokolle/Container angewendet, zum Beispiel:
• - HLS (HTTP Live Streaming),
• - DASH (Dynamic Adaptive Streaming over HTTP),
• - HDS (HTTP Dynamic Streaming)
• - RTMP (Real-Time Messaging Protocol),
• - HSS (HTTP Smooth Streaming).
• Videoprüfung auf Anwendungs-/Transaktionsebene (Benutzerebene)
• Die Videoprüfung auf Anwendungs-/Transaktionsebene bezieht sich auf eine Live-Video-Überprüfung oder eine Live-Video-Überwachung überall und jederzeit, z. B. YouTube. Die smartphonebasierte Prüfeinheit ist besonders geeignet. Die Prüfung auf Transaktionsebene gestattet die Messung der Multimedia-Serviceleistung bei echter Nutzung, wie etwa die Dauer des App-Starts, die Videoverfügbarkeit, die Dauer des Videostarts etc. Sie ist besonders nützlich beim Messen der Video- und App-Verfügbarkeit, der Benutzererfahrung, der Videoleistung und der Bereitstellung des gewünschten Inhalts in Echtzeit (vgl. ETSI TR 101 578 v.1.3.1 (2018-10), „Speech and Multimedia Transmission Quality (STQ); QoS aspects of TCP-based video services like YouTube™“). Hier sind Transaktionsebenen-KPIs relevant, die im Folgenden beschrieben werden.
• Dieser Abschnitt enthält generische und normative KPIs für die Qualität der Videoanwendung/Transaktion. Zusätzliche KPIs können optional einbezogen werden, abhängig von den Videostreaming-Typen, diagnostischen Qualitätsparametern, Auflösungen etc. Tabelle 1: Generische KPIs für die Videoqualität auf Transaktionsebene

  Zugehörige Phase(n)	Name QoS-Parameter	QoS-Parametertyp
  Videozugriff	Video Access Failure Ratio	Fehlerverhältnis
  Videozugriff	Video Access Time	Dauer
  Abspielen	Video Playout Cut-off Ratio	Abschaltverhältnis
  Abspielen	Video Playout Duration	Dauer
  Abspielen	Impairment-Free Video Session Ratio	Berechnung
  Abspielen	Video Freezing Time Proportion	Berechnung
  Abspielen	Video Quality	Berechnung

• In der Tabelle 1 sind die generischen Video-KPIs auf Anwendungs-/Transaktionsebene aufgelistet. Entweder wird die Prüfeinheit verbunden und simuliert das Videogerät eines Endbenutzers, oder eine smartphonebasierte Prüfeinheit wird direkt für die Benutzererfahrung verwendet. Die QoS-KPIs stellen Beeinträchtigungen für einen Videostreaming-Dienst dar. Der Schwerpunkt liegt auf objektiv messbaren QoS-Beeinträchtigungen, wie etwa das Fehlschlagen des Videostarts, das Einfrieren sowie eine geringe Qualität oder niedrige Auflösung des empfangenen Videos (vgl. ETSI TR 101 578 v.1.3.1 (2018-10), „Speech and Multimedia Transmission Quality (STQ); QoS aspects of TCP-based video services like YouTube™“).
• - „Video Access Failure Ratio (%)“ ist das Gesamtfehlerverhältnis beim Videozugriff.
• - „Video Access Time“ ist die Zeit (s), die es dauerte, bis die Anzeige des Videos startete.
• - „Video Playout Cut-off Ratio (%)“ ist der Gesamtanteil der Abschaltungen beim Abspielen des Videos.
• - „Video Playout Duration (s)“ ist die Zeit, die es gedauert hat, bis das Video abgespielt wurde.
• - „Impairment-Free Video Session (%)“ ist das Gesamterfolgsverhältnis aller Videos, die ohne Beeinträchtigung des Benutzers im Verhältnis zur Gesamtanzahl der Video-Abspielversuche abgespielt wurden. Die Beeinträchtigungen in diesem Kontext sind (a) das Fehlschlagen beim Start, (b) das Einfrieren des Videos und (c) das Fehlschlagen des vollständigen Downloads.
• - „Video Freezing Time (s)“ ist die akkumulierte Einfrierdauer des Videos bei erfolgreichen Abspielstarts. Das Einfrieren tritt z. B. auf, wenn das Abspielen des Videos gestartet wurde und eine Unterbrechung für die erneute Zwischenspeicherung erforderlich ist, aber es kann auch bei langsamer Hardware auftreten, denn die CPU- und GPU-Last kann beim Abspielen eines stark komprimierten Videos hoch sein.
• - „Video Freezing Time Proportion (%)“ ist der Anteil der akkumulierten Einfrierdauer des Videos im Verhältnis zur tatsächlichen Videoabspieldauer (einschließlich Einfrieren) bei erfolgreichen Abspielstarts.
• - „Video Quality“ ist die durchschnittliche Qualität des angezeigten Videos.
• Zusammenfassung der Drei-Ebenen-Prüfmethodik
• Die kombinierte Drei-Ebenen-Prüfmethodik benötigt keinen Zugriff auf das Referenzvideosignal aus der ursprünglichen Quelle und legt keine Annahmen über den Typ des Videoinhalts zugrunde. Deshalb handelt es sich um eine Prüfmethodik ohne Referenz und ohne jede Kenntnis der ursprünglichen Multimedia-Inhalte. Die Prüfeinheiten werden mit einem aktiven Prüfsystem verbunden, das die Zeitpläne automatisiert, unterschiedliche Prüfsequenzen steuert und durchführt, das Prüfergebnis einsammelt und ein umfassendes Dashboard und einen intelligenten Prüfbericht der zu prüfenden Multimedia-Qualität bereitstellt.
• Bereitstellung der kombinierten Prüfmethodik für Videoprüfungen
• Multimedia-Prüfeinheit
• Die Multimedia-Prüfeinheit 5 ist eine Prüfeinheit, die die Fähigkeit zur Videoverarbeitung aufweist. Die Multimedia-Prüfeinheit 5, die als Video-Endgerät für einen End-to-End(e2e)-Test fungiert, ist mit der Set-Top-Box (STB) 3 verbunden, zum Beispiel über HDMI (High-Definition Multimedia Interface) 13 (3). Die Videoquelle kann Live-Fernsehen oder Video-on-Demand in Form von IPTV- oder OTT-TV-Streaming sein, z. B. Apple TV. Die Multimedia-Prüfeinheit 5 erfasst die Video- und Audiosignale und berechnet und bewertet die Bildqualität des empfangenen Videobilds in Echtzeit, ohne eine Bild- oder Videosequenz als Referenz zu verwenden. Die Berechnungszeit kann kürzer als die tatsächliche Dauer der Bild- oder Videosequenz sein.
• Die Multimedia-Prüfeinheit 5 wird auch an den Video-Audio-Pfad zwischen dem Home-Gateway 14 und der STB 3 angeschlossen, um die Medienqualität auf IP-Ebene zu analysieren.
• Ein programmierbarer Infrarot (IR)-Transceiver (IR-Steuerleitung 12) kann jede andere Original-IR-Fernbedienung ersetzen und die STB 3 steuern oder befehligen. Die IR-Steuerleitung 12 ist andererseits mit der Multimedia-Prüfeinheit 5 verbunden, der alle IR-Prüfaktionen bei der Prüfung auf Anwendungs-/Transaktionsebene steuert und aufzeichnet.
• Multimedia-Qualitätsindikatoren auf drei Ebenen
• Die zu prüfende Multimediaqualität lässt sich durch drei Qualitäts-KPI-Gruppen qualifizieren. Die erste Gruppe enthält drei Klassen der Bildqualitäts-KPI-Indikatoren: Erfassungs-/Verarbeitungsartefakte (Blockeffekte, Unschärfe, Kontrast, Belichtung, Flackern, Zeilensprünge, Rauschen, räumliche Aktivität, zeitliche Aktivität), Übertragungsartefakte (Commercial Black, Blockverlust, Einfrieren, Slicing), Anzeigeartefakte (Commercial Black, Letterboxing, Pillarboxing, Slicing), die in demselben Prüfkontext auch kurz als Video-KPIs bezeichnet werden (vgl. E. Wyckens, S. Borer und M. Leszczuk, MOAVI (Monitoring of Audio Visual Quality by Key Indicators), VQEG, Juli 2012, http://www.its.bidrdoc.gov/vqeg/projects/moavi/moavi.aspx). Die anderen beiden Gruppen von KPI-Indikatoren gehören jeweils zu den Qualitäts-KPIs für die Transaktionsebene (Menü auf Benutzerebene: Schrittüberprüfungserfolg, Kanalerfolgsrate, Kanalerkennung) und für die IP-Ebene (IP-Schicht: Paketverlust, Anzahl von Paketen, Audio/Video-Codec, MOS AV, MOS B für verschlüsselte Datenstreams).
• Durch Messen der definierten KPIs ist die kombinierte Drei-Ebenen-Prüfmethodik für eine Neuskalierung transparent und bewertet nur das empfangene Video in seiner übermittelten oder angezeigten Auflösung. Sie ist auch für Verschlüsselung (keine Entschlüsselung erforderlich), Transkodierung und erneute Verpackung transparent.
• Aktive Prüfsequenz
• Dieser Abschnitt stellt zwei Beispiele für die aktive Multimedia-Prüfsequenz bereit.
• Prüfen und Überwachen von Programmen auf der STB für Live-TV-Kanäle
• In einem ersten Prüfschritt findet ein Durchlaufen der verschiedenen TV-Programme statt. In einem zweiten Prüfschritt erfolgt ein Umschalten auf einen Kanal, und die Videoqualität wird geprüft. In einem weiteren Prüfschritt erfolgt ein Umschalten auf Kanal 2, und die Videoqualität wird geprüft. In einem weiteren Prüfschritt erfolgt ein Umschalten auf Kanal 3, und die Videoqualität wird geprüft. Dies wird für weitere Kanäle wiederholt. Die Prüfschritte werden entweder manuell oder automatisch über eine vordefinierte Prüfsequenz gesteuert, und das Prüfergebnis wird auf dem Dashboard präsentiert.
• Prüfen und Überwachen von Inhalten auf der STB für VoD (Netflix)
• Hier erfolgt in einem ersten Prüfschritt ein Durchlaufen des Menüs der TV-App. In einem zweiten Prüfschritt erfolgt ein Durchlaufen des Menüs zur Aktivierung von Netflix. In einem weiteren Prüfschritt wird ein Film ausgewählt, der abgespielt werden soll. In einem weiteren Prüfschritt wird der ausgewählte Film für eine definierte Zeitdauer abgespielt. Die Prüfschritte werden entweder manuell oder automatisch über eine vordefinierte Prüfsequenz gesteuert, und das Prüfergebnis wird auf dem Dashboard präsentiert.
• Darstellung der Prüfergebnisse für kombinierte Drei-Ebenen-Prüfungen
• Dieser Abschnitt stellt ein Beispiel für das Prüfergebnis der IPTV-Kanalverfügbarkeit auf Transaktionsebene, die Videobildqualität auf Rahmenebene sowie die Video-, Audio- und Audio-Video-MOS-Qualität auf IP-Ebene dar.
• Darstellung des Prüfergebnisses auf Transaktionsebene
• Hier stellt ein KPI-Parameter des Transaktionserfolgsverhältnisses einen arithmetischen Mittelwert der Verfügbarkeit der einzelnen zu prüfenden Kanäle innerhalb der wiederholten Prüfungen in einem vordefinierten Zeitraum als Prozentsatz dar. Ein Erfolg wird bestimmt, indem eine Anzeige auf dem Bildschirm des erwarteten Kanals erfolgt. Anderenfalls ist sie fehlgeschlagen. Das Erfolgsverhältnis lässt sich als Erfolgs-/Misserfolgswahrscheinlichkeit in einem Balkendiagramm darstellen.
• Darstellung des Prüfergebnisses auf Rahmenebene
• Für jeden Kanal lassen sich Parameter wie Videohöhe, Videobreite, Rahmen pro Sekunde, blockiness_mean, blockloss_mean, blur_mean, commercial black_mean, contrast_mean, exposure time distortion, flickering_mean, freezing mean, letter boxing_mean, noise_mean, interlace_mean, pillarboxing mean, spatial activity_mean, temporal activity_mean in einer Tabelle darstellen.
• Zum Beispiel lässt sich die Videoqualität der zu prüfenden TV-Programme auf Rahmenebene zeigen. Ein Videoqualitäts-Dashboard kann mithilfe der Bildqualitätsindikatoren bereitgestellt werden.
• Darstellung des Prüfergebnisses auf IP-Ebene
• Prüfergebnisse mit den MOS-Werten für Video-, Audio- und Multimediaqualität und viele andere KPIs für unverschlüsselte Videodatenstreams auf der IP-Ebene können in entsprechenden Tabellen dargestellt werden. Diagramme können die drei MOS-Werte während der Prüfung zusammenfassen. Darüber hinaus kann ein Paketverlustverhältnis (unverschlüsseltes IPTV) im Zeitverlauf in einem Echtzeit-Diagramm gezeigt werden.
• Smartphonebasierte Prüfeinheit über Mobilfunknetzwerke
• Bei Verwendung der smartphonebasierten Prüfeinheit 11 werden die Videobilder jeder beliebigen Mobilfunk-Videoanwendung empfangen und auf dem Smartphone-Bildschirm angezeigt, und dasselbe Videosignal wird gespiegelt und an der Prüfeinheit erfasst. Das Multimedia-Verarbeitungsmodul analysiert die Videobildqualität Rahmen für Rahmen basierend auf demselben Videosignal, das an dem Empfänger, der sich am Endbenutzergerät befindet, auf dem/den Smartphone-Bildschirm(en) abgespielt wird, und bestimmt die subjektiv wahrgenommene Videoqualität. Die Bildanalyse und die dazugehörige Qualitätsberechnung erfolgen auf dieselbe Weise wie bei einer Multimedia-Prüfeinheit, die unter 3.6.1 beschrieben wurde, und werden deshalb an dieser Stelle nicht wiederholt.
• Videoprüfsequenzen lassen sich auf sehr einfache Weise erstellen. Der Wechsel von Prüfsequenzen erfolgt innerhalb von Minuten. Die Prüfleistung und das Ergebnis werden auf dem Client-Testbildschirm auf ebenso intuitive Weise wie bei einer Smartphone-Erfahrung gezeigt. Eine Prüfsequenz für das Benutzerverhalten kann grafisch auf dem Bildschirm eines Endbenutzer-Displays gezeigt werden.
• Ein Prüfergebnis auf Transaktionsebene kann in Form einer Baumstruktur gezeigt werden.
• YouTube-Prüfung in einer großen Bereitstellung
• YouTube ist einer der beliebtesten Videostreaming-Dienste, auf den sowohl aus Mobilfunknetzwerken als auch aus dem Festnetz zugegriffen wird. Das Kombinieren der YouTube-Qualitätsprüfung auf Transaktions- und IP-Ebene ist eine leistungsstarke Prüfmethodik bei einer großen Bereitstellung von Prüfeinheiten, die sowohl an der klassischen Datenprüfeinheit 5 als auch an der smartphonebasierten Prüfeinheit 11 erfolgen kann.
• Die Videoanalyse basiert auf der PCAP-Analyse. Die Videoqualität wird bereitgestellt als:
• - MOS-Audio/Video für unverschlüsselte Videodatenstreams,
• - MOS-B für verschlüsselte Videodatenstreams,
• - TCP/IP-KPIs, z. B. Paketverlust, Durchsatz, Bitrate.
• Ein YouTube-Videoprüfergebnis kann zeigen, dass die MOS-Qualität des Videos, die aus erfolgreichen Videositzungen resultiert, quer durch die Funktechnologien und bei verschiedenen Mobilfunkanbietern einheitlich ist. Das Streaming-Erfolgsverhältnis als KPI kann jedoch wegen der schlechten Datenverlässlichkeit der 2G-/3G-Zugriffstechnologien im Vergleich zu 4G erheblich variieren (d. h. nicht alle Videositzungsversuche werden zu erfolgreichen Videositzungen führen).
• Für die Prüfung auf Transaktionsebene automatisiert eine YouTube-Prüfsequenz einen echten Browser und spielt ein ausgewähltes zu prüfendes Video ab. Die Prüfung erfasst die Leistung des YouTube-Dienstes als Erfahrung des Endbenutzers, während die PCAP-Datei, die in der Sitzung erzeugt wurde, analysiert wird, um die vorstehend erwähnten KPIs auf IP-Ebene abzuleiten. Die Prüfung stellt KPIs auf Anwendungsebene für Folgendes bereit:
• - YouTube-Videoqualität - mit Messungen, die direkt aus der nativen YouTube-Diagnostik extrahiert werden.
• - YouTube-Seitenzugriffs- und Browsingdauer - einschließlich Screenshots von jedem Browsingschritt
• Netflix-Prüfung
• Das Prüfszenario für die Netflix-Videowiedergabe läuft auf dem Chrome-Browser auf der Transaktionsebene. Sobald ein Videotitel zur Wiedergabe aktiviert wird, wird der native Netflix-Player in den Videopuffer geladen, und die Wiedergabe des Videos startet. Die Prüfsequenz ist für den Test-Start und das Test-Ende einer ausgewählten Testdauer flexibel. Nach dem Ende der Prüfung wird ein Diagnosemodus des Players aktiviert, und die Prüfung führt eine Nachverarbeitung der QoE-KPIs durch.
• Während der Netflix-Prüfung wird eine Netflix-URL geöffnet, sobald die Seite geladen wird, wird ein Screenshot aufgenommen. Des Weiteren wird während der Prüfung die Anmeldeseite besucht, und die entsprechenden Anmeldedaten werden eingefügt. Nach der Anmeldung wird ein Screenshot aufgenommen, und es wird sichergestellt, dass die Netflix-Seite nach dem Ladevorgang vollständig geladen wurde. Danach wird ein erstes Video im Register „Trending Now“ (Beliebt auf Netflix) gestartet. Gestartet wird dies aus der Position: 0 s (Standard). Das Video wird dann abgespielt für eine Dauer von: 30 s (Standard). Ein Diagnosemodus wird dann über eine entsprechende Tastenfolge eingeleitet. Danach werden KPIs aus einem Diagnosefenster ausgelesen, und es folgt ein Abmeldeschritt. So wird eine Netflix-Prüfsequenz auf der Transaktionsebene mithilfe der smartphonebasierten Prüfeinheit 11 durchgeführt. Wichtige Ergebnisdateien und KPIs in der Prüfung bestehen aus einer Momentaufnahme jeder durchgeführten Aktion, dem Fehlerverhältnis, der Prüfschritt-zu-Prüfschritt-Dauer etc. KPIs können aus dem nativen Netflix-Diagnoseprotokoll extrahiert werden.
• Für die Netflix-Prüfung können sowohl Festnetz- als auch Mobilfunknetzschnittstellen durch die Prüfeinheit verbunden werden. Die Dienstverfügbarkeit desselben Inhalts kann jedoch durch Zugriffstechnologien beeinträchtigt werden. Browsing-Schritte können sich durch langsame Reaktion im Mobilfunknetzwerk verzögern. Das Videozwischenspeicherungsverhalten ist an einer Festnetzschnittstelle stabiler.
• Zu prüfende Videoauflösung
• Die Videoauflösung lässt sich messen für:
• - Desktop- oder Laptop-Bildschirme 8K UHD-Video (7680 × 4320), 4K Video (3840x2160) bei 30fps, 2K HD-Video (1920x1080) bei 60 fps oder einer niedrigeren Auflösung,
• - Mobilgerät-Bildschirm (1440x2960) für Android bzw. (1242x2688) für iPhones oder eine niedrigere Auflösung.
• Fazit
• Das Prüfsystem hat eine verbesserte Videoprüfmethodik übernommen, die ein aktives End-to-End-Prüfsystem mit dem passiven Videoüberwachungsverfahren auf drei verschiedenen Ebenen kombiniert, nämlich auf Rahmen-, IP- und Transaktionsebene für IPTV- und OTT-ABR-VoD-Dienste. Unter Verwendung der standardisierten Artefakt-KPIs erfasst und analysiert die Prüfeinheit das Video Rahmen für Rahmen, die an der STB oder an der smartphonebasierten Prüfeinheit empfangen werden. Mit KPIs der Transaktionsebene und einem benutzerdefinierten Verhaltensskript stellt die smartphonebasierte Prüfeinheit ein leistungsstarkes Mittel zur Prüfung und Überwachung beliebiger Multimedia-Apps bereit. Basierend auf der Videopaketanalyse verschlüsselter oder unverschlüsselter Bitstreams auf IP-Ebene kann die Prüfeinheit überall in den Videoverteilungsnetzwerken, in einer Zentrale, in einer Kopfstation, bei Privatkunden oder bei Unternehmen für automatisierte Multimedia-Prüfungen eingesetzt werden.
• Das Prüfsystem liefert durch Einbeziehen insbesondere die smartphonebasierten Prüfeinheiten eine echte Smartphone-Erfahrung für Multimedia-Endbenutzer und ermöglicht es Benutzern, Prüfszenarien mit Skripts des Drag-and-drop-Typs zu automatisieren und die Prüfergebnisse über die Weboberfläche zu analysieren - mit Zugriff auf KPIs für die Videoqualität und auf Screenshots.
• Ein solches Prüfsystem ist universell für beliebige Typen von Multimedia-Diensten jederzeit und überall unabhängig von Protokollen, Codecs und Smartphone-Typen für Multimedia-QoS und -QoE einsetzbar.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 10097981 B1 [0002]
• US 7831249 B2 [0002]
• WO 2004/049746 A1 [0002]

Claims (12)

1. Prüfverfahren für Videostreaming-Daten, die über eine IP-basierte Netzwerkschnittstelle (2, 7) verteilt werden, mit den folgenden Schritten: - Erfassen der Videostreaming-Daten von einer Datenquelle (1, 6) über die IP-basierte Netzwerkschnittstelle (2, 7) durch eine Prüfeinheit (5, 11); - Messen der Qualität der Videodaten, die mindestens eine der folgenden Ebenen enthalten: -- IP-Ebene, d. h. Messen der Qualität der Datenbereitstellungspfade von der Datenquelle (1, 6) zur Prüfeinheit (5, 11), -- Videosignalebene, d. h. Prüfen der Datensignalqualität an der Prüfeinheit (5, 11), -- Benutzerebene, d. h. Prüfen der auf Benutzertransaktionen bezogenen Prüfkriterien, - Analysieren und Erzeugen von Qualitätsdaten als ein Ergebnis der jeweiligen Prüfung und Messung, - Aufzeichnen der erzeugten Qualitätsdaten.
2. Prüfverfahren nach Anspruch 1, wobei das Prüfverfahren in Echtzeit durchgeführt wird.
3. Prüfverfahren nach Anspruch 1 oder 2, wobei die Prüfeinheit (5, 11) ein Benutzergerät (8 bis 10) simuliert, um das Video anzuzeigen.
4. Prüfverfahren nach einem der Ansprüche 1 bis 3, wobei die Prüfeinheit (5, 11) während des Prüfverfahrens bewegt wird.
5. Prüfverfahren nach einem der Ansprüche 1 bis 4, wobei die Prüfeinheit (5, 11) während der Prüfung auf der Videosignalebene auf das dekodierte Videosignal zugreift und mindestens einen Bildverschlechterungsparameter misst.
6. Prüfverfahren nach einem der Ansprüche 1 bis 5, wobei die Prüfeinheit (5, 11) während der Prüfung auf der IP-Ebene auf eine Kopfzeile (35, 37, 39a) eines Videosignaldatenpakets (31) zugreift.
7. Prüfverfahren nach Anspruch 6, wobei die Prüfeinheit (5, 11) nach dem Zugriff auf die Kopfzeile (35, 37, 39a) des Videosignalpakets (31) eine PCAP-Analyse (Packet Capture Application Programing) durchführt.
8. Prüfverfahren nach einem der Ansprüche 1 bis 7, wobei die Prüfeinheit (5, 11) während der Prüfung auf der Benutzerebene eine Videoanwendung auslöst und überwacht.
9. Prüfeinheit (11) zur Verwendung in einem Prüfverfahren nach einem der Ansprüche 1 bis 8, umfassend - ein Smartphone (16), - eine Prüfeinheitumgebung (18), die mindestens eine Datenschnittstelle (17, 19) zur Kommunikation mit dem Smartphone (16) und zur Kommunikation mit einer zentralen Prüfkomponente (20) eines Prüfsystems (21) aufweist.
10. Prüfsystem (21) mit einer Prüfeinheit (5, 11) zur Verwendung in einem Prüfverfahren nach einem der Ansprüche 1 bis 9.
11. Prüfsystem (21) mit einer Prüfeinheit (5, 11) nach Anspruch 9 zur Verwendung in einem Prüfverfahren nach einem der Ansprüche 1 bis 8 und mit einer zentralen Prüfkomponente (20).
12. Prüfsystem (21) nach Anspruch 10 oder 11, umfassend einen SIM-Multiplexer (26).

Images