DE112012002626T5

DE112012002626T5 - Systeme, Verfahren und Datenträger zum Steuern einer Präsentation von Datenbildern in einem Videostrom

Info

Publication number: DE112012002626T5
Application number: DE112012002626.8T
Authority: DE
Inventors: Yair Wiener; Ori Modai
Original assignee: Radvision Ltd
Current assignee: Avaya Inc
Priority date: 2011-06-24
Filing date: 2012-05-30
Publication date: 2014-04-17
Anticipated expiration: 2032-05-31
Also published as: WO2013001375A3; US8928728B2; CN103621063A; WO2013001375A2; US20120023541A1; DE112012002626B4; CN103621063B

Abstract

Systeme zum Steuern einer Präsentation von Datenbildern in einem Videostrom umfassen: mindestens einen Prozessor, der dazu programmiert ist: einen Videobitstrom, der eine Vielzahl von Bildern darstellt, unter Verwendung allgemeiner Übertragungsparameter zu einer Vielzahl von Empfängern zu übertragen; zu bestimmen, dass eine Übertragungsverbindung zu einem der Vielzahl von Empfängern leistungsverschlechtert ist; eines aus der Vielzahl von Bildern zur Übertragung zu dem einen der Vielzahl von Empfängern auszuwählen; sich auf eine leistungsverschlechterte Verbindung beziehende Übertragungsparameter zur Übertragung des einen aus der Vielzahl von Bildern auf der leistungsverschlechterten Übertragungsverbindung auszuwählen, wobei sich die auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter von den allgemeinen Übertragungsparametern unterscheiden; das eine aus der Vielzahl von Bildern unter Verwendung der sich auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter zu dem einen der Vielzahl von Empfängern zu übertragen; und den Videodatenstrom unter Verwendung der allgemeinen Übertragungsparameter weiter zu mindestens einem anderen der Vielzahl von Empfängern zu übertragen.

Description

Querverweis auf verwandte Anmeldung
Diese Anmeldung ist eine Teilfortführung der am 28. Mai 2010 eingereichten US-Patentanmeldung Nr. 12/790,624, die hiermit durch Bezugnahme in ihrer Gänze hier mit aufgenommen wird.
Technisches Gebiet
Der offenbarte Gegenstand bezieht sich auf Systeme, Verfahren und Datenträger zum Steuern einer Präsentation von Datenbildern in einem Videostrom.
Hintergrund
In verschiedenen Domänen werden Daten von Fernteilnehmern unter Verwendung bestehender Videokanäle gemeinsam genutzt. Um dies zu erreichen, werden Daten erfasst und dann unter Verwendung eines standardmäßigen Videocodierers codiert, als wären sie natürliches Video. Die abgesetzte Partei empfängt das Video und die Daten (z. B. als Datenbilder, die ein Datenvideo ausmachen) unter Verwendung eines Videodecodierers. Weil es sich in diesen Szenarien bei den Daten um einen Echtzeitvideostrom handelt, kann ein Nutzer die Daten (beispielsweise Folien in einer Präsentation) jedoch nicht einfach durchsuchen, bereits präsentierte Daten noch einmal ansehen (beispielsweise bei einer verspäteten Teilnahme an einer Videokonferenz), präsentierte Daten verteilen (beispielsweise bei einer Videokonferenz), nachdem sie gemeinsam genutzt wurden, usw.
Weil solche Videoströme auch typischerweise unter Verwendung derselben Übertragungsparameter (z. B. Codec, Auflösung, Bitrate, Bildrate, Übertragungsprotokoll, usw.) zu vielen Empfängern übertragen werden, werden, wenn die Übertragungsparameter für einen Videostrom modifiziert werden, um einen Ausgleich für eine leistungsverschlechterte Übertragungsverbindung zu einem einzelnen Empfänger zu schaffen, letztendlich die Übertragungsparameter für alle Empfänger modifiziert. Leider kann dies jedoch dazu führen, dass eine reduzierte Bitrate verwendet wird, um den Videostrom für alle Empfänger zu codieren, wodurch eine Verschlechterung der Stromqualität für alle Empfänger bewirkt wird. Zusätzlich kann sich aufgrund eines Synchronisationsverlusts zwischen dem Sender und dem Empfänger, die auf die sich aus Paketverlusten ergebende, leistungsverschlechterte Übertragungsverbindung aufgeschaltet sind, eine große Anzahl an Videoauffrischungen (z. B. anhand von Intrabildern) an allen Empfängern bemerkbar machen.
Kurzdarstellung
Es werden Systeme, Verfahren und Datenträger zum Steuern einer Präsentation von Datenbildern in einem Videostrom bereitgestellt. Gemäß einigen Ausführungsformen umfassen Systeme zum Steuern einer Präsentation von Datenbildern in einem Videostrom: mindestens einen Prozessor, der dazu programmiert ist: einen Videobitstrom, der eine Vielzahl von Bildern darstellt, unter Verwendung allgemeiner Übertragungsparameter zu einer Vielzahl von Empfängern zu übertragen; zu bestimmen, dass eine Übertragungsverbindung zu einem der Vielzahl von Empfängern leistungsverschlechtert ist; eines aus der Vielzahl von Bildern zur Übertragung zu dem einen der Vielzahl von Empfängern auszuwählen; sich auf eine leistungsverschlechterte Verbindung beziehende Übertragungsparameter zur Übertragung des einen aus der Vielzahl von Bildern auf der leistungsverschlechterten Übertragungsverbindung auszuwählen, wobei sich die auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter von den allgemeinen Übertragungsparametern unterscheiden; das eine aus der Vielzahl von Bildern unter Verwendung der sich auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter zu dem einen der Vielzahl von Empfängern zu übertragen; und den Videodatenstrom unter Verwendung der allgemeinen Übertragungsparameter weiter zu mindestens einem anderen der Vielzahl von Empfängern zu übertragen.
Gemäß einigen Ausführungsformen umfassen Verfahren zum Steuern einer Präsentation von Datenbildern in einem Videostrom: Übertragen eines Videobitstroms, der eine Vielzahl von Bildern darstellt, unter Verwendung allgemeiner Übertragungsparameter und eines dazu programmierten Prozessors zu einer Vielzahl von Empfängern; Bestimmen, dass eine Übertragungsverbindung zu einem der Vielzahl von Empfängern leistungsverschlechtert ist, unter Verwendung eines dazu programmierten Prozessors; Auswählen eines aus der Vielzahl von Bildern zur Übertragung zu dem einen der Vielzahl von Empfängern unter Verwendung eines dazu programmierten Prozessors; Auswählen von sich auf eine leistungsverschlechterte Verbindung beziehenden Parametern zur Übertragung des einen aus der Vielzahl von Bildern auf der leistungsverschlechterten Übertragungsverbindung, wobei sich die auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter von den allgemeinen Übertragungsparametern unterscheiden, unter Verwendung eines dazu programmierten Prozessors; Übertragen des einen aus der Vielzahl von Bildern zu dem einen der Vielzahl von Empfängern unter Verwendung der sich auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter und eines dazu programmierten Prozessors; und weiteres Übertragen des Videobitstroms zu mindestens einem anderen der Vielzahl von Empfängern unter Verwendung der allgemeinen Übertragungsparameter und eines dazu programmierten Prozessors.
Gemäß einigen Ausführungsformen enthalten computerlesbare Datenträger computerausführbare Anweisungen, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren zum Steuern der Präsentation von Datenbildern in einem Videostrom ausführt, wobei das Verfahren Folgendes umfasst: Übertragen eines Videobitstroms, der eine Vielzahl von Bildern darstellt, zu einer Vielzahl von Empfängern unter Verwendung allgemeiner Übertragungsparameter; Bestimmen, dass eine Übertragungsverbindung zu einem der Vielzahl von Empfängern leistungsverschlechtert ist; Auswählen eines aus der Vielzahl von Bildern zur Übertragung zu dem einen der Vielzahl von Empfängern; Auswählen von sich auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparametern zur Übertragung des einen aus der Vielzahl von Bildern auf der leistungsverschlechterten Übertragungsverbindung, wobei sich die auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter von den allgemeinen Übertragungsparametern unterscheiden; Übertragen des einen aus der Vielzahl von Bildern zu dem einen der Vielzahl von Empfängern unter Verwendung der sich auf eine leistungsverschlechterte Verbindung beziehenden Parameter; und weiteres Übertragen des Videobitstroms zu mindestens einem anderen der Vielzahl von Empfängern unter Verwendung der allgemeinen Übertragungsparameter.
Kurze Beschreibung der Zeichnungen
1 ist ein Schaubild zu Hardware, die bei einigen Ausführungsformen verwendet werden kann.
2 ist ein Schaubild für einen Prozess zum Verarbeiten eines Videobitstroms gemäß einigen Ausführungsformen.
3 ist ein Schaubild für einen Prozess zum Identifizieren von Sätzen von Datenbildern gemäß einigen Ausführungsformen.
4 ist ein Schaubild mit einer Tabelle, die Filterdurchläufe und Falsch-Positiv-Raten, Falsch-Negativ-Raten und Komplexitäten, die mit diesen Filterdurchläufen verbunden sind, gemäß einigen Ausführungsformen zeigt.
5 ist ein Schaubild für einen Prozess zum Auswählen bester Datenbilder in Sätzen von Datenbildern gemäß einigen Ausführungsformen.
6 ist ein Schaubild für einen Prozess zum Präsentieren von Datenbildern an einem Endpunkt mit einer leistungsverschlechterten Verbindung gemäß einigen Ausführungsformen.
Ausführliche Beschreibung
Gemäß verschiedenen Ausführungsformen werden Mechanismen zum Steuern der Präsentation von Datenbildern in einem Videostrom bereitgestellt. Diese Mechanismen können bei verschiedenartigen Anwendungen verwendet werden, wie etwa zum Ermöglichen des Durchsuchens von Datenbildern online, eines Empfangs von bereits gezeigten Daten für verspätete Teilnehmer an einer Videokonferenz, einer späteren Verteilung von in einer Videokonferenz bereitgestellten Datenbildern, eines Durchsuchens einer aufgezeichneten Videokonferenz unter Verwendung von Datenbildern als Index und zum Bereitstellen von Bildern für einen Empfänger, der über eine leistungsverschlechterte Übertragungsverbindung angeschlossen ist.
In 1 ist ein Beispiel für eine Hardware 100 dargestellt, die bei einigen Ausführungsformen verwendet werden kann. Wie gezeigt, können Daten 102 für einen Videocodierer 106 anhand einer Kamera 104 bereitgestellt werden, oder Daten 102 können für einen Videocodierer 108 direkt bereitgestellt werden. Bei den Daten kann es sich um beliebige geeignete Daten handeln, und diese können in Form einer visuellen Präsentation (wie z. B. einer POWERPOINT-Präsentation) vorliegen. Bei der Kamera 104 kann es sich um eine beliebige geeignete Kamera wie etwa eine Videokamera handeln. Bei den Videocodierern 106 und 108 kann es sich um beliebige geeignete Hardware- und/oder Software-Videocodierer handeln, und diese können beliebige geeigneten Videocodierstandards und oder Codierer/Decodierer (Codecs) dazu nutzen, ein Videosignal zu erzeugen und/oder das Signal zu komprimieren. Bei einigen Ausführungsformen können die Kamera 104 und/oder die Videocodierer 106 oder 108 ein Teil eines Videokonferenzendpunkts sein.
Nachdem die Daten codiert wurden, kann ein Bitstrom durch den Videocodierer bereitgestellt werden. Dieser Bitstrom kann über ein Netz 110 übertragen werden. Jedes geeignete Netz und/oder jede geeignete Kombination von Netzen kann bei einigen Ausführungsformen als Netz 110 verwendet werden. Beispielsweise kann das Netz 110 das Internet, ein Festnetz, ein drahtloses Netz, ein Ortsnetz, ein Fernnetz, ein Telefonnetz, ein Kabelnetz, ein Satellitennetz, ein Glasfasernetz usw. umfassen. Bei einigen Ausführungsformen kann das Netz 110 eine beliebige geeignete Ausrüstung wie etwa Router, Firewalls, Server, Proxy-Server, Mehrpunkt-Konferenzeinheiten, Gateways usw. umfassen. Abschnitte des Netzes 110 umfassen Verbindungen, welche die verschiedenen in 1 gezeigten Komponenten verbinden. Diese Verbindung können Teile der vorstehend beschriebenen Netze und/oder Ausrüstung umfassen.
Ein Netzwerkgerät 112 kann dann den Bitstrom empfangen. Bei dem Netzwerkgerät 112 kann es sich um ein beliebiges geeignetes Gerät oder einen Teil eines beliebigen geeigneten Geräts handeln. Beispielweise kann das Gerät 112 ein Server sein. Das Gerät 112 kann einen Videostromrangierer 113, einen Videodecodierer 114 und einen Bildidentifikator und -selektor 116 umfassen.
Eine Verteilung des Bitstroms kann durch den Videostromrangierer 113 gesteuert werden. Bei dem Rangierer 113 kann es sich um eine beliebige geeignete Vorrichtung zum Steuern der Weichenstellung des Bitstroms handeln. Unter Verwendung des Rangierers 113 kann der Strom zu einem oder mehreren Endpunkten, wie etwa den Endpunkten 117, 118, 119 und 122, und/oder zum Videodecodierer 114 geleitet werden.
Die Endpunkte 117, 118, 119 und 122 können beliebige geeignete Hardware und/oder Software zum Implementieren eines Videokonferenzendpunkts enthalten. Bei diesen Endpunkten kann es sich um eine beliebige geeignete Vorrichtung oder einen Teil einer beliebigen geeigneten Vorrichtung handeln. Beispielweise können die Endpunkte Computer, Mobilvorrichtungen, Desktop Clients, Streaming Clients usw. sein, die als Videokonferenzendpunkte konfiguriert sind.
Im Endpunkt 122 können Funktionen zum Implementieren eines Videokonferenzendpunkts durch Endpunktkomponenten 128 bereitgestellt werden. Der Endpunkt 122 kann auch einen Videodecodierer 124, einen Bildidentifikator und -selektor 126 und eine Datenbildablage 130 umfassen.
Bei den Videodecodierern 114 und 124 kann es sich um beliebige geeignete Hardware- und/oder Softwarevideodecodierer handeln, die den Videobitstrom in eine Reihe von Videobildern decodieren. Die Videodecodierer 114 und 124 können beliebige geeignete Videocodierstandards und/oder Codierer/Decodierer (Codecs) nutzen. Beispielsweise können die Videodecodierer einen Decodierer umfassen, der zum Codierer im Videocodierer 106 oder 108 passt.
Bei dem Bildidentifikator und -selektor 116 und 126 kann es sich um beliebige geeignete Hardware und/oder Software zum Identifizieren und Selektieren von Bildern handeln. Bildidentifikator und -selektoren können beispielsweise wie hier in Verbindung mit 3 und 5 beschrieben Bilder identifizieren und selektieren.
Bei einigen Ausführungsformen kann das Netzwerkgerät 112 darüber hinaus einen Codierer 132 und eine Bildwiedergabevorrichtung 134 umfassen. Der Codierer 132 kann dazu verwendet werden, ein durch den Bildidentifikator und -selektor 116 und 126 ausgewähltes Bild in einem beliebigen geeigneten Format (z. B. wie nachstehend in Verbindung mit 6 beschrieben wird) zu codieren. Die Bildwiedergabevorrichtung 134 kann dazu verwendet werden, ein durch den Codierer 132 codiertes Bild zu einem oder mehreren Endpunkten zu übertragen.
Bei einigen Ausführungsformen kann auch eine separate Codierer- und Wiedergabeeinheit 140 in der Hardware 100 enthalten sein. Die Einheit 140 kann bei einigen Ausführungsformen einen Codierer 142 und eine Bildwiedergabevorrichtung 144 enthalten, die dem Codierer 132 bzw. der Bildwiedergabevorrichtung 134 ähnlich sind.
Zusätzlich oder alternativ zur Datenbildablage 130 kann die Hardware 100 auch eine Datenbildablage 120 umfassen. Bei den Datenbildablagen 120 und 130 kann es sich um beliebige geeignete Speichermechanismen zum Speichern von Datenbildern handeln. Beispielsweise können die Datenbildablagen 120 und 130 eine Massenspeichervorrichtung (wie etwa ein Plattenlaufwerk, ein optisches Laufwerk, magnetische Datenträger, Speicher usw.) und eine Datenbanklogik (wie etwa Datenbankhardware und/oder -software) umfassen. Bei einigen Ausführungsformen kann die Datenbildablage 120 und/oder irgendeine andere geeignete Speichervorrichtung eine aufgezeichnete Kopie einer Videokonferenz enthalten, zu der ein Bitstrom gehören kann.
Bei einigen Ausführungsformen können verschiedene Komponenten (wie etwa die Videocodierer 106 und 108, die Videostromrangierer 113, die Videodecodierer 114 und 124, Bildidentifikator und -selektoren 116 und 126, die Codierer 132 und 142, die Bildwiedergabevorrichtungen 134 und 144, die Endpunkte 117, 118 und 119, die Endpunktkomponenten 128 und die Datenbildablagen 120 und 130) der Hardware 100 in einem oder mehreren Universalgerät/en wie etwa einem Computer oder einem Spezialgerät wie etwa einem Client, einem Server usw. implementiert sein. Jedes dieser Universal- oder Spezialgeräte kann beliebige geeignete Komponenten wie etwa einen Prozessor (bei dem es sich um einen Mikroprozessor, einen digitalen Signalprozessor, einen Controller usw. handeln kann), Speicher, Kommunikationsschnittstellen, Anzeigesteuerungen, Eingabevorrichtungen usw. umfassen und dazu konfiguriert sein, als reaktion auf Softwareanweisungen in Übereinstimmung mit der hier beschriebenen Funktionalität zu arbeiten.
2 stellt ein Beispiel für einen Prozess 200 dar, der bei einigen Ausführungsformen von dem Netzwerkgerät 112 und/oder dem Endpunkt 122 durchgeführt werden kann. Wie gezeigt, empfängt der Prozess 200, nachdem er bei 202 begonnen hat, einen Videobitstrom bei 204. Der Videobitstrom kann auf jede geeignete Weise, wie etwa eine Übertragung über das Netz 110, eingehen. Als Nächstes kann der Videobitstrom bei 206 in Videobilder decodiert werden. Jede geeignete Decodierung kann bei einigen Ausführungsformen eingesetzt werden. Dann können Sätze von Datenbildern bei 208 in den Videobildern identifiziert werden. Bei einigen Ausführungsformen kann ein beliebiger geeigneter Lösungsansatz zur Identifizierung von Datenbildern verwendet werden. Beispielsweise können Sätze von Datenbildern unter Verwendung eines Prozesses 300 wie in 3 gezeigt identifiziert werden.
Bei einigen Ausführungsformen kann der Prozess 300 Filter zum Auswerten von Videobildern verwenden. Beispielweise können Filter verwendet werden, um zu bestimmen, ob es sich bei einem Videobild um ein Datenbild handelt. Als anderes Beispiel können Filter verwendet werden, um zu bestimmen, ob es sich bei einem aktuellen Bild um dasselbe wie ein vorheriges Bild handelt, indem Signaturen für die Bilder verglichen werden. Jede Anzahl von Signaturen (einschließlich keiner) kann in einem Filter verwendet werden, und verschiedene Filter können verschiedene Signaturen verwenden. Bei einer Signatur kann es sich um eine beliebige geeignete Darstellung eines Bilds handeln. Beispielsweise kann bei einigen Ausführungsformen eine Signatur von für das Bild zur Verfügung stehende Codierinformationen, wie etwa Bildtyp, Bildgröße, Makroblock-(MB)-Typen usw., und/oder Pixel-Ebenen-Informationen für das Bild abgeleitet werden, wie etwa durchschnittlicher Pixelstärke, Pixeldiversität usw. Bei einigen Ausführungsformen kann das, worauf eine Signatur beruht, vorbestimmt werden, willkürlich bestimmt werden oder auf Grundlage des Inhalts eines Bilds bestimmt werden. Wenn beispielsweise angenommen wird, dass eine durchschnittlichen Pixelstärke für eine Spalte eine Signatur für ein bestimmtes Filter ist, kann eine Spaltenauswahl willkürlich (beispielsweise jede n-te Spalte) oder entsprechend dem Inhalt des Bilds erfolgen (beispielsweise auf Pixeldiversität in jeder Spalte beruhen).
Verschiedene Filter können bei einigen Ausführungsformen verschiedene Grade an Komplexität C haben, damit verschiedene Raten von Falsch-Positiven FP und Falsch-Negativen FC erzielt werden. Bei Falsch-Positiven handelt es sich um Bilder, die als Datenbilder erfasst werden, de facto aber keine sind. Bei Falsch-Negativen handelt es sich um Bilder, die Datenbilder sind, aber nicht als solche erfasst werden.
Bei einigen Ausführungsformen können Filter in einer sequentiellen Reihenfolge von Durchlaufen an einem Bild so verwendet werden, dass das erste Filter das am wenigsten komplexe ist, das nächste Filter komplexer ist und anschließende Filter zunehmend komplexer sind. Auf diese Weise brauchen, wenn ein erstes Filter zur Bestimmung verwendet werden kann, ob es sich bei einem aktuellen Bild um dasselbe (oder nicht dasselbe) wie ein vorheriges Bild handelt, keine komplexeren Filter verwendet zu werden.
4 zeigt eine Tabelle 400, die ein Beispiel für Filter für Durchlaufe 1 bis N bereitstellt, die zum Auswerten eines Bilds verwendet werden können. Diese Filter können Falsch-Positiv-Raten FP₁ bis FP_N, Falsch-Negativ-Raten FN₁ bis FN_N und Komplexitäten C₁ bis C_N besitzen, wobei FP₁ > FP₂ > ... > FP_N, FN₁ <= FN₂ <= FN_N und C₁ < C₂ < ... < C_N ist.
Wieder mit Bezug auf 3 kann der Prozess 300, nachdem er bei 302 begonnen hat, bei 304 ein erstes Videobild als aktuelles Bild auswählen. Als Nächstes kann der Prozess 300 einen Satz mit dem aktuellen Bild erzeugen und das aktuelle Bild bei 306 zum vorherigen Bild machen. Als Nächstes kann der Prozess 300 bei 308 bestimmen, ob es irgendwelche weiteren Bilder gibt, und wenn nicht, bei 310 enden. Andernfalls kann der Prozess 300 das nächste Videobild bei 312 als aktuelles Videobild auswählen.
Als Nächstes kann bei 314 ein erstes Filter als aktuelles Filter ausgewählt werden. Das erste Filter kann auf Grundlage beliebiger geeigneter Kriterien oder jedes geeigneten Kriteriums, wie etwa Grad an Komplexität, Falsch-Positiv-Rate, Falsch-Negativ-Rate, verwendete Signatur usw., ausgewählt werden. Das aktuelle Filter kann dann bei 316 auf das aktuelle Bild angewendet werden, um eine oder mehrere aktuelle Signaturen zu bekommen. Wie vorstehend beschrieben, kann jede geeignete Art von Signatur erhalten werden.
Als Nächstes kann der Prozess 300 bei 318 bestimmen, ob sich das aktuelle Bild vom vorherigen Bild unterscheidet. Bei einigen Ausführungsformen kann jeder geeignete Ansatz dazu verwendet werden, diese Bestimmung zu treffen. Beispielsweise kann der Prozess 300 die Signaturen des aktuellen Bilds und des vorherigen Bilds vergleichen, um zu bestimmen, ob sie verschieden sind (im Gegensatzzu identisch oder ähnlich). Wenn bestimmt wird, dass das aktuelle Bild dasselbe ist wie das vorherige Bild, kann der Prozess 300 bei 320 das aktuelle Bild zu einem Satz mit dem vorherigen Bild hinzufügen und das aktuelle Bild zum vorherigen Bild machen und dann zu 308 abzweigen.
Wenn bestimmt wird, dass das aktuelle Bild nicht dasselbe ist wie das vorherige Bild, kann der Prozess 300 bei 322 bestimmen, ob es weitere anzuwendende Filter gibt. Wenn dem so ist, kann der Prozess 300 bei 324 das nächste Filter als aktuelles Filter auswählen und zu 316 zurückspringen. Andernfalls kann der Prozess zu 306 zurückspringen, um einen Satz mit dem aktuellen Bild zu erzeugen und das aktuelle Bild zum vorherigen Bild zu machen.
Bei einigen Ausführungsformen können Animation, Scharfabgrenzung und andere Videoeffekte, die möglicherweise in Datenbildern vorhanden sind, ignoriert werden, wenn ein aktuelles Bild mit einem vorherigen Bild verglichen wird, um zu bestimmen, ob sie sich im selben Satz befinden sollten. Bei einigen Ausführungsformen kann jeder geeignete Ansatz zum Bestimmen, welche Animation, Scharfabgrenzung oder andere Videoeffekte zu ignorieren sind und wie dies vonstatten gehen soll, verwendet werden.
Unter erneuter Bezugnahme auf 2 kann der Prozess 200 bei 210, nachdem bei 208 Sätze von Datenbildern etwa unter Verwendung des Prozesses 300 von 3 identifiziert wurden, das beste Datenbild in jedem Satz von Datenbildern auswählen. Bei einigen Ausführungsformen kann jeder geeignete Ansatz zum Bestimmen der besten Datenbilder verwendet werden. Beispielsweise können bei einigen Ausführungsformen die besten Datenbilder in jedem Satz von Datenbildern unter Verwendung eines in 5 dargestellten Prozesses 500 ausgewählt werden.
Wie in 5 gezeigt ist, kann der Prozess 500 bei 504, nachdem er bei 502 begonnen hat, den ersten Satz von Datenbildern auswählen. Als Nächstes kann der Prozess bei 506 bestimmen, ob die Zeitspanne, über welche die Bilder aufgenommen wurden, zu kurz ist. Wenn beispielsweise ein Datenbild eine halbe Sekunde lang auftauchte, würde das Bild für einen Menschen nicht sichtbar sein, und somit ist es unwahrscheinlich, dass das Bild ein gültiges Datenbild ist. Jeder geeignete Zeitrahmen kann bei einigen Ausführungsformen als Grundlage zur Bestimmung verwendet werden, ob die Zeitspanne zu kurz ist. Wenn bestimmt wird, dass die Zeitspanne zu kurz war, kann der Prozess 500 bei 508 den nächsten Satz von Datenbildern auswählen und bei 506 die Zeitspannenauswertung wiederholen.
Wenn bei 506 bestimmt wird, dass die Zeitspanne für den Satz nicht zu kurz war, kann der Prozess 500 bei 510 die Bilder im Satz auf Grundlage von Qualität einstufen. Jeder geeignete Mechanismus kann dazu verwendet werden, die Qualität der Bilder zu bestimmen. Wenn beispielsweise eine Reihe von Bildern in einem Satz variierende Schärfegrade haben (z. B. weil Bandbreiteneinschränkungen die Schärfe beeinträchtigt haben), kann das Bild mit der besten Schärfe als über die beste Qualität verfügend ausgewählt werden.
Als Nächstes kann der Prozess 500 bei 512 die Bilder im Satz auf Grundlage von Vollständigkeit einstufen. Jeder geeignete Mechanismus kann dazu verwendet werden, die Vollständigkeit der Bilder zu bestimmen. Wenn Daten beispielsweise nach und nach in einer Reihe von Bildern in einem Satz zu einer leeren Tabelle (zum Beispiel) hinzugefügt werden, kann das Bild mit dem vollständigsten Datensatz (z. B. das letzte Bild) als über die beste Vollständigkeit verfügend ausgewählt werden.
Als Nächstes kann bei 514 das beste Bild im aktuellen Satz auf Grundlage der Qualitäts- und Vollständigkeitseinstufungen ausgewählt werden. Beispielsweise kann eine gewichtete Summe der Einstufungen dazu verwendet werden, das beste Bild zu finden. Alternativ kann bei einigen Ausführungsformen nur eine dieser Einstufungen oder irgendein anderer Faktor dazu verwendet werden, das beste Bild auszuwählen. Bei einigen Ausführungsformen kann ein Bild auch willkürlich beispielsweise durch zufällige (oder pseudozufällige) Auswahl, indem es das letzte Bild in einem Satz ist usw., als bestes Bild ausgewählt werden.
Bei 516 kann der Prozess 500 bestimmen, ob es irgendwelche weiteren Sätze von Bildern gibt, und wenn dem so ist, bei 508 den nächsten Satz auswählen und zu 506 zurückspringen. Andernfalls kann der Prozess 500, wenn es keine weiteren Sätze gibt, bei 518 enden.
Unter erneuter Bezugnahme auf 2 kann der Prozess 200 bei 212, nachdem bei 210 die besten Bilder ausgewählt wurden, die besten Bilder einem oder mehreren Benutzern zur Verfügung stellen. Jeder geeignete Ansatz hierfür kann bei einigen Ausführungsformen verwendet werden. Beispielsweise kann der Prozess 200 die besten Bilder in den Datenbildablagen 120 und/oder 130 speichern. Nachdem bei 212 die besten Bilder Benutzern zur Verfügung gestellt wurden, kann der Prozess 200 bei 214 auf den nächsten Videobitstrom warten und dann zu 204 zurückspringen.
Unter erneuter Bezugnahme auf 1 können es die Endpunkte 117, 118, 119 und/oder 122 (die Endpunkte) einem Benutzer bei einigen Ausführungsformen ermöglichen, bestimmte Funktionen auf Grundlage der besten Datenbilder durchzuführen, die Benutzern zur Verfügung gestellt wurden. Beispielsweise können die Endpunkte (und/oder kann irgendein Computer) es einem Benutzer ermöglichen, ein Durchsuchen von Datenbildern online durchzuführen, verspäteten Teilnehmern an einer Videokonferenz ermöglichen, bereits gezeigte Daten zu empfangen, dazu verwendet werden, in einer Videokonferenz bereitgestellte Daten zu empfangen, nachdem die Videokonferenz beendet wurde, und eine Auswahl eines Teils einer aufgezeichneten Videokonferenz auf Grundlage einer diesem entsprechenden Auswahl von Daten ermöglichen.
Wie in 1 gezeigt ist, kann eine Verbindung 150, die Übertragungen zu einem Endpunkt 117 bereitstellt, einen Leistungsabfall erfahren. Dies kann aus irgendeinem von verschiedenen Gründen geschehen, wie etwa, dass die Verbindung überlastet wird, durch fehlerhafte Ausrüstung oder Konnektivität in der Verbindung usw. Wenn dies geschieht, kann es sein, dass ein für die Verbindung bereitgestellter Videostrom modifiziert werden muss, um die leistungsverschlechterte Verbindung auszugleichen. Derartige Modifizierungen können sich allerdings negativ auf die Leistung von Übertragungen oder die Qualität des Inhalts auswirken, der für die anderen Endpunkte 118 und 119 bereitgestellt wird.
6 stellt ein Beispiel für einen Prozess 600 dar, der dazu verwendet werden kann, Datenbilder für einen solchen Endpunkt 117 bereitzustellen, ohne sich auf die Übertragung für die anderen Endpunkte 118 und 119 auszuwirken. Der Prozess 600 kann bei einigen Ausführungsformen von dem Gerät 112 und/oder teilweise der Einheit 140 durchgeführt werden.
Wie gezeigt, kann der Prozess 600 bei 604, nachdem er bei 602 begonnen hat, Verbindungen zu Endpunkten auf Leistungsabfall und Wiederherstellung nach einem Leistungsabfall hin überwachen. Jedes geeignete technische Verfahren zum Erkennen einer oder mehrerer Verbindungen als leistungsverschlechtert kann bei einigen Ausführungsformen verwendet werden. Beispielsweise kann eine Verbindung als leistungsverschlechtert bestimmt werden, wenn ein festgelegter Grad an Leistungsabfall eingetreten ist. Bei einigen Ausführungsformen kann jedes geeignete technische Verfahren zum Erkennen des Leistungsabfallgrads und jeder geeignete Leistungsabfallgrad als festgelegter Grad verwendet werden. Als weiteres Beispiel können Verfahren, die in der am 1. Juni 2011 eingereichten US-Patentanmeldung Nr. 13/151,065 beschrieben sind, die hiermit durch Bezugnahme in ihrer Gänze hier mit aufgenommen wird, bei einigen Ausführungsformen dazu verwendet werden, Verbindungen als leistungsverschlechtert zu erkennen.
Als Nächstes kann bei 606 bestimmt werden, ob eine vorher leistungsverschlechterte Verbindung wieder in einen nicht leistungsverschlechterten Zustand zurückversetzt wurde. Wenn bei 606 bestimmt wird, dass eine vorher leistungsverschlechterte Verbindung wieder instand gesetzt, kann der Prozess 600 bewirken, dass wieder eine Übertragung eines Videostroms der Datenbilder zu dem Endpunkt aufgenommen wird, und die Verbindung kann bei 608 als nicht leistungsverschlechtert bezeichnet werden. Wenn bei 606 bestimmt wird, dass eine zuvor leistungsverschlechterte Verbindung nicht wieder instand gesetzt wurde, oder nachdem bei 608 wieder ein Videostrom aufgenommen wurde, kann der Prozess 600 bei 610 bestimmen, ob ein Endpunkt über eine leistungsverschlechterte Verbindung verfügt. Wenn bei 610 bestimmt wird, dass ein Endpunkt nicht über eine leistungsverschlechterte Verbindung verfügt, kann der Prozess 600 zu 604 zurückspringen.
Andernfalls kann der Prozess 600 bei 612, wenn bei 610 bestimmt wird, dass ein Endpunkt über eine leistungsverschlechterte Verbindung verfügt, als Nächstes ein Datenbild (bei dem es sich um ein erstes Datenbild oder ein nächstes Datenbild in dem Falle handeln kann, dass eine Verbindung zuvor als leistungsverschlechtert erkannt wurde) zur Präsentation am den Endpunkt auswählen. Bei einigen Ausführungsformen kann jedes geeignete technische Verfahren zum Auswählen des Datenbilds verwendet werden. Beispielsweise kann das Datenbild wie vorstehend in Verbindung mit 2 beschrieben ausgewählt werden.
Bei 614 kann dann der Prozess ein Codierverfahren für das Datenbild auswählen. Bei einigen Ausführungsformen kann jedes geeignete Codierverfahren verwendet werden. Beispielweise kann bei einigen Ausführungsformen das Datenbild als JPEG-Bild, IDR-Bild, eine Reihe von IDR- und P-Bildern usw. codiert werden. Als Nächstes kann das Datenbild bei 616 unter Verwendung des ausgewählten Codierverfahrens codiert werden.
Als Nächstes kann der Videostrom, der zu dem Endpunkt mit der leistungsverschlechterten Verbindung übertragen wird, ausgesetzt werden, und das codierte Datenbild kann bei 618 zu dem Endpunkt übertragen werden. Jedes geeignete Kommunikationsprotokoll kann zum Übertragen des codierten Datenbilds verwendet werden. Beispielweise kann UDP, TCP usw. zum Übertragen des codierten Datenbilds verwendet werden. Der Prozess 600 kann dann zu 604 zurückspringen.
Das Codierverfahren, das Kommunikationsprotokoll und/oder irgendwelche anderen Übertragungscharakteristika eines in Übertragung befindlichen Videostroms, Bilds usw. können kollektiv als Übertragungsparameter des in Übertragung befindlichen Videostroms, Bilds usw. bezeichnet werden.
Sobald ein codiertes Datenbild am Endpunkt empfangen wird, kann der Endpunkt das codierte Datenbild anstelle eines entsprechenden Videostroms anzeigen, der zuvor über die leistungsverschlechterte Verbindung empfangen wurde. Wenn das einzelne aktualisierte codierte Datenbild empfangen worden ist, kann das aktualisierte codierte Datenbild das vorherige codierte Datenbild ersetzen.
Bei einigen Ausführungsformen können beliebige geeignete computerlesbare Datenträger dazu verwendet werden, Anweisungen zum Durchführen der hier beschriebenen Prozesse zu speichern. Beispielsweise können bei einigen Ausführungsformen die computerlesbaren Datenträger flüchtig oder nichtflüchtig sein. Beispielsweise können nichtflüchtige computerlesbare Datenträger Datenträger wie etwa magnetische Datenträger (wie etwa Festplatten, Disketten usw.), optische Datenträger (wie etwa Kompaktplatten, digitale Videoplatten, Blu-Ray-Platten usw.), Halbleiterdatenträger (wie etwa Flash-Speicher, elektrisch programmierbaren Festwertspeicher (EPROM)), elektrisch löschbaren, programmierbaren Festwertspeicher (EEPROM) usw.), beliebige geeignete Datenträger, die nicht flüchtig oder frei von jedem Anschein von Dauerhaftigkeit während der Übertragung sind, und/oder beliebige geeignete greifbare Datenträger umfassen. Als weiteres Beispiel können flüchtige computerlesbare Datenträger Signale in Netzen, Drähten, Leitern, Glasfasern, Schaltkreisen, beliebige geeignete Datenträger, die flüchtig und frei von jedem Anschein von Dauerhaftigkeit während der Übertragung sind, und/oder beliebige geeignete nicht greifbare Datenträger umfassen.
Obwohl die Erfindung in den vorstehenden veranschaulichenden Ausführungsformen beschrieben und dargestellt wurde, ist klar, dass die vorliegende Offenbarung nur beispielhaft erfolgte und zahlreiche Änderungen an den Ausführungsdetails der Erfindung vorgenommen werden können, ohne vom Gedanken und Schutzumfang der Erfindung abzuweichen, der nur durch die nachfolgenden Ansprüche eingeschränkt wird. Merkmale der offenbarten Ausführungsformen können auf verschiedene Weise kombiniert oder umgeordnet werden.

Claims

System zum Steuern einer Präsentation von Datenbildern in einem Videostrom, das Folgendes umfasst: mindestens einen Prozessor, der dazu programmiert ist: einen Videobitstrom, der eine Vielzahl von Bildern darstellt, unter Verwendung allgemeiner Übertragungsparameter zu einer Vielzahl von Empfängern zu übertragen; zu bestimmen, dass eine Übertragungsverbindung zu einem der Vielzahl von Empfängern leistungsverschlechtert ist; eines aus der Vielzahl von Bildern zur Übertragung zu dem einen der Vielzahl von Empfängern auszuwählen; sich auf eine leistungsverschlechterte Verbindung beziehende Übertragungsparameter zur Übertragung des einen aus der Vielzahl von Bildern auf der leistungsverschlechterten Übertragungsverbindung auszuwählen, wobei sich die auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter von den allgemeinen Übertragungsparametern unterscheiden; das eine aus der Vielzahl von Bildern unter Verwendung der sich auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter zu dem einen der Vielzahl von Empfängern zu übertragen; und weiterhin den Videodatenstrom unter Verwendung der allgemeinen Übertragungsparameter zu mindestens einem anderen der Vielzahl von Empfängern zu übertragen.
System nach Anspruch 1, wobei der mindestens eine Prozessor dazu programmiert ist, beim Auswählen des einen aus der Vielzahl von Bildern: Sätze von Datenbildern in der Vielzahl von Bildern zu identifizieren, wobei jedes der Datenbilder eine Bilddarstellung von Daten bereitstellt und jedes der Datenbilder in irgendwelchen der Sätze von Datenbildern einem einzelnen Datenbild entspricht; und ein bestes Datenbild aus den Sätzen von Datenbildern als das eine der Vielzahl von Bildern auszuwählen.
System nach Anspruch 2, wobei der mindestens eine Prozessor auch dazu programmiert ist, ein Filter zum Identifizieren der Sätze von Datenbildern anzuwenden.
System nach Anspruch 3, wobei das Filter eine Signatur eines Bilds zum Auswerten des Bilds verwendet.
System nach Anspruch 3, wobei der mindestens eine Prozessor auch dazu programmiert ist, ein zweites, komplexeres Filter zum Identifizieren der Sätze von Datenbildern anzuwenden.
System nach Anspruch 2, wobei der mindestens eine Prozessor auch dazu programmiert ist, zu bestimmen, ob eine mit einem Satz von Datenbildern zusammenhängende Zeitspanne unter einem Schwellenwert liegt.
System nach Anspruch 2, wobei das Auswählen des besten Datenbilds umfasst, die Qualität von Datenbildern in den Sätzen von Datenbildern auszuwerten.
System nach Anspruch 2, wobei das Auswählen des besten Datenbilds umfasst, die Vollständigkeit von Datenbildern in den Sätzen von Datenbildern auszuwerten.
Verfahren zum Steuern einer Präsentation von Datenbildern in einem Videostrom, das Folgendes umfasst: Übertragen eines Videobitstroms, der eine Vielzahl von Bildern darstellt, unter Verwendung allgemeiner Übertragungsparameter und eines dazu programmierten Prozessors zu einer Vielzahl von Empfängern; Bestimmen, dass eine Übertragungsverbindung zu einem der Vielzahl von Empfängern leistungsverschlechtert ist, unter Verwendung eines dazu programmierten Prozessors; Auswählen eines aus der Vielzahl von Bildern zur Übertragung zu dem einen der Vielzahl von Empfängern unter Verwendung eines dazu programmierten Prozessors; Auswählen von sich auf eine leistungsverschlechterte Verbindung beziehenden Parametern zur Übertragung des einen aus der Vielzahl von Bildern auf der leistungsverschlechterten Übertragungsverbindung, wobei sich die auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter von den allgemeinen Übertragungsparametern unterscheiden, unter Verwendung eines dazu programmierten Prozessors; Übertragen des einen aus der Vielzahl von Bildern zu dem einen der Vielzahl von Empfängern unter Verwendung der sich auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter und eines dazu programmierten Prozessors; und weiteres Übertragen des Videobitstroms zu mindestens einem anderen der Vielzahl von Empfängern unter Verwendung der allgemeinen Übertragungsparameter und eines dazu programmierten Prozessors.
Verfahren nach Anspruch 9, wobei das Auswählen des einen aus der Vielzahl von Bildern Folgendes umfasst: Identifizieren von Sätzen von Datenbildern in der Vielzahl von Bildern unter Verwendung eines dazu programmierten Prozessors, wobei jedes der Datenbilder eine Bilddarstellung von Daten bereitstellt und jedes der Datenbilder in irgendwelchen der Sätze von Datenbildern einem einzelnen Datenbild entspricht; und Auswählen eines besten Datenbilds aus den Sätzen von Datenbildern als das eine der Vielzahl von Bildern unter Verwendung eines dazu programmierten Prozessors.
Verfahren nach Anspruch 10, darüber hinaus umfassend, ein Filter zum Identifizieren der Sätze von Datenbildern anzuwenden.
Verfahren nach Anspruch 11, wobei das Filter eine Signatur eines Bilds zum Auswerten des Bilds verwendet.
Verfahren nach Anspruch 11, darüber hinaus umfassend, ein zweites, komplexeres Filter zum Identifizieren der Sätze von Datenbildern anzuwenden.
Verfahren nach Anspruch 10, darüber hinaus umfassend, zu bestimmen, ob eine mit einem Satz von Datenbildern zusammenhängende Zeitspanne unter einem Schwellenwert liegt.
Verfahren nach Anspruch 10, wobei das Auswählen des besten Datenbilds umfasst, die Qualität von Datenbildern in den Sätzen von Datenbildern auszuwerten.
Verfahren nach Anspruch 10, wobei das Auswählen des besten Datenbilds umfasst, die Vollständigkeit von Datenbildern in den Sätzen von Datenbildern auszuwerten.
Computerlesbarer Datenträger, der computerausführbare Anweisungen enthält, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren zum Steuern der Präsentation von Datenbildern in einem Videostrom durchführt, wobei das Verfahren Folgendes umfasst: Übertragen eines Videobitstroms, der eine Vielzahl von Bildern darstellt, zu einer Vielzahl von Empfängern unter Verwendung allgemeiner Übertragungsparameter; Bestimmen, dass eine Übertragungsverbindung zu einem der Vielzahl von Empfängern leistungsverschlechtert ist; Auswählen eines aus der Vielzahl von Bildern zur Übertragung zu dem einen der Vielzahl von Empfängern; Auswählen von sich auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparametern zur Übertragung des einen aus der Vielzahl von Bildern auf der leistungsverschlechterten Übertragungsverbindung, wobei sich die auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter von den allgemeinen Übertragungsparametern unterscheiden; Übertragen des einen aus der Vielzahl von Bildern zu dem einen der Vielzahl von Empfängern unter Verwendung der sich auf eine leistungsverschlechterte Verbindung beziehenden Übertragungsparameter; und weiteres Übertragen des Videobitstroms zu mindestens einem anderen der Vielzahl von Empfängern unter Verwendung der allgemeinen Übertragungsparameter.
Datenträger nach Anspruch 17, wobei das Auswählen des einen aus der Vielzahl von Bildern Folgendes umfasst: Identifizieren von Sätzen von Datenbildern in der Vielzahl von Bildern, wobei jedes der Datenbilder eine Bilddarstellung von Daten bereitstellt, und jedes der Datenbilder in irgendwelchen der Sätze von Datenbildern einem einzelnen Datenbild entspricht; und Auswählen eines besten Datenbilds aus den Sätzen von Datenbildern als das eine der Vielzahl von Bildern.
Datenträger nach Anspruch 18, wobei das Verfahren darüber hinaus umfasst, ein Filter zum Identifizieren der Sätze von Datenbildern anzuwenden.
Datenträger nach Anspruch 19, wobei das Filter eine Signatur eines Bilds zum Auswerten des Bilds verwendet.
Datenträger nach Anspruch 19, wobei das Verfahren darüber hinaus umfasst, ein zweites, komplexeres Filter zum Identifizieren der Sätze von Datenbildern anzuwenden.
Datenträger nach Anspruch 18, wobei das Verfahren darüber hinaus umfasst, zu bestimmen, ob eine mit einem Satz von Datenbildern zusammenhängende Zeitspanne unter einem Schwellenwert liegt.
Datenträger nach Anspruch 18, wobei das Auswählen des besten Datenbilds umfasst, die Qualität von Datenbildern in den Sätzen von Datenbildern auszuwerten.
Datenträger nach Anspruch 18, wobei das Auswählen des besten Datenbilds umfasst, die Vollständigkeit von Datenbildern in den Sätzen von Datenbildern auszuwerten.