-
GEBIET DER ERFINDUNG
-
Die Erfindung betrifft allgemein Videoanrufe und die Anzeige von Videoanrufen. Entsprechende Verfahren und Systeme sind dem Fachmann aus der
US 2015/0188970 A1 , der
US 5,999,207 A der
US 7,860,994 B2 , der
US 6,259,449 B1 und der
US 2004/0109014 A1 bekannt. Aus der
US 2012/0120181A1 und der
US 2008/ 0129870 A1 sind jeweils Konzepte bekannt, bei denen zur Anzeige von Videoanrufen auf einem Monitor ein Fenster auf einem Desktop geöffnet und mit anzuzeigendem Inhalt überlagert wird.
-
ALLGEMEINER STAND DER TECHNIK
-
Ein Videotelefon kann Videoausgänge haben, zum Beispiel HDMI, die einen externen Monitor ansteuern können. Mithin kann der Endbenutzer eine immersive Videokonferenz erleben, was nicht möglich ist, wenn kleine Anzeigen, die bei Videotelefonen üblich sind, verwendet werden. Jedoch haben die meisten Benutzer aus Budgetgründen und/oder wegen eines begrenzten Desktopbereichs wahrscheinlich keinen eigens für Videoanrufe vorgesehenen Monitor. Alternativ will ein Benutzer möglicherweise das Videotelefon zusammen mit dem PC-Monitor verwenden, der bereits vorhanden ist. Viele Monitore weisen zwei oder mehr Videoeingänge auf, damit möglich sein kann, durch Verwendung der Monitorsteuerelemente zwischen einem PC in voller Bildschirmgröße und Videos in voller Bildschirmgröße umzuschalten.
-
Ein Videogerät kann aktiviert sein, um eine PC-Ausgabe zu akzeptieren und zusammen mit einem Video anzuzeigen. Dies lässt sich umsetzen, indem die Ausgabe skaliert wird. Zusätzlich können die Videogeräte aktiviert sein, um den PC in voller Bildschirmgröße und Videos in voller Bildschirmgröße zu zeigen.
-
Videogeräte können aktiviert sein, um eine PC-Ausgabe zu akzeptieren und zusammen mit einem Video anzuzeigen. Dies lässt sich in zwei Modi umsetzen. Ein erster Modus kann ein Modus für Videos in voller Bildschirmgröße sein. Ein zweiter Modus kann ein PC in voller Bildschirmgröße mit einem kleinen Überlagerungsvideo an einer festen Position sein.
-
Ein Telefon kann aktiviert sein, um Audio wiederzugeben, und ein zugehöriger PC kann aktiviert sein, um einen assoziierten Videostream zu empfangen. Der PC würde auch den Videostream decodieren und auf dem Monitor zeigen. Das Telefon und der PC würden zusammenarbeiten, um den korrespondierenden Videoanruf in getrennten Video- und Audiodarstellungen darzustellen. Es ist Aufgabe der Erfindung, Nachteile des genannten Stands der Technik zu überwinden und verbesserte Verfahren und Systeme für Videoanrufe und die Anzeige von Videoanrufen bereitzustellen.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren gemäß Patentanspruch 1 oder 7 oder durch ein System gemäß Patentanspruch 4. Dabei ist zum Bereitstellen von Inhalt aus einem Zwischensystem für einen von einem oder mehreren mit einem Computergerät assoziierten Monitoren insbesondere vorgesehen, dass das Computergerät betriebsfähig an das Zwischensystem gekoppelt ist und das Zwischensystem betriebsfähig an einen Monitor des einen oder der mehreren Monitore gekoppelt ist, wobei das Verfahren Folgendes umfasst: Öffnen eines Fensters mit einer bestimmten Größe auf einem Desktop des Computergeräts durch eine Steuerungsanwendung, wobei das geöffnete Fenster mit einer definierten Farbe gefüllt wird und wobei der Desktop durch das Computergerät gerendert und ausgegeben wird zur Darstellung auf dem Monitor; Senden von Größe, Stelle auf dem Desktop und Chromakey betreffenden Informationen des geöffneten Fensters an das Zwischensystem durch die Steuerungsanwendung; Empfangen des Desktops von dem Computergerät und Überlagern der durch die Steuerungsanwendung gesendeten Stelle auf dem Desktop mit Inhalt, bevor der Desktop auf dem Monitor dargestellt wird, durch das Zwischensystem; und Senden aktualisierter, Größe und Stelle betreffender Informationen des geöffneten Fensters an das Zwischensystem durch die Steuerungsanwendung.
-
Die Aufgabe wird weiter gelöst durch ein System zum Rendern eines Videos, wobei das System Folgendes umfasst: ein Computergerät, das mit einem oder mehreren Monitoren assoziiert ist; und ein Zwischensystem, das betriebsfähig an einen Monitor des einen oder der mehreren Monitore gekoppelt ist; und eine Steuerungsanwendung; wobei: das Zwischensystem aktiviert ist, um mit der Steuerungsanwendung hinsichtlich des Öffnens eines Fensters mit einer bestimmten Größe auf einem Desktop des Computergeräts zu kommunizieren, den Desktop von dem Computergerät zu empfangen, wobei der Desktop durch das Computergerät gerendert und ausgegeben wird zur Darstellung auf dem Monitor, und die durch die Steuerungsanwendung gesendete Stelle des Desktops mit Inhalt zu überlagern, bevor der Desktop auf dem Monitor dargestellt wird; und die Steuerungsanwendung aktiviert ist, um ein Fenster mit einer bestimmten Größe auf dem Desktop des Computergeräts zu öffnen, wobei das geöffnete Fenster mit einer definierten Farbe gefüllt wird, Größe, Stelle des Desktops und Chromakey betreffende Informationen des geöffneten Fensters an das Zwischensystem zu senden und aktualisierte, Größe und Stelle betreffende Informationen des geöffneten Fensters an das Zwischensystem zu senden.
-
Die Aufgabe wird noch weiter gelöst durch ein Verfahren zum Anzeigen von Inhalt aus einem Zwischensystem auf einem Monitor, wobei das Zwischensystem ein mit einem Client für eine virtuelle Desktopinfrastruktur eingebettetes Videotelefon ist und zumindest einen Monitor hat, wobei das Verfahren Folgendes umfasst: Senden einer Kommunikation zwischen dem Zwischensystem und einer Steuerungsanwendung hinsichtlich des Öffnens eines Fensters mit einer bestimmten Größe auf einem in einer virtuellen Desktopumgebung auf einem Server für eine virtuelle Desktopinfrastruktur ausgeführten Desktop; Öffnen eines Fensters auf dem Desktop durch die Steuerungsanwendung, wobei das geöffnete Fenster mit einer definierten Farbe gefüllt wird und wobei der Desktop durch das Computergerät gerendert und ausgegeben wird zur Darstellung auf dem Monitor; Senden von Größe, Stelle und Chromakey betreffenden Informationen des geöffneten Fensters an das Zwischensystem über die Netzverbindung durch die Steuerungsanwendung; Empfangen des Desktops von dem Computergerät und Überlagern der durch die Steuerungsanwendung gesendeten Stelle auf dem Desktop mit Inhalt, bevor der Desktop auf dem Monitor dargestellt wird, durch das Zwischensystem; und Senden aktualisierter, Größe und Stelle betreffender Informationen des geöffneten Fensters an das Zwischensystem über die Netzverbindung durch die Steuerungsanwendung.
-
Figurenliste
-
- 1 ist ein Systemschaubild einer koordinierten Videotelefonüberlagerungssystem kon nektivität.
- 2 ist ein Schaubild einer Videoüberlagerung auf einem PC-Monitor.
- 3 zeigt ein leeres Fenster, das durch die Steuerungsanwendung vor einer Telefonüberlagerung geöffnet wurde, und einen Mauszeiger, der einen Teil des Chromakeys verdeckt.
-
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
-
Videoanrufe sind wirkungsvoller, wenn Teilnehmern der Videoanrufe ein ganzheitlicheres Erlebnis geboten wird. Im Wesentlichen wird dies umgesetzt, indem den Teilnehmern das Gefühl vermittelt wird, sie seien im selben Zimmer. Es gibt etliche Aspekte, die dafür geeignet sind, dieses Gefühl zu vermitteln. Erstens sollte das Video auf einer Anzeige gerendert werden, die groß genug ist, sodass der Rumpf und die Augen anderer Teilnehmer derart groß gezeigt werden, dass ein Benutzer diese anderen Teilnehmer mühelos ansehen kann. Die Schwierigkeit beim Rendern derart, dass Teilnehmer bei einem Anruf mit mehreren Personen mühelos angesehen werden können, ist umso größer, als der Platz auf dem Monitor gleich bleibt und nun unterteilt wird, um die unterschiedlichen Teilnehmer gleichzeitig anzuzeigen. Zweitens sollte eine Kamera, die für den Videoanruf verwendet wird, über dem gerenderten Video platziert sein. Wenngleich dies nicht unbedingt so sein muss, kann dadurch, dass die Kamera über dem gerenderten Video ist, die Augenkontaktwahrnehmung auf der Benutzeraugenhöhe aufrechterhalten werden. Drittens sollte das Videosystem einen Kanal für unterbrechungsfreie Videos mit hoher Qualität und geringen Verzögerungen bereitstellen. Dieser letzte Aspekt ist ohne Weiteres verständlich. Ein abgehacktes Video, ein schlecht synchronisiertes Video oder sonst ungeeignete visuelle Elemente schmälern die Qualität des Erlebens eines Videoanrufs.
-
Allgemein sind Videoeinrichtungen oder Videotelefone dedizierte Geräte, die so optimiert sind, dass sie unterbrechungsfreie Videos mit hoher Qualität und geringen Verzögerungen bereitstellen. In vielen Fällen kann ein Modemcomputer eine akzeptable Videoanruf-Performance unterstützen. Jedoch ist das Ergebnis in vielen Situationen möglicherweise nicht optimal, da der Computer zur selben Zeit noch andere Anwendungen ausführen muss. Dies gilt vor allem dann, wenn aktuelle Videokomprimierungsstandards wie zum Beispiel H.264 High Profile oder H.265 verwendet werden. In vielen Fällen ist ein Videotelefonsystem oder eine ähnliche Einrichtung vorteilhaft gegenüber einem Modemcomputer, weil es sich um ein dediziertes Gerät handelt, das anwendungsspezifische Hardware aufweist, die für die Videokomprimierung und -dekomprimierung optimiert ist (zum Beispiel eine ASIC).
-
Videotelefone enthalten jedoch allgemein aufgrund des Erfordernisses, Platz zu sparen, und des relativ hohen Preises von großen Anzeigebildschirmen keine großen eingebetteten Anzeigen. Ferner führt das Bestreben, Videotelefone kompakt zu gestalten, möglicherweise dazu, dass die Kamera und die Anzeige des Videotelefons sich an einer alles andere als optimalen Position im Gerät befinden. In dieser Beschreibung können diverse Begriffe verwendet werden, die auf Systeme anwendbar sind, welche eine Verwendung für den Beitritt zu einer Videokonferenz unter Verwendung eines personalisierten Systems in der Art eines Videotelefons ermöglichen sollen. Die Begriffe sollen auf ein Videotelefonsystem anwendbar sein, das einige der erörterten Größen- und Klarheitsprobleme mit sich bringen kann. Ein Videotelefon ist ein Telefon mit einer Videoanzeige, die video- und gleichzeitig audiofähig für Kommunikation zwischen Menschen in Echtzeit ist. Verschiedene Begriffe wie „persönliches Videokonferenzsystem“ oder andere Begriffe, die hierin verwendet werden, sollen sich auf ein Videotelefonsystem wie beschrieben beziehen.
-
Bei einem Videotelefon, das so aktiviert ist, dass es Videoausgänge aufweist, etwa HDMI, die einen externen Monitor ansteuern, kann ein Benutzer den Videoanruf und einen assoziierten PC-Desktop auf dem Monitor nicht gleichzeitig sehen. Es versteht sich, dass noch andere Verbindungsarten verfügbar sind. Zu anderen Verbindungen zählen möglicherweise DisplayPort, DVI (Digital Visual Interface), VGA (Video Graphics Array) oder andere Verbindungsarten wie Thunderbolt. Mit einem Videogerät, das aktiviert ist, um PC-Ausgaben zu akzeptieren und anzuzeigen, kann ein Benutzer Videos und den PC gleichzeitig sehen, wobei es sich jedoch nach einer Abwärtsskalierungsbearbeitung möglicherweise als schwierig erweist, Text auf dem PC zu lesen. Dies kann so sein, weil der PC TrueType-Schriftarten verwendet, die so gerendert werden, dass sie zur momentanen Auflösung passen. Es versteht sich, dass TrueType ein Standard für Outline-Schriftarten ist, der üblicherweise für Schriftarten sowohl in Mac-OS- als auch in Microsoft-Windows-Betriebssystemen verwendet wird. Mittels TrueType-Schriftarten lässt sich steuern, wie Schriftarten in verschiedenen Schriftgrößen angezeigt werden. Weiter könnte die Schriftart, falls das PC-Bild Text enthält, wenn es abwärtsskaliert wird (damit das Video hineinpasst), dadurch unleserlich werden. Für Videogeräte, die PC-Ausgaben akzeptieren und zusammen mit Videos in zwei Modi anzeigen können, sind diese Geräte allgemein nicht fähig, ein großes Videofenster zu zeigen, wenn der PC-Desktop angezeigt wird. Weiter verfügt ein Benutzer möglicherweise über kein hinreichendes Mittel zum Bearbeiten des Videofensters, um es wegzuschieben, falls es eine Symbolleiste oder eine Menüoption verdeckt, auf die der Benutzer zugreifen möchte. Auch verdeckt das Videofenster möglicherweise den Mauszeiger, falls er zufällig hinter dem Fenster ist, was bewirkt, dass ein Benutzer die Maus aus dem Auge verliert. Es versteht sich, dass es ein oder mehrere Geräte gibt, die ein halbtransparentes Fenster mit Inhalt überlagern können. Jedoch kann ein Benutzer mit einem solchen Gerät und einer solchen Lösung das Fenster nicht wie jedes andere Fenster bearbeiten. Das Gerät oder die Lösung kann ermöglichen, dass eine Steuerungsanwendung die Steuerung einer Maus und einer Tastatur übernimmt. Das Gerät oder die Lösung kann dann einen eindeutigen Mauszeiger rendern, der nur mit den durch das Desktopvideogerät gerenderten Elementen der GUI (grafische Benutzeroberfläche) interagieren kann. Deswegen sind die Bearbeitung des Videos und die Verwendung des Cursors innerhalb des Videofensters stark eingeschränkt und können bestimmte Aktionen des Benutzers zum Übertragen der Steuerung der Maus und der Tastatur von einem Steuergerät, dem Computer oder dem Videogerät zum anderen erfordern.
-
Wenn ein Telefon nur den Ton wiedergibt und der PC einen eingehenden Videostream empfängt und wiedergibt, handelt es sich dabei möglicherweise um eine Softclient-Anwendungslösung. Eine solche Softclient-Anwendung erfordert, dass der PC alle Video-Codecs aufweist. Zudem besteht ein zusätzliches Problem bei einem Softclient darin, dass der PC eine CPU, die leistungsfähig genug ist, und/oder einen PC mit Videokomprimierungs- und -dekomprimierungs-HW-Beschleunigungen aufweisen muss. Eine weitere Videoverzögerungsoptimierung wird auf dem PC durchgeführt (Softclient-Anwendungen, wie für Fachleute erkennbar ist), und falls die CPU des PCs wegen anderer Anwendungen stark ausgelastet wird, kann das Video Frames entsprechend verzögern oder sogar auslassen. Wie angemerkt, ist es schwierig, die Video- und die Audiosynchronisierung sicherzustellen, da sie von unterschiedlichen Geräten gerendert werden.
-
Ausführungsformen der Erfindung sind auch anwendbar, wenn ein physikalisches Videogerät wie ein Videotelefon ein VDI-Client ist. Eine virtuelle Desktopinfrastruktur (Virtual Desktop Infrastructure, VDI) ist ein desktopzentrierter Dienst, der Benutzer-Desktopumgebungen auf Remoteservern und/oder Blade-PCs hostet, auf die unter Verwendung eines Remoteanzeigeprotokolls über ein Netz zugegriffen wird. Ein Verbindungsbrokerdienst wird genutzt, um Benutzer mit ihren zugewiesenen Desktopsitzungen zu verbinden. Für Benutzer bedeutet dies, dass sie von einem beliebigen Ort aus auf ihren Desktop zugreifen können, ohne an ein einziges Clientgerät gebunden zu sein. Da die Ressourcen zentralisiert sind, können Benutzer, die zwischen Arbeitsstandorten wechseln, weiter auf dieselbe Desktopumgebung mit ihren Anwendungen und Daten zugreifen. Für IT-Administratoren bedeutet dies eine zentralisiertere, effizientere Clientumgebung, die sich leichter pflegen lässt und die schneller auf die sich ändernden Bedürfnisse des Benutzers und des Unternehmens reagieren kann. Fachleuten sind Möglichkeiten der Verwendung einer VDI in Ausführungsformen der Erfindung bekannt.
-
Ein Videotelefon lässt sich aktivieren für die gemeinsame Verwendung mit einem großen Computermonitor, den ein Benutzer bereits zur Verfügung hat. Der Computermonitor kann mit einem PC assoziiert sein oder kann mit anderen Monitoren assoziiert sein, wie in dieser Beschreibung erörtert. Ein Benutzer kann den Monitor, während er den Computer verwendet, während eines Videoanrufs nutzen. Mittels Ausführungsformen der Erfindung kann ein Benutzer bequem sowohl die Desktopbenutzerschnittstelle und Funktionen eines Computermonitors als auch das durch ein Videotelefon gerenderte Video gleichzeitig sehen. In manchen Ausführungsformen darf der Benutzer möglicherweise ein durch ein Videotelefon auf dem PC-Monitor gerendertes Video in einer auf eine beliebige andere Anwendung abgestimmten Weise skalieren, verschieben, aus- und einblenden. Fachleute verstehen die Techniken, die zum Bearbeiten von Anwendungen und anderen Visualisierungen auf einem Monitor zur Verfügung stehen. Beispielsweise können diverse Tastatur- oder Maustechniken genutzt werden. Hierauf gründet die Verwertbarkeit der Ausführungsformen der Erfindung, vor allem, wenn eine Videoanrufdarstellung so groß ist, dass sie den Monitoranzeigebereich fast vollständig oder zu einem Großteil einnimmt.
-
In einer Ausführungsform der Erfindung haben Verfahren und Systeme einen HDMI-Eingang, der mit dem PC eines Benutzers verbindbar ist, und einen HDMI-Ausgang, der mit einem Monitor verbunden werden kann. Es versteht sich, dass noch andere Verbindungsarten verfügbar sind. Zu anderen Verbindungen zählen möglicherweise DisplayPort, DVI (Digital Visual Interface), VGA (Video Graphics Array) oder andere Verbindungsarten wie Thunderbolt. Fachleute verstehen die Anwendung von Ausführungsformen der Erfindung, die diese anderen Konnektivitätsarten nutzen, sowie HDMI, die hier beispielhaft genutzt wird. Wie angemerkt, ist der Monitor möglicherweise mit einem PC oder einem anderen Computergerät assoziiert, der bzw. das einen Computerdesktop bereitstellt. Ein Computergerät ist ein Computer wie ein PC (Personal/Professional Computer), der eine Remoteausführung der Desktopumgebung eines Computers in einem einzigen System (gewöhnlich einem PC, auch wenn das Konzept genauso auf einen Server anwendbar ist) ermöglicht, während sie auf einem getrennten Clientgerät angezeigt wird. Fachleute verstehen Anwendungen von Ausführungsformen der Erfindung auf verschiedenartige Monitorfunktionalitäten. Für ein Videotelefonsystem ist eine Steuerungsanwendung aktiviert, die verschiedenartige Funktionen durchführt. Die Steuerungsanwendung (die hierin möglicherweise auch als Inhaltsanwendung oder Begleitanwendung bezeichnet wird) wird aktiviert, um zu detektieren, wenn das Videotelefonsystem mit dem PC verbunden wird und mit welchen Videoanzeigeanschlüssen (falls mehrere Anschlüsse vorhanden sind). Wenn ein Videoanruf durch das Videotelefonsystem beginnt, fordert das Videotelefonsystem an, dass die Steuerungsanwendung ein leeres Fenster auf dem assoziierten PC-Monitor öffnet. Die Steuerungsanwendung füllt das Fenster mit einer Farbe (vordefiniert oder ausgehandelt) und sendet den Farbcode zusammen mit Stelle und Größe des Fensters an das Videotelefon. Das Videotelefon überlagert das leere Fenster, das durch die Steuerungsanwendung erzeugt wurde, mit dem gerenderten Videoanruf. Die Steuerungsanwendung füllt das Fenster mit einer zweckmäßigen Farbe. Die Farbe kann vordefiniert oder ausgehandelt sein. In beiden Fällen ist die Farbe eine definierte Farbe, wobei der vordefinierte Aspekt eine definierte Farbe ergibt oder eine Aushandlung eine definierte Farbe ergibt. Die Farbe wird vom System als Chromakey verwendet. Das Chromakeying oder die farbbasierte Bildfreistellung ist eine Spezialeffekt- / Postproduktionstechnik zum Zusammensetzen (Übereinanderschichten) von zwei Bildern oder Videostreams basierend auf Farbtönen (Farbraum). Die Technik wurde bisher in vielen Bereichen massiv eingesetzt, um einen Hintergrund vom Objekt eines Fotos oder Videos zu entfernen - vor allem in den Branchen für Nachrichtensendungen, Filme und Videospiele. Ein Farbbereich in der Oberschicht wird transparent gemacht, wodurch ein anderes Bild dahinter freigelegt wird. In einer Ausführungsform der Erfindung kann der von einem Gerät gelieferte Inhalt dahinter berücksichtigt werden. Die Chromakey-Technik wird üblicherweise bei der Videoproduktion und -postproduktion verwendet. Diese Technik wird auch als Color-Keying, Farbstanzen oder durch verschiedene Begriffe für bestimmte farbbezogene Varianten wie Greenscreen und Bluescreen bezeichnet - Chromakeying kann mit Hintergründen in einer beliebigen Farbe, die einheitlich ist und sich abhebt, vorgenommen werden.
-
In der Ausführungsform der Erfindung, auf die wieder Bezug genommen wird, aktualisiert die Steuerungsanwendung das Videotelefonsystem in Bezug auf die Größe und die Position des Fensters auf dem PC-Monitordesktop. Das Videotelefonsystem weist möglicherweise eine Hardwareeinheit auf kann den eingehenden Videostream aus der HDMI oder dem internen VDI-Client mit Inhalt (wie dem Videoanruf) überlagern. In den vorliegenden Ausführungsformen ist der eingehende Videostream die PC-Desktopanzeige. Das Videotelefonsystem platziert das Video auf der durch die Steuerungsanwendung vorgegebenen Stelle. Das Videotelefonsystem skaliert das Video zweckmäßig auch so, dass es ins Fenster passt (doch die PC-Anzeige wird nicht skaliert und das Schriftartaussehen ist folglich nicht davon betroffen). Das Videotelefonsystem prüft den Inhalt der mehreren Pixel innerhalb des durch die Steuerungsanwendung vorgegebenen Bereichs, um den numerischen Wert des Chromakeys zu detektieren. Dies ist möglicherweise notwendig, falls der Chromakey von der PC-Grafikkarte aufgrund einer Farbkalibrierung oder anderweitig modifiziert wurde. Das Videotelefonsystem nimmt die Videoinhaltsüberlagerung nur für Pixel vor, wenn die Farbe mit dem numerischen Wert des Chromakeys übereinstimmt. Folglich ist der Mauszeiger selbst dann sichtbar, wenn er sich an der Videoüberlagerungsstelle befindet. Denn der Mauszeiger bedeckt den ausgewählten Chromakey so, dass das Videotelefonsystem ihn anstelle des Videos nur an der zweckmäßigen Stelle zeigt. Falls die Anzeige oder der Monitor keinen PC aufweist, kann das Videotelefonsystem das Video auf der gesamten Anzeige rendern.
-
Die Steuerungsanwendung für das Videotelefonsystem sendet Mausklickkoordinaten und Tastenbetätigungen an das Videotelefonsystem, wenn das Überlagerungsvideofenster im Fokus ist. Mithin kann das Videotelefonsystem Benutzerschnittstellensteuerelemente innerhalb des Überlagerungsfensters rendern.
-
Mittels Ausführungsformen der Erfindung kann ein Benutzer die Größe und die Position von Videos steuern, die durch ein Telefon unter Verwendung der Tastatur und/oder der Maus eines PCs decodiert und gerendert werden. Diese Art des Vorgehens zur Bearbeitung von Fenstern auf einer Anzeige ist Fachleuten bekannt. Mittels Ausführungsformen kann ein Benutzer das Video auch schnell wegschieben, falls es an einer ungünstigen Stelle ist. Diese Art des Vorgehens zur Verschiebung von Fenstern auf einer Anzeige ist Fachleuten bekannt. Ein Mauszeiger wird nicht vom Video verdeckt, sodass Fenster in voller, oder fast voller, Bildschirmgröße genutzt werden können. Mittels Ausführungsformen kann ein Benutzer auch mit einer Benutzerschnittstelle interagieren, die durch das Videotelefonsystem gerendert wird, ohne dass es einer Änderung in der PC-Steuerungsanwendung bedarf. Im Unterschied zu einer regulären Gerätesteuerungsanwendung, die ihre eigene Ul (Benutzerschnittstelle) rendert, kann das Videotelefon mittels der hier beschriebenen Ausführungsform seine Ul direkt rendern. Infolgedessen ist es möglich, die Ul zu ändern, indem nur die Firmware des Telefons geändert wird (ohne die PC-Anwendung zu ändern). Im Wesentlichen wird von Ausführungsformen der Erfindung eine nahtlose Benutzerschnittstellenintegration von Videos bereitgestellt, die durch ein Videotelefon und einen Personal-Computer-Desktop gerendert werden.
-
1 ist ein Systemschaubild einer koordinierten Videotelefonüberlagerungssystemkonnektivität. Im System 100 ist ein Videotelefonsystem 110 mit einem PC-Monitor 120 verbunden. Der PC-Monitor 120 kann eine installierte/eingebettete Kamera 130 aufweisen. Das Videotelefonsystem 110 ist auch mit dem PC 140 verbunden. Die Videoverbindungen 190 des Videotelefonsystems 110 zum PC 140 und zum Monitor 110 können HDMI-Verbindungen sein. Der PC ist über den telefoninternen Switch mit dem Netz 150 verbunden 180 (wobei eine Netzverbindung gezeigt wird und kein tatsächliches Netz - das Netz wird nicht gezeigt). Die Verbindung 180 stellt einen Kommunikationskanal zwischen dem Computergerät/PC 140 und dem Videotelefonsystem 110 bereit. Diese Verbindung 180 kann von der Art eine Ethernetverbindung sein. Fachleuten sind noch andere Konnektivitätsarten und -formate bekannt, die ermöglichen, dass das Videotelefon 110 mit einem Netz (in 1 nicht gezeigt) und einem Computergerät/PC 140 kommuniziert. Die Videoverbindung 190 zwischen dem Videotelefon 110 und dem Computergerät/PC 140 wie auch die Netzverbindung 180 zwischen dem Videotelefon 110 und dem Computergerät/PC 140 stellen eine betriebsfähige Kopplung zwischen dem Videotelefon 110 und dem Computergerät/PC 140 bereit. Fachleute erkennen den beispielhaften Charakter dieser Ausführungsform. Beispielsweise lassen sich die Videoverbindung 190 und die Netzverbindung 180 in einer Verbindung kombinieren, die sowohl Kommunikation zwischen dem Videotelefon 110 und dem Computergerät/PC 140 als auch die Zusendung von Videoinhalt vom Computergerät/PC 140 zum Videotelefon 110 vorsieht, wobei zum Beispiel ein geöffnetes leeres Fenster mit einem vorgegebenen Chromakey gefüllt wird. Die am Monitor 120 installierte Kamera 130 ist ebenfalls mit dem Telefon 110 verbunden. Eine Tastatur 160 und eine Maus 170 werden verwendet, um Eingaben in den PC 140 vorzunehmen.
-
Mit der Ausgabe der HDMI 180 des Videokonferenztelefons 110 kann es Videos auf einem großen Monitor rendern. Jedoch, wie angemerkt, möchte ein Benutzer möglicherweise nicht einen ganzen Monitor nur für einen Videoanruf beanspruchen. Das Videokonferenztelefon 110 ist für die gemeinsame Verwendung mit dem vorhandenen PC-Monitor 120 des Benutzers aktiviert. Das Videokonferenztelefon 110 ist zwischen dem PC 140 des Benutzers und seinem Monitor 120 verbunden, sodass es zum Umschalten zwischen einer Videoansicht, einer PC-Ansicht oder einer kombinierten Ansicht auf dem vom Benutzer bereitgestellten Monitor fähig ist.
-
2 ist ein Schaubild einer Videoüberlagerung eines PC-Monitors. Ein PC-Monitor 200 wird verwendet, um eine Anzeige eines Videofensters auf dem Anzeigebereich 210 des Monitors bereitzustellen. Das Videokonferenztelefon ist aktiviert, um den PC-Desktop 210 des Benutzers mit dem Videoanruffenster überlagern. Zum Beispiel weist eine typische 24-Zoll-PC-Anzeige genug Anzeigebereich-Platz auf, um ein Video in einer sinnvollen Größe und eine PC-Anwendung darauf unterzubringen. 3 ist ein Schaubild einer Chromakey-Überlagerung eines PC-Monitors. Eine Steuerungsanwendung rendert ein leeres Fenster (siehe 3) und rendert das Video darauf. Dies schafft die Voraussetzungen für eine hinsichtlich Größe, Ressourcenerfordernisse und Komplexität sehr leichte Steuerungsanwendung. Das Videotelefonsystem aktualisiert den PC in Bezug darauf, dass ein neuer Videoanruf angefangen hat und welche native Auflösung er hat. Die Steuerungsanwendung erzeugt ein leeres Fenster und aktualisiert das Videotelefonsystem in Bezug auf seine Größe und seine Position. Diese Aktualisierung kann kontinuierlich oder periodisch erfolgen. Das Videotelefonsystem rendert das Video auf genau dieser Position. Wenn der Benutzer das Fenster verschiebt oder dessen Größe anpasst, aktualisiert das Videotelefonsystem die Größe und die Position der Videoüberlagerung. Mithin kann der Benutzer das Videofenster verschieben und an eine bevorzugte Größe und eine bevorzugte Position anpassen, um die Verwendung des übrigen Desktops zu ermöglichen. Fachleuten ist bekannt, wie Videofenster in Ausführungsformen der Erfindung gerendert werden. Eine PC-Anwendung verifiziert, dass sie das leere Videofenster auf dem Monitor rendert, der mit dem Videotelefonsystem verbunden ist. Weiter benachrichtigt die Steuerungsanwendung in einer Ausführungsform der Erfindung möglicherweise das Videotelefon darüber, dass der Benutzer ein Fenster zur Verwendung bei einem Videoanruf öffnen möchte. In einer solchen Ausführungsform weist die Steuerungsanwendung möglicherweise ein Infobereichsymbol auf dem Desktop auf (zum Beispiel in Windows), über das der Benutzer die Anwendung starten kann. Es versteht sich, dass das Infobereichsymbol sonst möglicherweise dafür aktiviert ist, dass eine Benutzerauswahl getroffen werden kann. Bei der Auswahl des Symbols öffnet die Steuerungsanwendung ein Fenster auf dem Desktop und kommuniziert mit dem Videotelefon hinsichtlich des geöffneten Fensters und liefert die gleichen Informationen hinsichtlich des Fensters, wie wenn das Videotelefon angefordert hätte, dass es geöffnet würde. In einer solchen Ausführungsform wird dem Benutzer ermöglicht zu steuern, wann das Videotelefon den Desktop zur Bereitstellung von Videoinhalt für einen Anruf nutzen wird.
-
3 zeigt ein leeres Fenster, das durch die Steuerungsanwendung vor einer Telefonüberlagerung geöffnet wurde, und einen Mauszeiger, der einen Teil des Chromakeys verdeckt. Ein PC füllt das leere Fenster 320 mit einer vordefinierten Farbe und sendet den Farbcode an das Videotelefonsystem - zusammen mit der Größe und der Stelle des Fensters auf dem Monitordesktop 310. Das Videotelefonsystem betrachtet die empfangene Farbe als transparent und rendert das Video nur in Pixeln, wenn die PC-Farbe mit dem Colorkey übereinstimmt. Wenn der PC-Mauszeiger über dem Videofenster ist, verdeckt er die verwendete spezielle Farbe. Dadurch verhindert er, dass das Videotelefonsystem Videos über dem Mauszeiger rendert.
-
Das Bild/Video, das durch das Videotelefon über dem durch die Steuerungsanwendung erzeugten, leeren Fenster gerendert wird, kann zusätzlich zum Video oder an dessen Stelle auch Benutzerschnittstellensteuerelemente wie Ändern des Layouts, Stummschalten, Teilnehmen etc. Wie zuvor erwähnt, falls der Benutzer innerhalb des Fensters klickt, sendet die Steuerungsanwendung die Klickereignisposition an das Videotelefon. Ein Ereignis kann innerhalb eines Fensters durch Verwenden der Maus zum Klicken auf ein Symbol oder anderen Inhalt innerhalb des Fensters oder irgendeine andere gängige Bearbeitung von Fensterdaten und -inhalt mit einer Maus erzeugt werden, wie Fachleuten bekannt ist. Mithin kann das Videotelefon detektieren, welches seiner Benutzerschnittstellensteuerelemente vom Benutzer ausgewählt wurde, und entsprechend reagieren. Infolgedessen können auf denselben Monitoren durch den PC gerenderte Benutzerschnittstellenelemente und eine durch die Videotelefone gerenderte Benutzerschnittstelle sein, welche in der gleichen Weise gesteuert werden. Wenn das leere Steuerungsanwendungsfenster ,im Fokus' ist, sendet es gemäß dem gleichen Grundprinzip alle Tastaturklickereignisse an das Videotelefon. Mithin kann die Steuerungsanwendung Mausklickpositionen innerhalb des Videofensters an das Videotelefonsystem senden. Das Videotelefonsystem ist in der Lage zu detektieren, wenn ein Benutzer auf eines der Steuerelemente drückt.
-
Eine weitere wichtige Konfiguration für diese Erfindung liegt vor, wenn das Videotelefon auch ein Client für eine virtuelle Desktopinfrastruktur ist. In diesem Modus gelangt die PC-Anzeige komprimiert durch das Datennetz und nicht durch eine physikalische Rohvideo-Schnittstelle (wie HDMI/DVI/DP/VGA) zum Videotelefon. In diesem Fall läuft die Steuerungsanwendung auf den Remote-VDI-Servern, die den virtuellen PC für den Benutzer ausführen. In gewisser Weise ist dies interessanter als die reguläre Konfiguration, denn in vielen Fällen kann VDI Echtzeiterfordernisse von Video- und Audioanrufen nicht unterstützen.
-
In dieser Beschreibung werden je ein Verfahren und ein System zum Kombinieren von durch ein Videotelefonsystem generiertem Inhalt, der Videos, Grafiken und Benutzerschnittstellenelemente enthalten kann, über einem PC-Desktop derart, dass Benutzer den durch das Videotelefonsystem generierten Inhalt so ähnlich bearbeiten und mit diesem interagieren können, wie wenn der Benutzer mit anderen PC-Anwendungen interagiert, dargelegt. Es versteht sich, dass das Verfahren und das System mit einem Computergerät wie dem PC (Personal Computer), der in dieser Beschreibung beispielhaft erörtert wird, sowie einem in einer VDI ausgeführten virtuellen PC anwendbar sind. 1 zeigt eine Ausführungsform der Erfindung, die betriebsfähige Verbindungen zu einem Computergerät/PC 140 nutzt, um das Senden von Videos an das Videotelefon 110 zu ermöglichen. Wenngleich der PC und das Videotelefonsystem hierin als zweckmäßige Beispiele verwendet werden, versteht es sich für Fachleute, dass jegliche Arten von Computergeräten, etwa ein PC oder ein virtueller PC oder ein anderes zum Generieren von Grafik- und Videoinhalt auf einem Monitor fähiges Gerät, vollkommen für die Verfahren und Systeme gemäß der Erfindung geeignet sind. Gleichermaßen wird das Videotelefonsystem beispielhaft für eine Nutzung des Verfahrens und des Systems gemäß der Erfindung verwendet, doch Fachleute verstehen, dass beliebige Zwischeneinrichtungen oder -systeme, die zum Empfangen oder Generieren von Inhalt zur Überlagerung eines von dem PC- oder einem sonstigen Gerät generierten Fensters fähig sind. Obwohl in 1 keine VDI-Umgebung im Detail gezeigt wird, ist für Fachleute erkennbar, wie die gezeigten und erörterten Ausführungsformen zu nutzen sind, um Videoinhalt für das Videotelefon 110 durch betriebsfähige Kopplungen entweder mit einem physikalischen Computergerät oder mit einem durch einen VDI-Client gerenderten Desktop bereitzustellen. Gemäß Ausführungsformen der Erfindung, die eine VDI-Umgebung enthalten und nutzen können, wird ein virtueller PC in einer VDI ausgeführt, wobei das Videotelefonsystem als VDI-Client fungiert.
-
Weiter wird in dieser Beschreibung je auf eine Steuerungsanwendung eingegangen, die Funktionalität für das Videotelefonsystem in Beziehung zum Computergerät und die Überlagerung eines Fensters mit Inhalt bereitstellt. Die Steuerungsanwendung kann sich im Videotelefonsystem oder im PC befinden und so arbeiten wie hierin beschrieben. Ausführungsformen der Erfindung enthalten die Steuerungsanwendung sowie die anderen Funktionalitäten und Hardware, die allgemein mit einem Videotelefon assoziiert werden, wie Fachleuten bekannt ist, wobei unerheblich ist, wo sich diese Steuerungsanwendung befindet. Fachleuten sind die Möglichkeiten der Verwendung einer Steuerungsanwendung bei beliebigen Einstellungen bekannt.
-
Die vorangehende Beschreibung der Erfindung wurde zu Zwecken der Veranschaulichung und der Beschreibung dargelegt. Sie erhebt keinen Anspruch auf Vollständigkeit oder soll die Erfindung nicht auf genau die Form begrenzen, die offenbart wird, und es sind noch andere Modifikationen und Variationen unter Berücksichtigung der obigen Lehren möglich. Die Ausführungsformen wurden gewählt und beschrieben, um die Prinzipien der Erfindung und deren praktische Anwendung in bester Weise zu erklären, um Fachleute dadurch zur besten Nutzung der Erfindung in verschiedenen Ausführungsformen und verschiedenen Modifikationen, die für den jeweiligen ins Auge gefassten Verwendungszweck geeignet sind, zu befähigen. Die beigefügten Ansprüche sind so auszulegen, dass sie weitere alternative Ausführungsformen der Erfindung enthalten, soweit aufgrund des Stands der Technik keine Begrenzungen gegeben sind.
