DE102013114530B4

DE102013114530B4 - Interaktionssteuerung für IPTV

Info

Publication number: DE102013114530B4
Application number: DE102013114530.2A
Authority: DE
Inventors: Mark Muenchinger; Stefan Kohn
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 2013-12-19
Filing date: 2013-12-19
Publication date: 2016-03-10
Anticipated expiration: 2033-12-20
Also published as: DE102013114530A1

Abstract

Verfahren zur Steuerung eines Endgerätes, das dem Nutzer den Inhalt einer von einem Anbieter für die Allgemeinheit ausgestrahlten Sendung vermittels eines Bildschirms darbietet, wobei die Sendung über ein IP-basiertes Netz, insbesondere das Internet, ausgestrahlt wird, wobei das Endgerät die Sendung über einen Hinkanal eines Internetanschlusses empfängt, wobei eine vom Nutzer ausgeführte Äußerung vermittels einer Sensoreinheit aufgenommen wird, wobei die Äußerung in einem Konvertierungsmittel interpretiert und in einen Befehl umgesetzt wird, der eine von der Sendung bereitgestellte Funktionen steuert, wobei die Interpretation der Äußerung und/oder die Umsetzung in den Befehl an einer zentralen Stelle im Netz geschieht, wobei die dafür benötigten Daten über einen Rückkanal, der vom Netz in Verbindung mit dem Hinkanal zur Verfügung gestellt wird, gesendet und an der zentralen Stelle verarbeitet werden. wobei die Interpretation der Äußerung und die Umsetzung in den Befehl in einer zentralen Steuereinheit des Anbieters ausgeführt werden, wobei mit dem Befehl die Sendung beeinflusst wird, dadurch gekennzeichnet, dass zumindest Teile der zentralen Steuereinheit zur Interpretation der Äußerung in einem DSLAM des Internetnetzes lokalisiert ist.

Description

Die Erfindung betrifft ein Verfahren zur Steuerung eines Endgerätes, das dem Nutzer den Inhalt einer für die Allgemeinheit ausgestrahlten Sendung vermittels eines Bildschirms darbietet, wobei die Sendung über das Internet ausgestrahlt wird und das Endgerät die Sendung entsprechend über einen Internetanschluss empfängt. Dabei wird eine vom Nutzer ausgeführte Äußerung vermittels eines Sensors aufgenommen, nachfolgend in Konvertermitteln, die dem Endgerät zugeordnet sind, interpretiert und in einen Befehl umgesetzt, der eine vom Endgerät und/oder von der Sendung bereitgestellte Funktionen steuert.
Bekanntermaßen können die Funktionen herkömmlicher Fernsehgeräte vermittels einer Fernbedienung vom Nutzer bequem ferngesteuert werden. Zudem sind Spielecomputer bekannt, die eine Interaktion des Nutzers mit den auf einem Bildschirm dargestellten Inhalten mittels einer Gestensteuerung ermöglichen. Dabei werden von optischen Sensoren oder Beschleunigungssensoren, die mit den Endgeräten in Verbindung stehen, Gesten des Nutzers erkannt. Es gibt auch Entwicklungen, die Steuerung herkömmlicher Fernsehgeräte durch Gesten oder durch Sprache, die gleichermaßen durch Sensoren detektiert werden, verfügbar zu machen. Diese Art der Steuerung bleibt jedoch zunächst auf die Einflussnahme auf die Bedienfunktionen, die ein herkömmliches Fernsehgerät hat, beschränkt.
Aus der EP 2 365 420 A2 ist die Steuerung von Sendungen, die Ober Internet-Protokoll-Fernsehens (IPTV) empfangen werden, bekannt. Dabei ist die Steuerung über eine Interaktion des Nutzers in Form von Gesten, Sprache und/oder anderen Äußerungen und mithin multimodal möglich. Auch in diesem Fall detektieren dem Endgerät zugeordnete Mittel die Interaktionen, interpretieren sie und setzen sie in entsprechende Befehle um. Diese Befehle aktivieren ihrerseits die entsprechenden Funktionalitäten, die von der über IPTV empfangenen Sendung zur Verfügung gestellt werden.
Dabei wird unter einer Geste die Bewegung des Körpers oder eines Körperteils des Nutzers verstanden, die eine Information transportiert. Gesten werden im Rahmen der Mensch-Computer-Interaktion als Steuerungsgesten bei bildbasierten grafischen Benutzeroberflächen, beispielsweise zum Zeigen, Selektieren oder Navigieren, eingesetzt. Zudem dienen Manipulationsgesten zur Interaktion mit virtuellen Objekten oder zur Steuerung des Systems. Dabei sind zum erfindungsgemäßen Einsatz geeignete Sensoren zur Gesten- und/oder Sprachkommandoerfassung respektive zu einer multimodalen Kommandoeingabe an sich bekannt.
Die Gestensteuerung ist somit eine Mensch-Computer-Interaktion basierend auf der dreidimensionalen visuellen Erfassung von Nutzeraktionen. Zur Erkennung der Gesten dient vorteilhafterweise eine dreidimensionale Erfassung von Bewegungen oder Bewegungsabläufen des Körpers oder eines Körperteils mittels bildbasierter Sensoren. Dazu werden bevorzugt Tiefenkameras zur Extraktion von Tiefeninformationen aus einer Szene verwendet ist bekannt, mittels eines Sensors ein Infrarot Lichtmuster auf eine Szene zu projizieren, die von einer versetzt angebrachten Kamera aufgenommen wird. Im Gegensatz dazu ist eine Fernbedienung lediglich ein elektronisches Handgerät zur Steuerung der Bildschirmanzeige mittels unidirektionaler drahtloser Übertragungstechnik.
Aus der WO 2013/056431 A1 ist z. B. eine Vorrichutng zur Gestenerkennung bekannt. Diese kann integriert sein in ein Mobiletelefon oder ausgelagert auf einem entfernten Server sein.
Die US 2005/0132420 A1 offenbart ein System zur Interaktion mit einem Fernsehprogramm, welches mit einem Rückkanal vom Fernseher zum Anbieter des Fernsehprogramms ausgestattet ist. Basierend auf einer Nutzerrückmeldung kann das Fernsehprogramm dynamisch angepasst werden.
Aufgabe der vorliegenden Erfindung ist es nun, ein Verfahren und eine Vorrichtung vorzuschlagen, die eine komfortablen Steuerung des Endgerätes und die Einflussnahme auf die vom Endgerät dargebotenen über IPTV empfangenen Inhalte auf besonders Ressourcen schonende Weise ermöglicht.
Diese Aufgaben werden durch das Verfahren nach Anspruch 1 und die nach Anspruch 3 gelöst. Vorteilhafte Ausführungsformen sind in den entsprechenden Unteransprüchen genannt.
Der Kerngedanke der Erfindung liegt darin, sich der Besonderheit des Internet-Protokoll-Fernsehens (IPTV) zu bedienen, das nicht nur einen vom Anbieter zum Nutzer gerichteten Hinkanal sondern auch einen vom Nutzer ausgehenden zum Anbieter zurück verlaufenden „integralen” Rückkanal, der in Verbindung mit dem Hinkanal aufgebaut wurde, zur Verfügung stellt. Dabei ist es das Bestreben der Erfindung, möglichst wenig Datenverarbeitung in der Verantwortlichkeit des Nutzers und möglichst viel Datenverarbeitung seitens des Diensteanbieters zu betreiben. Erfindungsgemäß wird daher schon der Schritt der Interpretation der Äußerung und/oder zumindest die Umsetzung der Interpretation in den Befehl an der zentralen Stelle im Internet durchgeführt, wobei die Daten über den integralen Rückkanal gesendet werden. Das Nutzen dieses integralen Rückkanals ermöglicht die Einführung interaktiver Zusatzfunktionen, die seitens des Anbieters zur Verfügung gestellt werden.
Im Rahmen des erfindungsgemäßen Verfahrens werden IPTV Multimediadienste vermittels des Internet, auf beliebige Endgeräte, wie Fernsehgeräte, gesendet respektive seitens der Endgeräte abgerufen. Diese Multimediadienste umfassen Fernsehinhalte, Video-, Audio- und/oder Textdateien. Solche Multimediadienste werden über das Internet ausgestrahlt und entsprechend über einen Internetanschluss am Endgerät empfangen. Vermittels spezieller Sensoren werden vom Nutzer ausgeführte Äußerungen, insbesondere Gesten, aufgenommen, in einem Konvertierungsmittel (Konverter) interpretiert und in einen Befehl umgesetzt. Dieser Befehl steuert dann eine vom Multimediadienst bereitgestellte Funktionalität.
Zusätzlich können über den Befehl auch Funktionen des Endgerätes bedient werden. Zur einer solchen Interaktionssteuerung können neben den Gesten oder statt der Gesten auch Sprachkommandos verwendet werden.
Der Empfang des Multimediadienstes respektive der Sendung geschieht insbesondere mittels eines Media Receivers in der Art einer Set-Top-Box, eines IPTV-Receivers oder einer IPTV-Box, wobei der Media Receiver einerseits die vom IPTV Anbieter erhaltenen IP-basierten Daten in digitale TV-Signale für einen Fernseher umsetzt und andererseits die Befehle über den Rückkanal zum IPTV-Anbieter sendet. Auf diese Weise kann eine von der Sendung bereitgestellte Funktionalität wie bei einem Spielecomputer vom Nutzer gesteuert werden. Der Nutzer kann also selber in das Geschehen im Rahmen der Sendung eingreifen. Das wird erfindungsgemäß dadurch möglich, dass die Gestensteuerung vermittels der Rückleitung auf die Quelle der Sendung, also auf den IPTV Anbieter, wirkt.
Um das Verfahren umzusetzen, umfasst das System Konvertierungsmittel umfassend Auswerte- und Steuerkomponenten, die zumindest in Teilen im DSLAM des Internetnetzes lokalisiert sind und dort die Steuerung der Sendung bewerkstelligen. Der erfindungswesentliche Gedanke liegt dabei im Einsatz der Steuerung im IPTV Umfeld und hier insbesondere in der Anordnung der Sensoren als Erfassungskomponenten, die sich nahe am IPTV Endgerät befinden, während die Auswerte- und Steuerkomponenten als Teil eines Konvertermittels im Einzugsbereich des Netzanbieters und/oder des IPTV Anbieters zentral lokalisiert sind. Auf diese Weise macht sich die Erfindung die vorhandene Netztopologie mit der Möglichkeit zu nutze, verteilte Datenströme via multicast-Transportmechanismus bereitzustellen.
Der wesentliche Vorteil der Erfindung ist, dass der Nutzer selber von der Anschaffung technisch aufwendiger Mittel zur Steuerung befreit ist, da diese seitens des IPTV Anbieters mehr oder weniger zentral zur Verfügung gestellt werden. Überhaupt bietet die erfindungsgemäß zentrale Organisation wegen der leistungsstarken technischen Mittel ein entsprechend größeres Spektrum an Möglichkeiten. Beispielsweise ist es möglich, dass durch die Analyse von Bilddaten ein Zusatznutzen generiert wird, der über die einfache Gestensteuerung hinausgeht.
Ein weiterer Vorteil ist, dass mit der erfindungsgemäßen Steuerung der IPTV tauglichen Endgeräte auf zusätzliche Fernbedienungsgeräte und natürlich auch auf die herkömmliche Bedienung vermittels Steuertasten am Endgerät verzichtet werden kann.
Die Erfindung bietet zudem weitere Vorteile: Beispielsweise kann ein „cloud gaming” im IPTV-Umfeld durch Gestensteuerung angereichert werden. Dabei ist mittels der Gesten auch eine Navigation durch dreidimensionale virtuelle Räume möglich. Auch bei Videokonferrenzen kann die erfindungsgemäße Gestensteuerung Anwendung finden. Bei „assist privacy” Anwendung kann sich ein Zusatznutzen über die Gestensteuerung hinaus ergeben, indem das Kamerabild unterteilt wird in Vordergrund mit Personen und Hintergrund. Der Hintergrund kann ausgeblendet oder durch einen künstlichen Hintergrund ausgetauscht werden. Im Falle von „support banking tasks” kann die Gestensteuerung zur Auswahl und Autorisierung von Banktransaktionen eingesetzt werden. Weiter entsteht ein Zusatznutzen über die Gestensteuerung hinaus, indem das Kamerabild zur Identifikation der Person bei Banktransaktionen eingesetzt wird.
Selbst im Bereich von „Home control” Anwendungen, also der Steuerung verschiedener Geräte im häuslichen Umfeld, kann die Erfindung vorteilhaft eingesetzt werden. Diese Anwendungen sind üblicherweise über ein Bussystem mit einer Steuereinheit verbunden. Diese Steuereinheit kann wiederum in einer Wirkverbindung mit einem Media Receiver oder einem Router stehen, woran wiederum eine Sensoreinheit angeschlossen ist. Ein solches System kann zur Steuerung der Raumtemperatur, des Raumlichtes oder von Jalousien dienen.
Weitere Merkmale und Vorteile ergeben sich aus der nachfolgenden Beschreibung:
Das System umfasst zunächst ein herkömmliches Fernsehgerät als Endgerät des Nutzers. Um IPTV tauglich zu sein, ist an das Fernsehgerät ein Media Receiver angeschlossen, wobei die Funktionalität des Media Receiver auch unmittelbar im Endgerät realisiert sein kann. Der Mediareceiver erhält seine aus dem Internet kommenden Daten über einen dem Nutzer zugeordneten Router zur Filterung und Weiterleitung der Datensignale, wobei der Router über einen DSL-Splitter zur Aufteilung respektive Zusammenführung der Frequenzen von Telefon und DSL versorgt wird. Der Zugang zum Internet geschieht über ein DSLAM („digital subscriber line access multiplexer”), das als DSL-Zugangskonzentrator in Endkundennähe lokalisiert ist und zur Terminierung der Teilnehmeranschlussleitungen und zur Einspeisung von IPTV-Daten in die Teilnehmerleitungen dient. Über das IP-basierte Netz, hier das Internet, werden Dienste über einen Hinkanal vom IPTV-Anbietern zum Endkunden übertragen, während ein Rückkanal zur Übertragung von Informationen vom Endkunden zum IPTV-Anbieter dient. Der IPTV-Anbieter nutzt ein Rechenzentrum.
Um eine Gestensteuerung zu ermöglichen ist eine Sensoreinheit mit bildbasierten Sensoren und Tiefenkamera zur dreidimensionalen Erfassung von Bewegungen eines Körperteils vorgesehen. Für eine multimodale Steuerung kann eine weitere Einheit mit einem Beschleunigungssensor zur Erkennung von Bewegungsabläufen genutzt werden. Diese Einheit kann in einer handhabbaren Fernbedienung oder in einem Mobiltelefon jeweils mit integriertem Bewegungssensor realisiert sein. Die Sensoreinheit umfasst eine entsprechende Auswertelogik zur Ableitung der Bewegungsdaten und eine Signalschnittstelle zur Übertragung der Bewegungsdaten an den Media receiver oder Router und letztendlich zum Steuerrechner.
Vorteilhafterweise wird eine Kombination von Gesten- und Spracherkennung eingesetzt, um beispielsweise mittels Gestensteuerung einen Auswahlvorgang zu ermöglichen und mittels Sprachsteuerung den Zustand „schalte ein/aus” auszuwählen. In diesem Fall ist die Sensoreinheit um ein Mikrofon zu ergänzen.
Der Konverter umfasst einen Steuerrechner mit einer Einheit zur Auswertung und Interpretation der Bewegungsdaten, die eine Umsetzung der Bewegungsdaten in Steuersignale bewerkstelligt. Auf Grundlage dieser Steuersignale führt dann eine dem Steuerrechner zugeordnete Steuereinheit die Steuerungsvorgänge für das jeweilige System aus.
Im Media Receiver oder im Router ist eine Datenübertragungseinheit zur Weiterleitung der Bewegungsdaten über den Rückkanal an den DSLAM vorgesehen. Erfindungsgemäß ist die Steuereinheit hingegen zentral im DSLAM lokalisiert. Sie umfasst die Auswerteeinheit zur Auswertung und Interpretation der Bewegungsdaten und ist eingerichtet die Steuerungsvorgänge für das jeweilige System vorzunehmen.
Erfindungsgemäß wird die Verarbeitung der Gesten aufgeteilt auf eine Einheit, die beim Nutzer lokalisiert ist und eine entfernt zentral aufgestellte Einheit. Diese entfernte Einheit ist lokalisiert im DSLAM, hierdurch wird die Netzinfrastruktur entlastet.
Durch Vorrichtungen beim Endkunden werden die Gesten erfasst, Bewegungsdaten ermittelt und diese an den DSLAM übertragen. Durch Vorrichtungen den DSLAM werden die Gesten im Benutzerkontext interpretiert und die intendierten Aktionen ausgeführt. Das Aktionsergebnis wird wieder an die Einheit beim Endkunden übermittelt.
In einer speziellen Ausführungsform kann ein Delivery-Server eingesetzt werden. Wenn nämlich lineare Dienste wie Live-Fernsehen angeboten werden, so kann zur Entlastung der Netztopologie auf den Multicast-Transportmechanismus zurückgegriffen werden. Dabei sendet der Sender die Fernsehprogramme an Router und Switches, die innerhalb der Netzinfrastruktur als Multicast Replikationspunkte und damit als Delivery-Server dienen, die üblicherweise in den DSLAM lokalisiert sind. Sie verteilen das vom Teilnehmer ausgewählte Fernsehprogramm an den Client. Das Multicast Verfahren führt gegenüber dem Unicast Verfahren, bei dem der Sender direkt mit dem Client kommuniziert, zu einer reduzierten Netzbelastung.

Claims

Verfahren zur Steuerung eines Endgerätes, das dem Nutzer den Inhalt einer von einem Anbieter für die Allgemeinheit ausgestrahlten Sendung vermittels eines Bildschirms darbietet, wobei die Sendung über ein IP-basiertes Netz, insbesondere das Internet, ausgestrahlt wird, wobei das Endgerät die Sendung über einen Hinkanal eines Internetanschlusses empfängt, wobei eine vom Nutzer ausgeführte Äußerung vermittels einer Sensoreinheit aufgenommen wird, wobei die Äußerung in einem Konvertierungsmittel interpretiert und in einen Befehl umgesetzt wird, der eine von der Sendung bereitgestellte Funktionen steuert, wobei die Interpretation der Äußerung und/oder die Umsetzung in den Befehl an einer zentralen Stelle im Netz geschieht, wobei die dafür benötigten Daten über einen Rückkanal, der vom Netz in Verbindung mit dem Hinkanal zur Verfügung gestellt wird, gesendet und an der zentralen Stelle verarbeitet werden. wobei die Interpretation der Äußerung und die Umsetzung in den Befehl in einer zentralen Steuereinheit des Anbieters ausgeführt werden, wobei mit dem Befehl die Sendung beeinflusst wird, dadurch gekennzeichnet, dass zumindest Teile der zentralen Steuereinheit zur Interpretation der Äußerung in einem DSLAM des Internetnetzes lokalisiert ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Äußerungen Gesten sind, die mittels mindestens einer Kamera und/oder eines Beschleunigungssensors aufgenommen werden.
System zur Umsetzung des Verfahrens nach einem der vorherigen Ansprüche, aufweisend ein Endgerät mit Bildschirm zur Darbietung des Inhalts einer für die Allgemeinheit ausgestrahlten Sendung, ein IP-basiertes Netz, insbesondere das Internet, mit einem Hinkanal zur Ausstrahlung der Sendung, wobei das Endgerät eine Schnittstelle zum Netz aufweist, eine Sensoreinheit zur Aufnahme vom Nutzer ausgeführter Äußerungen, Konvertierungsmittel (Konverter) zur Interpretation der Äußerungen und zur Umsetzung in einen Befehl, der eine von der Sendung und/oder vom Endgerät bereitgestellte Funktion steuert, wobei die Teile des Konvertierungsmittels über einen Rückkanal, der in Verbindung mit dem Hinkanal zur Verfügung steht, zur Datenübertragung mit dem nutzerseitigen Endgerät in Verbindung stehen, dadurch gekennzeichnet, dass zumindest Teile des Konvertierungsmittels zur Interpretation der Äußerungen in einem DSLAM des Internetnetzes lokalisiert sind.
System nach Anspruch 3, dadurch gekennzeichnet, dass die Schnittstelle zum Netz ein an das Endgerät angeschlossener oder ein im Endgerät eingebauter Media Receiver ist.
System nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass der Sensor eine Tiefenkamera zur dreidimensionalen Erfassung von Bewegungen und/oder eine Beschleunigungssensor zur Erkennung von Bewegungsabläufen aufweist.