DE112018007902T5 - Anzeigegerät und verfahren zur steuerung desselben - Google Patents

Anzeigegerät und verfahren zur steuerung desselben Download PDF

Info

Publication number
DE112018007902T5
DE112018007902T5 DE112018007902.3T DE112018007902T DE112018007902T5 DE 112018007902 T5 DE112018007902 T5 DE 112018007902T5 DE 112018007902 T DE112018007902 T DE 112018007902T DE 112018007902 T5 DE112018007902 T5 DE 112018007902T5
Authority
DE
Germany
Prior art keywords
keyword
screen
display
confidence
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112018007902.3T
Other languages
English (en)
Inventor
Jeongsim KIM
Yongtaek Gong
Ohryong Kwon
Jiwon Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of DE112018007902T5 publication Critical patent/DE112018007902T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping

Abstract

Die Erfindung bezieht sich auf ein Anzeigegerät und ein Verfahren zur Steuerung derselben, wobei das Verfahren im Wesentlichen umfasst: Erfassen eines Bildschirms, auf dem ein Inhalt wiedergegeben wird; Extrahieren eines ersten Schlüsselworts aus einem Bild des aufgenommenen Bildschirms, Erzeugen einer dem ersten Schlüsselwort entsprechende Konfidenz, wenn von einer externen Fernsteuerung eine Eingabe zur Auswahl des ersten Schlüsselworts empfangen wird, Übertragen des ersten Schlüsselworts, von Rückmeldeinformation und der Konfidenz an einen externen Server, Empfangen eines zweiten Schlüsselworts, einer korrigierten Konfidenz und von Rückmeldeinformation von dem externen Server, und Anzeigen eines dem zweiten Schlüsselwort entsprechenden Bildschirms, wenn eine Eingabe zur Auswahl des zweiten Schlüsselworts empfangen wird.

Description

  • Technischer Bereich
  • Die vorliegende Offenbarung bezieht sich auf ein Anzeigegerät und ein Verfahren zur Steuerung desselben, und insbesondere auf ein Anzeigegerät und ein Verfahren zur Steuerung desselben, bei dem programmbezogene Informationen aus einem Programm, das von einem Benutzer auf einem Anzeigegerät, wie z.B. einem Smart-TV, betrachtet wird, mittels Computer-Vision erhalten werden, ein zugehöriges Schlüsselwort auf einem Bildschirm angezeigt wird, eine Rückmeldung des Benutzers in dem Schlüsselwort reflektiert wird und dann ein zugehöriges Video für den Benutzer bereitgestellt werden kann.
  • Technischer Hintergrund
  • In letzter Zeit verwenden viele Benutzer ein Anzeigegerät wie z.B. einen Smart-TV. Im verwandten Stand der Technik kann ein Benutzer Informationen zu einem Bildschirm über EPG-Informationen und Computer-Vision-Technologie erhalten.
  • Zum Beispiel möchte ein Benutzer in einem Drama-Kanal den Namen eines Schauspielers oder einer Schauspielerin wissen, der/die in einem Drama aufgetreten ist, ein anderes Drama, in dem der entsprechende Schauspieler oder die entsprechende Schauspielerin aufgetreten ist, aber im verwandten Stand der Technik kann der Benutzer nur einen Namen eines Schauspielers oder einer Schauspielerin, der/die in einem aktuellen Kanal auftritt, aus EGP-Informationen kennen, aber es ist schwierig, zusätzliche Informationen zu erfahren. Daher tritt das Problem auf, dass der Benutzer Unannehmlichkeiten empfindet. Die Computer-Vision-Technologie bedeutet ein Verfahren zur Verarbeitung eines bewegten Bildes in einer Form, die von einem Computer erkannt werden kann. Das heißt, die Computer-Vision-Technologie ist ein Verfahren zum Extrahieren eines Schlüsselworts, für das sich ein Benutzer interessiert, aus einem aufgenommenen Bild eines bewegten Bildes. In der verwandten Technik können jedoch viele Daten erhalten werden und die Konfidenz kann durch maschinelles Lernen ergänzt werden, jedoch tritt das Problem auf, dass die durch Computer Vision erhaltenen Informationen eine sehr geringe Konfidenz haben.
  • Mitteilung der Erfindung
  • Technisches Problem
  • Ein Ziel der vorliegenden Offenbarung ist es, ein Anzeigegerät und ein Verfahren zur Steuerung desselben bereitzustellen, bei dem ein Schlüsselwort aus einem aufgenommenen Bildschirmbild extrahiert wird und Rückmeldungen anderer Benutzer in dem extrahierten Schlüsselwort reflektiert werden, um die Konfidenz zu verbessern.
  • Ein weiteres Ziel der vorliegenden Offenbarung ist es, ein Anzeigegerät und ein Verfahren zur Steuerung desselben bereitzustellen, bei dem mehrere Benutzer ein Video ansehen, das gerade ausgestrahlt wird, und Rückmeldungen von den mehreren Benutzern empfangen werden, um ein Schlüsselwort zu korrigieren und so die Konfidenz zu verbessern.
  • Ein weiteres Ziel der vorliegenden Offenbarung ist es, ein Anzeigegerät und ein Verfahren zur Steuerung desselben bereitzustellen, bei dem die Konfidenz eines ersten Schlüsselworts auf hoch gesetzt wird, wenn sich eine dem ersten Schlüsselwort entsprechende Seitenverknüpfungshäufigkeit erhöht.
  • Technische Lösungen
  • Um dieses Ziel und andere Vorteile zu erreichen, umfasst gemäß einem Aspekt der vorliegenden Offenbarung ein Anzeigegerät einen Tuner, der ein Rundfunksignal von einem Rundfunksender empfängt; ein Kommunikationsmodul, das Kommunikation mit einem externen Server oder/und einer externen Fernsteuerung durchführt; ein Anzeigemodul, das einen in dem empfangenen Rundfunksignal enthaltenen Inhalt auf einem Bildschirm anzeigt, wobei der Inhalt von dem externen Server empfangen oder in einem inneren Speicher gespeichert wird; und eine Steuereinheit, die den Tuner, das Kommunikationsmodul oder/und das Anzeigemodul steuert, wobei die Steuereinheit einen Bildschirm aufnimmt, auf dem der Inhalt abgespielt wird, ein erstes Schlüsselwort aus dem aufgenommenen Bildschirm und in dem Rundfunksignal enthaltener EPG-Information extrahiert, eine dem ersten Schlüsselwort entsprechende Konfidenz erzeugt, das extrahierte erste Schlüsselwort auf dem Bildschirm anzeigt, das erste Schlüsselwort, dem ersten Schlüsselwort entsprechende Rückmeldeinformation oder/und die Konfidenz an den externen Server überträgt, ein zweites Schlüsselwort und die Rückmeldeinformation von dem externen Server empfängt, einen das empfangene zweite Schlüsselwort enthaltenden Bildschirm auf dem Bildschirm anzeigt, und das Anzeigemodul zur Steuerung eines dem zweiten Schlüsselwort entsprechenden ersten Bildschirms steuert, wenn von der externen Fernsteuerung eine Eingabe zum Auswählen des zweiten Schlüsselworts empfangen wird.
  • Nach einem anderen Aspekt der vorliegenden Offenbarung umfasst ein Verfahren zum Steuern einer Anzeigevorrichtung das Empfangen eines Rundfunksignals von einer Rundfunkstation über einen Tuner; das Anzeigen eines in dem empfangenen Rundfunksignal enthaltenen Inhalts auf einem Bildschirm; das Aufnehmen eines Bildschirms, auf dem der Inhalt wiedergegeben wird; das Extrahieren eines ersten Schlüsselworts aus dem aufgenommenen Bildschirm und die in dem Rundfunksignal enthaltener EPG-Information; das Erzeugen einer Konfidenz entsprechend dem ersten Schlüsselwort; das Anzeigen des extrahierten ersten Schlüsselworts auf dem Bildschirm; das Übertragen des ersten Schlüsselworts, dem ersten Schlüsselwort entsprechender Rückmeldeinformation oder/und der Konfidenz an den externen Server; das Empfangen eines zweiten Schlüsselworts und der Rückmeldeinformation von dem externen Server; das Anzeigen eines das empfangene zweite Schlüsselwort enthaltenden Menüs auf dem Bildschirm; und das Anzeigen eines dem zweiten Schlüsselwort entsprechenden Bildschirms auf dem Bildschirm, wenn eine Eingabe zum Auswählen des zweiten Schlüsselworts von der externen Fernsteuerung empfangen wird.
  • Vorteilhafte Effekte
  • Gemäß einer Ausführungsform der vorliegenden Offenbarung kann ein Schlüsselwort aus einem aufgenommenen Bildschirmbild extrahiert werden, Rückmeldungen anderer Benutzer können in dem extrahierten Schlüsselwort reflektiert werden, um ein zweites Schlüsselwort zu generieren, und eine Konfidenz kann korrigiert werden. Da das zweite Schlüsselwort mit Bezug auf die Rückmeldungen der anderen Benutzer erzeugt werden kann, kann eine Konfidenz des zweiten Schlüsselworts verbessert werden, wodurch die Benutzerfreundlichkeit verbessert werden kann.
  • Gemäß einer anderen Ausführungsform der vorliegenden Offenbarung sehen sich mehrere Benutzer ein Video an, das ausgestrahlt wird, und Rückmeldungen der mehreren Benutzer können reflektiert werden, um ein Schlüsselwort zu korrigieren, und das korrigierte Schlüsselwort kann für andere Benutzer empfohlen werden, wodurch die Benutzerfreundlichkeit verbessert werden kann.
  • Gemäß einer anderen Ausführungsform der vorliegenden Offenlegung kann die Konfidenz eines ersten Schlüsselworts hoch angesetzt werden, wenn sich eine dem ersten Schlüsselwort entsprechende Seitenverknüpfungshäufigkeit erhöht, wodurch die Benutzerfreundlichkeit verbessert werden kann.
  • Figurenliste
    • 1 ist eine schematische Ansicht, die ein Servicesystem zeigt, das ein digitales Gerät gemäß einer Ausführungsform der vorliegenden Offenbarung enthält.
    • 2 ist ein schematisches Blockdiagramm, das ein digitales Gerät gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.
    • 3 ist ein schematisches Blockdiagramm, das ein digitales Gerät gemäß einer anderen Ausführungsform der vorliegenden Offenbarung zeigt.
    • 4 ist ein schematisches Blockdiagramm, das ein digitales Gerät gemäß einer weiteren Ausführungsform der vorliegenden Offenbarung zeigt.
    • 5 ist ein schematisches Blockdiagramm, das eine detaillierte Konfiguration eines Controllers der 2 bis 4 gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.
    • 6 ist eine Ansicht, die ein Eingabemittel zeigt, das mit einem digitalen Gerät der 2 bis 4 gemäß einer Ausführungsform der vorliegenden Offenbarung verbunden ist.
    • 7 ist eine Ansicht, die eine Web-OS-Architektur gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt.
    • 8 ist eine Ansicht, die eine Architektur eines Web-OS-Geräts gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt.
    • 9 ist eine Ansicht, die einen grafischen Kompositionsfluss in einem Web-OS-Gerät gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.
    • 10 ist eine Ansicht, die einen Medienserver gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt.
    • 11 ist ein schematisches Blockdiagramm, das einen Medienserver gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt.
    • 12 ist eine Ansicht, die eine Beziehung zwischen einem Medienserver und einem TV-Dienst gemäß einer Ausführungsform der vorliegenden Offenlegung darstellt.
    • 13 ist eine Ansicht, die ein Verfahren zur Steuerung einer Fernbedienung zur Steuerung einer beliebigen Bildanzeigevorrichtung gemäß den Ausführungsformen der vorliegenden Offenbarung zeigt.
    • 14 ist ein Blockdiagramm, das das Innere einer Fernsteuerung zur Steuerung einer beliebigen Bildanzeigevorrichtung gemäß den Ausführungsformen der vorliegenden Offenbarung zeigt.
    • 15 ist eine schematische Ansicht, die ein Anzeigegerät gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.
    • 16 ist eine schematische Ansicht, die einen externen Server gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.
    • 17a ist eine Ansicht, die veranschaulicht, dass ein externer Server und eine Vielzahl von Anzeigegeräten Daten gemäß einer Ausführungsform der vorliegenden Offenlegung senden und empfangen.
    • 17b ist eine Ansicht, die veranschaulicht, dass ein externer Server und ein Anzeigegerät gemäß einer Ausführungsform der vorliegenden Offenlegung Daten senden und empfangen.
    • 18 ist eine Ansicht, die ein Verfahren zur Steuerung eines Anzeigegeräts gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt.
    • 19 und 20 sind Ansichten, die ein Verfahren zur Steuerung eines Anzeigegeräts und eines externen Servers in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zeigen.
    • 21 ist eine Ansicht, die ein Verfahren zur Steuerung eines Anzeigegeräts gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt.
    • 22 ist eine Ansicht, die einen Algorithmus zum Extrahieren eines Schlüsselworts aus einem Bild gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt.
    • 23 ist eine Ansicht, die veranschaulicht, dass eine Anordnungsreihenfolge eines Schlüsselworts durch die Berücksichtigung einer Konfidenz und einer Benutzerrückmeldung gemäß einer Ausführungsform der vorliegenden Offenlegung variiert wird.
    • 24 ist eine Ansicht, die veranschaulicht, dass ein Erfassungsbildschirm in Bereiche pro Objekt unterteilt ist, wenn der Erfassungsbildschirm mindestens ein Objekt enthält, und die ein Menü veranschaulicht, das ein Schlüsselwort enthält, das einem bestimmten Bild entspricht, wenn der unterteilte Bereich das bestimmte Bild enthält.
    • 25 ist eine Ansicht, die veranschaulicht, dass ein einem Schlüsselwort entsprechender Bildschirm angezeigt wird, wenn von einer externen Fernbedienung eine Eingabe zur Auswahl des Schlüsselworts empfangen wird, in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
    • 26 ist eine Ansicht, die veranschaulicht, dass ein einem Schlüsselwort entsprechender Bildschirm angezeigt wird, indem das Schlüsselwort und eine Benutzer Rückmeldung reflektiert werden, wenn von einer externen Fernbedienung eine Eingabe zur Auswahl des Schlüsselworts empfangen wird, gemäß einer Ausführungsform der vorliegenden Offenbarung.
    • 27 ist eine Ansicht, die veranschaulicht, dass ein einem Schlüsselwort entsprechender Bildschirm angezeigt wird, indem das Schlüsselwort und der Benutzer Rückmeldung reflektiert werden, wenn von einer externen Fernbedienung eine Eingabe zur Auswahl des Schlüsselworts empfangen wird, gemäß einer Ausführungsform der vorliegenden Offenbarung.
    • 28 ist eine Ansicht, welche Benutzerbedingungen veranschaulicht, wenn ein einem Schlüsselwort entsprechender Bildschirm angezeigt wird, indem das Schlüsselwort und eine Benutzerrückmeldung reflektiert werden, in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
  • DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • Es werden nun im Detail verschiedene Ausführungsformen für ein digitales Gerät und ein Bildschirmschoner-Verarbeitungsverfahren beschrieben, die hier offengelegt werden, mit Bezug auf die begleitenden Zeichnungen.
  • Suffixe wie „Modul“, „Einheit“ und dergleichen können in dieser Offenlegung verwendet werden, um auf Elemente oder Komponenten zu verweisen. Die Verwendung eines solchen Suffixes hier soll lediglich die Beschreibung der Spezifikation erleichtern, und beide Suffixe können austauschbar verwendet werden. Die Beschreibung mit Ordnungszahlen wie „erste ∼“, „zweite ∼“ und dergleichen dient nur zur Erleichterung der Beschreibung der entsprechenden Begriffe, die durch solche Begriffe oder Ordnungszahlen nicht eingeschränkt ist.
  • Obwohl die in der vorliegenden Spezifikation verwendeten Terminologien aus allgemeinen, derzeit weit verbreiteten Terminologien ausgewählt wurden, können sie in Übereinstimmung mit den Absichten von Technikern, die auf den entsprechenden Gebieten tätig sind, Gewohnheiten, Fortschritten bei neuen Technologien und dergleichen geändert werden. Gelegentlich können einige Terminologien vom Anmelder willkürlich ausgewählt werden.
  • Daher kann das digitale Gerät, z.B. auf dem universellen OS-Kernel, verschiedene Anwendungen hinzufügen und löschen, und es können verschiedene Funktionen ausgeführt werden.
  • In diesem Fall werden die Bedeutungen der willkürlich ausgewählten Terminologien im entsprechenden Teil der ausführlichen Beschreibung der Erfindung beschrieben. Daher müssen die in der vorliegenden Spezifikation verwendeten Terminologien auf der Grundlage der wesentlichen Bedeutungen der entsprechenden Terminologien und der in der vorliegenden Spezifikation offengelegten Gesamtangelegenheiten ausgelegt werden, anstatt sie als einfache Namen der Terminologien zu verstehen.
  • Die in der vorliegenden Beschreibung und/oder den Zeichnungen offenbarten Erläuterungen entsprechen einer bevorzugten Ausführungsform der vorliegenden Erfindung und sind nicht durch die bevorzugte Ausführungsform begrenzt. Der Umfang / Ausmaß des Rechts ist durch die beigefügten Ansprüche zu besti m men.
  • Das in der vorliegenden Beschreibung erläuterte „digitale Gerät“ umfasst jedes Gerät, das in der Lage ist, mindestens eine der Funktionen Senden, Empfangen, Verarbeiten und Ausgeben von Daten, Inhalten, Diensten, Anwendungen und dergleichen auszuführen. Das digitale Gerät kann mit einem anderen digitalen Gerät, einem externen Server und dergleichen über ein drahtgebundenes/drahtloses Netzwerk gepaart oder verbunden werden (im Folgenden „gepaart“) und durch die Paarung vorgeschriebene Daten senden/empfangen. Dabei können die Daten vor dem Senden/Empfangen, falls erforderlich, entsprechend umgewandelt werden. Die digitalen Geräte können stehende Geräte (z.B. Netzwerk-TV, HBBTV (Hybrid Broadcast Broadband TV), Smart TV, IPTV (Internet Protocol TV), PC (Personal Computer) usw.) und mobile Geräte (z.B. PDA (Personal Digital Assistant), Smart Phone, Tablet PC, Notebook usw.) umfassen. In der vorliegenden Spezifikation sind zum besseren Verständnis der vorliegenden Erfindung und zur Klarheit der Beschreibung des Anmelders ein digitales Fernsehgerät und ein mobiles Gerät als Ausführungsformen digitaler Geräte in 2 bzw. 3 dargestellt. Ein digitales Gerät, das in der vorliegenden Spezifikation beschrieben wird, kann eine reine Panel-Konfiguration, eine Konfiguration wie eine Set-Top-Box (STB) oder eine Einzel-Set-Konfiguration von Gerät, System und dergleichen umfassen.
  • Das in der vorliegenden Beschreibung erläuterte „drahtgebundene/drahtlose Netzwerk“ ist ein allgemeiner Name für ein Kommunikationsnetzwerk, das verschiedene Kommunikationsspezifikationen und/oder -protokolle für die Paarung oder/und die Datenübertragung zwischen digitalen Geräten oder zwischen einem digitalen Gerät und einem externen Server unterstützt. Solche drahtgebundenen/drahtlosen Netzwerke umfassen alle durch die Spezifikationen derzeit unterstützten Kommunikationsnetzwerke oder alle Kommunikationsnetzwerke, die in Zukunft unterstützt werden, und sind in der Lage, ein oder mehrere Kommunikationsprotokolle hierfür zu unterstützen. Solche drahtgebundenen/drahtlosen Netzwerke können etabliert werden durch ein Netzwerk für eine drahtgebundene Verbindung und eine Kommunikationsspezifikation oder ein Kommunikationsprotokoll hierfür (z.B. USB (Universal Serial Bus), CVBS (Composite Video Banking Sync), Component, S-Video (analog), DVI (Digital Visual Interface), HDMI (High Definition Multimedia Interface), RGB, D-SUB usw.) und ein Netzwerk für eine drahtlose Verbindung und eine Kommunikationsspezifikation oder ein Kommunikationsprotokoll (z.B., Bluetooth, RFID (Radio Frequency Identification), IrDA (infrared Data Association), UWB (Ultra Wideband), ZigBee, DLNA (Digital Living Network Alliance), WLAN (Wireless LAN)(Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), LTE/LTE-A (Long Term Evolution/LTE-Advanced), Wi-Fi direct).
  • Wenn ein Gerät in dieser Offenlegung als digitales Gerät bezeichnet wird, kann die Bedeutung je nach Kontext auf ein stehendes oder ein mobiles Gerät hinweisen, oder sie kann für beide verwendet werden, sofern nicht speziell erwähnt.
  • Ein digitales Gerät ist dabei ein intelligentes Gerät, das eine Rundfunkempfangsfunktion, eine Computerfunktion oder -unterstützung, mindestens eine externe Eingabe und Ähnliches unterstützt und in der Lage ist, E-Mail, Web-Browsing, Bankgeschäfte, Spiele, Anwendungen und Ähnliches über das oben genannte drahtgebundene/drahtlose Netzwerk zu unterstützen. Darüber hinaus kann das digitale Gerät eine Schnittstelle (z.B. ein manuelles Eingabegerät, einen Touchscreen, eine Raumfernbedienung usw.) enthalten, um mindestens ein Eingabe- oder Steuermittel zu unterstützen.
  • Außerdem kann ein digitales Gerät ein standardisiertes OS (Betriebssystem) verwenden. Insbesondere verwendet ein digitales Gerät, das in der vorliegenden Spezifikation beschrieben wird, Web OS für eine Ausführungsform. Daher kann ein digitales Gerät das Hinzufügen, Löschen, Ändern, Aktualisieren und Ähnliches von verschiedenen Diensten oder Anwendungen auf einem Universal-OS-Kernel oder Linux-Kernel verarbeiten, wodurch eine weitere benutzerfreundliche Umgebung konfiguriert und bereitgestellt werden kann.
  • Das genannte digitale Gerät kann eine externe Eingabe empfangen und verarbeiten. Dabei umfasst der externe Eingang ein externes Eingabegerät, d.h. ein beliebiges Eingabemittel oder ein digitales Gerät, das in der Lage ist, Daten zu senden/zu empfangen und zu verarbeiten, indem es über ein drahtgebundenes/drahtloses Netzwerk mit dem vorgenannten digitalen Gerät verbunden ist. Als externe Eingänge sind beispielsweise ein Spielgerät (z.B. HDMI (High-Definition Multimedia Interface), Playstation, X-Box usw.), ein Druckgerät (z.B. Smartphone, Tablet-PC, Pocket Photo usw.) und ein digitales Gerät (z.B. Smart-TV, Blu-ray-Gerät usw.) enthalten.
  • Außerdem bedeutet „Server“ in der vorliegenden Spezifikation ein digitales Gerät oder System, das Daten an das oben genannte digitale Gerät (d.h. den Client) liefert oder Daten von ihm empfängt, und kann als Prozessor bezeichnet werden. Der Server kann beispielsweise ein Portalserver sein, der eine Webseite, Webinhalte oder einen Webdienst bereitstellt, ein Werbeserver, der Werbedaten bereitstellt, ein Inhaltsserver, der Inhalte bereitstellt, ein SNS-Server, der SNS (Social Network Service) bereitstellt, ein Service-Server, der von einem Hersteller bereitgestellt wird, ein MVPD (Multichannel Video Programming Distributor), der VoD (Video on Demand) oder einen Streaming-Dienst bereitstellt, ein Service-Server, der einen Bezahldienst bereitstellt und dergleichen.
  • Falls die folgende Beschreibung nur aus Gründen der Klarheit in der vorliegenden Spezifikation eine Anwendung verwendet, kann damit sowohl ein Dienst als auch eine Anwendung auf der Basis eines entsprechenden Inhalts und dergleichen gemeint sein.
  • In der folgenden Beschreibung wird die vorliegende Erfindung unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
  • 1 ist ein schematisches Diagramm, das ein Servicesystem mit einem digitalen Gerät gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
  • Bezugnehmend auf 1 kann ein Dienstsystem einen Inhaltsanbieter (CP) 10, einen Dienstanbieter (SP) 20, einen Netzwerkanbieter (NP) 30 und einen Heimnetzwerk-Endbenutzer (HNED) (Kunde) 40 umfassen. Der HNED 40 umfasst einen Client 100, d.h. ein digitales Gerät gemäß der vorliegenden Erfindung.
  • Der CP 10 produziert und liefert verschiedene Inhalte. Unter Bezugnahme auf 1 kann der CP 10 ein terrestrischer Sender, ein Kabelsystembetreiber (SO), ein Mehrfachsystembetreiber (MSO), ein Satellitensender, verschiedene Internet-Sender, private Inhaltsanbieter (CPs) usw. sein. Der CP 10 kann verschiedene Dienste, Anwendungen und dergleichen sowie Rundfunkinhalte produzieren und bereitstellen.
  • Der SP 20 paketiert einen vom CP 10 produzierten Inhalt und stellt ihn dann dem HNED 40 zur Verfügung. Beispielsweise paketiert der SP 20 mindestens einen der Inhalte, die von einem ersten terrestrischen Sender, einem zweiten terrestrischen Sender, einem Kabel-MSO, einem Satellitensender, verschiedenen Internetsendern, Anwendungen und dergleichen produziert werden, für einen Dienst und stellt ihn dann der HNED 40 zur Verfügung.
  • Der SP 20 kann Dienste für den Client 100 in einer Uni- oder Multi-Cast-Weise bereitstellen. Währenddessen kann der SP 20 kollektiv Daten an eine Vielzahl von vorregistrierten Clients 100 senden. Zu diesem Zweck kann er IGMP (Internet Group Management Protocol) und Ähnliches verwenden.
  • Der CP 10 und der SP 20 können in Form einer Einheit konfiguriert werden. Zum Beispiel kann der CP 10 als SP 20 fungieren, indem er einen Inhalt produziert, den produzierten Inhalt als Servicepaket bereitstellt und ihn dann der HNED 40 zur Verfügung stellt und umgekehrt.
  • Der NP 30 stellt eine Netzwerkumgebung für den Datenaustausch zwischen dem CP 10 und/oder dem SP 20 und dem Client 100 zur Verfügung.
  • Der Client 100 ist ein Verbraucher, der zum HNED 40 gehört. Der Client 100 kann z.B. durch den Aufbau eines Heimnetzwerks über den NP 30 Daten empfangen und Daten für verschiedene Dienste (z.B. VoD, Streaming usw.), Anwendungen und Ähnliches senden/empfangen.
  • Der CP 10 oder/und der SP 20 im Servicesystem kann ein Zugangskontroll- oder Inhaltsschutzmittel für den Schutz eines übertragenen Inhalts verwenden. Daher kann der Client 100 ein Verarbeitungsmittel wie eine Kabelkarte (CableCARD) (oder POD (Point of Deployment) oder ein herunterladbares CAS (DCAS) verwenden, das der Zugangskontrolle oder dem Inhaltsschutz entspricht.
  • Darüber hinaus kann der Client 100 auch einen interaktiven Dienst über ein Netzwerk nutzen. In diesem Fall kann der Client 100 direkt als Anbieter von Inhalten dienen. Und der SP 20 kann ihn empfangen und an einen anderen Client o. ä. weiterleiten.
  • In 1 kann der CP 10 oder/und der SP 20 ein Service-Providing-Server sein, der später in der vorliegenden Spezifikation beschrieben wird. In diesem Fall kann der Server bedeuten, dass der NP 30 im Besitz oder ggf. enthalten ist. In der folgenden Beschreibung umfasst ein Dienst oder eine Dienstdatei, auch wenn dies nicht speziell erwähnt wird, sowohl einen internen Dienst oder eine interne Anwendung als auch einen extern empfangenen Dienst oder eine extern empfangene Anwendung, und ein solcher Dienst oder eine solche Anwendung kann einen Dienst oder eine Anwendungsdatei für den Web OS-basierten Client 100 bedeuten.
  • 2 ist ein Blockdiagramm, das ein digitales Gerät gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
  • Im Folgenden kann ein in der vorliegenden Spezifikation erwähntes digitales Gerät dem in 1 dargestellten Client 100 entsprechen.
  • Das digitale Gerät 200 kann eine Netzwerkschnittstelle 201, einen TCP/IP-Manager 202, einen Dienstbereitstellungsmanager 203, einen SI-Decoder 204, einen Demux- oder Demultiplexer 205, einen Audio-Decoder 206, einen Video-Decoder 207, ein A/V- und OSD-Modul (On Screen Display) 208, einen Dienststeuerungsmanager 209, einen Diensterkennungsmanager 210, eine SI- und Metadaten-Datenbank (DB) 211, einen Metadatenmanager 212, einen Dienstmanager 213, einen UI-Manager 214 usw. enthalten.
  • Die Netzwerkschnittstelle 201 kann IP-Pakete (Internetprotokoll) oder IP-Datagramme (im Folgenden IP-Pakete genannt) über ein Netzwerk, auf das zugegriffen wird, senden/empfangen. Die Netzwerkschnittstelle 201 kann z.B. Dienste, Anwendungen, Inhalte u. ä. von dem in 1 dargestellten Dienstanbieter 20 über ein Netzwerk empfangen.
  • Der TCP/IP-Manager 202 kann die Zustellung von IP-Paketen, die an das digitale Gerät 200 übertragen werden, und von IP-Paketen, die vom digitalen Gerät 200 übertragen werden, beinhalten, d.h. die Zustellung von Paketen zwischen einer Quelle und einem Ziel. Der TCP/IP-Manager 202 kann empfangene Pakete gemäß einem geeigneten Protokoll klassifizieren und die klassifizierten Pakete an den Service Delivery Manager 205, den Service Discovery Manager 210, den Service Control Manager 209, den Metadaten-Manager 212 und dergleichen ausgeben.
  • Der Service Delivery Manager 203 kann für die Steuerung der empfangenen Dienstdaten zuständig sein. Der Dienstbereitstellungs-Manager 203 kann Echtzeit-Streaming-Daten z.B. über RTP/RTCP steuern. Bei der Übertragung der Echtzeit-Streaming-Daten über RTP kann der Service Delivery Manager 203 das empfangene Datenpaket entsprechend dem RTP parsen und dann das geparste Datenpaket an den Demultiplexer 205 übertragen oder das geparste Datenpaket im SI & Metadaten-DB 211 unter der Kontrolle des Service Managers 213 speichern. Der Service Delivery Manager 203 kann die Netzwerk-Empfangsinformationen über RTCP an die dienstleistende Serverseite zurückmelden.
  • Der Demultiplexer 205 kann ein empfangenes Paket in Audiodaten, Videodaten, SI-Daten (Systeminformationen) und Ähnliches demultiplexen und dann die demultiplexten Daten an den Audio-/Video-Decoder 206/207 bzw. den SI-Decoder 204 übertragen.
  • Der SI-Decoder 204 kann die demultiplexierten SI-Daten dekodieren, d.h. Dienstinformationen von PSI (Program Specific Information), PSIP (Program and System Information Protocol), DVB-SI (Digital Video Broadcasting-Service Information), DTMB/CMMB (Digital Television Terrestrial Multimedia Broadcasting/Coding Mobile Multimedia Broadcasting) usw. Und der SI-Decoder 204 kann die dekodierten Dienstinformationen im SI & Metadaten-DB 211 speichern. Die gespeicherten Serviceinformationen können verwendet werden, indem sie von einer entsprechenden Komponente z.B. als Reaktion auf eine Benutzeranforderung gelesen werden.
  • Der Audio-Decoder 206 und der Video-Decoder 207 können die demultiplexierten Audiodaten bzw. die demultiplexierten Videodaten dekodieren. Die dekodierten Audio- und Videodaten können dem Benutzer über die Anzeigeeinheit 208 zur Verfügung gestellt werden.
  • Der Applikations-Manager umfasst einen Service-Manager 213 und einen User-Interface (UI)-Manager 214 und ist in der Lage, eine Funktion eines Controllers des digitalen Geräts 200 zu übernehmen. Der Applikationsmanager kann sozusagen die Gesamtzustände des digitalen Geräts 200 verwalten, eine Benutzeroberfläche (UI) bereitstellen und andere Manager verwalten.
  • Der UI-Manager 214 stellt eine grafische Benutzeroberfläche/Benutzerschnittstelle (GUI/UI) unter Verwendung von OSD (On-Screen-Display) und dergleichen bereit. Der UI-Manager 214 empfängt eine Tasteneingabe von einem Benutzer und führt dann einen Gerätevorgang entsprechend der Eingabe aus. Wenn der UI-Manager 214 zum Beispiel eine Tasteneingabe über eine Kanalauswahl von einem Benutzer empfängt, überträgt er das Tasteneingabesignal an den Dienstmanager 213.
  • Der Service-Manager 213 kann dienstbezogene Manager wie den Service Delivery Manager 203, den Service Discovery Manager 210, den Service Control Manager 209 und den Metadaten-Manager 212 steuern und verwalten.
  • Der Dienstmanager 213 erstellt eine Kanalzuordnung und steuert eine Auswahl eines Kanals und dergleichen unter Verwendung der erstellten Kanalzuordnung als Reaktion auf eine Tasteneingabe, die vom UI-Manager 214 empfangen wird. Der Dienstmanager 213 kann Dienstinformationen vom SI-Decoder 204 empfangen und setzt dann eine Audio/Video-PID eines ausgewählten Kanals für den Demultiplexer 205. Eine solche PID kann für das Demultiplexing-Verfahren verwendet werden. Daher führt der Demultiplexer 205 die Filterung (PID- oder Abschnittsfilterung) von Audiodaten, Videodaten und SI-Daten unter Verwendung der PID durch.
  • Der Service Discovery Manager 210 kann Informationen bereitstellen, die zur Auswahl eines Dienstanbieters erforderlich sind, der einen Dienst anbietet. Bei Empfang eines Signals zur Auswahl eines Kanals vom Dienstmanager 213 sucht der Diensterkennungsmanager 210 anhand der Informationen nach einem Dienst.
  • Der Dienststeuerungs-Manager 209 kann einen Dienst auswählen und steuern. Beispielsweise kann der Dienststeuerungsmanager 209 die Dienstauswahl und -steuerung mithilfe von IGMP (Internet Group Management Protocol) oder dem Real-Time-Streaming-Protokoll (RTSP) durchführen, wenn der Benutzer einen Live-Rundfunkdienst auswählt, und mithilfe von RTSP, wenn der Benutzer einen Videoon-Demand-Dienst (VOD) auswählt. Das RTSP-Protokoll kann einen Trickmodus für Echtzeit-Streaming bereitstellen. Außerdem kann der Dienststeuerungsmanager 209 eine Sitzung über das IMS-Gateway 250 unter Verwendung von IMS (IP Multimedia Subsystem) und SIP (Session Initiation Protocol) initialisieren und verwalten. Die Protokolle sind beispielhaft, und andere Protokolle sind je nach Implementierung verwendbar.
  • Der Metadaten-Manager 212 kann die zu den Diensten gehörenden Metadaten verwalten und die Metadaten in der SI & Metadaten-DB 211 speichern.
  • Der SI & Metadaten-DB 211 kann vom SI-Decoder 204 dekodierte Dienstinformationen, vom Metadaten-Manager 212 verwaltete Metadaten und zur Auswahl eines Dienstanbieters benötigte Informationen speichern, die vom Service Discovery Manager 210 bereitgestellt werden. Außerdem kann der SI- & Metadaten-DB 211 Systemeinrichtungsdaten und Ähnliches für das System speichern.
  • Die SI- & Metadaten-Datenbank 211 kann mit nichtflüchtigem RAM (NVRAM), Flash-Speicher und ähnlichem implementiert werden.
  • Ein IMS-Gateway 250 ist indes ein Gateway, in dem Funktionen gesammelt werden, die für einen Zugang zu einem IMS-basierten IPTV-Dienst erforderlich sind.
  • 3 ist ein Blockdiagramm zur Beschreibung eines digitalen Geräts gemäß einer anderen Ausführungsform der vorliegenden Erfindung.
  • Die erste Beschreibung mit Bezug auf 2 bezieht sich auf ein Standgerät als eine Ausführungsform eines digitalen Geräts. Und in 3 wird ein mobiles Gerät als eine weitere Ausführungsform eines digitalen Geräts verwendet.
  • Bezug nehmend auf 3 umfasst das mobile Gerät 300 eine drahtlose Kommunikationseinheit 310, eine A/V-Eingabeeinheit (Audio/Video) 320, eine Benutzereingabeeinheit 330, eine Erfassungseinheit 340, eine Ausgabeeinheit 350, einen Speicher 360, eine Schnittstelleneinheit 370, einen Controller 380, eine Stromversorgungseinheit 390 usw.
  • Die jeweiligen Komponenten werden im Folgenden detailliert besch rieben.
  • Die drahtlose Kommunikationseinheit 310 umfasst typischerweise ein oder mehrere Module, die eine drahtlose Kommunikation zwischen dem mobilen Gerät 300 und einem drahtlosen Kommunikationssystem oder Netzwerk, in dem sich das mobile Gerät 300 befindet, ermöglichen. Die drahtlose Kommunikationseinheit 310 kann zum Beispiel ein Rundfunkempfangsmodul 311, ein Mobilfunkmodul 312, ein drahtloses Internetmodul 313, ein Nahbereichskommunikationsmodul 314, ein Standortinformationsmodul 315 usw. enthalten.
  • Das Rundfunkempfangsmodul 311 empfängt ein Rundfunksignal und/oder zugehörige Rundfunkinformationen von einem externen Rundfunkverwaltungsserver über einen Rundfunkkanal. Der Broadcast-Kanal kann einen Satellitenkanal und einen terrestrischen Kanal umfassen. Der Rundfunkverwaltungsserver kann ein Server sein, der ein Rundfunksignal und/oder zugehörige Informationen erzeugt, um es zu senden, oder ein Server, der ein zuvor erzeugtes Rundfunksignal und/oder zugehörige Informationen an ein Endgerät sendet. Das Rundfunksignal kann unter anderem als TV-Rundfunksignal, als Radiosignal und/oder als Datenrundfunksignal implementiert werden. Falls gewünscht, kann das Rundfunksignal außerdem ein mit einem TV- oder Radio-Rundfunksignal kombiniertes Rundfunksignal umfassen.
  • Die mit dem Rundfunk verbundenen Informationen umfassen Informationen, die mit einem Rundfunkkanal, einem Rundfunkprogramm oder einem Rundfunkdienstanbieter verbunden sind. Außerdem können die mit dem Rundfunk verbundenen Informationen über ein mobiles Kommunikationsnetzwerk bereitgestellt werden. In diesem Fall können die Broadcast-assoziierten Informationen von dem mobilen Kommunikationsmodul 312 empfangen werden.
  • Die sendungsbezogenen Informationen können in verschiedenen Formen implementiert werden, z.B. als elektronischer Programmführer (EPG), als elektronischer Service-Guide (ESG) und ähnliches.
  • Das Rundfunkempfangsmodul 311 kann so konfiguriert werden, dass es digitale Rundfunksignale mit Rundfunksystemen wie ATSC, DVB-T (Digital Video Broadcasting-Terrestrial), DVB-S (Satellit), MediaFLO (Media Forward Link Only), DVB-H (Handheld), ISDB-T (Integrated Services Digital Broadcast-Terrestrial) und dergleichen empfängt. Optional kann das Rundfunkempfangsmodul 311 so konfiguriert werden, dass es auch für andere Rundfunksysteme als die oben genannten digitalen Rundfunksysteme geeignet ist.
  • Das vom Rundfunkempfangsmodul 311 empfangene Rundfunksignal und/oder die mit dem Rundfunk verbundenen Informationen können im Speicher 360 gespeichert werden.
  • Das mobile Kommunikationsmodul 312 sendet/empfängt drahtlose Signale über ein Mobilfunknetz an/von mindestens einer Basisstation, einem externen Endgerät und einem Server. Solche drahtlosen Signale können Audiosignale, Videosignale und Daten verschiedener Typen entsprechend den empfangenen Text-/Multimedianachrichten übertragen.
  • Das drahtlose Internetmodul 313 umfasst ein Modul für den drahtlosen Internetzugang und kann intern oder extern mit dem mobilen Gerät 300 gekoppelt sein. Die drahtlose Internettechnologie kann WLAN (Wireless LAN) (Wi-Fi), Wibro (Wireless Broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access) und ähnliches umfassen.
  • Das Nahbereichskommunikationsmodul 314 ist ein Modul für die Nahbereichskommunikation. Geeignete Technologien zur Implementierung dieses Moduls sind z.B. Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra-Wideband (UWB), ZigBee, RS-232, RS-485 und dergleichen.
  • Das Standortinformationsmodul 315 ist ein Modul zur Gewinnung von Standortinformationen des mobilen Endgerätes 100. Und, dieses Modul kann z.B. mit einem Global Positioning System (GPS)-Modul implementiert werden.
  • Die Audio/Video (A/V)-Eingangseinheit 320 ist so konfiguriert, dass sie einen Audio- oder Videosignaleingang bereitstellt. Die A/V-Eingangseinheit 320 kann eine Kamera 321, ein Mikrofon 322 und Ähnliches enthalten. Die Kamera 321 empfängt und verarbeitet Bildrahmen von Standbildern oder Videos, die von einem Bildsensor in einem Videoaufrufmodus oder einem Fotomodus gewonnen werden. Außerdem können die verarbeiteten Bildrahmen auf dem Display 351 angezeigt werden.
  • Die von der Kamera 321 verarbeiteten Bildrahmen können im Speicher 360 gespeichert oder über die drahtlose Kommunikationseinheit 310 nach außen übertragen werden. Optional können je nach Einsatzumgebung auch mindestens zwei Kameras 321 vorgesehen werden.
  • Das Mikrofon 322 empfängt ein externes Audiosignal im Gesprächsmodus, im Aufzeichnungsmodus, im Spracherkennungsmodus oder ähnlichem. Dieses Audiosignal wird verarbeitet und in elektrische Audiodaten umgewandelt. Die verarbeiteten Audiodaten werden in ein Format umgewandelt, das im Rufmodus über das Mobilfunkmodul 312 an eine Mobilfunkbasisstation übertragen werden kann. Das Mikrofon 322 enthält typischerweise verschiedene Algorithmen zur Rauschunterdrückung, um das Rauschen zu unterdrücken, das beim Empfang des externen Audiosignals entsteht.
  • Die Benutzereingabeeinheit 330 erzeugt Eingabedaten für einen Benutzer, um einen Betrieb des Terminals zu steuern. Die Benutzereingabeeinheit 330 kann ein Tastenfeld, einen Domschalter, ein Touchpad (z.B. statischer Druck/Kapazität), ein Jogwheel, einen Jogschalter und/oder Ähnliches umfassen.
  • Die Erfassungseinheit 340 erzeugt Erfassungssignale zur Steuerung des Betriebs des mobilen Geräts 300 unter Verwendung von Statusmessungen verschiedener Aspekte des mobilen Endgeräts. Beispielsweise kann die Erfassungseinheit 340 einen offenen/geschlossenen Status des mobilen Geräts 300, einen Standort des mobilen Geräts 300, eine Ausrichtung des mobilen Geräts 300, ein Vorhandensein oder Fehlen eines Benutzerkontakts mit dem mobilen Gerät 300, eine Beschleunigung/Verzögerung des mobilen Geräts 300 und dergleichen erfassen. Wenn das mobile Gerät 300 beispielsweise bewegt oder geneigt wird, kann die Erfassungseinheit eine Position oder Neigung des mobilen Geräts erfassen. Darüber hinaus kann die Erfassungseinheit 340 das Vorhandensein oder Fehlen von Strom, der von der Stromversorgungseinheit 390 bereitgestellt wird, das Vorhandensein oder Fehlen einer Kopplung oder einer anderen Verbindung zwischen der Schnittstelleneinheit 370 und einem externen Gerät und dergleichen erfassen. Die Erfassungseinheit 340 kann einen Näherungssensor 341 wie NFC (Nahfeldkommunikation) und dergleichen enthalten.
  • Die Ausgabeeinheit 350 erzeugt Ausgaben, die für die Sinne Sehen, Hören und Tasten relevant sind, und kann das Display 351, ein Audio-Ausgabemodul 352, eine Alarmeinheit 353, ein haptisches Modul 354 und Ähnliches umfassen.
  • Das Display 351 ist typischerweise implementiert, um vom mobilen Endgerät 300 verarbeitete Informationen visuell darzustellen (auszugeben). Wenn sich das mobile Endgerät beispielsweise im Telefonanrufmodus befindet, stellt das Display im Allgemeinen eine Benutzeroberfläche (UI) oder eine grafische Benutzeroberfläche (GUI) bereit, die sich auf einen Telefonanruf bezieht. Wenn sich das mobile Gerät 300 beispielsweise im Videoanrufmodus oder im Fotomodus befindet, kann das Display 351 fotografierte oder/und empfangene Bilder oder UI/GUI anzeigen.
  • Das Anzeigemodul 351 kann mit bekannten Anzeigetechnologien realisiert werden. Zu diesen Technologien gehören z.B. eine Flüssigkristallanzeige (LCD), eine Dünnfilmtransistor-Flüssigkristallanzeige (TFT-LCD), eine organische Leuchtdiodenanzeige (OLED), eine flexible Anzeige und eine dreidimensionale Anzeige. Das mobile Gerät 300 kann eine oder mehrere solcher Anzeigen enthalten.
  • Einige der Displays können in einer transparenten oder optisch durchlässigen Ausführung realisiert werden, die als transparentes Display bezeichnet werden kann. Ein repräsentatives Beispiel für die transparente Anzeige ist die TOLED (transparente OLED). Eine rückwärtige Konfiguration des Displays 351 kann ebenfalls als optisch transmittiver Typ implementiert werden. In dieser Konfiguration kann ein Benutzer ein Objekt, das sich im hinteren Teil des Endgerätekörpers befindet, durch einen Bereich sehen, der von der Anzeige 351 des Endgerätekörpers eingenommen wird.
  • Je nach Ausführungsart des mobilen Geräts 300 können zwei oder mehr Anzeigen 351 auf dem mobilen Gerät 300 vorgesehen sein. Beispielsweise kann eine Vielzahl von Anzeigen auf dem mobilen Gerät 300 so angeordnet sein, dass sie von einer einzigen Fläche beabstandet sind oder integral auf einer einzigen Fläche ausgebildet sind. Alternativ kann eine Vielzahl von Displays jeweils auf verschiedenen Seiten des mobilen Geräts 300 angeordnet sein.
  • Wenn das Display 351 und ein Sensor (im Folgenden „Berührungssensor“ genannt) zur Erkennung einer Berührung einen gemeinsamen Schichtaufbau konfigurieren, ist das Display 351 sowohl als Eingabe- als auch als Ausgabegerät verwendbar. In diesem Fall kann der Berührungssensor mit einer Berührungsfolie, einem Berührungsblatt, einem Touchpad o. ä. konfiguriert sein.
  • Der Berührungssensor kann so konfiguriert werden, dass er einen auf einen bestimmten Teil der Anzeige 351 ausgeübten Druck oder eine von einem bestimmten Teil der Anzeige 351 erzeugte Kapazitätsänderung in ein elektrisches Eingangssignal umwandelt. Darüber hinaus ist der Berührungssensor so konfigurierbar, dass er sowohl den Druck einer Berührung als auch eine berührte Position oder Größe erkennt.
  • Wenn eine Berührungseingabe an den Berührungssensor angelegt wird, wird/werden das/die der Berührungseingabe entsprechende(n) Signal(e) an einen Touch-Controller übertragen. Der Touch-Controller verarbeitet das/die Signal(e) und überträgt dann das/die verarbeitete(n) Signal(e) an den Controller 380. Daher ist der Controller 380 in der Lage zu wissen, ob ein vorgegebener Bereich des Displays 351 berührt wird.
  • Ein Näherungssensor 341 kann an einem vom Touchscreen umschlossenen inneren Bereich des Mobilgeräts oder in der Nähe des Touchscreens angeordnet sein. Der Näherungssensor ist ein Sensor, der das Vorhandensein oder Nichtvorhandensein eines Objekts, das sich einer vorgegebenen Erfassungsfläche nähert, oder eines Objekts, das sich in der Nähe des Näherungssensors befindet, mit Hilfe einer elektromagnetischen Feldstärke oder eines Infrarotstrahls ohne mechanischen Kontakt erkennt. Daher ist der Näherungssensor langlebiger als ein Kontaktsensor und hat auch einen höheren Nutzwert als der Kontaktsensor.
  • Der Näherungssensor kann einer der folgenden sein: ein transmittiver fotoelektrischer Sensor, ein direkt reflektierender fotoelektrischer Sensor, ein spiegelnder fotoelektrischer Sensor, ein Hochfrequenz-Oszillations-Näherungssensor, ein elektrostatischer Kapazitäts-Näherungssensor, ein magnetischer Näherungssensor, ein Infrarot-Näherungssensor, usw. Wenn der Touchscreen den elektrostatischen Kapazitäts-Näherungssensor enthält, ist er so konfiguriert, dass er die Nähe eines Zeigers unter Verwendung einer Variation eines elektrischen Feldes entsprechend der Nähe des Zeigers erkennt. In dieser Konfiguration kann der Touchscreen (oder der Berührungssensor) in einen Näherungssensor einsortiert werden.
  • Aus Gründen der Klarheit und Einfachheit der Erklärung kann eine Aktion, die es ermöglicht, dass der Zeiger, der sich dem Touchscreen nähert, als auf dem Touchscreen platziert erkannt wird, als „Näherungsberührung“ bezeichnet werden, und eine Aktion, die es ermöglicht, dass der Zeiger tatsächlich in Kontakt mit dem Touchscreen kommt, kann als „Kontaktberührung“ bezeichnet werden. Und eine Position, an der die Annäherungsberührung mit dem Zeiger an den Touchscreen erfolgt, kann eine Position des Zeigers bedeuten, die vertikal dem Touchscreen entspricht, wenn der Zeiger die Annäherungsberührung vornimmt.
  • Der Näherungssensor erkennt eine Näherungsberührung und ein Näherungsberührungsmuster (z.B. einen Näherungsberührungsabstand, eine Näherungsberührungsdauer, eine Näherungsberührungsposition, einen Näherungsberührungsschaltzustand). Informationen, die der erkannten Proximity-Touch-Aktion und dem erkannten Proximity-Touch-Muster entsprechen, können auf dem Touchscreen ausgegeben werden.
  • Das Audioausgabemodul 352 funktioniert in verschiedenen Modi, darunter ein Anrufempfangsmodus, ein Anrufabgabemodus, ein Aufnahmemodus, ein Spracherkennungsmodus und ein Rundfunkempfangsmodus, um Audiodaten auszugeben, die von der drahtlosen Kommunikationseinheit 310 empfangen oder im Speicher 360 gespeichert wurden. Während des Betriebs kann das Audioausgabemodul 352 ein Audiosignal ausgeben, das sich auf eine im Mobilgerät 300 ausgeführte Funktion (z.B. empfangener Anruf, empfangene Nachricht) bezieht. Das Audioausgabemodul 352 kann einen Empfänger, einen Lautsprecher, einen Summer und dergleichen umfassen.
  • Die Alarmeinheit 353 gibt ein Signal zur Ankündigung des Auftretens eines Ereignisses des mobilen Geräts 300 aus. Typische Ereignisse, die im mobilen Gerät auftreten, können ein empfangenes Anrufsignal, eine empfangene Nachricht, eine empfangene Berührungseingabe und Ähnliches sein. Die Alarmeinheit 353 kann ein Signal zur Ankündigung des Auftretens eines Ereignisses in Form einer Vibration sowie eines Video- oder Audiosignals ausgeben. Das Video- oder Audiosignal kann über das Display 351 oder das Audioausgabemodul 352 ausgegeben werden. Das Display 351 oder das Audioausgabemodul 352 kann also in einen Teil der Alarmeinheit 353 einsortiert werden.
  • Das Haptikmodul 354 erzeugt verschiedene taktile Effekte, die von einem Benutzer wahrgenommen werden können. Zu den vom Haptikmodul 354 erzeugten taktilen Effekten gehört z.B. Vibration. Die Stärke und das Muster der vom Haptikmodul 354 erzeugten Vibration sind steuerbar. So können z.B. verschiedene Vibrationen in einer Art Synthese oder nacheinander ausgegeben werden. Das Haptikmodul 354 ist in der Lage, neben der Vibration auch verschiedene taktile Effekte zu erzeugen. Zum Beispiel kann das Haptikmodul 354 einen Effekt erzeugen, der auf die Anordnung von Stiften zurückzuführen ist, die sich vertikal gegen eine Kontakthautoberfläche bewegen, einen Effekt, der auf die Injektions-/Saugkraft von Luft durch ein Injektions-/Saugloch zurückzuführen ist, einen Effekt, der auf das Gleiten über eine Hautoberfläche zurückzuführen ist, einen Effekt, der auf einen Kontakt mit einer Elektrode zurückzuführen ist, einen Effekt, der auf eine elektrostatische Kraft zurückzuführen ist, und einen Effekt, der auf die Darstellung eines Heiß-/Kaltgefühls unter Verwendung einer endothermen oder exothermen Vorrichtung zurückzuführen ist. Das Haptikmodul 354 kann so implementiert werden, dass ein Benutzer den taktilen Effekt durch einen Muskelsinn eines Fingers oder eines Arms wahrnehmen kann, aber auch den taktilen Effekt durch direkten Kontakt übertragen kann. Optional können dem mobilen Gerät 300 zwei oder mehr Haptikmodule 354 entsprechend einer Ausführungsart des mobilen Geräts 300 zur Verfügung gestellt werden.
  • Der Speicher 360 kann ein Programm für einen Betrieb des Controllers 380 speichern oder eingegebene/ausgegebene Daten (z.B. Telefonbuch, Nachricht, Standbild, Video usw.) vorübergehend speichern. Und der Speicher 360 kann Daten von Vibrationen und Tönen verschiedener Muster speichern, die als Reaktion auf eine Berührungseingabe auf dem Touchscreen ausgegeben werden.
  • Der Speicher 360 kann unter Verwendung eines beliebigen Typs oder einer beliebigen Kombination geeigneter flüchtiger und nichtflüchtiger Speicher oder Speichergeräte implementiert werden, einschließlich Festplatte, Direktzugriffsspeicher (RAM), statischer Direktzugriffsspeicher (SRAM), elektrisch löschbarer programmierbarer Festwertspeicher (EEPROM), löschbarer programmierbarer Festwertspeicher (EPROM), programmierbarer Festwertspeicher (PROM), Festwertspeicher (ROM), Magnetspeicher, Flash-Speicher, magnetische oder optische Diskette, Speicher vom Typ Multimediakarte, Speicher vom Typ Karte (z.B., SD-Speicher oder XD-Speicher) oder ein anderes ähnliches Speicher- oder Datenspeichergerät. Darüber hinaus ist das mobile Gerät 300 in der Lage, in Verbindung mit dem Webspeicher zu arbeiten, um eine Speicherfunktion des Speichers 360 im Internet auszuführen.
  • Die Schnittstelleneinheit 370 kann eine Rolle als Durchgang zu jedem externen Gerät spielen, das mit dem mobilen Gerät 300 mit externen Geräten verbunden ist. Die Schnittstelleneinheit 370 empfängt Daten von den externen Geräten, versorgt die jeweiligen Elemente des mobilen Geräts 300 mit Strom oder ermöglicht die Übertragung von Daten innerhalb des mobilen Geräts 300 an die externen Geräte. Die Schnittstelleneinheit 370 kann beispielsweise einen Anschluss für ein kabelgebundenes/drahtloses Headset, einen Anschluss für ein externes Ladegerät, einen Anschluss für kabelgebundene/drahtlose Daten, einen Anschluss für eine Speicherkarte, einen Anschluss für die Kopplung mit einem Gerät mit einem Kennungsmodul, Audioeingangs-/-ausgangsanschlüsse, Videoeingangs-/- ausgangsanschlüsse, einen Kopfhöreranschluss und dergleichen umfassen.
  • Das Identitätsmodul ist ein Chip zum Speichern verschiedener Arten von Informationen zur Authentifizierung einer Nutzungsberechtigung des mobilen Geräts 300 und kann ein Benutzeridentitätsmodul (UIM), ein Teilnehmeridentitätsmodul (SIM), ein universelles Teilnehmeridentitätsmodul (USIM) und Ähnliches umfassen. Ein Gerät mit dem Identitätsmodul (im Folgenden „Identitätsgerät“ genannt) kann in Form einer Smartcard hergestellt werden. Daher ist das Identitätsgerät über einen Anschluss mit dem mobilen Gerät 300 verbindbar.
  • Wenn das mobile Gerät 300 mit einer externen Halterung verbunden ist, wird die Schnittstelleneinheit 370 zu einem Durchgang, um das mobile Gerät 300 mit Strom von der Halterung zu versorgen, oder zu einem Durchgang, um verschiedene Befehlssignale, die von der Halterung durch einen Benutzer eingegeben werden, an das mobile Gerät 300 zu liefern. Jedes der verschiedenen Befehlssignale, die von der Ladestation oder der Stromversorgung eingegeben werden, kann als Signal zur Erkennung dienen, dass das mobile Gerät 300 korrekt in der Ladestation installiert ist.
  • Der Controller 380 steuert typischerweise den Gesamtbetrieb des mobilen Geräts 300. Zum Beispiel führt der Controller 380 die Steuerung und Verarbeitung im Zusammenhang mit Sprachanrufen, Datenkommunikation, Videoanrufen und Ähnlichem durch. Der Controller 380 kann ein Multimediamodul 381 enthalten, das die Multimedia-Wiedergabe ermöglicht. Das Multimediamodul 381 kann als Teil des Controllers 380 konfiguriert oder als separate Komponente implementiert sein. Darüber hinaus ist der Controller 380 in der Lage, eine Mustererkennungsverarbeitung durchzuführen, um eine Schreibeingabe und eine Bildeingabe, die auf dem Touchscreen erfolgt, als Text bzw. Bild zu erkennen.
  • Das Netzteil 390 wird mit einer externen oder internen Spannung versorgt und liefert dann unter der Steuerung des Controllers 380 eine für den Betrieb der einzelnen Komponenten erforderliche Leistung.
  • Verschiedene hierin beschriebene Ausführungsformen können in einem Aufzeichnungsmedium implementiert werden, das von einem Computer oder einem computerähnlichen Gerät gelesen werden kann, wobei beispielsweise Software, Hardware oder eine Kombination daraus verwendet wird.
  • Für die Hardware-Implementierung können die hier beschriebenen Ausführungsformen in mindestens einem der folgenden Elemente implementiert werden: anwendungsspezifische integrierte Schaltungen (ASICs), digitale Signalprozessoren (DSPs), digitale Signalverarbeitungsgeräte (DSPDs), programmierbare Logikgeräte (PLDs), feldprogrammierbare Gate-Arrays (FPGAs), Prozessoren, Steuerungen, Mikrocontroller, Mikroprozessoren, andere elektronische Einheiten, die für die Ausführung der hier beschriebenen Funktionen ausgelegt sind, und eine ausgewählte Kombination davon. Solche Ausführungsformen können auch durch den Controller 180 implementiert werden.
  • Für die Software-Implementierung können die hier beschriebenen Ausführungsformen mit separaten Software-Modulen, wie z.B. Prozeduren und Funktionen, implementiert werden, von denen jedes eine oder mehrere der hier beschriebenen Funktionen und Operationen ausführt. Die Software-Codes können mit einer Software-Anwendung implementiert werden, die in einer beliebigen geeigneten Programmiersprache geschrieben ist, und können in einem Speicher, wie dem Speicher 360, gespeichert und von einem Controller oder Prozessor, wie dem Controller 380, ausgeführt werden.
  • 4 ist ein Blockdiagramm, das ein digitales Gerät gemäß einer anderen Ausführungsform der vorliegenden Erfindung zeigt.
  • Ein weiteres Beispiel für ein digitales Gerät 400 kann eine Rundfunkempfangseinheit 405, eine externe Geräteschnittstelle 435, eine Speichereinheit 440, eine Benutzereingabeschnittstelle 450, einen Controller 470, eine Anzeigeeinheit 480, eine Audioausgabeeinheit 485, eine Stromversorgungseinheit 490 und eine Fotoeinheit (nicht dargestellt) umfassen. Die Rundfunkempfangseinheit 405 kann einen oder mehrere Tuner 410, einen Demodulator 420 oder/und eine Netzwerkschnittstelle 430 umfassen. In einigen Fällen kann die Rundfunkempfangseinheit 405 jedoch den Tuner 410 und den Demodulator 420 ohne die Netzwerkschnittstelle 430 enthalten, oder sie kann die Netzwerkschnittstelle 430 ohne den Tuner 410 und den Demodulator 420 enthalten. Die Rundfunkempfangseinheit 405 kann einen Multiplexer (nicht dargestellt) enthalten, um ein Signal, das dem Tuner 410 zugeführt und vom Demodulator 420 demoduliert wird, und ein über die Netzwerkschnittstelle 40 empfangenes Signal zu multiplexen. Darüber hinaus kann die Rundfunkempfangseinheit 405 einen Demultiplexer (nicht dargestellt) enthalten und ein gemultiplextes Signal, ein demoduliertes Signal oder ein über die Netzwerkschnittstelle 430 empfangenes Signal demultiplexen.
  • Der Tuner 410 kann ein Hochfrequenz (HF)-Rundfunksignal empfangen, indem er auf einen vom Benutzer ausgewählten Kanal oder alle zuvor gespeicherten Kanäle unter den über eine Antenne empfangenen HF-Rundfunksignalen abgestimmt wird. Und der Tuner 410 wandelt das empfangene HF-Rundfunksignal in ein ZF-Signal (Zwischenfrequenz) oder ein Basisbandsignal um.
  • Wenn es sich bei einem empfangenen HF-Rundfunksignal beispielsweise um ein digitales Rundfunksignal handelt, wird es in ein digitales ZF-Signal (DIF) umgewandelt. Wenn ein empfangenes HF-Rundfunksignal ein analoges Signal ist, wird es in ein analoges Basisband-Video/Audio-Signal (CVBS/SIF) umgewandelt. Der Tuner 410 ist nämlich in der Lage, sowohl das digitale Rundfunksignal als auch das analoge Signal zu verarbeiten. Das analoge Basisband-Video-/Audiosignal (CVBS/SIF), das vom Tuner 410 ausgegeben wird, kann direkt in den Controller 470 eingegeben werden.
  • Der Tuner 410 kann ein HF-Rundfunksignal eines einzelnen Trägers oder mehrerer Träger empfangen. Der Tuner 410 stellt sich sequentiell auf RF-Rundfunksignale aller über die Kanalspeicherfunktion gespeicherten Rundfunkkanäle unter den über die Antenne empfangenen RF-Rundfunksignalen ein und empfängt diese und kann sie dann in ein Zwischenfrequenzsignal oder ein Basisbandsignal (DIF: digitales Zwischenfrequenz- oder Basisbandsignal) umwandeln.
  • Der Demodulator 420 empfängt und demoduliert das vom Tuner 410 umgewandelte digitale ZF-Signal (DIF) und ist dann in der Lage, eine Kanaldecodierung und Ähnliches durchzuführen. Zu diesem Zweck kann der Demodulator 420 einen Trellis-Dekoder, einen De-Interleaver, einen Reed-Solomon-Dekoder und dergleichen enthalten, oder er kann einen Faltungs-Dekoder, einen De-Interleaver, einen Reed-Solomon-Dekoder und dergleichen enthalten.
  • Der Demodulator führt die Demodulation und Kanaldecodierung durch und kann dann ein Streamsignal TS ausgeben. In diesem Fall kann das Stromsignal ein Signal des Multiplexens eines Videosignals, eines Audiosignals und/oder eines Datensignals enthalten. Zum Beispiel kann das Stromsignal MPEG-2TS (Transportstrom) enthalten, in dem ein Videosignal von PMEG-2 und ein Audiosignal von Dolby AC-3 gemultiplext sind.
  • Das vom Demodulator 420 ausgegebene Stream-Signal kann in den Controller 470 eingegeben werden. Der Controller 470 kann das Demultiplexen, die Audio-/Videosignalverarbeitung usw. steuern. Außerdem kann der Controller 470 die Ausgabe von Video und Audio über das Display 480 bzw. über die Audio-Ausgabeeinheit 485 steuern.
  • Die externe Geräteschnittstelle 435 kann eine Schnittstellenumgebung zwischen dem digitalen Gerät 300 und verschiedenen externen Geräten bereitstellen. Zu diesem Zweck kann die externe Geräteschnittstelle 435 eine A/V-Eingabe-/Ausgabeeinheit (nicht dargestellt) oder eine drahtlose Kommunikationseinheit (nicht dargestellt) enthalten.
  • Die externe Geräteschnittstelle 435 kann mit externen Geräten wie z.B. einer Digital Versatile Disk (DVD), einem Blu-ray-Player, einem Spielgerät, einer Kamera, einem Camcorder, einem Computer (Notebook), einem Tablet-PC, einem Smartphone, einer Cloud und dergleichen über Kabel/Drahtlos verbunden werden. Die externe Geräteschnittstelle 435 liefert ein Signal, das Daten wie ein Bild, ein Video, ein Audio und dergleichen enthält, die über das angeschlossene externe Gerät eingegeben werden, an den Controller 470 des digitalen Geräts. Der Controller 470 kann ein Datensignal des verarbeiteten Bildes, Videos und Audios und dergleichen steuern, das an das angeschlossene externe Gerät ausgegeben werden soll. Zu diesem Zweck kann die externe Geräteschnittstelle 435 außerdem eine A/V-Eingabe-/Ausgabeeinheit (nicht dargestellt) oder eine drahtlose Kommunikationseinheit (nicht dargestellt) enthalten.
  • Um Video- und Audiosignale eines externen Geräts in das digitale Gerät 400 einzugeben, kann die A/V-Eingabe-/Ausgabeeinheit einen USB-Anschluss (Universal Serial Bus), einen CVBS-Anschluss (Composite Video Banking Sync), einen Komponentenanschluss, einen S-Video-Anschluss (analog), einen DVI-Anschluss (Digital Visual Interface), einen HDMI-Anschluss (High Definition Multimedia Interface), einen RGB-Anschluss, einen D-SUB-Anschluss usw. umfassen.
  • Die drahtlose Kommunikationseinheit kann eine drahtlose Nahbereichskommunikation mit einem anderen digitalen Gerät durchführen. Das digitale Gerät 400 kann mit anderen digitalen Geräten über Kommunikationsprotokolle wie z.B. Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee und Digital Living Network Alliance (DLNA) usw. vernetzt werden.
  • Die externe Geräteschnittstelle 435 kann Eingabe- /Ausgabeoperationen mit einer Set-Top-Box (STB) durchführen, indem sie über mindestens einen der vorgenannten Anschlüsse mit dieser verbunden wird.
  • Die externe Geräteschnittstelle435 kann eine Anwendung oder eine Anwendungsliste in einem benachbarten externen Gerät empfangen und dann an den Controller 470 oder die Speichereinheit 440 weiterleiten.
  • Die Netzwerkschnittstelle 430 kann eine Schnittstelle für den Anschluss des digitalen Geräts 400 an verdrahtete/drahtlose Netzwerke einschließlich des Internet-Netzwerks bereitstellen. Die Netzwerkschnittstelle 430 kann z.B. einen Ethernet-Anschluss und ähnliches für den Zugriff auf ein verdrahtetes Netzwerk haben. Für den Zugriff auf das drahtlose Netzwerk kann die Netzwerkschnittstelle 430 Kommunikationsspezifikationen wie WLAN (Wireless LAN) (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access) usw. verwenden.
  • Die Netzwerkschnittstelle 430 kann Daten mit einem anderen Benutzer oder einem anderen digitalen Gerät über das zugängliche Netzwerk oder ein anderes mit dem zugänglichen Netzwerk verbundenes Netzwerk austauschen. Insbesondere kann die Netzwerkschnittstelle 430 einen Teil der in dem digitalen Gerät 400 gespeicherten Inhaltsdaten an einen Benutzer/das digitale Gerät senden, der/das aus anderen Benutzern/digitalen Geräten ausgewählt wurde, die zuvor an dem digitalen Gerät 400 registriert wurden.
  • Die Netzwerkschnittstelle 430 kann über das zugegangene Netzwerk oder ein anderes mit dem zugegangenen Netzwerk verbundenes Netzwerk auf eine vorgeschriebene Webseite zugreifen. Das heißt, die Netzwerkschnittstelle 430 greift über ein Netzwerk auf eine vorgegebene Webseite zu und kann dann Daten mit einem entsprechenden Server austauschen. Außerdem kann die Netzwerkschnittstelle 430 Inhalte oder Da sich ten empfangen, die von einem Inhaltsanbieter oder einem Netzbetreiber bereitgestellt werden. Die Netzwerkschnittstelle 430 kann nämlich Inhalte (z.B. Filme, Werbung, Spiele, VOD, Rundfunksignale usw.), die vom Inhaltsanbieter oder einem Netzwerkbetreiber bereitgestellt werden, sowie mit den Inhalten verbundene Informationen über das Netzwerk empfangen. Die Netzwerkschnittstelle 430 kann Aktualisierungsinformationen und eine Firmware-Datei empfangen, die vom Netzwerkbetreiber bereitgestellt werden. Und die Netzwerkschnittstelle 430 kann Daten an das Internet oder den Inhaltsanbieter oder den Netzbetreiber senden.
  • Außerdem kann die Netzwerkschnittstelle 430 eine gewünschte Anwendung aus geöffneten Anwendungen auswählen und über ein Netzwerk empfangen.
  • Die Speichereinheit 440 kann Programme für verschiedene Signalverarbeitungen und Steuerungen innerhalb des Controllers 470 speichern und auch ein verarbeitetes Video-, Audio- oder Datensignal speichern.
  • Darüber hinaus kann die Speichereinheit 440 eine Funktion zum vorübergehenden Speichern eines Video-, Audio- oder Datensignals ausführen, das von der externen Geräteschnittstelle 435 oder der Netzwerkschnittstelle 430 eingegeben wird. Die Speichereinheit 440 kann über eine Kanalspeicherfunktion Informationen zu einem vorgegebenen Sendekanal speichern.
  • Die Speichereinheit 440 kann eine Anwendung oder eine Anwendungsliste speichern, die über die externe Geräteschnittstelle 435 oder die Netzwerkschnittstelle 430 eingegeben wurde.
  • Außerdem kann die Speichereinheit 440 verschiedene Plattformen speichern, die später beschrieben werden.
  • Die Speichereinheit 440 kann Speichermedien eines oder mehrerer Typen enthalten, wie z.B. einen Flash-Speicher-Typ, einen Festplattentyp, einen Multimedia-Karten-Micro-Typ, einen Speicher vom Kartentyp (z.B. SD- oder XD-Speicher), RAM, EEPROM, usw. Das digitale Gerät 400 kann Inhaltsdateien (eine Videodatei, eine Standbilddatei, eine Musikdatei, eine Textdatei, eine Anwendungsdatei usw.) abspielen, die in der Speichereinheit 440 gespeichert sind, und sie dem Benutzer zur Verfügung stellen.
  • 4 zeigt eine Ausführungsform, bei der die Speichereinheit 440 von der Steuerung 470 getrennt ist, wodurch die vorliegende Erfindung nicht eingeschränkt wird. Mit anderen Worten, die Speichereinheit 440 kann in der Steuerung 470 enthalten sein.
  • Die Benutzereingabeschnittstelle 450 kann ein von einem Benutzer eingegebenes Signal an die Steuerung 470 weiterleiten oder ein von der Steuerung 470 ausgegebenes Signal an den Benutzer weiterleiten.
  • Die Benutzereingabeschnittstelle 450 kann z.B. Steuersignale für das Ein-/Ausschalten, die Kanalauswahl, Bildschirmeinstellungen und Ähnliches von einer Fernbedienung 500 empfangen oder Steuersignale des Controllers 470 an die Fernbedienung 500 übertragen, und zwar nach verschiedenen Kommunikationsschemata wie HF-Kommunikation, IR-Kommunikation und Ähnlichem.
  • Die Benutzereingabeschnittstelle 450 kann Steuersignale, die über eine Einschalttaste, eine Kanaltaste, eine Lautstärketaste und eine lokale Taste (nicht dargestellt) für einen Einstellungswert oder ähnliches eingegeben werden, an den Controller 470 weiterleiten.
  • Die Benutzereingabeschnittstelle 450 kann ein Steuersignal, das von einer Erfassungseinheit (nicht dargestellt) eingegeben wird, die eine Geste eines Benutzers erfasst, an die Steuerung 470 weiterleiten oder ein Signal der Steuerung 470 an die Erfassungseinheit (nicht dargestellt) übertragen. Dabei kann die Erfassungseinheit (nicht dargestellt) einen Berührungssensor, einen Sprachsensor, einen Ortssensor, einen Aktionssensor usw. umfassen.
  • Der Controller 470 kann ein Signal für einen Video- oder Audioausgang erzeugen und ausgeben, indem er einen über den Tuner 410, den Demodulator 420 oder die externe Geräteschnittstelle 435 eingegebenen Strom demultiplext oder demultiplexierte Signale verarbeitet.
  • Ein von der Steuerung 470 verarbeitetes Videosignal kann in die Anzeigeeinheit 380 eingegeben und als ein dem Videosignal entsprechendes Bild angezeigt werden. Außerdem kann das von der Steuerung 470 verarbeitete Videosignal über die externe Geräteschnittstelle 435 in ein externes Ausgabegerät eingegeben werden.
  • Ein vom Controller 470 verarbeitetes Audiosignal kann an der Audio-Ausgabeeinheit 485 ausgegeben werden. Außerdem kann das vom Controller 470 verarbeitete Audiosignal über die externe Geräteschnittstelle 435 in das externe Ausgabegerät eingegeben werden.
  • Der Controller 470 kann einen Demultiplexer, einen Bildprozessor und ähnliches enthalten, die in 4 nicht dargestellt sind.
  • Die Steuereinheit 470 kann den Gesamtbetrieb des digitalen Geräts 400 steuern. Zum Beispiel kann der Controller 470 den Tuner 410 so steuern, dass er eine HF-Sendung einstellt, die einem vom Benutzer ausgewählten Kanal oder einem zuvor gespeicherten Kanal entspricht.
  • Die Steuereinheit 470 kann das digitale Gerät 400 gemäß einem Benutzerbefehl steuern, der über die Benutzereingabeschnittstelle 450 oder ein internes Programm eingegeben wird. Insbesondere kann der Controller 470 das digitale Gerät 400 so steuern, dass es auf ein Netzwerk zugreift, um eine von einem Benutzer gewünschte Anwendung oder eine Anwendungsliste auf das digitale Gerät 400 herunterzuladen.
  • Zum Beispiel kann der Controller 470 den Tuner 410 so steuern, dass er ein Signal eines Kanals empfängt, der als Reaktion auf einen vorgeschriebenen Kanalauswahlbefehl ausgewählt wurde, der über die Benutzereingangsschnittstelle 450 empfangen wurde. Und der Controller 470 kann ein Video-, Audio- oder Datensignal des ausgewählten Kanals verarbeiten. Die Steuereinheit 470 kann steuern, dass Informationen über einen vom Benutzer ausgewählten Kanal zusammen mit einem verarbeiteten Video- oder Audiosignal über die Anzeigeeinheit 480 oder die Audioausgabeeinheit 485 ausgegeben werden.
  • Als weiteres Beispiel kann der Controller 470 ein Videosignal oder ein Audiosignal steuern, das über die externe Geräteschnittstelle 435 von einem externen Gerät (z.B. einer Kamera oder einem Camcorder) eingegeben wird, um über die Anzeigeeinheit 480 oder die Audioausgabeeinheit 485 als Reaktion auf einen über die Benutzereingabeschnittstelle 450 empfangenen Bildwiedergabebefehl für externe Geräte ausgegeben zu werden.
  • Die Steuereinheit 470 kann die Anzeigeeinheit 480 steuern, um ein Video anzuzeigen. Zum Beispiel kann die Steuereinheit 470 ein über den Tuner 410 eingegebenes Rundfunkvideo, ein über die externe Geräteschnittstelle 435 eingegebenes externes Eingangsvideo, ein über die Netzwerkschnittstelle 430 eingegebenes Video oder ein in der Speichereinheit 440 gespeichertes Video zur Anzeige auf der Anzeigeeinheit 480 steuern. Dabei kann das auf der Anzeigeeinheit 480 angezeigte Video ein Standbild oder bewegte Bilder oder ein 2D- oder 3D-Video enthalten.
  • Der Controller 470 kann einen abzuspielenden Inhalt steuern. Hier kann der Inhalt einen im digitalen Gerät 400 gespeicherten Inhalt, einen empfangenen Rundfunkinhalt oder einen extern eingegebenen Inhalt umfassen. Der Inhalt kann ein ausgestrahltes Video, ein extern eingegebenes Video, eine Audiodatei, ein Standbild, ein aufgerufener Webbildschirm oder/und eine Dokumentendatei sein.
  • Der Controller 470 kann eine Anwendung oder eine Anwendungsliste steuern, die sich im digitalen Gerät 300 befindet oder von einem externen Netzwerk heruntergeladen werden kann, um angezeigt zu werden, wenn ein Anwendungsansichtsmenü aufgerufen wird.
  • Der Controller 470 kann die Installation und Ausführung von Anwendungen steuern, die von einem externen Netzwerk heruntergeladen wurden, zusammen mit verschiedenen Benutzeroberflächen. Außerdem kann der Controller 470 ein Video steuern, das sich auf eine gestartete Anwendung bezieht, die auf der Anzeigeeinheit 480 durch eine Auswahl des Benutzers angezeigt werden soll.
  • Zusätzlich kann ein Kanal-Browsing-Prozessor (nicht gezeigt) enthalten sein, der dazu konfiguriert ist, ein einem Kanalsignal oder einem externen Eingangssignal entsprechendes Miniaturbild zu erzeugen.
  • Der Channel-Browsing-Prozessor kann einen Eingang eines vom Demodulator 420 ausgegebenen Streamsignals (TS) oder einen Eingang eines von der externen Geräteschnittstelle 435 ausgegebenen Streamsignals empfangen, ein Video aus dem eingegebenen Streamsignal extrahieren und dann ein Miniaturbild erzeugen. Das erzeugte Miniaturbild kann direkt in den Controller 470 eingegeben werden oder durch Kodierung in den Controller 470 eingegeben werden. Außerdem kann das erzeugte Miniaturbild in einen Stream kodiert und dann in die Steuerung 470 eingegeben werden. Die Steuereinheit 470 kann eine Miniaturbildliste mit einer Vielzahl von Miniaturbildern auf der Anzeigeeinheit 480 unter Verwendung der eingegebenen Miniaturbilder anzeigen. Die in der Thumbnail-Liste enthaltenen Thumbnail-Bilder können sequentiell oder gleichzeitig aktualisiert werden. Dementsprechend kann der Benutzer bequem den Inhalt einer Vielzahl von Sendekanälen überprüfen.
  • Die Anzeigeeinheit 480 kann jedes von einem Videosignal, einem Datensignal und einem vom Controller 470 verarbeiteten OSD-Signal oder jedes von einem Videosignal und einem Datensignal, das von der externen Geräteschnittstelle 435 empfangen wird, in R-, G- und B-Signale umwandeln, um ein Ansteuersignal zu erzeugen.
  • Die Anzeigeeinheit 480 kann ein PDP, ein LCD, ein OLED, ein flexibles Display, ein 3D-Display oder Ähnliches sein.
  • Die Anzeigeeinheit 480 kann als Touchscreen konfiguriert sein und sowohl als Eingabe- als auch als Ausgabegerät dienen.
  • Die Audio-Ausgabeeinheit 485 empfängt ein vom Controller 470 audioverarbeitetes Signal, z.B. ein Stereosignal, ein 3.1-Kanal-Signal oder ein 5.1-Kanal-Signal, und gibt dann das empfangene Signal als Audio aus. Die Audio-Ausgabeeinheit 485 kann als einer der Lautsprecher verschiedener Typen konfiguriert sein.
  • Das digitale Gerät 400 kann darüber hinaus die Erfassungseinheit (nicht dargestellt) zum Erfassen einer Geste des Benutzers enthalten, die mindestens einen Berührungssensor, einen Sprachsensor, einen Ortssensor und einen Aktionssensor umfasst, wie oben beschrieben. Ein von der Abtasteinheit (nicht dargestellt) abgetastetes Signal kann über die Benutzereingabeschnittstelle 450 an den Controller 470 geliefert werden.
  • Das digitale Gerät 400 kann außerdem eine Fotoeinheit (nicht dargestellt) zum Fotografieren eines Benutzers enthalten. Die von der Fotoeinheit (nicht dargestellt) erfassten Bildinformationen können in den Controller 470 eingegeben werden.
  • Das Steuergerät 470 kann eine Geste eines Benutzers anhand eines von der Fotoeinheit (nicht dargestellt) aufgenommenen Bildes oder eines von der Abtasteinheit (nicht dargestellt) abgetasteten Signals oder durch Kombination des Bildes und des Signals erfassen.
  • Die Stromversorgungseinheit 490 kann das digitale Gerät 400 insgesamt mit einer entsprechenden Leistung versorgen.
  • Insbesondere kann die Stromversorgungseinheit 490 den als Systemon-Chip (SoC) konfigurierbaren Controller 470, die Anzeigeeinheit 480 für eine Videoanzeige und die Audioausgabeeinheit 485 für eine Audioausgabe mit Strom versorgen.
  • Zu diesem Zweck kann die Stromversorgungseinheit 490 einen Wandler (nicht dargestellt) enthalten, der so konfiguriert ist, dass er eine Wechselstromleistung in eine Gleichstromleistung umwandelt. Wenn die Anzeigeeinheit 480 beispielsweise als LCD-Panel mit einer Vielzahl von Hintergrundbeleuchtungslampen konfiguriert ist, kann die Stromversorgungseinheit 490 außerdem einen Wechselrichter (nicht dargestellt) enthalten, der für den PWM-Betrieb (Pulsweitenmodulation) zur Leuchtdichtevariation oder Dimmsteuerung geeignet ist.
  • Der Remote-Controller 500 sendet eine Benutzereingabe an die Benutzereingabeschnittstelle 450. Zu diesem Zweck kann die Fernbedienung 500 Bluetooth, HF-Kommunikation, IR-Kommunikation, UWB, ZigBee usw. verwenden.
  • Darüber hinaus kann die Fernbedienung 500 das von der Benutzereingangsschnittstelle 450 ausgegebene Audio-, Video- oder Datensignal empfangen und dann das empfangene Signal anzeigen oder als Ton oder Vibration ausgeben.
  • Das oben beschriebene digitale Gerät 400 kann einen digitalen Rundfunkempfänger enthalten, der digitale Rundfunksignale von ATSC oder DVB eines stationären oder mobilen Typs verarbeiten kann.
  • In Bezug auf das digitale Gerät gemäß der vorliegenden Erfindung können einige der dargestellten Komponenten weggelassen werden oder neue Komponenten (nicht dargestellt) können bei Bedarf weiter hinzugefügt werden. Andererseits kann das digitale Gerät, anders als das zuvor beschriebene digitale Gerät, den Tuner und den Demodulator nicht enthalten und kann einen Inhalt wiedergeben, indem es den Inhalt über die Netzwerkschnittstelle oder die Schnittstelle des externen Geräts empfängt.
  • 5 ist ein Blockdiagramm, das die detaillierte Konfiguration jedes der Regler der 2 bis 4 gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
  • Ein Beispiel des Controllers kann einen Demultiplexer 510, einen Videoprozessor 520, einen OSD-Generator 540, einen Mischer 550, einen Bildratenwandler (FRC) 555 und einen Formatierer 560 enthalten. Außerdem kann der Controller auch einen Audioprozessor und einen Datenprozessor (nicht dargestellt) enthalten.
  • Der Demultiplexer 510 demultiplexiert einen eingegebenen Datenstrom. Zum Beispiel kann der Demultiplexer 510 ein eingegebenes Streamsignal in ein MPEG-2 TS Video-, Audio- und Datensignal demultiplexen. Dabei kann das in den Demultiplexer eingegebene Streamsignal ein vom Tuner, Demodulator oder der Schnittstelle eines externen Geräts ausgegebenes Streamsignal umfassen.
  • Der Videoprozessor 520 führt eine Videoverarbeitung des demultiplexierten Videosignals durch. Zu diesem Zweck kann der Videoprozessor 520 einen Videodecoder 525 und einen Scaler 535 enthalten.
  • Der Videodecoder 525 kann das demultiplexte Videosignal dekodieren, und der Scaler 535 kann die Auflösung des dekodierten Videosignals skalieren, damit es auf dem Display ausgegeben werden kann.
  • Der Video-Decoder 525 kann verschiedene Spezifikationen unterstützen. Beispielsweise führt der Videodecoder 525 eine Funktion als MPEG-2-Decoder aus, wenn ein Videosignal mit MPEG-2 kodiert ist. Und der Videodecoder 535 führt eine Funktion als H.264-Decoder aus, wenn ein Videosignal mit DMB (Digital Multimedia Broadcasting) oder H.264 kodiert ist.
  • Währenddessen wird das vom Bildprozessor 520 dekodierte Videosignal in den Mischer 550 eingegeben.
  • Der OSD-Generator 540 kann OSD-Daten entsprechend einer Benutzereingabe oder selbständig erzeugen. Beispielsweise kann der OSD-Generator 540 Daten, die auf dem Bildschirm des Displays 380 in Grafik- oder Textform angezeigt werden sollen, auf der Grundlage eines Steuersignals einer Benutzereingabeschnittstelle erzeugen. Die generierten OSD-Daten können verschiedene Daten enthalten, wie z.B. einen Benutzeroberflächenbildschirm des digitalen Geräts, verschiedene Menübildschirme, Widgets, Symbole, Informationen zur Anzeigegeschwindigkeit und Ähnliches. Der OSD-Generator 540 kann Daten zur Anzeige eines Untertitels eines Rundfunkvideos oder EPG-basierter Rundfunkinformationen erzeugen.
  • Der Mischer 550 mischt die vom OSD-Generator 540 erzeugten OSD-Daten und das vom Videoprozessor 520 verarbeitete Videosignal. Der Mischer 550 liefert dann das gemischte Signal an den Formatierer 560. Durch das Mischen des dekodierten Videosignals und der OSD-Daten wird das OSD in einer Art Überlagerung mit einem Rundfunkvideo oder einem externen Eingangsvideo angezeigt.
  • Der Bildratenkonverter (FRC) 555 kann eine Bildrate eines eingegebenen Videos konvertieren. Zum Beispiel kann der Bildratenkonverter 555 die Bildrate eines eingegebenen 60Hz-Videos in eine Bildrate von 120Hz oder 240Hz entsprechend einer Ausgangsfrequenz der Anzeigeeinheit konvertieren. Wie oben beschrieben, kann es verschiedene Methoden zur Umwandlung einer Bildrate geben. Beispielsweise kann der Bildratenkonverter 555 bei der Umwandlung einer Bildrate von 60Hz in 120HZ die Umwandlung durch Einfügen eines ersten Bildes zwischen dem ersten und einem zweiten Bild oder durch Einfügen eines dritten Bildes, das aus dem ersten und zweiten Bild vorhergesagt wird, durchführen. Zum Beispiel kann der Bildratenwandler 555 bei der Umwandlung einer Bildrate von 60Hz in 240Hz die Umwandlung durchführen, indem er drei weitere gleiche oder vorhergesagte Bilder zwischen die vorhandenen Bilder einfügt. Falls keine separate Bildumwandlung durchgeführt wird, kann der Bildratenwandler 555 umgangen werden.
  • Der Formatierer 560 kann die Ausgabe des Bildratenkonverters 555, die in diesen eingegeben wird, so ändern, dass sie zu einem Ausgabeformat der Anzeigeeinheit passt. Zum Beispiel kann der Formatierer 560 ein RGB-Datensignal ausgeben. In diesem Fall kann dieses RGB-Datensignal als Niederspannungs-Differenzsignal (LVDS) oder Mini-LVDS ausgegeben werden. Wenn ein eingegebenes Ausgangssignal des Bildratenwandlers 555 ein 3D-Videosignal ist, gibt der Formatierer 560 das Signal aus, indem er ein 3D-Format konfiguriert, das an das Ausgangsformat der Anzeigeeinheit angepasst ist, wodurch ein 3D-Dienst durch die Anzeigeeinheit unterstützt werden kann.
  • Ein Audioprozessor (nicht dargestellt) kann im Controller die Audioverarbeitung eines demultiplexierten Audiosignals durchführen. Ein solcher Audioprozessor (nicht dargestellt) kann die Verarbeitung verschiedener Audioformate unterstützen. Wenn z.B. ein Audiosignal im Format MPEG-2, MPEG-4, AAC, HE-AAC, AC-3, BSAC o. ä. kodiert ist, ist ein entsprechender Decoder zur Verarbeitung des Audiosignals enthalten.
  • Und der Audioprozessor (nicht dargestellt) im Controller kann Basis, Höhen, Lautstärkeanpassung und Ähnliches verarbeiten.
  • Ein Datenprozessor (nicht dargestellt) in der Steuerung kann ein demultiplexiertes Datensignal verarbeiten. Wenn z.B. ein demultiplexiertes Datensignal kodiert ist, kann der Datenprozessor das kodierte demultiplexierte Datensignal dekodieren. Hier kann es sich bei dem kodierten Datensignal um EPG-Informationen handeln, die Rundfunkinformationen wie Start- und Endzeiten eines auf jedem Kanal ausgestrahlten Rundfunkprogramms und Ähnliches enthalten.
  • Unterdessen ist das oben beschriebene digitale Gerät ein Beispiel gemäß der vorliegenden Erfindung. Und, mindestens eine der Komponenten kann integriert, hinzugefügt oder weggelassen werden, je nach Optionen eines tatsächlich ausgeführten digitalen Geräts. Insbesondere können bei Bedarf mindestens zwei oder mehr Komponenten in eine einzige Komponente integriert werden oder eine vorgegebene Komponente kann in mindestens zwei oder mehr Komponenten aufgeteilt werden. Darüber hinaus wird zur Beschreibung einer Ausführungsform der vorliegenden Erfindung eine von jedem Baustein ausgeführte Funktion angegeben. Eine detaillierte Bedienung oder Vorrichtung für die Funktion kann den Umfang der beigefügten Ansprüche und deren Äquivalente der vorliegenden Erfindung nicht einschränken.
  • Ein digitales Gerät kann eine Bildsignalverarbeitungsvorrichtung enthalten, die zur Verarbeitung eines Signals eines in dem entsprechenden Gerät gespeicherten Bilds oder eines Signals eines eingegebenen Bilds konfiguriert ist. Beispiele für die Bildsignalverarbeitungsvorrichtung können eine Settop-Box (STB) sein, die nicht die in 4 gezeigte Anzeigeeinheit 480 und die Audio-Ausgabeeinheit 485 enthält, der oben erwähnte DVD-Player, ein Blu-ray-Player, ein Spielgerät, ein Computer und dergleichen.
  • 6 ist ein Diagramm eines Eingabemittels, das mit jedem der in 2 bis 4 dargestellten digitalen Geräte gemäß einer Ausführungsform der vorliegenden Erfindung verbunden ist.
  • Um ein digitales Gerät 600 zu steuern, wird eine Frontplatte (in der Zeichnung nicht dargestellt) oder ein Steuermittel (z.B. ein Eingabemittel) verwendet, das in dem digitalen Gerät 600 installiert ist.
  • Als Benutzerschnittstellengerät (UID), das zu einer drahtgebundenen/drahtlosen Kommunikation fähig ist, umfasst das Steuermittel eine Fernbedienung 610, eine Tastatur 630, ein Zeigegerät 620, ein Touchpad oder Ähnliches, das hauptsächlich zum Zweck der Steuerung des digitalen Geräts 600 eingesetzt wird. Es kann auch ein Steuermittel enthalten sein, das für eine externe Eingabe bestimmt ist, indem es mit dem digitalen Gerät 600 verbunden ist. Außerdem kann das Steuermittel auch ein mobiles Gerät (z.B. ein Smartphone, ein Tablet-PC usw.) umfassen, das in der Lage ist, das digitale Gerät 600 durch eine Modusumschaltung oder Ähnliches zu steuern, obwohl es nicht den Zweck hat, das digitale Gerät 600 zu steuern. Aus Gründen der Klarheit wird ein Zeigegerät als ein Beispiel für die Beschreibung in der vorliegenden Spezifikation genommen, durch die die vorliegende Erfindung nicht begrenzt ist.
  • Das Eingabemittel kann mit dem digitalen Gerät kommunizieren, indem es je nach Bedarf mindestens eines Kommunikationsprotokoll verwendet. In diesem Fall können die Kommunikationsprotokolle Bluetooth, RFID (Radio Frequency Identification), IrDA (infrared Data Association), UWB (Ultra Wideband), ZigBee, DLNA (Digital Living Network Alliance), RS und dergleichen umfassen.
  • Die Fernbedienung 610 ist ein allgemeines Eingabemittel, das mit verschiedenen Tasten ausgestattet ist, die zur Steuerung des digitalen Geräts 600 benötigt werden.
  • Die Zeigevorrichtung 620, die mit einem Gyrosensor und dergleichen ausgestattet ist, liefert einen vorgeschriebenen Steuerbefehl an das digitale Gerät 600, indem sie einen entsprechenden Zeiger auf einem Bildschirm des digitalen Geräts 600 basierend auf einer Bewegung des Benutzers, einem Druck, einer Drehung und dergleichen verkörpert. Die Zeigevorrichtung 620 kann einen von verschiedenen Namen tragen, wie z.B. magische Fernbedienung, magischer Controller und dergleichen.
  • Da es sich bei dem digitalen Gerät 600 um ein intelligentes, integriertes digitales Gerät handelt, das in der Lage ist, verschiedene Dienste wie einen Webbrowser, eine Anwendung, einen SNS (Social Network Service) und Ähnliches sowie Sendungen bereitzustellen, ist es schwierig, das digitale Gerät 600 mit einer herkömmlichen Fernbedienung 610 zu steuern. Daher ist die Tastatur 630 in einer Konfiguration ähnlich einer PC-Tastatur ausgeführt, um die Eingabe von Text und Ähnlichem zu erleichtern, indem die Schwierigkeit der Steuerung ergänzt wird.
  • Das Steuermittel wie die Fernbedienung 610, das Zeigegerät 620, die Tastatur 630 oder dgl. ist bei Bedarf mit einem Touchpad ausgestattet und kann für die verschiedenen Steuerzwecke der Erleichterung von Texteingaben, Zeigerverschiebungen, Vergrößern/Verkleinern von Fotos oder Videos und Ähnlichem verwendet werden.
  • Das in der vorliegenden Spezifikation beschriebene digitale Gerät verwendet OS und/oder WebOS als Plattform. Im Folgenden kann eine solche Verarbeitung wie eine WebOS-basierte Konfiguration oder ein Algorithmus durch den Controller des oben beschriebenen digitalen Geräts und dergleichen durchgeführt werden. In diesem Fall wird der Controller in einem weiten Sinne verwendet, einschließlich der in den 2 bis 5 gezeigten Controller. Daher wird in der folgenden Beschreibung bezüglich einer Konfiguration zur Verarbeitung von WebOSbasierten oder verwandten Diensten, Anwendungen, Inhalten und dergleichen in einem digitalen Gerät, Hardware oder Komponente einschließlich Software, Firmware und dergleichen als Controller bezeichnet.
  • Eine solche auf WebOS basierende Plattform kann die Entwicklungsunabhängigkeit und die funktionale Erweiterbarkeit durch die Integration von Diensten, Anwendungen und dergleichen auf der Basis von z.B. Luna-Service-Bus verbessern und ist in der Lage, die Produktivität der Anwendungsentwicklung auf der Basis eines Web-Applikations-Frameworks zu erhöhen. Darüber hinaus werden Systemressourcen und dergleichen durch ein WebOS-Prozess- und Ressourcenmanagement effizient genutzt, wodurch Multitasking unterstützt werden kann.
  • Eine in der vorliegenden Beschreibung erläuterte Web-OS-Plattform kann nicht nur für stationäre Geräte wie Personal Computer (PCs), Fernseher und Settop-Boxen (STBs), sondern auch für mobile Geräte wie Mobiltelefone, Smartphones, Tablet-PCs, Laptops, tragbare Geräte und dergleichen verfügbar sein.
  • Eine Softwarestruktur für ein digitales Gerät ist eine monolithische Struktur, die in der Lage ist, konventionelle Probleme in Abhängigkeit von den Märkten zu lösen, und hat Schwierigkeiten bei der externen Anwendung mit einem auf Multi-Threading basierenden Signalprozess und einem geschlossenen Produkt. Im Streben nach einer neuen plattformbasierten Entwicklung, Kosteninnovation durch den Austausch von Chipsätzen und Effizienz bei der Entwicklung von UI-Anwendungen und externen Anwendungen werden Schichtung und Komponentisierung durchgeführt, um eine 3-Schichten-Struktur und eine Add-on-Struktur für ein Add-on, ein Single-Source-Produkt und eine offene Anwendung zu erhalten. Kürzlich wurde der modulare Aufbau einer Softwarestruktur durchgeführt, um eine offene Anwendungsprogrammierschnittstelle (API) für ein Echosystem und eine modulare Architektur einer Funktionseinheit oder eine native offene API für eine Spiele-Engine bereitzustellen, und so wurde eine Multiprozessstruktur auf Basis einer Servicestruktur erstellt.
  • 7 ist ein Diagramm, das die Web-OS-Architektur gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
  • Die Architektur der Web OS-Plattform wird mit Bezug auf 7 wie folgt beschrieben.
  • Die Plattform kann hauptsächlich in eine auf einer Systembibliothek basierende Web-OS-Kernplattform, eine Anwendung, einen Dienst und dergleichen unterteilt werden.
  • Die Architektur der Web-OS-Plattform umfasst eine Schichtstruktur. Betriebssystem, Systembibliothek(en) und Anwendungen befinden sich in einer untersten Schicht, einer nächsten Schicht bzw. einer obersten Schicht.
  • Zunächst einmal, was die unterste Schicht betrifft: Da ein Linux-Kernel als Betriebssystemschicht enthalten ist, kann Linux als Betriebssystem des digitalen Geräts enthalten sein.
  • Oberhalb der OS-Schicht gibt es in der Reihenfolge BSP/HAL (Board Support Package/Hardware Abstraction Layer), Web-OS-Kernmodule-Schicht, Service-Schicht, Luna-Service Bus-Schicht, Enyo-Framework/NDK(Native Developer's Kit)/QT-Schicht und eine Anwendungsschicht (als oberste Schicht).
  • Einige Ebenen in der oben genannten Web-OS-Ebenenstruktur können weggelassen werden. Mehrere Ebenen können in eine einzige Ebene integriert werden und umgekehrt.
  • Die Web-OS-Kernmodulschicht kann LSM (Luna Surface Manager) zum Verwalten eines Oberflächenfensters und Ähnlichem, SAM (System & Application Manage) zum Verwalten von Start, Laufstatus und Ähnlichem einer Anwendung, WAM (Web Application Manager) zum Verwalten von Webanwendungen und Ähnlichem auf Basis von WebKit usw. enthalten.
  • Die LSM verwaltet ein Anwendungsfenster, das auf einem Bildschirm erscheint. Die LSM ist für eine Anzeigehardware (HW) zuständig, stellt einen Puffer bereit, der in der Lage ist, für Anwendungen benötigte Substanz zu rendern, und gibt eine Zusammensetzung von Rendering-Ergebnissen einer Vielzahl von Anwendungen auf einem Bildschirm aus.
  • Das SAM verwaltet eine Leistungsrichtlinie je nach System- und Anwendungsbedingungen.
  • Da Web OS eine Webanwendung (Web App) als Basisanwendung betrachten kann, basiert der WAM auf dem Enyo Framework.
  • Die Nutzung eines Dienstes durch eine Anwendung erfolgt über den Luna-Service Bus. Ein neuer Dienst kann als Bus registriert werden, und eine Anwendung kann einen für sich benötigten Dienst finden und verwenden.
  • Die Dienstebene kann Dienste verschiedener Dienstebenen enthalten, z.B. TV-Dienst, Web-OS-Dienst und ähnliches. Der Web-OS-Dienst kann einen Medienserver, einen Node.JS-Dienst und Ähnliches enthalten. Der Node.JS-Dienst unterstützt z.B. Javascript.
  • Der Web OS-Dienst ist ein Linux-Prozess, der eine Funktionslogik implementiert und über einen Bus kommunizieren kann. Dieser kann hauptsächlich in vier Teile unterteilt werden und besteht aus einem TV-Prozess, Diensten, die von einem vorhandenen TV in Web OS migriert werden, oder Diensten, die herstellerdifferenzierten Diensten entsprechen, einem gemeinsamen Web OS-Dienst und einem Node.js-Dienst, der mit Javascript entwickelt und über Node.js verwendet wird.
  • Die Anwendungsschicht kann alle Anwendungen umfassen, die vom digitalen Gerät unterstützt werden, z.B. TV-Anwendung, Showcase-Anwendung, native Anwendung, Web-Anwendung usw.
  • Anwendungen auf Web OS können je nach Implementierungsmethode in Webanwendungen, PDK (Palm Development Kit)-Anwendungen, QML (Qt Meta Language oder Qt Modeling Language)-Anwendungen und dergleichen unterteilt werden.
  • Die Webanwendung basiert auf der WebKit-Engine und wird auf WAM Runtime ausgeführt. Eine solche Webanwendung basiert auf dem Enyo Framework oder kann in einer Art und Weise ausgeführt werden, die auf Basis von allgemeinem HTML5, CSS (Cascading Style Sheets) und Javascript entwickelt wurde.
  • Die PDK-Anwendung umfasst eine native Anwendung und ähnliches, die mit C/C++ auf der Grundlage des PDK entwickelt wurde, das für eine dritte Partei oder einen externen Entwickler bereitgestellt wird. Das PDK ist ein Satz von Entwicklungsbibliotheken und -werkzeugen, die bereitgestellt werden, um einer dritten Partei (z.B. einem Spiel usw.) die Entwicklung einer nativen Anwendung (C/C++) zu ermöglichen. Die PDK-Anwendung kann verwendet werden, um eine Anwendung zu entwickeln, bei der die Leistung von Bedeutung ist.
  • Die QML-Anwendung ist eine Qt-basierte native Anwendung und umfasst grundlegende Anwendungen (z.B. Kartenansicht, Home-Dashboard, virtuelle Tastatur usw.), die mit der Web OS-Plattform bereitgestellt werden. Dabei ist QML eine Markup-Sprache vom Typ Skript anstelle von C++.
  • In der obigen Beschreibung bedeutet die native Anwendung eine Anwendung, die mit C/C++ entwickelt, kompiliert und in binärer Form ausgeführt wird. Eine solche native Anwendung hat den Vorteil einer schnellen Laufgeschwindigkeit.
  • 8 ist ein Diagramm, das eine Architektur eines Web-OS-Geräts gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
  • 8 ist ein Blockdiagramm basierend auf einer Laufzeit eines Web-OS-Geräts, das mit Bezug auf die in 7 gezeigte Schichtstruktur verstanden werden kann.
  • Die folgende Beschreibung erfolgt unter Bezugnahme auf 7 und 8.
  • Bezug nehmend auf BILD 8 sind oben ein System-OS (Linux) und Systembibliotheken, Dienste, Anwendungen und Web-OS-Kernmodule enthalten. Und die Kommunikation zwischen ihnen kann über den Luna-Service-Bus erfolgen.
  • Node.js-Dienste (E-Mail, Kontakt, Kalender, etc.) auf Basis von HTML5, CSS und Java-Script, Web-OS-Dienste wie Logging, Backup, File Notify, Datenbank (DB), Activity Manager, System Policy, AudioD (Audio Daemon), Update, Media Server u. ä., TV-Dienste wie EPG (Electronic Program Guide), PVR (Personal Video Recorder), Data Broadcasting u. ä., CP-Dienste wie Spracherkennung, Now on, Notification, Search, ACR (Auto Content Recognition), CBOX (Contents List Browser), wfdd, DMR, Remote Application, Download, SDPIF (Sony Philips Digital Interface Format) und ähnliches, native Anwendungen wie PDK-Applikationen, Browser, QML-Applikation und ähnliches, sowie Enyo Framework basierte UI-bezogene TV-Applikationen und Web-Applikationen werden durch das Web-OS-Kernmodul wie das oben erwähnte SAM, WAM und LSM über den Luna-Service-Bus verarbeitet. In der obigen Beschreibung ist es indes nicht zwingend erforderlich, dass die TV-Anwendungen und die Web-Anwendungen Enyo-Framework-basiert oder UIbezogen sind.
  • Die CBOX kann eine Liste und Metadaten für Inhalte eines externen Geräts verwalten, das mit dem Fernseher verbunden ist, wie USB, DLNA, Cloud und dergleichen. Die CBOX kann eine Inhaltsliste verschiedener Inhaltsbehälter wie USB, DMS, DVR, Cloud und dergleichen in Form einer integrierten Ansicht ausgeben. Außerdem zeigt die CBOX eine Auflistung von Inhalten verschiedener Typen wie Bilder, Musik, Videos und dergleichen an und kann die entsprechenden Metadaten verwalten. Außerdem kann die CBOX einen Inhalt eines angeschlossenen Speichers in Echtzeit ausgeben. Wenn z.B. ein Speichergerät wie USB angeschlossen ist, sollte die CBOX in der Lage sein, eine Inhaltsliste des entsprechenden Speichergeräts auszugeben. Dabei kann ein standardisiertes Verfahren für die Verarbeitung der Inhaltsliste definiert werden. Und die CBOX kann verschiedene Verbindungsprotokolle aufnehmen.
  • SAM wird zur Verbesserung und Erweiterbarkeit der Modulkomplexität bereitgestellt. Da z.B. ein vorhandener Systemmanager verschiedene Funktionen (z.B. System-UI, Fenstermanagement, Webanwendungslaufzeit, Verarbeitung von Randbedingungen auf der UX usw.) durch einen einzigen Prozess verarbeitet, ist die Implementierungskomplexität sehr hoch. Durch die Trennung der Hauptfunktionen und die Klärung einer Schnittstelle zwischen den Funktionen kann die Implementierungskomplexität daher gesenkt werden.
  • Die LSM unterstützt die System-UX-Implementierung (z.B. Kartenansicht, Launcher usw.), die unabhängig entwickelt und integriert werden kann, und unterstützt auch die System-UX-Implementierung, um leicht mit einer Änderung der Produktanforderungen und Ähnlichem fertig zu werden. Bei der Synthese einer Vielzahl von Anwendungsbildschirmen, wie z.B. App On App, ermöglicht das LSM Multitasking durch maximale Nutzung der Hardware-Ressourcen (HW) und kann einen Fensterverwaltungsmechanismus für mehrere Fenster, 21:9 und Ähnliches bereitstellen.
  • LSM unterstützt die Implementierung der System-Benutzeroberfläche auf Basis von QML und steigert deren Entwicklungsproduktivität. QML UX kann ein Bildschirm-Layout und eine UI-Komponenten-Ansicht einfach konfigurieren und erleichtert die Entwicklung eines Codes für die Verarbeitung einer Benutzereingabe. Die Schnittstelle zwischen QML und der Web-OS-Komponente wird durch ein umfangreiches QML-Plug-in erreicht, und die grafische Bedienung der Anwendung kann auf dem Wayland-Protokoll, dem Luna-Service-Aufruf und Ähnlichem basieren.
  • LSM ist eine Abkürzung für Luna Surface Manager, wie oben beschrieben, und erfüllt die Funktion eines Anwendungsfenster-Compositors.
  • LSM synthetisiert eine eigenständig entwickelte Anwendung, eine US-Komponente und dergleichen und gibt dann das Synthetisierte auf einem Bildschirm aus. Diesbezüglich, wenn Komponenten wie eine Recents-Anwendung, eine Showcase-Anwendung, eine Launcher-Anwendung und dergleichen jeweils eigene Inhalte wiedergeben, definiert die LSM als Compositor einen Ausgabebereich, ein interoperierendes Verfahren und dergleichen. Die LSM (d.h. der Compositor) verarbeitet sozusagen die grafische Synthese, die Fokusverwaltung, das Eingabeereignis und dergleichen. Dabei empfängt die LSM ein Ereignis, einen Fokus und Ähnliches von einem Eingangsmanager. Ein solcher Eingabemanager kann eine Fernbedienung, ein HID (z.B. Maus & Tastatur), ein Joy-Stick, ein Gamepad, eine Applikationsfernbedienung, ein Pen-Touch und ähnliches sein.
  • So unterstützt die LSM ein Mehrfenstermodell und kann dank der System-UI-Funktionen auf allen Anwendungen gleichzeitig ausgeführt werden. In diesem Zusammenhang kann LSM Startprogramm, Favoriten, Einstellungen, Benachrichtigungen, Systemtastatur, Lautstärke-UI, Suche, Fingergesten, Spracherkennung (STT (Sound to Text), TTS (Text to Sound), NLP (Natural Language Processing) usw.), Mustergesten (Kamera, MRCU (Mobile Radio Control Unit)), Live-Menü, ACR (Auto Content Recognition) und Ähnliches unterstützen.
  • 9 ist ein Diagramm, das einen grafischen Kompositionsfluss in einem Web OS-Gerät gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
  • Bezug nehmend auf 9 kann eine Grafikkompositionsverarbeitung durch einen Webanwendungsmanager 910, der für einen UI-Prozess zuständig ist, ein Webkit 920, das für einen Webprozess zuständig ist, einen LSM 930 und einen Grafikmanager (GM) 940 durchgeführt werden.
  • Wenn eine auf einer Webanwendung basierende Grafik (oder Anwendung) als UI-Prozess vom Webanwendungsmanager 910 erzeugt wird, werden die erzeugten Grafikdaten an eine Vollbildschirm-Anwendung oder die LSM 930 weitergeleitet. Der Webanwendungsmanager 910 empfängt eine vom Webkit 920 generierte Anwendung zur gemeinsamen Nutzung des GPU-Speichers (Grafikverarbeitungseinheit) für die Grafikverwaltung zwischen dem UI-Prozess und dem Webprozess und leitet sie dann an die LSM 930 weiter, wenn die Anwendung nicht die Vollbildschirm-Anwendung ist. Wenn die Anwendung die Vollbildschirm-Anwendung ist, kann sie die LSM 930 umgehen. In diesem Fall kann sie direkt an den Grafikmanager 940 weitergeleitet werden.
  • Die LSM 930 sendet die empfangene UI-Applikation über eine Wayland-Oberfläche an einen Wayland-Compositor. Der Wayland-Compositor verarbeitet sie entsprechend und leitet sie dann an den Grafik-Manager weiter. So werden z.B. die von der LSM 930 weitergeleiteten Grafikdaten über die LSM GM-Oberfläche des Grafikmanagers 940 an den Grafikmanager-Compositor weitergeleitet.
  • Währenddessen wird, wie oben beschrieben, die Vollbildschirm-Anwendung direkt an den Grafikmanager 940 weitergeleitet, ohne den LSM 930 zu durchlaufen. Eine solche Anwendung wird vom Grafikmanager-Compositor über die WAM-GM-Oberfläche verarbeitet.
  • Der Grafik-Manager verarbeitet alle Grafikdaten innerhalb des Web OS-Geräts. Der Grafikmanager empfängt alle Grafikdaten über die GM-Oberfläche, wie z.B. eine Datenrundfunkanwendung, eine Beschriftungsanwendung und dergleichen sowie die Daten über die LSM-GM- und die WAM-GM-Oberfläche, und verarbeitet sie dann, um sie entsprechend auf dem Bildschirm auszugeben. Dabei ist eine Funktion des GM-Compositors gleich oder ähnlich wie die des oben genannten Compositors.
  • 10 ist ein Diagramm, das einen Medienserver gemäß einer Ausführungsform der vorliegenden Erfindung zeigt. 11 ist ein Blockdiagramm, das eine Konfiguration eines Medienservers gemäß einer Ausführungsform der vorliegenden Erfindung zeigt. 12 ist ein Diagramm, das die Beziehung zwischen einem Medienserver gemäß einer Ausführungsform der vorliegenden Erfindung und einem TV-Dienst zeigt.
  • Ein Medienserver unterstützt die Ausführung verschiedener Multimedia in einem digitalen Gerät und verwaltet die erforderlichen Ressourcen. Der Medienserver kann eine für eine Medienwiedergabe erforderliche Hardwareressource effizient nutzen. Der Medienserver benötigt zum Beispiel Audio-/Video-Hardware-Ressourcen für die Ausführung von Multimedia und kann die Ressourcen effizient nutzen, indem er einen aktuellen Status der Ressourcennutzung verwaltet. Im Allgemeinen benötigt ein stationäres (oder stehendes) Gerät mit einem größeren Bildschirm als ein mobiles Gerät mehr Hardware-Ressourcen für die Multimedia-Ausführung und benötigt eine schnellere Kodierungs-/Dekodierungs- und Grafikdaten-Übertragungsgeschwindigkeit aufgrund einer massiven Datengröße. Der Medienserver sollte in der Lage sein, die Aufgabe des Sendens/Aufnehmens/Abstimmens, die Aufgabe des Aufnehmens zur gleichen Zeit des Betrachtens, die Aufgabe des Anzeigens sowohl eines Senderbildschirms als auch eines Empfängerbildschirms während eines Videoanrufs und ähnliches sowie ein Streaming und eine dateibasierte Wiedergabe zu bewältigen. Da jedoch die Hardware-Ressourcen, wie z.B. ein Encoder, ein Decoder, ein Tuner, eine Display-Engine und dergleichen, durch die Chipsatz-Einheiten begrenzt sind, ist es für den Medienserver schwierig, mehrere Aufgaben gleichzeitig auszuführen. Daher handhabt der Medienserver die Aufgaben so, dass er ein Nutzungsszenario einschränkt oder eine Eingabe der Benutzerauswahl erhält.
  • Der Medienserver kann die Systemstabilität durch Robustheit erhöhen. Indem z.B. im Verlauf einer Medienwiedergabe eine fehlerhafte Abspiel-Pipeline per Pipeline entfernt wird und dann die Medienwiedergabe neu manövriert wird, ist eine weitere Medienwiedergabe auch bei Auftreten eines solchen Fehlers nicht betroffen. Eine solche Pipeline ist eine Kette zur Verbindung der jeweiligen Einheitsfunktionen (z.B. Dekodierung, Analyse, Ausgabe usw.) im Falle einer Medienwiedergabeanforderung, und die erforderlichen Einheitsfunktionen können je nach Medientyp und dergleichen geändert werden.
  • Der Medienserver kann über eine Erweiterbarkeit verfügen. Zum Beispiel kann der Medienserver eine Pipeline eines neuen Typs hinzufügen, ohne ein bestehendes Implementierungsschema zu beeinträchtigen. Der Medienserver kann z.B. eine Kamera-Pipeline, eine Videokonferenz-Pipeline (Skype), eine Pipeline eines Drittanbieters und Ähnliches aufnehmen.
  • Der Medienserver kann eine allgemeine Medienwiedergabe und eine TV-Aufgabenausführung jeweils als separate Dienste behandeln. Der Grund dafür ist, dass sich die Schnittstelle eines TV-Dienstes von der eines Medienwiedergabefalls unterscheidet. In der obigen Beschreibung unterstützt der Medienserver Operationen ‚Kanaleinstellung‘, ‚Kanal-Auf‘, ‚Kanal-Ab‘, ‚Kanal Abstimmung‘, ‚Aufzeichnungsstart‘ und ähnliches in Verbindung mit dem TV-Dienst, aber er unterstützt Operationen ‚Abspielen‘, ‚Pause‘, ‚Stopp‘ und ähnliches in Verbindung mit der allgemeinen Medienwiedergabe, wodurch unterschiedliche Operationen für die beiden Dienste unterstützt werden. So kann der Medienserver die Dienste getrennt behandeln.
  • Der Medienserver kann Funktionen zur Ressourcenverwaltung integriert steuern oder verwalten. Hardware-Ressourcenzuweisung, Wiederherstellung und ähnliches in einem Gerät werden integriert im Medienserver durchgeführt. Insbesondere liefert ein TV-Dienstprozess eine aktuell laufende Aufgabe, einen aktuellen Ressourcenzuweisungsstatus und Ähnliches an den Medienserver. Jedes Mal, wenn ein Medium ausgeführt wird, sichert der Medienserver eine Ressource, aktiviert eine Pipeline und führt eine Gewährung der Ausführung durch eine Priorität (z.B. Richtlinie), eine Ressourcenwiederherstellung anderer Pipelines und dergleichen als Reaktion auf eine Medienausführungsanforderung basierend auf einem aktuellen Ressourcenstatus, der von jeder Pipeline belegt wird, durch. Dabei werden eine vordefinierte Ausführungspriorität und eine notwendige Ressourceninformation für eine bestimmte Anforderung von einem Richtlinienmanager verwaltet, und ein Ressourcenmanager kann die Ressourcenzuweisung, Wiederherstellung und Ähnliches durch Kommunikation mit dem Richtlinienmanager handhaben.
  • Der Medienserver kann eine ID (Bezeichner) für jeden Vorgang im Zusammenhang mit einer Wiedergabe aufbewahren. Beispielsweise kann der Medienserver basierend auf einem Bezeichner einen Befehl geben, indem er eine bestimmte Pipeline angibt. Bei zwei oder mehr Medienwiedergaben kann der Medienserver einen Befehl an Pipelines geben, indem er die beiden voneinander unterscheidet.
  • Der Medienserver kann für die Wiedergabe von HTMS 5 Standardmedien zuständig sein.
  • Außerdem kann der Medienserver einem TV-Rekonfigurationsbereich für eine separate Dienstbearbeitung einer TV-Pipeline folgen. Der Medienserver kann unabhängig vom TV-Rekonfigurationsbereich ausgelegt werden. Wenn das TV nicht separat dienstverarbeitet wird, kann das TV bei Auftreten eines Problems durch eine bestimmte Aufgabe vollständig neu ausgeführt werden.
  • Der Medienserver ist ein sogenannter uMS, d.h. ein Micro Media Server. Darin ist ein Media-Player ein Media-Client. Dies kann ein Webkit für HTML 5 Video-Tag, Kamera, TV, Skype, 2nd Screen und dergleichen bedeuten.
  • Eine Kernfunktion des Medienservers ist die Verwaltung einer Mikroressource wie z.B. eines Ressourcenmanagers, eines Richtlinienmanagers oder Ähnlichem. Diesbezüglich steuert der Medienserver eine Wiedergabesteuerungsrolle für einen Webstandard-Medieninhalt. Diesbezüglich kann der Medienserver eine Pipeline-Controller-Ressource verwalten.
  • Ein solcher Medienserver unterstützt z.B. Erweiterbarkeit, Konfidenz, effiziente Ressourcennutzung und dergleichen.
  • Sozusagen verwaltet und steuert der uMS, d.h. der Medienserver, die Verwendung von Ressourcen für eine entsprechende Verarbeitung in einem Web-OS-Gerät, wie z.B. eine Ressource (z.B. Cloud-Spiel, MVPD (Bezahldienst usw.), Kameravorschau, 2. Bildschirm, Skype usw.), eine TV-Ressource und dergleichen insgesamt, und funktioniert so bei der Verwaltung und Steuerung einer effizienten Nutzung. Soweit Ressourcen verwendet werden, verwendet jede Ressource zum Beispiel eine Pipeline. Und der Medienserver kann die Erzeugung, das Löschen, die Verwendung und Ähnliches der Pipeline für die Ressourcenverwaltung insgesamt verwalten und steuern.
  • Dabei kann eine Pipeline generiert werden, wenn ein mit einer Aufgabe verbundenes Medium beginnt, einen Job fortzusetzen, wie z.B. das Parsen einer Anforderung, das Dekodieren eines Streams, die Videoausgabe oder Ähnliches. In Verbindung mit einem TV-Dienst oder einer TV-Anwendung wird z.B. das Ansehen, die Aufnahme, die Kanaleinstellung oder Ähnliches individuell so verarbeitet, dass eine Ressourcennutzung oder Ähnliches durch eine Pipeline gesteuert wird, die als Reaktion auf eine entsprechende Anforderung erzeugt wird.
  • Eine Verarbeitungsstruktur eines Medienservers und dergleichen wird mit Bezug auf 10 wie folgt detailliert beschrieben.
  • In 10 ist eine Anwendung oder ein Dienst über einen luna-service-Bus 1010 mit einem Medienserver 1020 verbunden. Der Medienserver 1020 ist wiederum über den luna-service-Bus 1010 mit generierten Pipelines verbunden und verwaltet diese.
  • Die Anwendung bzw. der Dienst verfügt je nach Eigenschaft über verschiedene Clients und kann über diese Daten mit dem Medienserver 1020 bzw. den Pipelines austauschen.
  • Zu den Clients gehören z.B. ein uMedia-Client (Webkit) für die Verbindung zum Medienserver 1020, ein RM (Resource Manager)-Client (C/C++) und dergleichen.
  • Die Anwendung einschließlich des uMedia-Clients, wie oben beschrieben, ist mit dem Medienserver 1020 verbunden. Insbesondere entspricht der uMedia-Client einem später zu beschreibenden Videoobjekt. Ein solcher Client verwendet den Medienserver 1020 für einen Betrieb eines Videos als Reaktion auf eine Anfrage oder ähnliches.
  • Dabei bezieht sich der Videobetrieb auf einen Videostatus. Laden, Entladen, Abspielen (oder Wiedergabe, Reproduzieren), Pause, Stopp und dergleichen können alle Statusdaten umfassen, die sich auf Videooperationen beziehen. Jede Operation oder jeder Status eines Videos kann durch eine individuelle Pipeline-Generierung verarbeitet werden. Daher sendet der uMedia-Client Statusdaten in Bezug auf die Videooperation an den Pipeline-Manager 1022 im Medienserver.
  • Der Pipeline-Manager 1022 erhält über die Datenkommunikation mit dem Ressourcen-Manager 1024 Informationen über eine aktuelle Ressource eines Geräts und stellt eine Anfrage zur Zuteilung einer Ressource entsprechend den Statusdaten des uMedia-Clients. Dabei steuert der Pipeline-Manager 1022 bzw. der Ressourcen-Manager 1024 die Ressourcenzuweisung über die Datenkommunikation mit dem Policy-Manager 1026, falls dies im Zusammenhang mit der Ressourcenzuweisung erforderlich ist und dergleichen. Wenn beispielsweise eine Ressource, die vom Ressourcenmanager als Reaktion auf die vom Pipeline-Manager 1022 gestellte Anforderung zugewiesen werden soll, nicht vorhanden oder unzureichend ist, kann eine entsprechende Ressourcenzuweisung oder Ähnliches gemäß der Anforderung entsprechend dem Prioritätsvergleich des Richtlinienmanagers 1026 und Ähnlichem durchgeführt werden.
  • Der Pipeline-Manager 1022 stellt eine Anforderung zur Pipeline-Erzeugung für einen Vorgang gemäß der Anforderung des uMedia-Clients für die Ressource, die gemäß der Ressourcenzuweisung des Ressourcen-Managers 1024 zugewiesen wurde, an einen Medien-Pipeline-Controller 1028.
  • Der Medien-Pipeline-Controller 1028 erzeugt unter der Steuerung des Pipeline-Managers 1022 eine erforderliche Pipeline. Was die generierten Pipelines betrifft, können, wie in der Zeichnung gezeigt, Pipelines für Wiedergabe, Pause, Stopp und Ähnliches sowie eine Medien-Pipeline und eine Kamera-Pipeline generiert werden. Die Pipelines können hierbei Pipelines für HTML5, Web CP, Smartshare Play, Thumbnail-Extraktion, NDK, Kino, MHEG (Multimedia and Hypermedia Information coding Experts Group) und dergleichen enthalten.
  • Außerdem können Pipelines z.B. eine dienstbasierte Pipeline (Selbst-Pipeline) und eine URI-basierte Pipeline (Medien-Pipeline) umfassen.
  • Bezug nehmend auf 10, kann die Anwendung oder der Dienst, der den RM-Client enthält, nicht direkt mit dem Medienserver 1020 verbunden sein. Der Grund dafür ist, dass die Anwendung oder der Dienst direkt ein Medium verarbeiten kann. Wenn also die Anwendung oder der Dienst direkt Medien verarbeitet, kann der Medienserver umgangen werden. Da dabei aber ein Ressourcenmanagement für die Erzeugung und Nutzung der Pipeline notwendig ist, funktioniert dafür ein uMS-Konnektor. Wird indes eine Ressourcenmanagement-Anforderung für die direkte Medienverarbeitung der Anwendung oder des Dienstes empfangen, kommuniziert der uMS-Konnektor mit dem Medienserver 1020 einschließlich des Ressourcenmanagers 1024. Zu diesem Zweck sollte auch der Medienserver 1020 mit einem uMS-Konnektor ausgestattet sein.
  • Indem die Anwendung oder der Dienst die Ressourcenverwaltung des Ressourcenmanagers 1024 über den uMS-Konnektor empfängt, kann sie/er die Anfrage des RM-Clients bewältigen. Ein solcher RM-Client kann Dienste wie native CP, TV-Service, 2nd Screen, Flash-Player, U-Tube MSE (Media Source Extensions), Cloud-Game, Skype und dergleichen verarbeiten. In diesem Fall kann der Ressourcenmanager 1024, wie oben beschrieben, die Ressourcen durch entsprechende Datenkommunikation mit dem Richtlinienmanager 1026 verwalten, wenn dies für die Ressourcenverwaltung erforderlich ist.
  • Die URI-basierte Pipeline wird dabei durch den Medienserver 1020 verarbeitet, anstatt Medien direkt zu verarbeiten wie der RM-Client. Die URIbasierten Pipelines können Player-Factory, Gstreamer, Streaming-Plug-in, DRM-Plug-in-Pipeline (Digital Rights Management) und Ähnliches umfassen.
  • Ein Verfahren zur Kopplung zwischen einer Anwendung und Mediendiensten wird wie folgt beschrieben.
  • Es gibt eine Schnittstellenmethode, die einen Dienst in einer Webanwendung verwendet. Dies kann eine Luna Call-Methode mit PSB (Palm Service Bridge) oder eine Methode mit Cordova sein. Damit wird eine Anzeige um ein Video-Tag erweitert. Außerdem kann es eine Methode geben, die den HTMS5-Standard für Video-Tags oder Medienelemente verwendet.
  • Und, es gibt eine Methode zur Kopplung über einen Dienst in PDK.
  • Alternativ gibt es die Möglichkeit, einen Dienst in einem bestehenden CP zu nutzen. Dies ist durch die Erweiterung des Plug-ins einer bestehenden Plattform auf Basis von luna zur Abwärtskompatibilität nutzbar.
  • Schließlich gibt es eine Schnittstellenmethode für den Fall, dass es sich um ein Nicht-Web-OS handelt. In diesem Fall kann die Schnittstelle durch direkten Aufruf eines Luna-Busses erfolgen.
  • Der nahtlose Wechsel wird von einem separaten Modul (z.B. TVWIN) verarbeitet, das ein Verfahren zur Anzeige eines Fernsehers auf einem Bildschirm bevorzugt ohne Web OS und dann nahtlos vor oder während des Bootens von Web OS verarbeitet. Da die Bootzeit von Web OS beträchtlich lang ist, wird es verwendet, um grundlegende Funktionen eines TV-Dienstes bevorzugt für eine schnelle Reaktion auf die Einschaltanforderung eines Benutzers bereitzustellen. Und, das Modul ist ein Teil eines TV-Service-Prozesses und unterstützt einen nahtlosen Wechsel, der in der Lage ist, schnelles Booten und grundlegende TV-Funktionen, einen Werksmodus und dergleichen bereitzustellen. Und, das Modul kann für einen Wechsel vom Nicht-Web-OS-Modus zum Web-OS-Modus zuständig sein.
  • In 11 ist eine Verarbeitungsstruktur eines Medienservers dargestellt.
  • In 11 kann ein mit durchgezogener Linie gezeichneter Kasten eine Prozesshandhabungskonfiguration und ein mit gepunkteter Linie gezeichneter Kasten ein internes Verarbeitungsmodul in einem Prozess anzeigen. Ein mit durchgezogener Linie gezeichneter Pfeil kann einen Interprozess-Aufruf, d.h. einen Luna-Service-Aufruf, und ein mit gepunkteter Linie gezeichneter Pfeil kann eine Benachrichtigung von „register/notify“ oder einen Datenfluss anzeigen.
  • Ein Dienst, eine Web-Applikation oder eine PDK-Applikation (im Folgenden „Applikation“) ist über einen luna-Servicebus mit verschiedenen Dienstverarbeitungskonfigurationen verbunden. Über diesen wird die Applikation betrieben oder ein Betrieb der Applikation gesteuert.
  • Ein entsprechender Datenverarbeitungspfad wird je nach Art einer Anwendung geändert. Wenn es sich bei der Anwendung zum Beispiel um Bilddaten handelt, die sich auf einen Kamerasensor beziehen, werden sie verarbeitet, indem sie an einen Kameraprozessor 1130 gesendet werden. Der Kameraprozessor 1130 enthält ein Gestenmodul, ein Gesichtserkennungsmodul und ähnliches und verarbeitet die Bilddaten der empfangenen Anwendung. Im Falle von Daten, die die Verwendung einer Pipeline und dergleichen automatisch oder entsprechend der Auswahl eines Benutzers erfordern, kann der Kameraprozessor 1130 die entsprechenden Daten verarbeiten, indem er die Pipeline durch einen Medienserverprozessor 1110 erzeugt.
  • Wenn eine Anwendung Audiodaten enthält, können die entsprechenden Audiodaten alternativ über einen Audioprozessor (AudioD) 1140 und ein Audiomodul (PulseAudio) 1150 verarbeitet werden. Zum Beispiel verarbeitet der Audioprozessor 1140 die von der Anwendung empfangenen Audiodaten und sendet sie dann an ein Audiomodul 1150. Dabei kann der Audioprozessor 1140 die Verarbeitung der Audiodaten bestimmen, indem er einen Audio-Richtlinienmanager einbezieht. Die verarbeiteten Audiodaten werden von dem Audiomodul 1150 verarbeitet und gehandhabt. Die Anwendung kann Daten, die sich auf die Audiodatenverarbeitung beziehen, an das Audiomodul 1160 melden, die dem Audiomodul 1160 durch eine zugehörige Pipeline gemeldet werden können. Das Audiomodul 1150 enthält ALSA (Advanced Linux Sound Architecture).
  • Oder, für den Fall, dass eine Anwendung einen DRM-Hooked-Inhalt enthält oder verarbeitet (im Folgenden „enthält“), werden entsprechende Inhaltsdaten an einen DRM-Service-Prozessor 1160 gesendet. Der DRM-Service-Prozessor 1160 erzeugt die DRM-Hooked-Inhaltsdaten durch Generierung einer DRM-Instanz. Der DRM-Service-Prozessor 1160 kann zur Verarbeitung der DRM-Hooked-Inhaltsdaten über den Luna-Service-Bus mit einer DRM-Pipeline in einer Medien-Pipeline verbunden werden.
  • Eine Verarbeitung für den Fall, dass eine Anwendung Mediendaten oder TV-Dienstdaten (z.B. Sendedaten) enthält, wird wie folgt erläutert.
  • 12 ist ein Diagramm, das Details des Mediendienstprozessors und des TV-Dienstprozessors in 11 zeigt.
  • Die folgende Beschreibung erfolgt unter Bezugnahme auf 11 und 12.
  • Zunächst werden, falls eine Anwendung TV-Service-Daten enthält, diese vom TV-Service-Prozessor 1120/1220 verarbeitet.
  • Dabei kann der TV-Service-Prozessor 1120 mindestens einen DVR/Kanalmanager, ein Broadcast-Modul, einen TV-Pipeline-Manager, einen TV-Ressourcenmanager, ein Datenübertragungsmodul, ein Audioeinstellungsmodul, einen Pfadmanager und Ähnliches enthalten. Alternativ kann der TV-Dienstprozessor 1220 in 12 einen TV-Broadcast-Handler, eine TV-Broadcast-Schnittstelle, eine Dienstverarbeitungseinheit, eine TV-Middleware (MW), einen Pfadmanager und ein BSP (NetCast) enthalten. Dabei kann die Dienstverarbeitungseinheit ein Modul bedeuten, das einen TV-Pipeline-Manager, einen TV-Ressourcen-Manager, einen TV-Richtlinien-Manager, einen USM-Connector und Ähnliches umfasst.
  • In der vorliegenden Spezifikation kann der TV-Service-Prozessor in der in 11 oder 12 gezeigten Konfiguration oder einer Kombination beider Konfigurationen implementiert werden. Einige der dargestellten Komponenten können weggelassen werden oder neue Komponenten (nicht dargestellt) können nach Bedarf hinzugefügt werden.
  • Basierend auf dem Attribut oder dem Typ der von der Anwendung empfangenen TV-Dienstdaten sendet der TV-Dienstprozessor 1120/1220 DVR- oder kanalbezogene Daten an den DVR/Kanalmanager und sendet sie auch an den TV-Pipeline-Manager, um eine TV-Pipeline zu erzeugen und zu verarbeiten. Wenn das Attribut oder der Typ der TV-Dienstdaten Rundfunkinhaltsdaten sind, erzeugt und verarbeitet der TV-Dienstprozessor 1120 eine TV-Pipeline über den TV-Pipeline-Manager, um die entsprechenden Daten über das Rundfunkmodul zu verarbeiten.
  • Oder eine json-Datei (Javascript standard object notation) oder eine mit c zusammengesetzte Datei wird vom TV-Broadcast-Handler verarbeitet, über die TV-Broadcast-Schnittstelle an den Pipeline-Manager gesendet und dann durch die Generierung einer TV-Pipeline verarbeitet. In diesem Fall sendet die TV-Broadcast-Schnittstelle die Daten oder die Datei über den TV-Broadcast-Handler an den TV-Pipeline-Manager auf der Grundlage der TV-Service-Richtlinie, damit die Daten oder die Datei für die Pipeline-Generierung herangezogen werden können.
  • Der TV-Pipeline-Manager kann durch den TV-Ressourcen-Manager gesteuert werden, wenn er eine oder mehrere Pipelines als Reaktion auf eine TV-Pipeline-Erzeugungsanforderung vom Verarbeitungsmodul oder -manager im TV-Dienst erzeugt. Der TV-Ressourcenmanager kann, um einen Status und eine Zuweisung einer für den TV-Dienst zugewiesenen Ressource als Reaktion auf eine TV-Pipeline-Erzeugungsanforderung durch den TV-Pipeline-Manager anzufordern, durch den TV-Richtlinienmanager gesteuert werden und führt eine Datenkommunikation mit dem Medienserver-Prozessor 1110/1210 über den uMS-Anschluss durch. Der Ressourcen-Manager im Medienserver-Prozessor liefert einen Status und ein Vorhandensein/Nichtvorhandensein der Zuweisung einer Ressource für einen aktuellen TV-Dienst als Reaktion auf eine vom TV-Ressourcen-Manager gestellte Anforderung. Beispielsweise kann der Ressourcenmanager im Medienserver-Prozessor 1110/1210 als Ergebnis einer Bestätigung, wenn alle Ressourcen für den TV-Dienst bereits zugewiesen sind, dem TV-Ressourcenmanager mitteilen, dass alle aktuellen Ressourcen vollständig zugewiesen sind. Dabei kann der Ressourcenmanager im Medienserverprozessor die Erzeugung einer TV-Pipeline für den angeforderten TV-Dienst anfordern oder zuweisen, indem er eine vorgeschriebene TV-Pipeline gemäß einer Priorität oder einer vorgeschriebenen Referenz aus den zuvor für den TV-Dienst zugewiesenen TV-Pipelines entfernt, zusammen mit der Benachrichtigung. Alternativ kann der TV-Ressourcenmanager gemäß einem Statusbericht des Ressourcenmanagers im Medienserverprozessor 1110/1210 steuern, dass TV-Pipelines entsprechend entfernt, hinzugefügt oder eingerichtet werden.
  • Währenddessen unterstützt BSP die Abwärtskompatibilität mit einem bestehenden digitalen Gerät zum Beispiel.
  • Die oben erzeugten TV-Pipelines können in dem entsprechenden Verarbeitungsprozess unter der Kontrolle des Pfadmanagers angemessen arbeiten. Der Pfadmanager kann einen Verarbeitungspfad oder einen Prozess von Pipelines bestimmen oder steuern, indem er einen Betrieb einer vom Medienserverprozessor 1110/1210 generierten Pipeline sowie der TV-Pipeline im Verarbeitungsprozess berücksichtigt.
  • Wenn die Anwendung anstelle von TV-Dienstdaten Mediendaten enthält, werden die Daten vom Medienserver-Prozessor 1110/1210 verarbeitet. Der Medienserver-Prozessor 1110/1210 umfasst einen Ressourcenmanager, einen Richtlinienmanager, einen Medien-Pipeline-Manager, einen Medien-Pipeline-Controller und dergleichen. Verschiedene Pipelines, die unter der Kontrolle des Medien-Pipeline-Managers erzeugt werden können, können eine Kameravorschau-Pipeline, eine Cloud-Spiel-Pipeline, eine Medien-Pipeline und Ähnliches umfassen. Ein Streaming-Protokoll, ein automatischer/statischer Gstreamer, DRM und ähnliches können in der Medien-Pipeline enthalten sein, deren Verarbeitungsfluss unter der Steuerung des Pfadmanagers bestimmt werden kann. Auf die vorherige Beschreibung mit Bezug auf 10 wird für einen detaillierten Verarbeitungsprozess im Medienserverprozessor 1110/1210 Bezug genommen, der hier nicht redundant beschrieben wird.
  • In der vorliegenden Beschreibung kann der Ressourcen-Manager im Medienserver-Prozessor 1110/1210 z.B. eine Ressourcenverwaltung mit einer Zählerbasis durchführen.
  • 13 ist ein Diagramm, das ein Verfahren zur Steuerung einer Fernbedienung zeigt, die ein beliebiges Videoanzeigegerät gemäß Ausführungsformen der vorliegenden Erfindung steuert.
  • Wie in 13 (a) gezeigt, wird z.B. auf einer Anzeigeeinheit 180 ein Zeiger 205 angezeigt, der einem Fernbedienungsgerät 200 entspricht.
  • Ein Benutzer kann die Fernbedienung 200 nach oben und unten, nach rechts und links [13 (b)] oder vor und zurück [13 (c)] bewegen oder drehen. Der Zeiger 205, der auf der Anzeigeeinheit 180 des Videoanzeigegeräts angezeigt wird, entspricht einer Bewegung der Fernbedienung 200. Da der entsprechende Zeiger 205 in Reaktion auf eine Bewegung im 3D-Raum bewegt und angezeigt wird, kann eine solche Fernbedienung 200 als Raumfernbedienung bezeichnet werden.
  • 13 (b) zeigt beispielhaft, dass, wenn ein Benutzer die Fernbedienung 200 nach links bewegt, sich der auf der Anzeigeeinheit 180 des Videoanzeigegeräts angezeigte Zeiger 205 entsprechend nach links bewegt.
  • Informationen über die Bewegung der Fernbedienung 200, die über einen Sensor der Fernbedienung 200 erfasst werden, werden an das Videoanzeigegerät gesendet. Aus den Informationen über die Bewegung der Fernbedienung 200 kann das Videoanzeigegerät die Koordinaten des Zeigers 205 berechnen. Das Videoanzeigegerät kann den Zeiger 205 so anzeigen, dass er den berechneten Koordinaten entspricht.
  • 13 (c) zeigt beispielhaft, dass ein Benutzer die Fernbedienung 200 bewegt, um sich von der Anzeigeeinheit 180 zu entfernen, während er eine bestimmte Taste der Fernbedienung 200 drückt. In diesem Fall kann ein ausgewählter Bereich innerhalb der Anzeigeeinheit 180, der dem Zeiger 205 entspricht, durch Vergrößerung dargestellt werden. Im Gegensatz dazu kann ein ausgewählter Bereich innerhalb der Anzeigeeinheit 180, der dem Zeiger 205 entspricht, herausgezoomt werden, um verkleinert dargestellt zu werden, wenn ein Benutzer die Fernbedienung 200 bewegt, um sich der Anzeigeeinheit 180 zu nähern. Wenn sich die Fernbedienung 200 dagegen von der Anzeigeeinheit 180 entfernt, kann der ausgewählte Bereich herausgezoomt werden. Wenn sich die Fernbedienung 200 der Anzeigeeinheit 180 nähert, kann der ausgewählte Bereich vergrößert werden.
  • Während die spezifische Taste der Fernbedienung 200 gedrückt wird, kann die Erkennung von Bewegungen von oben nach unten und von rechts nach links ausgeschlossen werden. Wenn nämlich die Fernbedienung 200 bewegt wird, um sich von der Anzeigeeinheit 180 zu entfernen oder sich ihr zu nähern, werden Bewegungen von oben, unten, rechts und links nicht erkannt, sondern es kann eingestellt werden, dass nur eine Vorwärtsbewegung erkannt wird. Solange die spezifische Taste in der Fernbedienung 200 nicht gedrückt ist, bewegt sich nur der Zeiger 205 als Reaktion auf eine Oben-Unten- oder Rechts-Links-Bewegung der Fernbedienung 200.
  • Währenddessen kann eine Bewegungsgeschwindigkeit oder -richtung des Zeigers 205 derjenigen der Fernbedienung 200 entsprechen.
  • Unter einem Zeiger wird in der vorliegenden Beschreibung ein Objekt verstanden, das auf der Anzeigeeinheit 180 in Reaktion auf eine Bewegung der Fernbedienung 200 angezeigt wird. Daher sind mit dem Zeiger 205 neben der in der Zeichnung dargestellten Pfeilform auch Objekte in verschiedenen Formen möglich. Zum Beispiel kann das Objekt konzeptionell einen Punkt, einen Cursor, eine Eingabeaufforderung, einen dicken Umriss und ähnliches umfassen. Und der Zeiger 205 kann so dargestellt werden, dass er einer Vielzahl von Punkten einer Linie, einer Fläche oder ähnlichem entspricht, sowie einem Punkt einer Breitenlinie oder einer Längenlinie auf der Anzeigeeinheit 180 entsprechen.
  • 14 ist ein internes Blockdiagramm einer Fernbedienung, die ein beliebiges Videoanzeigegerät gemäß Ausführungsformen der vorliegenden Erfindung steuert.
  • Bezugnehmend auf 14 kann eine Fernsteuerung 200 eine drahtlose Kommunikationseinheit 225, eine Benutzereingabeeinheit 235, eine Sensoreinheit 240, eine Ausgabeeinheit 250, eine Stromversorgungseinheit 260, eine Speichereinheit 270 und einen Controller 280 umfassen.
  • Die drahtlose Kommunikationseinheit 225 überträgt Signale mit einem beliebigen der Videoanzeigegeräte gemäß den vorgenannten Ausführungsformen der vorliegenden Erfindung. Unter den Videoanzeigegeräten gemäß den Ausführungsformen der vorliegenden Erfindung soll beispielhaft ein vorgegebenes Videoanzeigegerät 100 beschrieben werden.
  • In der vorliegenden Ausführungsform kann die Fernsteuerung 200 ein RF-Modul 221 enthalten, das in der Lage ist, Signale mit dem Videoanzeigegerät 100 über die RF-Kommunikationsstandards zu übertragen. Und die Fernsteuerung 200 kann ein IR-Modul 223 enthalten, das in der Lage ist, Signale mit dem Videoanzeigegerät 100 über die IR-Kommunikationsstandards zu übertragen.
  • In der vorliegenden Ausführungsform überträgt die Fernbedienung 200 ein Signal, das Informationen über eine Bewegung der Fernbedienung 200 und Ähnliches enthält, über das HF-Modul 221 an das Videoanzeigegerät 100.
  • Und die Fernbedienung 200 kann ein vom Videoanzeigegerät 100 über das HF-Modul 221 gesendetes Signal empfangen. Außerdem kann die Fernbedienung 200 bei Bedarf über das IR-Modul 223 Befehle zum Ein- und Ausschalten, zur Kanalumschaltung, zur Änderung der Lautstärke und dergleichen an das Videoanzeigegerät 100 senden.
  • Die Benutzereingabeeinheit 235 kann eine Tastatur, eine Taste, ein Touchpad, einen Touchscreen oder Ähnliches umfassen. Ein Benutzer betätigt die Benutzereingabeeinheit 235 und gibt dadurch einen Befehl in Bezug auf das Videoanzeigegerät 100 in die Fernbedienung 200 ein. Falls die Benutzereingabeeinheit 235 eine Taste enthält, kann ein Benutzer einen Befehl in Bezug auf das Videoanzeigegerät 100 in die Fernsteuerung 200 eingeben, indem er die Taste drückt. Falls die Benutzereingabeeinheit 235 einen Touchscreen umfasst, berührt ein Benutzer eine Softtaste des Touchscreens und gibt dadurch einen Befehl in Bezug auf das Videoanzeigegerät 100 in die Fernsteuerung 200 ein. Die Benutzereingabeeinheit 235 kann Eingabemittel (z.B. eine Bildlauftaste, eine Tipptaste usw.) verschiedener Arten umfassen, die von einem Benutzer bedient werden können, wodurch der Umfang der beigefügten Ansprüche und ihrer Äquivalente nicht begrenzt ist.
  • Die Sensoreinheit 240 kann einen Kreiselsensor 241 oder einen Beschleunigungssensor 243 enthalten.
  • Der Gyrosensor 241 kann Informationen über eine Bewegung der Fernbedienung 200 erfassen.
  • Der Gyrosensor 241 kann z.B. Informationen über einen Betrieb der Fernbedienung 200 in Bezug auf die x-, y- und z-Achse erfassen. Der Beschleunigungssensor 243 kann Informationen über eine Bewegungsgeschwindigkeit der Fernsteuerung 200 und ähnliches erfassen. Des Weiteren kann ein Abstandsmessungssensor enthalten sein, mit dem ein Abstand zur Anzeigeeinheit 180 erfasst werden kann.
  • Die Ausgabeeinheit 250 kann ein Video- oder Audiosignal entsprechend einer Bedienung der Benutzereingabeeinheit 235 oder einem von dem Videoanzeigegerät 100 übertragenen Signal ausgeben. Über die Ausgabeeinheit 250 kann ein Benutzer feststellen, ob die Benutzereingabeeinheit 235 bedient oder das Videoanzeigegerät 100 gesteuert wird.
  • Zum Beispiel kann die Ausgabeeinheit 250 ein LED-Modul 251 enthalten, das zum Einschalten von Licht konfiguriert ist, ein Vibrationsmodul 253, das zur Erzeugung von Vibrationen konfiguriert ist, ein Audioausgabemodul 255, das zur Tonausgabe konfiguriert ist, oder ein Anzeigemodul 257, das zur Bildausgabe konfiguriert ist, wenn die Benutzereingabeeinheit 235 bedient wird oder ein Signal mit dem Videoanzeigegerät 100 über die drahtlose Kommunikationseinheit 225 gesendet bzw. empfangen wird.
  • Die Stromversorgungseinheit 260 versorgt die Fernbedienung 200 mit Strom. Wenn sich die Fernbedienung 200 während einer vorgeschriebenen Zeit nicht bewegt, stoppt die Stromversorgungseinheit 260 die Stromzufuhr, wodurch die Verschwendung von Strom reduziert wird. Wenn eine vorgeschriebene Taste, die der Fernbedienung 200 zur Verfügung gestellt wird, betätigt wird, kann die Stromversorgungseinheit 260 die Stromzufuhr wieder aufnehmen.
  • Die Speichereinheit 270 kann verschiedene Arten von Programmen, Anwendungen, Daten und dergleichen speichern, die für die Steuerung oder den Betrieb der Fernsteuerung 200 erforderlich sind. Wenn die Fernsteuerung 200 über das HF-Modul 221 drahtlos Signale mit dem Videoanzeigegerät 100 überträgt, übertragen die Fernsteuerung 200 und das Videoanzeigegerät 100 Signale auf einem vorgeschriebenen Frequenzband. Die Steuereinheit 280 der Fernsteuerung 200 speichert Informationen auf einem Frequenzband, auf dem Signale mit dem mit der Fernsteuerung 200 gekoppelten Videoanzeigegerät 100 drahtlos übertragen werden können, in der Speichereinheit 270 und kann dann auf die gespeicherten Informationen zugreifen.
  • Die Steuereinheit 280 steuert verschiedene Angelegenheiten oder Probleme im Zusammenhang mit der Steuerung der Fernbedienung 200. Der Controller 280 kann ein Signal, das einer Betätigung einer vorgeschriebenen Taste der Benutzereingabeeinheit 235 entspricht, oder ein Signal, das einer von der Sensoreinheit 240 erfassten Bewegung der Fernsteuerung 200 entspricht, über die drahtlose Kommunikationseinheit 225 an das Videoanzeigegerät 100 übertragen.
  • 15 ist eine schematische Ansicht, die ein Anzeigegerät gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.
  • Bezug nehmend auf 15 enthält das Anzeigegerät 1500 einen Tuner 1510, ein Kommunikationsmodul 1520, einen Controller 1530, ein Anzeigemodul 1540, einen Speicher 1550 und einen EPG-Signalprozessor 1560.
  • Der Tuner 1510 empfängt ein Rundfunksignal von einer Rundfunkstation.
  • Das Kommunikationsmodul 1520 führt die Kommunikation mit mindestens einem externen Server und einer externen Fernsteuerung durch.
  • Der Controller 1530 steuert den Tuner 1510, das Kommunikationsmodul 1520, das Anzeigemodul 1540, den Speicher 1550 oder/und den EGP-Signalprozessor 1560.
  • Die Steuereinheit 1530 nimmt einen Bildschirm, auf dem ein Inhalt wiedergegeben wird, auf, extrahiert ein erstes Schlüsselwort aus dem aufgenommenen Bild und EPG-Informationen, die im Rundfunksignal enthalten sind, erzeugt eine dem ersten Schlüsselwort entsprechende Konfidenz, zeigt ein erstes Menü mit dem extrahierten ersten Schlüsselwort auf dem Bildschirm an und überträgt das erste Schlüsselwort, dem ersten Schlüsselwort entsprechende Rückmeldeinformation und eine Konfidenz an den externen Server, wenn von der externen Fernbedienung eine Eingabe zur Auswahl des ersten Schlüsselworts empfangen wird. Das erste Menü enthält ein vom externen Server empfangenes Schlüsselwort.
  • Die Steuereinheit 1530 empfängt ein zweites Schlüsselwort, eine korrigierte Konfidenz sowie Rückmeldungsinformation vom externen Server, zeigt ein das empfangene zweite Schlüsselwort enthaltendes zweites Menü auf dem Bildschirm an und steuert die Anzeige eines dem zweiten Schlüsselwort entsprechenden ersten Bildschirms , wenn von der externen Fernbedienung eine Eingabe zur Auswahl des zweiten Schlüsselworts empfangen wird. In diesem Fall enthält der erste Bildschirm einen Suchergebnisbildschirm, in dem eine Suche basierend auf dem zweiten Schlüsselwort ausgeführt wurde, und einen Bildschirm, der eine auf das zweite Schlüsselwort bezogene Videoverknüpfung ausführen kann.
  • Beim Extrahieren des ersten Schlüsselworts konvertiert die Steuerung 1530 den aufgenommenen Bildschirm in einen Weiß- und Schwarz-Bildschirm und extrahiert das erste Schlüsselwort auf der Grundlage des konvertierten Bildschirms.
  • Der Controller erzeugt eine höhere Konfidenz, wenn die Korrelation mit dem ersten Schlüsselwort höher ist.
  • Diese Beschreibung wird unter Bezugnahme auf 22 im Detail erläutert.
  • Die Steuerung 1530 zeigt eine Anordnungsreihenfolge des zweiten Schlüsselworts anders als eine Anordnungsreihenfolge des ersten Schlüsselworts an, wenn das Menü mit dem empfangenen zweiten Schlüsselwort auf dem Bildschirm angezeigt wird.
  • Diese Beschreibung wird unter Bezugnahme auf 23 im Detail erläutert.
  • Wenn der Erfassungsbildschirm mindestens ein Objekt enthält, unterteilt die Steuerung 1530 den Erfassungsbildschirm in Bereiche pro Objekt, und wenn der pro Objekt unterteilte Bereich ein voreingestelltes spezifisches Bild enthält, steuert die Steuerung 1530 das Anzeigemodul, um ein Menü mit einem dritten Schlüsselwort anzuzeigen, das dem spezifischen Bild entspricht.
  • Diese Beschreibung wird unter Bezugnahme auf 24 im Detail erläutert.
  • Die Steuerung 1530 steuert das Anzeigemodul, um einen ersten Bildschirm entsprechend dem dritten Schlüsselwort anzuzeigen, wenn eine Eingabe zur Auswahl des dritten Schlüsselworts von einem Benutzer empfangen wird.
  • Diese Beschreibung wird unter Bezugnahme auf 25 im Detail erläutert.
  • 16 ist eine schematische Ansicht, die einen externen Server gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.
  • Bezug nehmend auf 16 enthält der externe Server 1600 ein drahtloses Kommunikationsmodul 1610, einen Speicher 1620 und einen Controller 1630.
  • Das drahtlose Kommunikationsmodul 1610 sendet und empfängt Daten zu und von mindestens einem Anzeigegerät einschließlich des Anzeigegeräts 1500.
  • Der Speicher 1620 speichert das erste Schlüsselwort, dem ersten Schlüsselwort entsprechende Rückmeldeinformation oder/und eine Konsequenz.
  • Die Steuereinheit 1630 empfängt über das drahtlose Kommunikationsmodul 1630 von mindestens einem das Anzeigegerät 1500 enthaltenden Anzeigegerät das erste Schlüsselwort, die dem ersten Schlüsselwort entsprechende Rückmeldeinformation oder/und eine Konfidenz und erzeugt ein zweites Schlüsselwort, indem sie Rückmeldeinformation oder/und eine Konfidenz auf der Grundlage des empfangenen ersten Schlüsselworts berücksichtigt.
  • Die Steuerung 1630 überträgt das generierte zweite Schlüsselwort und die Rückmeldeinformation über das drahtlose Kommunikationsmodul 1610 an das Anzeigegerät.
  • Der Controller 1630 setzt die Konfidenz des ersten Schlüsselworts auf hoch, wenn sich die Anzahl der Male zur Auswahl des ersten Schlüsselworts erhöht.
  • Der Controller 1630 setzt die Konfidenz des ersten Schlüsselworts auf hoch, wenn sich die dem ersten Schlüsselwort entsprechende Seitenverknüpfungsanzahl erhöht.
  • Der Controller 1630 des externen Servers klassifiziert die an den externen Server gelieferten Benutzerinformationen und eine Benutzerrückmeldung programmweise und aktualisiert die Benutzerinformationen und die Benutzerrückmeldung auf Basis eines internen Gewichtungswert-Algorithmus.
  • Als nächstes wird zusätzlich der interne Gewichtungsalgorithmus besch rieben.
  • Der Controller 1630 vergibt grundsätzlich einen Computer Vision-Gewichtungswert für Daten, die durch Computer Vision extrahiert wurden. Zum Beispiel identifiziert der Controller 1630 eine Vielzahl von Schlüsselwörtern, die aus dem aufgenommenen Bild extrahiert wurden, als Computer Vision-Gewichtungswert.
  • Der Controller 1630 zeigt die Vielzahl von Schlüsselwörtern, die durch die Computer Vision extrahiert wurden, auf dem Bildschirm an. Ein Benutzer betrachtet die Vielzahl der auf dem Bildschirm angezeigten Schlüsselwörter, wählt ein bestimmtes aus der Vielzahl der Schlüsselwörter aus und überträgt das ausgewählte spezifische Schlüsselwort an den externen Server. Der Controller 1630 des externen Servers identifiziert intern das vom Benutzer ausgewählte spezifische Schlüsselwort als Benutzergewichtungswert. In diesem Fall kann der Benutzer eine Vielzahl von spezifischen Schlüsselwörtern auswählen.
  • Der Controller 1630 bestimmt eine Anordnungsreihenfolge der Schlüsselwörter unter Berücksichtigung des Computer Vision Gewichtungswertes und des Benutzergewichtungswertes.
  • Wenn z.B. der Computer Vision-Gewichtungswert und der Benutzergewichtungswert niedriger sind, ordnet die Steuerung 1630 die Schlüsselwörter mit höheren Benutzergewichtungswerten am Anfang eines Menüs an. Wenn der Computer Vision-Gewichtungswert höher ist, ordnet der Controller 1630 die Schlüsselwörter mit höheren Benutzergewichtungswerten am unteren Ende des Menüs an.
  • Wenn ein bestimmtes Schlüsselwort einen hohen Wert für die Computer Vision-Gewichtung und einen hohen Wert für die Benutzergewichtung hat, ordnet der Controller 1630 dieses Schlüsselwort zusätzlich im obersten Menü an.
  • 17a ist eine Ansicht, die veranschaulicht, dass ein externer Server und eine Vielzahl von Anzeigegeräten Daten gemäß einer Ausführungsform der vorliegenden Offenlegung senden und empfangen.
  • Bezugnehmend auf 17a sind der externe Server 1600, eine erste Anzeigevorrichtung 1500-1, eine zweite Anzeigevorrichtung 1500-2 und eine dritte Anzeigevorrichtung 1500-3 dargestellt.
  • Gemäß einer Ausführungsform der vorliegenden Offenbarung werden, wenn ein erster Benutzer ein auf der ersten Anzeigevorrichtung 1500-1 angezeigtes erstes Schlüsselwort über eine externe Fernbedienung 1700 auswählt, das erste Schlüsselwort und eine Rückmeldung des ersten Benutzers an den externen Server 1600 übertragen.
  • Der Controller 1630 des externen Servers 1600 empfängt über das drahtlose Kommunikationsmodul 1630 das erste Schlüsselwort, die dem ersten Schlüsselwort entsprechende Rückmeldeinformation und eine Konfidenz von mindestens einem Anzeigegerät einschließlich des Anzeigegeräts 1500 und erzeugt ein zweites Schlüsselwort, indem er mindestens eine der Rückmeldeinformationen und eine Konfidenz auf der Grundlage des empfangenen ersten Schlüsselworts reflektiert.
  • Der Controller 1630 des externen Servers 1600 überträgt das zweite Schlüsselwort an das erste Anzeigegerät 1500-1, das zweite Anzeigegerät 1500-2 und das dritte Anzeigegerät 1500-3.
  • 17b ist eine Ansicht, die veranschaulicht, dass ein externer Server und ein Anzeigegerät gemäß einer Ausführungsform der vorliegenden Offenlegung Daten senden und empfangen.
  • Wie in 17b dargestellt, enthält das Anzeigegerät 1500 ein Kommunikationsmodul 1520, einen Controller 1530 und ein Anzeigemodul 1540. Die Steuerung 1530 umfasst ein Bild-Video-Aufnahmemodul 1532, einen Informationsanschluss 1534 und einen Benutzerinteraktionsprozessor 1536.
  • Der externe Server 1600 enthält ein drahtloses Kommunikationsmodul 1610, einen Speicher 1620 und einen Controller 1630. Der Controller 1630 enthält einen Datenprozessor 1632 und einen Gewichtswertprozessor 1634. Der externe Server 1600 umfasst einen Vision Big Data Server.
  • Das Bild-Video-Erfassungsmodul 1532 nimmt das aktuell auf dem Bildschirm wiedergegebene Video oder Bild auf. Der Controller 1530 extrahiert das erste Schlüsselwort aus dem aufgenommenen Videobild.
  • Der Controller 1530 extrahiert aus den Broadcast-Informationen Informationen zu Schlüsselwörtern, Bildern, Anzahl der Aufrufe und Inhaltsinformationen.
  • Der Informationskonnektor 1534 verbindet das erste Schlüsselwort mit mindestens einem der folgenden Elemente: broadcastinformationsbezogenes Schlüsselwort, Bild, Anzahl der Ansichten und Inhaltsinformationen.
  • Der Benutzerinteraktionsprozessor 1536 verarbeitet die von einem Benutzer empfangene Benutzerinteraktion und überträgt die verarbeitete Interaktion über das Kommunikationsmodul 1520 an den externen Server 1600. In diesem Fall bedeutet die Benutzerinteraktion, dass der Benutzer ein bestimmtes Schlüsselwort aus einer Vielzahl von Schlüsselwörtern auswählt, die aus dem aufgenommenen Bild extrahiert wurden.
  • Gemäß einer Ausführungsform der vorliegenden Offenlegung extrahiert der Controller 1530 das erste Schlüsselwort aus dem aufgenommenen Videobild und/oder einem Sendebild. Der Informationsverbinder 1534 verbindet das erste Schlüsselwort mit dem auf die Sendeinformationen bezogenen Schlüsselwort, dem Bild, den Ansichtszahlen und den Inhaltsinformationen. Die Steuereinheit 1530 überträgt das erste Schlüsselwort, das auf die Sendeinformationen bezogene Schlüsselwort, das Bild, die Anzahl der Ansichten und die Inhaltsinformationen über das Kommunikationsmodul 1520 an den externen Server 1600.
  • Der Datenprozessor 1632 verarbeitet die Informationen zum Gewichtswert und zeigt die verarbeiteten Informationen an.
  • Der Wägewertprozessor 1634 empfängt die Benutzerinteraktion von dem Anzeigegerät 1500. Der Wägewertprozessor 1634 ändert den Wägewert basierend auf der Benutzerinteraktion.
  • Der Gewichtswert wird zusätzlich beschrieben. Der Gewichtswert umfasst einen Computer Vision Gewichtswert und einen Benutzer Gewichtswert.
  • Der Computer Vision-Gewichtungswert ist ein Gewichtungswert, der den durch die Computer Vision extrahierten Daten gegeben wird. Zum Beispiel identifiziert der Controller 1630 des externen Servers 1600 die Vielzahl von Schlüsselwörtern, die aus dem aufgenommenen Bild extrahiert wurden, als den Computer-Vision-Gewichtungswert.
  • Der Benutzergewichtungswert ist ein Gewichtungswert, der einem bestimmten, von einem Benutzer auf dem Bildschirm ausgewählten Schlüsselwort zugewiesen wird.
  • Zum Beispiel zeigt die Steuerung 1530 die Vielzahl von Schlüsselwörtern, die durch die Computer Vision extrahiert wurden, auf dem Bildschirm an. Der Benutzer betrachtet die Vielzahl der auf dem Bildschirm angezeigten Schlüsselwörter, wählt ein bestimmtes aus der Vielzahl der Schlüsselwörter aus, und die Steuerung 1530 überträgt das vom Benutzer ausgewählte spezifische Schlüsselwort an den externen Server 1600. Die Steuerung 1630 des externen Servers 1600 identifiziert intern das vom Benutzer ausgewählte spezifische Schlüsselwort als Benutzergewichtungswert.
  • Der Controller 1630 generiert ein zweites Schlüsselwort, einen vertrauenswürdigen Kontext, einen verwandten Kontext und empfohlene Informationen auf der Grundlage des ersten Schlüsselworts, des mit den Broadcast-Informationen verwandten Schlüsselworts, des Bildes, der Anzahl der Ansichten und der Inhaltsinformationen, indem er den oben genannten Gewichtungswert berücksichtigt. Der Controller 1630 überträgt das generierte zweite Schlüsselwort, den vertrauenswürdigen Kontext, den verwandten Kontext und die empfohlenen Informationen an das Anzeigegerät 1500.
  • Die Steuerung 1530 zeigt das zweite Schlüsselwort, den vertrauenswürdigen Kontext, den verwandten Kontext und die empfohlenen Informationen über das Anzeigemodul 1540 an.
  • 18 ist eine Ansicht, die ein Verfahren zur Steuerung eines Anzeigegeräts gemäß einer Ausführungsform der vorliegenden Offenlegung zeigt. Das Verfahren der vorliegenden Offenbarung wird von der Steuerung 1530 ausgeführt.
  • Bezug nehmend auf 18 wird ein Rundfunksignal von einem Rundfunksender über einen Tuner (S1810) empfangen.
  • Als nächstes wird ein im empfangenen Rundfunksignal enthaltener Inhalt auf dem Bildschirm angezeigt (S1820).
  • Der Bildschirm, auf dem der Inhalt wiedergegeben wird, wird aufgezeichnet (S1830).
  • Das erste Schlüsselwort wird aus dem aufgenommenen Bildschirmbild und den im Rundfunksignal enthaltenen EPG-Informationen extrahiert (S1840).
  • Die dem ersten Schlüsselwort entsprechende Konfidenz wird erzeugt (S1850).
  • Ein erstes Menü, das das extrahierte erste Schlüsselwort enthält, wird auf dem Bildschirm angezeigt (S1860). In diesem Fall enthält das erste Menü ein vom externen Server empfangenes Schlüsselwort.
  • Wenn eine Eingabe zur Auswahl des ersten Schlüsselworts von einer externen Fernbedienung empfangen wird, werden das erste Schlüsselwort, dem ersten Schlüsselwort entsprechende Rückmeldeinformation oder/und eine Konfidenz an den externen Server übertragen (S1870).
  • Ein zweites Schlüsselwort, eine korrigierte Konfidenz und Rückmeldeinformation werden vom externen Server empfangen (S1880).
  • Ein zweites Menü, das das empfangene zweite Schlüsselwort enthält, wird auf dem Bildschirm angezeigt (S1890).
  • Wenn eine Eingabe zur Auswahl des zweiten Schlüsselworts von der externen Fernbedienung 1700 empfangen wird, wird ein dem zweiten Schlüsselwort entsprechender Bildschirm auf dem Bildschirm angezeigt (S1895).
  • 19 und 20 sind Ansichten, die ein Verfahren zur Steuerung eines Anzeigegeräts und eines externen Servers gemäß einer Ausführungsform der vorliegenden Offenbarung zeigen. Im Falle des Anzeigegeräts 1500 wird die vorliegende Offenbarung von der Steuerung 1530 des Anzeigegeräts 1500 ausgeführt. Im Falle des externen Servers 1600 wird die vorliegende Offenbarung von der Steuerung 1630 des externen Servers 1600 ausgeführt.
  • Bezug nehmend auf 19 wird zunächst ein Rundfunksignal von einem Rundfunksender über einen Tuner (S1910) empfangen.
  • Als nächstes wird ein im empfangenen Rundfunksignal enthaltener Inhalt auf dem Bildschirm angezeigt (S1915).
  • Der Bildschirm, auf dem der Inhalt wiedergegeben wird, wird aufgezeichnet (S1920).
  • Das erste Schlüsselwort wird aus dem aufgenommenen Bildschirmbild und/oder den im Rundfunksignal enthaltenen EPG-Informationen extrahiert (S1925).
  • Die dem ersten Schlüsselwort entsprechende Konfidenz wird erzeugt (S1930).
  • Ein erstes Menü, das das extrahierte erste Schlüsselwort enthält, wird auf dem Bildschirm angezeigt (S1935). In diesem Fall enthält das erste Menü ein vom externen Server empfangenes Schlüsselwort.
  • Wenn eine Eingabe zur Auswahl des ersten Schlüsselworts von der externen Fernbedienung 1700 empfangen wird, werden das erste Schlüsselwort, dem ersten Schlüsselwort entsprechende Rückmeldeinformation oder/und eine Konfidenz an den externen Server 1600 übertragen (S1940).
  • Der externe Server 1600 empfängt das erste Schlüsselwort, die dem ersten Schlüsselwort entsprechende Rückmeldeinformation oder/und eine Konfidenz vom Anzeigegerät 1500 (S1945).
  • Der Controller 1630 des externen Servers erzeugt eine zweite Schlüsselwortinformation, indem er mindestens eine der Rückmeldeinformationen und die Konfidenz auf der Basis des ersten Schlüsselworts reflektiert, und korrigiert die Konfidenz auf der Basis der Rückmeldeinformationen (S1950).
  • Das zweite Schlüsselwort, die korrigierte Konfidenz und die Rückmeldeinformation werden über das drahtlose Kommunikationsmodul an das Anzeigegerät 1500 übertragen.
  • Das Anzeigegerät 1500 empfängt das zweite Schlüsselwort, die korrigierte Konfidenz und die Rückmeldeinformation vom externen Server 1600 (S1960).
  • Bezug nehmend auf 20 zeigt die Steuerung 1530 des Anzeigegeräts 1500 ein zweites Menü, das das empfangene zweite Schlüsselwort enthält, auf dem Bildschirm an (S1965).
  • Wenn eine Eingabe zur Auswahl des zweiten Schlüsselworts von der externen Fernbedienung 1700 empfangen wird, wird ein dem zweiten Schlüsselwort entsprechender Bildschirm auf dem Bildschirm (S1970) angezeigt.
  • 21 ist eine Ansicht, die ein Verfahren zur Steuerung eines Anzeigegeräts gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt. Die vorliegende Offenbarung wird von der Steuerung 1530 des Anzeigegeräts 1500 ausgeführt. 21 ist so dargestellt, dass sie von einem Benutzer intuitiv verstanden werden kann.
  • Bezug nehmend auf 21 wird der Bildschirm, auf dem der Inhalt wiedergegeben wird, aufgenommen (S1830).
  • Das erste Schlüsselwort wird aus mindestens einem von dem aufgenommenen Bildschirmbild und den im Rundfunksignal enthaltenen EPG-Informationen extrahiert (S1840).
  • Die dem ersten Schlüsselwort entsprechende Konfidenz wird erzeugt (S1850).
  • Ein erstes Menü, das das extrahierte erste Schlüsselwort enthält, wird auf dem Bildschirm angezeigt (S1860). In diesem Fall enthält das erste Menü ein vom externen Server empfangenes Schlüsselwort.
  • Wenn eine Eingabe zur Auswahl des ersten Schlüsselworts von der externen Fernbedienung 1700 empfangen wird, werden das erste Schlüsselwort, dem ersten Schlüsselwort entsprechende Rückmeldeinformation oder/und eine Konfidenz an den externen Server 1600 übertragen (S1870).
  • Das zweite Schlüsselwort und die Rückmeldeinformationen werden vom externen Server (S1880) empfangen.
  • Ein zweites Menü, das das empfangene zweite Schlüsselwort enthält, wird auf dem Bildschirm angezeigt (S1890).
  • Wenn eine Eingabe zur Auswahl des zweiten Schlüsselworts von der externen Fernbedienung 1700 empfangen wird, wird ein dem zweiten Schlüsselwort entsprechender Bildschirm auf dem Bildschirm angezeigt (S1895).
  • 22 ist eine Ansicht, die einen Algorithmus zum Extrahieren eines Schlüsselworts aus einem Bild gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt. Die vorliegende Offenbarung wird von der Steuerung 1530 des Anzeigegeräts ausgeführt.
  • Bezugnehmend auf 22 wird zunächst ein Bild aufgenommen (S2210). Im Detail kann der Controller 1530 den Bildschirm erfassen, auf dem der Inhalt wiedergegeben wird.
  • Als nächstes wird das aufgenommene Bild verarbeitet (S2220). Um die Erkennungsrate des aufgenommenen Bildes zu verbessern, tastet die Steuerung 1530 das aufgenommene Bild erneut ab und führt eine Rauschunterdrückung für das aufgenommene Bild durch.
  • Außerdem wandelt die Steuerung 1530 das aufgenommene Bild in ein Schwarz-Weiß-Bild um. Wenn die Steuereinheit 1530 das aufgenommene Bild in ein Schwarz-Weiß-Bild umwandelt, kann die Erkennungsrate des aufgenommenen Bildes verbessert und die Verarbeitungszeit reduziert werden. Beim Extrahieren des ersten Schlüsselworts konvertiert die Steuereinheit 1530 den aufgenommenen Bildschirm in ein Schwarz-Weiß-Bild und extrahiert das erste Schlüsselwort auf der Grundlage des konvertierten Bildschirms.
  • Merkmale des Bildes werden extrahiert (S2230). Der Controller 1530 analysiert das verarbeitete Bild und extrahiert eine Linie, einen Rand, einen Rücken oder/und eine Ecke aus dem Bild. Der Controller 1530 extrahiert eine Textur oder/und einer Form aus dem Bild.
  • Das Bild wird in bestimmte Bereiche klassifiziert (S2240). Der Controller 1530 klassifiziert das Bild in bestimmte Bereiche, um das Bild zu seg montieren.
  • Das Schlüsselwort wird aus dem klassifizierten Bild extrahiert (S2250). Der Controller 1530 klassifiziert das Bild pro Objekt und extrahiert das erste Schlüsselwort auf der Basis des klassifizierten Objektbildes. In diesem Fall klassifiziert der Controller 1530 das Bild pro Objekt durch maschinelles Lernen.
  • Als nächstes wird das Schlüsselwort beschrieben. Das Schlüsselwort ist ein Kernwort, das aus einem Inhalt der Beschreibung oder einem wichtigen Inhalt im Titel zusammengefasst wird. Das Bild oder Video in einem Computer ist nur eine digitale Information wie 1 und 0. In der vorliegenden Offenlegung bedeutet das Schlüsselwort jedoch ein Wort, das von einem Benutzer aus dem Bild oder Video erkannt werden kann.
  • Bei einem Baseball-Bild kann ein Schlüsselwort z.B. Baseball, Ball, Stadion, Spieler, Mann o. ä. sein.
  • Als nächstes wird die Konfidenz des Schlüsselworts beschrieben. Jedes aus einem Bild- oder Videoaufnahmebildschirm extrahierte Schlüsselwort hat eine Konfidenz. In diesem Fall bedeutet die Konfidenz die Wahrscheinlichkeit der Korrelation zwischen dem aus dem aufgenommenen Bild extrahierten Schlüsselwort und dem aufgenommenen Bild. Die Konfidenz reicht von 0 bis 1.
  • Wenn die Konfidenz 0 ist, bedeutet dies, dass es keine Korrelation zwischen dem Schlüsselwort und dem aufgenommenen Bild gibt. Wenn die Konfidenz 1 ist, bedeutet dies, dass das Schlüsselwort eng mit dem aufgenommenen Bild korreliert ist.
  • Wenn z.B. Schlüsselwörter wie Baseball, Ball, Stadion, Spieler und Mann aus einem Bild eines Baseballspiels extrahiert werden, kann die vom Controller 1530 erzeugte Konfidenz basierend auf dem Videoaufnahmebild variiert werden. Der Controller 1530 kann eine Konfidenz von 0,6 im Fall von Baseball, 0,5 im Fall von Ball, 0,4 im Fall von Stadion, 0,3 im Fall von Spieler und 0,1 im Fall von Mann erzeugen.
  • Die Steuerung 1530 erzeugt eine höhere Konfidenz, wenn die Korrelation zwischen dem aufgenommenen Bild und dem ersten Schlüsselwort höher ist. Der Controller 1530 erzeugt eine geringere Konfidenz, wenn die Korrelation zwischen dem aufgenommenen Bild und dem ersten Schlüsselwort geringer ist.
  • Benutzerinteraktion bedeutet, dass ein Benutzer ein bestimmtes aus der Vielzahl von Schlüsselwörtern auswählt, die aus dem aufgenommenen Bild extrahiert wurden.
  • Der Controller 1630 des externen Servers generiert das zweite Schlüsselwort, indem er Rückmeldeinformation und eine Konfidenz auf der Grundlage des ersten Schlüsselworts reflektiert.
  • Das zweite Schlüsselwort wird auf der Grundlage des ersten Schlüsselworts generiert, indem die Konfidenz und die Benutzerrückmeldung berücksichtigt werden. Das zweite Schlüsselwort kann gleich dem ersten Schlüsselwort sein oder so konfiguriert sein, dass ein bestimmtes Wort mit dem ersten Schlüsselwort kombiniert werden kann. Auch kann sich das zweite Schlüsselwort vom ersten Schlüsselwort unterscheiden.
  • Die Konfidenz kann durch die Berücksichtigung der Rückmeldungsinformation korrigiert werden. Wenn es sich bei einem Inhalt z.B. um ein Baseball-Video handelt, wählen Benutzer häufig das Schlüsselwort „Baseball“ aus. Unter Berücksichtigung dieser Rückmeldung korrigiert der Controller 1630 die Konfidenz des Schlüsselworts „baseball“ von 0,6 auf 0,5. Die korrigierte Konfidenz des Schlüsselworts „baseball“ beträgt also 0,9.
  • Gemäß der vorliegenden Offenbarung erzeugt der Controller 1530 des Anzeigegeräts primär die Konfidenz, und dann korrigiert der Controller 1630 des externen Servers die Konfidenz, indem er eine Benutzerrückmeldung reflektiert. Daher ist es vorteilhaft, dass eine genauere Konfidenz erzeugt werden kann.
  • Im Folgenden wird die Konfidenz zusätzlich beschrieben.
  • Bezüglich der Konfidenz kann die Unterscheidung zu einem Echtzeit-Suchwort einer Suchmaschine ausgegeben werden. Gemäß der vorliegenden Offenlegung empfängt der Controller 1530 zu dem Zeitpunkt, an dem eine Benutzereingabe empfangen wird, eine Schlüsselwortempfehlung pro Kanal zu diesem Zeitpunkt.
  • Da eine Suchworteingabe von einem Benutzer kanabeschränkt empfangen wird, kann die Konfidenz in ein Suchwort für ein Rundfunkprogramm erhöht werden. Im Gegensatz dazu wird ein Echtzeit-Suchwort der Suchmaschine für alle Ausgaben ohne Einschränkung auf einen Kanal eingegeben. Daher kann das Echtzeit-Suchwort der Suchmaschine als ein Schlüsselwort mit geringer Konfidenz angesehen werden.
  • In diesem Fall bedeutet eine Echtzeit-Suchwortfunktion der Suchmaschine, dass das Suchwort-Ranking in Übereinstimmung mit einem Benutzerdatensatz ohne zusätzlichen Vorschlag unter Benutzern angezeigt wird, die eine bestimmte Suchmaschine verwenden.
  • In der vorliegenden Offenlegung werden durch die benutzerbasierte Klassifizierung pro Kanal und Sendung die aus dem Kanal und der Sendung extrahierten Schlüsselwörter den Benutzern zur Verfügung gestellt, die denselben Kanal und dieselbe Sendung sehen. Daher kann in der vorliegenden Offenlegung bei der Bereitstellung von Daten durch Computer Vision für einen Benutzer ein Ergebnisgewichtungswert der Computer Vision je nach Benutzerpräferenz geändert werden.
  • Daher sind die Unterscheidungspunkte zwischen der vorliegenden Offenlegung und der Echtzeitsuche der Suchmaschine wie folgt: i) es gibt eine Kategorie-Methode pro Kanal und Rundfunk, ii) ein Gewichtungswert wird einem Schlüsselwort gegeben, das aus dem Bildschirmaufnahmebild pro Kanal und Rundfunk extrahiert wird, iii) obwohl Daten für einen aktuellen Bildschirm im Hinblick auf Merkmale der Computer-Vision erhalten werden können, kann ein Benutzer Computer-Vision-Daten anderer Benutzer in Übereinstimmung mit einer Kategorie-Klassifizierung erhalten (Kanal, Broadcasting), iv) obwohl ein Gewichtungswert der Computervision ein Gewichtungswert ist, der auf einem berechneten Algorithmus basiert, wird ein Benutzergewichtungswert hinzugefügt und durch Benutzerinteraktion ergänzt, v) wenn die Suchmaschine einen Benutzersuchgraben reflektiert, wird ein Kontext in einem Programm der vorliegenden Offenbarung reflektiert und der entsprechende Kontext wird verbessert.
  • 23 ist eine Ansicht, die veranschaulicht, dass eine Anordnungsreihenfolge eines Schlüsselworts durch die Berücksichtigung einer Konfidenz und einer Benutzerrückmeldung gemäß einer Ausführungsform der vorliegenden Offenlegung variiert wird.
  • Bezug nehmend auf 23(a) extrahiert der Controller 1530 ein erstes Schlüsselwort aus einem Bildschirmaufnahmebild und EGP und zeigt ein Menü 2310 an, das das extrahierte erste Schlüsselwort 10 enthält.
  • Bezug nehmend auf 23(b) zeigt die Steuerung 1530 ein Menü 2320 an, das ein zweites, vom externen Server empfangenes Schlüsselwort 20 enthält.
  • Die Steuerung 1530 zeigt bei der Anzeige des vom externen Server empfangenen Menüs 2320 mit dem zweiten Schlüsselwort 20 eine andere Anordnungsreihenfolge des zweiten Schlüsselworts an als die des ersten Schlüsselworts 10.
  • Wenn z.B. in 23(a) das erste Schlüsselwort 10 eine hübsche Schwester ist, befindet sich das erste Schlüsselwort am unteren Ende eines Menüs. In 23(b), wenn das zweite Schlüsselwort 20 eine hübsche Schwester ist, befindet sich das zweite Schlüsselwort an einem oberen Ende eines Menüs.
  • In diesem Fall bedeutet der Fall, dass sich das Schlüsselwort am oberen Ende eines Menüs befindet, dass eine Vielzahl von Benutzern das Schlüsselwort ausgewählt hat, und der Fall, dass sich das Schlüsselwort am unteren Ende eines Menüs befindet, dass eine kleine Anzahl von Benutzern das Schlüsselwort ausgewählt hat.
  • Das heißt, ein Auswahlergebnis des ersten Schlüsselworts, das von einem ersten Benutzer ausgewählt wurde, wird an den externen Server übertragen, und der externe Server erzeugt das zweite Schlüsselwort, indem er Rückmeldungsinformation und eine Konfidenz auf Grundlage des empfangenen ersten Schlüsselworts berücksichtigt. Das heißt, der externe Server generiert das zweite Schlüsselwort, indem er Rückmeldungsinformation berücksichtigt, die anzeigt, dass viele Benutzer das erste Schlüsselwort zu diesem Zeitpunkt ausgewählt haben. In diesem Fall differenziert der Controller 1630 des externen Servers das zweite Schlüsselwort nach Kanal und Programm.
  • Der externe Server überträgt das zweite Schlüsselwort an mindestens ein Anzeigegerät, darunter das Anzeigegerät. Das zweite Schlüsselwort hat eine hohe Konfidenz, weswegen die Anordnungsreihenfolge des zweiten Schlüsselworts vor der Anordnungsreihenfolge des ersten Schlüsselworts steht. Daher kann ein zweiter Benutzer sehen, dass das zweite Schlüsselwort am oberen Ende des Menüs steht.
  • 24 ist eine Ansicht, die veranschaulicht, dass ein Erfassungsbild in Bereiche pro Objekt unterteilt ist, wenn das Erfassungsbild mindestens ein Objekt enthält, und die ein Menü veranschaulicht, das ein Schlüsselwort enthält, das einem bestimmten Bild entspricht, wenn der unterteilte Bereich das bestimmte Bild enthält.
  • Bezug nehmend auf 24(a) teilt der Controller 1530 einen Bereich eines Erfassungsbildschirms pro Objekt auf, wenn ein Erfassungsbildschirm mindestens ein Objekt enthält.
  • Wenn das Bild des Erfassungsbildschirms beispielsweise ein erstes Akteursobjekt 2410, ein zweites Akteursobjekt 2420, ein Taschenobjekt 2430 und ein Fensterobjekt 2440 enthält, unterteilt die Steuerung das Bild des Erfassungsbildschirms in Bereiche für jedes der ersten Akteursobjekte 2410, des zweiten Akteursobjekts 2420, des Taschenobjekts 2430 und des Fensterobjekts 2430.
  • Bezug nehmend auf 24(b) zeigt die Steuerung 1530 ein Menü auf dem Bildschirm an, das ein drittes Schlüsselwort enthält, das dem Bild entspricht, wenn der pro Objekt unterteilte Bereich ein voreingestelltes spezifisches Bild enthält.
  • Wenn z.B. der Bereich des ersten Akteursobjekts 2410 ein Mantel-Bild 2412 und ein Blusen-Bild 2414 enthält und das Taschen-Objekt 2430 ein TaschenBild 2432 enthält, wird ein Schlüsselwort, das dem Mantel-Bild 2412 entspricht, zu Sonyejins Mantel. Ebenso wird ein Schlüsselwort, das dem Blusenbild 2414 entspricht, zu Sonyejins Bluse. Ein Schlüsselwort, das dem Taschenbild 2432 entspricht, wird zu Sonyejins Tasche. Die Steuerung 1530 zeigt ein Menü 2450 auf dem Bildschirm an, das Sonyejins Mantel, Sonyejins Bluse und Sonyejins Tasche enthält.
  • 25 ist eine Ansicht, die veranschaulicht, dass ein einem Schlüsselwort entsprechender Bildschirm angezeigt wird, wenn eine Eingabe zur Auswahl des Schlüsselworts von einer externen Fernbedienung empfangen wird, in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
  • Wenn eine Eingabe zur Auswahl eines dritten Schlüsselworts von einem Benutzer empfangen wird, zeigt die Steuerung 1530 einen ersten Bildschirm an, der dem dritten Schlüsselwort entspricht.
  • In 25(a) zeigt die Steuerung 1530 beispielsweise ein Menü 2450, das ein Schlüsselwort enthält, auf der rechten Seite des Bildschirms an.
  • Wenn eine Eingabe zur Auswahl von Sonyejins Mantel, bei der es sich um ein Schlüsselwort handelt, über einen Zeiger 10 der externen Fernbedienung 1700 empfangen wird (siehe 25(b)), zeigt die Steuerung 1530 einen ersten Bildschirm an, der ein Bild 2510 enthält, das Sonyejins Mantel entspricht.
  • In diesem Fall enthält der erste Bildschirm das Bild von Sonyejins Mantel 2510, das Bild von Sonyejins Bluse 2520 und das Bild von Sonyejins Tasche 2530.
  • Gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt die Steuereinheit 1530, wenn eine Eingabe zur Auswahl von Sonyejins Mantel-Bild 2510 über einen Zeiger 10 von der externen Fernbedienung 1700 empfangen wird, eine Produkt-Verkaufsseite (nicht dargestellt) auf dem Bildschirm an, indem eine Verknüpfung zu Sonyejins Mantel-Produkt-Verkaufsseite hergestellt wird. Alternativ kann das Steuergerät 1530 einen Suchbildschirm anzeigen, auf dem nach dem entsprechenden Video von Sonyejin gesucht werden kann. Diese Ausführungsform wird auch auf das Bild von Sonyejins Bluse 2520 und das Bild von Sonyejins Tasche 2530 angewendet.
  • 26 ist eine Ansicht, die veranschaulicht, dass ein einem Schlüsselwort entsprechender Bildschirm angezeigt wird, indem das Schlüsselwort und eine Benutzerrückmeldung reflektiert werden, wenn eine Eingabe zur Auswahl des Schlüsselworts von einer externen Fernbedienung empfangen wird, gemäß einer Ausführungsform der vorliegenden Offenbarung.
  • Unter Bezugnahme auf 26(a) extrahiert die Steuerung 1530 ein erstes Schlüsselwort aus einem Bildschirmaufnahmebild und zeigt ein Menü 2610 an, das das extrahierte erste Schlüsselwort enthält.
  • Bei der Übertragung eines Baseballspiels kann der Controller 1530 beispielsweise Schlüsselwörter wie „Baseball“, „Spiel“, „Pitcher“ und „Hitter“ durch Computer Vision aus dem aufgenommenen Bildschirm extrahieren. In diesem Fall bedeutet die Computer Vision, dass ein Schlüsselwort aus einem Bild extrahiert wird.
  • Ein Benutzer kann über den Zeiger 10 Baseball aus einer Vielzahl von Schlüsselwörtern auswählen und zusätzlich eine auf Baseball bezogene Suche durchführen, z.B. eine Suche nach Videoinhalten und eine Websuche. Wenn der Benutzer an LG-Videos mit Baseball-Inhalten interessiert ist, kann der Benutzer in einem Suchfenster 30 nach Baseball und LG als Schlüsselwörter suchen. Der Controller 1530 empfängt die Schlüsselwörter, Baseball und LG, vom Benutzer über das Suchfenster 30.
  • Unter Bezugnahme auf 26(b) generiert der Controller 1530 ein zweites Schlüsselwort, indem er die Rückmeldung des Benutzers berücksichtigt und ein zweites Menü 2620, das das zweite Schlüsselwort enthält, auf dem Bildschirm anzeigt.
  • Das zweite Schlüsselwort kann zum Beispiel Baseball oder/und LG sein. Baseball und LG befinden sich am oberen Ende des zweiten Menüs 2620. Dies liegt daran, dass sich die Konfidenz in das zweite Schlüsselwort für Baseball und LG erhöht hat. Da die Rückmeldung des Benutzers berücksichtigt wurde, können andere Benutzer Baseball und LG über den Bildschirm sehen.
  • Gemäß der vorliegenden Offenlegung wird einem Benutzer ein Computer-Vision-Ergebnis angezeigt, und der Benutzer wählt ein bestimmtes Wort aus dem entsprechenden Ergebnis aus und versucht, zusätzlich nach dem bestimmten Wort zu suchen. Durch diesen Suchvorgang kann die Konfidenz in das spezifische Schlüsselwort erhöht werden. Außerdem können die anderen Benutzer das Schlüsselwort, in das die Benutzerrückmeldung eingeflossen ist, auf dem Bildschirm sehen.
  • 27 ist eine Ansicht, die veranschaulicht, dass ein einem Schlüsselwort entsprechender Bildschirm angezeigt wird, indem das Schlüsselwort und eine Benutzerrückmeldung reflektiert werden, wenn eine Eingabe zur Auswahl des Schlüsselworts von einer externen Fernbedienung empfangen wird, gemäß einer Ausführungsform der vorliegenden Offenbarung.
  • Unter Bezugnahme auf 27(a) extrahiert die Steuerung 1530 ein erstes Schlüsselwort aus einem Bildschirmaufnahmebild und zeigt ein Menü 2710 an, das das extrahierte erste Schlüsselwort enthält.
  • Bei der Übertragung von „Hyoris Gastfamilie“ kann die Steuerung 1530 beispielsweise Schlüsselwörter wie „Hyoris Gastfamilie“, „elektronisches Produkt“ und „Rest“ aus dem aufgenommenen Bildschirm durch Computer Vision extrahieren. In diesem Fall bedeutet die Computer Vision, dass ein Schlüsselwort aus einem Bild extrahiert wird.
  • Ein Benutzer kann über den Zeiger 10 ein elektronisches Produkt aus einer Vielzahl von Schlüsselwörtern auswählen und zusätzlich eine Suche im Zusammenhang mit dem elektronischen Produkt durchführen, z.B. eine Suche nach Videoinhalten und eine Websuche. Wenn der Benutzer unter den elektronischen Produkten an Hyoris Waffelmaschine für den Hausgebrauch interessiert ist, kann der Benutzer nach dem elektronischen Produkt und Hyoris Waffelmaschine für den Hausgebrauch als Schlüsselwörter in einem Suchfenster 30 suchen. Der Controller 1530 empfängt die Schlüsselwörter, elektronisches Produkt und Hyoris Heimaufenthalt-Waffelmaschine, vom Benutzer über das Suchfenster 30.
  • Unter Bezugnahme auf 27(b) generiert die Steuerung 1530 ein zweites Schlüsselwort, indem sie die Rückmeldung des Benutzers berücksichtigt und ein das zweite Schlüsselwort enthaltendes zweites Menü 2720 auf dem Bildschirm anzeigt.
  • Das zweite Schlüsselwort kann z.B. „Elektronisches Produkt“ oder/und „Hyoris Waffelmaschine“ sein. Elektronisches Produkt und Hyoris Waffelmaschine befinden sich am oberen Ende des zweiten Menüs 2720. Dies liegt daran, dass sich die Konfidenz des zweiten Schlüsselworts für elektronisches Produkt und Hyoris Homestay-Waffelmaschine erhöht hat. Da die Rückmeldung des Benutzers berücksichtigt wurde, können andere Benutzer das elektronische Produkt und die Hyoris Homestay-Waffelmaschine über den Bildschirm sehen.
  • Gemäß der vorliegenden Offenlegung wird einem Benutzer ein Computer-Vision-Ergebnis angezeigt, und der Benutzer wählt ein bestimmtes Wort aus dem entsprechenden Ergebnis aus und versucht, zusätzlich nach dem bestimmten Wort zu suchen. Durch diesen Suchvorgang kann die Konfidenz in das spezifische Schlüsselwort erhöht werden. Außerdem können die anderen Benutzer das Schlüsselwort, in das die Benutzerrückmeldung eingeflossen ist, auf dem Bildschirm sehen.
  • 28 ist eine Ansicht, die die Benutzerbedingungen veranschaulicht, wenn ein einem Schlüsselwort entsprechender Bildschirm angezeigt wird, indem das Schlüsselwort und eine Benutzerrückmeldung reflektiert werden, in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
  • Bezug nehmend auf 28 zeigt das Steuergerät 1530 ein Bild der Nutzungsbedingungen, das im Speicher gespeichert ist, auf dem Bildschirm an.
  • Da das Bild eines Benutzers an den externen Server übertragen wird, sollte der entsprechende Benutzer bezüglich der Funktion zum Extrahieren eines Schlüsselworts aus einem Benutzerbild und der Funktion zum Empfehlen des extrahierten Schlüsselworts an andere Benutzer den Inhalt der Geschäftsbedingungen prüfen, in denen diese Funktionen beschrieben sind, und die Geschäftsbedingungen müssen vom Benutzer akzeptiert werden. Wenn die Bedingungen unzureichend sind, sind zusätzliche Bedingungen erforderlich.
  • Gemäß einer Ausführungsform der vorliegenden Offenbarung kann ein Schlüsselwort aus einem aufgenommenen Bildschirmbild extrahiert werden, und es kann ein zweites Schlüsselwort erzeugt werden und eine Konfidenz kann korrigiert werden, indem eine Rückmeldung anderer Benutzer in dem extrahierten Schlüsselwort berücksichtigt wird. Da das zweite Schlüsselwort unter Bezugnahme auf die Rückmeldung anderer Benutzer erzeugt werden kann, kann deswegen eine Konfidenz des zweiten Schlüsselworts erhöht werden, wodurch die Benutzerfreundlichkeit verbessert werden kann.
  • Gemäß einer anderen Ausführungsform der vorliegenden Offenbarung kann eine Vielzahl von Benutzern ein Video ansehen, das gerade ausgestrahlt wird, ein Schlüsselwort kann korrigiert werden, indem die Rückmeldung der Vielzahl von Benutzern berücksichtigt wird, und das korrigierte Schlüsselwort kann für andere Benutzer empfohlen werden, wodurch die Benutzerfreundlichkeit verbessert werden kann.
  • Gemäß einer anderen Ausführungsform der vorliegenden Offenlegung kann die Konfidenz des ersten Schlüsselworts hoch angesetzt werden, wenn sich die dem ersten Schlüsselwort entsprechende Seitenverknüpfungsanzahl erhöht hat, wodurch die Benutzerfreundlichkeit verbessert werden kann.
  • Das Bildanzeigegerät und sein Betriebsverfahren gemäß der vorliegenden Offenbarung sind nicht auf die vorgenannten Ausführungsformen beschränkt, und alle oder einige der vorgenannten Ausführungsformen können selektiv in Kombination konfiguriert werden, so dass verschiedene Modifikationen in den vorgenannten Ausführungsformen vorgenommen werden können.
  • Das Betriebsverfahren des Bildanzeigegeräts gemäß der vorliegenden Offenbarung kann dabei in einem Aufzeichnungsmedium, das von einem in dem Bildanzeigegerät vorgesehenen Prozessor gelesen werden kann, als ein Code implementiert werden, der von dem Prozessor gelesen werden kann. Das Aufzeichnungsmedium, das von dem Prozessor gelesen werden kann, umfasst alle Arten von Aufzeichnungsmedien, in denen Daten gespeichert sind, die von dem Prozessor gelesen werden können. Beispiele für das Aufzeichnungsmedium sind ein ROM, ein RAM, eine CD-ROM, ein Magnetband, eine Floppy-Disk und ein optischer Datenspeicher. Ein weiteres Beispiel des Aufzeichnungsmediums kann auch in Form einer Trägerwelle, wie z.B. bei der Übertragung über das Internet, realisiert sein. Auch kann das Aufzeichnungsmedium, das vom Prozessor gelesen werden kann, in einem Computersystem verteilt sein, das über das Netzwerk damit verbunden ist, wobei Codes, die vom Prozessor gelesen werden können, in einem Verteilungsmodus gespeichert und implementiert werden können.
  • Die obige detaillierte Beschreibung sollte in jeder Hinsicht als illustrativ und nicht einschränkend betrachtet werden. Der Umfang der vorliegenden Offenbarung sollte durch vernünftige Auslegung der beigefügten Ansprüche bestimmt werden, und alle Änderungen, die in den äquivalenten Umfang der vorliegenden Offenbarung fallen, sind im Umfang der vorliegenden Offenbarung enthalten.
  • Verfahren zur Durchführung der Erfindung
  • Verschiedene Ausführungsformen wurden in der besten Ausführungsform der vorliegenden Offenbarung beschrieben.
  • Industrielle Anwendbarkeit
  • Die vorliegende Offenbarung wird auf dem Gebiet einer Reihe von Anzeigegeräten verwendet.
  • Es ist für den Fachmann offensichtlich, dass verschiedene Modifikationen und Variationen in der vorliegenden Offenbarung vorgenommen werden können, ohne vom Geist oder Umfang der Erfindung abzuweichen. Daher soll die vorliegende Offenbarung Modifikationen und Variationen der vorliegenden Offenbarung umfassen, die innerhalb der beigefügten Ansprüche und des entsprechenden Umfangs vorgesehen sind.

Claims (20)

  1. Anzeigegerät umfassend: einen Tuner, der zum Empfang eines Rundfunksignals von einer Rundfunkstation eingerichtet ist; ein Kommunikationsmodul, das zur Durchführung von Kommunikation mit einem externen Server oder/und einer externen Fernsteuerung eingerichtet ist; eine Anzeige, die dazu eingerichtet ist, einen in dem empfangenen Rundfunksignal enthaltenen Inhalt auf einem Bildschirm anzuzeigen, wobei der Inhalt von dem externen Server empfangen oder in einem internen Speicher gespeichert wird; und einen zur Steuerung des Tuners, des Kommunikationsmoduls oder/und der Anzeige eingerichteten Controller, wobei der Controller weiter dazu eingerichtet ist: einen Bildschirm aufnehmen, in dem der Inhalt wiedergegeben wird, ein erstes Schlüsselwort aus dem aufgenommenen Bildschirmbild und in dem Rundfunksignal enthaltener EPG-Information zu extrahieren, eine dem ersten Schlüsselwort entsprechende Konfidenz zu erzeugen, die Anzeige zu veranlassen, ein das extrahierte erste Schlüsselwort enthaltendes erstes Menü auf dem Bildschirm anzuzeigen, wenn eine Eingabe zur Auswahl des ersten Schlüsselworts von der externen Fernbedienung empfangen wird, das erste Schlüsselwort, dem ersten Schlüsselwort entsprechende Rückmeldeinformation oder/und die Konfidenz an den externen Server zu übertragen, ein zweites Schlüsselwort, eine korrigierte Konfidenz und die Rückmeldeinformation von dem externen Server zu empfangen, die Anzeige zu veranlassen, ein das empfangene zweite Schlüsselwort enthaltendes zweites Menü auf dem Bildschirm anzuzeigen, und wenn eine Eingabe zur Auswahl des zweiten Schlüsselworts von der externen Fernbedienung empfangen wird, die Anzeige zu veranlassen, einen dem zweiten Schlüsselwort entsprechenden ersten Bildschirm anzuzeigen.
  2. Anzeigegerät nach Anspruch 1, wobei der Controller ferner dazu eingerichtet ist: den aufgenommenen Bildschirm beim Extrahieren des ersten Schlüsselworts in einen Schwarz-Weiß-Bildschirm zu konvertieren, und das erste Schlüsselwort auf der Grundlage des konvertierten Bildschirms zu extrahieren.
  3. Anzeigegerät nach Anspruch 1, wobei der Controller ferner dazu eingerichtet ist: den aufgenommenen Bildschirm beim Extrahieren des ersten Schlüsselworts objektbezogen zu klassifizieren und das erste Schlüsselwort auf Basis des klassifizierten Objektbildes zu extrahieren.
  4. Anzeigegerät nach Anspruch 3, wobei der Controller ferner dazu eingerichtet ist, eine höhere Konfidenz zu erzeugen, wenn eine Korrelation mit dem ersten Schlüsselwort höher ist.
  5. Anzeigegerät nach Anspruch 1, wobei die Steuerung ferner dazu eingerichtet ist, die Anzeige zu veranlassen, bei der Anzeige eines das empfangene zweite Schlüsselwort enthaltenden Menüs auf dem Bildschirm eine Anordnungsreihenfolge des zweiten Schlüsselworts anders anzuzeigen als eine Anordnungsreihenfolge des ersten Schlüsselworts.
  6. Anzeigegerät nach Anspruch 1, wobei der Controller ferner dazu eingerichtet ist: den aufgenommenen Bildschirm objektbezogen in Bereiche zu unterteilen, wenn der aufgenommene Bildschirm mindestens ein Objekt enthält, und die Anzeige zum Anzeigen eines Menüs zu steuern, welches ein einem voreingestellten spezifischen Bild entsprechendes drittes Schlüsselwort enthält, wenn der objektbezogen unterteilte Bereich das voreingestellte spezifische Bild enthält.
  7. Anzeigegerät nach Anspruch 6, wobei der Controller ferner dazu eingerichtet ist, die Anzeige zum Anzeigen eines dem dritten Schlüsselwort entsprechenden ersten Bildschirms zu veranlassen, wenn von einem Benutzer eine Eingabe zur Auswahl des dritten Schlüsselworts empfangen wird.
  8. Ein externer Server umfassend: ein drahtloses Kommunikationsmodul, welches dazu eingerichtet ist, Daten zu und von mindestens einem Anzeigegerät einschließlich eines Anzeigegeräts zu senden bzw. zu empfangen; und einen Controller, welcher dazu eingerichtet ist: über das drahtlose Kommunikationsmodul ein erstes Schlüsselwort, dem ersten Schlüsselwort entsprechende Rückmeldeinformation oder/und eine Konfidenz von mindestens einem Anzeigegerät einschließlich des Anzeigegeräts zu empfangen, ein zweites Schlüsselwort zu erzeugen, indem die Rückmeldeinformation oder/und die Konfidenz auf Basis des empfangenen ersten Schlüsselworts reflektiert werden, die Konfidenz auf Basis der Rückmeldeinformation zu korrigieren, und das erzeugte zweite Schlüsselwort, die korrigierte Konfidenz und die Rückmeldeinformation über das drahtlose Kommunikationsmodul an das Anzeigegerät zu übertragen.
  9. Externer Server nach Anspruch 8, wobei der Controller ferner dazu eingerichtet ist, eine Konfidenz des ersten Schlüsselworts auf hoch zu setzen, wenn sich die Anzahl der Male zur Auswahl des ersten Schlüsselworts erhöht.
  10. Externer Server nach Anspruch 8, wobei der Controller ferner dazu eingerichtet ist, die Konfidenz des ersten Schlüsselworts auf hoch zu setzen, wenn sich eine dem ersten Schlüsselwort entsprechende Seitenverknüpfungshäufigkeit erhöht.
  11. Verfahren zur Steuerung eines Anzeigegeräts, wobei das Verfahren umfasst: Empfangen eines Rundfunksignals von einer Rundfunkstation über einen Tuner; Anzeigen eines in dem empfangenen Rundfunksignal enthaltenen Inhalts auf einem Bildschirm; Erfassen eines Bildschirms, in dem der Inhalt wiedergegeben wird; Extrahieren eines ersten Schlüsselworts aus dem aufgenommenen Bildschirmbild und in dem Rundfunksignal enthaltener EPG-Information; Erzeugen einer dem ersten Schlüsselwort entsprechenden Konfidenz; Anzeige eines das extrahierte erste Schlüsselwort enthaltenden Menüs auf dem Bildschirm; wenn eine Eingabe zur Auswahl des ersten Schlüsselworts von der externen Fernbedienung empfangen wird, Übertragen des ersten Schlüsselworts, dem ersten Schlüsselwort entsprechender Rückmeldeinformation oder/und der Konfidenz an den externen Server; Empfangen eines zweiten Schlüsselworts und der Rückmeldeinformation von dem externen Server; Anzeigen eines das empfangene zweite Schlüsselwort enthaltenden Menüs auf dem Bildschirm; und wenn eine Eingabe zur Auswahl des zweiten Schlüsselworts von der externen Fernbedienung empfangen wird, Anzeigen eines dem zweiten Schlüsselwort entsprichenden Bildschirms.
  12. Verfahren nach Anspruch 11, ferner umfassend das Konvertieren des aufgenommenen Bildschirms in einen Schwarz-Weiß-Bildschirm, wenn das erste Schlüsselwort extrahiert wird, und das Extrahieren des ersten Schlüsselworts auf der Grundlage des konvertierten Bildschirms.
  13. Verfahren nach Anspruch 11, ferner umfassend das objektbezogene Klassifizieren des aufgenommenen Bildschirms, wenn das erste Schlüsselwort extrahiert wird, und das Extrahieren des ersten Schlüsselworts auf der Basis des klassifizierten Objektbilds.
  14. Verfahren nach Anspruch 13, ferner umfassend das Erzeugen einer höheren Konfidenz, wenn eine Korrelation mit dem ersten Schlüsselwort höher ist.
  15. Verfahren nach Anspruch 11, ferner umfassend das Anzeigen einer Anordnungsreihenfolge des zweiten Schlüsselworts anders als eine Anordnungsreihenfolge des ersten Schlüsselworts, wenn ein das empfangene zweite Schlüsselwort enthaltendes Menü auf dem Bildschirm angezeigt wird.
  16. Verfahren nach Anspruch 11, ferner umfassend das objektbezogene Unterteilen des aufgenommenen Bildschirms in Bereiche, wenn der aufgenommene Bildschirm mindestens ein Objekt enthält, und das Steuern eines Anzeigemoduls zur Anzeige eines Menüs, welches ein einem voreingestellten spezifischen Bild entsprechendes drittes Schlüsselwort enthält, wenn der objektbezogen unterteilte Bereich das voreingestellte spezifische Bild enthält.
  17. Verfahren nach Anspruch 16, ferner umfassend das Steuern des Anzeigemoduls zum Anzeigen eines dem dritten Schlüsselwort entsprechenden ersten Bildschirms, wenn von einem Benutzer eine Eingabe zur Auswahl des dritten Schlüsselworts empfangen wird.
  18. Verfahren zur Steuerung eines externen Servers, wobei das Verfahren umfasst: Empfangen eines ersten Schlüsselworts, dem ersten Schlüsselwort entsprechender Rückmeldeinformation oder/und einer Konfidenz von mindestens einem Anzeigegerät einschließlich eines Anzeigegeräts über ein drahtloses Kommunikationsmodul; Erzeugen eines zweiten Schlüsselworts durch Reflektieren der Rückmeldeinformation oder/und der Konfidenz auf Basis des empfangenen ersten Schlüsselworts; Korrigieren der Konfidenz auf Basis der Rückmeldeinformation; und Übertragen des erzeugten zweiten Schlüsselworts, der korrigierten Konfidenz und der Rückmeldeinformation an das Anzeigegerät über das drahtlose Kommunikationsmodul.
  19. Verfahren nach Anspruch 18, ferner umfassend das Setzen einer Konfidenz des ersten Schlüsselworts auf hoch, wenn sich die Anzahl der Male zur Auswahl des ersten Schlüsselworts erhöht.
  20. Verfahren nach Anspruch 18, ferner umfassend das Setzen einer Konfidenz des ersten Schlüsselworts auf hoch, wenn sich eine dem ersten Schlüsselwort entsprechende Seitenverknüpfungshäufigkeit erhöht.
DE112018007902.3T 2018-09-11 2018-09-11 Anzeigegerät und verfahren zur steuerung desselben Pending DE112018007902T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/010608 WO2020054882A1 (ko) 2018-09-11 2018-09-11 디스플레이 디바이스 및 그 제어 방법

Publications (1)

Publication Number Publication Date
DE112018007902T5 true DE112018007902T5 (de) 2021-04-29

Family

ID=69777777

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018007902.3T Pending DE112018007902T5 (de) 2018-09-11 2018-09-11 Anzeigegerät und verfahren zur steuerung desselben

Country Status (3)

Country Link
US (1) US11509967B2 (de)
DE (1) DE112018007902T5 (de)
WO (1) WO2020054882A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11483046B1 (en) 2020-08-25 2022-10-25 Amazon Technologies, Inc. Channel state information (CSI) packet transmission based on a dynamic transmission period
US11539610B1 (en) * 2020-08-25 2022-12-27 Amazon Technologies, Inc. Presence detection based on link parameter data and network parameter data
CN115131488B (zh) * 2022-08-31 2022-11-29 麒麟软件有限公司 wayland图形显示环境下管理显示缓存的方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120091496A (ko) * 2010-12-23 2012-08-20 한국전자통신연구원 방송 서비스 제공 시스템 및 방송 서비스 제공 방법
KR20140044663A (ko) * 2012-10-05 2014-04-15 삼성전자주식회사 방송 수신 장치 및 디스플레이 장치와 이를 이용한 검색 방법
KR20140131166A (ko) * 2013-05-03 2014-11-12 삼성전자주식회사 디스플레이 장치 및 검색 방법
KR20150066915A (ko) * 2013-12-09 2015-06-17 주식회사 케이티 방송 컨텐츠에 대한 부가 정보를 생성하는 서버 및 방법, 그리고 부가 정보를 표시하는 디바이스
KR20170011359A (ko) * 2015-07-22 2017-02-02 삼성전자주식회사 방송 콘텐트와 관련된 정보를 제공하는 전자 장치 및 그 방법
KR102561711B1 (ko) * 2016-02-26 2023-08-01 삼성전자주식회사 컨텐트를 인식하는 방법 및 장치

Also Published As

Publication number Publication date
US11509967B2 (en) 2022-11-22
US20220060792A1 (en) 2022-02-24
WO2020054882A1 (ko) 2020-03-19

Similar Documents

Publication Publication Date Title
US11962934B2 (en) Display device and control method therefor
DE202014011066U1 (de) Digitale Vorrichtung
US10194112B2 (en) Display device and control method therefor
US9094709B2 (en) Image display apparatus and method for operating the same
EP2642765B1 (de) Webbrowsing-verfahren und bildanzeigevorrichtung unter anwendung dieses verfahrens
US8776154B2 (en) Method for sharing messages in image display and image display device for the same
DE202011110780U1 (de) Multifunktionsanzeigevorrichtung
DE202011110525U1 (de) Multifunktions-Anzeigevorrichtung
US9250927B2 (en) Digital receiver and method for controlling the same
DE202010018023U1 (de) Bildanzeigegerät
US10542311B2 (en) Display device and control method for displaying detailed information of a specific area
KR102413328B1 (ko) 메인 스피커, 서브 스피커 및 이들을 포함하는 시스템
DE202011110535U1 (de) Bildanzeigevorrichtung zur Bereitstellung eines Fernsteuerdienstes
KR20120059790A (ko) 화면 표시 제어 방법 및 그를 이용한 영상 표시 기기
KR102557574B1 (ko) 디지털 디바이스 및 그 제어 방법
DE112018007902T5 (de) Anzeigegerät und verfahren zur steuerung desselben
KR102311249B1 (ko) 디스플레이 디바이스 및 그 제어 방법
KR102603458B1 (ko) 디지털 디바이스 및 그 제어 방법
KR102443319B1 (ko) 디지털 디바이스 및 그 제어 방법
KR20160048430A (ko) 디지털 디바이스 및 디지털 디바이스에서 데이터 처리 방법
KR20200085104A (ko) 디스플레이 디바이스 및 그 제어 방법
KR102439464B1 (ko) 디지털 디바이스 및 그 제어 방법
KR20200084563A (ko) 디스플레이 디바이스 및 그 제어 방법
KR20200085115A (ko) 디스플레이 디바이스 및 그 제어 방법
KR20200088033A (ko) 디스플레이 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
R012 Request for examination validly filed