DE202012104833U1 - Image processing apparatus and image processing system - Google Patents

Image processing apparatus and image processing system Download PDF

Info

Publication number
DE202012104833U1
DE202012104833U1 DE202012104833U DE202012104833U DE202012104833U1 DE 202012104833 U1 DE202012104833 U1 DE 202012104833U1 DE 202012104833 U DE202012104833 U DE 202012104833U DE 202012104833 U DE202012104833 U DE 202012104833U DE 202012104833 U1 DE202012104833 U1 DE 202012104833U1
Authority
DE
Germany
Prior art keywords
utterance
voice command
voice
user
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE202012104833U
Other languages
German (de)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of DE202012104833U1 publication Critical patent/DE202012104833U1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

Bildverarbeitungsvorrichtung (100), die umfasst: einen Bildprozessor (120), der ein Bildsignal verarbeiten kann, um auf der Grundlage des verarbeiteten Bildsignals ein Bild anzuzeigen; eine Spracheingabeeinheit (160), die eine Sprachäußerung eines Nutzers empfangen kann; einen Sprachprozessor (170), der in Übereinstimmung mit einem der Sprachäußerung entsprechenden Sprachbefehl eine entsprechende im Voraus festgelegte Operation ausführen kann; und eine Steuereinrichtung (190), die die entsprechende Operation des Sprachbefehls anpassen kann, falls die in die Spracheingabeeinheit (160) eingegebene Sprachäußerung nicht zu der entsprechenden Operation durch den Sprachprozessor (170) passt, und die in Übereinstimmung mit dem Anpassungsergebnis die entsprechende Operation ausführen kann, die zu der Sprachäußerung passt.Image processing apparatus (100) comprising: an image processor (120) capable of processing an image signal to display an image based on the processed image signal; a voice input unit (160) that can receive a voice utterance of a user; a voice processor (170) capable of executing a corresponding predetermined operation in accordance with a voice command corresponding to the voice utterance; and a controller (190) that can adjust the corresponding operation of the voice command if the voice utterance input to the voice input unit (160) does not match the corresponding operation by the voice processor (170) and execute the corresponding operation in accordance with the matching result can, which fits the speech.

Description

Die Erfindung betrifft das Gebiet der Bildverarbeitungsvorrichtungen und der Bildverarbeitungssysteme, die ein Bildsignal wie etwa ein von außen zugeführtes Rundfunksignal verarbeiten können, um auf der Grundlage des verarbeiteten Bildsignals ein Bild anzuzeigen, und insbesondere eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungssystem, die einen Sprachbefehl eines Nutzers erkennen können, um eine dem Sprachbefehl entsprechende Funktion oder Operation auszuführen.The present invention relates to the field of image processing apparatuses and image processing systems which can process an image signal such as an externally supplied broadcast signal to display an image based on the processed image signal, and more particularly to an image processing apparatus and an image processing system which can recognize a voice command of a user to perform a function or operation corresponding to the voice command.

Die Anmeldung beansprucht die Priorität der Anmeldung KR 10-2012-0119634 , eingereicht am 26. Oktober 2012 beim Koreanischen Patentamt, deren Offenbarung hier durch Bezugnahme vollständig mit aufgenommen ist.The application claims the priority of the application KR 10-2012-0119634 filed Oct. 26, 2012 with the Korean Patent Office, the disclosure of which is fully incorporated herein by reference.

Eine Bildverarbeitungsvorrichtung verarbeitet Bildsignale bzw. Bilddaten, die von außen zugeführt werden, in Übereinstimmung mit verschiedenen Bildverarbeitungsoperationen. Die Bildverarbeitungsvorrichtung kann auf der Grundlage des verarbeiteten Bildsignals ein Bild auf ihrem Anzeigebildschirm anzeigen oder kann das verarbeitete Bildsignal an eine andere Anzeigevorrichtung mit einem Bildschirm ausgeben, damit diese auf der Grundlage des verarbeiteten Bildsignals darauf ein Bild anzeigt. Das heißt, solange die Bildverarbeitungsvorrichtung das Bildsignal verarbeiten kann, kann sie einen oder keinen Bildschirm zum Anzeigen des Bilds enthalten. Der erstere Fall ist in einem Fernsehgerät, der Letztere dagegen in einer Set-Top-Box implementiert.An image processing apparatus processes image signals supplied from the outside in accordance with various image processing operations. The image processing device may display an image on its display screen based on the processed image signal or may output the processed image signal to another display device having a screen to display an image thereon based on the processed image signal. That is, as long as the image processing device can process the image signal, it may include one or no screen for displaying the image. The former case is in a television set, whereas the latter is implemented in a set-top box.

Zu der Bildverarbeitungsvorrichtung werden ständig neue Funktionen hinzugefügt und bestehende Funktionen entsprechend der technologischen Entwicklung erweitert. In diesem Trend werden verschiedene Konfigurationen und Verfahren geschaffen, um wunschgemäß Nutzerbefehle in die Bildverarbeitungsvorrichtung einzugeben. Falls ein Nutzer z. B. in einer herkömmlichen Bildverarbeitungsvorrichtung eine Taste bzw. eine Schaltfläche auf einer Fernbedienung niederdrückt, wird ein Steuersignal an die Bildverarbeitungsvorrichtung gesendet, um eine von dem Nutzer gewünschte Operation auszuführen. In den letzten Jahren detektiert die Bildverarbeitungsvorrichtung dagegen die Bewegung oder Sprachäußerung eines Nutzers, analysiert sie den detektierten Inhalt und führt sie eine entsprechende Operation aus und wird dadurch entsprechend der Absicht eines Nutzers gesteuert.New functions are constantly added to the image processing apparatus and existing functions are expanded according to technological development. In this trend, various configurations and methods are provided for entering user commands into the image processing device as desired. If a user z. For example, in a conventional image processing apparatus, when a button on a remote control is depressed, a control signal is sent to the image processing apparatus to perform an operation desired by the user. In recent years, on the other hand, the image processing apparatus detects the motion or speech of a user, analyzes the detected content, and performs a corresponding operation, thereby being controlled according to a user's intention.

Der Erfindung liegt daher die Aufgabe zugrunde, eine Bildverarbeitungsvorrichtung zu schaffen, bei der die Zeit zur Erkennung eines Nutzerbefehls und zum Ausführen einer Operation minimiert sein kann.The invention is therefore based on the object to provide an image processing apparatus in which the time to recognize a user command and to perform an operation can be minimized.

Diese Aufgabe wird erfindungsgemäß gelöst durch eine Bildverarbeitungsvorrichtung nach Anspruch 1. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.This object is achieved by an image processing apparatus according to claim 1. Advantageous developments of the invention are specified in the dependent claims.

Ein Steuerverfahren einer Bildverarbeitungsvorrichtung kann Folgendes enthalten: Empfangen einer Sprachäußerung eines Nutzers, Ausführen einer in Voraus festgelegten Operation gemäß einem der Sprachäußerung entsprechenden Sprachbefehl; und Anpassen der entsprechenden Operation des Sprachbefehls, falls die entsprechende Operation nicht zu der Sprachäußerung passt, und Einstellen zum Ausführen der entsprechenden Operation, die zu der Sprachäußerung passt, in Übereinstimmung mit dem Anpassungsergebnis.A control method of an image processing apparatus may include: receiving a voice utterance of a user, executing a predetermined operation in accordance with a voice command corresponding to the utterance; and adjusting the corresponding operation of the voice command if the corresponding operation does not match the utterance, and setting to execute the corresponding operation that matches the utterance in accordance with the adjustment result.

Das Einstellen kann das Bereitstellen einer UI zum Anpassen eines Bestimmungszustands der entsprechenden Operation in Bezug auf den Sprachbefehl und das Einstellen zum Ausführen der zweiten Operation beim Empfang der Sprachäußerung, falls die entsprechende für einen Sprachbefehl einer vorgegebenen Sprachäußerung bestimmte Operation durch die UI von einer ersten Operation zu einer zweiten Operation angepasst wird, enthalten.The setting may include providing a UI for adjusting a determination state of the corresponding operation with respect to the voice command and setting for executing the second operation in receiving the utterance if the corresponding operation for a voice command of a given voice utterance by the UI of a first operation is adapted to a second operation.

Die UI kann einen Nutzer zum Sprechen führen und die Einstellung kann das Auswählen einer der mehreren im Voraus festgelegten Operationen als die zweite Operation entsprechend dem Sprachbefehl der Sprachäußerung durch die UI, falls die Sprachäußerung durch die Führung der UI eingegeben wird, enthalten.The UI may guide a user to speak and the setting may include selecting one of the plurality of predetermined operations as the second operation corresponding to the voice command of the utterance by the UI if the utterance is input by the guidance of the UI.

Die UI kann einen Nutzer zum Betätigen mehrerer in eine Nutzereingabeeinheit der Bildverarbeitungsvorrichtung integrierter Eingabeschaltflächen führen und das Einstellen kann das Auswählen einer im Voraus bestimmten Operation der mehreren im Voraus festgelegten Operationen für die durch die Führung betätigte Eingabeschaltfläche als die zweite Operation enthalten.The UI may guide a user to operate a plurality of input buttons integrated in a user input unit of the image processing device, and the setting may include selecting a predetermined operation of the plurality of predetermined operations for the guide-operated input button as the second operation.

Die UI kann eine Liste der mehreren im Voraus festgelegten Operationen enthalten und das Einstellen kann das Auswählen der aus der Liste ausgewählten Operation als die zweite Operation enthalten.The UI may include a list of the plurality of pre-determined operations, and the setting may include selecting the operation selected from the list as the second operation.

Die UI kann zum Einstellen einer Makroanweisung für das aufeinanderfolgende Ausführen der mehreren Sprachäußerungen und der den mehreren Sprachäußerungen entsprechen mehreren Operationen durch die Sprachäußerung bereitgestellt werden.The UI may be provided for setting a macro-instruction for successively executing the plurality of utterances and the plurality of operations corresponding to the plurality of utterances by the utterance.

Ferner kann das Steuerverfahren das Ausführen der Makroanweisung enthalten, falls die einer ersten Operation der mehreren in der Makroanweisung enthaltenen im Voraus festgelegten Operationen entsprechende Sprachäußerung eingegeben wird.Further, the control method may include executing the macroinstruction in case that of a first operation of the plurality of predetermined ones included in the macroinstruction Operations corresponding voice utterance is entered.

Die Bildverarbeitungsvorrichtung kann mit einem Server kommunizieren und das Ausführen der im Voraus festgelegten entsprechenden Operation kann das Verarbeiten des der Sprachäußerung entsprechenden Sprachbefehls durch die Bildverarbeitungsvorrichtung oder durch den Server enthalten.The image processing apparatus may communicate with a server, and performing the predetermined operation in advance may include processing the voice command corresponding voice command by the image processing apparatus or by the server.

Die Bildverarbeitungsvorrichtung kann mit einem STT-Server kommunizieren, der die Sprachäußerung in den Sprachbefehl eines Texts umsetzt, und das Eingeben der Sprachäußerung des Nutzers kann das Senden eines Sprachsignals der Sprachäußerung an den STT-Server und das Empfangen des der Sprachäußerung entsprechenden Sprachbefehls von dem STT-Server enthalten.The image processing device may communicate with an STT server that translates the utterance into the voice command of a text, and inputting the user's utterance may include sending a voice signal of the utterance to the STT server and receiving the voice command corresponding to the utterance from the STT Server included.

Das Steuern kann das Steuern der Bildverarbeitungsvorrichtung zum Verarbeiten des Sprachbefehls, falls der Sprachbefehl ein Kurzsatz ist, und das Steuern des Servers zum Verarbeiten des Sprachbefehls, falls der Sprachbefehl ein Gesprächssatz ist, enthalten.The controlling may include controlling the image processing device to process the voice command if the voice command is a short sentence, and controlling the server to process the voice command if the voice command is a conversation sentence.

Ein Bildverarbeitungssystem enthält Folgendes: eine Bildverarbeitungsvorrichtung, die ein Bildsignal zum Anzeigen eines Bilds auf der Grundlage des verarbeiteten Bildsignals verarbeiten kann; einen Server, der mit der Bildverarbeitungsvorrichtung kommunizieren kann, wobei die Bildverarbeitungsvorrichtung eine Spracheingabeeinheit enthält, die eine Sprachäußerung eines Nutzers empfangen kann; einen Sprachprozessor, der gemäß einem der Sprachäußerung entsprechenden Sprachbefehl eine entsprechende im Voraus festgelegte Operation ausführen kann; und eine Steuereinrichtung, die den Sprachprozessor oder den Server zum Verarbeiten des der Sprachäußerung entsprechenden Sprachbefehls steuern kann, falls die Sprachäußerung über die Spracheingabeeinheit eingegeben wird, wobei die Steuereinrichtung die entsprechende Operation des Sprachbefehls anpassen kann, falls die entsprechende Operation des Sprachprozessors nicht zu der Spracheingabe in die Spracheingabeeinheit passt, und in Übereinstimmung mit dem Anpassungsergebnis die entsprechende zu der Sprachäußerung passende Operation ausführen kann.An image processing system includes: an image processing device that can process an image signal for displaying an image based on the processed image signal; a server capable of communicating with the image processing device, the image processing device including a voice input unit that can receive a voice utterance of a user; a voice processor capable of executing a corresponding predetermined operation according to a voice command corresponding to the utterance; and a controller that can control the voice processor or the server to process the voice command corresponding to the voice utterance if the voice utterance is input through the voice input unit, wherein the controller can adjust the corresponding operation of the voice command if the corresponding operation of the voice processor does not correspond to the voice input fits into the speech input unit and, in accordance with the fitting result, can perform the corresponding operation matching the utterance.

Weitere Merkmale und Vorteile der Erfindung werden deutlich beim Lesen der folgenden Beschreibung bevorzugter Ausführungsformen, die auf die Zeichnungen Bezug nimmt; es zeigen:Other features and advantages of the invention will become apparent upon reading the following description of preferred embodiments, which refers to the drawings; show it:

1 einen Blockschaltplan einer Anzeigevorrichtung in Übereinstimmung mit einer Ausführungsform; 1 a block diagram of a display device in accordance with an embodiment;

2 einen Blockschaltplan einer Interaktionsstruktur der Anzeigevorrichtung und eines Servers in 1; 2 a block diagram of an interaction structure of the display device and a server in 1 ;

3 ein Beispiel einer Datenbank für einem Sprachbefehl entsprechende Operationen, wie sie in der Anzeigevorrichtung oder in einem Gesprächsserver in 2 gespeichert ist; 3 an example of a database for a voice command corresponding operations, as in the display device or in a call server in 2 is stored;

4–6 ein Beispiel für Nutzerschnittstellen (UI) zum Einstellen eines Sprachbefehls in der Anzeigevorrichtung in 2; 4 - 6 an example of user interfaces (UI) for setting a voice command in the display device in 2 ;

7 ein Beispiel einer Folge in einer Makroanweisung, die in einer Anzeigevorrichtung eingestellt werden kann; und 7 an example of a sequence in a macro instruction that can be set in a display device; and

8–12 ein Beispiel für UIs zum Einstellen der Makroanweisung in 7. 8th - 12 an example of UIs for setting the macro statement in 7 ,

Im Folgenden sind anhand der beigefügten Zeichnungen beispielhafte Ausführungsformen ausführlich beschrieben, sodass sie vom Durchschnittsfachmann auf dem Gebiet leicht verwirklicht werden können. Die beispielhaften Ausführungsformen können in verschiedenen Formen verkörpert werden und sind nicht auf die im Folgenden dargelegten beispielhaften Ausführungsformen beschränkt. Beschreibungen gut bekannter Teile sind der Klarheit halber weggelassen und gleiche Bezugszeichen beziehen sich überall auf gleiche Elemente.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings so that they can be easily realized by one of ordinary skill in the art. The exemplary embodiments may be embodied in various forms and are not limited to the exemplary embodiments set forth below. Descriptions of well-known parts have been omitted for the sake of clarity, and like reference numerals refer to like elements throughout.

1 ist ein Blockschaltplan einer Bildverarbeitungsvorrichtung 100 in Übereinstimmung mit einer Ausführungsform. 1 Fig. 10 is a block diagram of an image processing apparatus 100 in accordance with an embodiment.

Die folgenden Ausführungsformen erläutern die Bildverarbeitungsvorrichtung 100, die selbst ein Bild anzeigen kann, wobei das Konzept der Erfindung aber auf andere Vorrichtungen, die selbst kein Bild anzeigen können und stattdessen Bildsignale bzw. Steuersignale an eine andere Anzeigevorrichtung ausgeben, angewendet werden kann. Somit ist das Konzept der Erfindung nicht auf die folgenden Ausführungsformen beschränkt. Die vorliegende Ausführungsform erläutert die Bildverarbeitungsvorrichtung 100, die als ein Fernsehgerät implementiert ist, wobei ihre Ausführungsformen variieren können.The following embodiments explain the image processing apparatus 100 which can display an image itself, but the concept of the invention can be applied to other devices that can not display an image themselves and instead output image signals or control signals to another display device. Thus, the concept of the invention is not limited to the following embodiments. The present embodiment explains the image processing apparatus 100 , which is implemented as a television, and its embodiments may vary.

Wie in 1 gezeigt ist, kann die Bildverarbeitungsvorrichtung 100 oder die Anzeigevorrichtung 100 in Übereinstimmung mit der vorliegenden Ausführungsform ein Bildsignal von einer Bildzufuhrquelle (nicht gezeigt) empfangen. Die Art oder das Wesen des Bildsignals, das von der Anzeigevorrichtung 100 empfangen werden kann, ist nicht beschränkt, wobei die Anzeigevorrichtung 100 z. B. ein von einer Sendevorrichtung (nicht gezeigt) einer Rundfunkstation gesendetes Rundfunksignal empfangen, auf das Rundfunksignal abstimmen und ein Rundfunkbild anzeigen kann.As in 1 is shown, the image processing device 100 or the display device 100 in accordance with the present embodiment, receive an image signal from an image supply source (not shown). The nature or nature of the image signal coming from the display device 100 can be received is not limited, the display device 100 z. B. received by a transmitting device (not shown) of a broadcasting station broadcast signal received on the Tuning the broadcast signal and displaying a broadcast picture.

Die Anzeigevorrichtung 100 enthält einen Bildempfänger 110, der ein Bildsignal von einer Bildzufuhrquelle (nicht gezeigt) empfangen kann, einen Bildprozessor 120, der ein von dem Bildempfänger 110 empfangenes Bildsignal in Übereinstimmung mit einer im Voraus festgelegten Bildverarbeitungsoperation verarbeiten kann, eine Anzeigeeinheit 130, die auf der Grundlage des durch den Bildprozessor 120 verarbeiteten Bildsignals ein Bild darauf anzeigen kann, eine Kommunikationseinheit 140, die mit einer externen Vorrichtung wie etwa einem Server 10 kommunizieren kann, eine Nutzereingabeeinheit 150, die von einem Nutzer bedient werden kann, eine Spracheingabeeinheit 160, die eine Sprachäußerung oder Schall von außen empfangen kann, einen Sprachprozessor 170, der die Eingabe der Sprachäußerung und/oder des Schalls in die Spracheingabeeinheit 160 interpretieren und verarbeiten kann, eine Ablageeinheit 180, in der Daten bzw. Informationen gespeichert werden können, und eine Steuereinrichtung 190, die den Gesamtbetrieb der Anzeigevorrichtung 100 steuern kann.The display device 100 contains a picture receiver 110 which can receive an image signal from an image supply source (not shown), an image processor 120 who is one of the image recipient 110 can process a received image signal in accordance with a predetermined image processing operation, a display unit 130 based on the image processor 120 processed image signal can display an image on it, a communication unit 140 using an external device such as a server 10 can communicate, a user input unit 150 that can be operated by a user, a voice input unit 160 that can receive an utterance or sound from the outside, a speech processor 170 entering the speech utterance and / or the sound into the speech input unit 160 interpret and process, a storage unit 180 in which data or information can be stored, and a control device 190 indicating the overall operation of the display device 100 can control.

Der Bildempfänger 110 kann auf verdrahtete oder drahtlose Weise Bildsignale bzw. Bilddaten empfangen und die Bildsignale bzw. Bilddaten an den Bildprozessor 120 senden. Der Bildempfänger 110 kann je nach Norm eines empfangenen Bildsignals und einer Ausführungsform der Anzeigevorrichtung 100 variieren. Der Bildempfänger 110 kann z. B. ein Hochfrequenzsignal (HF-Signal) oder ein Bildsignal in Übereinstimmung mit Normen wie etwa Mischsignal-Video, Komponentenvideo, Supervideo, SCART, hochauflösende Multimediaschnittstelle (HDMI), DisplayPort, vereinheitlichte Anzeigeschnittstelle (UDI) oder drahtlose HD-Norm empfangen. Falls das Bildsignal ein Rundfunksignal ist, enthält der Bildempfänger 110 einen Tuner, um das Rundfunksignal auf einen Kanal abzustimmen.The image receiver 110 can receive image signals or image data in a wired or wireless manner and the image signals or image data to the image processor 120 send. The image receiver 110 may vary according to the standard of a received image signal and an embodiment of the display device 100 vary. The image receiver 110 can z. A high frequency signal (RF signal) or an image signal in accordance with standards such as mixed signal video, component video, super video, SCART, high definition multimedia interface (HDMI), DisplayPort, Unified Display Interface (UDI) or wireless HD standard. If the image signal is a broadcast signal, the image receiver contains 110 a tuner to tune the broadcast signal to a channel.

Der Bildprozessor 120 kann das von dem Bildempfänger 110 empfangene Bildsignal in Übereinstimmung mit verschiedenen Bildverarbeitungsoperationen verarbeiten. Der Bildprozessor 120 kann das verarbeitete Bildsignal an die Anzeigeeinheit 130 ausgeben, in der auf der Grundlage des verarbeiteten Bildsignals ein Bild angezeigt werden kann. Falls ein Rundfunksignal z. B. durch den Bildempfänger 110 auf ein bestimmtes Signal abgestimmt wird, kann der Bildprozessor 120 Bild-, Sprach- und Zusatzdaten aus dem dem Kanal entsprechenden Rundfunksignal extrahieren, das Bildsignal an eine im Voraus festgelegte Auflösung anpassen und auf der Anzeigeeinheit 130 ein Bild anzeigen.The image processor 120 This can be done by the image receiver 110 process received image signal in accordance with various image processing operations. The image processor 120 can process the processed image signal to the display unit 130 in which an image can be displayed based on the processed image signal. If a broadcast signal z. B. by the image receptor 110 is tuned to a particular signal, the image processor 120 Extract image, voice and additional data from the broadcast signal corresponding to the channel, adjust the image signal to a predetermined resolution and on the display unit 130 to show a picture.

Die Bildverarbeitungsoperation des Bildprozessors 120 kann eine Decodierungsoperation entsprechend einem Bildformat der Bilddaten, eine Entschachtelungsoperation zum Umsetzen von verschachtelten Bilddaten in progressive Bilddaten, eine Skalierungsoperation zum Anpassen von Bilddaten auf eine im Voraus festgelegte Auflösung, eine Rauschminderungsoperation zum Verbessern einer Bildqualität, eine Detailverbesserungsoperation, eine Bildwiederholratenumsetzung usw. enthalten, ist darauf aber nicht beschränkt.The image processing operation of the image processor 120 may include a decoding operation corresponding to an image format of the image data, a deinterleaving operation for converting interlaced image data into progressive image data, a scaling operation for adapting image data to a predetermined resolution, a noise reduction operation for improving an image quality, a detail enhancement operation, a frame rate conversion, etc. but not limited thereto.

Der Bildprozessor 120 ist als ein System auf dem Chip (SOC), das die vorstehenden Funktionen integriert, oder als eine durch Montage einzelner Elemente auf einer Leiterplatte (PCB) (nicht gezeigt) gebildete Bildverarbeitungsplatine (nicht gezeigt) zum Ausführen der vorstehenden Bildverarbeitungsoperationen implementiert und in die Anzeigevorrichtung 100 integriert.The image processor 120 is implemented as an on-chip system (SOC) that integrates the above functions or as an image processing board (not shown) formed by mounting individual elements on a printed circuit board (PCB) (not shown) for performing the above image processing operations and into the display device 100 integrated.

Die Anzeigeeinheit 130 kann auf der Grundlage eines von dem Bildprozessor 120 ausgegebenen Bildsignals ein Bild darauf anzeigen. Die Anzeigeeinheit 130 kann als verschiedene Anzeigebildschirme einschließlich solcher auf der Grundlage von Flüssigkristallen, Plasma, Lichtemitterdioden (LED), organischen Lichtemitterdioden (OLED), Oberflächenleitungs-Elektronen-Emittern, Kohlenstoffnanoröhrchen und Nanokristallen implementiert sein, ist darauf aber nicht beschränkt.The display unit 130 can be based on one of the image processor 120 output image signal display an image on it. The display unit 130 may be implemented as various display screens including those based on liquid crystal, plasma, light emitting diode (LED), organic light emitting diode (OLED), surface conduction electron emitter, carbon nanotube and nanocrystal, but is not limited thereto.

Ferner kann die Anzeigeeinheit 130 je nach ihrer Ausführungsart zusätzliche Elemente enthalten. Zum Beispiel kann die Anzeigeeinheit 130 als eine LCD-Anzeige einen LCD-Bildschirm (nicht gezeigt), eine Hintergrundbeleuchtungseinheit (nicht gezeigt) zum Aussenden von Licht auf den LCD-Bildschirm und ein Bildschirmansteuersubstrat (nicht gezeigt) zum Ansteuern des LCD-Bildschirms (nicht gezeigt) enthalten.Furthermore, the display unit 130 depending on their execution, additional elements included. For example, the display unit 130 as an LCD display include an LCD screen (not shown), a backlight unit (not shown) for emitting light to the LCD screen, and a screen drive substrate (not shown) for driving the LCD screen (not shown).

Die Kommunikationseinheit 140 kann Daten für die interaktive Kommunikation zwischen der Anzeigevorrichtung 100 und dem Server 10 senden und empfangen. Die Kommunikationseinheit 140 ist über ein verdrahtetes oder drahtloses Weitverkehrsnetz oder lokales Netz oder über eine lokale Verbindung durch ein Kommunikationsprotokoll des Servers 10 mit dem Server 10 verbunden.The communication unit 140 can provide data for interactive communication between the display device 100 and the server 10 send and receive. The communication unit 140 is via a wired or wireless wide area network or local area network or over a local connection through a communication protocol of the server 10 with the server 10 connected.

Die Nutzereingabeeinheit 150 kann durch Bedienung und Eingabe eines Nutzers verschiedene im Voraus festgelegte Steuerbefehle oder Informationen an die Steuereinrichtung 190 senden. Die Nutzereingabeeinheit 150 ist als Menütasten oder als ein Eingabebildschirm, die bzw. der in ein externes Teil der Anzeigevorrichtung 100 gebaut sind bzw. ist, oder als eine Fernbedienung, die von der Anzeigevorrichtung 100 getrennt bzw. beabstandet ist, implementiert. Andernfalls kann die Nutzereingabeeinheit 150 einteilig in der Anzeigeeinheit 130 gebildet sein. Falls die Anzeigeeinheit 130 ein Berührungsbildschirm ist, kann ein Nutzer das auf der Anzeigeeinheit 130 angezeigte Eingabemenü (nicht gezeigt) berühren, um einen im Voraus festgelegten Befehl an die Steuereinrichtung 190 zu senden.The user input unit 150 can by operation and input of a user various predetermined control commands or information to the controller 190 send. The user input unit 150 is as a menu key or as an input screen that in an external part of the display device 100 are built, or as a remote control, by the display device 100 is separated. Otherwise, the user input unit 150 in one piece in the display unit 130 be formed. if the display unit 130 is a touch screen, a user can do that on the display unit 130 touching the displayed input menu (not shown) to a predetermined command to the controller 190 to send.

Die Spracheingabeeinheit 160 ist als ein Mikrophon implementiert und kann verschiedene von der Außenumgebung der Anzeigevorrichtung 100 erzeugte Klänge detektieren. Der von der Spracheingabeeinheit 160 detektierte Schall enthält eine Sprachäußerung eines Nutzers und andere Klänge, die durch verschiedene andere Faktoren als durch einen Nutzer erzeugt werden.The voice input unit 160 is implemented as a microphone and can be different from the external environment of the display device 100 detect generated sounds. The one from the speech input unit 160 detected sound contains a voice utterance of a user and other sounds generated by various factors other than a user.

Ausgehend von den verschiedenen im Voraus festgelegten von der Anzeigevorrichtung 100 ausgeführten Prozessen kann der Sprachprozessor 170 die Sprachäußerungen bzw. Klänge verarbeiten, die in die Spracheingabeeinheit 160 eingegeben werden. Die durch den Sprachprozessor 170 verarbeitete ”Sprachäußerung” bedeutet eine Spracheingabe in die Spracheingabeeinheit 160. Das durch den Bildprozessor 120 verarbeitete Bildsignal kann durch den Bildprozessor 120 verarbeitete Sprachdaten enthalten.Starting from the various preset by the display device 100 Running processes can be the language processor 170 process the speech utterances or sounds entering the speech input unit 160 be entered. The through the speech processor 170 processed "utterance" means a voice input to the voice input unit 160 , That through the image processor 120 processed image signal can be through the image processor 120 contain processed speech data.

Falls eine Sprachäußerung bzw. Schall in die Spracheingabeeinheit 160 eingegeben werden, kann der Sprachprozessor 170 bestimmen, ob die eingegebene Sprachäußerung bzw. der eingegebene Schall von einer Sprachäußerung eines Nutzers herrührt oder durch andere Faktoren erzeugt worden ist. Diese Bestimmung kann unter Verwendung verschiedener Konfigurationen vorgenommen werden und braucht nicht spezifiziert zu sein, wobei sie z. B. ein Verfahren, um zu bestimmen, ob die eingegebene Sprachäußerung bzw. der eingegebene Schall in einem Wellenlängen- bzw. Frequenzband liegt, das einer menschlichen Sprachäußerung entspricht, oder ein Verfahren um zu bestimmen, ob die eingegebene Sprachäußerung bzw. der eingegebene Schall in einem im Voraus bestimmten Sprachprofil eines Nutzers liegt, enthalten kann.If an utterance or sound in the speech input unit 160 can be entered, the speech processor 170 Determine whether the input speech or the input sound from an utterance of a user or has been generated by other factors. This determination can be made using various configurations and need not be specified, e.g. Example, a method to determine whether the input speech or the input sound is in a wavelength or frequency band corresponding to a human utterance, or a method for determining whether the input speech or the input sound in a predefined language profile of a user.

Falls bestimmt wird, dass eine Sprachäußerung eines Nutzers eingegeben worden ist, kann der Sprachprozessor 170 gemäß dem der Sprachäußerung entsprechenden Sprachbefehl eine entsprechende im Voraus festgelegte Operation ausführen. Der Sprachbefehl bedeutet den von einem Nutzer gesprochenen Inhalt. Dies ist im Folgenden ausführlicher beschrieben.If it is determined that a user's utterance has been entered, the speech processor may 170 execute a corresponding predetermined operation according to the voice command corresponding to the utterance. The voice command means the content spoken by a user. This is described in more detail below.

In der vorliegenden Ausführungsform sind der Sprachprozessor 170 und der Bildprozessor 120 getrennt bereitgestellt. Allerdings ist dies nur eine zweckmäßige Funktionsklassifizierung zur deutlichen Erläuterung der Ausführungsform und bedeutet nicht, dass der Bildprozessor 120 und der Sprachprozessor 170 in der Anzeigevorrichtung 100, die das Konzept der vorliegenden Ausführungsform implementiert, notwendig voneinander getrennt sein müssen. Das heißt, die Anzeigevorrichtung 100 kann einen Signalprozessor (nicht gezeigt) enthalten, der den Bildprozessor 120 und den Sprachprozessor 170 integriert.In the present embodiment, the speech processor 170 and the image processor 120 provided separately. However, this is only a convenient function classification to clearly explain the embodiment and does not mean that the image processor 120 and the speech processor 170 in the display device 100 that implements the concept of the present embodiment, must necessarily be separated from each other. That is, the display device 100 may include a signal processor (not shown) that supports the image processor 120 and the speech processor 170 integrated.

In der Ablageeinheit 180 können durch Steuerung der Steuereinrichtung 190 unbeschränkt Daten gespeichert werden. Die Ablageeinheit 180 ist als ein nichtflüchtiger Speicher wie etwa als ein Flash-Speicher oder als ein Festplattenlaufwerk implementiert. Auf die Ablageeinheit 180 kann durch die Steuereinrichtung 190, durch den Bildprozessor 120 oder durch den Sprachprozessor 170 zugegriffen werden, wobei darin gespeicherte Daten durch die Steuereinrichtung 190, durch den Bildprozessor 120 oder durch den Sprachprozessor 170 gelesen, geschrieben, geändert, gelöscht bzw. aktualisiert werden können.In the storage unit 180 can by controlling the controller 190 unlimited data is stored. The storage unit 180 is implemented as a nonvolatile memory such as a flash memory or a hard disk drive. On the storage unit 180 can by the control device 190 , through the image processor 120 or through the speech processor 170 be accessed, wherein data stored therein by the control device 190 , through the image processor 120 or through the speech processor 170 can be read, written, changed, deleted or updated.

Beim Empfang einer Sprachäußerung eines Nutzers über die Spracheingabeeinheit 160 kann die Steuereinrichtung 190 den Sprachprozessor 170 zum Verarbeiten der eingegebenen Sprachäußerung steuern. Die Steuereinrichtung 190 kann bestimmen, ob der der Sprachäußerung entsprechende Sprachbefehl ein Kurzsatz oder ein Gesprächssatz ist, und in Übereinstimmung mit den Bestimmungsergebnissen den Sprachprozessor 170 oder den Server 10 zum Verarbeiten des Sprachbefehls steuern. Genauer kann die Steuereinrichtung 190 den Sprachprozessor 170 zum Verarbeiten des Sprachbefehls steuern, falls der Sprachbefehl ein Kurzsatz ist. Falls der Sprachbefehl ein Gesprächssatz ist, kann die Steuereinrichtung 190 den Sprachbefehl über die Kommunikationseinheit 140 an den Server 10 senden, damit der Server 10 den Sprachbefehl verarbeitet.When receiving a voice utterance of a user via the voice input unit 160 can the controller 190 the speech processor 170 to process the input speech. The control device 190 may determine whether the voice command corresponding to the utterance is a short sentence or a sentence sentence, and in accordance with the determination results, the speech processor 170 or the server 10 to process the voice command. Specifically, the control device 190 the speech processor 170 to process the voice command if the voice command is a short sentence. If the voice command is a conversational sentence, the controller may 190 the voice command via the communication unit 140 to the server 10 send to the server 10 processed the voice command.

2 ist ein Blockschaltplan einer Interaktionsstruktur der Anzeigevorrichtung 100 und der Server 20 und 30. 2 is a block diagram of an interaction structure of the display device 100 and the server 20 and 30 ,

Wie darin gezeigt ist, enthält die Anzeigevorrichtung 100 eine Kommunikationseinheit 140, eine Spracheingabeeinheit 160, einen Sprachprozessor 170 und eine Steuereinrichtung 190. Diese Konfiguration ist dieselbe wie die anhand von 1 Erläuterte. Die Kommunikationseinheit 140 ist mit dem STT-Server 20, der eine Sprachäußerung eines Nutzers in einen Sprachbefehl umsetzen kann, und mit einem Gesprächsserver 30, der einen Sprachbefehl analysieren kann, um eine dem Sprachbefehl entsprechende Operation zu bestimmen, verbunden.As shown therein, the display device includes 100 a communication unit 140 , a voice input unit 160 , a speech processor 170 and a controller 190 , This configuration is the same as the one based on 1 Explained. The communication unit 140 is with the STT server 20 who can translate a user's utterance into a voice command, and with a conversation server 30 which can analyze a voice command to determine an operation corresponding to the voice command.

Beim Empfang eines Sprachsignals kann der STT-Server 20 eine Signalform des Sprachsignals analysieren und den Inhalt des Sprachsignals in einen Text umsetzen. Bei Empfang eines Sprachsignals einer Sprachäußerung eines Nutzers von der Anzeigevorrichtung 100 kann der STT-Server 20 das Sprachsignal in einen Sprachbefehl umsetzen.When receiving a voice signal, the STT server can 20 analyze a waveform of the speech signal and convert the content of the speech signal into a text. Upon receipt of a Speech signal of a voice utterance of a user from the display device 100 can the STT server 20 convert the speech signal into a voice command.

Der Gesprächsserver 30 enthält eine Datenbank für verschiedene den Sprachbefehlen entsprechende Operationen der Anzeigevorrichtung 100. Der Gesprächsserver 30 kann den von der Anzeigevorrichtung 100 gesendeten Sprachbefehl analysieren und kann ein Steuersignal zum Ausführen einer dem Sprachbefehl entsprechenden Operation an die Anzeigevorrichtung 100 senden.The conversation server 30 contains a database for various operations of the display device corresponding to the voice commands 100 , The conversation server 30 can from the display device 100 and a control signal for executing an operation corresponding to the voice command to the display device 100 send.

Falls eine Sprachäußerung eines Nutzers in die Spracheingabeeinheit 160 eingegeben wird, kann die Steuereinrichtung 190 ein Sprachsignal der Sprachäußerung an den STT-Server 20 senden und von dem STT-Server 20 einen der Sprache entsprechenden Sprachbefehl empfangen.If an utterance of a user in the voice input unit 160 is entered, the control device 190 a speech signal of the speech utterance to the STT server 20 send and from the STT server 20 receive a voice command corresponding to the language.

Die Steuereinrichtung 190 kann bestimmen, ob der von dem STT-Server 20 gesendete Sprachbefehl ein Kurzsatz oder ein Gesprächssatz ist. Falls der Sprachbefehl ein Kurzsatz ist, kann die Steuereinrichtung 190 den Sprachprozessor 170 zum Verarbeiten des Sprachbefehls steuern. Falls der Sprachbefehl ein Gesprächssatz ist, kann die Steuereinrichtung 190 den Gesprächsserver 30 zum Verarbeiten des Sprachbefehls steuern.The control device 190 can determine if that from the STT server 20 sent voice command is a short sentence or a conversational sentence. If the voice command is a short sentence, the controller may 190 the speech processor 170 to process the voice command. If the voice command is a conversational sentence, the controller may 190 the conversation server 30 to process the voice command.

Falls der Sprachbefehl ein Kurzsatz ist, kann der Sprachprozessor 170 durch eine Steuerung der Steuereinrichtung 190 die in der Ablageeinheit 180 gespeicherte Datenbank durchsuchen, um eine dem Sprachbefehl entsprechende Funktion oder Operation der Anzeigevorrichtung 100 zu spezifizieren. Die Steuereinrichtung 190 kann die auszuführende spezifizierte Operation steuern.If the voice command is a short sentence, the speech processor can 170 by a control of the control device 190 those in the storage unit 180 Search stored database to a function corresponding to the voice command function or operation of the display device 100 to specify. The control device 190 can control the specified operation to be performed.

Falls der Sprachbefehl ein Gesprächssatz ist, kann die Steuereinrichtung 190 den Sprachbefehl an den Gesprächsserver 30 senden. Der Gesprächsserver 30 kann den von der Anzeigevorrichtung 100 gesendeten Sprachbefehl analysieren, um die Operation der Anzeigevorrichtung 100 zu spezifizieren. Der Gesprächsserver 30 kann das Steuersignal zum Anweisen der spezifizierten Operation an die Anzeigevorrichtung 100 senden, die die Operation in Übereinstimmung mit dem Steuersignal ausführen kann.If the voice command is a conversational sentence, the controller may 190 the voice command to the call server 30 send. The conversation server 30 can from the display device 100 analyze sent voice command to the operation of the display device 100 to specify. The conversation server 30 The control signal may instruct the specified operation to the display device 100 which can perform the operation in accordance with the control signal.

Daraufhin kann die entsprechende im Voraus festgelegte Operation der Anzeigevorrichtung 100 durch die Sprachäußerung des Nutzers ausgeführt werden.Thereafter, the corresponding predetermined operation of the display device 100 be executed by the speech utterance of the user.

Der Prozess zum Auswählen des Verarbeitungsgegenstands des Sprachbefehls je nachdem, ob der Sprachbefehl ein Kurzsatz oder ein Gesprächssatz ist, kann von der Systemlast und von der Verarbeitungsfähigkeit der Anzeigevorrichtung 100 abhängen. Da der Gesprächssatz natürliche Sprache ist, kann die mechanische Extraktion einer gewünschten entsprechenden Operation innerhalb des Sprachbefehls als der Gesprächssatz nicht verhältnismäßig leicht sein. Da es nicht leicht sein kann, den Sprachbefehl als den Gesprächssatz unter Verwendung der beschränkten Betriebsmittel der Anzeigevorrichtung 100 zu analysieren, kann der Sprachbefehl als der Gesprächssatz durch den Gesprächsserver 30 verarbeitet werden, um dadurch verschiedene Sprachäußerungen zu verarbeiten.The process for selecting the processing item of the voice command according to whether the voice command is a phraseset or a conversational sentence may depend on the system load and the processing capability of the display device 100 depend. Since the conversational sentence is natural language, the mechanical extraction of a desired corresponding operation within the voice command as the conversational sentence may not be relatively easy. Since it may not be easy to use the voice command as the talk set using the limited resources of the display device 100 To analyze the voice command as the conversational sentence through the conversation server 30 be processed to thereby process various utterances.

Diese Konfiguration kann variieren, wobei der Prozess des STT-Servers 20 und/oder des Gesprächsservers 30 von der Anzeigevorrichtung 100 ausgeführt werden kann. Zum Beispiel kann die Anzeigevorrichtung 100 anstelle der Server 20 und 30 eine Sprachäußerung eines Nutzers in einen Sprachbefehl umsetzen oder einen Sprachbefehl als einen Gesprächssatz analysieren.This configuration may vary, depending on the process of the STT server 20 and / or the conversation server 30 from the display device 100 can be executed. For example, the display device 100 instead of the server 20 and 30 translate a user's utterance into a voice command or analyze a voice command as a conversational sentence.

Bei der vorstehenden Konfiguration steuert die Steuereinrichtung 190 den Sprachprozessor 170 oder den Gesprächsserver 30 zum Ausführen eines Prozesses des Spezifizierens einer dem Sprachbefehl einer Sprachäußerung eines Nutzers entsprechenden Operation. Im Folgenden wird die Konfiguration zum Steuern des Sprachprozessors 170 durch die Steuereinrichtung 190 zum Spezifizieren der Operation der Anzeigevorrichtung 100 entsprechend dem Sprachbefehl beschrieben. Die Konfiguration zum Spezifizieren der Operation der Anzeigevorrichtung 100 durch den Gesprächsserver 30 entsprechend dem Sprachbefehl kann die danach beschriebene Ausführungsform nutzen.In the above configuration, the controller controls 190 the speech processor 170 or the conversation server 30 for performing a process of specifying an operation corresponding to the voice command of a user's utterance. The following is the configuration for controlling the speech processor 170 by the control device 190 for specifying the operation of the display device 100 described according to the voice command. The configuration for specifying the operation of the display device 100 through the conversation server 30 according to the voice command can use the embodiment described thereafter.

3 veranschaulicht ein Beispiel einer in der Anzeigevorrichtung 100 oder im Gesprächsserver 30 gespeicherten Datenbank 210 hinsichtlich Sprachbefehlen entsprechenden Operationen. 3 illustrates an example of one in the display device 100 or in the conversation server 30 stored database 210 concerning voice commands corresponding operations.

Wie darin gezeigt ist, ist in der Ablageeinheit 180 die Datenbank 210 gespeichert, die Sprachbefehle, die der Sprachäußerung des Nutzers entsprechen, mit verschiedenen Funktionen oder Operationen, die von der Anzeigevorrichtung 100 ausgeführt werden, vergleichen kann. Die ”Operation” bedeutet irgendeinen Typ einer Operation und Funktion, die von der Anzeigevorrichtung 100 ausgeführt und unterstützt wird.As shown therein, in the storage unit 180 database 210 stores the voice commands corresponding to the user's utterance with various functions or operations performed by the display device 100 be executed, can compare. The "operation" means any type of operation and function performed by the display device 100 is executed and supported.

Die Steuereinrichtung 190 kann anhand eines vorgegebenen Sprachbefehls die Datenbank 210 durchsuchen und bestimmen, welche Operation dem Sprachbefehl entspricht.The control device 190 can use a given voice command the database 210 search and determine which operation corresponds to the voice command.

Die Datenbank 210 in Übereinstimmung mit der vorliegenden Ausführungsform repräsentiert nur eines unter verschiedenen Datenaufbauprinzipien oder -verfahren und beschränkt nicht das Konzept der Erfindung. Die in der Zeichnung dargestellte Datenbank 210 bringt zum Ausdruck, dass ein Befehl einer Operation entspricht, wobei dies aber nur zweckmäßigkeitshalber so ist. In der Realität kann die Datenbank 210 zum Ausdruck bringen, dass einer Operation mehrere Befehle entsprechen können. Das Bezugszeichen der Datenbank 210 ist nur zweckmäßigkeitshalber gewählt.Database 210 In accordance with the present embodiment, only one represents among various data construction principles or methods and does not limit the concept the invention. The database shown in the drawing 210 expresses that a command corresponds to an operation, but this is only for the sake of convenience. In reality, the database can 210 expressing that an operation can correspond to multiple commands. The reference number of the database 210 is chosen only for convenience.

Falls z. B. ein einer Sprachäußerung eines Nutzers entsprechender Sprachbefehl ”Einschalten” lautet, kann die Steuereinrichtung 190 die Datenbank 210 anhand des Sprachbefehls ”Einschalten” durchsuchen und bestimmen, dass die dem Sprachbefehl ”Einschalten” entsprechende Operation ”System einschalten” ist.If z. B. is a voice utterance of a user corresponding voice command "turn on", the controller 190 database 210 Search using the voice command "power on" and determine that the operation corresponding to the voice command "power on" is "power on".

Daraufhin kann die Steuereinrichtung 190 die Operation unter Beachtung des gegenwärtigen Zustands der Anzeigevorrichtung 100 wahlweise ausführen. Falls die Anzeigevorrichtung 100 bereits eingeschaltet ist, braucht die Steuereinrichtung 190 die Operation ”System einschalten” nicht auszuführen. Falls die Anzeigevorrichtung 100 gegenwärtig ausgeschaltet ist, kann die Steuereinrichtung 190 die Anzeigevorrichtung 100 zum Einschalten des Systems steuern.Thereupon, the control device 190 the operation in consideration of the current state of the display device 100 optionally execute. If the display device 100 already turned on, needs the controller 190 Do not execute the "turn on system" operation. If the display device 100 is currently off, the control device 190 the display device 100 to turn on the system.

Falls ein Nutzer als ein weiteres Beispiel ”Es ist laut” sagt, während ein Bild von der Anzeigevorrichtung 100 angezeigt wird, kann die Steuereinrichtung 190 aus der Datenbank 210 spezifizieren, dass die dem Sprachbefehl ”Es ist laut” entsprechende Operation ”Stummschalten” ist. Die Steuereinrichtung 190 passt die Lautstärke des angezeigten Bilds auf null an, um die ”Stummschaltungs”-Operation auszuführen.If, as another example, a user says "It's loud" while taking a picture of the display device 100 is displayed, the control device 190 from the database 210 specify that the mute "Es ist laut" command is "mute". The control device 190 adjusts the volume of the displayed image to zero to perform the "Mute" operation.

Falls ein Nutzer als ein weiteres Beispiel ”Ich höre nichts” sagt, während von der Anzeigevorrichtung 100 ein Bild angezeigt wird, kann die Steuereinrichtung 190 bestimmen, dass die dem Befehl ”Ich höre nichts” entsprechende Operation ”Erhöhe die Lautstärke auf den Pegel 5” aus der Datenbank 210 ist. Daraufhin kann die Steuereinrichtung 190 die Lautstärke des angezeigten Bilds auf den Pegel 5 erhöhen.If a user says "I do not hear anything" as another example while on the display device 100 a picture is displayed, the control device 190 determine that the operation "I hear nothing" corresponds to the operation "Increase the volume to level 5" from the database 210 is. Thereupon, the control device 190 increase the volume of the displayed image to level 5.

Durch das vorstehende Verfahren kann die Steuereinrichtung 190 der Sprachäußerung des Nutzers entsprechende Operationen ausführen.By the above method, the control device 190 perform the user's utterance corresponding operations.

Da Nutzer verschiedene Sprachgewohnheiten und -strukturen besitzen, kann die vorstehende Konfiguration zum Erkennen eines Sprachbefehls des Nutzers beim Interpretieren aller Sprachäußerungen eines Nutzers durch eine Spracherkennungslogik des STT-Servers 20 oder des Sprachprozessors 170 allerdings nicht immer genaue Ergebnisse erzeugen.Since users have different speech habits and structures, the above configuration may be for recognizing a voice command of the user in interpreting all utterances of a user by a speech recognition logic of the STT server 20 or the speech processor 170 however, does not always produce accurate results.

Falls ein Nutzer z. B. ”Einschalten” sagt, kann der STT-Server 20 ein Sprachsignal der Sprachäußerung in einen anderen Sprachbefehl als ”Einschalten” umsetzen. Falls die Datenbank 210 den umgesetzten Sprachbefehl nicht enthält, kann die Steuereinrichtung 190 keine dem Sprachbefehl entsprechende Operation ausführen.If a user z. For example, "power on" says the STT server can 20 convert a speech signal of the utterance to a voice command other than "turn on". If the database 210 does not contain the translated voice command, the controller may 190 do not perform any operation corresponding to the language command.

Anderenfalls kann der umgesetzte Sprachbefehl in der Datenbank 210 vorhanden sein, aber von dem Sprachbefehl des Nutzers verschieden sein. Falls ein Nutzer z. B. ”Einschalten” gesagt hat und der umgesetzte Sprachbefehl ”Ausschalten” lautet, kann die Steuereinrichtung 190 bestimmen, dass die dem Sprachbefehl Operation ”System ausschalten” lautet. Dies führt dazu, dass das System der Anzeigevorrichtung 100, anders als von einem Nutzer mit einer Sprachäußerung ”Einschalten” beabsichtigt, ausgeschaltet wird.Otherwise, the converted voice command can be in the database 210 be present but different from the user's voice command. If a user z. B. "power on" said and the converted voice command is "off", the controller 190 determine that the voice command Operation is "Turn System Off." This causes the system of the display device 100 Other than intended by a user with an utterance "switching on" is turned off.

Angesichts des Vorstehenden kann das folgende Verfahren vorgeschlagen werden:
Falls die in die Spracheingabeeinheit 160 eingegebene Sprachäußerung eines Nutzers nicht zu einer entsprechenden Operation passt, kann die Steuereinrichtung 190 ermöglichen, dass ein Nutzer die entsprechende Operation in Bezug auf den Sprachbefehl des Nutzers anpasst. Falls dieselbe Sprachäußerung später eingegeben wird, führt die Steuereinrichtung 190 die entsprechende Operation aus, die in Übereinstimmung mit den angepassten Ergebnissen zu der Sprachäußerung passt.In view of the above, the following method can be proposed:
If in the speech input unit 160 input speech of a user does not match a corresponding operation, the control device 190 allow a user to customize the appropriate operation with respect to the user's voice command. If the same utterance is input later, the controller will execute 190 the appropriate operation that fits the speech in accordance with the adjusted results.

Genauer kann die Steuereinrichtung 190 beim Auftreten eines im Voraus festgelegten Ereignisses eine Nutzerschnittstelle (UI) zum Anpassen eines Einstellungszustands eines Zusammenhangs zwischen dem Sprachbefehl und einer entsprechenden Operation in der Datenbank 210 bereitstellen. Das im Voraus festgelegte Ereignis kann eine Bedienung eines Nutzers der Nutzereingabeeinheit 150 oder die Erzeugung eines Befehls, der im Ergebnis der Sprachäußerung des Nutzers eine UI anfordert, enthalten.Specifically, the control device 190 upon occurrence of a predetermined event, a user interface (UI) for adjusting a setting state of a relationship between the voice command and a corresponding operation in the database 210 provide. The predetermined event may be an operation of a user of the user input unit 150 or the generation of a command requesting a UI as a result of the user's utterance.

Falls in einem Anfangszustand, in dem für einen vorgegebenen ersten Befehl eine erste Operation bestimmt worden ist, die dem ersten Befehl entsprechende Operation durch die UI auf eine zweite Operation, die von der ersten Operation verschieden ist, angepasst wird, aktualisiert die Steuereinrichtung 190 die Datenbank 210 in Übereinstimmung mit der Anpassung. Falls der der Sprachäußerung des Nutzers entsprechende Sprachbefehl der erste Befehl ist, kann die Steuereinrichtung 190 anhand der aktualisierten Datenbank anstelle der ersten Operation 210 die zweite Operation ausführen.If, in an initial state in which a first operation has been determined for a given first instruction, the operation corresponding to the first instruction is adjusted by the UI to a second operation different from the first operation, the controller updates 190 database 210 in accordance with the adjustment. If the voice command of the user corresponding voice command is the first command, the control device 190 based on the updated database instead of the first operation 210 perform the second operation.

Falls in einem Anfangszustand, bei dem die erste Operation für den ersten Befehl bestimmt wird, für die erste Operation ein zweiter Befehl als ein neuer Sprachbefehl bestimmt worden ist, kann die Steuereinrichtung 190 die Datenbank 210 in Übereinstimmung mit der Anpassung aktualisieren. Falls der der Sprachäußerung des Nutzers entsprechende Sprachbefehl der erste Befehl oder der zweite Befehl ist, kann die Steuereinrichtung 190 die erste Operation auf der Grundlage der aktualisierten Datenbank ausführen.If, in an initial state where the first operation is determined for the first instruction, For the first operation, a second command has been determined as a new voice command, the control device 190 database 210 update in accordance with the customization. If the voice command corresponding to the user's utterance is the first command or the second command, the control device may 190 perform the first operation based on the updated database.

Daraufhin kann die Spracherkennungsoperation in der Weise angepasst werden, dass sie mit der Absicht des Nutzers übereinstimmt.Thereupon, the speech recognition operation may be adapted to match the user's intention.

Im Folgenden wird ein Verfahren zum Ändern einer Einstellung eines Sprachbefehls durch eine UI beschrieben.The following describes a method of changing a setting of a voice command by a UI.

Die 4 bis 6 veranschaulichen ein Beispiel von UIs 220, 230 und 240 zum Einstellen eines Sprachbefehls.The 4 to 6 illustrate an example of UIs 220 . 230 and 240 for setting a voice command.

Wie in 4 gezeigt ist, kann ein Nutzer über die Nutzereingabeeinheit 150 anfordern, dass die Steuereinrichtung 190 die UI 220 zum Ändern einer Einstellung des der Sprachäußerung entsprechenden Sprachbefehls anzeigt. Die Steuereinrichtung 190 kann die UI 220 anzeigen.As in 4 a user can be shown via the user input unit 150 request that the controller 190 the UI 220 for changing a setting of the voice command corresponding voice command. The control device 190 can the UI 220 Show.

Die UI 220 enthält Informationen, die einen Nutzer zum Sprechen führen, um dadurch eine Sprachäußerung und einen Sprachbefehl, der die Einstellung des Nutzers widerspiegelt, zu spezifizieren. Ein Nutzer kann den Sprachbefehl sagen, während die UI 220 angezeigt wird.The UI 220 contains information that causes a user to speak, thereby specifying a voice utterance and a voice command that reflects the user's attitude. A user can say the voice command while the UI 220 is shown.

Falls eine Sprachäußerung eines Nutzers über die Spracheingabeeinheit 160 eingegeben wird, während die UI 220 angezeigt wird, kann die Steuereinrichtung 190 den Sprachprozessor 170 oder den STT-Server 20 zum Umsetzen der Sprachäußerung des Nutzers in einen Sprachbefehl steuern.If an utterance of a user via the voice input unit 160 is entered while the UI 220 is displayed, the control device 190 the speech processor 170 or the STT server 20 to translate the speech utterance of the user into a voice command.

Wie in 5 gezeigt ist, kann die Steuereinrichtung 190 die UI 230 anzeigen, die einen Nutzer zum Bestimmen einer gewünschten Operation zum Spezifizieren der dem eingegebenen Sprachbefehl entsprechenden Operation unter den verschiedenen in der Datenbank 210 (vergleiche 3) gespeicherten Operationen der Anzeigevorrichtung 100 führen kann.As in 5 is shown, the control device 190 the UI 230 indicating a user to designate a desired operation for specifying the operation corresponding to the input voice command among the various ones in the database 210 (see 3 ) stored operations of the display device 100 can lead.

Die UI 230 kann für einen Nutzer zum Auswählen der dem Sprachbefehl der Sprachäußerung des Nutzers entsprechenden Operation, während die vorhergehende UI 220 (vergleiche 4) angezeigt wird, bereitgestellt werden.The UI 230 may for a user to select the operation corresponding to the voice command of the user's utterance while the previous UI 220 (see 4 ) is displayed.

Es wird z. B. der Fall betrachtet, dass ein Nutzer ”Einschalten” sagt, während die UI 220 (vergleiche 4) angezeigt wird. Ein Nutzer kann in Übereinstimmung mit der Führung der UI 230 einen Einschalter 151 der als eine Fernbedienung realisierten Nutzereingabeeinheit 150 niederdrücken. Die Steuereinrichtung 190 vergleicht den Sprachbefehl, in den die Sprachäußerung des Nutzers umgesetzt wird, und den Einschalter 151, der durch einen Nutzer bedient wird, und aktualisiert die Datenbank 210 (vergleiche 3).It is z. For example, consider the case that a user says "power on" while the UI is on 220 (see 4 ) is shown. A user can be in accordance with the leadership of the UI 230 a power switch 151 the user input unit realized as a remote control 150 Press down. The control device 190 compares the voice command into which the user's utterance is translated and the power button 151 which is served by a user and updates the database 210 (see 3 ).

Da der Einschalter 151 vom Kippschaltertyp ist, können zwei Arten von Ergebnissen, d. h. Ein- und Ausschalten, ausgeführt werden, falls ein Nutzer den Einschalter 151 niederdrückt. In diesem Fall kann die UI 230 zusätzlich eine Option zum Auswählen des Ein- oder Ausschaltens bereitstellen.As the power switch 151 of the toggle switch type, two kinds of results, ie turning on and off, can be carried out if a user turns on the power switch 151 depresses. In this case, the UI 230 additionally provide an option to select power on or off.

Als ein weiteres Beispiel wird der Fall betrachtet, dass ein Nutzer einen Sprachbefehl ”Lautstärke verringern” sagt, während die UI 220 (vergleiche 4) angezeigt wird. Ein Nutzer drückt in Übereinstimmung mit der Führung der UI 230 eine Lautstärke-verringern-Schaltfläche 152 der Nutzereingabeeinheit 150 nieder. Daraufhin passt die Steuereinrichtung 190 das Ausführen der Operation der Lautstärke-verringern-Schaltfläche 152 entsprechend dem Sprachbefehl ”Lautstärke verringern” an.As another example, consider the case where a user says a voice command "decrease volume" while the UI 220 (see 4 ) is shown. A user presses in accordance with the leadership of the UI 230 a volume-decrease button 152 the user input unit 150 low. The controller then fits 190 performing the operation of the volume-decrease button 152 according to the voice command "decrease volume".

Das heißt, selbst wenn eine Sprachäußerung eines Nutzers in einen Sprachbefehl umgesetzt wird, der sich von dem tatsächlichen Inhalt unterscheidet, kann ein Nutzer die dem Sprachbefehl entsprechende Operation bestimmen oder anpassen, wobei im Ergebnis die zu der Absicht eines Nutzers passende Operation ausgeführt werden kann.That is, even when a user's utterance is converted into a voice command different from the actual content, a user can determine or adjust the operation corresponding to the voice command, and as a result, the operation matching the user's intention can be performed.

Wie in 6 gezeigt ist, kann die Steuereinrichtung 190 in einer weiteren Ausführungsform, falls eine Sprachäußerung eines Nutzers eingegeben wird, während die UI 220 (vergleiche 4) angezeigt wird, eine UI 240 anzeigen, die eine Liste mehrerer im Voraus festgelegter Operationen enthält, um bezüglich der Sprachäußerung eine dem Sprachbefehl entsprechende Operation auszuwählen.As in 6 is shown, the control device 190 in another embodiment, if a user's utterance is entered while the UI 220 (see 4 ) is displayed, a UI 240 which contains a list of a plurality of preselected operations for selecting an operation corresponding to the voice command with respect to the utterance.

Das Verfahren zum Anzeigen der Liste in der UI 240 kann einschließlich des Anzeigens mehrerer Operationen in einer im Voraus festgelegten Reihenfolge durch einen Scroll-Typ oder Pop-up oder des Anzeigens in Bäumen hinsichtlich Unterpositionen, falls ein Nutzer eine von mehreren repräsentativen Positionen auswählt, variieren.The procedure for displaying the list in the UI 240 may vary, including displaying multiple operations in a predetermined order by a scroll type or pop-up, or displaying in trees for sub-positions, if a user selects one of several representative locations.

Während durch das vorstehende Verfahren für die erste Operation in der Datenbank 210 ein spezifischer Sprachbefehl eingestellt wird, kann die Steuereinrichtung 190 den Bestimmungszustand für den Sprachbefehl von der ersten Operation auf die zweite Operation anpassen oder einen der ersten Operation entsprechenden neuen Sprachbefehl hinzufügen.While through the above procedure for the first operation in the database 210 a specific voice command is set, the control device 190 adjust the determination state for the voice command from the first operation to the second operation or add a new voice command corresponding to the first operation.

Allerdings können die erste und die zweite Operation Operationen zum Anpassen der Figurenebene für dieselbe Funktion sein, wobei die Pegelnummer aber verschieden sein kann. However, the first and the second operations may be operations for adjusting the figure level for the same function, but the level number may be different.

Es wird z. B. der Fall betrachtet, in dem ein Sprachbefehl der Sprachäußerung eines Nutzers ”Verringere die Lautstärke” ist und eine entsprechende Operation eine Operation zum Verringern der gegenwärtigen Lautstärke auf einen Pegel 7 ist. Falls der Pegel 7 wie oben erläutert über eine UI auf einen Pegel 5 angepasst wird, aktualisiert die Steuereinrichtung 190 die Datenbank 210 mit dem angepassten Inhalt.It is z. For example, consider the case where a voice command of a user's utterance is "decrease the volume" and a corresponding operation is an operation to decrease the current volume to a level 7. If the level 7 is adjusted to a level 5 via a UI as explained above, the controller updates 190 database 210 with the adjusted content.

Falls später die Sprachäußerung eines Nutzers ”Verringere Lautstärke” eingegeben wird, verringert die Steuereinrichtung 190 die Lautstärke auf den Pegel 5.If the voice utterance of a user "decrease volume" is input later, the controller decreases 190 the volume to level 5.

Wie oben kann das Aktualisieren der Datenbank 210 durch die UI verschiedene Absichten des Nutzers widerspiegeln.As above, updating the database 210 by the UI reflect various intentions of the user.

Die Steuereinrichtung 190 kann eine Makroanweisung einstellen, in der mehrere Operationen, die mehreren Sprachäußerungen des Nutzers entsprechen, durch eine einzelne Sprachäußerung aufeinanderfolgend ausgeführt werden.The control device 190 may set a macroinstruction in which a plurality of operations corresponding to plural utterances of the user are successively executed by a single utterance.

7 veranschaulicht ein Beispiel einer Makroanweisungsfolge in Übereinstimmung mit der vorliegenden Ausführungsform. 7 FIG. 11 illustrates an example of a macro instruction sequence in accordance with the present embodiment. FIG.

Wie darin gezeigt ist, kann die Steuereinrichtung 190 eine Einstellung für die Makroanweisung zum aufeinanderfolgenden Ausführen mehrerer Operationen, die durch einen Nutzer über eine UI eingestellt werden kann, bereitstellen.As shown therein, the controller may 190 provide a setting for the macro statement to sequentially perform multiple operations that can be set by a user via a UI.

Das Implementierungsverfahren der UI kann variieren, wobei die UI z. B. zum aufeinanderfolgenden Auswählen von Operationen aus der Liste verschiedener vorhandener Operationen bereitgestellt werden kann.The implementation method of the UI may vary, with the UI z. B. can be provided for sequentially selecting operations from the list of various existing operations.

Es wird ein Fall betrachtet, in dem ein Nutzer eine Makroanweisung zum automatischen Ausführen einer Schlafzustandsreservierung und einer Alarmeinstellung einstellen kann. In diesem Fall kann die Folge der Operationen das Auswählen 310 einer Schlaf zustandsreservierungsfunktion, das Auswählen 320 einer Zeit zum Ausschalten der Systemleistung der Anzeigevorrichtung 100, das Auswählen 330 einer Alarmeinstellungsfunktion, das Auswählen 340 einer Zeit für die Alarmierung und das Einstellen 350 eines Folgenabschlusses enthalten.A case will be considered where a user can set a macro instruction for automatically executing a sleep state reservation and an alarm setting. In this case, the sequence of operations may be selecting 310 a sleep condition reservation function, selecting 320 a time to turn off the system performance of the display device 100 , the Select 330 an alarm setting function, selecting 340 a time for alerting and setting 350 a follow-up statement.

Die Steuereinrichtung 190 kann beim Empfang einer Anforderung zum Einstellen der Makroanweisung durch Bedienung eines Nutzers durch die Nutzereingabeeinheit 150 oder einer Sprachäußerung eines Nutzers durch die Spracheingabeeinheit 160 eine UI zum Einstellen der Makroanweisung anzeigen.The control device 190 may upon receipt of a request for setting the macro-instruction by operation of a user by the user input unit 150 or a voice utterance of a user by the voice input unit 160 Display a UI for setting the macro statement.

Die 8 bis 12 veranschaulichen ein Beispiel von UIs 410, 420, 430, 440 und 450 zum Einstellen einer Makroanweisung.The 8th to 12 illustrate an example of UIs 410 . 420 . 430 . 440 and 450 for setting a macro statement.

Wie in 8 gezeigt ist, kann die Steuereinrichtung 190 die UI 410 zum Auswählen einer ersten Operation der Makroanweisung anzeigen. Die UI 410 kann zum Auswählen einer von mehreren Operationen bereitgestellt werden und ein Nutzer kann die Nutzereingabeeinheit 150 bedienen oder einen der Operation entsprechenden Sprachbefehl sprechen, um die erste Operation der Makroanweisung auszuwählen. In der vorliegenden Ausführungsform kann ein Nutzer durch die UI 410 die Operation ”Schlafzustandsreservierung” auswählen.As in 8th is shown, the control device 190 the UI 410 to select a first operation of the macro statement. The UI 410 may be provided for selecting one of a plurality of operations, and a user may select the user input unit 150 or speak a voice command corresponding to the operation to select the first operation of the macroinstruction. In the present embodiment, a user through the UI 410 Select the sleep state reservation operation.

Wie in 9 gezeigt ist, kann die Steuereinrichtung 190 die UI 420 zum Bestimmen der Zeitdauer, nach der die Anzeigevorrichtung 100 ausgeschaltet wird, anzeigen, falls ein Nutzer ”Schlafzustandsreservierung” auswählt.As in 9 is shown, the control device 190 the UI 420 for determining the period of time after which the display device 100 is turned off, if a user selects "sleep state reservation".

Die UI 420 kann zum Auswählen mehrerer im Voraus festgelegter Zeitbeispiele bereitgestellt werden. Anderenfalls kann die UI 420 ermöglichen, dass ein Nutzer die Zeit durch eine Sprachäußerung eingibt oder über die Nutzereingabeeinheit 150 eingibt.The UI 420 may be provided for selecting a plurality of predetermined time examples. Otherwise, the UI 420 allow a user to enter the time through an utterance or via the user input unit 150 enters.

Wie in 10 gezeigt ist, kann die Steuereinrichtung 190 die UI 430 für einen Nutzer anzeigen, damit er auswählt, ob die Einstellung der Makroanweisung, die wie oben erläutert eine Operationsfolge enthält, fertiggestellt wird oder das Einstellen der Makroanweisung durch Hinzufügen von Operationen fortgesetzt wird.As in 10 is shown, the control device 190 the UI 430 for a user to select whether to complete the setting of the macro instruction containing an operation sequence as explained above, or to continue setting the macro instruction by adding operations.

Der Nutzer kann ”Fertig” auswählen, um das Einstellen der Makroanweisung abzuschließen, oder kann ”Fortsetzen” auswählen.The user can select "Done" to finish setting the macro statement, or select "Continue".

Falls ein Nutzer wie in 11 gezeigt in der UI 430 (vergleiche 10) ”Fortsetzen” auswählt, kann die Steuereinrichtung 190 einem Nutzer die UI 440 anzeigen, damit er eine nächste Operation der Makroanweisung auswählt. Die UI 440 ist im Wesentlichen von einem ähnlichen Typ wie in 8.If a user like in 11 shown in the UI 430 (see 10 ) "Resume" selects, the control device 190 a user the UI 440 to select a next operation of the macro statement. The UI 440 is essentially of a similar type as in 8th ,

Durch die UI 440 kann ein Nutzer die Operation ”Alarmeinstellung” auswählen.Through the UI 440 a user can select the alarm setting operation.

Wie in 12 gezeigt ist, kann die Steuereinrichtung 190 einem Nutzer die UI 450 anzeigen, damit er in Übereinstimmung mit der vorhergehenden Auswahl der Operation ”Alarmeinstellung” die Alarmzeit bestimmt.As in 12 is shown, the control device 190 a user the UI 450 Show it in accordance with the previous one Selection of Operation "Alarm Setting" determines the alarm time.

Ein Nutzer kann durch die Nutzereingabeeinheit 150 Zahlen eingeben oder kann Zahlen sprechen, während die UI 450 angezeigt wird, um dadurch die Alarmzeit einzustellen.A user may through the user input unit 150 Enter numbers or can speak numbers while the UI 450 is displayed, thereby setting the alarm time.

Falls die Einstelloperationen abgeschlossen sind, kann die Steuereinrichtung 190 die wie in 10 gezeigte UI 430 anzeigen. Falls der Nutzer ”Fertig” auswählt, kann die Steuereinrichtung 190 die Makroanweisung in der Datenbank der Ablageeinheit 180 speichern, um die Operationen in der Folge wie in 7 einzustellen.If the setting operations are completed, the controller may 190 like in 10 shown UI 430 Show. If the user selects "Done", the controller may 190 the macro statement in the database of the storage unit 180 Save to the operations in the sequence as in 7 adjust.

Falls der Nutzer einen der ersten Operation von der Makroanweisung entsprechenden Sprachbefehl sagt, d. h. den Sprachbefehl ”Schlafzustandsreservierung” sagt, kann die Steuereinrichtung 190 die mehreren in der Makroanweisung eingestellten Operationen aufeinanderfolgend ausführen. Anderenfalls kann während des Einstellens der Makroanweisung ein neuer Sprachbefehl zum Ausführen der Makroanweisung eingestellt werden.If the user says one of the first operation of the macro statement corresponding voice command, ie the voice command "sleep state reservation" says the controller 190 execute the several operations set in the macro instruction sequentially. Otherwise, during setting of the macro instruction, a new voice command for executing the macro instruction can be set.

Wie oben können die mehreren Operationen durch einen einfachen Sprachbefehl des Nutzers aufeinanderfolgend ausgeführt werden.As above, the multiple operations can be performed sequentially by a simple voice command of the user.

Obwohl einige beispielhafte Ausführungsformen gezeigt und beschrieben worden sind, wird der Fachmann auf dem Gebiet würdigen, dass an diesen beispielhaften Ausführungsformen Änderungen vorgenommen werden können, ohne von den Prinzipien und von dem Erfindungsgedanken der Erfindung, deren Umfang in den beigefügten Ansprüchen und ihren Äquivalenten definiert ist, abzuweichen.Although a few exemplary embodiments have been shown and described, it will be appreciated by those skilled in the art that changes may be made to these example embodiments without departing from the principles and spirit of the invention, the scope of which is defined in the appended claims and their equivalents to deviate.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • KR 10-2012-0119634 [0002] KR 10-2012-0119634 [0002]

Claims (11)

Bildverarbeitungsvorrichtung (100), die umfasst: einen Bildprozessor (120), der ein Bildsignal verarbeiten kann, um auf der Grundlage des verarbeiteten Bildsignals ein Bild anzuzeigen; eine Spracheingabeeinheit (160), die eine Sprachäußerung eines Nutzers empfangen kann; einen Sprachprozessor (170), der in Übereinstimmung mit einem der Sprachäußerung entsprechenden Sprachbefehl eine entsprechende im Voraus festgelegte Operation ausführen kann; und eine Steuereinrichtung (190), die die entsprechende Operation des Sprachbefehls anpassen kann, falls die in die Spracheingabeeinheit (160) eingegebene Sprachäußerung nicht zu der entsprechenden Operation durch den Sprachprozessor (170) passt, und die in Übereinstimmung mit dem Anpassungsergebnis die entsprechende Operation ausführen kann, die zu der Sprachäußerung passt.Image processing device ( 100 ) comprising: an image processor ( 120 ) capable of processing an image signal to display an image based on the processed image signal; a voice input unit ( 160 ) which can receive a voice utterance of a user; a speech processor ( 170 ) which can execute a corresponding predetermined operation in accordance with a voice command corresponding to the utterance; and a control device ( 190 ), which can adjust the corresponding operation of the voice command if the voice input unit (s) ( 160 ) is not translated to the corresponding operation by the speech processor ( 170 ) and which, in accordance with the adjustment result, can perform the corresponding operation that matches the utterance. Bildverarbeitungsvorrichtung (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinrichtung (190) eine Nutzerschnittstelle (UI) (220, 230, 240) zum Anpassen eines Bestimmungszustands der entsprechenden Operation an den Sprachbefehl bereitstellen kann und beim Empfangen einer Eingabe der Sprachäußerung eine zweite Operation ausführen kann, falls die entsprechende für einen Sprachbefehl einer vorgegebenen Sprachäußerung bestimmte Operation durch die UI (220, 230, 240) von einer ersten Operation zu einer zweiten Operation angepasst wird.Image processing device ( 100 ) according to claim 1, characterized in that the control device ( 190 ) a user interface (UI) ( 220 . 230 . 240 ) for adapting a determination state of the corresponding operation to the voice command and, upon receiving an input of the utterance, may perform a second operation if the corresponding operation for a voice command of a given voice utterance is performed by the UI ( 220 . 230 . 240 ) is adapted from a first operation to a second operation. Bildverarbeitungsvorrichtung (100) nach Anspruch 2, dadurch gekennzeichnet, dass die UI (220, 230, 240) einen Nutzer zum Sprechen führen kann und die Steuereinrichtung (190) eine von mehreren im Voraus festgelegten Operationen als die dem Sprachbefehl der Sprachäußerung entsprechende zweite Operation auswählen kann, falls die Sprachäußerung durch die Führung der UI (220, 230, 240) in die Spracheingabeeinheit (160) eingegeben wird.Image processing device ( 100 ) according to claim 2, characterized in that the UI ( 220 . 230 . 240 ) can lead a user to speak and the control device ( 190 ) can select one of a plurality of predetermined operations as the second operation corresponding to the voice command of the utterance, if the utterance is controlled by the guidance of the UI ( 220 . 230 . 240 ) into the speech input unit ( 160 ) is entered. Bildverarbeitungsvorrichtung (100) nach Anspruch 3, dadurch gekennzeichnet, dass die UI (220, 230, 240) einen Nutzer zum Bedienen mehrerer in eine Nutzereingabeeinheit integrierter Eingabeschaltflächen führen kann und die Steuereinrichtung (190) eine im Voraus für die durch die Führung bediente Eingabeschaltfläche bestimmte Operation unter den mehreren im Voraus festgelegten Operationen als die zweite Operation auswählen kann.Image processing device ( 100 ) according to claim 3, characterized in that the UI ( 220 . 230 . 240 ) can guide a user to operate a plurality of input buttons integrated into a user input unit, and the control device ( 190 ) may select one of the plurality of predetermined operations in advance for the input-operated-by-the-guide operation as the second operation. Bildverarbeitungsvorrichtung (100) nach Anspruch 3, dadurch gekennzeichnet, dass die UI (220, 230, 240) eine Liste mehrerer im Voraus festgelegter Operationen umfasst und die Steuereinrichtung (190) die aus der Liste ausgewählte Operation als die zweite Operation auswählen kann.Image processing device ( 100 ) according to claim 3, characterized in that the UI ( 220 . 230 . 240 ) comprises a list of several predefined operations and the control device ( 190 ) can select the operation selected from the list as the second operation. Bildverarbeitungsvorrichtung (100) nach Anspruch 1, dadurch gekennzeichnet, dass die UI (410, 420, 430, 440 zum Einstellen einer Makroanweisung zum aufeinanderfolgenden Einstellen der mehreren Sprachäußerungen und der mehreren den mehreren Sprachäußerungen entsprechenden Operationen durch eine einzelne Sprachäußerung bereitgestellt werden kann.Image processing device ( 100 ) according to claim 1, characterized in that the UI ( 410 . 420 . 430 . 440 for setting a macro instruction for successively setting the plurality of voice utterances and the plurality of operations corresponding to the plurality of voice utterances by a single utterance. Bildverarbeitungsvorrichtung (100) nach Anspruch 6, dadurch gekennzeichnet, dass die Steuereinrichtung (190) die Makroanweisung ausführen kann, falls unter den mehreren im Voraus festgelegten in der Makroanweisung enthaltenen Operationen die einer ersten Operation entsprechende Sprachäußerung eingegeben wird.Image processing device ( 100 ) according to claim 6, characterized in that the control device ( 190 ) may execute the macroinstruction if among the plurality of predetermined operations included in the macroinstruction, the utterance corresponding to a first operation is input. Bildverarbeitungsvorrichtung (100) nach Anspruch 1, gekennzeichnet durch eine Kommunikationseinheit (140), die mit einem Server (20, 30) für die Kommunikation verbunden ist, wobei die Steuereinrichtung (190) den Sprachprozessor (170) oder den Server (20, 30) zum Verarbeiten des der Sprachäußerung entsprechenden Sprachbefehls, falls die Sprachäußerung eingegeben wird, steuern kann.Image processing device ( 100 ) according to claim 1, characterized by a communication unit ( 140 ) connected to a server ( 20 . 30 ) is connected for the communication, wherein the control device ( 190 ) the speech processor ( 170 ) or the server ( 20 . 30 ) for processing the voice command corresponding voice command, if the voice utterance is input, can control. Bildverarbeitungsvorrichtung (100) nach Anspruch 8, dadurch gekennzeichnet, dass die Kommunikationseinheit (140) mit einem Sprachäußerung-zu-Text-Server (STT-Server) (20), der die Sprachäußerung in einen Sprachbefehl eines Texts umsetzen kann, kommunizieren kann und die Steuereinrichtung einen Sprachbefehl der Sprachäußerung an den STT-Server (20) senden kann und den der Sprachäußerung entsprechenden Sprachbefehl von dem STT-Server (20) empfangen kann, falls die Sprachäußerung in die Spracheingabeeinheit (160) eingegeben wird.Image processing device ( 100 ) according to claim 8, characterized in that the communication unit ( 140 ) with an utterance-to-text server (STT server) ( 20 ), which can convert the utterance into a voice command of a text, can communicate and the control device a voice command of the utterance to the STT server ( 20 ) and the voice command corresponding to the utterance from the STT server ( 20 ) if the utterance in the speech input unit ( 160 ) is entered. Bildverarbeitungsvorrichtung (100) nach Anspruch 8, dadurch gekennzeichnet, dass die Steuereinrichtung (190) den Sprachprozessor (170) zum Verarbeiten des Sprachbefehls steuern kann, falls der Sprachbefehl ein Kurzsatz ist, und den Server (30) zum Verarbeiten des Sprachbefehls steuern kann, falls der Sprachbefehl ein Gesprächssatz ist.Image processing device ( 100 ) according to claim 8, characterized in that the control device ( 190 ) the speech processor ( 170 ) for processing the voice command, if the voice command is a short sentence, and the server ( 30 ) for processing the voice command if the voice command is a conversation sentence. Bildverarbeitungsvorrichtung (100) nach Anspruch 1, gekennzeichnet durch eine Anzeigeeinheit (130), auf der auf der Grundlage des durch den Bildprozessor (120) verarbeiteten Bildsignals ein Bild angezeigt werden kann.Image processing device ( 100 ) according to claim 1, characterized by a display unit ( 130 ), on the basis of which by the image processor ( 120 ) processed image signal, an image can be displayed.
DE202012104833U 2012-10-26 2012-12-12 Image processing apparatus and image processing system Expired - Lifetime DE202012104833U1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120119634A KR101284594B1 (en) 2012-10-26 2012-10-26 Image processing apparatus and control method thereof, image processing system
KR10-2012-0119634 2012-10-26

Publications (1)

Publication Number Publication Date
DE202012104833U1 true DE202012104833U1 (en) 2013-01-30

Family

ID=47751802

Family Applications (1)

Application Number Title Priority Date Filing Date
DE202012104833U Expired - Lifetime DE202012104833U1 (en) 2012-10-26 2012-12-12 Image processing apparatus and image processing system

Country Status (8)

Country Link
US (2) US20140122088A1 (en)
EP (1) EP2725576A1 (en)
JP (1) JP2014132370A (en)
KR (1) KR101284594B1 (en)
CN (2) CN103796053A (en)
DE (1) DE202012104833U1 (en)
FR (1) FR2997599B3 (en)
WO (1) WO2014065467A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112243068A (en) * 2019-07-18 2021-01-19 柯尼卡美能达株式会社 Image forming system and image forming apparatus

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102112742B1 (en) * 2013-01-22 2020-05-19 삼성전자주식회사 Electronic apparatus and voice processing method thereof
KR102155482B1 (en) * 2013-10-15 2020-09-14 삼성전자 주식회사 Display apparatus and control method thereof
CN104795067B (en) 2014-01-20 2019-08-06 华为技术有限公司 Voice interactive method and device
JP2016046636A (en) * 2014-08-21 2016-04-04 日本電気株式会社 Operation control device, operation control method and operation control program
EP3180660B1 (en) * 2014-09-25 2020-09-02 Siemens Aktiengesellschaft Method and system for performing a configuration of an automation system
CN105763929B (en) * 2016-02-23 2018-10-23 广州酷狗计算机科技有限公司 Audio switching method and device
CN106791370A (en) * 2016-11-29 2017-05-31 北京小米移动软件有限公司 A kind of method and apparatus for shooting photo
EP3563373B1 (en) * 2016-12-30 2022-11-30 Harman International Industries, Incorporated Voice recognition system
US10424297B1 (en) * 2017-02-02 2019-09-24 Mitel Networks, Inc. Voice command processing for conferencing
CN107248235A (en) * 2017-05-26 2017-10-13 黄晓咏 A kind of voice locker communication system
CN109584864B (en) * 2017-09-29 2023-11-24 上海寒武纪信息科技有限公司 Image processing apparatus and method
CN109584862B (en) * 2017-09-29 2024-01-12 上海寒武纪信息科技有限公司 Image processing apparatus and method
CN108235185A (en) * 2017-12-14 2018-06-29 珠海荣邦智能科技有限公司 Source of sound input client device, remote controler and the system for playing music
CN109218843B (en) * 2018-09-27 2020-10-23 四川长虹电器股份有限公司 Personalized intelligent voice prompt method based on television equipment
CN109259800A (en) * 2018-10-26 2019-01-25 深圳开立生物医疗科技股份有限公司 Ultrasonic imaging control system
JP7263919B2 (en) * 2019-05-22 2023-04-25 コニカミノルタ株式会社 Image processing device and program
KR102165084B1 (en) * 2020-01-21 2020-10-13 주식회사 나인위드 System for providing lucky draw service using intuitive user interface
CN111597808B (en) * 2020-04-24 2023-07-25 北京百度网讯科技有限公司 Instrument panel drawing processing method and device, electronic equipment and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120119634A (en) 2011-04-22 2012-10-31 (주)광인사 Plastic card with stereoscopic pattern

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07109560B2 (en) * 1990-11-30 1995-11-22 富士通テン株式会社 Voice recognizer
KR970057020A (en) * 1995-12-15 1997-07-31 배순훈 Television control device by voice recognition
DE69814181T2 (en) * 1998-09-22 2004-03-04 Nokia Corp. METHOD AND DEVICE FOR CONFIGURING A VOICE RECOGNITION SYSTEM
KR20000042731A (en) * 1998-12-26 2000-07-15 전주범 Channel switching apparatus based on voice recognition of television
US6327566B1 (en) * 1999-06-16 2001-12-04 International Business Machines Corporation Method and apparatus for correcting misinterpreted voice commands in a speech recognition system
GB2368441A (en) * 2000-10-26 2002-05-01 Coles Joseph Tidbold Voice to voice data handling system
JP4789227B2 (en) * 2001-04-04 2011-10-12 Ｎｅｃディスプレイソリューションズ株式会社 Video display device with built-in voice recognition function
US7366673B2 (en) * 2001-06-15 2008-04-29 International Business Machines Corporation Selective enablement of speech recognition grammars
DE10313310A1 (en) * 2003-03-25 2004-10-21 Siemens Ag Procedure for speaker-dependent speech recognition and speech recognition system therefor
US20060075429A1 (en) * 2004-04-30 2006-04-06 Vulcan Inc. Voice control of television-related information
US8589156B2 (en) * 2004-07-12 2013-11-19 Hewlett-Packard Development Company, L.P. Allocation of speech recognition tasks and combination of results thereof
KR100672518B1 (en) * 2005-02-15 2007-01-24 엘지전자 주식회사 Television with voice recognition
TWI298844B (en) * 2005-11-30 2008-07-11 Delta Electronics Inc User-defines speech-controlled shortcut module and method
JP4181590B2 (en) * 2006-08-30 2008-11-19 株式会社東芝 Interface device and interface processing method
US8055502B2 (en) * 2006-11-28 2011-11-08 General Motors Llc Voice dialing using a rejection reference
US8676904B2 (en) * 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
JP6317111B2 (en) * 2011-02-22 2018-04-25 スピーク・ウィズ・ミー・インコーポレイテッドＳｐｅａｋ Ｗｉｔｈ Ｍｅ，Ｉｎｃ． Hybrid client / server speech recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120119634A (en) 2011-04-22 2012-10-31 (주)광인사 Plastic card with stereoscopic pattern

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112243068A (en) * 2019-07-18 2021-01-19 柯尼卡美能达株式会社 Image forming system and image forming apparatus

Also Published As

Publication number Publication date
US20140122089A1 (en) 2014-05-01
WO2014065467A1 (en) 2014-05-01
FR2997599A3 (en) 2014-05-02
JP2014132370A (en) 2014-07-17
KR101284594B1 (en) 2013-07-10
US20140122088A1 (en) 2014-05-01
CN103796053A (en) 2014-05-14
EP2725576A1 (en) 2014-04-30
CN203151689U (en) 2013-08-21
FR2997599B3 (en) 2015-05-29

Similar Documents

Publication Publication Date Title
DE202012104833U1 (en) Image processing apparatus and image processing system
JP6824316B2 (en) Video processing equipment, its control method, and video processing system
DE202013100036U1 (en) Image processing apparatus and image processing system
DE60122958T2 (en) Display interface with a channel matrix
DE60012065T2 (en) Method and apparatus for television channel selection using speech understanding
DE102008046493B4 (en) Multimedia arrangement with a programmable universal remote control
CN107958668B (en) Voice control broadcasting method and voice control broadcasting system of smart television
CN103248959A (en) Man-machine interaction method and device for self adapting user identity
KR102227599B1 (en) Voice recognition system, voice recognition server and control method of display apparatus
KR102622950B1 (en) Display apparatus, method for controlling thereof and recording media thereof
DE202014011475U1 (en) Electronic device
DE69915668T2 (en) PORTABLE REMOTE CONTROL DEVICE
CN111385624B (en) Voice-based data transmission control method, smart television and storage medium
CN108769827B (en) Television program associated display method and device, mobile terminal and storage medium
US20150025893A1 (en) Image processing apparatus and control method thereof
DE112005002130T5 (en) Method for controlling an electronic device
KR102460927B1 (en) Voice recognition system, voice recognition server and control method of display apparatus
CN113079400A (en) Display device, server and voice interaction method
CN1413018A (en) Method for operating electronic program guide
KR20140053760A (en) Image processing apparatus and control method thereof, image processing system
MXPA02004279A (en) Method for modifying a user interface of a consumer electronic apparatus, corresponding apparatus, signal and data carrier.
EP2141674B1 (en) Assembly with device which can be controlled remotely
AU2018202888B2 (en) Image processing apparatus, control method thereof, and image processing system
DE112019007646T5 (en) ARTIFICIAL INTELLIGENCE DISPLAY AND SERVER
CN114302248A (en) Display device and multi-window voice broadcasting method

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: GRUENECKER, KINKELDEY, STOCKMAIR & SCHWANHAEUS, DE

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE

R207 Utility model specification

Effective date: 20130321

R163 Identified publications notified
R163 Identified publications notified

Effective date: 20130619

R150 Utility model maintained after payment of first maintenance fee after three years
R157 Lapse of ip right after 6 years