JP2015109525A - Viewing device and viewing terminal - Google Patents

Viewing device and viewing terminal Download PDF

Info

Publication number
JP2015109525A
JP2015109525A JP2013250580A JP2013250580A JP2015109525A JP 2015109525 A JP2015109525 A JP 2015109525A JP 2013250580 A JP2013250580 A JP 2013250580A JP 2013250580 A JP2013250580 A JP 2013250580A JP 2015109525 A JP2015109525 A JP 2015109525A
Authority
JP
Japan
Prior art keywords
unit
content
viewing
keyword
caption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013250580A
Other languages
Japanese (ja)
Inventor
利之 鬼頭
Toshiyuki Kito
利之 鬼頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2013250580A priority Critical patent/JP2015109525A/en
Publication of JP2015109525A publication Critical patent/JP2015109525A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a viewing device and a viewing terminal which allow simple continuation of viewing between the viewing device and the viewing terminal.SOLUTION: The viewing device comprises: a display for displaying a content; a speaker for outputting the voice of the content; a caption extraction unit for extracting the caption of the content; a caption keyword extraction unit for extracting a caption keyword from the caption extracted by the caption extraction unit; and a transmitter and receiver which transmits information on the content and the caption keyword to the viewing terminal.

Description

本発明の実施形態は、視聴装置及び視聴端末に関する。   Embodiments described herein relate generally to a viewing device and a viewing terminal.

TV(テレビジョンセット)のリモートコントローラの役割を果たすとなるアプリケーションや、TVの録画番組を視聴することができるアプリケーションがある。また、地デジ(地上ディジタル放送)対応のタブレット端末もある。また、これらのアプリケーションは同じ端末において、あるアプリケーションから別のアプリケーションを起動させることによって、連携することができるようになり、タブレット端末がリモートコントローラになったり、視聴端末になったりすることができるようになった。   There are applications that play the role of a TV (television set) remote controller and applications that allow viewing of TV recorded programs. There are also tablet terminals compatible with terrestrial digital (terrestrial digital broadcasting). In addition, these applications can be linked by launching another application from one application on the same terminal, so that the tablet terminal can be a remote controller or a viewing terminal. Became.

しかしながら課題として、アプリケーションをリモートコントローラとしてTVの視聴中に、ユーザが宅内でタブレットを持ち出して継続視聴を行ないたい場合、視聴しているコンテンツに合わせて、アプリケーションを立ち上げ、関連するコンテンツを選択したうえで視聴する必要があり、手間となっていた状況がある。   However, when the user wants to continue viewing by taking out the tablet at home while watching the TV with the application as a remote controller, the application is launched according to the content being viewed and the related content is selected. There is a situation where it was necessary to watch the video above.

即ち、TV(視聴装置)とタブレット(視聴端末)との間でより簡易に継続視聴することができる視聴装置及び視聴端への要望があるが、かかる要望を実現するための手段は知られていない。   That is, there is a demand for a viewing device and a viewing end that can be easily and continuously viewed between a TV (viewing device) and a tablet (viewing terminal), and means for realizing such a request are known. Absent.

特開2006−108902号公報JP 2006-108902 A

本発明の実施の形態は、視聴装置と視聴端末との間でより簡易に継続視聴することができる視聴装置及び視聴端末を提供することを目的とする。   An object of the embodiment of the present invention is to provide a viewing device and a viewing terminal that can be easily and continuously viewed between the viewing device and the viewing terminal.

上記課題を解決するために、実施形態によれば視聴装置は、コンテンツを表示する表示部と、前記コンテンツの音声を出力するスピーカ部と、前記コンテンツの字幕を抽出する字幕抽出部と、前記字幕抽出部で抽出された字幕から字幕キーワードを抽出する字幕キーワード抽出部と、前記コンテンツに関する情報または前記字幕キーワードを視聴端末に送信する送受信部とを具備する。   In order to solve the above problem, according to the embodiment, a viewing device includes a display unit that displays content, a speaker unit that outputs audio of the content, a subtitle extraction unit that extracts subtitles of the content, and the subtitles A subtitle keyword extraction unit that extracts a subtitle keyword from the subtitles extracted by the extraction unit, and a transmission / reception unit that transmits the information related to the content or the subtitle keyword to a viewing terminal.

一実施形態にかかる録画再生装置について説明する為の図。The figure for demonstrating the recording / reproducing apparatus concerning one Embodiment. 一実施形態にかかる録画再生装置の制御部について説明する為の図。The figure for demonstrating the control part of the video recording / reproducing apparatus concerning one Embodiment. 実施形態にかかる電子機器の外観を模式的に示す図。FIG. 2 is a diagram schematically illustrating an external appearance of an electronic apparatus according to an embodiment. 実施形態にかかる電子機器のハードウェア構成の一例を示すブロック構成図。1 is a block configuration diagram showing an example of a hardware configuration of an electronic device according to an embodiment. 同実施形態の音声処理部の詳細な構成を示すブロック図。The block diagram which shows the detailed structure of the audio | voice processing part of the embodiment. 視聴装置の機能構成図の一例。An example of the functional block diagram of a viewing-and-listening apparatus. 視聴端末の機能構成図の一例。An example of a functional block diagram of a viewing terminal. 視聴装置の字幕キーワード送信までのシーケンス図。The sequence diagram until subtitle keyword transmission of a viewing apparatus. 視聴装置のコンテンツ情報要求コマンド受信から送信までのシーケンス図。FIG. 5 is a sequence diagram from reception to transmission of a content information request command of a viewing device. 視聴端末のシーケンス図。The sequence diagram of a viewing terminal.

以下、実施形態を図1乃至図10を参照して説明する。まず、図2までを参照しながら、視聴装置の一実施形態にかかる録画再生装置について説明する。   Hereinafter, embodiments will be described with reference to FIGS. 1 to 10. First, a recording / playback apparatus according to an embodiment of a viewing apparatus will be described with reference to FIG.

図1は、一実施形態にかかる録画再生装置としての放送受信装置100の例を示す。
放送受信装置100は、映像を表示するディスプレイ(表示部400)が設けられる本体と、本体を自立可能な状態で支える脚部とを備える。
また、放送受信装置100は、放送入力端子110、受信部111、復元部112、通信インターフェース114、音声処理部121、映像処理部131、表示処理部133、制御部150、操作入力部161、カードコネクタ164、USBコネクタ166、ディスクドライブ170、LANコネクタ171、電源制御部180、及びストレージ190を備える。また、放送受信装置100は、さらにスピーカ300及びディスプレイ400を備える。
FIG. 1 shows an example of a broadcast receiving apparatus 100 as a recording / reproducing apparatus according to an embodiment.
The broadcast receiving apparatus 100 includes a main body provided with a display (display unit 400) for displaying video, and legs that support the main body in a state where it can stand on its own.
The broadcast receiving apparatus 100 includes a broadcast input terminal 110, a reception unit 111, a restoration unit 112, a communication interface 114, an audio processing unit 121, a video processing unit 131, a display processing unit 133, a control unit 150, an operation input unit 161, a card. A connector 164, a USB connector 166, a disk drive 170, a LAN connector 171, a power supply control unit 180, and a storage 190 are provided. The broadcast receiving apparatus 100 further includes a speaker 300 and a display 400.

放送入力端子110は、例えばアンテナ200により受信されるディジタル放送信号が入力される入力端子である。アンテナ200は、例えば、地上ディジタル放送信号、BS(broadcasting satellite)ディジタル放送信号、及び/または、110度CS(communication satellite)ディジタル放送信号を受信する。即ち、放送入力端子110には、放送信号により供給される番組などのコンテンツが入力される。   The broadcast input terminal 110 is an input terminal to which a digital broadcast signal received by the antenna 200 is input, for example. The antenna 200 receives, for example, a terrestrial digital broadcast signal, a BS (broadcasting satellite) digital broadcast signal, and / or a 110-degree CS (communication satellite) digital broadcast signal. That is, content such as a program supplied by a broadcast signal is input to the broadcast input terminal 110.

放送入力端子110は、受信したディジタル放送信号を受信部111に供給する。受信部111は、ディジタル放送信号用の受信部である。受信部111は、アンテナ200から供給されるディジタル放送信号のチューニング(選局)を行う。受信部111は、チューニングしたディジタル放送信号を復元部112に送信する。受信部111は、送信入力端子110または通信インターフェース114から供給される信号がアナログ信号である場合は、ディジタル信号に変換する。   The broadcast input terminal 110 supplies the received digital broadcast signal to the receiving unit 111. The receiving unit 111 is a receiving unit for digital broadcast signals. The receiving unit 111 tunes (tunes) the digital broadcast signal supplied from the antenna 200. The receiving unit 111 transmits the tuned digital broadcast signal to the restoration unit 112. When the signal supplied from the transmission input terminal 110 or the communication interface 114 is an analog signal, the reception unit 111 converts the signal into a digital signal.

復元部112は、受信するディジタル放送信号の復調を行う。さらに、復元部112は、復調したディジタル放送信号(コンテンツ)に対して信号処理を施す。これにより、復元部112は、ディジタル放送信号から映像信号、音声信号、及びその他のデータ信号を復元する。例えば、復元部112は、ディジタル放送信号から映像信号、音声信号、及びその他のデータ信号などが重畳されたトランスポートストリーム(TS)を復元する。   The restoration unit 112 demodulates the received digital broadcast signal. Further, the restoration unit 112 performs signal processing on the demodulated digital broadcast signal (content). Accordingly, the restoration unit 112 restores the video signal, the audio signal, and other data signals from the digital broadcast signal. For example, the restoration unit 112 restores a transport stream (TS) on which a video signal, an audio signal, and other data signals are superimposed from a digital broadcast signal.

復元部112は、音声処理部121に音声信号を供給する。また、復元部112は、映像処理部131に映像信号を供給する。さらに、復元部信号処理部113は、制御部150にデータ信号を供給する。即ち、アンテナ200、受信部111、及び復元部112は、コンテンツを受信する受信手段として機能する。   The restoration unit 112 supplies an audio signal to the audio processing unit 121. Further, the restoration unit 112 supplies a video signal to the video processing unit 131. Further, the restoration unit signal processing unit 113 supplies a data signal to the control unit 150. That is, the antenna 200, the reception unit 111, and the restoration unit 112 function as a reception unit that receives content.

通信インターフェース114は、例えばHDMI(登録商標)(High Definition Multimedia Interface)端子、オーディオ入力端子、S映像端子、コンポーネント映像端子、D映像端子、D−Sub端子、及びDVI−I端子などのコンテンツを受信可能なインターフェースのうちのいずれか、または複数を備える。通信インターフェース114は、ディジタル映像信号、及びディジタル音声信号などが多重化されたコンテンツを他の機器から受信する。通信インターフェース114は、他の機器から受信したディジタル信号(コンテンツ)を受信部111に供給する。通信インターフェース114は、他の機器から受信したコンテンツを復元部112に供給する。即ち、通信インターフェース114は、コンテンツを受信する受信手段として機能する。   The communication interface 114 receives contents such as an HDMI (High Definition Multimedia Interface) terminal, an audio input terminal, an S video terminal, a component video terminal, a D video terminal, a D-Sub terminal, and a DVI-I terminal. Provide any or more of the possible interfaces. The communication interface 114 receives content in which a digital video signal, a digital audio signal, and the like are multiplexed from another device. The communication interface 114 supplies a digital signal (content) received from another device to the receiving unit 111. The communication interface 114 supplies content received from another device to the restoration unit 112. That is, the communication interface 114 functions as a receiving unit that receives content.

復元部112は、通信インターフェース114から受信部111経由で供給されたコンテンツに信号処理を施す。例えば、復元部112は、ディジタル信号をディジタル映像信号とディジタル音声信号とデータ信号とに分離する。復元部112は、音声処理部121にディジタル音声信号を供給する。また、復元部112は、映像処理部131にディジタル映像信号を供給する。さらに、復元部112は、制御部150にコンテンツに関する他の情報を供給する。   The restoration unit 112 performs signal processing on the content supplied from the communication interface 114 via the reception unit 111. For example, the restoration unit 112 separates the digital signal into a digital video signal, a digital audio signal, and a data signal. The restoration unit 112 supplies a digital audio signal to the audio processing unit 121. The restoration unit 112 also supplies a digital video signal to the video processing unit 131. Further, the restoration unit 112 supplies the control unit 150 with other information regarding the content.

またさらに、復元部112は、制御部150の制御に基づいてコンテンツを後述するストレージ190に供給する。ストレージ190は、供給されたコンテンツを記憶する。これにより、放送受信装置100は、コンテンツを録画することができる。   Furthermore, the restoration unit 112 supplies the content to the storage 190 described later based on the control of the control unit 150. The storage 190 stores the supplied content. Thereby, the broadcast receiving apparatus 100 can record content.

音声処理部121は、復元部112から受信したディジタル音声信号を、スピーカ300により再生可能なフォーマットの信号(オーディオ信号)に変換する。音声処理部121は、オーディオ信号をスピーカ300に供給する。スピーカ300は、供給されるオーディオ信号に基づいて音を再生する。   The audio processing unit 121 converts the digital audio signal received from the restoration unit 112 into a signal (audio signal) in a format that can be reproduced by the speaker 300. The audio processing unit 121 supplies an audio signal to the speaker 300. The speaker 300 reproduces sound based on the supplied audio signal.

映像処理部131は、復元部112から受信したディジタル映像信号を、ディスプレイ400で再生可能なフォーマットの映像信号に変換する。即ち、映像処理部131は、復元部112から受信した映像信号を、ディスプレイ400で再生可能なフォーマットの映像信号にデコード(再生)する。また、映像処理部131は、図示しないOSD処理部から供給されるOSD信号を映像信号に重畳する。映像処理部131は、映像信号を表示処理部133に出力する。   The video processing unit 131 converts the digital video signal received from the restoration unit 112 into a video signal having a format that can be reproduced on the display 400. That is, the video processing unit 131 decodes (reproduces) the video signal received from the restoration unit 112 into a video signal having a format that can be reproduced by the display 400. In addition, the video processing unit 131 superimposes an OSD signal supplied from an OSD processing unit (not shown) on the video signal. The video processing unit 131 outputs the video signal to the display processing unit 133.

OSD処理部は、復元部112から供給されるデータ信号、及び/または制御部150から供給される制御信号に基づいて、GUI(グラフィック ユーザ インタフェース)画面、字幕、時刻、または他の情報などを画面に重畳して表示する為のOSD信号を生成する。OSD処理部は、個別にモジュールとして放送受信装置100内に設けられていてもよいし、制御部150の機能として設けられていてもよい。   The OSD processing unit displays a GUI (graphic user interface) screen, subtitles, time, or other information based on the data signal supplied from the restoration unit 112 and / or the control signal supplied from the control unit 150. An OSD signal to be displayed in a superimposed manner is generated. The OSD processing unit may be provided individually as a module in the broadcast receiving apparatus 100 or may be provided as a function of the control unit 150.

表示処理部133は、例えば、制御部150からの制御に基づいて、受信した映像信号に対して色味、明るさ、シャープ、コントラスト、またはその他の画質調整処理を行う。表示処理部133は、画質調整を施した映像信号をディスプレイ400に供給する。ディスプレイ400は、供給される映像信号に基づいて映像を表示する。   For example, the display processing unit 133 performs color tone, brightness, sharpness, contrast, or other image quality adjustment processing on the received video signal based on the control from the control unit 150. The display processing unit 133 supplies the video signal subjected to the image quality adjustment to the display 400. The display 400 displays a video based on the supplied video signal.

ディスプレイ400は、例えば、マトリクス状に配列された複数の画素を備える液晶表示パネルと、この液晶パネルを照明するバックライトとを備える液晶表示装置などを備える。ディスプレイ400は、放送受信装置100から供給される映像信号に基づいて映像を表示する。   The display 400 includes, for example, a liquid crystal display device including a liquid crystal display panel including a plurality of pixels arranged in a matrix and a backlight that illuminates the liquid crystal panel. The display 400 displays a video based on the video signal supplied from the broadcast receiving device 100.

なお、放送受信装置100は、ディスプレイ400の代わりに、映像出力端子を備える構成であってもよい。また、放送受信装置100は、スピーカ300の代わりに、音声出力端子を備える構成であってもよい。この場合、放送受信装置100は、映像出力端子に接続される表示装置に映像信号を出力し、音声出力端子に接続されるスピーカに音声信号を出力する。これにより、放送受信装置100は、表示装置に映像を表示させ、スピーカから音声を出力させることができる。   The broadcast receiving apparatus 100 may be configured to include a video output terminal instead of the display 400. Moreover, the broadcast receiving apparatus 100 may be configured to include an audio output terminal instead of the speaker 300. In this case, the broadcast receiving apparatus 100 outputs a video signal to a display device connected to the video output terminal, and outputs an audio signal to a speaker connected to the audio output terminal. Thereby, the broadcast receiving apparatus 100 can display an image | video on a display apparatus, and can output an audio | voice from a speaker.

制御部150は、放送受信装置100の各部の動作を制御する制御手段として機能する。制御部150は、CPU151、ROM152、RAM153、及びEEPROM154などを備えている。制御部150は、操作入力部161から供給される操作信号に基づいて、種々の処理を行う。   The control unit 150 functions as a control unit that controls the operation of each unit of the broadcast receiving apparatus 100. The control unit 150 includes a CPU 151, a ROM 152, a RAM 153, an EEPROM 154, and the like. The control unit 150 performs various processes based on the operation signal supplied from the operation input unit 161.

CPU151は、種々の演算処理を実行する演算素子などを備える。CPU151は、ROM152、またはEEPROM154などに記憶されているプログラムを実行することにより種々の機能を実現する。   The CPU 151 includes arithmetic elements that execute various arithmetic processes. The CPU 151 implements various functions by executing programs stored in the ROM 152, the EEPROM 154, or the like.

ROM152は、放送受信装置100を制御する為のプログラム、及び各種の機能を実現する為のプログラムなどを記憶する。CPU151は、操作入力部161から供給される操作信号に基づいて、ROM152に記憶されているプログラムを起動する。これにより、制御部150は、各部の動作を制御する。   The ROM 152 stores a program for controlling the broadcast receiving apparatus 100, a program for realizing various functions, and the like. The CPU 151 activates the program stored in the ROM 152 based on the operation signal supplied from the operation input unit 161. Thereby, the control part 150 controls operation | movement of each part.

RAM153は、CPU151のワークメモリとして機能する。即ち、RAM153は、CPU151の演算結果、CPU151により読み込まれたデータなどを記憶する。   The RAM 153 functions as a work memory for the CPU 151. That is, the RAM 153 stores the calculation result of the CPU 151, the data read by the CPU 151, and the like.

EEPROM154は、各種の設定情報、及びプログラムなどを記憶する不揮発性メモリである。
操作入力部161は、例えば、操作キー、キーボード、マウス、音声入力装置、タッチパッドまたは操作入力に応じて操作信号を生成する事ができる他の入力装置などを備える。また、操作入力部161は、例えば、リモートコントローラからの操作信号を受信するセンサなどを備える構成であってもよい。また、操作入力部162は、上記の入力装置とセンサとを備える構成であってもよい。即ち、操作入力部161は、操作信号を受け取る操作信号受信手段として機能する。
The EEPROM 154 is a non-volatile memory that stores various setting information, programs, and the like.
The operation input unit 161 includes, for example, an operation key, a keyboard, a mouse, a voice input device, a touch pad, or another input device that can generate an operation signal according to the operation input. Further, the operation input unit 161 may be configured to include, for example, a sensor that receives an operation signal from a remote controller. Further, the operation input unit 162 may be configured to include the above input device and sensor. That is, the operation input unit 161 functions as an operation signal receiving unit that receives an operation signal.

操作入力部161は、入力された操作信号を制御部150に供給する。制御部150は、操作入力部161から供給された操作信号に基づいて、放送受信装置100に種々の処理を行わせる。   The operation input unit 161 supplies the input operation signal to the control unit 150. The control unit 150 causes the broadcast receiving device 100 to perform various processes based on the operation signal supplied from the operation input unit 161.

なお、タッチパッドは、静電センサ、サーモセンサ、または他の方式に基づいて位置情報を生成するデバイスを含む。また、放送受信装置100がディスプレイ400を備える場合、操作入力部161は、ディスプレイ400と一体に形成されるタッチパネルなどを備える構成であってもよい。   The touch pad includes an electrostatic sensor, a thermo sensor, or a device that generates position information based on other methods. When the broadcast receiving device 100 includes the display 400, the operation input unit 161 may include a touch panel formed integrally with the display 400.

リモートコントローラは、ユーザの操作入力に基づいて操作信号を生成する。リモートコントローラは、生成した操作信号を赤外線通信により操作入力部161のセンサに送信する。なお、センサとリモートコントローラとは、電波などの他の無線通信により操作信号の送受信を行う構成であってもよい。   The remote controller generates an operation signal based on a user operation input. The remote controller transmits the generated operation signal to the sensor of the operation input unit 161 by infrared communication. The sensor and the remote controller may be configured to transmit and receive operation signals by other wireless communication such as radio waves.

カードコネクタ164は、例えば、動画コンテンツを記憶するメモリカード165と通信を行う為のインターフェースである。カードコネクタ164は、接続されるメモリカード165から動画のコンテンツデータを読み出し、制御部150に供給する。   The card connector 164 is an interface for communicating with, for example, a memory card 165 that stores moving image content. The card connector 164 reads moving image content data from the connected memory card 165 and supplies it to the control unit 150.

USBコネクタ166は、USB機器167と通信を行う為のインターフェースである。USBコネクタ166は、接続されるUSB機器167から供給される信号を制御部150に供給する。   The USB connector 166 is an interface for communicating with the USB device 167. The USB connector 166 supplies a signal supplied from the connected USB device 167 to the control unit 150.

例えば、USB機器167がキーボードなどの操作入力機器である場合、USBコネクタ166は、操作信号をUSB機器167から受け取る。USBコネクタ166は、受け取った操作信号を制御部150に供給する。この場合、制御部150は、USBコネクタ166から供給される操作信号に基づいて種々の処理を実行する。   For example, when the USB device 167 is an operation input device such as a keyboard, the USB connector 166 receives an operation signal from the USB device 167. The USB connector 166 supplies the received operation signal to the control unit 150. In this case, the control unit 150 executes various processes based on the operation signal supplied from the USB connector 166.

また、例えば、USB機器167が動画のコンテンツデータを記憶する記憶装置である場合、USBコネクタ166は、コンテンツをUSB機器167から取得することができる。USBコネクタ166は、取得したコンテンツを制御部150に供給する。   For example, when the USB device 167 is a storage device that stores content data of a moving image, the USB connector 166 can acquire content from the USB device 167. The USB connector 166 supplies the acquired content to the control unit 150.

ディスクドライブ170は、例えば、コンパクトディスク(CD)、ディジタルバーサタイルディスク(DVD)、ブルーレイディスク(Blu−ray(登録商標) Disk)、または動画のコンテンツデータを記録可能な他の光ディスクMを装着可能なドライブを有する。ディスクドライブ170は、装着される光ディスクMからコンテンツを読み出し、読み出したコンテンツを制御部150に供給する。   The disc drive 170 can be mounted with, for example, a compact disc (CD), a digital versatile disc (DVD), a Blu-ray disc (Blu-ray (registered trademark) Disk), or another optical disc M capable of recording moving image content data. Have a drive. The disk drive 170 reads content from the optical disk M to be loaded and supplies the read content to the control unit 150.

LANコネクタ171は、放送受信装置100をネットワークに接続する為のインターフェースである。制御部150は、LANコネクタ171がLANケーブルまたは無線LANなどにより公衆回線に接続された場合、ネットワーク経由で種々のデータのダウンロード及びアップロードを行なう事ができる。   The LAN connector 171 is an interface for connecting the broadcast receiving apparatus 100 to a network. When the LAN connector 171 is connected to a public line by a LAN cable or a wireless LAN, the controller 150 can download and upload various data via the network.

電源制御部180は、放送受信装置100の各部への電力の供給を制御する。電源制御部180は、例えば、ACアダプタなどを介して商用電源500などから電力を受け取る。商用電源500は、交流の電力を電源制御部180に供給する。電源制御部180は、受け取った交流の電力を直流に変換し各部へ供給する。   The power control unit 180 controls power supply to each unit of the broadcast receiving apparatus 100. The power supply control unit 180 receives power from the commercial power supply 500 via an AC adapter, for example. The commercial power supply 500 supplies AC power to the power supply control unit 180. The power supply control unit 180 converts the received AC power into DC and supplies it to each unit.

また、放送受信装置100は、さらに他のインターフェースを備えていても良い。インターフェースは、例えば、Serial−ATAなどである。放送受信装置100は、インターフェースにより接続される機器に記録されているコンテンツを取得し、再生することができる。また、放送受信装置100は、再生したオーディオ信号及び映像信号を、インターフェースにより接続される機器に出力することが出来る。   Moreover, the broadcast receiving apparatus 100 may further include another interface. The interface is, for example, Serial-ATA. The broadcast receiving apparatus 100 can acquire and play back content recorded in a device connected by an interface. Also, the broadcast receiving apparatus 100 can output the reproduced audio signal and video signal to a device connected by an interface.

また、放送受信装置100がインターフェースを介してネットワークに接続される場合、放送受信装置100は、ネットワーク上の動画のコンテンツデータを取得し、再生することができる。   When the broadcast receiving apparatus 100 is connected to a network via an interface, the broadcast receiving apparatus 100 can acquire and reproduce content data of moving images on the network.

ストレージ190は、コンテンツなどを記憶する記憶装置である。ストレージ190は、例えば、ハードディスク(HDD)、ソリッドステイトドライブ(SSD)、または半導体メモリなどの大容量記憶装置を備える。また、ストレージ190は、USBコネクタ166、LANコネクタ171、通信インターフェース114、または他のインターフェースに接続された記憶装置により構成されていてもよい。   The storage 190 is a storage device that stores content and the like. The storage 190 includes a mass storage device such as a hard disk (HDD), a solid state drive (SSD), or a semiconductor memory. The storage 190 may be configured by a storage device connected to the USB connector 166, the LAN connector 171, the communication interface 114, or another interface.

上記したように、制御部150は、コンテンツを録画する場合、復元部112により復調されたコンテンツのデータをストレージ190に入力させる。さらに、制御部150は、コンテンツを記憶するストレージ190内のアドレスをストレージ190に指示する。ストレージ190は、制御部150により指示されたアドレスに復元部112から供給されたコンテンツを記憶する。   As described above, when the content is recorded, the control unit 150 causes the content data demodulated by the restoration unit 112 to be input to the storage 190. Furthermore, the control unit 150 instructs the storage 190 to specify an address in the storage 190 that stores the content. The storage 190 stores the content supplied from the restoration unit 112 at the address designated by the control unit 150.

なお、ストレージ190は、ディジタル放送信号から復元されたTSを記憶する構成であってもよいし、TSがAVI、MPEGまたは他の圧縮方式により圧縮された圧縮コンテンツを記憶する構成であってもよい。   The storage 190 may be configured to store a TS restored from a digital broadcast signal, or may be configured to store compressed content in which the TS is compressed by AVI, MPEG, or other compression methods. .

また、制御部150は、ストレージ190に記憶されているコンテンツを読み出し、再生させることができる。例えば、制御部150は、ストレージ190におけるアドレスをストレージ190に指示する。ストレージ190は、制御部150により指示されたアドレスからコンテンツを読み出す。ストレージ190は、読み出したコンテンツを音声処理部121、映像処理部131、及び制御部150などに供給する。これにより、放送受信装置100は、録画したコンテンツを再生することができる。   In addition, the control unit 150 can read and play the content stored in the storage 190. For example, the control unit 150 instructs the storage 190 to specify an address in the storage 190. The storage 190 reads content from the address designated by the control unit 150. The storage 190 supplies the read content to the audio processing unit 121, the video processing unit 131, the control unit 150, and the like. Thereby, the broadcast receiving apparatus 100 can reproduce the recorded content.

なお、放送受信装置100は、受信部111及び復元部112をそれぞれ複数備える。これにより、放送受信装置100は、複数のコンテンツを同時に受信し、受信した複数のコンテンツを同時に復元することができる。これにより、放送受信装置100は、再生可能なコンテンツデータを同時に複数取得することが出来る。即ち、放送受信装置100は、複数のコンテンツを同時に録画することが出来る。   The broadcast receiving apparatus 100 includes a plurality of receiving units 111 and restoring units 112. Thereby, the broadcast receiving apparatus 100 can simultaneously receive a plurality of contents and restore the received plurality of contents at the same time. Thereby, the broadcast receiving apparatus 100 can simultaneously acquire a plurality of reproducible content data. That is, the broadcast receiving apparatus 100 can record a plurality of contents at the same time.

図2は、制御部150の有する機能の例を示す。後述の字幕キーワード等に関連する。
図2に示されるように、制御部150は、上記のCPU151によりプログラムを実行することにより、種々の機能を実現することが出来る。例えば、制御部150は、文字領域抽出部1511、文字データ認識部1512、誤り訂正部1513、キーワード解析部1514、及び保存部1515を備える。さらに、制御部150は、検索部1521、リスト表示部1522、リスト選択部1523、及び再生部1524を備える。
FIG. 2 shows an example of functions that the control unit 150 has. Related to caption keywords and the like described later.
As shown in FIG. 2, the control unit 150 can realize various functions by executing a program by the CPU 151. For example, the control unit 150 includes a character region extraction unit 1511, a character data recognition unit 1512, an error correction unit 1513, a keyword analysis unit 1514, and a storage unit 1515. Further, the control unit 150 includes a search unit 1521, a list display unit 1522, a list selection unit 1523, and a playback unit 1524.

後述の字幕抽出部65、字幕キーワード抽出部66は、主に文字領域抽出部1511、文字データ認識部1512、誤り訂正部1513、キーワード解析部1514に依る。   The caption extraction unit 65 and the caption keyword extraction unit 66 described later mainly depend on the character region extraction unit 1511, the character data recognition unit 1512, the error correction unit 1513, and the keyword analysis unit 1514.

次に以下、図5までの添付図面を参照して視聴端末の実施形態にかかる電子機器及び制御方法の詳細を説明する。なお、以下の実施形態では、PDAや携帯電話等、ユーザが把持して使用する電子機器を例に説明する。   Next, details of the electronic device and the control method according to the embodiment of the viewing terminal will be described with reference to the accompanying drawings up to FIG. In the following embodiments, an electronic device such as a PDA or a mobile phone that is held and used by a user will be described as an example.

図3は、視聴端末の実施形態にかかる電子機器10の外観を模式的に示す図である。電子機器10は、表示画面を備えた情報処理装置であり、例えばスレート端末(タブレット端末)や電子書籍リーダ、デジタルフォトフレーム等として実現されている。なお、ここでは、X軸、Y軸、Z軸の矢印方向(Z軸では図の正面方向)を正方向としている(以下同様)。   FIG. 3 is a diagram schematically illustrating the appearance of the electronic device 10 according to the embodiment of the viewing terminal. The electronic device 10 is an information processing apparatus having a display screen, and is realized as, for example, a slate terminal (tablet terminal), an electronic book reader, a digital photo frame, or the like. Here, the arrow directions of the X axis, the Y axis, and the Z axis (the front direction of the figure in the Z axis) are the positive directions (the same applies hereinafter).

電子機器10は、薄い箱状の筐体Bを備え、この筐体Bの上面に表示部11が配置されている。表示部11は、ユーザによってタッチされた表示画面上の位置を検知するタッチパネル(図4、タッチパネル11a参照)を備えている。また、筐体Bの正面下部にはユーザが各種操作を行う操作スイッチ等である操作スイッチ19、ユーザの音声を取得するためのマイク21aとマイク21bとが配置されている。ここでは筐体Bの裏面に配置されているマイク21aと、筐体Bの上面に配置されているマイク21bとに分かれている。マイク21a、マイク21bは、それぞれ指向性を持たせるのも好適である。   The electronic device 10 includes a thin box-shaped housing B, and a display unit 11 is disposed on the upper surface of the housing B. The display unit 11 includes a touch panel (see FIG. 4, touch panel 11a) that detects the position on the display screen touched by the user. In addition, an operation switch 19 that is an operation switch for performing various operations by the user, and a microphone 21a and a microphone 21b for acquiring the user's voice are disposed in the lower front portion of the housing B. Here, the microphone 21a is arranged on the back surface of the housing B, and the microphone 21b is arranged on the top surface of the housing B. It is also preferable that the microphone 21a and the microphone 21b have directivity.

また、筐体Bの正面上部には音声出力を行うためのスピーカ22が配置されている。また、筐体Bの縁には、把持するユーザの圧力を検知する圧力センサ23が配置されている。なお、図示例ではX軸方向の左右の縁に圧力センサ23を備える構成を例示したが、Y軸方向の上下の縁に圧力センサ23を備えてもよい。   In addition, a speaker 22 for outputting sound is disposed on the front upper portion of the housing B. In addition, a pressure sensor 23 that detects the pressure of the gripping user is disposed on the edge of the housing B. In the illustrated example, the configuration including the pressure sensors 23 on the left and right edges in the X-axis direction is illustrated, but the pressure sensors 23 may be provided on the upper and lower edges in the Y-axis direction.

図4は、実施形態にかかる電子機器10のハードウェア構成の一例を示すブロック図である。図4に示すように、電子機器10は、上述の構成に加え、CPU12、システムコントローラ13、グラフィックスコントローラ14、タッチパネルコントローラ15、加速度センサ16、不揮発性メモリ17、RAM18、音声処理部2、通信部24等を備えている。また音声処理部20には、アナログのスイッチ21cを介して内蔵または外付けのマイク21aとマイク21bと、スピーカ22とが接続されている。   FIG. 4 is a block diagram illustrating an example of a hardware configuration of the electronic device 10 according to the embodiment. As shown in FIG. 4, the electronic device 10 includes a CPU 12, a system controller 13, a graphics controller 14, a touch panel controller 15, an acceleration sensor 16, a nonvolatile memory 17, a RAM 18, a sound processing unit 2, a communication in addition to the above-described configuration. Part 24 and the like. The audio processing unit 20 is connected to a built-in or external microphone 21a, a microphone 21b, and a speaker 22 via an analog switch 21c.

表示部11は、タッチパネル11aと、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)等のディスプレイ11bとから構成されている。タッチパネル11aは、例えばディスプレイ11bの表示画面上に配置された当面の座標検出装置から構成されている。タッチパネル11aは、例えば筐体Bを把持したユーザの指によってタッチされた表示画面上の位置(タッチ位置)を検知することができる。このタッチパネル11aの働きにより、ディスプレイ11bの表示画面はいわゆるタッチスクリーンとして機能する。   The display unit 11 includes a touch panel 11a and a display 11b such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence). The touch panel 11a is composed of a current coordinate detection device arranged on the display screen of the display 11b, for example. The touch panel 11a can detect a position (touch position) on the display screen touched by a user's finger holding the casing B, for example. Due to the operation of the touch panel 11a, the display screen of the display 11b functions as a so-called touch screen.

CPU12は、電子機器1の動作を中央制御するプロセッサであり、システムコントローラ13を介して電子機器10の各部を制御する。CPU12は、不揮発性メモリ17からRAM18にロードされる、オペレーティングシステム、各種アプリケーションプログラムを実行することで、後述する各機能部(図7など参照)を実現する。RAM18は、電子機器10のメインメモリとして、CPU12がプログラムを実行する際の作業領域を提供する。   The CPU 12 is a processor that centrally controls the operation of the electronic device 1, and controls each unit of the electronic device 10 via the system controller 13. The CPU 12 implements each functional unit (see FIG. 7 and the like) described later by executing an operating system and various application programs loaded from the nonvolatile memory 17 to the RAM 18. The RAM 18 serves as a main memory of the electronic device 10 and provides a work area when the CPU 12 executes a program.

システムコントローラ13には、不揮発性メモリ17及びRAM18をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ13は、グラフィックスコントローラ14との通信を実行する機能も有している。また、システムコントローラ13は、通信部24、インターネット等を介して図示せぬ外部のサーバへ音声波形等の音声信号を送信し、この音声波形に対する音声認識の結果を必要によっては受信する機能も有している。   The system controller 13 also includes a memory controller that controls access to the nonvolatile memory 17 and the RAM 18. The system controller 13 also has a function of executing communication with the graphics controller 14. The system controller 13 also has a function of transmitting an audio signal such as an audio waveform to an external server (not shown) via the communication unit 24, the Internet, and the like, and receiving an audio recognition result for the audio waveform if necessary. doing.

グラフィックスコントローラ14は、電子機器10のディスプレイモニタとして使用されるディスプレイ11bを制御する表示コントローラである。タッチパネルコントローラ15は、タッチパネル11aを制御し、ユーザによってタッチされたディスプレイ11bの表示画面上のタッチ位置を示す座標データをタッチパネル11aから取得する。   The graphics controller 14 is a display controller that controls the display 11 b used as a display monitor of the electronic device 10. The touch panel controller 15 controls the touch panel 11a and acquires coordinate data indicating the touch position on the display screen of the display 11b touched by the user from the touch panel 11a.

加速度センサ16は、図1に示す3軸方向(X、Y、Z方向)や、これに各軸周りの回転方向の検出を加えた6軸方向の加速度センサ等であって、電子機器10に対する外部からの加速度の向きと大きさを検出し、CPU12に出力する。具体的に、加速度センサ16は、加速度を検出した軸、向き(回転の場合、回転角度)、及び大きさを含んだ加速度検出信号(傾き情報)をCPU12に出力する。なお、角速度(回転角度)検出のためのジャイロセンサを、加速度センサ16に統合する形態としてもよい。   The acceleration sensor 16 is a six-axis acceleration sensor or the like obtained by adding detection of the three-axis directions (X, Y, and Z directions) shown in FIG. The direction and magnitude of acceleration from the outside are detected and output to the CPU 12. Specifically, the acceleration sensor 16 outputs an acceleration detection signal (tilt information) including the axis, direction (rotation angle in the case of rotation), and magnitude of the detected acceleration to the CPU 12. A gyro sensor for detecting angular velocity (rotation angle) may be integrated with the acceleration sensor 16.

音声処理部20は、マイク21a、マイク21bより(スイッチ21cを介して)入力される音声信号に、ディジタル変換、ノイズ除去、エコーキャンセル等の音声処理を施して、システムコントローラ13を介して、CPU12へ出力する。また、音声処理部20は、CPU12の制御のもとで、音声合成等の音声処理を施して生成した音声信号をスピーカ22へ出力し、スピーカ22による音声報知を行う。この音声処理部20に、後述の特徴量抽出部16がある。この中の音声処理部20の詳細について次に説明する。   The sound processing unit 20 performs sound processing such as digital conversion, noise removal, and echo cancellation on the sound signals input from the microphones 21 a and 21 b (via the switch 21 c), and the CPU 12 via the system controller 13. Output to. In addition, the sound processing unit 20 outputs a sound signal generated by performing sound processing such as sound synthesis to the speaker 22 under the control of the CPU 12, and performs sound notification by the speaker 22. The audio processing unit 20 includes a feature amount extraction unit 16 described later. Details of the voice processing unit 20 will be described next.

図5は、実施例にかかる音声処理部20の詳細な構成を示すブロック図である。音声処理部20は図7の各機能ブロックで用いられる音声信号処理演算の基本的なハードウェアやソフトウェア(モジュール)群であり、音声復号部51、DA変換器52、増幅器53、増幅器54、AD変換器55、特徴量抽出部56、音声符号部57などから構成される。   FIG. 5 is a block diagram illustrating a detailed configuration of the audio processing unit 20 according to the embodiment. The audio processing unit 20 is a group of basic hardware and software (module) for audio signal processing calculation used in each functional block of FIG. 7, and includes an audio decoding unit 51, a DA converter 52, an amplifier 53, an amplifier 54, and AD. A converter 55, a feature amount extraction unit 56, a speech encoding unit 57, and the like are included.

このうち音声処理部20aは、DA変換器52、増幅器53、増幅器54、AD変換器55からなる言わばアナデジ変換部のハードウェア部分である。また音声処理部20bは、音声復号部51、特徴量抽出部56、音声符号部57などからなる言わば音声符号化/復号化部のソフトウェア部分である。   Of these, the audio processing unit 20a is a hardware part of an analog-to-digital conversion unit including a DA converter 52, an amplifier 53, an amplifier 54, and an AD converter 55. The speech processing unit 20b is a software part of a speech encoding / decoding unit including the speech decoding unit 51, the feature amount extraction unit 56, the speech encoding unit 57, and the like.

音声復号部51は、システムコントローラ13からの圧縮された音声信号を復号処理する。DA変換器52は、それをDA変換する。増幅器53は、それを増幅して、スピーカ22へ送出する。   The audio decoding unit 51 decodes the compressed audio signal from the system controller 13. The DA converter 52 DA-converts it. The amplifier 53 amplifies it and sends it to the speaker 22.

増幅器54は、マイクロホン21a、マイク21bからの音声信号を増幅する。AD変換器55はそれをAD変換する。特徴量抽出部56は、その信号に対して、後述するような特徴量抽出処理を行う。   The amplifier 54 amplifies the audio signal from the microphone 21a and the microphone 21b. The AD converter 55 performs AD conversion on it. The feature quantity extraction unit 56 performs a feature quantity extraction process to be described later on the signal.

音声符号部57は、一つにはAD変換器55の出力由来の信号に対して、音声圧縮処理を行い、システムコントローラ13へ送出するが、また上記の特徴量抽出結果を中継する。   For example, the voice encoding unit 57 performs a voice compression process on a signal derived from the output of the AD converter 55 and sends the signal to the system controller 13, but also relays the feature amount extraction result.

図6は、放送受信装置100による視聴装置(以下)の機能構成図の一例を示している。この視聴装置は、表示部61、コマンド生成部62、送受信部63、スピーカ部64、字幕抽出部65、字幕キーワード抽出部66を含んでいる。表示部61はディスプレイ400に、スピーカ部64はスピーカ300による。コマンド生成部62、字幕抽出部65、字幕キーワード抽出部66はCPU151の処理による。また送受信部63は、CPU151の処理により、LANコネクタ171を介して機能するよう構成されている。   FIG. 6 shows an example of a functional configuration diagram of a viewing device (hereinafter) by the broadcast receiving device 100. The viewing device includes a display unit 61, a command generation unit 62, a transmission / reception unit 63, a speaker unit 64, a caption extraction unit 65, and a caption keyword extraction unit 66. The display unit 61 is a display 400 and the speaker unit 64 is a speaker 300. The command generation unit 62, the caption extraction unit 65, and the caption keyword extraction unit 66 are processed by the CPU 151. The transmission / reception unit 63 is configured to function via the LAN connector 171 by the processing of the CPU 151.

字幕抽出部65、字幕キーワード抽出部66は、地上ディジタル放送、BSディジタル放送などの放送信号の形式を問わない。放送波だけではなく、インターネット上の動画でも適用可能である。また、アナログ信号など字幕情報が取得できない放送信号でも、ネットワークを利用し字幕情報が取得でき、その字幕情報が放送番組と関連付けられるのであれば、本技術は利用可能である。   The subtitle extraction unit 65 and the subtitle keyword extraction unit 66 may be in any format for broadcast signals such as terrestrial digital broadcasting and BS digital broadcasting. It can be applied not only to broadcast waves but also to videos on the Internet. Further, even in a broadcast signal that cannot acquire caption information such as an analog signal, the present technology can be used as long as caption information can be acquired using a network and the caption information is associated with a broadcast program.

図7は、電子機器10による視聴端末(以下)の機能構成図の一例を示している。この視聴端末は、マイク部71、コマンド生成部72、コンテンツ情報解析部73、送受信部74、音声キーワード抽出部75、比較部76、アプリケーション起動部77、記憶部78、を含んでいる。マイク部71はマイク21a,21b等に、記憶部78は不揮発性メモリ17やRAM18等による。コンテンツ情報解析部73、音声キーワード抽出部75、比較部76、アプリケーション起動部77はCPU12の処理による。また送受信部74は、CPU12の処理により、システムコントローラ13と通信部24を介して機能するよう構成されている。   FIG. 7 shows an example of a functional configuration diagram of a viewing terminal (hereinafter) by the electronic device 10. The viewing terminal includes a microphone unit 71, a command generation unit 72, a content information analysis unit 73, a transmission / reception unit 74, a voice keyword extraction unit 75, a comparison unit 76, an application activation unit 77, and a storage unit 78. The microphone unit 71 includes the microphones 21a and 21b, and the storage unit 78 includes the nonvolatile memory 17 and the RAM 18. The content information analysis unit 73, the voice keyword extraction unit 75, the comparison unit 76, and the application activation unit 77 are performed by the processing of the CPU 12. The transmission / reception unit 74 is configured to function via the system controller 13 and the communication unit 24 by processing of the CPU 12.

図8は、視聴装置の字幕キーワード送信までのシーケンスを示している。
ステップS81: コンテンツが表示部61で表示される。このコンテンツに伴う音声はスピーカ部64から出力される。
ステップS82: 字幕を字幕抽出部65で抽出する。文字領域抽出部1511で文字領域を抽出し、文字データ認識部1512で文字データを認識し、誤り訂正部1513でこの文字データの前後関係などから誤り訂正を行う。
FIG. 8 shows a sequence until the caption keyword transmission of the viewing device.
Step S81: The content is displayed on the display unit 61. The sound accompanying this content is output from the speaker unit 64.
Step S82: Captions are extracted by the caption extraction unit 65. The character area extraction unit 1511 extracts the character area, the character data recognition unit 1512 recognizes the character data, and the error correction unit 1513 performs error correction based on the context of the character data.

ステップS83: 抽出された字幕から字幕キーワード抽出部66で字幕キーワードを抽出する(キーワード解析部1514による解析と保存部1515による保存)。このときコンテンツのEPG(Electronic Program Guide)情報を関連付けて利用してもよい。 Step S83: The caption keyword extraction unit 66 extracts the caption keyword from the extracted captions (analysis by the keyword analysis unit 1514 and storage by the storage unit 1515). At this time, EPG (Electronic Program Guide) information of the contents may be used in association with each other.

ステップS84: この字幕キーワードを送受信部63から送信する。
図9は、視聴装置のコンテンツ情報要求コマンド受信から送信までのシーケンスを示している。
ステップS91: CPU151はコンテンツ情報要求コマンドを送受信部63を通じて受信したか否かの判定を行い、この判定結果がYESならば次のステップに進みNOならばステップ91を繰り返す。
Step S84: The caption keyword is transmitted from the transmission / reception unit 63.
FIG. 9 shows a sequence from reception to transmission of the content information request command of the viewing device.
Step S91: The CPU 151 determines whether or not a content information request command has been received through the transmission / reception unit 63. If this determination result is YES, the process proceeds to the next step, and if NO, step 91 is repeated.

ステップS92: CPU151は現在の視聴中のコンテンツのコンテンツ情報(コンテンツの、に関する情報)を復元部112、映像処理部131あるいはストレージ190から取得する。 Step S92: The CPU 151 acquires content information (information regarding the content) of the currently viewed content from the restoration unit 112, the video processing unit 131, or the storage 190.

ステップS93: コンテンツ情報を送信のためのコマンドとしてコマンド生成部62が生成する。
ステップS94: 送受信部63はこのコンテンツ情報を送信する。
図10は、視聴端末の処理シーケンスを示している。
ステップS101: マイク部71経由で音声を取得する。マイク21aから集音された音声は増幅器54で増幅され、AD変換器55でAD変換されディジタル信号x1(t)となる。また同様にマイク21bから集音された音声は増幅器54で増幅されAD変換器55でAD変換されディジタル信号x2(t)となる。音声処理部20は、スイッチ21cを時分割で切り替えることにより、実用上重なった時間帯にこれら両ディジタル信号を得る。
Step S93: The command generation unit 62 generates content information as a command for transmission.
Step S94: The transmission / reception unit 63 transmits this content information.
FIG. 10 shows a processing sequence of the viewing terminal.
Step S101: Voice is acquired via the microphone unit 71. The sound collected from the microphone 21a is amplified by the amplifier 54 and AD-converted by the AD converter 55 to become a digital signal x1 (t). Similarly, the sound collected from the microphone 21b is amplified by the amplifier 54 and AD-converted by the AD converter 55 to become a digital signal x2 (t). The voice processing unit 20 switches the switch 21c in a time division manner to obtain these digital signals in a time zone that is practically overlapped.

特徴量抽出部56では、例えば両ディジタル信号の周波数帯域のパワーを算出する。まずディジタル信号x1(t)、ディジタル信号x2(t)の夫々時間/周波数領域変換によって、振幅スペクトルX1(n)、X2(n)が得られる。次に帯域パワー計算により夫々帯域パワーXd1(k)、Xd2(k)が算出される。振幅スペクトルXi(n)(i=1,2)は、低域から高域まで例えば16個の周波数帯域に分割され、これらの周波数帯域ごとに平均をとって各周波数帯域を代表する帯域パワーXdi(k)(k=0〜K−1。Kは周波数帯域数で、例えば16でkが小さい方が低域、大きい方が高域とする。)(i=1,2)が算出される。ここでは、周波数帯域は等間隔に分割されてもよいが、バークスケールやメルスケール等のように、低域ほど分割幅を狭くして、人間の聴覚特性に適した分割幅を採用してもよい。このようにして各周波数帯域を代表する帯域パワーXdi(k)(i=1,2)が求められる。   For example, the feature amount extraction unit 56 calculates the power in the frequency band of both digital signals. First, amplitude spectra X1 (n) and X2 (n) are obtained by time / frequency domain conversion of the digital signal x1 (t) and the digital signal x2 (t), respectively. Next, band power Xd1 (k) and Xd2 (k) are respectively calculated by band power calculation. The amplitude spectrum Xi (n) (i = 1, 2) is divided into, for example, 16 frequency bands from a low frequency range to a high frequency range, and band power Xdi representing each frequency band is averaged for each frequency band. (K) (k = 0 to K−1. K is the number of frequency bands. For example, 16 is smaller when k is lower and lower is higher.) (I = 1, 2) is calculated. . Here, the frequency band may be divided at equal intervals, but the division width may be narrowed as the low frequency range is adopted, such as Bark scale or Mel scale, and a division width suitable for human auditory characteristics may be adopted. Good. In this way, band power Xdi (k) (i = 1, 2) representing each frequency band is obtained.

ステップS102: この帯域パワーXdi(k)から音声キーワード抽出部75で音声キーワードを抽出し、保持する。帯域パワーXd1(k)と帯域パワーXd2(k)のレベル差が相当量以上であればパワーの大きな方の帯域パワーXdi(k)のみを記憶(保持)してもよい。視聴装置(のスピーカ等)に対する視聴端末の向きによりこのようなことは発生する可能性がある。なお前記マイク部からの音量が一定値以下だと判定された場合には記憶しない。 Step S102: The voice keyword extracting unit 75 extracts the voice keyword from the band power Xdi (k) and holds it. If the level difference between the band power Xd1 (k) and the band power Xd2 (k) is a considerable amount or more, only the band power Xdi (k) having the larger power may be stored (held). This may occur depending on the orientation of the viewing terminal with respect to the viewing device (such as a speaker). In addition, it is not memorize | stored when it determines with the volume from the said microphone part being below a fixed value.

音声キーワードを抽出するに当たってはまず音声認識処理を行う。この音声認識処理においてCPU12は中心となり、必要に応じ図示せぬ単語辞書やイントネーション辞書を用いて音声キーワード抽出部75として機能する。例えば、音素単位の認識により(必要に応じ形態素解析等も援用して)音素系列を得るのみならず、単語辞書により「はし」という言葉が認識されたときに、イントネーション辞書も援用してこの「はし」が「橋」なのか「箸」なのかなど尤度を付与した結果を援用するように構成してもよい。   In extracting a speech keyword, first, speech recognition processing is performed. In this voice recognition process, the CPU 12 plays a central role, and functions as a voice keyword extraction unit 75 using a word dictionary or intonation dictionary (not shown) as necessary. For example, in addition to obtaining a phoneme sequence by recognizing phoneme units (with morphological analysis if necessary), when the word “hashi” is recognized by the word dictionary, the intonation dictionary is also used. You may comprise so that the result which gave likelihood, such as whether "Hashi" is "Bridge" or "Chopsticks", may be used.

ステップS103: 字幕キーワードを送受信部74から受信する。この字幕キーワードが受信されるまでの一定時間、上記音声キーワードは保持される。
ステップS104: この字幕キーワードと先の音声キーワードを比較部76で比較する。
ステップS105: 両キーワードが一致しているかの判定を比較部76は行う。この判定結果がYESであれば処理を終了し、NOであれば(音声キーワードが保持されてない場合も含む)以下のステップに進む。
Step S103: The caption keyword is received from the transmission / reception unit 74. The voice keyword is held for a certain time until the caption keyword is received.
Step S104: The subtitle keyword and the previous voice keyword are compared by the comparison unit 76.
Step S105: The comparison unit 76 determines whether or not both keywords match. If this determination result is YES, the process ends, and if it is NO (including a case where no voice keyword is held), the process proceeds to the following steps.

ステップS106: コンテンツ情報取得のコマンドをコマンド生成部72で生成する。
ステップS107: コマンドを送受信部74から送信する。
ステップS108: コンテンツ情報を取得したかの判定をコンテンツ情報解析部73で行う。この判定結果がNOであればステップS107に戻り、YESであれば以下のステップに進む。
Step S106: The command generation unit 72 generates a content information acquisition command.
Step S107: A command is transmitted from the transmission / reception unit 74.
Step S108: The content information analysis unit 73 determines whether the content information has been acquired. If this determination result is NO, the process returns to step S107, and if YES, the process proceeds to the following step.

ステップS109: コンテンツ情報をコンテンツ情報解析部73で解析する。
ステップS110: 解析した結果に合わせて、アプリケーション起動部77で予め記憶部78に記憶されている関連アプリケーション(DLNA(登録商標、(Digital Living Network Alliance))のDMP(Digital Media Player)や地デジ用アプリなどコンテンツを取得するもの)を起動する。
Step S109: The content information analysis unit 73 analyzes the content information.
Step S110: In accordance with the analysis result, the application launching unit 77 stores a related application (DLNA (registered trademark, (Digital Living Network Alliance)) DMP (Digital Media Player) or terrestrial digital data stored in the storage unit 78 in advance. Start up the app or something that gets the content).

本実施形態においては、TVとタブレットとの間でユーザの継続視聴を連携する。例えば、タブレットを持って部屋間を移動すると、自動で見ていたシーンからの視聴を可能にする。   In the present embodiment, continuous viewing of the user is linked between the TV and the tablet. For example, if you move from room to room with a tablet, you can watch from the scene you were watching automatically.

即ち、視聴端末(タブレット)が視聴装置から取得した字幕キーワードと視聴端末の周りの音から抽出した音声キーワードとを比較することにより、ユーザが視聴装置での視聴可能範囲内にいるかどうかが判定され、範囲外にいると判定された場合に、視聴装置と視聴端末が連携する(なお、アプリケーション起動部77は、本アプリケーションにコンテンツ視聴機能がある場合は保持していなくてもよい。)。概要として次のようなステップによる。   That is, it is determined whether or not the user is within a viewable range on the viewing device by comparing the caption keyword acquired by the viewing terminal (tablet) from the viewing device with the voice keyword extracted from the sound around the viewing terminal. When it is determined that the content is out of the range, the viewing device and the viewing terminal cooperate with each other (note that the application activation unit 77 does not need to hold the content viewing function if the application has a content viewing function). The outline is as follows.

(1)視聴装置は、字幕を抽出し、そこからキーワード(字幕キーワード)抽出する。
(2)視聴装置は、この字幕キーワードを送信する。
(3)視聴端末は、TVの音声を取得し、音声からキーワード(音声キーワード)を抽出する。
(4)視聴端末は、上記字幕キーワードとこの音声キーワードを比較し、不一致ならば、ネットワーク経由でTVからコンテンツ情報を取得しようとする。
(5)視聴装置は、対応としてTVのコンテンツ情報を取得し送信する。
(6)視聴端末は、関連アプリを起動し、継続視聴を実現する。
先行技術と比べた効果として、アプリケーションをリモートコントローラとして用いたTVの視聴中に、タブレットを持ち出しても、自動的に持ち出されたことを判断し、ユーザによる操作なく、タブレットで継続視聴ができる。ユーザが部屋間を移動した場合、アプリケーションを起動するなどの手間なく、視聴装置で視聴していたコンテンツを継続して視聴できる。
(1) The viewing device extracts subtitles and extracts keywords (subtitle keywords) therefrom.
(2) The viewing device transmits this caption keyword.
(3) The viewing terminal acquires the sound of the TV and extracts a keyword (sound keyword) from the sound.
(4) The viewing terminal compares the caption keyword with the voice keyword, and if they do not match, the viewing terminal tries to acquire content information from the TV via the network.
(5) The viewing device acquires and transmits TV content information as a response.
(6) The viewing terminal activates the related application and realizes continuous viewing.
As an effect compared with the prior art, even when the tablet is taken out while viewing the TV using the application as a remote controller, it is determined that the tablet has been automatically taken out and continuous viewing can be performed on the tablet without any user operation. When the user moves from room to room, the user can continue to view the content being viewed on the viewing device without having to start the application.

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば音声認識処理は、特徴量抽出部16側で分担するような設計を行ってもよい。また逆に特徴量抽出部処理を、CPU12で分担するような構成を採ってもよい。また前述のように外部のサーバに音声認識処理を依存してもよい。   In addition, this invention is not limited to the said embodiment, In the range which does not deviate from the summary, it can implement in various modifications. For example, the voice recognition processing may be designed to be shared by the feature amount extraction unit 16 side. Conversely, a configuration may be employed in which the feature amount extraction unit processing is shared by the CPU 12. Further, as described above, the voice recognition processing may be made dependent on an external server.

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。   Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements according to different embodiments may be appropriately combined.

10…電子機器、11…表示部、12…CPU、13…システムコントローラ、14…グラフィックスコントローラ、15…タッチパネルコントローラ、16…加速度センサ、17…不揮発性メモリ、18…RAM、19…操作スイッチ、20…音声処理部、21a,21b…マイク、22…スピーカ、23…圧力センサ、24…通信部、11a…タッチパネル、11b…ディスプレイ、51…音声復号部、52…DA変換器、53…増幅器、54…増幅器、55…AD変換器、56…特徴量抽出部、57…音声符号部、B…筐体。
61…表示部、62…コマンド生成部、63…送受信部、64…スピーカ部、65…字幕抽出部、66…字幕キーワード抽出部、71…マイク部、72…コマンド生成部、73…コンテンツ情報解析部、74…送受信部、75…音声キーワード抽出部、76…比較部、77…アプリケーション起動部、78…記憶部。
100…放送受信装置、110…放送入力端子、111…受信部、112…復元部、114…通信インターフェース、121…音声処理部、131…映像処理部、133…表示処理部、150…制御部、151…CPU、152…ROM、153…RAM、154…EEPROM、161…操作入力部、164…カードコネクタ、165…メモリカード、166…USBコネクタ、167…USB機器、170…ディスクドライブ、171…LANコネクタ、180…電源制御部、190…ストレージ、200…アンテナ、300…スピーカ、400…ディスプレイ、500…商用電源、1511…文字領域抽出部、1512…文字データ認識部、1513…誤り訂正部、1514…キーワード解析部、1514a…キーワード辞書、1515…保存部、1521…検索部、1522…リスト表示部、1523…リスト選択部、1524…再生部。
DESCRIPTION OF SYMBOLS 10 ... Electronic device, 11 ... Display part, 12 ... CPU, 13 ... System controller, 14 ... Graphics controller, 15 ... Touch panel controller, 16 ... Accelerometer, 17 ... Non-volatile memory, 18 ... RAM, 19 ... Operation switch, DESCRIPTION OF SYMBOLS 20 ... Voice processing part, 21a, 21b ... Microphone, 22 ... Speaker, 23 ... Pressure sensor, 24 ... Communication part, 11a ... Touch panel, 11b ... Display, 51 ... Voice decoding part, 52 ... DA converter, 53 ... Amplifier, 54... Amplifier, 55... AD converter, 56... Feature amount extraction unit, 57.
61 ... Display unit, 62 ... Command generation unit, 63 ... Transmission / reception unit, 64 ... Speaker unit, 65 ... Subtitle extraction unit, 66 ... Subtitle keyword extraction unit, 71 ... Microphone unit, 72 ... Command generation unit, 73 ... Content information analysis , 74 ... transmission / reception unit, 75 ... voice keyword extraction unit, 76 ... comparison unit, 77 ... application activation unit, 78 ... storage unit.
DESCRIPTION OF SYMBOLS 100 ... Broadcast receiving apparatus, 110 ... Broadcast input terminal, 111 ... Reception part, 112 ... Restoration part, 114 ... Communication interface, 121 ... Audio processing part, 131 ... Video processing part, 133 ... Display processing part, 150 ... Control part, 151 ... CPU, 152 ... ROM, 153 ... RAM, 154 ... EEPROM, 161 ... operation input unit, 164 ... card connector, 165 ... memory card, 166 ... USB connector, 167 ... USB device, 170 ... disk drive, 171 ... LAN Connector, 180 ... Power supply control unit, 190 ... Storage, 200 ... Antenna, 300 ... Speaker, 400 ... Display, 500 ... Commercial power supply, 1511 ... Character area extraction unit, 1512 ... Character data recognition unit, 1513 ... Error correction unit, 1514 ... Keyword analysis unit, 1514a ... Keyword dictionary, 151 ... storage unit, 1521 ... search unit, 1522 ... list display portion, 1523 ... list selecting unit, 1524 ... reproduction unit.

Claims (4)

コンテンツを表示する表示部と、
前記コンテンツの音声を出力するスピーカ部と、
前記コンテンツの字幕を抽出する字幕抽出部と、
前記字幕抽出部で抽出された字幕から字幕キーワードを抽出する字幕キーワード抽出部と、
前記コンテンツに関する情報または前記字幕キーワードを視聴端末に送信する送受信部とを具備する視聴装置。
A display for displaying content;
A speaker unit for outputting audio of the content;
A subtitle extractor for extracting subtitles of the content;
A caption keyword extraction unit that extracts a caption keyword from the captions extracted by the caption extraction unit;
A viewing device comprising: a transmission / reception unit that transmits information on the content or the caption keyword to a viewing terminal.
前記視聴端末からの要求により前記視聴装置で視聴している前記コンテンツに関する情報をコマンドとして生成するコマンド生成部を更に具備し、
前記送受信部はこのコマンドとして前記コンテンツに関する情報を前記視聴端末に送信する請求項1に記載の視聴装置。
A command generation unit that generates, as a command, information related to the content being viewed on the viewing device in response to a request from the viewing terminal;
The viewing device according to claim 1, wherein the transmission / reception unit transmits information regarding the content to the viewing terminal as the command.
アプリケーションが記憶された記憶部と、
音声を取得するマイク部と、
前記マイク部で取得した音声から音声キーワードを抽出し、一定時間保持する音声キーワード抽出部と、
視聴装置から送信される字幕キーワードまたはコマンドを受信する送受信部と、
前記音声キーワードと前記字幕キーワードとを比較し一致か否かの判定を行う比較部と、
前記比較部において、前記音声キーワードと前記字幕キーワードが一致しないと判定された場合に、視聴装置のコンテンツ情報を取得するコマンドを生成するコマンド生成部と、
前記コンテンツ情報を受信した際に、コンテンツ情報を解析するコンテンツ情報解析部と、
視聴装置から受信したコンテンツ情報をもとに、関連するアプリケーションを前記記憶部から起動するアプリケーション起動部とを具備する視聴端末。
A storage unit storing the application;
A microphone unit for acquiring audio;
An audio keyword extraction unit that extracts an audio keyword from the audio acquired by the microphone unit and holds it for a certain period of time;
A transmission / reception unit for receiving a caption keyword or command transmitted from the viewing device;
A comparison unit that compares the audio keyword and the caption keyword to determine whether or not they match,
A command generation unit that generates a command for acquiring content information of the viewing device when the comparison unit determines that the audio keyword and the caption keyword do not match;
A content information analysis unit that analyzes the content information when the content information is received;
A viewing terminal comprising: an application activation unit that activates a related application from the storage unit based on content information received from a viewing device.
更に前記コンテンツを表示する表示部を具備する請求項3に記載の視聴端末。   The viewing terminal according to claim 3, further comprising a display unit that displays the content.
JP2013250580A 2013-12-03 2013-12-03 Viewing device and viewing terminal Pending JP2015109525A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013250580A JP2015109525A (en) 2013-12-03 2013-12-03 Viewing device and viewing terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013250580A JP2015109525A (en) 2013-12-03 2013-12-03 Viewing device and viewing terminal

Publications (1)

Publication Number Publication Date
JP2015109525A true JP2015109525A (en) 2015-06-11

Family

ID=51392051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013250580A Pending JP2015109525A (en) 2013-12-03 2013-12-03 Viewing device and viewing terminal

Country Status (1)

Country Link
JP (1) JP2015109525A (en)

Similar Documents

Publication Publication Date Title
US11823304B2 (en) Picture display device, and setting modification method and setting modification program therefor
CN105578267B (en) Terminal installation and its information providing method
US9544633B2 (en) Display device and operating method thereof
US10203927B2 (en) Display apparatus and display method
US20160277791A1 (en) Display system, and method of playing bluetooth audio and apparatus of display system
JP2015510305A (en) Method and system for synchronizing content on a second screen
KR20130078518A (en) Electronic apparatus and method for controlling electronic apparatus thereof
JP2015038665A (en) Electronic apparatus, and control method for electronic apparatus
US20130300934A1 (en) Display apparatus, server, and controlling method thereof
KR20170121640A (en) Display device and operating method thereof
CN102714761A (en) Image processing device, image processing method, and image processing program
CN109661809A (en) Show equipment
US9661375B2 (en) Display apparatus and method of controlling content output of display apparatus
EP3038374A1 (en) Display device and display method
KR20130044618A (en) Media card, media apparatus, contents server, and method for operating the same
JP2009049831A (en) Indication output device
JP2015109525A (en) Viewing device and viewing terminal
US20150040158A1 (en) Receiving device, transmitter and transmitting/receiving system
JP2015005800A (en) Reception device, transmission device, and transmission and reception system
KR20190034856A (en) Display device and operating method thereof
US11178466B2 (en) Display device and control method therefor
JP2014052872A (en) Electronic apparatus, and program of electronic apparatus
US20120042249A1 (en) Audio signal output apparatus and method
JP2015039092A (en) Electronic apparatus and electronic apparatus control method
CN105227655A (en) Method of data synchronization and device