JP2009130469A - Captioned video playback apparatus, and program - Google Patents

Captioned video playback apparatus, and program Download PDF

Info

Publication number
JP2009130469A
JP2009130469A JP2007301008A JP2007301008A JP2009130469A JP 2009130469 A JP2009130469 A JP 2009130469A JP 2007301008 A JP2007301008 A JP 2007301008A JP 2007301008 A JP2007301008 A JP 2007301008A JP 2009130469 A JP2009130469 A JP 2009130469A
Authority
JP
Japan
Prior art keywords
subtitle
video
caption
sentence
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007301008A
Other languages
Japanese (ja)
Inventor
Tomoya Ozaki
友哉 尾崎
Masahiro Yamazaki
正裕 山崎
Mayumi Nakade
真弓 中出
Masaki Wakabayashi
正樹 若林
Original Assignee
Casio Hitachi Mobile Communications Co Ltd
株式会社カシオ日立モバイルコミュニケーションズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Hitachi Mobile Communications Co Ltd, 株式会社カシオ日立モバイルコミュニケーションズ filed Critical Casio Hitachi Mobile Communications Co Ltd
Priority to JP2007301008A priority Critical patent/JP2009130469A/en
Publication of JP2009130469A publication Critical patent/JP2009130469A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a captioned video playback apparatus enabling a user to easily access specific caption sentences by being provided with a function of retrieving caption sentences including arbitrary keywords. <P>SOLUTION: The playback apparatus is provided with: a storage means for storing content video recording data 121; a keyword input module 143 for inputting an arbitrary character string; a caption sentence extracting module 144 for extracting caption sentences (hereinafter called as candidate caption sentences) including the input character string from the content video-recording data 121; a list display module 145 for displaying the candidate caption sentences; a means caption sentence selecting module 147 for enabling the user to select arbitrary caption sentences from among the caption sentences displayed using the list display module 145; a caption playback module 149 for playing back and displaying the selected caption sentences; and a video playback module 149 for playing back and displaying video images corresponding to the selected caption sentences. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、字幕文及び映像を処理する字幕付映像再生装置と、コンピュータを字幕付映像再生装置として機能させるプログラムに関する。   The present invention relates to a captioned video playback device that processes caption text and video, and a program that causes a computer to function as a captioned video playback device.

表示時刻が付与された字幕文をストリームから抽出し、ユーザが字幕文を選択したときに、当該字幕文と当該字幕文の表示時刻に対応する映像とを合成して表示する字幕表示装置が知られている(特許文献1 3頁右欄50行〜4頁左欄39行)。
特開2003−18491号公報
A caption display device that extracts a caption sentence with a display time from a stream and synthesizes and displays the caption sentence and a video corresponding to the display time of the caption sentence when the user selects the caption sentence. (Patent Document 1 page 3, right column, line 50 to page 4, left column, line 39).
JP 2003-18491 A

特許文献1の字幕表示装置は、ストリームから抽出された複数の字幕文から、任意の字幕文を選択して、当該字幕文と当該字幕文の表示開始時間情報に応じた映像とを同時に表示する装置であるが、使用者が膨大な字幕文の中から特定の字幕文にアクセスするのは容易ではないという問題がある。しかしながら、特許文献1は、特定の字幕文へのアクセスを容易にする手段については何も示唆していない。   The caption display device of Patent Literature 1 selects an arbitrary caption sentence from a plurality of caption sentences extracted from a stream, and simultaneously displays the caption sentence and a video corresponding to the display start time information of the caption sentence. Although it is a device, there is a problem that it is not easy for a user to access a specific subtitle sentence from a huge amount of subtitle sentences. However, Patent Document 1 does not suggest any means for facilitating access to a specific subtitle sentence.

本発明は、上記実情に鑑みてなされたものであり、任意のキーワードを含む字幕文を検索する機能を備えて、特定の字幕文へのアクセスを容易にする字幕付映像再生装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and provides a video playback device with subtitles that has a function of searching for a subtitle sentence including an arbitrary keyword and facilitates access to a specific subtitle sentence. With the goal.

上記課題を解決するため、本発明の字幕付映像再生装置は、複数の字幕文と複数の映像を記憶する記憶手段と、使用者に任意の文字列を入力させるキーワード入力手段と、前記キーワード入力手段により入力された文字列を含む字幕文(以下、候補字幕文という)を、前記記憶手段に記憶されている複数の字幕文の中から抽出する字幕文抽出手段と、当該候補字幕文を表示するリスト表示手段と、当該候補字幕文の中から任意の字幕文を使用者に選択させる字幕文選択手段と、前記字幕文選択手段により選択された字幕文を再生表示する字幕再生表示手段と、前記字幕文選択手段により選択された字幕文に対応する映像と前記記憶手段から読み出して再生表示する映像再生手段を備えることを特徴とする。   In order to solve the above-described problem, a video playback apparatus with captions according to the present invention includes a storage unit that stores a plurality of caption texts and a plurality of videos, a keyword input unit that allows a user to input an arbitrary character string, and the keyword input A subtitle sentence extracting means for extracting a subtitle sentence including the character string inputted by the means (hereinafter referred to as a candidate subtitle sentence) from a plurality of subtitle sentences stored in the storage means, and displaying the candidate subtitle sentence List display means, subtitle sentence selection means for allowing a user to select an arbitrary subtitle sentence from the candidate subtitle sentences, subtitle reproduction display means for reproducing and displaying the subtitle sentence selected by the subtitle sentence selection means, It is characterized by comprising a video reproduction means for reading out the video corresponding to the caption text selected by the caption text selection means and the storage means for reproduction display.

あるいは、前記候補字幕文の再生タイミングと前記記憶手段に記憶された全映像の再生時間に対する割合を示す図形を表示するタイミング表示手段を備えるようにしてもよい。   Or you may make it provide the timing display means to display the figure which shows the ratio with respect to the reproduction timing of the said candidate subtitle sentence, and the reproduction time of all the images memorize | stored in the said memory | storage means.

また、前記字幕文選択手段により選択された字幕文の再生タイミングを判別する字幕文再生タイミング判別手段と前記字幕文選択手段により選択された字幕文の再生タイミングの直前のタイミングで再生される映像(以下、直前映像という)を判別する映像再生タイミング判別手段を有し、当該直前映像を前記映像再生表示手段で再生表示する映像の先頭とするようにしてもよい。   In addition, a subtitle sentence reproduction timing determining means for determining the reproduction timing of the subtitle sentence selected by the subtitle sentence selecting means and a video reproduced at a timing immediately before the reproduction timing of the subtitle sentence selected by the subtitle sentence selecting means ( (Hereinafter referred to as the immediately preceding video) may be provided, and the immediately preceding video may be set as the head of the video to be reproduced and displayed by the video reproduction display means.

また、前記記憶手段は、字幕文と当該字幕文の再生タイミングを対応付ける字幕管理データと、映像フレームの位置を示すインデックスと当該映像フレームの再生タイミングを対応付けるシークポイント管理情報を記憶するとともに、前記字幕文再生タイミング判別手段は、前記字幕文選択手段により選択された字幕文と前記字幕管理データを照合して、当該字幕文の再生タイミングを判別し、前記映像再生タイミング判別手段は、当該字幕文の再生タイミングと前記シークポイント管理情報を照合して、直前映像のインデックスを判別するようにしてもよい。   In addition, the storage unit stores subtitle management data that associates the subtitle sentence with the reproduction timing of the subtitle sentence, the index that indicates the position of the video frame, and the seek point management information that associates the reproduction timing of the video frame. The sentence playback timing determining means collates the caption sentence selected by the caption sentence selecting means with the caption management data to determine the playback timing of the caption sentence, and the video playback timing determining means The index of the immediately preceding video may be determined by comparing the reproduction timing with the seek point management information.

また、前記記憶手段に記憶された字幕文に関する情報を解析して、前記字幕管理データを作成する字幕管理データ作成手段と、前記記憶手段に記憶された画像に関する情報を解析して、前記シークポイント管理情報を作成するシークポイント管理情報作成手段を備えるようにしてもよい。   Further, the information on the caption text stored in the storage means is analyzed, the caption management data creating means for creating the caption management data, the information on the image stored in the storage means is analyzed, and the seek point is analyzed. A seek point management information creating means for creating management information may be provided.

また、一面の表示画面を備えるとともに、前記一面の表示画面に、前記前記キーワード入力手段によって表示されて、使用者にキーワードの入力を促すキーワード入力画面を表示するキーワード入力モード;前記一面の表示画面に、前記字幕再生表示手段によって表示される字幕文、前記映像再生表示手段によって表示される映像及び前記リスト表示手段が表示する候補字幕文を同時に表示する検索結果表示モード;及び、前記一面の表示画面に、前記字幕再生表示手段によって表示される字幕文と前記映像再生表示手段によって表示される映像を同時に表示する通常画面再生モードを相互に切り替えるモード切替手段を備えてもよい。   And a keyword input mode for displaying a keyword input screen displayed on the one-screen display screen by the keyword input means and prompting a user to input a keyword; and the one-screen display screen; A search result display mode for simultaneously displaying the subtitle text displayed by the subtitle playback display means, the video displayed by the video playback display means and the candidate subtitle text displayed by the list display means; The screen may further include mode switching means for switching between a normal screen playback mode for simultaneously displaying a caption text displayed by the caption playback display means and a video displayed by the video playback display means.

また、本発明のプログラムは、複数の字幕文と複数の映像を記憶する記憶手段を備えるコンピュータに、使用者に任意の文字列を入力させるキーワード入力処理と、前記キーワード入力手段により入力された文字列を含む字幕文(以下、候補字幕文という)を、前記記憶手段に記憶されている複数の字幕文の中から抽出する字幕文抽出処理と、前記候補字幕文を表示するリスト表示処理と、前記候補字幕文の中から任意の字幕文を使用者に選択させる字幕文選択処理と、前記字幕文選択手段により選択された字幕文を再生表示する字幕再生表示処理と、前記字幕文選択手段により選択された字幕文に対応する映像と前記記憶手段から読み出して再生表示する映像再生処理を実行させるものである。   In addition, the program of the present invention includes a keyword input process for causing a computer to input an arbitrary character string to a computer including a storage unit that stores a plurality of subtitle sentences and a plurality of videos, and a character input by the keyword input unit. A caption sentence extraction process that extracts a caption sentence including a column (hereinafter referred to as a candidate caption sentence) from a plurality of caption sentences stored in the storage unit; a list display process that displays the candidate caption sentence; A subtitle sentence selection process for allowing a user to select an arbitrary subtitle sentence from the candidate subtitle sentences; a subtitle reproduction display process for reproducing and displaying the subtitle sentence selected by the subtitle sentence selection means; and the subtitle sentence selection means. The video corresponding to the selected subtitle sentence and the video reproduction process for reading out and displaying from the storage means are executed.

本発明の字幕付映像再生装置は、キーワード入力手段と字幕文抽出手段を備えて、任意のキーワードを含む字幕文を抽出して使用者に提示するので、所望の字幕文及び当該字幕文に対応する映像に容易にアクセスすることができるようになる。そのため字幕付映像再生装置の操作性及び利便性が向上する。   The subtitle-added video reproduction apparatus according to the present invention includes a keyword input unit and a subtitle sentence extraction unit, and extracts a subtitle sentence including an arbitrary keyword and presents it to the user. Can be easily accessed. Therefore, the operability and convenience of the captioned video playback device is improved.

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。本実施形態は、本発明の字幕付映像再生装置をコンテンツ受信機能を備える携帯電話に適用した例である。一般に携帯電話は各種のデータ転送方式に則ったコンテンツを受信可能であるが、ここでは、ワンセグ放送におけるコンテンツを受信する場合について説明する。   The best mode for carrying out the present invention will be described below with reference to the drawings. The present embodiment is an example in which the captioned video reproduction apparatus of the present invention is applied to a mobile phone having a content receiving function. In general, a mobile phone can receive content in accordance with various data transfer methods. Here, a case of receiving content in one-segment broadcasting will be described.

図1は、本発明の実施の形態に係る携帯電話の外観図である。図1に示すように、携帯電話1は、キーボード2、表示パネル5、通話用マイク6、通話用スピーカ7およびスピーカ8を備えている。   FIG. 1 is an external view of a mobile phone according to an embodiment of the present invention. As shown in FIG. 1, the mobile phone 1 includes a keyboard 2, a display panel 5, a call microphone 6, a call speaker 7 and a speaker 8.

キーボード2は、カーソルキー3と表示切替ボタン4及びその他各種のボタンを備えて、様々なデータや指示(例えば、字幕付映像の再生開始及び終了、表示パネル5のモードの切り替えの指示)の入力に使用される。   The keyboard 2 includes a cursor key 3, a display switching button 4, and various other buttons, and inputs various data and instructions (for example, instructions for starting and ending playback of subtitled video and switching the mode of the display panel 5). Used for.

表示パネル5は、ドットマトリクスタイプのLCD(液晶表示)パネル等から構成され、画像、図形、文字等を表示することができる。   The display panel 5 includes a dot matrix type LCD (liquid crystal display) panel or the like, and can display images, figures, characters, and the like.

通話用マイク6は、通話音声を入力するマイクロフォンである。また、通話用スピーカ7は、受話音声を出力するスピーカである。また、スピーカ8はコンテンツ再生時に当該コンテンツの音声を出力するスピーカである。   The call microphone 6 is a microphone for inputting call voice. The call speaker 7 is a speaker that outputs a received voice. The speaker 8 is a speaker that outputs the sound of the content during content playback.

図2は、携帯電話1の概念的な回路構成を示す構成図である。図2に示すように、携帯電話1の回路は、制御部11、記憶部12、操作部13、表示部14、チューナ15、デコード部16、音声出力部17、音声入力部18及び通信部19の各モジュールから構成され、各モジュールはバス20で接続されて相互にデータの伝送がされる。   FIG. 2 is a configuration diagram showing a conceptual circuit configuration of the mobile phone 1. As shown in FIG. 2, the circuit of the mobile phone 1 includes a control unit 11, a storage unit 12, an operation unit 13, a display unit 14, a tuner 15, a decoding unit 16, an audio output unit 17, an audio input unit 18, and a communication unit 19. The modules are connected by a bus 20 to transmit data to each other.

制御部11は、マイクロプロセッサユニット等から構成され、携帯電話1全体の動作を制御する。例えば、記憶部12に録画したコンテンツの再生の開始・終了は制御部11によって行われる。また制御部11は、各種のデータ(字幕文、映像等)を記憶部12から読み出して、表示部14を介して、表示パネル5に表示する。   The control unit 11 includes a microprocessor unit and the like, and controls the overall operation of the mobile phone 1. For example, the start / end of the reproduction of the content recorded in the storage unit 12 is performed by the control unit 11. Further, the control unit 11 reads various data (caption text, video, etc.) from the storage unit 12 and displays the data on the display panel 5 via the display unit 14.

記憶部12は、各種のデータ及びプログラム(例えば、制御部11の動作制御用プログラム)を記憶するメモリである。なお、記憶部12は、携帯電話1の内蔵メモリ、取り外し可能な外部メモリ、のいずれであってもよい。   The storage unit 12 is a memory that stores various data and programs (for example, an operation control program for the control unit 11). The storage unit 12 may be either the built-in memory of the mobile phone 1 or a removable external memory.

操作部13は、前述のキーボード2、カーソルキー3、表示切替ボタン4等を備えて、使用者による操作を受け付けて操作信号を発生するモジュールであり、発生した操作信号は制御部11に伝達される。   The operation unit 13 is a module that includes the keyboard 2, the cursor key 3, the display switching button 4, and the like, and that receives an operation by the user and generates an operation signal. The generated operation signal is transmitted to the control unit 11. The

表示部14は、前述の表示パネル5と表示パネル5を駆動するドライバ回路等から構成され、制御部11の制御下にて画像等を表示パネル5に表示するモジュールである。   The display unit 14 includes a display circuit 5 and a driver circuit that drives the display panel 5. The display unit 14 is a module that displays an image and the like on the display panel 5 under the control of the control unit 11.

チューナ15は、図示しないアンテナを介して受信したワンセグ放送の信号を復調し、復調信号をデコード部16に出力するモジュールであり、デコード部16は、チューナ15が出力した復調信号を復号・出力するモジュールである。   The tuner 15 is a module that demodulates a one-segment broadcast signal received via an antenna (not shown) and outputs the demodulated signal to the decoding unit 16. The decoding unit 16 decodes and outputs the demodulated signal output from the tuner 15. It is a module.

音声出力部17は、前述の通話用スピーカ7、スピーカ8及びDAC(Digital Analog Converter)等を備えて、各種音声の出力を行うモジュールである。例えば、制御部11が再生したコンテンツの音声信号は前記DACでDA変換をされて、スピーカ8から放音される。   The audio output unit 17 is a module that includes the above-described call speaker 7, speaker 8, DAC (Digital Analog Converter), and the like and outputs various types of audio. For example, the audio signal of the content reproduced by the control unit 11 is DA-converted by the DAC and emitted from the speaker 8.

音声入力部18は、前述の通話用マイク6を備えて、通話時等に音声信号を収集して通信部19に供給するモジュールである。また、通信部19は、図示しない基地局を介して、通話音声あるいは各種のデータを送受信するモジュールである。   The voice input unit 18 is a module that includes the above-described call microphone 6, collects voice signals during a call, and supplies the collected voice signals to the communication unit 19. The communication unit 19 is a module that transmits / receives call voice or various data via a base station (not shown).

図3は、前述の記憶部12に記憶されるデータの構成図である。図3(a)に示すように、記憶部12にはコンテンツ録画データ121、字幕管理データ122及びシークポイント管理情報123が記憶される。   FIG. 3 is a configuration diagram of data stored in the storage unit 12 described above. As shown in FIG. 3A, the storage unit 12 stores content recording data 121, caption management data 122, and seek point management information 123.

ここで、ワンセグ放送のテレビ信号について簡単に説明する。ワンセグ放送のテレビ信号は図3(b)に示すようなTSP(Transport Stream Packet、トランスポートストリームパケット)で構成される。TSPとは、映像データを格納する映像パケットV、音声データを格納する音声パケットA、字幕データを格納する字幕パケットCに分けて、各パケットを一本のストリームに混在させて伝送する伝送方式である。   Here, a TV signal of one-segment broadcasting will be briefly described. One-segment broadcasting television signals are composed of TSP (Transport Stream Packet) as shown in FIG. TSP is a transmission method in which video packets V for storing video data, audio packets A for storing audio data, and subtitle packets C for storing subtitle data are divided and transmitted in a single stream. is there.

さて、携帯電話1はワンセグ放送のテレビ信号を受信すると、テレビ信号を構成する各パケットを制御部11でデータの種類に応じて分類するとともに、各パケットに付与されているパケット番号などに基づいて再配置して、図3(c)に示すような、ビデオPES(Packetized Elementary Stream)131、音声PES132及び字幕PES133を生成し、これらを、コンテンツ録画データ121として、記憶部12に格納する。   Now, when the mobile phone 1 receives a one-segment broadcasting television signal, the control unit 11 classifies each packet constituting the television signal according to the type of data, and based on a packet number assigned to each packet. The video PES (Packetized Elementary Stream) 131, the audio PES 132, and the subtitle PES 133 are generated by rearrangement as shown in FIG. 3C, and these are stored in the storage unit 12 as the content recording data 121.

ビデオPES131は、パケット化された映像フレームの圧縮符号化データであり、各映像フレーム(映像)を定義するデータと、各映像フレームの再生タイミングを示すデータを含んでいる。なお、ワンセグ放送は予測符号化方式を採用しているので、ビデオPES131は、他の映像フレームを参照しないIDR(Instantaneous Decoder Refresh)フレーム(独立映像パケットVIに対応する)と、自己の再生タイミングよりも先に再生されるIDRフレームを参照するPフレーム(参照映像パケットVPに対応する)から構成される。ちなみに、ワンセグ放送における、映像フレームのフレームレートは15フレーム/秒である。   The video PES 131 is compression-encoded data of packetized video frames, and includes data defining each video frame (video) and data indicating the playback timing of each video frame. Since one-segment broadcasting employs a predictive coding system, the video PES 131 uses an IDR (Instantaneous Decoder Refresh) frame (corresponding to an independent video packet VI) that does not refer to other video frames and its own playback timing. Are also composed of P frames (corresponding to the reference video packet VP) referring to the IDR frame reproduced first. Incidentally, the frame rate of video frames in one-segment broadcasting is 15 frames / second.

音声PES132は、パケット化された音声の圧縮符号化データである。   The voice PES 132 is packetized voice compression encoded data.

字幕PES133は、パケット化された字幕文の圧縮符号化データであり、字幕文Mn(n:1〜N)と、字幕再生タイミングtmn(n:1〜N)と、を示す情報を有する。ここで、字幕文Mnは映像と共に表示される字幕文(文字列)であり、字幕再生タイミングtmnは、字幕文Mnを再生するタイミングであり、PTS(Presentation Time Stamp)単位で表されている。   The subtitle PES 133 is compression encoded data of packetized subtitle text, and has information indicating the subtitle text Mn (n: 1 to N) and the subtitle playback timing tmn (n: 1 to N). Here, the subtitle sentence Mn is a subtitle sentence (character string) displayed together with the video, and the subtitle reproduction timing tmn is a timing of reproducing the subtitle sentence Mn, and is expressed in units of PTS (Presentation Time Stamp).

図4は、字幕管理データ122のデータ構造を示す図である。図4から明らかなように、字幕管理データ122は字幕表示時刻TMnと字幕文Mnとを対応付けるテーブルである。ここで、字幕表示時刻TMnは、字幕文Mnが表示される時刻であり、本実施形態では、コンテンツ録画データ121の再生開始時を基準としたオフセット時刻(時分秒単位)で表示される。   FIG. 4 is a diagram illustrating a data structure of the caption management data 122. As is clear from FIG. 4, the caption management data 122 is a table that associates the caption display time TMn with the caption text Mn. Here, the caption display time TMn is the time when the caption text Mn is displayed. In the present embodiment, the caption display time TMn is displayed with an offset time (in hours, minutes, and seconds) based on the start of playback of the content recording data 121.

字幕管理データ122は、字幕PES133に基づいて制御部11で作成する。すなわち、制御部11は字幕PES133から字幕文Mnと字幕再生タイミングtmnを順に読み出し、PTS単位で表現された字幕再生タイミングtmnを時分秒単位に換算して、字幕表示時刻TMnを求め、字幕文Mnと字幕表示時刻TMnを記憶部12に書き込んで字幕管理データ122を作成する。   The subtitle management data 122 is created by the control unit 11 based on the subtitle PES 133. That is, the control unit 11 sequentially reads the subtitle sentence Mn and the subtitle reproduction timing tmn from the subtitle PES 133, converts the subtitle reproduction timing tmn expressed in PTS units into hour / minute / second units, obtains the subtitle display time TMn, Mn and caption display time TMn are written in the storage unit 12 to create caption management data 122.

図5は、シークポイント管理情報123のデータ構造を示す図である。図5から明らかなように、シークポイント管理情報123は、映像フレームの映像表示時刻TRn(n:1〜L)と、映像位置PRn(n:1〜L)を対応付けるテーブルである。ここで、映像表示時刻TRnは、映像フレームが表示される時刻である。映像位置PRnは、ワンセグ録画データ121における映像フレームの位置を示すインデックスであり、本実施形態では、IDRフレームの先頭を含むTSPの番号を用いる。   FIG. 5 is a diagram illustrating a data structure of the seek point management information 123. As is apparent from FIG. 5, the seek point management information 123 is a table that associates the video display time TRn (n: 1 to L) of the video frame with the video position PRn (n: 1 to L). Here, the video display time TRn is the time when the video frame is displayed. The video position PRn is an index indicating the position of the video frame in the one-segment recording data 121, and in this embodiment, the TSP number including the head of the IDR frame is used.

シークポイント管理情報123は、ビデオPES131に基づいて制御部11で作成する。すなわち、制御部11はビデオPES131から映像表示時刻TRn、映像位置PRn、字幕文Mn及び字幕再生タイミングtmnを順に読み出して記憶部12に書き込んでシークポイント管理情報123を作成する。   The seek point management information 123 is created by the control unit 11 based on the video PES 131. That is, the control unit 11 sequentially reads the video display time TRn, the video position PRn, the caption text Mn, and the caption playback timing tmn from the video PES 131 and writes them in the storage unit 12 to create the seek point management information 123.

図6、図7及び図8は表示パネル5に表示される画面の例であり、図6は通常画面再生モードを選択した場合の画面、図7はキーワード入力モードを選択した場合の画面、図8は検索結果表示モードを選択した場合の画面を、それぞれ示している。   6, 7, and 8 are examples of screens displayed on the display panel 5. FIG. 6 is a screen when the normal screen playback mode is selected, and FIG. 7 is a screen when the keyword input mode is selected. Reference numeral 8 denotes a screen when the search result display mode is selected.

通常画面再生モードとは、記憶部12から読み出したコンテンツ録画データ121を順に再生して、映像とその映像に対応する字幕を同時に表示するモードである。通常画面再生モードを選択すると、図6に示すように、表示パネル5には映像領域DA、字幕領域SA、ソフトキー領域FAの3つの領域が設定される。この時、映像領域DAには記憶部12から読み出したコンテンツ録画データ121の映像が順に表示され、字幕領域SAには映像領域DAに表示される映像に対応する字幕が順に表示される。また、ソフトキー領域FAには「soft1」、「center」及び「soft2」の3種のソフトキーが表示される。   The normal screen playback mode is a mode in which the content recording data 121 read from the storage unit 12 is played back in order and a video and subtitles corresponding to the video are displayed simultaneously. When the normal screen reproduction mode is selected, as shown in FIG. 6, three areas of a video area DA, a caption area SA, and a soft key area FA are set on the display panel 5. At this time, the video of the content recording data 121 read from the storage unit 12 is sequentially displayed in the video area DA, and the subtitles corresponding to the video displayed in the video area DA are sequentially displayed in the subtitle area SA. In the soft key area FA, three types of soft keys “soft1,” “center” and “soft2” are displayed.

通常画面再生モードを選択すると、映像領域DA、字幕領域SA、ソフトキー領域FAの3つの領域だけが設定されるので、映像領域DAおよび字幕領域SAを広く設定することができる。このため、映像と字幕を明瞭に視認することができる。なお、通常画面再生モードにおいて、「soft1」を押下すると、表示パネル5の表示モードは検索結果表示モードに切り替わり、「soft2」を押下すると、表示パネル5の表示モードはキーワード入力モードに切り替わる。   When the normal screen playback mode is selected, only the three areas of the video area DA, the caption area SA, and the soft key area FA are set, so that the video area DA and the caption area SA can be set widely. For this reason, it is possible to clearly see the video and subtitles. In the normal screen reproduction mode, when “soft1” is pressed, the display mode of the display panel 5 is switched to the search result display mode, and when “soft2” is pressed, the display mode of the display panel 5 is switched to the keyword input mode.

キーワード入力モードとは、使用者が求める字幕文を検索するためのキーワードを入力するモードである。キーワード入力モードを選択すると、図7に示すように、表示パネル5にはキーワード入力領域KAとソフトキー領域FAが設定される。キーワード入力領域KAは、使用者が入力したキーワードが表示される領域である。つまり、使用者がキーボード2を使用してキーワードを入力すると、その内容がキーワード入力領域KAに表示される。また、ソフトキー領域FAの「soft1」を押下すると、表示パネル5の表示モードは検索結果表示モードに切り替わり、「soft2」を押下すると、表示モードは通常画面再生モードに切り替わる。なお、キーワード検索の具体的な手順については後述する。   The keyword input mode is a mode for inputting a keyword for searching for a caption sentence required by the user. When the keyword input mode is selected, a keyword input area KA and a soft key area FA are set on the display panel 5 as shown in FIG. The keyword input area KA is an area where a keyword input by the user is displayed. That is, when the user inputs a keyword using the keyboard 2, the content is displayed in the keyword input area KA. Further, when “soft1” in the soft key area FA is pressed, the display mode of the display panel 5 is switched to the search result display mode, and when “soft2” is pressed, the display mode is switched to the normal screen reproduction mode. The specific procedure for keyword search will be described later.

検索結果表示モードとは、キーワード検索によって抽出された字幕文のリストを使用者に提示するとともに、そのリストの中から、使用者が望む字幕文を選択させるモードである。図8に示すように、検索結果表示モードでは、表示パネル5には、映像領域DA、タイムバー領域TA、字幕領域SA、字幕リスト領域LA及びソフトキー領域FAが設定される。   The search result display mode is a mode in which a list of subtitle sentences extracted by keyword search is presented to the user, and a subtitle sentence desired by the user is selected from the list. As shown in FIG. 8, in the search result display mode, the display panel 5 is set with a video area DA, a time bar area TA, a caption area SA, a caption list area LA, and a soft key area FA.

字幕リスト領域LAには、キーワード検索によって抽出された複数の字幕文をリスト形式に並べた字幕リストが表示される。また、字幕リスト領域LAは5個の字幕リスト枝領域LA1〜LA5に分割され、各字幕リスト枝領域LA1〜LA5にはそれぞれ1個の字幕文が表示される。従って、字幕リスト領域LAには5個の字幕文が同時に表示される。   In the subtitle list area LA, a subtitle list in which a plurality of subtitle sentences extracted by keyword search are arranged in a list format is displayed. The subtitle list area LA is divided into five subtitle list branch areas LA1 to LA5, and one subtitle sentence is displayed in each of the subtitle list branch areas LA1 to LA5. Accordingly, five subtitle texts are displayed simultaneously in the subtitle list area LA.

使用者は、カーソルキー3を使用して、5個の字幕文の中から任意の字幕文を選択することができる。また、使用者が字幕リスト領域LAから字幕文を選択すると、選択中の字幕文は字幕リスト領域LAの中央(字幕リスト枝領域LA3)に位置するようにスクロール表示される。   The user can use the cursor key 3 to select an arbitrary subtitle sentence from the five subtitle sentences. When the user selects a subtitle sentence from the subtitle list area LA, the selected subtitle sentence is scroll-displayed so as to be positioned at the center of the subtitle list area LA (subtitle list branch area LA3).

字幕領域SAには、字幕リスト領域LAに表示された字幕リストの中から使用者が選択した字幕文が表示される。   In the caption area SA, the caption text selected by the user from the caption list displayed in the caption list area LA is displayed.

映像領域DAには、使用者が選択した字幕文(つまり、字幕領域SAに表示中の字幕文)の再生タイミングに対応する再生タイミングを有する映像が表示される。   In the video area DA, video having a playback timing corresponding to the playback timing of the caption text selected by the user (that is, the caption text being displayed in the caption area SA) is displayed.

タイムバー領域TAは、字幕リスト領域LAに表示された字幕文の映像内における時間的位置を映像の再生時間に対する比率で表示する領域である。バーの長さはコンテンツ録画データの全再生時間を示し、縦線の位置は字幕文の前記全再生時間に対する相対的時間的位置を示す。例えば、コンテンツ録画データ121の再生時間が30分で、字幕再生タイミングtmnが10分、15分の位置にあった場合、10/30=0.33、15/30=0.50の位置に縦線を表示する。   The time bar area TA is an area for displaying the temporal position in the video of the subtitle text displayed in the subtitle list area LA at a ratio to the video playback time. The length of the bar indicates the total playback time of the content recording data, and the position of the vertical line indicates the relative temporal position of the subtitle sentence with respect to the total playback time. For example, when the playback time of the content recording data 121 is 30 minutes and the subtitle playback timing tmn is at the position of 10 minutes and 15 minutes, the vertical position is at the positions of 10/30 = 0.33 and 15/30 = 0.50. Display lines.

タイムバー領域TAを備えると、キーワード検索によって抽出した字幕文(候補字幕文)は、映像の前再生時間に対する概略の相対的時間的位置を、使用者が視覚的直感的に把握できるので、候補字幕文の中から所望の字幕文を選び出すのがさらに容易になる。   When the time bar area TA is provided, the subtitle sentence (candidate subtitle sentence) extracted by the keyword search allows the user to visually and intuitively grasp the approximate relative temporal position with respect to the previous playback time of the video. It becomes easier to select a desired subtitle sentence from subtitle sentences.

さて、ここでキーワード検索の具体的な手順について説明する。キーワード検索は字幕管理データ122内の全ての字幕文をサーチして、キーワードと同一の文字列を含む字幕文のインデックスを拾い出してインデックステーブルを作成することによって行われる。   Now, a specific procedure for keyword search will be described. The keyword search is performed by searching all subtitle sentences in the subtitle management data 122, picking up an index of subtitle sentences including the same character string as the keyword, and creating an index table.

図9はインデックステーブルの構成と機能を示す説明図である。インデックステーブル124は、制御部11がキーワード検索を行って記憶部12に作成するテーブルであって、キーワードと同一の文字列を含むM個の字幕文のインデックス値IDXm(mは1からMまでの正の整数)を格納するテーブルである。ここでは、字幕管理データ122内での字幕文の行番号(先頭行を1とする)を当該字幕文のインデックス値としている。   FIG. 9 is an explanatory diagram showing the structure and function of the index table. The index table 124 is a table created by the control unit 11 in the storage unit 12 by performing keyword search. The index value IDXm (m is 1 to M) of M subtitle sentences including the same character string as the keyword. A positive integer). Here, the line number of the subtitle sentence in the subtitle management data 122 (the first line is 1) is used as the index value of the subtitle sentence.

キーワード検索の完了後に、検索結果表示モードを選択すると、制御部11はインデックステーブル124からインデックス値を読み込み、読み込んだインデックス値に対応する字幕文Mnを字幕管理データ122から読み出して、字幕リスト領域LAに表示する。   When the search result display mode is selected after the keyword search is completed, the control unit 11 reads the index value from the index table 124, reads the subtitle sentence Mn corresponding to the read index value from the subtitle management data 122, and displays the subtitle list area LA. To display.

図10は、キーワード検索の処理手順を示すフローチャートである。以下、図中に付した符号を引用して処理手順を説明する。
(ステップ511)nを1、mを1とする。
(ステップ512)字幕文Mnの中に、キーワード入力領域KAに入力されたキーワードと同じ文字列が含まれているか否かを判定する。含まれていればステップ513に進み、含まれていなければ、ステップ514にジャンプする。
(ステップ513)字幕文Mnの字幕管理データ122内での行番号nを、インデックステーブル124のm番目の要素として登録し、m=m+1とする。
(ステップ514)。次に、字幕文Mnが最後の字幕文MNであるかを判定する(つまり、n=Nを判定する)。n=Nならば処理を終了し、n≠Nならば、ステップ515に進む。
(ステップ515)n=n+1として、ステップ511にもどる。
以上の手順によって、字幕管理データ122内の全ての字幕文Mnについてキーワードと同一の文字列の有無を判別するとともに、キーワードと同一の文字列を含む字幕文Mnの行番号(インデックス値)nをインデックステーブル124に書き込むことができる。
FIG. 10 is a flowchart showing a keyword search processing procedure. The processing procedure will be described below with reference to the reference numerals in the drawing.
(Step 511) n is 1 and m is 1.
(Step 512) It is determined whether or not the same character string as the keyword input in the keyword input area KA is included in the caption sentence Mn. If it is included, the process proceeds to step 513, and if it is not included, the process jumps to step 514.
(Step 513) The line number n in the caption management data 122 of the caption sentence Mn is registered as the mth element of the index table 124, and m = m + 1.
(Step 514). Next, it is determined whether the caption text Mn is the last caption text MN (that is, n = N is determined). If n = N, the process ends. If n ≠ N, the process proceeds to step 515.
(Step 515) Set n = n + 1 and return to Step 511.
Through the above procedure, the presence / absence of the same character string as the keyword is determined for all the caption texts Mn in the caption management data 122, and the line number (index value) n of the caption text Mn including the same character string as the keyword is set. The index table 124 can be written.

図11は、キーワード検索の結果を表示パネル5に表示する手順を示すフローチャートである。以下、図中に付した符号を引用して処理手順を説明する。
(ステップ521)字幕リスト枝領域LA3に表示すべき字幕文を特定する。ここでは、字幕リスト枝領域LA3に字幕文Mxを表示する場合を示す(図9参照)。
FIG. 11 is a flowchart showing a procedure for displaying the result of keyword search on the display panel 5. The processing procedure will be described below with reference to the reference numerals in the drawing.
(Step 521) A subtitle sentence to be displayed in the subtitle list branch area LA3 is specified. Here, a case where a caption sentence Mx is displayed in the caption list branch area LA3 is shown (see FIG. 9).

なお、通常画面再生モードから検索結果表示モードに切り替えた時に、字幕リスト枝領域LA3に表示する字幕文Mxの特定は次のような手順で行う。すなわち、通常画面再生モードから検索結果表示モードに切り替える時には、映像の再生を停止するが、まず、その映像の再生を停止したときの再生時刻Tを求める。次に、再生時刻TとインデックスIDX1の指し示す字幕文Mnの字幕再生タイミングtmnとTを比較する。この比較をインデックスIDX1から順番にIDX2、IDX3、…IDXm、…について行い、tmn≦Tとなる最大のnを特定する。この時の字幕文Mnが字幕リスト枝領域LA3に表示される。   Note that, when the normal screen playback mode is switched to the search result display mode, the subtitle sentence Mx displayed in the subtitle list branch area LA3 is specified by the following procedure. That is, when switching from the normal screen playback mode to the search result display mode, the video playback is stopped. First, the playback time T when the video playback is stopped is obtained. Next, the reproduction time T and the subtitle reproduction timing tmn of the subtitle sentence Mn indicated by the index IDX1 are compared with T. This comparison is performed for IDX2, IDX3,... IDXm,... In order from the index IDX1, and the maximum n satisfying tmn ≦ T is specified. The caption text Mn at this time is displayed in the caption list branch area LA3.

また、キーワード入力モードでキーワード入力及び検索を行って、インデックステーブル124を作成した後で、最初に検索結果表示モードを選択した時は、インデックスIDX1からインデックスIDX5の指し示す5個の字幕文が字幕リスト枝領域LA1から字幕リスト枝領域LA5に表示される。   Further, after the keyword input and search are performed in the keyword input mode and the index table 124 is created, when the search result display mode is first selected, the five subtitle sentences indicated by the index IDX1 to the index IDX5 are displayed in the subtitle list. It is displayed from the branch area LA1 to the caption list branch area LA5.

(ステップ522)タイムバー領域TAの表示を行う。なお、タイムバー領域TAの表示処理の概要については後述する。
(ステップ523)字幕リストの表示を行う。ステップ521で字幕リスト枝領域LA3に、IDXmに対応する字幕文Mxを表示することを選択しているから、字幕リスト枝領域LA1には、インデックスIDXm−2に対応する字幕文Msが、字幕リスト枝領域LA2には、インデックスIDXm−1に対応する字幕文Mtが表示される。また、字幕リスト枝領域LA4、LA5には、インデックスIDXmに後続するインデックスIDXm+1、IDXm+2に対応する字幕文My、Mzが表示される。これにより、検索するキーワードを含む字幕文が、字幕リスト枝領域LA1〜LA5に表示される。
(ステップ524)字幕文Mxに対応する字幕表示時刻TMxとシークポイント管理情報123の映像表示時刻TRnとを比較し、字幕表示時刻TMxの直前の映像位置PRnが示す映像を表示する。
(Step 522) The time bar area TA is displayed. The outline of the display process of the time bar area TA will be described later.
(Step 523) A subtitle list is displayed. In step 521, since it is selected that the caption sentence Mx corresponding to IDXm is displayed in the caption list branch area LA3, the caption sentence Ms corresponding to the index IDXm-2 is included in the caption list branch area LA1. In the branch area LA2, a caption sentence Mt corresponding to the index IDXm-1 is displayed. In the caption list branch areas LA4 and LA5, caption sentences My and Mz corresponding to the indexes IDXm + 1 and IDXm + 2 subsequent to the index IDXm are displayed. Thereby, the caption text including the keyword to be searched is displayed in the caption list branch areas LA1 to LA5.
(Step 524) The subtitle display time TMx corresponding to the subtitle sentence Mx is compared with the video display time TRn of the seek point management information 123, and the video indicated by the video position PRn immediately before the subtitle display time TMx is displayed.

その後、カーソルキー3を操作して、字幕リスト枝領域LA1〜LA5に表示される字幕文(候補字幕文)の中から所望の字幕文を選択して、字幕リスト枝領域LA3及び字幕領域SAに当該字幕文を表示するとともに、当該字幕文に対応する映像を映像領域DAに表示する。   Thereafter, the cursor key 3 is operated to select a desired subtitle sentence from the subtitle sentences (candidate subtitle sentences) displayed in the subtitle list branch areas LA1 to LA5, and the subtitle list branch area LA3 and the subtitle area SA are selected. The caption text is displayed, and the video corresponding to the caption text is displayed in the video area DA.

このように、使用者が選択した字幕文の直前直近の映像を先頭に再生表示するので、使用者は当該字幕文の対応する画像の(途中からではなく)最初から全て視ることができる。また、字幕文管理情報とシークポイント管理情報を備えるので、字幕文及び映像の再生タイミングの判別が容易であり、高速処理が可能になる。また、制御部11で、映像コンテンツを解析して字幕文管理情報とシークポイント管理情報を作成するので、映像コンテンツの送信側での特殊な処理を必要としない。   In this way, since the video immediately before the caption text selected by the user is reproduced and displayed at the top, the user can view all of the corresponding image of the caption text from the beginning (not from the middle). Moreover, since the caption sentence management information and the seek point management information are provided, it is easy to determine the reproduction timing of the caption sentence and the video, and high-speed processing is possible. In addition, since the control unit 11 analyzes the video content and creates subtitle sentence management information and seek point management information, no special processing is required on the video content transmission side.

以上の手順により、使用者が入力したキーワードと同一の文字列を含む複数又は単数の字幕文(候補字幕文)をリスト表示するとともに、候補字幕文から使用者が選択した字幕文に対応する映像が表示パネル5に表示される。表示された字幕文と映像が所望する字幕文と映像であることを使用者が確認したら、ソフトキー領域FAの「soft1」を押下げて、表示パネル5の表示モードを検索結果表示モードから通常画面再生モードに切り替えて、以後の字幕文と映像を続けて視聴することができる。   Through the above procedure, a list of plural or single subtitle sentences (candidate subtitle sentences) including the same character string as the keyword input by the user is displayed and video corresponding to the subtitle sentence selected by the user from the candidate subtitle sentences Is displayed on the display panel 5. When the user confirms that the displayed subtitle text and video are the desired subtitle text and video, the user presses “soft1” in the soft key area FA to change the display mode of the display panel 5 from the search result display mode to normal. By switching to the screen playback mode, the subsequent subtitle text and video can be viewed continuously.

このように、ソフトキー領域FAの「soft1」又は「soft2」の操作によって、表示部5の表示モードを自由に切り替えることが出来るので、キーワードの入力から、字幕文の選択を経て通常の視聴に至る一連の操作を素早く行うことができる。   As described above, the display mode of the display unit 5 can be freely switched by the operation of “soft1” or “soft2” in the soft key area FA. Can be performed quickly.

図12は、検索結果表示モードにおけるタイムバー領域TAの表示処理の概要を示す図である。図12に示すように、タイムバー領域TAは、コンテンツ録画データ121の全再生時間を表すバー表示領域301に、インデックスIDXmに対応する字幕文の再生タイミングtmnを表示するバー302m(mは1からMまでの正の整数)を配置して、全再生時間に対する字幕文の相対的な再生タイミング(時間的位置)を表示する領域である。例えば、コンテンツ録画データ121の全再生時間が30分、バー表示領域の長さが横200ピクセルで、インデックスIDXmに対応する字幕文の再生タイミングが、15分であった場合、15/30*200=100ピクセルの位置に、バー302mを表示する。   FIG. 12 is a diagram showing an overview of display processing of the time bar area TA in the search result display mode. As shown in FIG. 12, the time bar area TA is a bar 302 m (m is from 1) that displays the reproduction timing tmn of the subtitle sentence corresponding to the index IDXm in the bar display area 301 that represents the total reproduction time of the content recording data 121. A positive integer up to M) is arranged, and the relative reproduction timing (temporal position) of the caption text with respect to the entire reproduction time is displayed. For example, if the total playback time of the content recording data 121 is 30 minutes, the bar display area is 200 pixels wide, and the playback timing of the caption text corresponding to the index IDXm is 15 minutes, 15/30 * 200 = The bar 302m is displayed at the position of 100 pixels.

さて、ここまで説明した携帯電話1の機能は、制御部11にインストールされた制御プログラムを実行することによって実現される。ここで、制御部11にインストールされる制御プログラムについて簡単に説明する。   Now, the function of the mobile phone 1 described so far is realized by executing a control program installed in the control unit 11. Here, the control program installed in the control unit 11 will be briefly described.

図13は、制御部11にインストールされる制御プログラムの概念的な構成図である。図13に示すように制御プログラム140は、字幕管理データ作成モジュール141、シークポイント管理情報作成モジュール142、キーワード入力モジュール143、字幕文抽出モジュール144、リスト表示モジュール145、タイミング表示モジュール146、字幕文選択モジュール147、字幕文再生タイミング判別モジュール148、映像再生タイミング判別モジュール149、映像再生モジュール150、字幕再生モジュール151、モード切替モジュール152を備える。   FIG. 13 is a conceptual configuration diagram of a control program installed in the control unit 11. As shown in FIG. 13, the control program 140 includes a caption management data creation module 141, a seek point management information creation module 142, a keyword input module 143, a caption sentence extraction module 144, a list display module 145, a timing display module 146, and a caption sentence selection. A module 147, a subtitle sentence playback timing determination module 148, a video playback timing determination module 149, a video playback module 150, a subtitle playback module 151, and a mode switching module 152 are provided.

字幕管理データ作成モジュール141は、コンテンツ録画データ121から必要なデータを読み出して字幕管理データ122を作成するプログラムモジュールであり、コンテンツ録画データ121の録画(書き込み)完了の時点で起動される。   The caption management data creation module 141 is a program module that reads out necessary data from the content recording data 121 and creates caption management data 122, and is activated when the recording (writing) of the content recording data 121 is completed.

シークポイント管理情報作成モジュール142は、コンテンツ録画データ121から必要なデータを読み出してシークポイント管理情報123を作成するプログラムモジュールであり、やはり、コンテンツ録画データ121の録画(書き込み)完了の時点で起動される。   The seek point management information creation module 142 is a program module that reads necessary data from the content recording data 121 and creates the seek point management information 123, and is also activated when the recording (writing) of the content recording data 121 is completed. The

キーワード入力モジュール143は、使用者による検索用のキーワードの入力を行うプログラムモジュールであり、キーワード入力モードが選択された時に起動される。   The keyword input module 143 is a program module for inputting a search keyword by a user, and is activated when a keyword input mode is selected.

字幕文抽出モジュール144は、キーワード入力モジュール143の実行によって得られたキーワードと同一の文字列を含む字幕文を字幕管理データ122から抽出して、インデックステーブル124を作成するプログラムモジュールである。   The subtitle sentence extraction module 144 is a program module that extracts a subtitle sentence including the same character string as the keyword obtained by the execution of the keyword input module 143 from the subtitle management data 122 and creates the index table 124.

リスト表示モジュール145は、インデックステーブル124に登録されているインデックスを持つ字幕文を字幕管理データ122から読み出して、表示パネル5に表示するプログラムモジュールであり、検索結果表示モードが選択された時に起動される。   The list display module 145 is a program module that reads a subtitle sentence having an index registered in the index table 124 from the subtitle management data 122 and displays it on the display panel 5, and is activated when the search result display mode is selected. The

タイミング表示モジュール146は、リスト表示モジュール145が表示パネル5に表示する字幕文の映像内における時間的位置を映像の再生時間に対する比率で表示パネル5に表示するプログラムモジュールであり、リスト表示モジュール145と同時に実行される。   The timing display module 146 is a program module that displays the temporal position in the video of the caption text displayed on the display panel 5 by the list display module 145 on the display panel 5 at a ratio to the playback time of the video. It is executed at the same time.

字幕文選択モジュール147は、リスト表示モジュール145が表示パネル5に表示する字幕文のリストの中から、任意の字幕文を使用者に選択させるプログラムモジュールであり、リスト表示モジュール145と同時に実行される。   The subtitle sentence selection module 147 is a program module that allows the user to select an arbitrary subtitle sentence from the list of subtitle sentences displayed on the display panel 5 by the list display module 145, and is executed simultaneously with the list display module 145. .

字幕文選択モジュール147で字幕文の選択が行われると、字幕文再生タイミング判別モジュール148が実行される。字幕文再生タイミング判別モジュール148は字幕管理データ122を参照して、当該字幕文の再生タイミングを求めて、その結果を映像再生タイミング判別モジュール149に出力する。   When a caption text is selected by the caption text selection module 147, a caption text playback timing determination module 148 is executed. The subtitle sentence reproduction timing determination module 148 refers to the subtitle management data 122 to determine the reproduction timing of the subtitle sentence, and outputs the result to the video reproduction timing determination module 149.

映像再生タイミング判別モジュール149は、字幕文の再生タイミングの入力を受けると、シークポイント管理情報123を参照して、字幕文の再生タイミングの直前に再生される映像のインデックスを求めて、その結果を映像再生モジュール150に出力する。   When receiving the input of the subtitle sentence playback timing, the video playback timing determination module 149 refers to the seek point management information 123 to obtain the index of the video to be played immediately before the subtitle sentence playback timing, and calculates the result. The video is output to the video playback module 150.

映像再生モジュール150は、映像再生タイミング判別モジュール149で判別されたインデックスで指定される映像を先頭にして、コンテンツ録画データ121から映像を順に読み出し、表示パネル5に表示する。   The video playback module 150 sequentially reads video from the content recording data 121 with the video specified by the index determined by the video playback timing determination module 149 as the head, and displays the video on the display panel 5.

字幕再生モジュール151は、字幕文選択モジュール147で選択された字幕文を先頭にして、コンテンツ録画データ121から字幕を順に読み出し、表示パネル5に表示する。   The subtitle playback module 151 sequentially reads subtitles from the content recording data 121 with the subtitle text selected by the subtitle text selection module 147 as the head, and displays the subtitles on the display panel 5.

モード切替モジュール152は、使用者の選択によって、表示パネル5の表示モード(キーワード入力モード、検索結果表示モード、通常画面再生モード)を切り替えるとともに、表示モードに応じて、リスト表示モジュール145、キーワード入力モジュール143、映像再生モジュール150、字幕再生モジュール151等の起動停止を行う。   The mode switching module 152 switches the display mode (keyword input mode, search result display mode, normal screen playback mode) of the display panel 5 according to the user's selection, and the list display module 145, keyword input according to the display mode. The module 143, the video playback module 150, the subtitle playback module 151, and the like are started and stopped.

このように、本発明に係る携帯電話1は制御部11に所定のソフトウェアを書き込むだけで実現できる。つまり特別なハードウェアを必要としないので、容易に製造することができる。また、ソフトウェアで実現した機能の一部又は全部を専用のハードウェアに置き換えてもよい。例えば、映像再生モジュール150あるいは字幕再生モジュール151を専用のチップに置き換えてもよい。   As described above, the cellular phone 1 according to the present invention can be realized only by writing predetermined software in the control unit 11. That is, since no special hardware is required, it can be manufactured easily. Also, part or all of the functions realized by software may be replaced with dedicated hardware. For example, the video playback module 150 or the subtitle playback module 151 may be replaced with a dedicated chip.

以上説明したように、本発明の字幕付映像再生装置は、キーワード入力手段と字幕文抽出手段を備えて、任意のキーワードを含む字幕文を抽出して使用者に提示するので、使用者は所望の字幕文及び当該字幕文に対応する映像に容易にアクセスすることができる。   As described above, the video playback apparatus with captions according to the present invention includes the keyword input unit and the caption sentence extraction unit, extracts the caption sentence including an arbitrary keyword, and presents it to the user. The subtitle sentence and the video corresponding to the subtitle sentence can be easily accessed.

また、本発明は携帯電話装置にのみ適用されるものではない。本発明は映像と字幕を同時に再生表示する装置一般に広く応用することができる。また、本発明の字幕付映像再生装置は映像及び字幕のデータを放送や通信によって受信する装置に限定されない。媒体に記録された映像及び字幕のデータを読み取って再生する装置であってもよい。   Further, the present invention is not applied only to the mobile phone device. The present invention can be widely applied to general apparatuses that reproduce and display video and subtitles simultaneously. The video playback device with captions of the present invention is not limited to a device that receives video and caption data by broadcasting or communication. It may be an apparatus that reads and reproduces video and caption data recorded on a medium.

本発明の実施の形態に係る携帯電話の外観図である。1 is an external view of a mobile phone according to an embodiment of the present invention. 前記携帯電話の概念的な回路構成を示す構成図である。It is a block diagram which shows the notional circuit structure of the said mobile telephone. 前記携帯電話の記憶部に記憶されるデータの構成図である。It is a block diagram of the data memorize | stored in the memory | storage part of the said mobile telephone. 字幕管理データのデータ構造を示す図である。It is a figure which shows the data structure of subtitle management data. シークポイント管理情報のデータ構造を示す図である。It is a figure which shows the data structure of seek point management information. 通常画面再生モードを選択した場合に表示される画面の例である。It is an example of the screen displayed when the normal screen reproduction mode is selected. キーワード入力モードを選択した場合に表示される画面の例である。It is an example of the screen displayed when keyword input mode is selected. 検索結果表示モードを選択した場合に表示される画面の例である。It is an example of a screen displayed when search result display mode is selected. インデックステーブルの構成と機能を示す説明図である。It is explanatory drawing which shows the structure and function of an index table. キーワード検索の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of a keyword search. キーワード検索の結果を表示パネルに表示する手順を示すフローチャートである。It is a flowchart which shows the procedure which displays the result of a keyword search on a display panel. 検索結果表示モードにおけるタイムバー領域TAの表示処理の概要を示す図である。It is a figure which shows the outline | summary of the display process of the time bar area | region TA in search result display mode. 制御部にインストールされる制御プログラムの概念的な構成図である。It is a notional block diagram of the control program installed in a control part.

符号の説明Explanation of symbols

1…携帯電話、2…キーボード、3…カーソルキー、4…表示切替ボタン、5…表示パネル、6…通話用マイク、7…通話用スピーカ、8…スピーカ、11…制御部、12…記憶部、13…操作部、14…表示部、15…チューナ、16…デコード部、17…音声出力部、18…音声入力部、19…通信部、20…バス、121…コンテンツ録画データ、122…字幕管理データ、123…シークポイント管理情報、131…映像PES、132…音声PES、133…字幕PES、140…制御プログラム、141…字幕管理データ作成モジュール、142…シークポイント管理情報作成モジュール、143…キーワード入力モジュール、144…字幕文抽出モジュール、145…リスト表示モジュール、146…タイミング表示モジュール、147…字幕文選択モジュール、148…字幕文再生タイミング判別モジュール、149…画像再生タイミング判別モジュール、150…映像再生モジュール、151…字幕再生モジュール、152…モード切替モジュール   DESCRIPTION OF SYMBOLS 1 ... Mobile phone, 2 ... Keyboard, 3 ... Cursor key, 4 ... Display switching button, 5 ... Display panel, 6 ... Calling microphone, 7 ... Calling speaker, 8 ... Speaker, 11 ... Control part, 12 ... Memory | storage part , 13 ... operation section, 14 ... display section, 15 ... tuner, 16 ... decoding section, 17 ... audio output section, 18 ... audio input section, 19 ... communication section, 20 ... bus, 121 ... content recording data, 122 ... subtitles Management data, 123 ... seek point management information, 131 ... video PES, 132 ... audio PES, 133 ... subtitle PES, 140 ... control program, 141 ... subtitle management data creation module, 142 ... seek point management information creation module, 143 ... keyword Input module, 144 ... subtitle sentence extraction module, 145 ... list display module, 146 ... timing display module , 147 ... Jimakubun selection module, 148 ... caption text reproduction timing determination module 149 ... image reproduction timing determination module, 150 ... video reproducing module, 151 ... subtitle reproduction module 152 ... Mode Switch Module

Claims (7)

複数の字幕文と複数の映像を記憶する記憶手段と、
使用者に任意の文字列を入力させるキーワード入力手段と、
前記キーワード入力手段により入力された文字列を含む字幕文(以下、候補字幕文という)を、前記記憶手段に記憶されている複数の字幕文の中から抽出する字幕文抽出手段と、
当該候補字幕文を表示するリスト表示手段と、
当該候補字幕文の中から任意の字幕文を使用者に選択させる字幕文選択手段と、
前記字幕文選択手段により選択された字幕文を再生表示する字幕再生表示手段と、
前記字幕文選択手段により選択された字幕文に対応する映像と前記記憶手段から読み出して再生表示する映像再生手段を備える
ことを特徴とする字幕付映像再生装置。
Storage means for storing a plurality of subtitle sentences and a plurality of videos;
Keyword input means for allowing the user to input an arbitrary character string;
A subtitle sentence extraction unit that extracts a subtitle sentence including a character string input by the keyword input unit (hereinafter referred to as a candidate subtitle sentence) from a plurality of subtitle sentences stored in the storage unit;
A list display means for displaying the candidate subtitle text;
Subtitle sentence selection means for allowing the user to select an arbitrary subtitle sentence from the candidate subtitle sentences;
Subtitle reproduction display means for reproducing and displaying the subtitle sentence selected by the subtitle sentence selection means;
A video reproduction apparatus with subtitles, comprising: a video corresponding to the subtitle sentence selected by the subtitle sentence selection means; and a video reproduction means for reading out and reproducing from the storage means.
前記候補字幕文の再生タイミングと前記記憶手段に記憶された全映像の再生時間に対する割合を示す図形を表示するタイミング表示手段を備える
ことを特徴とする請求項1に記載の字幕付映像再生装置。
2. The video reproduction apparatus with subtitles according to claim 1, further comprising timing display means for displaying a graphic indicating a reproduction timing of the candidate subtitle sentence and a ratio to a reproduction time of all videos stored in the storage means.
前記字幕文選択手段により選択された字幕文の再生タイミングを判別する字幕文再生タイミング判別手段と
前記字幕文選択手段により選択された字幕文の再生タイミングの直前のタイミングで再生される映像(以下、直前映像という)を判別する映像再生タイミング判別手段を有し、
当該直前映像を前記映像再生表示手段で再生表示する映像の先頭とする
ことを特徴とする請求項1又は請求項2に記載の字幕付映像再生装置。
Subtitle sentence playback timing determination means for determining the playback timing of the caption sentence selected by the caption sentence selection means, and a video to be played back immediately before the playback timing of the caption sentence selected by the caption sentence selection means (hereinafter, Video playback timing discrimination means for discriminating the immediately preceding video)
The video playback apparatus with subtitles according to claim 1 or 2, wherein the immediately preceding video is used as a head of a video to be played back and displayed by the video playback display means.
前記記憶手段は、
字幕文と当該字幕文の再生タイミングを対応付ける字幕管理データと、
映像フレームの位置を示すインデックスと当該映像フレームの再生タイミングを対応付けるシークポイント管理情報を記憶するとともに、
前記字幕文再生タイミング判別手段は、前記字幕文選択手段により選択された字幕文と前記字幕管理データを照合して、当該字幕文の再生タイミングを判別し、
前記映像再生タイミング判別手段は、当該字幕文の再生タイミングと前記シークポイント管理情報を照合して、直前映像のインデックスを判別する
ことを特徴とする請求項3に記載の字幕付映像再生装置。
The storage means
Subtitle management data that associates the subtitle text with the playback timing of the subtitle text,
In addition to storing the index indicating the position of the video frame and the seek point management information that correlates the playback timing of the video frame,
The subtitle sentence reproduction timing determination means determines the reproduction timing of the subtitle sentence by comparing the subtitle sentence selected by the subtitle sentence selection means with the subtitle management data,
4. The video playback apparatus with subtitles according to claim 3, wherein the video playback timing determination unit determines the index of the immediately preceding video by comparing the playback timing of the caption text with the seek point management information.
前記記憶手段に記憶された字幕文に関する情報を解析して、前記字幕管理データを作成する字幕管理データ作成手段と、
前記記憶手段に記憶された画像に関する情報を解析して、前記シークポイント管理情報を作成するシークポイント管理情報作成手段を備える
ことを特徴とする請求項4に記載の字幕付映像再生装置。
Analyzing information related to the caption text stored in the storage means and creating the caption management data creating the caption management data;
5. The video reproduction apparatus with captions according to claim 4, further comprising seek point management information creating means for analyzing the information about the image stored in the storage means and creating the seek point management information.
一面の表示画面を備えるとともに、
前記一面の表示画面に、前記前記キーワード入力手段によって表示されて、使用者にキーワードの入力を促すキーワード入力画面を表示するキーワード入力モード;
前記一面の表示画面に、前記字幕再生表示手段によって表示される字幕文、前記映像再生表示手段によって表示される映像及び前記リスト表示手段が表示する候補字幕文を同時に表示する検索結果表示モード;
及び、前記一面の表示画面に、前記字幕再生表示手段によって表示される字幕文と前記映像再生表示手段によって表示される映像を同時に表示する通常画面再生モードを相互に切り替えるモード切替手段を有する
ことを特徴とする請求項1ないし請求項5のいずれかに記載の字幕付映像再生装置。
With a display screen on one side,
A keyword input mode for displaying a keyword input screen displayed by the keyword input means on the one side display screen and prompting a user to input a keyword;
A search result display mode for simultaneously displaying the subtitle text displayed by the subtitle playback display means, the video displayed by the video playback display means, and the candidate subtitle text displayed by the list display means on the one display screen;
And a mode switching means for switching between the normal screen playback mode for simultaneously displaying the caption text displayed by the caption playback display means and the video displayed by the video playback display means on the one display screen. 6. The video reproduction apparatus with captions according to claim 1, wherein the video reproduction apparatus has captions.
複数の字幕文と複数の映像を記憶する記憶手段を備えるコンピュータに、
使用者に任意の文字列を入力させるキーワード入力処理と、
前記キーワード入力手段により入力された文字列を含む字幕文(以下、候補字幕文という)を、前記記憶手段に記憶されている複数の字幕文の中から抽出する字幕文抽出処理と、
前記候補字幕文を表示するリスト表示処理と、
前記候補字幕文の中から任意の字幕文を使用者に選択させる字幕文選択処理と、
前記字幕文選択手段により選択された字幕文を再生表示する字幕再生表示処理と、
前記字幕文選択手段により選択された字幕文に対応する映像と前記記憶手段から読み出して再生表示する映像再生処理
を実行させるためのプログラム。
In a computer comprising storage means for storing a plurality of subtitle sentences and a plurality of videos,
Keyword input processing that allows the user to input an arbitrary character string,
A caption sentence extraction process for extracting a caption sentence including a character string input by the keyword input means (hereinafter referred to as a candidate caption sentence) from a plurality of caption sentences stored in the storage means;
A list display process for displaying the candidate subtitle sentence;
A caption sentence selection process for allowing a user to select an arbitrary caption sentence from the candidate caption sentences;
Subtitle reproduction display processing for reproducing and displaying the subtitle sentence selected by the subtitle sentence selecting means;
A program for executing a video reproduction process of reading and reproducing and displaying a video corresponding to a subtitle sentence selected by the subtitle sentence selecting means and the storage means.
JP2007301008A 2007-11-20 2007-11-20 Captioned video playback apparatus, and program Pending JP2009130469A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007301008A JP2009130469A (en) 2007-11-20 2007-11-20 Captioned video playback apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007301008A JP2009130469A (en) 2007-11-20 2007-11-20 Captioned video playback apparatus, and program

Publications (1)

Publication Number Publication Date
JP2009130469A true JP2009130469A (en) 2009-06-11

Family

ID=40820989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007301008A Pending JP2009130469A (en) 2007-11-20 2007-11-20 Captioned video playback apparatus, and program

Country Status (1)

Country Link
JP (1) JP2009130469A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009302779A (en) * 2008-06-11 2009-12-24 Casio Hitachi Mobile Communications Co Ltd Video with caption-reproducing device, and video with caption-reproducing method and program
JP2010010744A (en) * 2008-06-24 2010-01-14 Casio Hitachi Mobile Communications Co Ltd Captioned image reproducing device, captioned image reproducing method and program
KR20110081599A (en) * 2010-01-08 2011-07-14 엘지전자 주식회사 Operating an image display device
JP2014102825A (en) * 2012-11-21 2014-06-05 Hon Hai Precision Industry Co Ltd Video content search system and method thereof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009302779A (en) * 2008-06-11 2009-12-24 Casio Hitachi Mobile Communications Co Ltd Video with caption-reproducing device, and video with caption-reproducing method and program
JP2010010744A (en) * 2008-06-24 2010-01-14 Casio Hitachi Mobile Communications Co Ltd Captioned image reproducing device, captioned image reproducing method and program
JP4569673B2 (en) * 2008-06-24 2010-10-27 Necカシオモバイルコミュニケーションズ株式会社 Subtitled video playback device, subtitled video playback method and program
US8350964B2 (en) 2008-06-24 2013-01-08 Casio Hitachi Mobile Communications Co., Ltd. Captioned image reproducing device, captioned image reproducing method and program
KR20110081599A (en) * 2010-01-08 2011-07-14 엘지전자 주식회사 Operating an image display device
KR101702968B1 (en) * 2010-01-08 2017-02-06 엘지전자 주식회사 Operating an Image Display Device
JP2014102825A (en) * 2012-11-21 2014-06-05 Hon Hai Precision Industry Co Ltd Video content search system and method thereof

Similar Documents

Publication Publication Date Title
US7734148B2 (en) Method for reproducing sub-picture data in optical disc device, and method for displaying multi-text in optical disc device
KR100327457B1 (en) Apparatus and method for recording and playing back topic data with digital image and audio data
US20030190148A1 (en) Displaying multi-text in playback of an optical disc
JP4384074B2 (en) Broadcast content processing apparatus and control method thereof
EP1758392A2 (en) Searching Scenes on Personal Video recorder PVR
JP2009089030A (en) Electronic apparatus and image display control method
JP4569673B2 (en) Subtitled video playback device, subtitled video playback method and program
JP5310808B2 (en) Subtitled video playback device and subtitled video playback program
JPH07298223A (en) Caption information receiver
JP2009081699A (en) Electronic apparatus and method of controlling face image extraction
JP2009182876A (en) Electronic device and display processing method
JP2009130469A (en) Captioned video playback apparatus, and program
JP2006245907A (en) Broadcast recording and reproducing apparatus
JP2009005346A (en) Captioned video playback terminal equipment and program
JP2009159125A (en) Reproducer for video image with caption, search result notifying method for reproducer for video image with caption, and program
US8068717B2 (en) Television program recording/reproducing device
JP5198088B2 (en) Playback device and control method
JP4882687B2 (en) Recorded program management device
KR101285906B1 (en) Method and Apparatus for Recording and Reproducing of Broadcasting Signal capable of Searching Caption Data
JP5110521B2 (en) Subtitled video playback device and program
JP5311448B2 (en) Subtitled video playback device, subtitled video playback method and program
JP4367535B2 (en) Subtitled video playback device and program
JP2009159484A (en) Broadcast receiver
JP2007172803A (en) Information reproducing apparatus and recording medium
JP4821733B2 (en) Subtitled video playback terminal device and program