JP2009005346A - 字幕付映像再生端末装置、プログラム - Google Patents

Abstract

【課題】複数の字幕文と各字幕文の再生タイミングに対応する各映像とを同時に表示する。
【解決手段】制御部１１は、コンテンツの録画後、ＴＶ信号から字幕文とその字幕文の再生タイミングを示す情報とを抽出して、字幕管理データを生成する。続いて、制御部１１は、ＴＶ信号の先頭から映像の再生タイミングを抽出し、生成した字幕管理データに格納されている字幕文の再生タイミングと比較する。映像の再生タイミングが、字幕文の再生タイミングよりも小さい状態から大きい状態に変化した時点で、字幕文の再生タイミングに対応する映像と判別し、その映像の位置を記憶部１２に記憶する。以後、表示部１４に表示させる映像数に達するまで処理を繰り返す。制御部１１は、字幕管理データ内の複数の字幕文と各字幕文に対応する映像とを表示部１４に表示させる。
【選択図】図２

Description

本発明は、字幕文及び映像を処理する字幕付映像再生端末装置と、コンピュータを字幕付映像再生端末装置として機能させるプログラムと、に関する。

字幕付映像のストリームを録画しておき、字幕付の状態で映像を再生できる字幕表示装置が特許文献１に開示されている。特許文献１に開示された字幕表示装置は、ストリームに含まれる字幕文の表示時刻と映像とを対応付け、ユーザが字幕文を選択したときに、選択された字幕文と共にその字幕文の表示時刻に対応する映像を再生する（特許文献１ ３頁右欄５０行〜４頁左欄３９行 参照）。
特開２００３−１８４９１号公報

特許文献１に開示された字幕表示装置は、字幕付映像の内の各章の先頭の映像をそれぞれ表示させ、その内からユーザが選択した章の字幕付映像を再生する。しかし、特許文献１に開示された字幕表示装置の字幕付映像再生機能は、１つの字幕文とその字幕文に対応する１つの映像とを再生表示する機能である。そのため、ユーザは字幕付映像を視聴するときに、その字幕付映像が表示されている画面上から、現在再生表示されている１つの字幕文及び１つの映像に関する情報しか得ることができない。

本発明は、上記実情に鑑みてなされたものであり、字幕付映像を視聴するときに、ユーザの利便性を向上させることを目的とする。

上記課題を解決するため、本発明の字幕付映像再生端末装置は、複数の字幕文を定義する字幕信号と、複数の映像を定義する映像信号とを、再生タイミングを対応付けて記憶する字幕映像記憶手段と、前記字幕映像記憶手段が記憶する字幕信号が定義する複数の字幕文から少なくとも２以上の字幕文を再生する字幕再生手段と、前記字幕映像記憶手段が記憶する映像信号が定義する映像から、前記字幕再生手段が再生した各字幕文に付与された再生タイミングに対応する再生タイミングが付与された映像を抽出する映像抽出手段と、前記映像抽出手段が抽出した映像を再生し、表示する映像再生表示手段と、を備えることを特徴とする。

更に、コンピュータに対して本発明の主要機能を実行させるためのプログラムを提供する。

本発明の字幕付映像再生端末装置によれば、複数の字幕文と各字幕文の再生タイミングに対応する各映像とを同時に画面に表示させる。これにより、ユーザは、１つの字幕文及び１つの映像が再生表示されているときよりも、より多くの情報を取得でき、字幕付映像の内容を把握し易くなる。これにより、字幕付映像を視聴するときの利便性を向上できる。

以下、図１乃至２５を参照して、本発明の実施形態に係る字幕付映像再生端末装置を説明する。以下では、字幕付映像再生端末装置を、コンテンツ受信機能を備える携帯電話１に適用する例について説明する。

携帯電話１は、コンテンツ録画再生機能を備える携帯電話であり、例えば、図１に示すような折り畳み型のものであり、キーボード２、表示パネル５、スピーカ８、等を備えている。

キーボード２は、カーソルキー３と表示切替ボタン４、その他各種のボタン、を備えており、ユーザに操作されて、様々なデータや指示、例えば、字幕付映像の再生及び終了、等の指示、を入力するために使用される。

表示パネル５は、ドットマトリクスタイプのＬＣＤ（液晶表示）パネル等から構成され、任意の画像、例えば、複数の字幕文と各字幕文に対応する映像、等を表示する。通話用マイク６は、通話音声を入力する。通話用スピーカ７は、受話音声を出力する。スピーカ８は、コンテンツ再生時の音声等を出力する。

また、携帯電話１は、図２に示すように、制御部１１、記憶部１２、操作部１３、表示部１４、チューナ１５、デコード部１６、音声出力部１７、音声入力部１８、通信部１９、バス２０、を備える。

制御部１１は、マイクロプロセッサユニット等から構成され、記憶部１２が記憶する動作プログラムに従って、携帯電話１全体の動作を制御する。例えば、制御部１１は、ユーザがテレビ番組を録画するときのコンテンツの録画の開始・終了、録画したコンテンツの再生の開始・終了、等を制御する。

また、制御部１１は、各種のデータ（字幕文、映像、ピクトアイコン、ソフトキー、等）を、表示部１４を介して、表示パネル５に表示させる。

記憶部１２は、制御部１１のプログラム、音声データ、映像データ、その他のユーザデータを記憶する。例えば、記憶部１２は、図５、図９、図１１、図１３、図１６、図１８、図２０、図２３、図２５を参照して後述する処理を制御部１１に実行させるためのプログラム、を記憶する。記憶部１２は、携帯電話１に内蔵されるメモリ、又は、取り外し可能な外部メモリ、のいずれから構成されていてもよい。

また、記憶部１２は、字幕管理データ１２１と映像データ１２２とを記憶する。

字幕管理データ１２１は、図３に示すように、「表示時刻Ｔ」と「字幕文Ｍ」とを対応付けるデータである。
「表示時刻Ｔ」は、字幕付映像の再生を開始してからの、字幕文が表示される時刻を示すデータである。「字幕文Ｍ」は、字幕付映像の字幕文の内容を示すデータである。

映像データ１２２は、字幕付映像の映像信号に含まれる、i）１枚毎の「映像（映像フレーム）」が連続するデータ、ii）各「映像（映像フレーム）」を再生する「再生タイミング」を示すデータ、である。具体例で説明すると、ＴＶ信号の映像信号が、図４に示す映像データ１２２を含む場合、「映像Ｒ」は人物の顔を示す各映像Ｒ１〜ＲＮの連続データであり、各映像Ｒ１〜ＲＮの下に示す「再生タイミングＴＲ１〜ＴＲＮ」は、各映像Ｒ１〜ＲＮが再生されるタイミングを示している。
なお、ワンセグ放送においては、映像のフレームレートは１５フレーム／秒である。このため、１つの字幕文には、その再生タイミングに対応する映像フレームとして複数の映像フレームが対応する。しかし、本実施形態では理解を容易にするため、１つの字幕文に１つの映像フレームが対応するものとして説明する。

図２に示す操作部１３は、前述のキーボード２、カーソルキー３、表示切替ボタン４、等を備え、ユーザにより操作され、各種の指示やデータを入力する。操作部１３は、例えば、表示パネル５上に表示させる各字幕文及び各映像の数を選択するために使用される。

表示部１４は、表示パネル５とドライバ回路等から構成され、制御部１１の制御下に画像を表示パネル５に表示する。

チューナ１５は、アンテナを介して、テレビジョン信号（以下、「ＴＶ信号」という）を受信して復調し、復調信号を制御部１１に出力する。チューナ１５が受信するＴＶ信号は、例えば、ワンセグ放送におけるデータ転送方式（ＡＲＩＢ運用規定ＴＲ−Ｂ１４に記載）に則った形式である。デコード部１６は、チューナ１５が出力したコンテンツを、映像信号、音声信号、字幕信号に分離すると共に復号し、出力する。

音声出力部１７は、前述の通話用スピーカ７とスピーカ８、ＤＡＣ（Digital Analog Converter）等から構成され、例えば、制御部１１が再生したコンテンツの音声信号を、スピーカ８により放音する。

音声入力部１８は、通話時等に、音声信号を収集し、通信部１９に供給する。通信部１９は、基地局を介して、字幕信号、映像信号、音声信号、等を送受信する。バス２０は、各部間で相互にデータを伝送する。

次に、図５乃至２５を参照して、上記構成を有する携帯電話１の字幕付映像の再生動作について説明する。なお、この携帯電話の通信動作自体は通常の携帯電話と同一であり、以下、本実施形態で特徴的な字幕付映像の再生動作について説明する。

携帯電話１は、１つの字幕文とその字幕文に対応する１つの映像とを表示させることが可能である。また、携帯電話１は、本実施形態で特徴的な、複数の字幕文と各字幕文に対応する各映像とを同時に再生表示させることも可能である（以下、この表示状態を「複数映像表示モード」という）。ユーザは、表示切替ボタン４又はソフトキーの操作により、字幕付映像を視聴するときに、表示パネル５に同時に表示させる字幕文及び映像の数を選択することが可能である。

携帯電話１は、各字幕文と、各字幕文のタイミングに対応するタイミングを有する映像と、を再生することにより、字幕付映像を再生する。そのため、制御部１１は、字幕文とその字幕文が再生されるタイミングとを対応付ける字幕管理データ１２１を生成する。以下、字幕管理データ１２１を生成する動作について説明する。

制御部１１は、コンテンツの録画後、ＴＶ信号が含む字幕ＰＥＳ（Packetized Elementary Stream）に格納されている情報を抽出し、字幕管理データ１２１を生成する。

字幕ＰＥＳは、パケット化された字幕の圧縮符号化データで、字幕管理データ１２１を生成するために必要な情報を有する。具体例で説明すると、ＴＶ信号が図６に示すＴＶ信号ＳＧとした場合、字幕ＰＥＳは、字幕文Ｍｎ（ｎ：１〜Ｎ、Ｎ：ＴＶ信号ＳＧに含まれる字幕ＰＥＳの数）、字幕再生タイミングｔｎ（ｎ：１〜Ｎ）の情報、制御符号ＣＳｎ（ｎ：１〜Ｎ）、等の情報を有する。

「字幕文」は、字幕付映像の字幕文の内容を示すデータである。「字幕再生タイミング」は、「字幕文」を再生するタイミングをＰＴＳ（Presentation Time Stamp）単位で表したタイミングである。図６に示すＴＶ信号ＳＧの例では、複数の字幕再生タイミングｔ１〜ｔＮは、各字幕文Ｍ１〜ＭＮを再生するタイミング（ＰＴＳ単位）に対応する。

制御符号は、字幕文を所定の単位にまとめて区切ることを意味する符号である。図６に示すＴＶ信号ＳＧの例では、複数の制御符号ＣＳ１〜ＣＳＮは、各字幕文Ｍ１〜ＭＮに対応し、各字幕文を区切ることを意味する。制御部１１は、ＴＶ信号ＳＧに含まれる制御符号ＣＳｎ（ｎ：１〜Ｎ）の数と同数の字幕文を抽出する。以下、制御部１１が、前述の字幕ＰＥＳから情報を抽出し、字幕管理データ１２１を生成する処理（図５）について、図６のテレビジョン（ＴＶ）信号ＳＧを例に説明する。

図５に示すように、制御部１１は、字幕管理データ１２１の生成を開始すると、先ず、上述したＴＶ信号ＳＧから字幕ＰＥＳの抽出を試み、ＴＶ信号ＳＧ内の字幕ＰＥＳの有無を判別する（ステップＳ１１）。無ければ（ステップＳ１１；Ｎｏ）、制御部１１は、字幕管理データ１２１の生成を終了する。

ＴＶ信号内に字幕ＰＥＳが有れば（ステップＳ１１；Ｙｅｓ）、字幕ＰＥＳの抽出後（ステップＳ１２）、制御部１１は、その字幕ＰＥＳに含まれる情報から字幕文が抽出できたか否かを判別する（ステップＳ１３）。字幕文が抽出できたら（ステップＳ１３；Ｙｅｓ）、制御部１１は、字幕ＰＥＳを解析し、字幕文の再生タイミング（ＰＴＳ単位）を示す情報を取り出す。

続いて、制御部１１は、図６に示すＴＶ信号ＳＧの字幕ＰＥＳから最初に抽出した字幕文Ｍ１の字幕再生タイミングｔ１から、先頭にある映像Ｒ１の再生タイミングＴＲ１を差し引き、先頭の映像Ｒ１の再生開始から字幕文Ｍ１の再生時に至るまでの経過時間（ＰＴＳ単位）を求める（ステップＳ１４）。ここで得られる経過時間（ＰＴＳ単位）は、先頭の映像の再生タイミングを基準時刻０としたときのオフセット時刻に相当する。

続いて、制御部１１は、ステップＳ１４で求めた経過時間（ＰＴＳ単位）を通常の時分秒単位に換算し（ステップＳ１５）、その経過時間（字分秒単位）を、表示時刻Ｔ１として字幕管理データ１２１に格納する（ステップＳ１６）。

ステップＳ１５、Ｓ１６の処理内容を、図６を参照して、具体的に説明すると、制御部１１は、ステップＳ１４で求めた経過時刻（ＰＴＳ単位）を時分秒単位に換算した「００：００：００」を、表示時刻Ｔ１として字幕管理データ１２１に格納する。なお、字幕文の表示時刻は、時分秒単位に換算せずＰＴＳ単位のまま表してもよい。

表示時刻の格納後、制御部１１は、字幕管理データ１２１に格納する字幕文をＴＶ信号から抽出する。そのため、制御部１１は、図６に示すように、ＴＶ信号ＳＧの最初の字幕ＰＥＳに含まれる制御符号ＣＳ１直前で区切られる文字列（「おはよう。いい天気ですね。」）を、字幕管理データ１２１の字幕文Ｍ１として格納する（ステップＳ１７）。なお、ＴＶ信号ＳＧ内に制御符号ＣＳ１しか含まれない場合、制御部１１は、ＴＶ信号ＳＧに含まれる全ての字幕文を字幕文Ｍ１として字幕管理データ１２１に格納させる。

最初の字幕文Ｍ１の格納後、制御部１１は、ＴＶ信号ＳＧ内の最後の制御符号ＣＳＮに達したか否かを判別する（ステップＳ１８）。最後の制御符号に達していなければ（ステップＳ１８；Ｎｏ）、処理はステップＳ１１に戻る。制御部１１は、次の字幕ＰＥＳを抽出し（ステップＳ１２）、図６に示すＴＶ信号内の制御符号ＣＳ１と制御符号ＣＳ２との間にある字幕再生タイミング（ＰＴＳ単位）ｔ２を取得する。取得後、制御部１１は、その字幕再生タイミング（ＰＴＳ単位）ｔ２から先頭の映像Ｒ１の再生タイミングＴＲ１を差し引き（ステップＳ１４）、求めた経過時間をＰＴＳ単位から時分秒単位へ換算する（ステップＳ１５）。

続いて、制御部１１は、ステップ１５にて単位を換算した経過時間（時分秒単位）（図６では、「００:００:２０」）を表示時刻Ｔ２として字幕管理データ１２１に格納する（ステップＳ１６）。

また、制御部１１は、字幕管理データ１２１の字幕文Ｍ２として、最初の制御符号ＣＳ１から次の制御符号ＣＳ２までの間に含まれる文字列を格納する（ステップＳ１７）。図６に示すＴＶ信号ＳＧの例では、制御部１１は、制御符号ＣＳ１と制御符号ＣＳ２との間にある文字列「こんにちわ。」を格納する。なお、制御部１１は、字幕文Ｍｎ（ｎ：１〜Ｎ）を表示時刻Ｔｎ（ｎ：１〜Ｎ）により昇順にソートする。

制御部１１は、ＴＶ信号ＳＧ内の最後の制御符号ＣＳＮに達するまで（ステップＳ１８；Ｙｅｓ）、以上の処理を繰り返し、字幕管理データ１２１を生成する。

ユーザが、表示切替ボタン４又はソフトキーの操作により、「複数映像表示モード」を選択すると、制御部１１は、生成した字幕管理データ１２１に基づいて、複数の字幕文と各字幕文の再生タイミングに対応する再生タイミングが付与された各映像とを同時に再生表示させる。なお、Ｋ個（Ｋコマ）の字幕文及び各映像を同時に表示する複数映像表示モードを「Ｋコマ表示モード」という。

以下では、３つの字幕文と各字幕文の再生タイミングに対応する各映像とを同時に表示させる「３コマ表示モード」を例にとり、本実施形態の複数の字幕文と各字幕文の再生タイミングに対応する映像とを同時に再生表示する動作について説明する。

ユーザが、表示切替ボタン４又はソフトキーを操作して「３コマ表示モード」を選択すると、制御部１１は、表示パネル５上に各データを表示させる領域全体から、３つの字幕文と各字幕文に対応する各映像とを表示させるための領域を割り当てる処理を行う。以下、この処理について、図７を参照して、説明する。

先ず、制御部１１は、表示パネル５全体に対応する仮想的な表示領域Ｄから、ピクトアイコンを表示させるためのピクト領域ＰＡ、ソフトキーを表示させるためのソフトキー領域ＦＡ、を差し引く。

次に、制御部１１は、ピクト領域ＰＡ及びソフトキー領域ＦＡを差し引いた表示領域Ｄの残りの領域から、i）字幕文を表示させるための字幕領域ＭＡとして割り当てる仮想的な領域のサイズ及び位置、ii）映像を表示させるための映像領域ＲＡとして割り当てる仮想的な領域のサイズ及び位置、を決定する。字幕領域ＭＡ及び映像領域ＲＡは、例えば、ワンセグ放送における字幕仮想プレーン及び映像仮想プレーンである。

字幕領域ＭＡ、映像領域ＲＡのサイズを求める手法は任意であるが、一例として以下の手法が採用できる。制御部１１は、字幕文に含まれる文字の数とフォントデータの縦横の画素数とに基づいて、字幕文の表示に必要な領域のサイズを決定する。また、制御部１１は、各映像の縦横の画素数から、各映像の表示に必要な領域のサイズを決定する。

サイズの決定後、制御部１１は、字幕領域ＭＡ及び映像領域ＲＡを表示領域Ｄ内で確保する位置を決定する。字幕領域ＭＡ、映像領域ＲＡの位置を求める手法は任意であるが、一例として以下の手法が採用できる。制御部１１は、映像領域ＭＡと映像領域ＲＡとが重ならないように、各領域の位置を決定する。なお、字幕領域ＭＡ及び映像領域ＲＡの位置を決定したときに、制御部１１は、字幕領域ＭＡ、映像領域ＲＡを示す矩形の４つの頂点の座標値（ｘ，ｙ）をそれぞれ記憶部１２に記憶させる。

続いて、制御部１１は、表示させる字幕文の数及び映像の数（「３コマ表示モード」では共に「３」）に応じて、字幕領域ＭＡ及び映像領域ＲＡをそれぞれ複数の領域に分割する。制御部１１は、字幕領域ＭＡの縦方向（ｙ方向）の幅（ｙ２−ｙ１）を均等に３分割したときの２つの分割点に対応するｙ座標値を求める。求めたｙ座標値が、図８に示す字幕領域ＭＡ２を定義する矩形の４つの頂点のｙ座標値となる。

また、制御部１１は、図７に示す字幕領域ＭＡ上のｘ座標の最小値ｘ１及び最大値ｘ０を、先に求めた２つの分割点のｙ座標値に組み合わせ、図８に示す字幕領域ＭＡ２の４つの頂点の座標値（ｘ，ｙ）を定める。制御部１１は、字幕領域ＭＡから字幕領域ＭＡ２を除いて得られる２つの領域をそれぞれ、図８に示す字幕領域ＭＡ１、ＭＡ３に設定する。図７に示す映像領域ＲＡを図８に示す映像領域ＲＡ１〜ＲＡ３に分割するときも、字幕領域ＭＡを３分割するときと実質的に同一の手法を適用すればよい。

制御部１１は、分割後の字幕領域は、字幕管理データ１２１に登録されている連続した字幕文Ｍｎを表示する領域である。図８に示す「３コマ表示モード」の画面Ｄ１の例では、制御部１１は、字幕領域ＭＡ１上に図３に示す字幕管理データ１２１の内で最先の再生タイミング（表示時刻Ｔ１）を有する字幕文Ｍ１が表示させ、字幕領域ＭＡ２には、字幕文Ｍ１の次順の表示時刻Ｔ２を有する字幕文Ｍ２を表示させる。また、制御部１１は、字幕領域ＭＡ３に字幕文Ｍ２の次順の字幕文Ｍ３を表示させる。

制御部１１は、分割後の各映像領域に、分割後の各字幕領域に表示されている各字幕文の再生タイミングに対応する再生タイミングを有する各映像をそれぞれ表示させる。図８に示す画面Ｄ１の例では、制御部１１は、分割後の映像領域ＲＡ１〜ＲＡ３に、字幕文Ｍ１〜Ｍ３の再生タイミングに対応した映像として人物の顔を示す映像Ｒ１〜Ｒ３を表示させる。

制御部１１は、複数の映像領域上に現在再生中の各字幕文に対応する各映像を表示させるために、ＴＶ信号ＳＧの映像信号から、各字幕文の再生タイミングに対応する映像（映像フレーム）を抽出する。以下、制御部１１が、映像データ１２２を検索して、図８に示す画面Ｄ１に表示されている各映像を各映像領域に表示させる処理について説明する。

ユーザが、操作部１３の操作により、字幕付映像視聴用のアプリケーションの開始又は「３コマ表示モード」の選択を指示すると、制御部１１は図９のフローの処理を実行する。

図９の処理において、制御部１１は、ＴＶ信号ＳＧの映像データ１２２から、表示パネル５上の各映像領域に表示させる数（以下、「表示映像数」という）の映像を取得する。制御部１１は、取得した映像の数（以下、「取得完了数」という）が「表示映像数」に達するまで、映像の取得を繰り返し、取得した各映像を各映像領域上に表示させる。

「取得完了数」のカウントを開始するため、制御部１１は、先ず、取得済映像カウンタＣ（図示せず）をクリアして０に設定する（ステップＳ２１）。また、ステップＳ２１にて、制御部１１は、ＴＶ信号ＳＧから取得する予定の映像の数（以下、「取得予定数」という）を、「表示映像数」に一致するよう設定する。図８に示す「３コマ表示モード」の画面Ｄ１の例では表示映像数は「３」であり、制御部１１は、取得予定数を「３」に設定する。

次に、制御部１１は、ＴＶ信号ＳＧの映像信号に含まれるビデオＰＥＳを抽出し、ビデオＰＥＳに含まれる情報に基づいて、各字幕文の表示時刻に対応する映像の再生タイミング（ＰＴＳ単位）を特定する。そのため、制御部１１は、ＴＶ信号ＳＧの映像信号からビデオＰＥＳを抽出し、ＴＶ信号ＳＧの内で最も先頭にある映像フレームの情報を抽出する（ステップＳ２２）。

この映像フレームの情報は、映像のデータ及びその映像が再生される再生タイミングを示す情報を含む。映像フレームの情報は、例えば、ワンセグ放送であれば、ＩＤＲ（Instantaneous Decoder Refresh）アクセスユニット又は非ＩＤＲアクセスユニットである。具体例で説明すると、ＴＶ信号が図６に示すＴＶ信号ＳＧとした場合、映像フレームの情報は、映像（映像フレーム）のデータ、その先頭にある映像Ｒ１を再生する再生タイミングＴＲ１を示す情報、を含む。なお、再生タイミングＴＲ１は、ＰＴＳ単位で表されている。

ＴＶ信号ＳＧが含む映像フレームには、独立フレームと非独立フレームとの２種類がある。独立フレーム（以下、「ＩＤＲフレーム」という）は、他の映像フレームの参照を必要としない映像フレームである。ＩＤＲフレームは、自己の映像フレームを参照する非独立フレームが、自己のＩＤＲフレームの再生タイミングよりも前の全ての映像フレームを参照することを禁止する。

非独立フレーム（以下、「Ｐフレーム」という）は、自己の再生タイミングよりも先に再生されるＩＤＲフレームを参照する映像フレームである。具体例で説明すると、ＩＤＲフレームが図６に示す映像Ｒ１、Ｐフレームが図６に示す映像Ｒ２であるとした場合、Ｐフレームである映像Ｒ２は、ＩＤＲフレームである映像Ｒ１を参照する。なお、Ｐフレームは、自己の映像フレームの表示時刻よりも前にある映像フレームとの差分である。

制御部１１は、ステップＳ２２で抽出した映像フレームの情報から、抽出した映像フレームがＩＤＲフレームか否かを判別する（ステップＳ２３）。抽出した映像フレームがＩＤＲフレームでなければ（ステップＳ２３；Ｎｏ）、処理はステップＳ２２に戻り、制御部１１は、最も先頭にあるＩＤＲフレームの情報を抽出するために、次の映像フレームの情報をＴＶ信号ＳＧから抽出する。

一方、現在抽出中の映像フレームがＩＤＲフレームであれば（ステップＳ２３；Ｙｅｓ）、制御部１１は、先頭の映像フレームの再生を開始してからそのＩＤＲフレームの再生に至るまでの経過時間を求める（ステップＳ２４）。このとき、制御部１１は、そのＩＤＲフレームが有する再生タイミング（ＰＴＳ単位）からＴＶ信号ＳＧの先頭にある映像Ｒ１の再生タイミング（ＰＴＳ単位）ＴＲ１を差し引いて、その経過時間を求める。なお、ステップＳ２４で求めた経過時間は、ＴＶ信号ＳＧ内で先頭にある映像の再生時刻を基準時刻０としたときの、現在抽出されている映像の再生時に至るまでのオフセット時刻である。

制御部１１は、字幕管理データ１２１の最初に格納されている字幕文Ｍ１の表示時刻Ｔ１が、ステップＳ２４で求めた経過時間よりも大きいか否かを判別する（ステップＳ２５）。この判別処理は、現在抽出されているＩＤＲフレームが、字幕文Ｍ１が対応する映像Ｒ１により参照されるフレームである可能性の有無を判別するために行われる。

字幕文Ｍ１の表示時刻の方が小さければ（ステップＳ２５；Ｎｏ）、現在抽出されているＩＤＲフレームは、字幕文Ｍ１に対応する映像Ｒ１よりも後に再生されるフレームであり、映像Ｒ１により参照されない。このとき、次の映像フレームの情報を抽出するために、処理はステップＳ２２に戻る。

字幕文Ｍ１の表示時刻Ｔ１が、先頭の映像の再生開始から現在抽出中のＩＤＲフレームの再生時に至るまでの経過時間よりも大きい場合（ステップＳ２５；Ｙｅｓ）、現在抽出中のＩＤＲフレームは、字幕文Ｍ１よりも先に再生されるものであり、字幕文Ｍ１が対応する映像フレームによって参照されるフレームの可能性がある。そのため、制御部１１は、ステップＳ２４で抽出した映像フレームのデータの位置（例えば、記憶部１２内で格納されているアドレス）を保存する（ステップＳ２６）。その後、処理はステップＳ２２に戻り、制御部１１は、更に映像フレームをシークし、その情報を抽出する。

制御部１１は、次に抽出した映像フレームの再生タイミングからＴＶ信号ＳＧの最も先頭にある映像Ｒ１の再生タイミングＴＲ１を差し引いて、次に抽出した映像フレームの経過時間を求める。その経過時間も字幕文Ｍ１の表示時間Ｔ１より小さければ（ステップＳ２５；Ｙｅｓ）、その映像フレームは、直前に抽出したＩＤＲフレームよりも後に再生され、かつ、字幕文Ｍ１よりも前に再生される。そのため、制御部１１は、直前に抽出した映像フレームのデータの位置の代わりに、現在抽出中の映像フレームのデータの位置を記憶部１２に記憶させる（ステップＳ２６）。

一方、ステップＳ２５において、先頭の映像の再生開始から現在抽出中の映像フレームが再生されるまでの経過時間よりも、字幕文Ｍ１の表示時刻Ｔ１が小さければ（ステップＳ２５；Ｎｏ）、現在抽出中のＩＤＲフレームは、字幕文Ｍ１に対応する映像Ｒ１よりも後に再生され、かつ、前回抽出されたＩＤＲフレームは、字幕文Ｍ１に対応する映像Ｒ１よりも先に再生されるＩＤＲフレームの内で再生タイミングが最も近い映像Ｒ１に近いフレームである。そのため、制御部１１は、ステップＳ２６で保存した位置を、映像領域ＲＡ１に表示させる映像Ｒ１が参照するＩＤＲフレームの位置として、記憶部１２に記憶させる（ステップＳ２７）。

続いて、制御部１１は、映像フレームを１つ取得したことを示すため、取得済映像カウンタＣに１を加える（ステップＳ２８）。ここで、取得済映像カウンタＣを１加算したことにより、「取得完了数」が、映像領域に表示させる映像の数と同数に設定された「取得予定数」に達した場合、以後、映像データ１２２から映像を抽出する必要がない。制御部１１は、その判別を行うため、取得済映像カウンタＣが「取得予定数」に達したか否かを判別する（ステップＳ２９）。「取得予定数」に達していなければ（ステップＳ２９；Ｎｏ）、処理はステップＳ２２に戻り、制御部１１は、更に映像フレームをシークする。

取得映像数カウンタＣの値が「取得予定数」（３コマ表示モードでは３）に達した場合（ステップＳ２９；Ｙｅｓ）、制御部１１は、映像データの位置情報を基に、各映像フレームを読み出す。ここで読み出される各映像フレームは、図８に示す画面Ｄ１に表示されている映像Ｒ１〜Ｒ３に相当する。

続いて、制御部１１は、表示部１４を介し、映像データ１２２から読み出された映像Ｒ１を、表示パネル５上の映像領域ＲＡ１に表示させる。また、制御部１１は、映像データ１２２内で映像Ｒ１の次の再生タイミングを有する映像Ｒ２を映像領域ＲＡ２に表示させ、映像Ｒ２の次の映像Ｒ３を映像領域ＲＡ３に表示させる（ステップＳ２１０）。なお、このとき、制御部１１は、上述した手法により、映像Ｒ１〜Ｒ３を表示させるために、映像領域ＲＡを分割して各映像領域ＲＡ１〜ＲＡ３を設定する処理を行う。

また、制御部１１は、映像領域に表示された映像が有する再生タイミングに対応する再生タイミングの字幕文を、字幕領域ＭＡ１、ＭＡ２、ＭＡ３に表示する。図８に示す画面Ｄ１の例では、字幕領域ＭＡ１〜ＭＡ３に字幕文Ｍ１〜Ｍ３を表示させる。以上で、複数の字幕文を各字幕領域に表示し、各字幕文に対応する映像を各映像領域に表示できる。

次に、各字幕領域及び各映像領域上に、現在表示中の各字幕文及び各映像を、別の字幕文及び別の映像に入れ替えて表示させることにより、ユーザの利便性を向上させる実施形態について説明する。上記に説明した「３コマ表示モード」にて、現在表示中の字幕文及び映像を、１コマ（１字幕文）ずつ上又は下方向にコマ送り（１コマスクロール）できると、ユーザはコンテンツの内容を逐次把握可能となり、利便性が向上する。

各字幕領域及び各映像領域に現在表示中の字幕文及び映像を１コマスクロールさせる場合、各字幕領域及び各映像領域に、現在表示中の各字幕文及び各映像に代えて、その前又は後の再生タイミングを有する字幕文及びその字幕文に対応する映像を表示すればよい。

具体例として、１コマだけ下方向にスクロールさせる対象の画面が図１０（ａ）に示す画面Ｄ２１であるとする。画面Ｄ２１に代えて、図１０（ｂ）に示す画面Ｄ２２を表示させるためには、画面Ｄ２１上の字幕領域ＭＡ１〜ＭＡ３に現在表示されている各字幕文Ｍ１〜Ｍ３に替えて、その次の再生タイミングを有する各字幕文Ｍ２〜Ｍ４を表示させればよい。また、各字幕文Ｍ２〜Ｍ４に対応する各映像Ｒ２〜Ｒ４を、現在表示中の各映像Ｒ１〜Ｒ３に代えて、各映像領域ＲＡ１〜ＲＡ３に表示させればよい。

以下、図１１を参照して、各字幕領域に表示されている字幕文を、1コマずつスクロール表示させる動作について説明する。なお、画面Ｄ２１及びＤ２２に表示される字幕文は、図３に示す字幕管理データ１２１に格納されている字幕文であるものとし（字幕文の数はＮ個）、字幕領域ＭＡ１に現在表示中の映像は、字幕管理データ１２１の先頭からｎ番目に位置する字幕文Ｍｎであるとする（ｎ：１からＮまでの正の整数）。

制御部１１は、ユーザがカーソルキー３を下方向に押下すると（ステップＳ３１；Ｙｅｓ）、（Ｎ−ｎ）が２よりも大きいか否かを判別する（ステップＳ３２）。（Ｎ−ｎ）が２よりも大きければ（ステップＳ３２；Ｎｏ）、字幕領域ＭＡ３に現在表示中の字幕文は、字幕管理データ１２１の最後に格納されている字幕文ＭＮ（最後の再生タイミングを有する字幕文）ではない。このとき、制御部１１は、各字幕領域ＭＡ１〜ＭＡ３に、現在表示中の各字幕文に代えて、各字幕文の次順にある各字幕文を表示させる（ステップＳ３３）。具体例では、図１０（ａ）の画面Ｄ２１に表示中の字幕文Ｍ１〜Ｍ３が、図１０（ｂ）の画面Ｄ２２の字幕文Ｍ２〜Ｍ４に入れ替わる。

また、制御部１１は、ステップＳ３３で新たに表示させた各字幕文に対応する各映像を映像データ１２２から読み出し、各字幕領域ＲＡ１〜ＲＡ３に表示させる（ステップＳ３４）。具体例では、画面Ｄ２１に表示中の映像Ｒ１〜Ｒ３が、画面Ｄ２２の映像Ｒ２〜Ｒ４に入れ替わる。以上で、下方向に１画面スクロール表示させる処理が終了する。

一方、ステップＳ３２において（Ｎ−ｎ）が２であれば、字幕領域ＭＡ３に表示中の字幕文は字幕管理データ１２１内の最後に格納されている字幕文である。このとき、制御部１１は、処理を終了し、ユーザが下方向にカーソルキー３を押下しても、現在の各字幕領域ＭＡ１〜ＭＡ３に表示されている字幕の表示を維持する。

一方、ユーザがカーソルキー３を上方向に押下した場合（ステップＳ３５；Ｙｅｓ）、１コマずつ前の字幕文及び映像を表示させる上スクロール表示が実行される。
このとき、制御部１１は、最先の字幕領域ＭＡ１に表示中の字幕文Ｍｎが、字幕管理データ１２１の内で先頭にある字幕文Ｍ１か否かを判別するため、（ｎ−１）が０よりも大きいか否かを判別する（ステップＳ３６）。

（ｎ−１）が０よりも大きければ（ステップＳ３６；Ｎｏ）、字幕領域ＭＡ１に表示中の字幕文Ｍｎは、先頭の字幕文Ｍ１ではない。このとき、制御部１１は、各字幕領域ＭＡ１〜ＭＡ３に、表示中の各字幕文よりも１つ前の表示時刻が付与された各字幕文を表示させる（ステップＳ３７）。更に、制御部１１は、ステップＳ３７で新たに表示させた字幕文に対応する映像を映像データ１２２から読み出し、映像領域ＲＡ１〜ＲＡ３に表示させる（ステップＳ３８）。

具体的には、図１０（ｂ）に示す画面Ｄ２２が表示されている場合、ユーザが上方向にカーソルキー３を押下すると、ステップＳ３７の処理により、字幕領域ＭＡ１〜ＭＡ３には、表示中の字幕文Ｍ２〜Ｍ４に代えて、字幕文Ｍ１〜Ｍ３が表示される。また、ステップＳ３８の処理により、映像領域ＲＡ１〜ＲＡ３には、字幕文Ｍ１〜Ｍ３の再生タイミングに対応した映像Ｒ１〜Ｒ３が、表示中の映像Ｒ２〜Ｒ４に代えて、表示される。これにより、図１０（ａ）に示す画面Ｄ２１が表示される。

一方、ステップＳ３６において（ｎ−１）が０であれば（ステップＳ３６；Ｙｅｓ）、字幕領域ＭＡ１に表示中の字幕文は、字幕管理データ１２１内で先頭にある字幕文Ｍ１である。このとき、制御部１１は、ユーザが上方向にカーソルキー３を押下しても、各字幕領域ＭＡ１〜ＭＡ３上で表示中の字幕文Ｍ１〜Ｍ３の表示を維持する。以上で、ユーザがカーソルキー３を上方向又は下方向に押下したときに、字幕文とその字幕文に対応する映像とを１コマスクロールして、表示させることができる。

なお、上記に説明した１コマスクロールのフローの処理内容を一部変更し、現在表示中の各字幕文を、各字幕文から数えて「表示映像数（３コマ表示モードでは３）」だけ前又は後に位置する各字幕文に全て入れ替える。このとき、あたかも本のページをめくるように表示させることができる（この動作を、以下「ページめくり」という）。

また、以下では、表示中の各字幕文及び各映像に代えて、「表示映像数」分後の再生タイミングが付与された各字幕分及び各映像を表示させる動作を、「ページを送る」という。また、「表示映像数」分前の再生タイミングが付与された各字幕分及び各映像を表示させる動作を、「ページを戻す」という。以下、「３コマ表示モード」を例にとり、携帯電話１が「ページめくり」を行うときの処理について説明する。

図１３に示すように、制御部１１は、ユーザにより「ページ送り」が指示されたか否かを判別するため、カーソルキー３の右方向への押下の有無を判別する（ステップＳ４１）。有れば（ステップＳ４１；Ｙｅｓ）、制御部１１は、「ページ送り」の可否を判別するため、各字幕領域ＭＡ１〜ＭＡ３に最後から３番目以内の字幕文が表示中か否かを判別する（ステップＳ４２）。表示中でなければ（ステップＳ４２；Ｎｏ）、制御部１１は、字幕領域ＭＡ１〜ＭＡ３に、現在表示中の各字幕文に代えて、現在表示中の各字幕文よりも３つ後の再生タイミングが付与されている字幕文を表示させる（ステップＳ４３）。また、各字幕領域ＭＡ１〜ＭＡ３に表示させた字幕文に対応する映像を、各映像領域ＲＡ１〜ＲＡ３に表示させ、ページを送る（ステップＳ４４）。

ページを送ったときの表示パネル５上の画面の遷移を、具体例で説明する。ページを送る対象の画面が図１２（ａ）に示す画面Ｄ３１であるとする。画面Ｄ３１上の映像領域ＲＡ１、ＲＡ２、ＲＡ３には映像Ｒ１、映像Ｒ２、映像Ｒ３が表示され、字幕領域ＭＡ１、ＭＡ２、ＭＡ３には字幕文Ｍ１、字幕文Ｍ２、字幕文Ｍ３が表示されている。

ここで、ユーザがカーソルキー３を右方向に押すと、制御部１１は、字幕領域ＭＡ１〜ＭＡ３に、字幕文Ｍ１〜Ｍ３よりも「表示映像数（３）」だけ後の再生タイミングが付与された字幕文Ｍ４〜Ｍ６を表示させ、かつ、映像領域ＲＡ１〜ＲＡ３に映像Ｒ４〜Ｒ６を表示させる。このとき、図１２（ｂ）に示す画面Ｄ３２が表示パネル５に表示される。以後、ユーザがカーソルキー３を右方向に押すごとに、順次、字幕文及びその字幕文に対応する映像のページが送られる。

また、ページを戻す場合、制御部１１は、図１３に示すステップＳ４５においてカーソルキー３の左方向への押下の有無を判別する。有れば（ステップＳ４５；Ｙｅｓ）、最先の字幕領域ＭＡ１に表示されている字幕文Ｍｎが、字幕管理データ１２１において先頭の表示時刻が付与された字幕文Ｍ１か否かを判別する（ステップＳ４６）。

先頭の字幕文Ｍ１でなければ（ステップＳ４６；Ｎｏ）、ページ戻しが可能である。このとき、制御部１１は、現在表示中の各字幕文よりも「表示映像数（３）」だけ前の表示時刻が付与された各字幕文を字幕管理データ１２１から読み出し、各字幕領域ＭＡ１〜ＭＡ３に表示させる（ステップＳ４７）。また、各字幕領域ＭＡ１〜ＭＡ３に表示させた各字幕文に対応する各映像を、各映像領域ＲＡ１〜ＲＡ３に表示させ、ページが戻る（ステップＳ４８）。

以上で、「ページめくり（ページの送り又は戻し）」が可能となる。なお、ページめくりにおける画面の切替方法は、カーソルキー３の左右方向の押下に限らず、ソフトキー領域ＦＡ上に表示されたソフトキー等を操作部１３により操作してもよい。

次に、「字幕文の表示」に関して、ユーザの利便性を向上させるための実施形態について説明する。上記で説明した実施形態では、コンテンツの字幕文に含まれる文字数が、字幕領域が表示できる文字数よりも多い場合、その字幕文を字幕領域に表示しても、字幕文が途中で途切れて全文が表示されないという問題がある。

この問題を解決するには、例えば、字幕領域を拡大して、各字幕領域が表示できる文字数を、コンテンツの字幕文に含まれる文字数よりも大きくすればよい。以下、字幕文の文字数が字幕領域に表示できる文字数（以下、「表示可能文字数」という）よりも多い場合に、字幕領域を拡大して、表示可能文字数より多くの文字を含む字幕文（以下、「長い字幕文」という。）を表示する動作について説明する。

図１６に示すように、ユーザがカーソルキーで任意の字幕文を選択すると、制御部１１は、選択された字幕文の文字数を取得し（ステップＳ５１）、その文字数が「表示可能文字数」よりも大きいか否かを判別する（ステップＳ５２）。取得した字幕文の文字数が、「表示可能文字数」以下であり、現在確保されている字幕領域で表示可能であれば（ステップＳ５２；Ｎｏ）、処理を終了する。

一方、取得した字幕文が「長い字幕文」であり、その文字数が「表示可能文字数」よりも大きい場合（ステップＳ５２；Ｙｅｓ）、現在確保されている字幕領域では字幕文の内容を全て表示できない。このとき、「長い字幕文」に続きがあることを示すため、制御部１１は、「表示可能文字数」分の文字を「長い字幕文」の先頭から取得し、字幕領域に表示させると共に、「長い字幕文」の内で非表示の文字を表示するよう促すマークを、字幕領域上に表示させる（ステップＳ５３）。

ユーザが選択した字幕文が「長い字幕文」であるときに、ステップＳ５３にて表示される画面を具体例で説明する。ユーザが「長い字幕文」を選択したときの画面が、図１４に示す画面Ｄ４１であるとすると、字幕領域ＭＡ２に表示されている字幕文Ｍ２は、表示可能文字数よりも多くの文字数を含む「長い字幕文Ｍ２」であり、現在の字幕領域ＭＡ２上に全文を表示することができない。

このとき、制御部１１は、「長い字幕文Ｍ２」の文字の内で先頭から「表示可能文字数」分までの文字を、字幕領域ＭＡ２に表示させる。また、「長い字幕文Ｍ２」の文字の内で非表示の文字を表示するようユーザに促すためのマーク（「←」）を表示させる。

続いて、制御部１１は、ユーザによる操作部１３の操作を検出するまで待機し、検出した場合に、その操作が「長い字幕文」の全文字の表示を指示する操作か否かを判別する（ステップＳ５４）。全文字の表示の指示は、表示確定キー（図示せず）の押下により行うようにしてもよい。全文字の表示の指示でなければ（ステップＳ５４；Ｎｏ）、処理を終了する。全文字の表示の指示であれば（ステップＳ５４；Ｙｅｓ）、制御部１１は、選択された「長い字幕文」を表示するために必要な字幕領域のサイズを算出する（ステップＳ５５）。

ステップＳ５５の処理について、具体的に説明する。ユーザが、カーソルキー３を操作して、図１４に示す画面Ｄ４１上の字幕領域ＭＡ２を選択したとする。このとき、ユーザが続けて操作部１３を操作し、「長い字幕文」の全文字の表示を指示すると、制御部１１は、字幕管理データ１２１に格納されている字幕文（「こんにちわ。今日も元気に頑張りましょう。」）の文字数（２０文字）を取得する。更に、制御部１１は、例えば、取得した文字数に等しいか若しくはそれよりも大きい数と、各文字のフォントデータの画素のサイズ（縦方向の画素数×横方向の画素数）とを乗じて、「長い字幕文」の全文字を表示できる字幕領域のサイズを求める。

続いて、制御部１１は、求めたサイズに従い、「長い字幕文」を表示させる字幕領域を表示領域上に確保する（ステップＳ５６）。制御部１１は、その字幕領域に「長い字幕文」の全文を表示させる（ステップＳ５７）。以上で、「長い字幕文」の全文を、字幕領域を拡張して表示する処理が終了する。

なお、ステップ５６の処理によりサイズが拡張された字幕領域に、ステップＳ５７の処理により「長い字幕文」の全文が表示された画面の例について説明する。図１５（ａ）に示す画面Ｄ４２の例では、ユーザが各字幕文Ｍ１〜Ｍ３の全文を見られるよう、制御部１１は、字幕領域ＭＡ２と字幕領域ＭＡ１及びＭＡ３との重複を避け、字幕領域ＭＡ２の縦方向のサイズを一定に保ち、横方向にのみサイズを拡張して領域を確保する。

また、図１５（ｂ）に示す画面Ｄ４３の例では、制御部１１は、ユーザが字幕文Ｍ２の全文と共に各映像Ｒ１〜Ｒ３を見られるよう、字幕領域ＭＡ２と映像領域Ｒ２との重複を避け、字幕領域ＭＡ２の横方向のサイズを一定に保ち、縦方向にのみサイズを拡張して領域を確保する。このとき、「長い字幕文」を表示している字幕領域以外の字幕領域ＭＡ１、ＭＡ３上には字幕文を表示しないようにしている。なお、図１５（ａ）に示す画面Ｄ４２及び図１５（ｂ）に示す画面Ｄ４３が表示された状態から、図１４に示すサイズ拡張前の画面Ｄ４１が表示された状態に戻る場合、確定キーの再押下又は操作部１３の操作等により、「長い字幕文」の全文表示の終了を指示すればよい。

次に、コンテンツ再生時の「映像の表示」に関して、ユーザにとっての利便性を向上させる実施形態について説明する。

先ず、同一の大きさの映像領域において、同時に表示される映像の数を増やすことで、ユーザがコンテンツの内容の前後関係をより把握し易くする実施形態について説明する。

一般的にテレビ放送で送信される映像の形式には、その横のサイズと縦のサイズとの比（アスペクト比）が４：３である映像（以下、「通常映像」という）と、１６：９である映像（以下、「横長映像」という）と、がある。

具体例として、通常映像が、図１７（ａ）に示す通常映像Ｒ１、Ｒ２、Ｒ３であるとし、また、横長映像が、図１７（ｂ）に示す横長映像Ｙ１、Ｙ２、Ｙ３、Ｙ４であるとする。各通常映像Ｒ１〜Ｒ３のサイズは、縦２４０画素×横３２０画素であり、各横長映像Ｙ１〜Ｙ４のサイズは、縦１８０画素×横３２０画素である。ここで、縦のサイズが７２０画素で、横のサイズが通常映像Ｒ１〜Ｒ３及び横長映像Ｙ１〜Ｙ４の横のサイズ（３２０画素）と等しい映像領域を確保したとする。このとき、確保した映像領域には、図１７（ａ）に示す画面Ｄ５１のように、通常映像Ｒ１〜Ｒ３を縦方向に直列に３つ表示することが可能である。また、この映像領域には、図１７（ｂ）に示す画面Ｄ５２のように、横長映像Ｙ１〜Ｙ４を縦方向に直列に４つ表示することが可能である。

即ち、通常映像の縦のサイズと横長映像の縦のサイズとが共に公約数である縦のサイズを有する映像領域を確保した場合、通常映像よりも多くの横長映像を同時に表示でき、ユーザは、より多くの映像を確認することができる。なお、このことは映像領域の横のサイズについても同様に当てはまる。

以下、映像データ１２２から読み出した映像が、通常映像であるときに「３コマ表示モード」にて画面を表示させ、横長映像であるときに「４コマ表示モード」にて画面を表示させる処理について説明する。前提として、処理の起動時、制御部１１は、表示パネル５の表示領域上に、縦のサイズが７２０画素、横のサイズが３２０画素、である映像領域を確保しているものとする。

図１８に示すように、ユーザが操作部１３を操作して、字幕付映像視聴用のアプリケーションの開始、又は、複数映像表示モードの選択、を指示すると、制御部１１は、画面設定処理を開始する。開始後、制御部１１は、映像データ１２２から読み出した映像のサイズを、その縦方向及び横方向の画素数等に基づいて、取得する（ステップＳ６１）。

取得後、制御部１１は、映像データ１２２から読み出した映像のサイズのアスペクト比を求め、そのアスペクト比が１６：９であれば横長映像と判別し（ステップＳ６２；Ｙｅｓ）、「表示映像数」を４に設定する（ステップＳ６３）。

続いて、制御部１１は、表示領域上で確保した映像領域の縦のサイズ（７２０画素）をステップＳ６３で設定した「表示映像数」で除算し、縦１８０画素×横３２０画素の縦方向に直列に並ぶ４つの各映像領域ＲＡ１〜ＲＡ４に分割する（ステップＳ６５）。

また、制御部１１は、分割した映像領域に対応するよう字幕領域を分割する（ステップＳ６６）。制御部１１は、ステップＳ６５で分割した各映像領域に各横長映像Ｙ１〜Ｙ４を表示させ、ステップＳ６６で分割した各字幕領域に各映像に対応する各字幕文を表示させる。このとき、表示パネル５上には、図１７（ｂ）に示す画面Ｄ５２が表示される。

一方、制御部１１は、映像のサイズのアスペクト比が４：３であれば通常映像と判別し（ステップＳ６２；Ｎｏ）、「表示映像数」を３に設定する（ステップＳ６４）。続いて、制御部１１は、この映像領域の縦のサイズを３等分し、縦２４０画素×横３２０画素の縦方向に直列に並ぶ３つの各映像領域ＲＡ１〜ＲＡ３に分割する（ステップＳ６５）。また、制御部１１は、分割後の映像領域に対応するよう字幕領域を分割する（ステップＳ６６）。制御部１１は、ステップＳ６５で分割した映像領域に通常映像Ｒ１〜Ｒ３を表示させ、ステップＳ６６で分割した字幕領域に各映像に対応する字幕文を表示させる。このとき、表示パネル５上には、図１７（ａ）に示す画面Ｄ５１が表示される。

以上で、コンテンツの映像の形式（横長映像又は通常映像）に対応して、各映像を表示させ、特に横長映像であった場合には、通常映像よりも多くの映像を表示させることができる。なお、この実施形態でも、i）１コマスクロール、ii）ページめくり、iii）字幕領域の表示可能文字数よりも長い字幕文の表示、が適用可能である。

上記で説明した実施形態では、複数の映像を縦方向に直列に表示させる表示形態について説明した。しかし、本実施形態の携帯電話１は、字幕領域及び映像領域の表示位置を変更して、字幕文及び映像を各種の配置で表示させることができる。

以下では、４つの字幕文と各字幕文に対応する各映像とを格子状に配置して表示させる場合を例にとり、実施形態の変形について説明する。なお、字幕文と各字幕文に対応する映像とを格子状に配置して表示する動作状態を「横長表示モード」といい、字幕文と各字幕文に対応する映像とを縦方向に直列に並べて表示する動作状態を「縦長表示モード」という。

「横長表示モード」で表示される画面は、例えば、図１９に示す表示画面Ｄ６のように、表示パネル５上の表示領域の長手方向と各横長映像Ｙ１〜Ｙ４の長手方向とが一致した状態で、各横長映像Ｙ１〜Ｙ４を表示領域上で格子状に配置したものである。一方、「縦長表示モード」で表示される画面は、例えば、上述した図８に示す画面Ｄ１である。ユーザは、操作部１３を操作して、「縦長表示モード」と「横長表示モード」とを切替えることができる。

以下、「縦長表示モード」及び「横長表示モード」に対応した画面を設定する処理について説明する。図２０に示すように、制御部１１は、表示領域の長手方向（以下、「横長方向」という）に対するコンテンツの映像の表示方向を取得する(ステップＳ７１)。このとき、制御部１１は、ＴＶ信号ＳＧの映像信号に含まれる解像度の情報に基づいて、映像の表示方向を取得する。解像度の情報は、例えば、ワンセグ放送における横長映像の映像仮想プレーンであれば「３２０画素×１８０画素×１６ビット」である。

続いて、制御部１１は、取得した映像の表示方向が、表示領域の横長方向に一致しているか否かを判別する（ステップＳ７２）。横長方向に一致していれば（ステップＳ７２；Ｙｅｓ）、制御部１１は、映像データ１２２から取得する映像数（「取得予定数」）を４に設定する（ステップＳ７３）。設定後、制御部１１は、「横長表示モード」の表示画面を設定するための処理を実行する。

制御部１１は、映像領域を横長に配置する設定（ステップＳ７４）、及び、映像領域の配置に対応した字幕領域の設定（ステップＳ７５）において、各映像領域及び各字幕領域を格子状に配置できるよう、表示領域上に字幕領域及び映像領域として割り当てるための領域を確保する。確保後、制御部１１は、その領域を縦方向の中心位置及び横方向の中心位置でそれぞれ区切り、格子状に配置された４つの領域に分割する。

制御部１１は、分割後の各領域において、ステップＳ７１で判別した表示方向に各映像を配置し、配置した各領域を映像領域に設定する（ステップＳ７４）。設定後の映像領域を具体例で説明すると、例えば、図１９に示す画面Ｄ６上の４つの映像領域ＲＡ１〜ＲＡ４である。

また、制御部１１は、分割後の各領域からステップＳ７５で設定した各映像領域を差し引いた残りの領域を、各字幕領域に設定する（ステップＳ７５）。設定後の各字幕領域は、具体例で説明すると図１９に示す画面Ｄ６上の４つの字幕領域ＭＡ１〜ＭＡ４である。続いて、制御部１１は、各字幕領域に、各映像領域に表示される各映像の再生タイミングに対応する各字幕文を表示させる。

また、ステップＳ７２で判別した映像の表示方向が縦長方向であれば（ステップＳ７２；Ｎｏ）、制御部１１は、「取得予定数」を３に設定し(ステップＳ７６)、「縦長表示モード」の画面を設定するための処理を実行する。このとき、制御部１１は、各映像領域及び各字幕領域を表示パネル５上で縦方向に直列に配置できるよう、画面Ｄ６の縦方向のサイズを均等に３分割し、直列に配置された３つの領域を生成する。以後のステップＳ７７及びステップＳ７８の処理内容については、上述したステップＳ７４及びＳ７５と実質的に同一である。

以上で、「縦長表示モード」及び「横長表示モード」に対応した画面を設定できる。なお、この画面設定処理は、ユーザが操作部１３を操作して、字幕付映像視聴用のアプリケーションの開始、又は、複数映像表示モードの選択、を指示したときに、上述した図９に示すフローの前に起動することで、コンテンツの映像の表示方向に応じて、自動的に「縦長表示モード」及び「横長表示モード」で画面を表示できる。なお、本実施形態でも、１画面スクロール、ページめくり、「長い字幕文」表示時の字幕領域の拡大、を適用できる。

次に、表示パネル５上に「互いに異なるコンテンツの映像」がそれぞれ表示されているときに、ユーザの利便性を向上させる実施形態について説明する。複数のコンテンツの映像が同時に表示パネル５上に表示されていると、ユーザは、各映像が同一のコンテンツに含まれている映像であるか、互いに異なるコンテンツに含まれている映像であるか、分別することが難しい。

複数の映像が同時に表示パネル５に表示されているときに、各映像が同一のコンテンツに含まれるか、又は、互いに異なるコンテンツに含まれるか、を区別するためには、各コンテンツにタイトルを付与し、複数の映像が同一のコンテンツに含まれる映像か否かを区別すればよい（以下、この表示状態を「タイトル付表示モード」という）。

タイトル付表示モードの動作を実現するための携帯電話１の基本構成は図２に示す構成と同一である。ただし、図２に示す記憶部１２は、複数のコンテンツにそれぞれ対応する字幕管理データ１２１及び映像データ１２２を記憶する。

また、記憶部１２は、コンテンツリストデータ１２３を記憶する。コンテンツリストデータ１２３は、図２１に例示するように、「タイトルＴＬ」、「録画日時ＴＴ」、「ジャンルＴＪ」、の項目を含み、各コンテンツに、これらの各項目を対応付ける。

「タイトルＴＬ」は、各コンテンツに付与されているタイトルを示す項目である。「録画日時ＴＴ」は、各コンテンツの録画が開始された日付及び時刻から、終了された日付及び時刻までの期間を示す項目である。「ジャンルＴＪ」は、各コンテンツがその内容に応じて分類された分野、例えば、ニュース、スポーツ、ドラマ、等を示す項目である。なお、ジャンルＴＪに格納すべき情報は、例えば、ワンセグ放送であれば、ＥＩＴ（Event Information Table）等から取得できる。

ユーザは、操作部１３を操作して、「タイトルＴＬ」が付与されたコンテンツを選択することが可能である。制御部１１は、ユーザが選択したコンテンツのタイトルＴＬをコンテンツリストデータ１２３から読み出し、そのタイトルＴＬを、表示部１４を介して表示パネル５に表示させる。コンテンツリストデータ１２３から読み出されたタイトルＴＬが表示された画面（以下、「タイトル付画面」という）は、具体例で説明すると、図２２（ａ）に示す画面Ｄ７１である。

タイトル付画面Ｄ７１を表示させる場合、表示パネル５上の表示領域の左下には、コンテンツリストデータ１２３から選択した現在再生中のコンテンツのタイトルＴＬ１を表示するためのタイトル領域ＴＡが設けられ、タイトル領域ＴＡにはタイトルＴＬ１（「月の話」）が表示されている。なお、タイトルＴＬ１のコンテンツは、図２１に示すコンテンツリストデータ１２３内で録画日時ＴＴが最も新しいコンテンツである。

また、表示領域の中央部には、縦方向に直列配置された映像領域ＲＡ１〜ＲＡ３が設けられ、タイトル領域ＴＡに現在表示中のタイトルＴＬ１に対応する映像Ｒ１１〜Ｒ１３が表示されている。更に、字幕領域ＭＡ１〜ＭＡ３には、映像Ｒ１１〜Ｒ１３に対応する再生タイミングを有する字幕文Ｍ１１〜Ｍ１３が表示されている。

なお、映像が矩形で定義される所定領域に表示されている場合、所定領域上の中心位置近傍に映像が表示されている方が、ユーザにとって視認性が良好な傾向がある。そのため、制御部１１は、現在再生されているコンテンツの複数の映像を表示する映像領域ＲＡ１〜ＲＡ３を、表示領域の横方向の中央位置近傍で縦方向に直列に配置されるように設定する。

表示領域の左中央には、図２１に示すコンテンツリストデータ１２３内で録画日時ＴＴが最も新しいコンテンツの映像を表示するための映像領域ＲＡ４が設けられている。ただし、図２２（ａ）の例では、最新のコンテンツ（タイトルＴＬ１のコンテンツ）は現在再生中であるため、その次に録画日時ＴＴが新しいコンテンツ（タイトルＴＬ２（「鳥のさんぽ」））の映像Ｒ２２が表示されている。

表示領域の右中央には、コンテンツリストデータ１２３内で録画日時ＴＴが最も古いコンテンツを表示させるための映像領域ＲＡ５が設けられ、タイトルＴＬ（「車でドライブ」）のコンテンツの映像Ｒ３２が表示されている。なお、映像領域ＲＡ４、ＲＡ５に表示させる映像は任意であり、例えば、コンテンツの最初のＩＤＲフレーム、字幕管理データ１２１内で先頭にある字幕文に対応した映像、等でもよい。

ユーザは、表示領域上に画面Ｄ７１が表示されている状態において、カーソルキー３を左右方向に押下し、現在選択中のコンテンツに代えて、他のコンテンツを選択することが可能である。このとき、制御部１１は、ユーザが新たに選択したコンテンツの映像を表示させると共に、そのコンテンツに付与されているタイトルＴＬをタイトル領域ＴＡに表示させる。以下、ユーザによるカーソルキー３の押下に応答して、制御部１１が、表示パネル５に表示させる画面を、図２２（ａ）に示す画面Ｄ７１から図２２（ｂ）に示す画面Ｄ７２に切替える場合を例にとり、タイトルＴＬの表示を切り替える処理について説明する。

図２３に示すように、制御部１１は、左方向にカーソルキー３が押下されたことに応答して（ステップＳ８１；Ｙｅｓ）、コンテンツリストデータ１２３の内で、現在タイトル領域ＴＡにタイトルＴＬが表示されているコンテンツの再生を終了する。これに伴い、表示領域中央部の縦方向に直列に設けられた各映像領域ＲＡ１〜ＲＡ３への各映像の表示が終了する（ステップＳ８２）。続いて、制御部１１は、表示領域の左中央に設けられた映像領域ＲＡ４に表示中の映像Ｒ２２を含むコンテンツの再生を開始する（ステップＳ８３）。

コンテンツの再生開始に伴い、制御部１１は、コンテンツリストデータ１２３から再生を開始したコンテンツのタイトルＴＬ２を読み出し、タイトル領域ＴＡに表示させる（ステップＳ８４）。

また、制御部１１は、字幕領域ＭＡ１〜ＭＡ３に、再生を開始したタイトルＴＬ２のコンテンツの字幕文Ｍ２１〜Ｍ２３をそれぞれ表示させる（ステップＳ８５）と共に、各字幕文Ｍ２１〜Ｍ２３の再生タイミングに対応する映像Ｒ２１〜Ｒ２３を、表示パネル５上の中央に配置される映像領域ＲＡ１〜ＲＡ３にそれぞれ表示させる（ステップＳ８６）。これにより、図２２（ｂ）に示すタイトル付画面Ｄ７２が表示される。

なお、表示パネル５上に画面Ｄ７２が表示された状態で、ユーザがカーソルキー３を右方向に押下すると（ステップＳ８７；Ｙｅｓ）、制御部１１は、現在再生中のタイトルＴＬ２のコンテンツ、即ち、映像領域ＲＡ１〜ＲＡ３に現在表示中のコンテンツの再生を終了する（ステップＳ８８）。続いて、制御部１１は、表示領域の右中央に設けられた映像領域ＲＡ５に映像Ｒ１２が表示されているコンテンツの再生を開始し（ステップＳ８９）、上記に説明したステップＳ８４〜Ｓ８６の処理と実質的に同一の処理（ステップＳ８１０〜Ｓ８１２）を実行し、図２２（ａ）に示すタイトル付画面Ｄ７１を表示させる。以上で、タイトル付画面を表示する処理が終了する。

次に、コンテンツ再生中の「映像の表示」に関して、ユーザの利便性をより向上させる実施形態について説明する。上記で説明した実施形態では、各映像を同時に表示させるときの映像領域として、全て同一のサイズの領域を割り当てた。

しかし、複数の映像を表示させる各映像領域を全て同じサイズで確保すると、各映像の内にユーザが着目したい映像（例えば、現在再生されている場面の映像）が含まれている場合でも、他の映像と同一のサイズで表示されてしまう。この問題を解決するには、ユーザが着目したい映像が表示されている映像領域を大きくして、表示される映像を拡大すればよい。

以下、制御部１１が、ユーザの操作により選択され現在再生中のコンテンツの映像を拡大して、表示パネル５に表示させる動作について説明する。また、現在再生されている映像を拡大して表示させる動作状態を、「映像拡大表示モード」という。

図２５に示すように、映像拡大表示モードでは、ユーザが操作部１３を操作して、図２２（ａ）に示す画面Ｄ７１の中央に表示されている映像を選択すると、制御部１１は、図２４に示す画面Ｄ８のように、映像領域ＲＡ２を拡大して映像領域ＲＡ６を新たに確保し、表示領域の中央部に映像領域ＲＡ６を配置する（ステップＳ９１）。なお、映像拡大表示モードにおいて、画面Ｄ８の中心位置に拡大した映像領域ＲＡ６を配置するのは、矩形で定義される表示領域上では、中心位置近傍の方がユーザにとって視認性が良好なためである。続いて、制御部１１は、ユーザに選択されたコンテンツの現在の再生場面の映像を拡大して、表示部１４を介し表示パネル５に表示させる（ステップＳ９２）。

次に、制御部１１は、各字幕領域ＭＡ１〜ＭＡ３に表示中の字幕文の次の表示時刻が付与された各字幕文の有無を判別し（ステップＳ９３）、無ければ（ステップＳ９３；Ｎｏ）、映像拡大表示の処理を終了する。有れば（ステップＳ９３；Ｙｅｓ）、制御部１１は、次の表示時刻が付与された各字幕文を読込む（ステップＳ９４）と共に、各字幕文の表示時刻に対応した映像を検出する（ステップＳ９５）。この映像を検出する手法は、図９を参照して、上述した手法と実質的に同一である。

字幕文の読込と映像の検出とを完了すると、制御部１１は、タイマ（図示せず）をスタートして時間を計時し、所定時間が経過したことを検出する（ステップＳ９６）。なお、タイマにより時間を計時するのは、字幕管理データ１２１に格納されている字幕文Ｍｎの表示時刻Ｔｎに達したことを検出するためである。

所定時間の経過を検出すると（ステップＳ９６；Ｙｅｓ）、制御部１１は、各字幕領域ＭＡ１〜ＭＡ３に字幕文を表示させる（ステップＳ９７）と共に、拡大された映像領域ＲＡ６に、ステップＳ９７で表示させた各字幕文の表示時刻に対応する各映像を表示させる（ステップＳ９８）。即ち、映像領域ＲＡ６上に、タイトルＴＬ１のコンテンツの映像が字幕文の再生タイミングに合わせて順次表示される。

以後、制御部１１は、字幕管理データ１２１内でそのコンテンツに係る最後の字幕文ＭＮに到達するまで（ステップＳ９３；Ｎｏ）、上記処理の実行を繰り返す。以上で、拡大された映像領域にコンテンツの映像を再生表示しつつ、そのコンテンツに含まれる字幕文を再生表示する処理が完了する。

以上説明したように、本実施形態によれば、表示パネル５上に、表示時刻が付与された複数の字幕文を再生表示すると共に、各字幕文に付与された表示時刻に対応した各映像を再生表示することができる。これにより、ユーザは字幕付映像の現在の再生場面の字幕文及び映像の前後に再生される字幕文と映像とを見ることができ、ユーザは字幕付映像の内容の把握がより容易になる。

本実施形態によれば、ユーザによる操作に応じて、現在表示パネル５に表示されている字幕文と各字幕文に対応する映像とを、字幕管理データ１２１の内で１つ前又は後に位置する字幕文とその字幕文に対応する映像とに入れ替えて表示させ、字幕付映像の「１コマスクロール」を行う。これにより、ユーザは、現在表示中の映像に付与された再生タイミングよりも前に遡って映像を確認したり、表示中の映像の後に再生される映像を確認することができる。

本実施形態によれば、ユーザによる操作に応じて、現在表示中の字幕文及び各字幕文に対応する映像を、字幕管理データ１２１の内で所定タイミングだけ前又は後に再生される字幕文及びその字幕文に対応する映像に入れ替えて表示させ、字幕付映像の「ページめくり」を行う。これにより、ユーザは同時に多くの映像の内容を確認できると共に、「１コマスクロール」に比べて、より短い時間で字幕付映像の字幕文又は映像を見つけることができる。

本実施形態によれば、制御部１１は、字幕領域で表示できる文字の数より数の大きい字幕文がその字幕領域に割り当てられた場合、ユーザの操作に応答して、字幕領域のサイズを拡大し、字幕文が含む全文字を表示させる。これにより、ユーザは、現在確保されている字幕領域で表示できる文字数より多くの文字を含む字幕文でも、その字幕文の全文を一度に読むことができ、利便性が向上される。

また、本実施形態によれば、字幕領域のサイズを拡大したときに、他の各字幕領域又は各映像領域に重ならないように、サイズを拡大した字幕領域を配置する。これにより、ユーザは、字幕領域で表示できる文字の数より数の大きい字幕文の前後にある字幕文の表示と各字幕文に対応する映像の表示とを欠くことなく、サイズ拡張前に全文字を表示できなかった字幕文の全文を読むことができる。

本実施形態によれば、コンテンツの映像の形式（「横長映像」又は「通常映像」）に対応して、各映像を表示させる映像領域上で、映像を表示させる数を変更する。特に、表示対象の映像が「横長映像」である場合、「通常映像」が画面に同時に表示される数よりも多くの映像を表示させる。これにより、ユーザは、視聴するコンテンツの映像が「横長映像」であった場合、「通常映像」を含むコンテンツを視聴する場合に比べ、より多くの情報を取得できる。

本実施形態によれば、互いに異なる各コンテンツの映像が同時に表示されている場合でも、その内から現在ユーザにより映像が選択されているコンテンツについては、タイトル領域ＴＡにそのタイトルを表示させる。これにより、現在ユーザが選択中のコンテンツの映像を、他のコンテンツの映像から分別できると共に、他のコンテンツの映像を確認することができる。

また、本実施形態によれば、同時に表示パネル５に表示されている映像からユーザに映像が選択されたコンテンツを、字幕付映像で再生表示する。これにより、ユーザは選択した映像を含むコンテンツの内容を字幕表示により容易に把握できると共に、現在再生中のコンテンツと他のコンテンツとを分別できる。

本実施形態によれば、表示領域の中央部に配置された映像領域に、再生中のコンテンツの現在の再生場面の映像が表示される。このとき、映像の視認性を向上させるため、現在の再生場面の映像が表示されている映像領域は他の映像領域よりも大きくしている。これにより、映像の視認性が向上されると共に、拡大されている映像を含むコンテンツが選択されていることを認識し易くなる。

以下、本実施形態の変形について説明する。「長い字幕文」の全文を表示する場合、図１５（ｂ）に示す画面Ｄ４３の例のように、「長い字幕文」を表示している字幕領域以外の字幕領域ＭＡ１、ＭＡ３上には字幕文を非表示にするに限らず、表示させるようにしてもよい。

「複数のコンテンツの映像」が同時に表示されている場合、図２２（ａ）に示すタイトル付画面Ｄ７１のタイトル領域ＴＡには、現在再生中のコンテンツのタイトルだけを表示するに限らず、現在映像が表示されている他のコンテンツのタイトルも表示するようにしてもよい。

また、タイトル付画面Ｄ７１のタイトル領域ＴＡには、現在再生中のコンテンツのタイトルのみならず、そのコンテンツよりも所定数だけ前又は後にコンテンツリストデータ１２３に格納されているコンテンツのタイトルＴＬを示すリストを表示するようにしてもよい。

タイマが計時する所定時間は、ユーザにより任意に設定可能としてもよく、また、表示する字幕文に含まれる文字数が多くなるに伴って、制御部１１が所定時間を大きくするようにしてもよい。

「映像拡大表示モード」において、ユーザが操作部１３を操作することにより、図２４の画面Ｄ８において現在選択中の拡大表示を終了可能とし、図２２（ａ）の画面Ｄ７１の表示に戻るようにしても良い。

その他、本発明の概念は、専用のコンピュータシステムに限らず、例えば、コンテンツ録画再生機能を備える、ＰＤＡ、電子カメラ、電子腕時計、携帯型ＴＶ、カーナビゲーション装置、等の任意の携帯型電子装置に適用可能である。即ち、コンピュータを携帯電話１として機能・動作させるためのコンピュータプログラムを作成し、配布し、貸与し、これをコンピュータにインストールして、携帯電話１として、これを使用、譲渡、貸与などしてもよい。

本発明に係る携帯電話を開いた状態で正面から見たときの外観図である。 携帯電話の構成を示すブロック図である。 字幕管理データのデータ構造の一例を示す図である。 映像データのデータ構造の一例を示す図である。 ＴＶ信号から情報を抽出して、字幕管理データを生成する処理を示すフローチャートである。 ＴＶ信号から情報を抽出して、字幕管理データを生成する動作を説明するための図である。 表示パネルの表示領域全体を、字幕領域、映像領域、ソフトキー領域、ピクト領域、に分割したときの配置例を示す図である。 ３コマ表示モードにおける画面の一例を示す図である。 字幕文の表示時刻に対応する映像を抽出する処理を示すフローチャートである。 （ａ）は、３コマ表示モードにおいて、１コマ下スクロールをする前の画面を示す図である。（ｂ）は、３コマ表示モードにおいて、１コマ下スクロールした後の画面を示す図である。 １コマスクロールの処理を示す図である。 （ａ）は、３コマ表示モードにおいて、ページ戻しをしたときの画面の例を示す図である。（ｂ）は、３コマ表示モードにおいて、ページ送りをしたときの画面の例を示す図である。 ページめくりの処理を示す図である。 字幕領域の表示可能文字数よりも文字数の多い字幕文の全文を表示する前の画面の一例を示す図である。 （ａ）は、字幕領域の表示可能文字数よりも文字数の多い字幕文の全文を表示した後の画面の第１の例を示す図である。（ｂ）は、字幕領域の表示可能文字数よりも文字数の多い字幕文の全文を表示した後の画面の第２の例を示す図である。 字幕領域を拡大する処理を示すフローチャートである。 （ａ）は、通常映像を「３コマ表示モード」で表示したときの画面の例を示す図である。（ｂ）は、横長映像を「４コマ表示モード」で表示したときの画面の例を示す図である。 映像の形式（横長映像又は通常映像）に対応して、「４コマ表示モード」又は「３コマ表示モード」の画面を設定する処理を示す図である。 「横長表示モード」の画面構成の一例を示す図である。 「横長表示モード」の画面を設定する処理を示す図である。 コンテンツリストデータのデータ構造の一例を示す図である。 （ａ）は、複数のコンテンツの各映像が同時に表示されているときのタイトル付画面の第１の例を示す図である。（ｂ）は、（ａ）のタイトル付画面の表示中に、再生するコンテンツが変更されたときのタイトル付画面を示す図である。 「タイトル付表示モード」において、再生する字幕付映像の変更に伴い、そのタイトルを変更するための処理を示す図である。 「映像拡大表示モード」の画面の一例を示す図である。 「映像拡大表示モード」の動作を示すフローチャートである。

符号の説明

１…携帯電話、２…キーボード、３…カーソルキー、４…表示切替ボタン、５…表示パネル、６…通話用マイク、７…通話用スピーカ、８…スピーカ、１１…制御部、１２…記憶部、１３…操作部、１４…表示部、１５…チューナ、１６…デコード部、１７…音声出力部、１８…音声入力部、１９…通信部、２０…バス、１２１…字幕管理データ、１２２…映像データ、１２３…コンテンツリストデータ
ＰＡ…ピクト領域、ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４，ＲＡ５，ＲＡ６…映像領域、ＭＡ１，ＭＡ２，ＭＡ３，ＭＡ４…字幕領域、ＦＡ…ソフトキー領域、ＴＡ…タイトル領域、ＳＧ…テレビジョン信号
Ｄ１…３コマ表示モードの画面、Ｄ２１…１コマ下スクロール前の画面、Ｄ２２…１コマ下スクロール後の画面、Ｄ３１…ページ送り前の画面、Ｄ３２…ページ送り後の画面、Ｄ４１…「長い字幕文」の全文表示前の画面、Ｄ４２…「長い字幕文」の全文表示後の第１の画面、Ｄ４３…「長い字幕文」の全文表示後の第２の画面、Ｄ５１…３コマ表示モードにおける通常映像を表示した画面、Ｄ５２…４コマ表示モードにおける横長映像を表示した画面、Ｄ６…「横長表示モード」の画面、Ｄ７１…第１のタイトル付画面、Ｄ７２…第２のタイトル付画面、Ｄ８…「映像拡大表示モード」の画面

Claims (13)

1. 複数の字幕文を定義する字幕信号と、複数の映像を定義する映像信号とを、再生タイミングを対応付けて記憶する字幕映像記憶手段と、
   前記字幕映像記憶手段が記憶する字幕信号が定義する複数の字幕文から少なくとも２以上の字幕文を再生する字幕再生手段と、
   前記字幕映像記憶手段が記憶する映像信号が定義する映像から、前記字幕再生手段が再生した各字幕文に付与された再生タイミングに対応する再生タイミングが付与された映像を抽出する映像抽出手段と、
   前記映像抽出手段が抽出した映像を再生し、表示する映像再生表示手段と、
   を備えることを特徴とする字幕付映像再生端末装置。
2. 前記字幕再生手段は、
   再生中の各字幕文の再生タイミングよりも所定のタイミングだけ前の再生タイミング、又は、所定のタイミングだけ後の再生タイミング、が付与された字幕文を再生するよう指示する字幕再生指示手段と、
   再生中の各字幕文に代えて、前記字幕再生指示手段によって指示された各字幕文を表示する字幕表示入替手段と、を更に備え、
   前記映像再生表示手段は、
   前記字幕表示入替手段が表示する各字幕文が変わる毎に、新たに表示された各字幕文の再生タイミングに対応する各映像を表示させる、ことを特徴とする請求項１に記載の字幕付映像再生端末装置。
3. 前記字幕再生指示手段は、再生中の各字幕文に付与された再生タイミングよりも１つ前の再生タイミング、又は、１つ後の再生タイミング、が付与された各字幕文を再生するよう指示する、ことを特徴とする請求項２に記載の字幕付映像再生端末装置。
4. データを表示する表示領域を有する表示手段と、
   前記表示領域上に該各字幕文を表示するための各字幕領域と、前記表示領域上に表示される各字幕文の再生タイミングに対応する各映像を表示するための映像領域とを、前記表示領域上に確保する領域確保手段と、を備える、ことを特徴とする請求項１乃至３のいずれか１項に記載の字幕付映像再生端末装置。
5. 前記領域確保手段は、
   再生中の各字幕文に含まれる文字の数を判別する再生文字数判別手段と、
   前記再生文字数判別手段が判別した数の文字を表示できるように、該各字幕領域のサイズを求める字幕領域サイズ特定手段と、を備え、
   前記字幕領域サイズ特定手段が求めたサイズの各字幕領域を、前記表示領域から確保する、ことを特徴とする請求項４に記載の字幕付映像再生端末装置。
6. 前記領域確保手段は、
   前記各字幕領域上で各字幕文を表示できる文字の数を判別する表示文字数判別手段と、
   前記再生文字数判別手段が判別した数が、前記表示文字数判別手段が判別した数よりも大きいか否かを判別する文字数大小判別手段と、
   前記文字数大小判別手段が前記再生文字数判別手段で判別した数の方が大きいと判別した場合に、ユーザの操作に応答して、字幕領域サイズ特定手段に該各字幕領域のサイズを求めるよう指示するサイズ特定指示手段と、を更に備える、ことを特徴とする請求項５に記載の字幕付映像再生端末装置。
7. 前記領域確保手段は、
   前記各字幕領域と前記各映像領域とが重ならないように、各字幕領域を確保する、ことを特徴とする請求項５又は６に記載の字幕付映像再生端末装置。
8. 前記領域確保手段は、
   前記各字幕領域上に各字幕文の全文が表示されていないことをユーザに通知する通知手段、を備え、
   前記字幕領域の確保を完了するまでの間、ユーザ通知を行う、ことを特徴とする請求項５乃至７のいずれか１項に記載の字幕付映像再生端末装置。
9. 前記領域確保手段は、
   前記映像信号が定義する各映像のサイズを判別する映像サイズ判別手段と、
   前記映像サイズ判別手段が判別した各映像のサイズに基づいて、該各映像を表示する各映像領域の数を決定する映像領域数決定手段と、を備え、
   前記映像領域数決定手段が決定した数の各映像領域と、該各映像領域と同数の各字幕領域と、を前記表示領域上から確保する、ことを特徴とする請求項４乃至８のいずれか１項に記載の字幕付映像再生端末装置。
10. 前記字幕映像記憶手段は、
    前記表示領域において各字幕文が表示される方向と、前記各字幕領域を確保する数及び位置と、を対応付けて記憶して、
    前記領域確保手段は、
    前記表示領域において各字幕文が表示される方向、を判別する字幕方向判別手段と、
    前記字幕方向判別手段が判別した方向に対応する前記各字幕領域を確保する数及び位置を、前記字幕映像記憶手段から読み出す字幕領域数位置読出手段と、
    前記映像領域において各映像が表示される方向、を判別する映像方向判別手段と、を備え、
    前記字幕領域数位置読出手段が読み出した数及び位置に従って、各字幕領域を確保し、
    前記確保した各字幕領域の数と同数で、かつ、前記字幕方向判別手段が判別した各字幕文が表示される方向と該各字幕文に対応する映像が表示される方向とが一致するように、各映像領域を確保する、ことを特徴とする請求項４乃至９のいずれか１項に記載の字幕付映像再生端末装置。
11. 前記字幕映像記憶手段は、
    複数のコンテンツのリストと、前記各コンテンツに含まれる字幕信号及び映像信号と、を記憶して、
    前記字幕再生手段は、
    前記リストから、再生候補となる複数のコンテンツを選択する再生候補選択手段と、
    前記再生候補選択手段が選択した再生候補の各コンテンツから、再生するコンテンツを選択する再生コンテンツ選択手段と、を備え、
    前記再生コンテンツ選択手段が選択したコンテンツに含まれる字幕信号が定義する複数の字幕文を再生して、
    前記映像再生表示手段は、
    前記再生候補の各コンテンツの内で前記再生コンテンツ選択手段に選択されなかった各コンテンツの各映像を表示する、ことを特徴とする請求項４乃至１０のいずれか１項に記載の字幕付映像再生端末装置。
12. 前記領域確保手段は、
    各映像を表示中の各映像領域のサイズを拡大する拡大手段、を備え、
    前記拡大手段が拡大したサイズの映像領域を確保して、
    前記字幕再生手段は、前記拡大手段が拡大した映像領域に表示されている映像の再生タイミングに対応する字幕文を再生する、ことを特徴とする請求項１１に記載の字幕付映像再生端末装置。
13. コンピュータに、
    複数の字幕文を定義する字幕信号と、複数の映像を定義する映像信号とを、再生タイミングを対応付けて記憶部に記憶させ、
    前記記憶部に記憶させた字幕信号が定義する複数の字幕文から少なくとも２以上の字幕文を読み出させて、再生させ、
    前記記憶部に記憶させた映像信号の内から、前記再生させた各字幕文の再生タイミングに対応する再生タイミングが付与された各映像信号を検出させ、
    前記検出させた各映像信号が定義する各映像を再生させ、表示部に表示させる、
    ためのプログラム。
    

Images