JP2009171015A - 字幕付映像再生装置及びプログラム - Google Patents

Abstract

【課題】字幕文の言語を切り替えても、切り替える前の字幕文の内容と切り替えた後の字幕文の内容とが食い違うことのない字幕付映像再生装置を提供する。
【解決手段】制御部２３は、操作部２２からの字幕文の言語を切り替える旨の操作情報を取得すると、現在選択中の字幕文の再生開始時間を取得する。そして、切り替え後の字幕文の各字幕文の再生開始時間を取得し、現在選択中の字幕文の再生開始時間との差が最も小さい再生開始時間を判別する。制御部２３は、判別した再生開始時間に対応する言語切り替え後の字幕文を選択し、表示部２１に表示する。
【選択図】図２

Description

本発明は、字幕付映像を再生する字幕付映像再生装置及びプログラムに関する。

従来、字幕文を表示時刻が付与された状態でストリームから抽出し、ユーザが字幕文を選択したときに、その字幕文とその字幕文の表示時刻に対応する映像とを合成して表示する字幕付映像再生装置がある（例えば、特許文献１参照）。
特開２００３−１８４９１号公報（第３頁、図１）

従来の字幕付映像再生装置では、複数の言語の字幕文を再生する場合、番組の再生開始からの経過時間が所定の時間に達したときに字幕文が切り替わるので、言語を切り替える前の字幕文の内容と切り替えた後の字幕文の内容とが食い違ってしまうことがある。

例えば、日本語の字幕文と英語の字幕文とを再生する従来の字幕付映像再生装置は、次のような動作をする。前提として、日本語の字幕文では、番組の再生開始（経過時間0）から経過時間Tj1まで「おはよう。」が再生され、経過時間Tj1からTj2まで「こんにちは。」が再生されるとする。また、英語の字幕文では、経過時間0からTe1まで「Good Morning.」が再生され、経過時間Te1からTe2まで「Hello.」が再生されるとする。さらに、Tj1＜Te1＜Tj2であるとする。

この場合、経過時間T（Tj1＜T＜Te1）に対応する日本語の字幕文は「こんにちは。」であり、英語の字幕文は「Good Morning.」である。したがって、経過時間Tにおいて、字幕文の言語を日本語から英語に切り替えると、字幕文は「こんにちは。」から「Good Morning.」に切り替わる。

このように、従来の字幕付映像再生装置では、字幕文の言語を切り替えたときに、切り替える前の字幕文の内容と切り替えた後の字幕文の内容とが食い違ってしまうことがある。

本発明は、上記実情に鑑みてなされたものであり、字幕文の言語を切り替えても、切り替える前の字幕文の内容と切り替えた後の字幕文の内容とが食い違うことのない字幕付映像再生装置を提供することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る字幕付映像再生装置は、
複数の映像と、
第１の言語から構成される複数の第１の字幕文と、
第２の言語から構成される複数の第２の字幕文と、
各第１の字幕文の再生を開始する再生開始時間を示す複数の第１の時間情報と、
各第２の字幕文の再生を開始する再生開始時間を示す複数の第２の時間情報と、
前記複数の映像と複数の第１の字幕文と複数の第２の字幕文とを、その再生順番に基づいて、互いに対応付けて記憶し、前記複数の第１の字幕文と複数の第１の時間情報と、及び、前記複数の第２の字幕文と複数の第２の時間情報と、を互いに対応付けて記憶する記憶手段と、
前記記憶手段に記憶されている複数の字幕文からいずれかの字幕文を選択する字幕文選択手段と、
前記字幕文選択手段が選択した字幕文から、前記再生順番に従って、字幕文を順次再生する字幕文再生手段と、
前記字幕文再生手段によって再生されている字幕文に対応する映像を再生する映像再生手段と、
前記字幕文選択手段が選択した字幕文を構成する言語を切り替える切替手段と、
前記切替手段が言語を切り替えたときに、前記字幕文選択手段に選択された字幕文に対応する第１の再生開始時間と前記切替手段が切り替えた言語から構成される複数の字幕文に対応する複数の第２の再生開始時間とを判別し、前記第１の再生開始時間と複数の第２の再生開始時間とに基づいて、所定の字幕文を選択するように前記字幕文選択手段を制御する制御手段と、を備えることを特徴とする。

例えば、前記制御手段は、前記複数の第２の再生開始時間のうち前記第１の再生開始時間との差が最も小さい第２の再生開始時間を判別し、判別した第２の再生開始時間に対応する字幕文を選択するように前記字幕文選択手段を制御してもよい。

例えば、前記制御手段は、前記複数の第２の再生開始時間のうち前記第１の再生開始時間との差が最も小さい第２の再生開始時間を判別し、前記第１の再生開始時間と判別した第２の再生開始時間との差が所定の時間より小さいと判別したときに、前記第２の再生開始時間に対応する字幕文を選択するように前記字幕文選択手段を制御してもよい。

例えば、前記制御手段は、前記切替手段が言語を切り替えたときに、前記字幕文再生手段が再生している字幕文を特定する識別子を設定し、該識別子を記憶し、再び前記切替手段が言語を切り替えたときに、該識別子によって特定される字幕文を選択するように前記字幕文選択手段を制御してもよい。

上記目的を達成するために、本発明の第２の観点に係るプログラムは、
コンピュータに、
複数の映像と複数の第１の字幕文と複数の第２の字幕文とを、その再生順番に基づいて、互いに対応付けて記憶し、前記複数の第１の字幕文と各第１の字幕文の再生を開始する再生開始時間を示す複数の第１の時間情報と、及び、前記複数の第２の字幕文と各第２の字幕文の再生を開始する再生開始時間を示す複数の第２の時間情報と、を互いに対応付けて記憶する記憶ステップ、
前記記憶ステップで記憶した複数の字幕文からいずれかの字幕文を選択する字幕文選択ステップ、
前記字幕文選択ステップで選択した字幕文から、前記再生順番に従って、字幕文を順次再生する字幕文再生ステップ、
前記字幕文再生ステップで再生されている字幕文に対応する映像を再生する映像再生ステップ、
前記字幕文選択ステップで選択した字幕文を構成する言語を切り替える切替ステップ、
前記切替ステップで言語を切り替えたときに、前記字幕文選択ステップで選択された字幕文に対応する第１の再生開始時間と前記切替ステップで切り替えた言語から構成される複数の字幕文に対応する複数の第２の再生開始時間とを判別し、前記第１の再生開始時間と前記複数の第２の再生開始時間とに基づいて所定の字幕文を選択するように制御する制御ステップ、を実行させることを特徴とする。

本発明によれば、言語を切り替える前の字幕文の内容と切り替えた後の字幕文の内容とが食い違うことのない字幕付映像再生装置を提供することができる。

（実施形態１）
以下、本発明の実施形態に係る字幕付映像再生装置について、図面を参照して説明する。尚、本実施形態では、字幕付映像再生装置を携帯電話として説明する。
本実施形態に係る携帯電話の外観を図１に示す。
携帯電話１は、例えば、上側筐体１ａと下側筐体１ｂとに分かれた折り畳み型のものである。

本実施形態に係る携帯電話１の構成を図２に示す。
本実施形態に係る携帯電話１は、アンテナ１１と、通信部１２と、音声マイク１３と、音声スピーカ１４と、アンテナ１５と、チューナ１６と、デコード部１７と、記憶部１８と、ＤＡＣ１９と、スピーカ２０と、表示部２１と、操作部２２と、制御部２３と、バス２４と、を備える。

この携帯電話１は、字幕文と映像とを表示するとともに、字幕リストの表示が可能なものであり、字幕リストで選択された字幕文に基づいて映像を選択できるように構成されている。

バス２４は、各部間で相互にデータを伝送するものである。制御部２３と、記憶部１８と、ＤＡＣ１９と、表示部２１とは、バス２４を介して接続される。

アンテナ１１は、基地局（図示せず）との間で通話音声、各種のデータ等の電波信号を送受信するものであり、図１に示すように、携帯電話１の上側筐体１ａの上部に設けられる。

通信部１２は、アンテナ１１が送受信する電波信号の信号処理を行うものである。
音声マイク１３は、図１に示すように下側筐体１ｂに設けられ、通話時等に、音声を収集して音声信号に変換するものであり、変換した音声信号を通信部１２に供給する。

音声スピーカ１４は、図１に示すように上側筐体１ａに設けられ、通話時等において、音声信号に基づいて音声を出力するものである。

アンテナ１５は、ワンセグ放送の放送信号の電波信号を受信するものであり、携帯電話１に内蔵される。このワンセグ放送の放送信号は、放送番組のコンテンツデータとして映像データと音声データと字幕データとを含んでいる。字幕データは、複数の言語の字幕文（例えば日本語の字幕文と英語の字幕文）を表示するためのデータである。尚、アンテナ１５が受信する電波信号は、例えば、ワンセグ放送におけるデータ転送方式に則った形式である。

チューナ１６とデコード部１７とは、アンテナ１５が受信した放送信号を解析して映像データと音声データと字幕データとを取得するものである。チューナ１６は、アンテナ１５が受信した電波信号から、ワンセグ放送の信号を復調するものであり、復調後の復調信号をデコード部１７に供給する。

デコード部１７は、供給された復調信号の復号を行い、図３（ａ）に示すようなＴＳ（Transport Stream、トランスポートストリーム）を生成する。

ＴＳは、ＴＳＰ（Transport Stream Packet、トランスポートストリームパケット）が多重化されたストリームであり、ＴＳＰには、映像データ用の映像パケットＶ、音声データ用の音声パケットＡ、字幕用の字幕パケットＣがある。

各ＴＳＰは、図３（ｂ）に示すように、ＴＳヘッダとペイロードとからなる。ＴＳヘッダは、ＴＳＰの開始を示すデータ、パケット識別子等を格納する領域である。

ペイロードは、データを格納する領域であり、図３（ｃ）に示すようなＰＥＳ（Packetized Elementary Stream）パケットが分割されて格納される。ＰＥＳは、この各ペイロードに格納されたデータから構成される。

ＰＥＳは、ＰＥＳヘッダとＰＥＳペイロードとから構成される。ＰＥＳヘッダは、ＰＥＳの始まりを示すデータ、パケット識別子、パケット長等のデータが格納される領域である。ＰＥＳペイロードは、ＥＳ（Elementary Stream）が分割されて格納される領域であり、映像データ、音声データ、字幕データは、圧縮符号化されてＰＥＳペイロードに格納される。

デコード部１７は、ＴＳヘッダに格納された情報に基づいて、ＴＳから映像パケットＶ、音声パケットＡ、字幕パケットＣを分離し、各ＴＳＰのペイロードからＰＥＳを取り出す。

さらに、デコード部１７は、ＰＥＳヘッダに格納されているデータに基づいて、図３（ｃ）に示すような、映像データを含むビデオＰＥＳと、音声データを含む音声ＰＥＳと、字幕データを含む字幕ＰＥＳとを生成する。

尚、ＴＳＰは固定長であり、ＰＥＳは、可変長である。このため、ＴＳＰには、ＴＳＰの長さを一定長とするためのアダプテーションフィールドが含まれる場合がある。

字幕ＰＥＳは、図４（ａ）に示すように、ＰＥＳヘッダとＰＥＳペイロードとから構成される。

各言語の字幕文データは、図４（ｂ）に示すように、データ・グループとして格納され、データ・グループ・ヘッダとデータ・グループ・データとＣＲＣ（Cyclic Redundancy Check）コードとから構成される。データ・グループ・ヘッダには、言語の種類を識別するパラメータやデータ・グループ・データの大きさを示すパラメータが格納されている。

特に、言語の種類を識別するパラメータであるdata_group_idは、0x01等と表記される。data_group_idが0x01であれば字幕言語数は１つである。data_group_idが0x21か0x22であれば字幕言語数が２であり、0x21であれば第１言語の字幕文、0x22であれば第２言語の字幕文であることを示す。

字幕文を管理する際に参照する字幕管理データは、図４（ｃ）に示すように、時刻制御モード（TMD）、言語数（num_language）、言語識別（language_tag）等を示すデータが格納されている。ワンセグ放送のデータに含まれる言語数は、１ＥＳ当たり最大２である。したがって、言語数（num_language）は１又は２であり、言語識別（language_tag）は０（第１言語）又は１（第２言語）である。

そして、データ・グループ・データには、字幕データとして図４（ｄ）に示すように、字幕文の本文を示すデータ等が格納されている。

図５に、表示部２１に表示される映像、字幕のＴＶ信号ＳＧの例を示す。携帯電話１は、コンテンツ録画データを、このＴＶ信号ＳＧの形式に変換し、さらに、表示可能な映像データに変換して映像を再生する。

ワンセグ放送におけるデータは予測符号化方式に則ったデータであり、ビデオＰＥＳは、ＩＤＲ（Instantaneous Decoder Refresh）フレームと、Ｐフレームとを含む。

図５において、Id_1，Id_2，Id_3，Id_qは、ＩＤＲフレームを示し、P11，P12，P21，P22，Pq1はＰフレームを示す。

ＩＤＲフレームId_1〜Id_qは、他の映像フレームを参照しないフレームであり、独立映像パケットＶＩに対応する。ＰフレームP11〜Pq1は、自己の再生タイミングよりも先に再生されるＩＤＲフレームId_1〜Id_qを参照するフレームであり、参照映像パケットＶＰに対応する。

ビデオＰＥＳのＰＥＳヘッダには、再生タイミングTfが格納される。再生タイミングTfは、構築されるＴＶ信号ＳＧの先頭の映像の再生時刻を示すデータである。また、ＴＳＰヘッダには、ＩＤＲフレームId_1〜Id_qの表示時刻を示すシークポイントTRが含まれている。

図５において、TR1，TR2，TR3，TRqは、それぞれ、再生タイミングTfからＩＤＲフレームId_1，Id_2，Id_3，Id_qの経過時間を示す。

字幕ＰＥＳのＰＥＳペイロードには、圧縮符号化された字幕（データ）M1〜Mp（ｐ：整数）が格納される。字幕文M1〜Mpは、映像に付加される字幕の内容を示すデータである。

字幕ＰＥＳの各ＰＥＳヘッダには、再生開始時間T1〜Tpと制御符号CS1〜CSpとが含まれる。

再生開始時間T1〜Tpは、それぞれ、字幕文M1〜Mpを表示するタイミングを表す時刻情報である。制御符号CS1〜CSpは、それぞれ、字幕文M1〜Mpの区切りを示す情報であり、字幕文M1〜Mpの表示を切り替えるタイミングを示す。

図３（ｂ）に示すＴＳヘッダには、ＰＣＲ（Program Clock Reference）と呼ばれる基準時間情報が格納される。ＰＥＳヘッダには、ＰＴＳ（Presentation Time Stamp）が格納される。このＰＴＳは、そのＰＥＳ内のＥＳ（Elementary Stream）を再生する時間を示す時間情報であり、９０ｋＨｚのクロック周波数に基づいて表される。

携帯電話１は、ＰＣＲを受信した瞬間の時刻をＰＣＲ値で示された時刻と解釈し、携帯電話１のＳＴＣ（System Time Clock；基準時刻）をＰＣＲに同期させる。これにより、すべての受信機（携帯電話１）の時刻が同期する。

尚、再生タイミングTf、再生開始時間T1〜Tp、経過時間TR1〜TRqは、ＰＴＳ単位のデータで格納される。

デコード部１７は、復号したビデオＰＥＳ、音声ＰＥＳ、字幕ＰＥＳとともに、ＴＳヘッダ、ＰＥＳヘッダの情報を制御部２３に供給する。

記憶部１８は、各種データを記憶するものであり、フラッシュメモリなどの不揮発性メモリ、ＲＡＭ（Random Access Memory）等による内部メモリ、外部記録メディアによって構成される。

記憶部１８には、図６に示すように、コンテンツ録画データ記憶領域１８１と、字幕管理データ記憶領域１８２と、シークポイント管理情報記憶領域１８３と、表示データ記憶領域１８４と、が設けられる。

コンテンツ録画データ記憶領域１８１は、データとして、デコード部１７が解析したビデオＰＥＳ、音声ＰＥＳ、字幕ＰＥＳを記憶する領域である。

字幕管理データ記憶領域１８２は、図７に示すような字幕管理データを記憶する領域である。字幕管理データは、「再生開始時間T1-i」（i＝１〜N）と「字幕文M1-i」とを対応付けるテーブルデータであり、制御部２３によって生成される。

「再生開始時間T1-i」は、字幕文M1-iが表示される時刻を示す。本実施形態では、再生開始時間T1-iを、つまり、字幕文Mを表示する基準を、コンテンツ録画データの再生開始時（ＴＶ信号の先頭の映像の再生時刻）の再生タイミングTfとするオフセット時刻とする。

受信したワンセグ放送の信号に２つの言語の字幕文データが含まれている場合、記憶部１８の字幕管理データ記憶領域１８２には、図７に示すような第１言語用字幕管理データ１８２１と第２言語用字幕管理データ１８２２とが格納される。

シークポイント管理情報記憶領域１８３は、シークポイント管理情報を記憶する領域である。シークポイント管理情報は、図８に示すように、シークポイントTRj（j＝1〜q）と、映像位置PRjと、を対応付けるテーブルデータであり、制御部２３によって生成される。

「シークポイントTRj」は、各映像フレームが表示される時刻を示し、ＰＴＳ単位で表される。「映像位置PRj」は、コンテンツ録画データにおける映像フレームの位置を示すデータである。ワンセグ放送の場合、「映像位置PRj」は、通常、ＩＤＲフレームの先頭を含むＴＳＰの番号となる。

表示データ記憶領域１８４は、表示部２１が表示する映像、字幕等の各データが格納される領域である。

また、記憶部１８は、制御部２３の動作制御用プログラムのデータを記憶するとともに、制御部２３のワークメモリとしても機能する。

ＤＡＣ１９は、制御部２３からのディジタルオーディオ信号（音声データ）をアナログオーディオ信号に変換するものであり、変換したアナログオーディオ信号をスピーカ２０に供給する。

スピーカ２０は、ＤＡＣ１９から供給されたアナログオーディオ信号に基づいて音声を出力するものであり、図１に示すように上側筐体１ａに設けられる。

表示部２１は、図１に示すドットマトリクスタイプのＬＣＤ（Liquid Crystal Display）３１とドライバ回路（図示せず）等から構成されて、映像とともに再生した字幕をＬＣＤ３１に表示するものである。ＬＣＤ３１は、上側筐体１ａに設けられる。

表示部２１は、制御部２３の制御下にて、記憶部１８の表示データ記憶領域１８４からデータを読み出し、読み出したデータに基づいて映像とともに再生した字幕をＬＣＤ３１に表示する。

携帯電話１は、「字幕リスト付視聴モード」と「通常視聴モード」との２つのモードを有しており、表示部２１は、モードに応じた画面をＬＣＤ３１に表示する。

「字幕リスト付視聴モード」は、映像に対応した字幕を表示するとともに字幕リストを表示して字幕リストから映像の選択を可能とするモードである。「通常視聴モード」は、字幕リストを表示することなく字幕と映像とを表示するモードである。

「字幕リスト付視聴モード」が選択された場合、表示部２１は、ＬＣＤ３１に、図９（ａ）に示すような画面Ｄ１を表示する。

この「字幕リスト付視聴モード」の画面において、映像領域ＲＡは、映像を表示する領域である。表示部２１は、この映像領域ＲＡに、字幕リストから選択中の字幕の再生タイミングに対応した再生タイミングの映像を表示する。

字幕領域ＭＡは、字幕を表示する領域である。表示部２１は、この字幕領域ＭＡに、字幕リストからユーザが選択した字幕文を表示する。

字幕リスト領域ＬＡは、複数の字幕文をリスト形式に並べたものを表示する領域である。表示部２１は、この字幕リスト領域ＬＡに、例えば、５個の字幕リスト枝領域ＬＡ１〜ＬＡ５を表示する。

ソフトキー領域ＦＡは、ソフトキーSoft1，Soft2を表示する領域である。ソフトキーSoft1は、現在のモードが「字幕リスト付視聴モード」であることを示すために用いられる。ソフトキーSoft2は、現在のモードが「通常視聴モード」であることを示すために用いられる。ソフトキーSoft1，Soft2は、キーボード３２を操作することによって選択される。

ピクト領域ＰＡは、携帯電話１の動作情報を表示する領域である。表示部２１は、このピクト領域ＰＡに、携帯電話１の電波の受信状況やバッテリの残量、現在日時等を表示する。

「通常視聴モード」は、字幕リストを表示することなく、映像とともに再生した字幕を表示するモードである。「通常視聴モード」が選択された場合、表示部２１は、ＬＣＤ３１に、図９（ｂ）に示すような字幕リスト領域ＬＡを空欄とした画面Ｄ２を表示する。

また、図９（ａ）の字幕リスト付視聴モードにおいて、言語を切り替える操作が行われると、図９（ｃ）に示すように、字幕文の言語が切り替わる。

操作部２２は、例えば、テレビジョン放送の受信の開始・終了の指示や、ユーザがテレビ番組を録画するときのコンテンツの録画の開始・終了の指示、ユーザ認証時のパスワードの入力等といったユーザによる入力を受け付けるものである。
操作部２２は、図１に示すようなキーボード３２を備える。このキーボード３２は、電源スイッチ、カーソルキー３３、テンキー等からなり、携帯電話１の電源のオン、オフ、モードの切り替え、数字、文字、記号の入力、メニューの選択、ワンセグ放送の受信に用いられる。
また、操作部２２は、表示されている字幕文の言語を切り替える「言語切り替えキー」も備える。

カーソルキー３３は、画面上に表示されたカーソルをスクロールさせ、字幕リストから任意の字幕文を選択するためのキーである。

制御部２３は、マイクロプロセッサユニット等から構成され、記憶部１８に格納された動作制御プログラムデータに従って、携帯電話１全体の動作を制御する。

制御部２３は、操作部２２から供給された操作情報に基づいて、携帯電話１の動作を制御する。

次に本実施形態に係る携帯電話１の動作を説明する。
制御部２３は、操作部２２から、キーボード３２の電源スイッチが押下された旨の操作情報が供給される毎に、携帯電話１の電源をオン、オフする。

制御部２３は、操作部２２から、ワンセグ放送の放送信号を受信するメニューを選択する操作情報が供給されると、アンテナ１５、チューナ１６、デコード部１７を制御してワンセグ放送の受信を開始する。

アンテナ１５は、ワンセグ放送の電波信号を受信し、チューナ１６は、アンテナ１５が受信した電波信号から、ワンセグ放送の信号を復調し、復調後の復調信号をデコード部１７に供給する。

供給されたコンテンツデータに含まれている映像データ、音声データ、字幕データを分離するとともに、これらのデータを復号し、復号したビデオＰＥＳ、音声ＰＥＳ、字幕ＰＥＳを制御部２３に供給する。

制御部２３は、操作部２２から、ワンセグ放送のコンテンツを録画するメニューが選択された旨の操作情報が供給されると、ワンセグ放送を録画する。

即ち、制御部２３は、デコード部１７から供給されたビデオＰＥＳ、音声ＰＥＳ、字幕ＰＥＳを、記憶部１８のコンテンツ録画データ記憶領域１８１に格納する。

制御部２３は、ビデオＰＥＳ、音声ＰＥＳ、字幕ＰＥＳをコンテンツ録画データ記憶領域１８１に格納すると、字幕管理データ生成処理のプログラムデータを読み出し、図１０に示すフローチャートに従い、この字幕管理データ生成処理を実行する。

まず、字幕文が１つの言語で表記されている場合の字幕管理データ生成処理について説明する。

制御部２３は、字幕ＰＥＳの取得が可能か否かを判定する（ステップＳ１１）。

字幕ＰＥＳを取得できないと判定した場合（ステップＳ１１：Ｎｏ）、制御部２３は、この字幕管理データ生成処理を終了する。

字幕ＰＥＳが取得可能であると判定した場合（ステップＳ１１：Ｙｅｓ）、制御部２３は、字幕文が存在するか否かを判定する（ステップＳ１２）。

字幕文Miが存在しないと判定した場合（ステップＳ１２：Ｎｏ）、制御部２３は、再度、字幕ＰＥＳの取得が可能か否かを判定する（ステップＳ１１）。

字幕文Miが存在すると判定した場合（ステップＳ１２：Ｙｅｓ）、制御部２３は、取得した字幕ＰＥＳを解析し、字幕ＰＥＳのＰＥＳヘッダに格納されているＰＴＳから再生タイミングTfを減じ、先頭映像からの経過時間を取得する（ステップＳ１３）。

制御部２３は、求めたＰＴＳ単位の経過時間を時分秒単位の経過時間に換算し（ステップＳ１４）、換算した経過時間を再生開始時間Tiとして、この再生開始時間Tiを、記憶部１８の字幕管理データ記憶領域１８２の字幕管理データに登録する（ステップＳ１５）。

制御部２３は、字幕ＰＥＳに含まれている制御符号CSでデータを区切り、制御符号CSの直前の字幕文Miを取得する。制御部２３は、取得した字幕文Miを、記憶部１８の字幕管理データ記憶領域１８２の字幕管理データに登録する（ステップＳ１６）。

制御部２３は、この字幕文Miが最後のデータか否かを判定する（ステップＳ１７）。制御部２３は、制御符号CSがあれば、この字幕文Miが最後のデータではないと判定し、制御符号CSがなければ、この字幕文Miが最後のデータと判定する。

この字幕文Miが最後のデータではないと判定した場合（ステップＳ１７：Ｎｏ）、制御部２３は、再度、ステップＳ１１〜１６を実行する。

この字幕文Miが最後のデータと判定した場合（ステップＳ１７：Ｙｅｓ）、制御部２３は、この字幕管理データ生成処理を終了させる。

次に、字幕文が２つの言語（第１言語と第２言語と）で表記されている場合の字幕管理データ生成処理について、図１１に示すフローチャートを参照して説明する。

制御部２３は、まず、図１０のフローチャートのステップＳ１１〜ステップＳ１４までの処理を実行する。

次に、制御部２３は、ステップＳ１４で経過時間を換算した字幕文が第１言語用の字幕か否かを判別する（ステップＳ２１）。ここで、制御部２３は、data_group_idを参照して、字幕文が第１言語で表記されているのか否かを判別する。制御部２３は、data_group_idが0x21の場合、第１言語と判別し、0x22の場合、第２言語と判別する。

字幕が第１言語用の字幕であると判別した場合（ステップＳ２１：Ｙｅｓ）、制御部２３は、換算した経過時間を再生開始時間T1-iとして、この再生開始時間T1-iを、記憶部１８の字幕管理データ記憶領域１８２の第１言語用字幕管理データ１８２１に登録する（ステップＳ２２）。

制御部２３は、字幕ＰＥＳに含まれている制御符号CSでデータを区切り、制御符号CSの直前の字幕文M1-iを取得する。制御部２３は、取得した字幕文M1-iを、記憶部１８の字幕管理データ記憶領域１８２の第１言語用字幕管理データ１８２１に登録する（ステップＳ２３）。

制御部２３は、この字幕文M1-iが最後のデータか否かを判定する（ステップＳ１７）。制御部２３は、制御符号CSがあれば、この字幕文M1-iが最後のデータではないと判定し、制御符号CSがなければ、この字幕文M1-iが最後のデータと判定する。

第１言語用字幕管理データ１８２１を生成すると、制御部２３は、第２言語用字幕管理データ１８２２の生成を開始する（ステップＳ１７：Ｎｏ）。

制御部２３は第１言語用字幕管理データを生成する場合と同様に、図１０のフローチャートのステップＳ１１〜ステップＳ１４までの処理を実行する。

次に、制御部２３は、ステップＳ１４で経過時間を換算した字幕文が第１言語用の字幕か否かを判別する（ステップＳ２１）。第１言語用字幕管理データ１８２１は既に生成されているので、制御部２１は、第１言語用の字幕ではないと判別する（ステップＳ２１：Ｎｏ）。

制御部２３は、換算した経過時間を再生開始時間T2-iとして、この再生開始時間T2-iを、記憶部１８の字幕管理データ記憶領域１８２の第２言語用字幕管理データ１８２２に登録する（ステップＳ２４）。

制御部２３は、字幕ＰＥＳに含まれている制御符号CSでデータを区切り、制御符号CSの直前の字幕文M2-iを取得する。制御部２３は、取得した字幕文M2-iを、記憶部１８の字幕管理データ記憶領域１８２の第２言語用字幕管理データ１８２２に登録する（ステップＳ２５）。

制御部２３は、この字幕文M2-iが最後のデータか否かを判定する（ステップＳ１７）。制御部２３は、制御符号CSがあれば、この字幕文M2-iが最後のデータではないと判定し、制御符号CSがなければ、この字幕文M2-iが最後のデータと判定する。

このように字幕管理データ生成処理を実行すると、制御部２３は、デコード部１７から供給されたＴＳヘッダのデータに基づいてＴＳＰを順次解析する。制御部２３は、解析した結果のデータを、記憶部１８のシークポイント管理情報記憶領域１８３のシークポイント管理情報に登録し、シークポイント管理情報を生成する。

次に、携帯電話１が再生する番組の字幕が２言語の字幕文である場合に、制御部２３が再生中の字幕文の言語を切り替える処理について、図１２に示すフローチャートを参照して説明する。

制御部２３は、第１言語の字幕の字幕付映像を再生している。このとき、制御部２３は、「字幕管理データフラグ」を０に設定する。「字幕管理データフラグ」とは、記憶部１８に記憶されているソフトウェア上の変数である。制御部２３は、この変数の値が０であれば第１言語の字幕の字幕付映像を再生し、１であれば第２言語の字幕の字幕付映像を再生する。

キーボード３２に設けられた「言語切り替えキー」が押下され、操作部２２から「言語切り替えキー」が押下された旨の操作情報が供給されたときに、制御部２３は、図１２に示す処理を開始する。

まず、制御部２３は、現在設定されている字幕管理データフラグを取得する（ステップＳ３１）。

字幕管理データフラグを取得すると、制御部２３は、切り替え先の字幕管理データを決定する（ステップＳ３２）。

制御部２３は、切り替え先の字幕管理データがあるか否かを判別する（ステップＳ３３）。切り替え先の字幕管理データがないと判別した場合（ステップＳ３３：Ｎｏ）、制御部２３は、言語切り替え処理を終了する。

切り替え先の字幕管理データがあると判別した場合（ステップＳ３３：Ｙｅｓ）、制御部２３は、字幕管理データフラグを切り替え先の字幕管理データフラグに設定する（ステップＳ３４）。

制御部２３は、現在選択中の第１言語の字幕文M1-iの再生開始時間T1-iを第１言語用字幕管理データから取得する（ステップＳ３５）。

制御部２３は、切り替え先の第２言語の字幕管理データから再生開始時間T1-iとの差が最も小さい再生開始時間T2-iを判別し、再生開始時間T2-iに対応する字幕文M2-iを判別する（ステップＳ３６）。

字幕文M2-iを判別すると、制御部２３は、字幕文M2-iを選択して、字幕文M2-iを字幕リスト中央に表示し（ステップＳ３７）、言語切り替え処理を終了する。

具体的には、例えば、第１言語が日本語で、第２言語が英語である場合について説明する。このとき、記憶部１８には、図７に示すような字幕管理データ１８２１，１８２２が格納される。

制御部２３が字幕文M1-3（「今日は、とてもよい天気ですね。」）を選択しているときに、キーボード３２に設けられた「言語切り替えキー」が押下され、操作部２２は、言語を切り替える旨の操作情報を制御部２３に供給する。

制御部２３は、字幕管理データ１８２１のフラグの値０を取得する（ステップＳ３１の処理）。次に、制御部２３は、切り替え先の字幕管理データがあるか否かを判別し（ステップＳ３３の処理）、字幕管理データ１８２２があると判別する（ステップＳ３３：Ｙｅｓ）。制御部２３は、字幕管理データフラグを０から１に更新し（ステップＳ３４の処理）、字幕管理データ１８２１を参照して、選択中の字幕文M1-3の再生開始時間T1-3（「００：００：１３」）を取得する（ステップＳ３５の処理）。

次に、制御部２３は、字幕管理データ１８２２を参照して、再生開始時間T1-3との差が最も小さい再生開始時間T2-3（「００：００：２６」）を判別し、T2-3に対応する字幕文M2-3（「It’s fine today.」）を判別する（ステップＳ３６の処理）。制御部２３は、判別した字幕文M2-3を選択して、字幕リスト中央に表示する（ステップＳ３７の処理）。

言語の切り替えは、操作部２２に設けられた「言語切り替えキー」が押下されることで実行される。この「言語切り替えキー」は、図９（ａ）〜（ｃ）に示すソフトキーでもよい。

このように、言語を切り替えるときに、現在選択中の字幕文の再生開始時間との差が最も小さい再生開始時間に対応する言語切り替え先の字幕文を選択することにより、言語切り替え前後の字幕文の内容に齟齬が生じることなく言語を切り替えることができる。

（実施形態２）
しかし、実施形態１での言語切り替え処理では、１回言語を切り替えたときに選択した字幕文が次の字幕文に切り替わることなく、さらに言語を切り替えると、元の字幕文とは異なる字幕文が選択されることがある。

例えば、字幕管理データが図１３に示す字幕管理データ１８２１，１８２２である場合、字幕文M1-3（「今日は、とてもよい天気ですね。」）が選択されているとする。そして、言語を日本語から英語に切り替えると、字幕文M2-3（「It’s fine today.」）が選択される。そして、字幕文M2-3が次の字幕文に切り替わる前に、さらに言語を切り替える。すると、字幕文M2-3の再生開始時間T2-3との差が最も小さい再生開始時間に対応する字幕文はM1-4なので、字幕文M1-4（「さようなら、お気を付けて。」）が選択されてしまう。つまり、字幕文が「It’s fine today.」から「さようなら、お気を付けて。」に切り替わってしまう。

このように、言語を２回連続して切り替えると、元の字幕文とは異なる字幕文が選択されてしまう。このような現象を回避するために、制御部２３は、次のような言語切り替え処理を行う。

本実施形態に係る言語切り替え処理について、図１４に示すフローチャートを参照して説明する。

制御部２３が第１言語の字幕文M1-iを選択している。このとき、キーボード３２に設けられた「言語切り替えキー」が押下され、操作部２２から「言語切り替えキー」が押下された旨の操作情報が供給されたときに、制御部２３は、図１４に示す処理を開始する。

制御部２３は、まず、図１２のフローチャートのステップＳ３１〜ステップＳ３４と同様の処理を実行する。

次に、制御部２３は、現在選択している字幕文M1-iのインデックスNを設定して、記憶部１８に記憶する（ステップＳ４１）。インデックスNは、記憶部１８に記憶されているプログラム上の変数であり、この変数に値を代入することで値を保持しておく。

次いで制御部２３は、図１２のフローチャートのステップＳ３５〜ステップＳ３７と同様の処理を実行して、第２言語の字幕文M2-iを選択して、字幕リスト中央に表示する。

そして、制御部２３は、選択した字幕文M2-iとそれに対応する映像とを字幕付映像として表示部２１に再生する（ステップＳ４２）。

字幕付映像を再生しているときに、操作部２２から操作情報が供給されると、制御部２３は、操作情報が言語の切り替えを指示する操作情報であるか否かを判別する（ステップＳ４３）。言語の切り替えを指示する操作情報でないと判別した場合（ステップＳ４３：Ｎｏ）、制御部２３は、字幕付映像と字幕文との再生を継続する（ステップＳ４２）。

言語の切り替えを指示する操作情報であると判別した場合（ステップＳ４３：Ｙｅｓ）、制御部２３は、ステップＳ４２で字幕付映像を再生している間に字幕文の切り替えがあったか否かを判別する（ステップＳ４４）。字幕文の切り替えがあったと判別した場合（ステップＳ４４：Ｙｅｓ）、制御部２３は、ステップＳ３５〜ステップＳ３７と同様な処理を実行して、字幕文M1-jを選択し、字幕リスト中央に表示する（ステップＳ５０）。

字幕文の切り替えがなかったと判別した場合（ステップＳ４４：Ｎｏ）、制御部２３は、ステップＳ４１で取得したインデックスNを記憶部１８から読み出す（ステップＳ４５）。

インデックスNを読み出すと、制御部２３は、インデックスNに対応する字幕文M1-iを字幕管理データから判別する（ステップＳ４６）。

制御部２３は、判別した字幕文M1-iを選択して、字幕リスト中央に表示し（ステップＳ４７）、言語切り替え処理を終了する。

具体的には、例えば、第１言語が日本語で、第２言語が英語の場合について説明する。このとき、記憶部１８には、図１３に示すような字幕管理データ１８２１，１８２２が格納される。

制御部２３が字幕文M1-3（「今日は、とてもよい天気ですね。」）を選択しているときに、キーボード３２に設けられた「言語切り替えキー」が押下され、操作部２２は、言語を切り替える旨の操作情報を制御部２３に供給する。

制御部２３は、字幕文M1-3のインデックスの値をインデックスNに代入する（ステップＳ４１の処理）。インデックスNに代入する値は、例えば、字幕文M1-3の場合、0103とする。

制御部２３は、字幕文M1-3の再生開始時間との差が最も小さい再生開始時間T2-3に対応する字幕文M2-3（「It’s fine today.」）を選択して（ステップＳ３７の処理）、それに対応する字幕付映像を再生する（ステップＳ４２の処理）。

制御部２３が字幕文を字幕文M2-3から字幕文M2-4（「Goodbye. Be careful.」）に切り替える前に、操作部２２から言語を切り替える旨の操作情報が供給されるとする。

制御部２３は、操作部２２からの操作情報を取得すると、言語の切り替え指示があると判別し（ステップＳ４３でＹｅｓ）、字幕文の切り替えがなかったと判別する（ステップＳ４４でＮｏ）。

すると、制御部２３は、記憶部２８に記憶されているインデックスNの値（N=0103）を読み出し、選択する字幕文がM1-3であると判別する（ステップＳ４６の処理）。そして、制御部２３は、字幕文M1-3を選択して、字幕リスト中央に表示する（ステップＳ４７の処理）。

このような処理を実行することにより、言語の切り替えを連続して２回行った場合でも、字幕文がずれることなく、ユーザは違和感なく字幕付映像を視聴することができる。

（実施形態３）
また、言語を切り替えるときに、選択中の字幕文の再生開始時間の近傍に言語切り替え後の字幕文が存在しない場合がある。実施形態１の処理では、そのような場合でも、切り替え後の言語の字幕文のなかで最も再生開始時間の差が小さい再生開始時間に対応する字幕文が選択されてしまう。すると、切り替え前の字幕文とは全く無関係な字幕文に切り替わってしまう。

例えば、字幕管理データが図１５に示す字幕管理データ１８２１，１８２２である場合、字幕文M1-3（「今日は、とてもよい天気ですね。」）が選択されているとする。そして、言語を日本語から英語に切り替えると、字幕文M1-3の再生開始時間との差が最も小さい再生開始時間に対応する字幕文M2-1（「Good Morning.」）が選択されてしまう。

このような現象を回避するために、制御部２３は、次のような言語切り替え処理を行う。

制御部２３が第１言語の字幕文M1-iを選択している。このとき、キーボード３２に設けられた「言語切り替えキー」が押下され、操作部２２から「言語切り替えキー」が押下された旨の操作情報が供給されたときに、制御部２３は、図１６に示す処理を開始する。

制御部２３は、図１２のフローチャートのステップＳ３１〜ステップＳ３６と同様の処理を実行して、字幕文M1-iの再生開始時間T1-iとの差が最も小さい再生開始時間に対応する字幕文M2-iを判別する（ステップＳ３６）。

制御部２３は、字幕文M2-iの再生開始時間T2-iを取得する（ステップＳ６１）。

次いで制御部２３は、再生開始時間T1-iとT2-iとの差（｜T2-i − T1-i｜）が所定の時間δTより小さいか否かを判別する（ステップＳ６２）。再生開始時間T1-iとT2-iとの差（｜T2-i − T1-i｜）が所定の時間δTより大きいと判別した場合（ステップＳ６２：Ｎｏ）、制御部２３は、言語の切り替えを実行せずに処理を終了する。

再生開始時間T1-iとT2-iとの差（｜T2-i − T1-i｜）が所定の時間δTより小さいと判別した場合（ステップＳ６２：Ｙｅｓ）、制御部２３は、字幕文M2-iを選択し、字幕リスト中央に表示して（ステップＳ３７）、言語切り替え処理を終了する。

具体的には、例えば、第１言語が日本語で、第２言語が英語である場合について説明する。このとき、記憶部１８には、図１５に示すような字幕管理データ１８２１，１８２２が格納される。

また、上述の所定の時間δTを15秒と設定する。時間δTは、予め所定の時間を設定されていてもよいし、例えば、メニュー画面からユーザが任意の値を設定してもよい。

制御部２３が字幕文M1-3（「今日は、とてもよい天気ですね。」）を選択しているときに、キーボード３２に設けられた「言語切り替えキー」が押下され、操作部２２は、言語を切り替える旨の操作情報を制御部２３に供給する。

制御部２３は、字幕管理データ１８２２を参照して、第２言語の字幕文のうち、字幕文M1-3の再生開始時間T1-3との差が最も小さい再生開始時間の字幕文M2-1（「Good Morning.」）を判別する（ステップＳ３６の処理）。

次いで制御部２３は、字幕文M1-3の再生開始時間とM2-1の再生開始時間との差（｜T2-1 − T1-3｜）を計算すると、その差は、2分45秒（165秒）である。

制御部２３は、｜T2-1 − T1-3｜（165秒）と所定の時間δT（15秒）とを比較し、再生開始時間の差（｜T2-1 − T1-3｜）が所定の時間よりも大きいと判別する（ステップＳ６２でＮｏ）。したがって、制御部２３は、字幕文M2-1に切り替えずに言語切り替え処理を終了する。

このような処理を実行することにより、言語を切り替えるときに、選択中の字幕文の再生開始時間の近傍に言語切り替え後の字幕文が存在しない場合には、言語の切り替えが実行されず、内容の全く異なる字幕文に切り替わることがない。

上記実施形態では、字幕付映像再生装置を携帯電話１として説明した。しかし、字幕付映像再生装置は、このものに限られるものではなく、例えば、ＰＨＳ、ＰＤＡ（Personal Digital Assistants）、電子カメラ、電子腕時計、ノート型ＰＣ、携帯型ＴＶ、携帯型映像記録装置・再生装置、カーナビゲーション装置にも適用できる。

また、上記実施形態では、プログラムが、それぞれメモリ等に予め記録されているものとして説明した。しかし、字幕付映像再生装置を、全体装置の全部又は一部として動作させ、或いは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、或いは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係る携帯電話の外観を示す図である。 本発明の実施形態に係る携帯電話の構成を示すブロック図である。 受信する信号の構成を示す図であり、（ａ）は、ＴＳ、（ｂ）は、ＴＳＰ、（ｃ）は、ＰＥＳを示す。 受信する信号の構成を示す図であり、（ａ）は、字幕ＰＥＳ、（ｂ）は、データ・グループ、（ｃ）は、字幕管理データ、（ｄ）は、字幕データを示す。 変換されたテレビジョン信号の構成の一例を示す図である。 図２に示す記憶部の各記憶領域を示す図である。 第１言語用字幕管理データのデータ構造及び第２言語用字幕管理データのデータ構造の一例を示す図である。 シークポイント管理情報の一例を示す図である。 表示部がＬＣＤに表示する画面を示す図であり、（ａ）は、字幕リスト付視聴モードにおける画面の一例を示し、（ｂ）は、通常視聴モードにおける画面の一例を示し、（ｃ）は、字幕リスト付視聴モードにおける画面の一例を示す。 図２に示す制御部が実行する字幕管理データ生成処理を示すフローチャートである。 図２に示す制御部が実行する２言語の字幕の字幕管理データを生成する字幕管理データ生成処理を示すフローチャートである。 図２に示す制御部が実行する言語切り替え処理を示すフローチャートである。 第１言語用字幕管理データのデータ構造及び第２言語用字幕管理データのデータ構造の一例を示す図である。 図２に示す制御部が実行する言語切り替え処理を示すフローチャートである。 第１言語用字幕管理データのデータ構造及び第２言語用字幕管理データのデータ構造の一例を示す図である。 図２に示す制御部が実行する言語切り替え処理を示すフローチャートである。

符号の説明

１・・・携帯電話、１８・・・記憶部、２１・・・表示部、２２・・・操作部、２３・・・制御部

Claims (5)

1. 複数の映像と、
   第１の言語から構成される複数の第１の字幕文と、
   第２の言語から構成される複数の第２の字幕文と、
   各第１の字幕文の再生を開始する再生開始時間を示す複数の第１の時間情報と、
   各第２の字幕文の再生を開始する再生開始時間を示す複数の第２の時間情報と、
   前記複数の映像と複数の第１の字幕文と複数の第２の字幕文とを、その再生順番に基づいて、互いに対応付けて記憶し、前記複数の第１の字幕文と複数の第１の時間情報と、及び、前記複数の第２の字幕文と複数の第２の時間情報と、を互いに対応付けて記憶する記憶手段と、
   前記記憶手段に記憶されている複数の字幕文からいずれかの字幕文を選択する字幕文選択手段と、
   前記字幕文選択手段が選択した字幕文から、前記再生順番に従って、字幕文を順次再生する字幕文再生手段と、
   前記字幕文再生手段によって再生されている字幕文に対応する映像を再生する映像再生手段と、
   前記字幕文選択手段が選択した字幕文を構成する言語を切り替える切替手段と、
   前記切替手段が言語を切り替えたときに、前記字幕文選択手段に選択された字幕文に対応する第１の再生開始時間と前記切替手段が切り替えた言語から構成される複数の字幕文に対応する複数の第２の再生開始時間とを判別し、前記第１の再生開始時間と複数の第２の再生開始時間とに基づいて、所定の字幕文を選択するように前記字幕文選択手段を制御する制御手段と、
   を備えることを特徴とする字幕付映像再生装置。
2. 前記制御手段は、前記複数の第２の再生開始時間のうち前記第１の再生開始時間との差が最も小さい第２の再生開始時間を判別し、判別した第２の再生開始時間に対応する字幕文を選択するように前記字幕文選択手段を制御する、
   ことを特徴とする請求項１に記載の字幕付映像再生装置。
3. 前記制御手段は、前記複数の第２の再生開始時間のうち前記第１の再生開始時間との差が最も小さい第２の再生開始時間を判別し、前記第１の再生開始時間と判別した第２の再生開始時間との差が所定の時間より小さいと判別したときに、前記第２の再生開始時間に対応する字幕文を選択するように前記字幕文選択手段を制御する、
   ことを特徴とする請求項１又は２に記載の字幕付映像再生装置。
4. 前記制御手段は、前記切替手段が言語を切り替えたときに、前記字幕文再生手段が再生している字幕文を特定する識別子を設定し、該識別子を記憶し、再び前記切替手段が言語を切り替えたときに、該識別子によって特定される字幕文を選択するように前記字幕文選択手段を制御する、
   ことを特徴とする請求項１に記載の字幕付映像再生装置。
5. コンピュータに、
   複数の映像と複数の第１の字幕文と複数の第２の字幕文とを、その再生順番に基づいて、互いに対応付けて記憶し、前記複数の第１の字幕文と各第１の字幕文の再生を開始する再生開始時間を示す複数の第１の時間情報と、及び、前記複数の第２の字幕文と各第２の字幕文の再生を開始する再生開始時間を示す複数の第２の時間情報と、を互いに対応付けて記憶する記憶ステップ、
   前記記憶ステップで記憶した複数の字幕文からいずれかの字幕文を選択する字幕文選択ステップ、
   前記字幕文選択ステップで選択した字幕文から、前記再生順番に従って、字幕文を順次再生する字幕文再生ステップ、
   前記字幕文再生ステップで再生されている字幕文に対応する映像を再生する映像再生ステップ、
   前記字幕文選択ステップで選択した字幕文を構成する言語を切り替える切替ステップ、
   前記切替ステップで言語を切り替えたときに、前記字幕文選択ステップで選択された字幕文に対応する第１の再生開始時間と前記切替ステップで切り替えた言語から構成される複数の字幕文に対応する複数の第２の再生開始時間とを判別し、前記第１の再生開始時間と前記複数の第２の再生開始時間とに基づいて所定の字幕文を選択するように制御する制御ステップ、
   を実行させることを特徴とするプログラム。

Images