JP2011061497A - 字幕表示装置、字幕表示方法およびプログラム - Google Patents

Abstract

【課題】早送り再生の速度に依存したあるいは固定された字幕表示段数や字幕表示領域とは別の字幕履歴表示部を備えることなく、視聴環境が変わった場合においても、字幕情報の必要表示時間を各字幕ごとに算出し、各字幕の表示時間が必要表示時間を下回らないよう制御して字幕を表示することにより、視聴者が字幕の内容を十分理解できる。
【解決手段】放送信号を受信し、その受信した放送信号から字幕情報を得る。そして、その取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出し、算出した字幕表示時間と、得られた字幕情報と、受信した動画像情報に基づき字幕表示内容を制御し、その出力結果を表示する。
【選択図】図４

Description

本発明は、放送信号を受信する放送信号受信機の字幕表示装置に関するもので、特に、デジタル放送またはＩＰネットワークによる放送信号を受信する放送信号受信機において、早送り再生時や字幕を構成する文章が難易度の高い文章であっても視聴者が十分理解できるよう適切な表示時間を設定できる字幕表示装置、字幕表示方法およびプログラムに関する。

近年、デジタル放送の普及により字幕情報を付与した番組の割合が増えている。こうした字幕情報は、聴覚障害者や高齢者のための情報保障手段のみならず、屋内外の雑音環境下での番組視聴、公共の場所等における消音での番組視聴、早送り再生時の内容確認手段として有効である。

ここで、字幕の表示内容や時間は、図７に示すように、番組の作成者が適切な設定を行っているものであるが、早送り再生などの視聴形態によっては、視聴者が十分理解できないような短い時間の表示の後、字幕が画面から消去されてしまうことが起こる。

また、視聴者が一瞬画面から目を離すことで字幕を見逃してしまう場合や字幕の内容が難解であるような場合には、消去対象の字幕情報を一定時間消去せずに表示することにより、視聴者が字幕情報を受け取り損なうことを防止することも期待できる。

上記の問題に対して、特許文献１では、早送り再生又は巻き戻し再生を行ったときに、その再生方向及び再生速度に応じた字幕の表示を行う技術が開示されている。具体的には、通常再生時に１段で字幕が表示されるとともにｓ秒間で字幕が切り替わるとき、ｎ倍速再生時において、ｎ段で字幕を表示するとともに、ｓ秒ごとにｎ段の字幕を切り換えて表示させるか、又は、ｓ／ｎ秒ごとに１段ずつｎ段の字幕をスクロールさせて表示させる技術が開示されている（例えば、特許文献１参照。）。

また、特許文献２では、早送り再生時において、所定の第１の字幕表示位置に表示された字幕が消去されるときに、所定の第２の字幕表示位置にその字幕を表示させる技術が開示されている（例えば、特許文献２参照。）。

また、特許文献３では、字幕は、通常、台詞が語られている間だけ表示されるので、字幕を見逃した場合にも字幕を再び見るために、第１の表示部に字幕表示させた字幕テーブルの字幕文字列を、第２の表示部に字幕表示時刻順に表示させる技術が開示されている（例えば、特許文献３参照。）。

さらに、特許文献４では、表示画面を、テレビジョン放送番組に基づく映像を表示する映像表示領域と、字幕を表示するための字幕表示領域とに分割し、新たな字幕を表示した場合でも、以前に表示していた字幕を消去せずに画面上に残す技術が開示されている（例えば、特許文献４参照。）。

特開２００２−０３３９３３号公報 特開２００２−３５４３９５号公報 特開２００６−２８１６７６号公報 特開２００３−２３２７９８号公報

しかしながら、早送り再生の速度のみに依存した特許文献１に記載の技術では、ｓ秒ごとにｎ段の字幕を切り換えて表示させる場合、ｎ段分の字幕情報をｓ秒で読むためには、ｎが大きい場合に困難であり、ｓ／ｎ秒ごとに１段ずつｎ段の字幕をスクロールさせて表示させる場合、速度の変化により段数が急に変わるといった問題点がある。

また、字幕の段数を２段に固定すると、高速早送り時に字幕領域が不足するという問題がある。また、特許文献２から特許文献４に記載の技術のように、字幕表示領域と字幕の履歴部が分かれている場合は字幕の見逃しはなくなるものの、字幕が２つの表示領域に別れていることによる見づらさや、場合によっては視聴者の操作が必要になるという問題がある。

そこで、本発明は、上述の課題に鑑みてなされたものであり、早送り再生の速度に依存したあるいは固定された字幕表示段数や字幕表示領域とは別の字幕履歴表示部を備えることなく、視聴環境が変わった場合においても、字幕情報の必要表示時間を各字幕ごとに算出し、各字幕の表示時間が必要表示時間を下回らないよう制御して字幕を表示することにより、視聴者が字幕の内容を十分理解できる字幕表示装置、字幕表示方法およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。

（１）本発明は、受信した動画像から抽出されたそれぞれの字幕情報を構成する単語列の読み取り難易度から定まるそれぞれの字幕表示必要時間に基づいて、前記それぞれの字幕情報をそれぞれの必要時間表示することを特徴とする字幕表示装置を提案している。

この発明によれば、受信した動画像から抽出されたそれぞれの字幕情報を構成する単語列の読み取り難易度から定まるそれぞれの字幕表示必要時間に基づいて、それぞれの字幕情報をそれぞれの必要時間表示する。したがって、従来のように、それぞれの字幕について、画一的に表示時間を決定するのではなく、それぞれの字幕情報を構成する単語列の読み取り難易度から定まるそれぞれの字幕表示必要時間を算出して表示を行うため、難易度の高い字幕であっても、視聴者が十分に字幕の内容を理解できる。

（２）本発明は、録画した動画像を早送り再生する場合に、動画像から抽出されたそれぞれの字幕情報を構成する単語列の読み取り難易度から定まるそれぞれの字幕表示必要時間に基づいて、前記それぞれの字幕情報をそれぞれの必要時間表示することを特徴とする字幕表示装置を提案している。

この発明によれば、録画した動画像を早送り再生する場合に、動画像から抽出されたそれぞれの字幕情報を構成する単語列の読み取り難易度から定まるそれぞれの字幕表示必要時間に基づいて、それぞれの字幕情報をそれぞれの必要時間表示する。したがって、録画した動画像を早送り再生する場合に、従来のように、それぞれの字幕について、画一的に表示時間を決定するのではなく、それぞれの字幕情報を構成する単語列の読み取り難易度から定まるそれぞれの字幕表示必要時間を算出して表示を行うため、難易度の高い字幕であっても、視聴者が十分に字幕の内容を理解できる。

（３）本発明は、動画像を受信し、字幕情報を表示する字幕表示装置であって、放送信号を受信する受信部と、該受信した放送信号から字幕情報を得る字幕情報取得部と、該取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する字幕表示時間算出部と、該字幕表示時間算出部から出力された字幕表示時間と、前記字幕情報取得部から得られる字幕情報と、前記受信した動画像情報に基づき字幕表示内容を制御する字幕表示制御部と、該字幕表示制御部の出力結果を表示する表示部と、を備えることを特徴とする字幕表示装置を提案している。

この発明によれば、受信部は、放送信号を受信する。字幕情報取得部は、その受信した放送信号から字幕情報を得る。字幕表示時間算出部は、その取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する。字幕表示制御部は、その字幕表示時間算出部から出力された字幕表示時間と、字幕情報取得部から得られる字幕情報と、受信した動画像情報に基づき字幕表示内容を制御する。表示部は、その字幕表示制御部の出力結果を表示する。したがって、従来のように、それぞれの字幕について、画一的に表示時間を決定するのではなく、字幕表示時間算出部が、その取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出して表示時間を決定することから、難易度の高い字幕であっても、視聴者が十分に字幕の内容を理解できる。

（４）本発明は、（３）の字幕表示装置について、前記標準字幕表示時間判定用モデルが、多くの字幕情報で学習した言語モデルを用いて算出した字幕情報のエントロピーと字幕情報を表示するために必要な時間とを関連付けたデータベースにより構成されることを特徴とする字幕表示装置を提案している。

この発明によれば、標準字幕表示時間判定用モデルが、多くの字幕情報で学習した言語モデルを用いて算出した字幕情報のエントロピーと字幕情報を表示するために必要な時間とを関連付けたデータベースにより構成される。したがって、表示すべき字幕のエントロピーを算出し、上記データベースを検索すれば、表示すべき字幕の適切な表示時間を簡便に得ることができる。

（５）本発明は、（４）の字幕表示装置について、前記字幕表示時間算出部が、前記字幕情報取得部において取得された字幕情報のエントロピーを算出するとともに、該算出したエントロピーを前記標準字幕表示時間判定用モデルと対比して、前記取得された字幕情報に必要な表示時間を算出することを特徴とする字幕表示装置を提案している。

この発明によれば、字幕表示時間算出部が、字幕情報取得部において取得された字幕情報のエントロピーを算出するとともに、その算出したエントロピーを標準字幕表示時間判定用モデルと対比して、取得された字幕情報に必要な表示時間を算出する。したがって、簡便な方法で、正確に取得された字幕情報に必要な表示時間を得ることができる。

（６）本発明は、早送り再生される動画像に字幕情報を表示する字幕表示装置であって、録画した番組の動画像を蓄積する番組蓄積部と、該動画像から字幕情報を得る字幕情報取得部と、該蓄積された字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する字幕表示時間算出部と、視聴者の視聴動作を入力するリモコン入力部と、該字幕表示時間算出部から出力された字幕表示時間と、前記字幕情報取得部から得られる字幕情報と、録画された動画像情報と、リモコン情報とに基づき字幕表示内容を制御する字幕表示制御部と、該字幕表示制御部の出力結果を表示する表示部と、を備えることを特徴とする字幕表示装置を提案している。

この発明によれば、番組蓄積部は、録画した番組の動画像を蓄積する。字幕情報取得部は、その動画像から字幕情報を得る。字幕表示時間算出部は、その取得された字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する。リモコン入力部は、視聴者の視聴動作を入力する。字幕表示制御部は、その字幕表示時間算出部から出力された字幕表示時間と、字幕情報取得部から得られる字幕情報と、録画された動画像情報と、リモコン情報とに基づき字幕表示内容を制御する。表示部は、その字幕表示制御部の出力結果を表示する。したがって、従来のように、それぞれの字幕について、画一的に表示時間を決定するのではなく、字幕表示時間算出部が、その蓄積している字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出して表示時間を決定することから、早送り再生の場合であっても、視聴者が十分に字幕の内容を理解できる。

（７）本発明は、（６）の字幕表示装置について、前記標準字幕表示時間判定用モデルが、多くの字幕情報で学習した言語モデルを用いて算出した字幕情報のエントロピーと字幕情報を表示するために必要な時間とを関連付けたデータベースにより構成されることを特徴とする字幕表示装置を提案している。

この発明によれば、標準字幕表示時間判定用モデルが、多くの字幕情報で学習した言語モデルを用いて算出した字幕情報のエントロピーと字幕情報を表示するために必要な時間とを関連付けたデータベースにより構成される。したがって、表示すべき字幕のエントロピーを算出し、上記データベースを検索すれば、早送り再生の場合であっても、表示すべき字幕の適切な表示時間を簡便に得ることができる。

（８）本発明は、（７）の字幕表示装置について、前記字幕表示時間算出部が、前記字幕情報蓄積部に蓄積された字幕情報のエントロピーを算出するとともに、該算出したエントロピーを前記標準字幕表示時間判定用モデルと対比して、前記蓄積された字幕情報に必要な表示時間を算出することを特徴とする字幕表示装置を提案している。

この発明によれば、字幕表示時間算出部が、字幕情報蓄積部に蓄積された字幕情報のエントロピーを算出するとともに、その算出したエントロピーを標準字幕表示時間判定用モデルと対比して、蓄積された字幕情報に必要な表示時間を算出する。したがって、早送り再生の場合であっても、簡便な方法で、正確に蓄積された字幕情報に必要な表示時間を得ることができる。

（９）本発明は、動画像を受信し、字幕情報を表示する字幕表示方法であって、放送信号を受信する第１のステップと、該受信した放送信号から字幕情報を得る第２のステップと、該取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する第３のステップと、該第３のステップにおいて出力された字幕表示時間と、前記第２のステップにおいて得られる字幕情報と、前記第１のステップにおいて受信した動画像情報に基づき字幕表示内容を制御する第４のステップと、該第４のステップの出力結果を表示する第５のステップと、を備えることを特徴とする字幕表示方法を提案している。

この発明によれば、放送信号を受信し、その受信した放送信号から字幕情報を得る。そして、その取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出し、算出した字幕表示時間と、得られた字幕情報と、受信した動画像情報に基づき字幕表示内容を制御し、その出力結果を表示する。したがって、従来のように、それぞれの字幕について、画一的に表示時間を決定するのではなく、字幕表示時間算出部が、その取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出して表示時間を決定することから、難易度の高い字幕であっても、視聴者が十分に字幕の内容を理解できる。

（１０）本発明は、早送り再生される動画像に字幕情報を表示する字幕表示方法であって、録画した番組の動画像を蓄積する第１のステップと、該動画像から字幕情報を得る第２のステップと、該第２のステップにおいて取得された字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する第３のステップと、該第３のステップにおいて出力された字幕表示時間と、前記第２のステップにおいて得られる字幕情報と、第１のステップにおいて録画された動画像情報と、視聴者の視聴動作を入力するリモコン情報とに基づき字幕表示内容を制御する第４のステップと、前記第４のステップにおける出力結果を表示する第５のステップと、を備えることを特徴とする字幕表示方法を提案している。

この発明によれば、録画した番組の動画像を蓄積し、その動画像から字幕情報を得る。そして、蓄積された字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出し、算出された字幕表示時間と、得られる字幕情報と、録画された動画像情報と、視聴者の視聴動作を入力するリモコン情報とに基づき字幕表示内容を制御して、その出力結果を表示する。したがって、従来のように、それぞれの字幕について、画一的に表示時間を決定するのではなく、字幕表示時間算出部が、その蓄積している字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出して表示時間を決定することから、早送り再生の場合であっても、視聴者が十分に字幕の内容を理解できる。

（１１）本発明は、コンピュータに、動画像を受信し、字幕情報を表示する字幕表示方法を実行させるためのプログラムであって、放送信号を受信する第１のステップと、該受信した放送信号から字幕情報を得る第２のステップと、該取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する第３のステップと、該第３のステップにおいて出力された字幕表示時間と、前記第２のステップにおいて得られる字幕情報と、前記第１のステップにおいて受信した動画情報に基づき字幕表示内容を制御する第４のステップと、該第４のステップの出力結果を表示する第５のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、放送信号を受信し、その受信した放送信号から字幕情報を得る。そして、その取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出し、算出した字幕表示時間と、得られた字幕情報と、受信した動画像情報に基づき字幕表示内容を制御し、その出力結果を表示する。したがって、従来のように、それぞれの字幕について、画一的に表示時間を決定するのではなく、字幕表示時間算出部が、その取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出して表示時間を決定することから、難易度の高い字幕であっても、視聴者が十分に字幕の内容を理解できる。

（１２）本発明は、コンピュータに、早送り再生される動画像に字幕情報を表示する字幕表示方法を実行させるためのプログラムであって、録画した番組の動画像を蓄積する第１のステップと、該動画像から字幕情報を得る第２のステップと、該第２のステップにおいて取得された字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する第３のステップと、該第３のステップにおいて出力された字幕表示時間と、前記第２のステップにおいて得られる字幕情報と、第１のステップにおいて録画された動画像情報と、視聴者の視聴動作を入力するリモコン情報とに基づき字幕表示内容を制御する第４のステップと、前記第４のステップにおける出力結果を表示する第５のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、録画した番組の動画像を蓄積し、その動画像から字幕情報を得る。そして、蓄積された字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出し、算出された字幕表示時間と、得られる字幕情報と、録画された動画像情報と、視聴者の視聴動作を入力するリモコン情報とに基づき字幕表示内容を制御して、その出力結果を表示する。したがって、従来のように、それぞれの字幕について、画一的に表示時間を決定するのではなく、字幕表示時間算出部が、その蓄積している字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出して表示時間を決定することから、早送り再生の場合であっても、視聴者が十分に字幕の内容を理解できる。

本発明によれば、早送り再生の速度に依存したあるいは固定された字幕表示段数や字幕表示領域とは別の字幕履歴表示部を備えることなく、視聴環境が変わった場合においても、字幕情報の必要表示時間を各字幕ごとに算出し、各字幕の表示時間が必要表示時間を下回らないよう制御して字幕を表示することにより、視聴者が字幕の内容を十分理解できるという効果がある。

第１の実施形態に係る字幕表示装置の構成図である。 第１の実施形態に係る字幕表示装置における字幕とその表示時間とを具体的に例示した図である。 第１の実施形態における字幕必要表示時間の算出例を示した図である。 第１の実施形態に係る字幕表示装置の処理フローである。 第２の実施形態に係る字幕表示装置の構成図である。 第２の実施形態に係る字幕表示装置の処理フローである。 従来例における字幕とその表示時間とを具体的に例示した図である。

以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１の実施形態＞
図１から図４を用いて、本発明の第１の実施形態に係る字幕表示装置について、詳細に説明する。なお、第１の実施形態においては、リアルタイムに動画像を受信する場合における字幕情報の表示を例示して説明する。

＜字幕表示装置の構成＞
図１に示すように、本実施形態に係る字幕表示装置１００は、受信部１０１と、字幕情報取得部１０２と、字幕表示時間算出部１０３と、データベース１０４と、字幕表示制御部１０５と、表示部１０６とから構成されている。

ここで、受信部１０１は、放送信号を受信する。字幕情報取得部１０２は、受信部１０１が受信した放送信号から字幕情報を得る。字幕表示時間算出部１０３は、字幕情報取得部１０２において取得した字幕情報とデータベース１０４に予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する。なお、字幕表示時間を算出については、後述する。

字幕表示制御部１０５は、字幕表示時間算出部１０３から出力された字幕表示時間と、字幕情報取得部１０２から得られる字幕情報と、受信部１０１が受信した動画像情報に基づき字幕表示内容を制御する。表示部１０６は、字幕表示制御部１０５の出力結果を表示する。

＜字幕表示時間算出部における字幕必要時間の算出方法＞
図２を参照して、字幕表示時間算出部１０３における字幕必要時間の算出方法について説明する。

本実施形態に係る字幕表示時間算出部１０３は、字幕情報取得部１０２から入力した字幕情報について、字幕を構成する単語列の難易度をそのエントロピーＨ（ｗ）を求めることにより決定する。具体的には、数１に示す演算式を用いて、そのエントロピーを算出する。ここで、ｗ_ｉは字幕を構成する単語あるいは形態素であり、Ｌは字幕を構成する文の長さを示している。

一方、データベース１０４には、標準字幕表示時間判定用モデルとして、数多くの字幕情報について、数１を用いて算出したエントロピーＨ（ｗ）と字幕必要表示時間Ｔとの関係を示す関数Ｔ＝ｆ（Ｌ、Ｈ（ｗ））の情報が格納されている。

したがって、字幕表示時間算出部１０３は、字幕情報取得部１０２から入力した字幕情報について、字幕を構成する単語列の難易度をそのエントロピーＨ（ｗ）を求めるとともに、求めたエントロピーＨ（ｗ）に対して、データベース１０４に格納された標準字幕表示時間判定用モデルを参照して、字幕情報取得部１０２から入力した字幕情報を表示するための字幕必要表示時間Ｔを算出する。

＜字幕表示制御部の処理＞
図３を用いて、字幕表示制御部１０５の処理に基づく、字幕表示の様子を例示的に説明する。

図左の画面１では、新規に表示する字幕が「字幕１」になっている。従来の方法では、この字幕の表示時間は、「ｔ１」となっているが、字幕表示時間算出部１０３から得られた字幕の表示時間は、「Ｔ１」であり、従来の字幕の表示時間よりも長くなっている（ｔ１＜Ｔ１）。なお、画面１では、消去する字幕はない。

字幕の表示時間が上記のような関係になっているため、画面１で、「字幕１」を表示するとともに、画面２においても「字幕１」を引き続き表示する。一方、画面２においては、新規に「字幕２」を表示する必要があるため、画面２では、「字幕１」と「字幕２」を例えば、２段で表示する。また、「字幕２」についての従来の方法による表示時間は、「ｔ２」であり、ｔ１、ｔ２、Ｔ１には、ｔ１＋ｔ２≧Ｔ１の関係があるため、「字幕１」は、画面２から画面３へと遷移する際に消去される。このような制御により、「字幕１」の必要表示時間が担保される。

次に、「字幕２」については、従来の方法による表示時間が「ｔ２」であり、字幕表示時間算出部１０３から得られた字幕の表示時間が、「Ｔ２」となっており、しかも、両者には、ｔ２＜Ｔ２の関係があるため、画面２で、「字幕２」を表示するとともに、画面３においても「字幕２」を引き続き表示する。一方、画面３においては、新規に「字幕３」を表示する必要があるため、画面２では、「字幕２」と「字幕３」を例えば、２段で表示する。また、「字幕３」についての従来の方法による表示時間は、「ｔ３」であり、ｔ２、ｔ３、Ｔ２には、ｔ２＋ｔ３≧Ｔ２の関係があるため、「字幕２」は、画面３から画面４へと遷移する際に消去される。このような制御により、「字幕２」の必要表示時間が担保される。

また、「字幕３」については、従来の方法による表示時間が「ｔ３」であり、字幕表示時間算出部１０３から得られた字幕の表示時間が、「Ｔ３」となっており、しかも、両者は、ｔ３≧Ｔ３の関係であるため、「字幕３」も「字幕２」と同様に、画面３から画面４へと遷移する際に消去される。このような制御により、「字幕３」の必要表示時間が担保される。

さらに、画面４では、新規に表示する字幕が「字幕４」になっており、従来の方法による表示時間が「ｔ４」であり、字幕表示時間算出部１０３から得られた字幕の表示時間が、「Ｔ４」となっており、しかも、両者には、ｔ４＜Ｔ４の関係があるため、上記の「字幕１」、「字幕２」と同様に制御することにより、「字幕４」の必要表示時間が担保される。

＜字幕表示装置の処理＞
図４を用いて、本実施形態に係る字幕表示装置の処理について説明する。

まず、受信部１０１が放送信号を受信し（ステップＳ１０１）、字幕情報取得部１０２が、受信部１０１において受信された放送信号から字幕情報を得る（ステップＳ１０２）。

次に、字幕表示時間算出部１０３が、字幕情報取得部１０２において、取得した字幕情報と予めデータベース１０４に蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する（ステップＳ１０３）。そして、字幕表示制御部１０５が、ステップＳ１０３において出力された字幕表示時間と、ステップＳ１０２において得られる字幕情報と、ステップＳ１０１において受信した動画像情報に基づき字幕表示内容を制御し（ステップＳ１０４）、表示部１０６が、その出力結果を表示する（ステップＳ１０５）。

したがって、本実施形態によれば、従来のように、それぞれの字幕について、画一的に表示時間を決定するのではなく、字幕表示時間算出部が、その取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出して表示時間を決定することから、難易度の高い字幕であっても、視聴者が十分に字幕の内容を理解できる。

＜第２の実施形態＞
図５および図６を用いて、本発明の第２の実施形態に係る字幕表示装置について、詳細に説明する。なお、第２の実施形態においては、すでに、録画しておいた番組を早送りで再生する場合における字幕情報の表示を例示して説明する。

＜字幕表示装置の構成＞
図１に示すように、本実施形態に係る字幕表示装置２００は、字幕情報取得部１０２と、字幕表示時間算出部１０３と、データベース１０４と、表示部１０６と、録画番組蓄積部２０１と、リモコン情報入力部２０２と、字幕表示制御部２０３とから構成されている。なお、第１の実施形態と同一の符号を付した構成要素については、同様の機能を奏するものであるため、その詳細な説明は省略する。

録画番組蓄積部２０１は、録画した番組を蓄積する記憶装置である。リモコン情報入力部２０２は、リモコンを用いて視聴者が指示する視聴動作を入力する。なお、本実施形態においては、リモコンから早送り再生の指示情報を入力する。字幕表示制御部２０３は、字幕表示時間算出部１０３から出力された字幕表示時間と、字幕情報取得部１０２から得られる字幕情報と、録画された動画像情報と、リモコン情報入力部２０２により入力するリモコン情報とに基づき字幕表示内容を制御する。

＜字幕表示制御部の処理＞
字幕表示制御部２０３の処理は、図３を用いて説明した第１の実施形態とほぼ同様であるが、本実施形態では、早送り再生により、従来の方法により、設定される字幕表示時間（例えば、図３の「ｔ１」等）が短くなる。したがって、本実施形態に係る字幕表示制御部２０３では、字幕表示時間算出部１０３から出力された字幕表示時間と、字幕情報取得部１０２から得られる字幕情報と、録画された動画像情報に加えて、リモコン情報入力部２０２により入力するリモコン情報をも加味して、字幕表示の制御を実行する。

＜字幕表示装置の処理＞
図６を用いて、本実施形態に係る字幕表示装置の処理について説明する。

まず、録画番組蓄積部２０１は、録画した番組の動画像を蓄積し（ステップＳ２０１）、字幕情報取得部１０２が、録画番組蓄積部２０１に蓄積された動画像から字幕情報を得る（ステップＳ２０２）。そして、字幕表示時間算出部１０３は、ステップＳ２０２において取得された字幕情報と予めデータベース１０４に蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する（ステップＳ２０３）。

次に、字幕表示制御部２０３が、ステップＳ２０３において出力された字幕表示時間と、ステップＳ２０２において得られる字幕情報と、ステップＳ２０１において録画された動画像情報と、視聴者の視聴動作を入力するリモコン情報とに基づき字幕表示内容を制御し（ステップＳ２０４）、その出力結果を表示部１０６に表示する（ステップＳ２０５）。

したがって、本実施形態によれば、従来のように、それぞれの字幕について、画一的に表示時間を決定するのではなく、字幕表示時間算出部が、その蓄積している字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出して表示時間を決定することから、早送り再生の場合であっても、視聴者が十分に字幕の内容を理解できる。

なお、字幕表示装置の処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを字幕表示装置に読み込ませ、実行することによって本発明の字幕表示装置を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。

また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されても良い。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、第１の実施形態では、通常再生の場合を、第２の実施形態では、早送り再生の場合を例にとって説明したが、倍速再生の場合も第２の実施形態における技術を用いれば、対応することができる。

また、第２の実施形態においては、予め特定の視聴者の嗜好を学習しておき、この情報を利用して、録画番組蓄積部２０１から早送り再生する番組を選択するようにしてもよい。

１００・・・字幕表示装置
１０１・・・受信部
１０２・・・字幕情報取得部
１０３・・・字幕表示時間算出部
１０４・・・データベース
１０５・・・字幕表示制御部
１０６・・・表示部
２００・・・字幕表示装置
２０１・・・録画番組蓄積部
２０２・・・リモコン情報入力部
２０３・・・字幕表示制御部

Claims (12)

1. 受信した動画像から抽出されたそれぞれの字幕情報を構成する単語列の読み取り難易度から定まるそれぞれの字幕表示必要時間に基づいて、前記それぞれの字幕情報をそれぞれの必要時間表示することを特徴とする字幕表示装置。
2. 録画した動画像を早送り再生する場合に、動画像から抽出されたそれぞれの字幕情報を構成する単語列の読み取り難易度から定まるそれぞれの字幕表示必要時間に基づいて、前記それぞれの字幕情報をそれぞれの必要時間表示することを特徴とする字幕表示装置。
3. 動画像を受信し、字幕情報を表示する字幕表示装置であって、
   放送信号を受信する受信部と、
   該受信した放送信号から字幕情報を得る字幕情報取得部と、
   該取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する字幕表示時間算出部と、
   該字幕表示時間算出部から出力された字幕表示時間と、前記字幕情報取得部から得られる字幕情報と、前記受信した動画像情報に基づき字幕表示内容を制御する字幕表示制御部と、
   該字幕表示制御部の出力結果を表示する表示部と、
   を備えることを特徴とする字幕表示装置。
4. 前記標準字幕表示時間判定用モデルが、多くの字幕情報で学習した言語モデルを用いて算出した字幕情報のエントロピーと字幕情報を表示するために必要な時間とを関連付けたデータベースにより構成されることを特徴とする請求項３に記載の字幕表示装置。
5. 前記字幕表示時間算出部が、前記字幕情報取得部において取得された字幕情報のエントロピーを算出するとともに、該算出したエントロピーを前記標準字幕表示時間判定用モデルと対比して、前記取得された字幕情報に必要な表示時間を算出することを特徴とする請求項４に記載の字幕表示装置。
6. 早送り再生される動画像に字幕情報を表示する字幕表示装置であって、
   録画した番組の動画像を蓄積する番組蓄積部と、
   該動画像から字幕情報を得る字幕情報取得部と、
   該取得された字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する字幕表示時間算出部と、
   視聴者の視聴動作を入力するリモコン入力部と、
   該字幕表示時間算出部から出力された字幕表示時間と、前記字幕情報取得部から得られる字幕情報と、録画された動画像情報と、リモコン情報とに基づき字幕表示内容を制御する字幕表示制御部と、
   該字幕表示制御部の出力結果を表示する表示部と、
   を備えることを特徴とする字幕表示装置。
7. 前記標準字幕表示時間判定用モデルが、多くの字幕情報で学習した言語モデルを用いて算出した字幕情報のエントロピーと字幕情報を表示するために必要な時間とを関連付けたデータベースにより構成されることを特徴とする請求項６に記載の字幕表示装置。
8. 前記字幕表示時間算出部が、前記字幕情報蓄積部に蓄積された字幕情報のエントロピーを算出するとともに、該算出したエントロピーを前記標準字幕表示時間判定用モデルと対比して、前記蓄積された字幕情報に必要な表示時間を算出することを特徴とする請求項７に記載の字幕表示装置。
9. 動画像を受信し、字幕情報を表示する字幕表示方法であって、
   放送信号を受信する第１のステップと、
   該受信した放送信号から字幕情報を得る第２のステップと、
   該取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する第３のステップと、
   該第３のステップにおいて出力された字幕表示時間と、前記第２のステップにおいて得られる字幕情報と、前記第１のステップにおいて受信した動画像情報に基づき字幕表示内容を制御する第４のステップと、
   該第４のステップの出力結果を表示する第５のステップと、
   を備えることを特徴とする字幕表示方法。
10. 早送り再生される動画像に字幕情報を表示する字幕表示方法であって、
    録画した番組の動画像を蓄積する第１のステップと、
    該動画像から字幕情報を得る第２のステップと、
    該第２のステップにおいて取得された字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する第３のステップと、
    該第３のステップにおいて出力された字幕表示時間と、前記第２のステップにおいて得られる字幕情報と、第１のステップにおいて録画された動画像情報と、視聴者の視聴動作を入力するリモコン情報とに基づき字幕表示内容を制御する第４のステップと、
    前記第４のステップにおける出力結果を表示する第５のステップと、
    を備えることを特徴とする字幕表示方法。
11. コンピュータに、動画像を受信し、字幕情報を表示する字幕表示方法を実行させるためのプログラムであって、
    放送信号を受信する第１のステップと、
    該受信した放送信号から字幕情報を得る第２のステップと、
    該取得した字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する第３のステップと、
    該第３のステップにおいて出力された字幕表示時間と、前記第２のステップにおいて得られる字幕情報と、前記第１のステップにおいて受信した動画像情報に基づき字幕表示内容を制御する第４のステップと、
    該第４のステップの出力結果を表示する第５のステップと、
    をコンピュータに実行させるためのプログラム。
12. コンピュータに、早送り再生される動画像に字幕情報を表示する字幕表示方法を実行させるためのプログラムであって、
    録画した番組の動画像を蓄積する第１のステップと、
    該動画像から字幕情報を得る第２のステップと、
    該第２のステップにおいて取得された字幕情報と予め蓄積されている標準字幕表示時間判定用モデルに基づき字幕表示時間を算出する第３のステップと、
    該第３のステップにおいて出力された字幕表示時間と、前記第２のステップにおいて得られる字幕情報と、第１のステップにおいて録画された動画像情報と、視聴者の視聴動作を入力するリモコン情報とに基づき字幕表示内容を制御する第４のステップと、
    前記第４のステップにおける出力結果を表示する第５のステップと、
    をコンピュータに実行させるためのプログラム。

Images