JP2007336593A - 情報表示装置、情報表示方法及びプログラム - Google Patents

Abstract

【課題】視聴時の状況に応じて字幕文字情報の表示に関する制御を行うことが可能な情報表示装置を提供すること。
【解決手段】画面を分割して表示する機能を備えた情報表示装置において、再生制御部４２は、利用者の操作に応じて単一画面表示と複数画面表示の切り替え制御を行い、複数画面表示においては、利用者の操作に応じて音声出力する画面を選択して音声を再生する制御を行う。字幕表示制御部２３は、複数画面表示においては、音声出力が選択されていない画面の字幕を表示状態にする制御を行う。
【選択図】 図１

Description

本発明は、テレビジョン受像機又はＤＶＤやハードディスクビデオレコーダに代表される映像再生装置又は映像記録再生装置等に内蔵又は接続されて、字幕（クローズドキャプション）の表示機能を提供する情報表示装置、情報表示方法及びプログラムに関する。

テレビジョン放送やＤＶＤ映像コンテンツにおいて、音声情報を補完する字幕の文字情報が提供されている。テレビジョン放送においては、ビデオ信号に文字多重信号が重畳されている。具体的には、垂直ブランキング期間中に挿入される識別信号（ＶＢＩ信号）を使用して文字情報を伝送している（例えば、特許文献１参照）。ＤＶＤ等では多言語の字幕情報を映像や音声と共に記録することができるようになっている。また、デジタルハイビジョン放送では、副映像情報として字幕を伝送することも可能となっている。

字幕の文字情報の利用は、聴覚障害者や難聴者だけでなく健聴者においても、画像に対応する音声が聞き取りにくい場合に有効と考えられる（例えば、再生音量が小さい場合、周囲の騒音が大きい場合等）。また、画像に対応する音声を聞き取り可能な形で再生することが困難な場合にも有効と考えられる（例えば、画像を表示した状態での早送り等の高速再生の場合、スロー再生の場合、一時停止の場合、逆方向再生の場合、マルチ画面表示の場合等）。

しかし、このような視聴時の状況に応じた字幕文字情報の表示機能は、従来の映像再生装置や情報表示装置では提供されていなかった。

なお、単にミュート時に字幕表示を行う技術も知られている（例えば、特許文献２参照）。
特開平９−６５２９５号公報（図１） 特開平７−４６５００号公報（図１）

従来の映像再生装置や情報表示装置では、視聴時の状況に応じて字幕文字情報の表示に関する制御を行う機能は、提供されていなかった。

本発明は、上記事情を考慮してなされたもので、テレビジョン受像機、映像再生装置、映像記録再生装置等における映像再生時や、音声再生装置、音声記録再生装置等における音声再生時に、音声の再生されている状況に応じて字幕文字情報を表示状態にさせあるいは表示形態を変更し、音声を聞き取ることあるいは理解することなどが不可能又は困難と思われる状況等での音声情報の補完を適切に行うなど、視聴時の状況に応じて字幕文字情報の表示に関する制御を行うことが可能な情報表示装置、情報表示方法及び情報表示プログラムを提供することを目的とする。

本発明に係る情報表示装置は、再生音声の再生状態を検知する音声検知手段と、前記再生音声と関連付けられた文字情報を表示する字幕表示手段と、検知された前記再生状態に応じて、前記字幕表示手段における前記文字情報の表示状態を切り替える切替制御を行う字幕表示制御手段とを備えたことを特徴とする。

また、本発明に係る情報表示装置は、再生音声信号を参照して再生音声以外の周囲の雑音レベルを判定する騒音検知手段と、前記再生音声と関連付けられた文字情報を表示する字幕表示手段と、検知された前記周囲の騒音レベルに応じて、前記字幕表示手段における前記文字情報の表示状態を切り替える切替制御を行う字幕表示制御手段とを備えたことを特徴とする。

また、本発明に係る情報表示装置は、記憶媒体から映像及び音声を再生する再生手段と、前記再生手段における前記映像及び音声の再生状態を制御する再生制御手段と、前記映像及び音声と関連付けられた文字情報を表示する字幕表示手段と、前記再生状態に応じて、前記字幕表示手段における前記文字情報の表示状態を切り替える切替制御を行う字幕表示制御手段とを備えたことを特徴とする。

また、本発明に係る情報表示装置は、映像及び音声を再生する再生手段と、前記映像及び音声と関連付けられた文字情報を表示する字幕表示手段と、単一画面表示状態と複数画面表示状態との選択を行う表示選択手段と、前記表示選択手段により複数画面表示状態が選択された場合に、複数画面表示される当該複数の画面の各々について、文字情報の表示状態を切り替える切替制御を行う字幕表示制御手段とを具備したことを特徴とする。

また、本発明に係る情報表示方法は、再生音声を出力するステップと、前記再生音声の再生状態を検知するステップと、検知された前記再生状態に応じて、前記再生音声と関連付けられた文字情報の表示状態を切り替える切替制御を行うステップとを有することを特徴とする。

また、本発明に係る情報表示方法は、再生音声を出力するステップと、再生音声信号を参照して再生音声以外の周囲の雑音レベルを判定するステップと、検知された前記周囲の騒音レベルに応じて、前記再生音声と関連付けられた文字情報の表示状態を切り替える切替制御を行うステップとを有することを特徴とする。

また、本発明に係る情報表示方法は、記憶媒体から映像及び音声を再生するステップと、前記映像及び音声の再生状態を制御するステップと、前記再生状態に応じて、前記映像及び音声と関連付けられた文字情報の表示状態を切り替える切替制御を行うステップとを有することを特徴とする。

また、本発明に係る情報表示方法は、単一画面表示状態と複数画面表示状態との選択を行うステップと、前記単一画面表示状態では単一の画面に、前記複数画面表示状態では複数の画面の各々について、映像及び音声を再生するステップと、前記複数画面表示状態が選択された場合に、前記複数の画面の各々について、前記映像及び音声と関連付けられた文字情報の表示状態を切り替える切替制御を行うステップとを有することを特徴とする。

なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。

本発明によれば、テレビジョン受像機、映像再生装置、映像記録再生装置等における映像再生時や、音声再生装置、音声記録再生装置等における音声再生時に、音声の再生されている状況に応じて字幕文字情報を表示状態にさせあるいは表示形態を変更し、音声を聞き取ることあるいは理解することなどが不可能又は困難と思われる状況等での音声情報の補完を適切に行うなど、視聴時の状況に応じて字幕文字情報の表示に関する制御を行うことが可能になる。例えば、音声が適切に聴取可能な状態として予め設定された条件を満たしていない場合に、音声情報を補完する字幕情報を適切に表示しあるいはその表示形態を適切に変更することができる。

本発明によれば、視聴時の状況に応じて字幕文字情報の表示に関する制御を行うことが可能になる。

以下、図面を参照しながら発明の実施の形態を説明する。

（第１の実施形態）
本発明の第１の実施形態に係る情報表示装置は、映像及び音声並びに字幕文字情報のデータを含む放送等の情報を受信する装置等に接続して使用されるものである。字幕文字情報は、映像及び音声とは別のデータとして与えられる場合の他に、映像信号中に重畳されて伝送される場合や、副映像として受信される場合を含む。

図１に、本実施形態の情報表示装置の構成例を示す。

図１に示されるように、本実施形態の情報表示装置は、音声信号を入力する音声入力部１１、入力された音声信号を処理し、音声の出力状態を検知する音声再生状態検知部１２、入力された音声信号を出力する音声出力部１３、周囲の騒音レベルを検知する騒音検知部１４、映像信号を入力する映像入力部２１、字幕文字情報を入力する文字情報入力部２７、入力された字幕文字情報の表示に関する制御を行う字幕表示制御部２３、入力された映像信号と、入力された字幕文字情報と、文字フォントデータとをもとに、字幕表示された映像信号を生成する字幕映像生成部２４、この字幕映像生成部２４により生成された映像信号を出力する映像出力部２５を備えている。なお、字幕が非表示になる場合には、字幕映像生成部２４は、字幕表示せずに映像信号を出力する。文字フォントデータは、例えば、字幕映像生成部２４に内蔵されていてもよい。

音声再生状態検知部１２では、音声入力部１１において入力された音声信号の音量を監視する。これは一定時間毎の最大パワー等によることができる。なお、音声信号の音量が無音であることのみ検知する構成も可能である。

騒音検知部１４では、マイクロホンにより周囲の騒音を取り込んで、騒音の大きさを検知する。マイクロホンは、音声出力部１３の出力する音声の影響を受けにくいよう配置するか、音声入力部１１において入力された音声信号を参照することによって再生音以外の周囲の音を推定するとよい。また、指向性を持つマイクロホンによってユーザの視聴位置における騒音を検知するようにしてもよい。

字幕表示制御部２３では、音声再生状態検知部１２において検知された音声信号の音量及び騒音検知部１４で検知された周囲の騒音の大きさに応じて、図２に例示する３つのルール、すなわち、
「ルール１ ： 音声信号が無音の場合や、ある一定レベル以下の場合には、字幕を表示状態にする。」、
「ルール２ ： 周囲の騒音レベルに応じて基準レベルを決定した後、音声信号が基準レベル以下の場合には字幕を表示状態にする。」、
「ルール３ ： 周囲の騒音レベルがある一定レベル以上の場合には、字幕を表示状態にする。」、
のうち少なくとも１つに従って、字幕の表示状態と非表示状態を選択し、字幕映像生成部２４を制御する。

なお、上記のルールのうち２以上のものを利用する場合には、利用するルールの全てに該当しない場合にのみ、非表示状態を選択する。他方、１つでも該当するルールがあれば、表示状態を選択する。

ルールの該当性の判断手順としては、例えば、１つずつルールを取り出して、該当の有無をチェックし、最初に該当するものが見つかった時点で、表示状態を選択して、手順を終了し、他方、全てのルールについてチェックしても該当するものがなかったならば、非表示状態を選択して、手順を終了するようにしてもよい。

ここで、上記の例では、ルール１及びルール２によれば、音声信号が小さいことによる聞き取りにくさに対応して、字幕が適切に表示される。なお、これらを実施しない場合には、音声再生状態検知部１２は不要である。音声再生状態検知部１２を備えない場合には、音声入力部１１を直接音声出力部１３に接続すればよい。

また、ルール２及びルール３によれば、周囲の騒音による聞き取りにくさに対応して、字幕が適切に表示される。なお、これらを実施しない場合には、騒音検知部１４は不要である。

例えば、テレビチューナ側で音量を小さくした場合、笑い声などは聞こえるが話の内容を聞いて理解するのは困難である。また、電話の呼出音が鳴り出した場合など、周囲の騒音が大きくなった場合には、テレビの音声が聞きにくくなる。テレビの音量を大きくしておけば、多少の騒音でも聞き取れる。

本実施形態によれば、これら音声が聞き取りにくい状況において、自動的に字幕が表示され、内容が理解できるようになる。図３（ａ）に、字幕非表示状態から自動的に字幕表示状態になる様子を例示する。

また、前記の各基準レベルや前記の関数のパラメータは、視聴するユーザ毎に設定できるようにするとよい。例えば、熟年ユーザでは音声信号の基準レベルを若年ユーザより高めになるようにすることが考えられる。ヘッドホンやイヤホンを使用して視聴するユーザに対しては、周囲雑音の基準レベルを高くしたり、周囲雑音による各基準レベルへの影響を小さくしたりすることが考えられる。

ところで、健聴者ユーザ向けの場合、通常は字幕による情報の補完はあまり必要でないため、字幕表示状態であっても文字を標準より小さくしておき、前記の字幕表示制御条件に応じて、図３（ｂ）に示すように、標準の大きさの文字に変えたり、図３（ｃ）に示すように、標準より大きくしたり、図３（ｄ）に示すように、行数を増やしたりするようにしてもよい。

一方、聴覚障害者ユーザにおいてはこれらの音声条件による字幕表示制御は意味をなさないため、ユーザに応じて常に字幕表示状態となるモードも選択できるようにしておくとよい。

さらに、各条件について複数の基準レベルを設けて聞き取りにくさを数段階で評価し、聞き取りにくさの値の最大値を利用して、図４に示すように、数段階の動作に対応付けたりするようにしてもよい。

なお、本実施形態における情報表示装置は、音量調節を行うアンプ等の前段、テレビチューナからの入力を処理するように接続することも可能であるが、アンプ等による音量調節後の出力信号や、スピーカをドライブする信号を処理するように接続すれば、音量調節の状態が反映され、実際の音声の聞き取りにくさがより反映されたものにできる。

なお、上記したルール１〜ルール３は、等価な他の表現方法が可能である。

例えば、ルール３について、「周囲の騒音レベルがある一定レベル未満でない場合には、字幕を表示状態にする。」などとしてもよい。他のルールも同様である。

また、上記したルール１〜ルール３は、いずれも表示状態にする条件を規定し、１つでも条件を充足した場合に、表示状態にし、いずれの条件も充足されなかった場合に、非表示状態にする、とするものであったが、その逆に、いずれも非表示状態にする条件を規定し、全ての条件を充足する場合に、非表示状態にし、１つでも条件を充足しなかった場合に、表示状態にする、というようにしてもよい。

また、上記したルールや機能は一例であり、種々のバリエーションが可能である。

もちろん、以上説明した各種機能の全部（又は一部）を備え、ユーザがどの機能を使用するかを任意に設定できるようにしてもよい。

（第２の実施形態）
本発明の第２の実施形態に係る情報表示装置は、映像及び音声並びに字幕文字情報のデータが記録されたＤＶＤ等の記録媒体の読み出し及び再生を行う装置等に組み込んで実現されるものである。

図５に、本実施形態の情報表示装置の構成例を示す。

図５に示されるように、本実施形態の情報表示装置は、映像及び音声並びに字幕文字情報のデータが記録された記録媒体３１、記録媒体の読み出し及び再生を制御する再生制御部３２、記録媒体３１から音声データを読み出す音声再生部３３、音声データを処理し、音声の出力状態を検知する音声再生状態検知部１２と、音声データを音声信号として出力する音声出力部１３、周囲の騒音レベルを検知する騒音検知部１４、記録媒体３１から映像データを読み出す映像再生部３４、記録媒体３１から字幕文字情報データを読み出す字幕再生部３５、読み出された字幕文字情報データの表示に関する制御を行う字幕表示制御部２３、読み出された映像データと、読み出された字幕文字情報データと、文字フォントデータをもとに、字幕表示された映像信号を生成する字幕映像生成部２４、生成された字幕の映像信号を出力する映像出力部２５を備えている。

音声再生状態検知部１２、音声出力部１３、騒音検知部１４、字幕映像生成部２４及び映像出力部２５は、基本的には、第１の実施形態と同様である。

再生制御部３２では、操作パネル、リモコン等を介した利用者の操作に応じて、再生状態及び再生音量を制御し、映像、音声、字幕の各情報の読み出しと再生出力を行う。

字幕表示制御部２３では、音声再生状態検知部１２において検知された音声信号の音量及び騒音検知部１４で検知された周囲の騒音の大きさ並びに再生制御部３２における再生状態及び再生音量に応じて、図６に例示する９つのルール、すなわち、
「ルール１ ： 音声信号が無音の場合や、ある一定レベル以下の場合には、字幕を表示状態にする。」、
「ルール２ ： 周囲の騒音レベルに応じて基準レベルを決定した後、音声信号が基準レベル以下の場合には字幕を表示状態にする。」、
「ルール３ ： 周囲の騒音レベルがある一定レベル以上の場合には、字幕を表示状態にする。」、
「ルール４ ： 再生状態が等速再生以外の順方向再生である場合には、字幕を表示状態にする。」、
「ルール５ ： 再生状態が逆方向再生の場合には、字幕を表示状態にする。」、
「ルール６ ： 再生状態が一時停止の場合には、字幕を表示状態にする。」、
「ルール７ ： 再生音量がミュート（消音）の場合や、ある一定レベル以下の場合には、字幕を表示状態にする。」、
「ルール８ ： 周囲の騒音レベルに応じて基準レベルを決定した後、再生音量が基準レベル以下の場合には、字幕を表示状態にする。」、
「ルール９ ： 再生状態が主音声以外の音声チャネルを出力している場合には、字幕を表示状態にする。」、
のうち少なくとも１つに従って、字幕の表示状態と非表示状態を選択し、字幕映像生成部２４を制御する。複数のルールを利用する場合には、全てのルールで非表示状態となったときに、非表示状態を選択する。

なお、ルール２及びルール３並びにルール８を実施しない場合には、騒音検知部１４は不要である。また、ルール１及びルール２を実施しない場合には、音声再生状態検知部１２は不要である。

また、ルール４〜ルール６について、字幕表示制御部２３での字幕表示状態選択に適用する代わりに、これらに該当する状態の場合に再生制御部３２において再生音声をミュート（消音）してもよい。この場合、再生音声が無音であることが音声再生状態検知部１２において検出され、ルール１が適用されることで、同等の効果を得ることができる。

なお、ルール４〜ルール６の代わりに、「再生状態が順方向等速再生以外の場合には、字幕を表示状態にする。」というルールを用いてもよい。

例えば、ルール４によれば、５倍速の早送り再生中に図７に例示するように字幕表示することができる。

また、例えば、ＤＶＤビデオの再生音量を小さくした場合、笑い声などは聞こえるが話の内容を聞いて理解するのは困難である。また、電話の呼出音が鳴り出した場合など、周囲の騒音が大きくなった場合には、ＤＶＤビデオの音声が聞きにくくなる。再生音量を大きくしておけば、多少の騒音でも聞き取れる。なお、これらの音量の判定は、音声信号から判定してもよく、またＤＶＤビデオ装置等の制御情報から判定してもよい。

また、倍速再生などの特殊再生の場合、音声は聞き取りやすい形で再生することは困難である。時間軸をそのまま短縮すると音声のピッチが変わってしまう。ピッチの変動なしに時間伸縮する話速変換技術を使っても、５０％程度以上の伸縮では聞き取りが困難になってくる。逆に、±２０％程度の伸縮であれば聞き取りにあまり困難は生じないため、等速再生と同等とみなすことができる。従って、ルール４における「等速再生でない場合」を判別する条件として、例えば「０．８倍速以下か１．２倍速以上で音声付き再生の場合」等とするようにしてもよい。

他方、逆方向（巻き戻し）に再生する場合は、等速であっても聞き取りはできないのが普通である。また、一般的な再生制御においては、一時停止中は画像と同期させた音声を出力することはできない。

また、２か国語放送のように複数の音声チャネルが提供されている場合、通常は主音声か副音声のように１つの音声を選択して出力する。副音声を選択すると主音声が出力されない形になるので、多くの場合に主音声と対応付けられている字幕を表示するとよい。また、主音声を左チャネル、副音声を右チャネル等に割り当てて同時に出力する場合にも、主音声が聞き取りにくくなるので字幕を表示するとよい。

また、言語を指定して音声チャネルを選択する場合、ユーザの母国語は聞き取りが容易であるが、母国語以外では聞き取りが難しい場合がある。このような場合に、音声の言語と対応した字幕を表示するとよい。あるいは、ユーザの母国語を選択して設定しておき、母国語以外の音声チャネルが選択されている場合には、ユーザの母国語の字幕を表示するとよい。

本実施形態によれば、これら音声が聞き取りにくい状況において、自動的に字幕が表示され、内容が理解できるようになる。

次に、字幕表示制御部２３における処理の流れを図８のフローチャートを参照して説明する。

まず、音声再生状態検知部１２において検出された音声信号の音量についての評価（ルール１、ルール２）を行い、字幕表示動作モードを設定する（ステップＳ１）。

次に、騒音検知部１４において検知された周囲の騒音の大きさについての評価（ルール３）を行い、字幕表示動作モードを設定する（ステップＳ２）。

続いて、再生制御部３２において保持されている再生状態のうち、再生速度についての評価（ルール４〜ルール６）を行い、字幕表示動作モードを設定する（ステップＳ３）。

さらに、再生制御部３２において保持されている再生音量についての評価（ルール７、ルール８）を行い、字幕表示動作モードを設定する（ステップＳ４）。

また、再生制御部３２において保持されている音声多重の選択音声についての評価（ルール９）を行い、字幕表示動作モードを設定する（ステップＳ５）。

最後に、前記各ステップによる字幕表示動作モードのうち、最も聞き取りにくいと判定されたものに従って字幕の表示状態を決定し、字幕表示の制御を行う（ステップＳ６）。

ステップＳ１における詳細な処理の流れを図９のフローチャートを参照して説明する。

まず、音声信号レベルＡｌについて、予め設定された第１の基準レベルＡｌ０との比較が行われる（ステップＳ１１）。Ａｌが小さい場合にはさらに、予め設定された第２の基準レベルＡｌ１との比較が行われる（ステップＳ１２）。ここでもＡｌが小さい場合には（ルール１）字幕表示動作モード２が設定される（ステップＳ１７）。また、ステップＳ１２においてＡｌが大きいか等しい場合には（ルール１）字幕表示動作モード１が設定される（ステップＳ１６）。

次に、周囲の騒音の大きさＡｎに応じて決められる基準レベルＦｌｎ（Ａｎ）を算出し（ステップＳ１３）、音声信号レベルＡｌとの比較が行われ（ステップＳ１４）、Ａｌが小さい場合には（ルール２）字幕表示動作モード１が設定される（ステップＳ１６）。

最後に、いずれの条件にも該当しなかった場合には、字幕表示動作モード０が設定される（ステップＳ１５）。

ここで、逆方向再生の場合の字幕の表示方法について、図１０の例を参照して説明する。

本例では、フレームＦ１からフレームＦ１１までの映像情報と、時間同期させた音声情報があり、フレームＦ２には「映像に合わせて」、フレームＦ６には「表示されます」、フレームＦ１０には字幕消去の各字幕情報が付加または重畳されているものとする。

順方向再生の場合は、Ｆ１からＦ１１まで順番に再生され、Ｆ２からＦ５までは「映像に合わせて」、Ｆ６からＦ９までは「表示されます」の字幕が表示される。

一方、逆方向再生の場合はＦ１１からＦ１まで逆順に再生される。

Ｆ１１では、字幕情報が含まれるフレームを逆順に検索し、Ｆ１０に字幕消去の情報があるのを見つけると、字幕なしでＦ１１、Ｆ１０を表示する。

次に、Ｆ９では、字幕情報が含まれるフレームを逆順に検索し、Ｆ６に「表示されます」の字幕情報を見つけると、「表示されます」の字幕付きでＦ９、Ｆ８、Ｆ７、Ｆ６を表示する。

続いて、Ｆ５では、字幕情報が含まれるフレームを逆順に検索し、Ｆ２に「映像に合わせて」の字幕情報を見つけると、「映像に合わせて」の字幕付きでＦ５、Ｆ４、Ｆ３、Ｆ２を表示する。

最後に、Ｆ１では、字幕情報が含まれるフレームが前に存在しないので、字幕を消去してＦ１を表示する。

なお、上記したルール１〜ルール９は、等価な他の表現方法が可能である。例えば、ルール５について、「再生状態が順方向再生でも一時停止でも停止でもない場合には、字幕を表示状態にする。」などとしてもよい。他のルールも同様である。

また、上記したルール１〜ルール９は、いずれも表示状態にする条件を規定し、１つでも条件を充足した場合に、表示状態にし、いずれの条件も充足されなかった場合に、非表示状態にする、とするものであったが、その逆に、いずれも非表示状態にする条件を規定し、全ての条件を充足する場合に、非表示状態にし、１つでも条件を充足しなかった場合に、表示状態にする、というようにしてもよい。

また、上記したルールや機能は一例であり、種々のバリエーションが可能である。

もちろん、以上説明した各種機能の全部（又は一部）を備え、ユーザがどの機能を使用するかを任意に設定できるようにしてもよい。

（第３の実施形態）
本発明の第３の実施形態に係る情報表示装置は、映像及び音声並びに字幕文字情報のデータが記録されたＤＶＤ等の記録媒体の読み出し及び再生を行う装置等に接続して使用されるものである。字幕文字情報は、映像及び音声とは別のデータとして与えられる場合の他に、映像信号中に重畳されて記録される場合を含む。

図１１に、本実施形態の情報表示装置の構成例を示す。

図１１に示されるように、本実施形態の情報表示装置は、音声信号を入力する音声入力部１１、入力された音声信号を処理し、音声の出力状態を検知する音声再生状態検知部１２、入力された音声信号を出力する音声出力部１３、周囲の騒音レベルを検知する騒音検知部１４、映像等の再生の制御情報を入力する制御情報入力部２６、映像信号を入力する映像入力部２１、字幕文字情報を入力する文字情報入力部２７、入力された字幕文字情報の表示に関する制御を行う字幕表示制御部２３、入力された映像信号、入力された字幕文字情報と、文字フォントデータとをもとに、字幕表示された映像信号を生成する字幕映像生成部２４、生成された字幕の映像信号を出力する映像出力部２５を備えている。

音声入力部１１、音声再生状態検知部１２、音声出力部１３、騒音検知部１４、映像入力部２１、文字情報入力部２７、字幕映像生成部２４及び映像出力部２５は、基本的には、第１の実施形態や第２の実施形態と同様である。

制御情報入力部２６では、記録媒体からの映像等の再生を行う装置において操作パネル、リモコン等を介した利用者の操作に応じて制御される、再生状態及び再生音量の情報を入力する。

字幕表示制御部２３では、音声再生状態検知部１２において検知された音声信号の音量及び騒音検知部１４で検知された周囲の騒音の大きさ並びに制御情報入力部２６において入力された再生状態情報及び再生音量情報に応じて、例えば第２の実施形態で例示した９つのルール（ルール１〜ルール９）のうち少なくとも１つに従って、字幕の表示状態と非表示状態を選択し、字幕映像生成部２４を制御する。複数のルールを利用する場合には、利用する全てのルールで非表示状態となったときに、非表示状態を選択する。

なお、本実施形態における情報表示装置は、ＤＶＤ記録再生装置等の動作状態を出力してもらって、制御情報入力部２６へ入力するように構成することもできるが、ＤＶＤ記録再生装置等の操作を行うリモコンの信号（赤外線や無線等）を傍受して動作してもよい。

また、本実施形態における情報表示装置は、音量調節を行うアンプ等の前段、ＤＶＤ記録再生装置等からの入力を処理するように接続することも可能であるが、アンプ等による音量調節後の出力信号や、スピーカをドライブする信号を処理するように接続すれば、音量調節の状態が反映され、実際の音声の聞き取りにくさがより反映されたものにできる。

なお、上記したルールや機能は一例であり、種々のバリエーションが可能である。

もちろん、以上説明した各種機能の全部（又は一部）を備え、ユーザがどの機能を使用するかを任意に設定できるようにしてもよい。

（第４の実施形態）
本発明の第４の実施形態に係る情報表示装置は、映像及び音声並びに字幕文字情報のデータを含む放送等の情報を受信する装置等に組み込んで実現されるものである。字幕文字情報は、映像及び音声とは別のデータとして与えられる場合の他に、映像信号中に重畳されて伝送される場合や、副映像として受信される場合を含む。

図１２に、本実施形態の情報表示装置の構成例を示す。

図１２に示されるように、本実施形態の情報表示装置は、電波やケーブル等を介して伝送される放送等のコンテンツを受信するコンテンツ受信部４１、受信された情報から音声データを抽出する音声再生部４３、抽出された音声信号を処理し、音声の出力状態を検知する音声再生状態検知部１２、抽出された音声信号を出力する音声出力部１３、周囲の騒音レベルを検知する騒音検知部１４、受信された情報から映像データを抽出する映像再生部４４、受信された情報から字幕文字情報データを抽出する字幕再生部４５、抽出された字幕文字情報の表示に関する制御を行う字幕表示制御部２３、抽出された映像信号と、入力された字幕文字情報と、文字フォントデータとをもとに、字幕表示された映像信号を生成する字幕映像生成部２４、生成された字幕の映像信号を出力する映像出力部２５を備えている。

音声再生状態検知部１２、音声出力部１３、騒音検知部１４、字幕映像生成部２４及び映像出力部２５は、基本的には、第１の実施形態や第２の実施形態や第３の実施形態と同様である。

再生制御部４２では、操作パネル、リモコン等を介した利用者の操作に応じて、再生状態及び再生音量を制御し、映像、音声、字幕の各情報の読み出しと再生出力を行う。

また、複数のチャネルで伝送されるコンテンツを並行して受信し、図１３のように画面を分割して表示する機能を備えた場合には、再生制御部４２では、利用者の操作に応じて画面表示状態の制御も行う。また、分割表示された画面のうち１つのコンテンツを選択して音声を再生する制御も行う。

字幕表示制御部２３では、音声再生状態検知部１２において検知された音声信号の音量及び騒音検知部１４で検知された周囲の騒音の大きさ並びに再生制御部４２における再生状態及び再生音量並びに画面表示状態に応じて、次に例示する４つのルール、すなわち、
「ルール１ ： 音声信号が無音の場合や、ある一定レベル以下の場合には、字幕を表示状態にする。」、
「ルール２ ： 周囲の騒音レベルに応じて基準レベルを決定した後、音声信号が基準レベル以下の場合には字幕を表示状態にする。」、
「ルール３ ： 周囲の騒音レベルがある一定レベル以上の場合には、字幕を表示状態にする。」、
「ルール10 ： 画面表示が複数画面の分割表示の場合で、その分割画面について音声出力が選択されていない場合は字幕を表示状態にする。」、
のうち少なくとも１つに従って、字幕の表示状態と非表示状態を選択し、字幕映像生成部２４を制御する。複数のルールを利用する場合には、全てのルールで非表示状態となったときに、非表示状態を選択する。

なお、ルール２及びルール３を実施しない場合には、騒音検知部１４は不要である。また、ルール１及びルール２を実施しない場合には、音声再生状態検知部１２は不要である。

例えば、テレビの再生音量を小さくした場合、笑い声などは聞こえるが話の内容を聞いて理解するのは困難である。また、電話の呼出音が鳴り出した場合など、周囲の騒音が大きくなった場合には、テレビの音声が聞きにくくなる。テレビの音量を大きくしておけば、多少の騒音でも聞き取れる。なお、これらの音量の判定は、音声信号から判定してもよく、またテレビ等の制御情報から判定してもよい。

また、複数の放送局の受信等によって２画面以上の複数の画面を表示する場合、複数の画面に対応する音声を同時に出力して聞き取ることは困難であるので、図１３（ａ）に例示するように、各々の画面に対応する字幕を表示するとよい。また、通常は１つの画面を選択して音声を出力することになり、他の画面に対応する音声は出力されないので、図１３（ｂ）に例示するように、音声出力を選択された画面以外の各画面で対応する字幕を表示するとよい。

本実施形態によれば、これら音声が聞き取りにくい状況において、自動的に字幕が表示され、内容が理解できるようになる。

なお、上記したルール１〜ルール３、ルール１０は、いずれも表示状態にする条件を規定し、１つでも条件を充足した場合に、表示状態にし、いずれの条件も充足されなかった場合に、非表示状態にする、とするものであったが、その逆に、いずれも非表示状態にする条件を規定し、全ての条件を充足する場合に、非表示状態にし、１つでも条件を充足しなかった場合に、表示状態にする、というようにしてもよい。

また、上記したルールや機能は一例であり、種々のバリエーションが可能である。

もちろん、以上説明した各種機能の全部（又は一部）を備え、ユーザがどの機能を使用するかを任意に設定できるようにしてもよい。

なお、以上の各機能は、ソフトウェアとして記述し適当な機構をもったコンピュータに処理させても実現可能である。
また、本実施形態は、コンピュータに所定の手段を実行させるための、あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムとして実施することもできる。加えて該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係る情報表示装置の構成例を示すブロック図 同実施形態の字幕表示制御部における処理ルールの一例を示す図 同実施形態における字幕表示の制御の一例を示す図 同実施形態における字幕表示の制御の他の一例を示す図 本発明の第２の実施形態に係る情報表示装置の構成例を示すブロック図 同実施形態の字幕表示制御部における処理ルールの一例を示す図 同実施形態における画面表示の一例を示す図 同実施形態の字幕表示制御部における処理の流れの一例を示すフローチャート 図８のステップＳ１における詳細な処理の流れの一例を示すフローチャート 同実施形態における逆方向再生時の字幕表示方法の一例を示す図 本発明の第３の実施形態に係る情報表示装置の構成例を示すブロック図 本発明の第４の実施形態に係る情報表示装置の構成例を示すブロック図 同実施形態における画面の分割表示の一例を示す図

符号の説明

１１…音声入力部、１２…音声再生状態検知部、１３…音声出力部、１４…騒音検知部、２１…映像入力部、２３…字幕表示制御部、２４…字幕映像生成部、２５…映像出力部、２６…制御情報入力部、２７…文字情報入力部、３１…記録媒体、３２，４２…再生制御部、３３，４３…音声再生部、３４，４４…映像再生部、３５，４５…字幕再生部、４１…コンテンツ受信部

Claims (9)

1. 映像及び音声を再生する再生手段と、
   前記映像及び音声と関連付けられた文字情報を表示する字幕表示手段と、
   単一画面表示状態と複数画面表示状態との選択を行う表示選択手段と、
   前記表示選択手段により複数画面表示状態が選択された場合に、複数画面表示される当該複数の画面の各々について、文字情報の表示状態を切り替える切替制御を行う字幕表示制御手段とを具備したことを特徴とする情報表示装置。
2. 前記複数の画面のうち１つの画面を選択して音声を出力させる制御を行う音声制御手段を更に備え、
   前記字幕表示制御手段は、前記音声制御手段により選択された前記１つの画面以外の各々の画面について、前記切替制御を行うことを特徴とする請求項１に記載の情報表示装置。
3. 前記字幕表示制御手段は、前記切替制御として、前記文字情報が非表示状態となっている場合に、前記文字情報を表示状態に切り替える制御を行うことを特徴とする請求項１または２に記載の情報表示装置。
4. 前記字幕表示制御手段は、前記切替制御として、前記文字情報を表示する大きさを通常より大きい表示に切り替える制御を行うことを特徴とする請求項１または２に記載の情報表示装置。
5. 前記字幕表示制御手段は、前記切替制御として、前記文字情報を表示する行数を通常より多い行数の表示に切り替える制御を行うことを特徴とする請求項１または２に記載の情報表示装置。
6. 前記字幕表示制御手段は、前記字幕表示手段に前記文字情報の表示をさせる場合には、テレビジョン映像信号に重畳された文字情報を抽出し、該抽出された文字情報をもとに、表示させる字幕の画像を生成し、該生成した字幕の画像をインポーズした映像信号を出力することを特徴とする請求項１ないし５のいずれか１項に記載の情報表示装置。
7. 前記字幕表示制御手段は、前記字幕表示手段に前記文字情報の表示をさせる場合には、前記音声情報と対応付けて管理されている文字情報をもとに、表示させる字幕の画像を生成し、該生成した字幕の画像をインポーズした映像信号を出力することを特徴とする請求項１ないし５のいずれか１項に記載の情報表示装置。
8. 単一画面表示状態と複数画面表示状態との選択を行うステップと、
   前記単一画面表示状態では単一の画面に、前記複数画面表示状態では複数の画面の各々について、映像及び音声を再生するステップと、
   前記複数画面表示状態が選択された場合に、前記複数の画面の各々について、前記映像及び音声と関連付けられた文字情報の表示状態を切り替える切替制御を行うステップとを有することを特徴とする情報表示方法。
9. 情報表示装置としてコンピュータを機能させるためのプログラムであって、
   映像及び音声を再生する再生手段と、
   前記映像及び音声と関連付けられた文字情報を表示する字幕表示手段と、
   単一画面表示状態と複数画面表示状態との選択を行う表示選択手段と、
   前記表示選択手段により複数画面表示状態が選択された場合に、複数画面表示される当該複数の画面の各々について、文字情報の表示状態を切り替える切替制御を行う字幕表示制御手段とをコンピュータに機能させるためのプログラム。

Images