JP2005286969A - 記録再生装置、表示装置、及び字幕放送の字幕表示遅れ補正方法 - Google Patents

Abstract

【課題】ニュース字幕放送などのようにリアルタイムで放映される放送データを受信して記録再生を行う記録再生装置において、字幕の表示タイミングを補正して、再生時に映像／音声に対して字幕の表示遅れをなくす。
【解決手段】記録再生装置１０は、映像情報、音声情報、及び字幕情報などを含む放送データを受信するチューナ部１２、受信した放送データを記録する記録部１３、記録された映像／音声情報に対して前記字幕情報の表示タイミングの遅れの有無を判定する字幕表示遅れ判定部１４、該判定結果に従って前記表示タイミングの遅れを補正する字幕表示遅れ補正部１５を備える。字幕表示遅れ補正部１５は、前記音声情報が存在する発話区間と前記字幕情報から推定される推定発話区間との差異を求め、両区間長の差異が閾値以下になったときの前記発話区間の開始点及び終了点を抽出し、前記字幕情報の開始点及び終了点を前記抽出した開始点及び終了点に変更する。
【選択図】図１

Description

本発明は、記録再生装置、表示装置、及び字幕放送の字幕表示遅れ補正方法、より詳細には、テレビジョン（以下、テレビという）の文字多重放送などにおける字幕放送を受信して記録する記録再生装置、表示装置に関し、特に、ニュース放送のようにリアルタイムで放映される映像と字幕とを適切なタイミングで再生する技術に関する。

テレビ放送では字幕情報を送信できる文字多重放送が行われている。また、地上デジタル放送においても映像、音声のほかに字幕を送信する仕組みが設けられている。今日の文字多重放送では画面の一部に１行から２行程度の範囲で字幕と映像を重畳表示させている。

上記のような文字多重放送や地上デジタル放送の字幕放送において、生放送ではない、録画コンテンツの放送の場合、収録／編集から放送までの間に発話内容を解析し、字幕を作成する時間があるために、映像／音声と字幕の表示タイミングが一致する。しかしながら、ニュースなどの生放送に字幕を付与する場合には、発話内容をテキストに変換し、誤りチェックを行った後に送信されるため、映像／音声と字幕の表示タイミングにずれ（字幕の表示遅れ）が生じる。この字幕表示の遅れは字幕作成技術の向上により短縮される可能性はあるが、映像／音声から字幕を生成する過程を考慮すると、本質的に生じるものであるため、なくなることはない。

上記のような問題に対して、ニュース番組の一部ではアナウンサの発話する内容をテキストに変換し、放送することでリアルタイム字幕を付与する試みが行われている。

また、字幕作成に関する従来技術として、例えば、特許文献１には、事前原稿を元に表示すべき字幕案をあらかじめ用意しておき、アナウンサの音声をモニタしながら、リアルタイムで修正して送信する方法が開示されている。

さらに、特許文献２には、映像表示装置に映像を一時的に蓄積するバッファを設けて所定の時間分映像の出力を遅延させ、その間に所望の言語に字幕を翻訳し、遅延させた映像と翻訳した字幕を合わせて表示する方法が開示されている。

図１１は、従来の映像表示装置の内部構成例を示すブロック図で、図中、１００は映像表示装置で、該映像表示装置１００は、入力部１０１，チューナ部１０２，映像音声デコード部１０３，バッファ部１０４，字幕デコード部１０５，出力部１０６を備えている。
入力部１０１で受信した信号をチューナ部１０２を経由し、映像音声デコード部１０３と字幕デコード部１０５に送る。ここでデコードされた映像／音声データはバッファ部１０４にバッファリングされることにより出力部１０６に送られる時間を遅延させる。このバッファ部１０４の大きさにより遅延時間が決定する。このようにしてデコードされた字幕データと、遅延させた映像／音声データとを出力部１０６から出力することにより字幕表示の遅延時間を減らすように構成されている。
特開２００１−１６９１４８号公報 特開平１０−２３４０１６号公報

しかしながら、前述したように、映像／音声に対する字幕の表示タイミングのずれは、字幕の生成過程に起因して本質的に生じるものであるため、なくなることはない。
従って、上記ずれをなくすためには、放送局側で字幕作成の時間を考慮して似非（見せかけの）生放送、すなわち、実際には数分早く撮影して、字幕を付与した後に正規の時間に放送する方法が考えられるが、この方法は放送局によって限定されてしまうため、一般的ではない。

本発明は、上述のごとき実情に鑑みてなされたものであり、字幕の表示タイミングを補正して、再生時に映像／音声に対して字幕の表示遅れをなくすことができるようにすること、を目的とし、特にニュース字幕放送などのようにリアルタイムで放映される放送データの場合に用いて好適な方法を提供する。

上記課題を解決するために、本発明の第１の技術手段は、映像情報、音声情報、及び字幕情報などを含む放送データを受信する受信手段と、該受信した放送データを記録する記録手段と、該記録手段に記録された映像／音声情報に対して前記字幕情報の表示タイミングを補正する補正手段とを備えていることを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記記録再生装置は、前記記録手段に記録された放送データに対して前記字幕情報の表示タイミングの遅れの有無を判定する判定手段を備え、前記補正手段は、前記判定手段による判定結果に従って前記表示タイミングの遅れを補正することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記判定手段は、前記放送データの付加情報の一部として送信されてくる信号を元に前記字幕情報の表示タイミングの遅れの有無を判定することを特徴としたものである。

第４の技術手段は、第２の技術手段において、前記判定手段は、前記音声情報と前記字幕情報の関係から該字幕情報の表示タイミングの遅れの有無を判定することを特徴としたものである。

第５の技術手段は、第２の技術手段において、前記補正手段は、前記音声情報が存在するか否かを判定する手段と、該音声情報が存在する音声区間を演算する手段と、表示させる字幕情報が存在するか否かを判定する手段と、該字幕情報から推定音声区間を演算する手段とを備え、前記音声区間と前記推定音声区間とから前記字幕情報の表示タイミングの補正候補を決定することを特徴としたものである。

第６の技術手段は、第２の技術手段において、前記記録再生装置は、音素データを蓄積した音素データベースを備え、前記補正手段は、前記字幕情報のテキストデータと前記音素データベースとから擬似音声を生成する手段を備え、該擬似音声と前記音声情報とを比較することにより、前記字幕情報の表示タイミングの補正候補を決定することを特徴としたものである。

第７の技術手段は、第１乃至第６のいずれか１に記載の記録再生装置を備えた表示装置である。

第８の技術手段は、映像情報、音声情報、及び字幕情報などを含む放送データを受信する受信ステップと、該受信した放送データを記録手段に記録する記録ステップと、該記録された映像／音声情報に対して前記字幕情報の表示タイミングを補正する補正ステップとを有することを特徴としたものである。

第９の技術手段は、第８の技術手段において、前記記録手段に記録された放送データに対して前記字幕情報の表示タイミングの遅れの有無を判定する判定ステップを有し、前記補正ステップにおいて、前記判定ステップによる判定結果に従って前記表示タイミングの遅れを補正することを特徴としたものである。

第１０の技術手段は、第９の技術手段において、前記判定ステップにおいて、前記放送データの付加情報の一部として送信されてくる信号を元に前記字幕情報の表示タイミングの遅れの有無を判定することを特徴としたものである。

第１１の技術手段は、第９の技術手段において、前記判定ステップにおいて、前記音声情報と前記字幕情報の関係から該字幕情報の表示タイミングの遅れの有無を判定することを特徴としたものである。

第１２の技術手段は、第９の技術手段において、前記補正ステップは、前記音声情報が存在するか否かを判定するステップと、該音声情報が存在する音声区間を演算するステップと、表示させる字幕情報が存在するか否かを判定するステップと、該字幕情報から推定音声区間を演算するステップとを有し、前記音声区間と前記推定音声区間とから前記字幕情報の表示タイミングの補正候補を決定することを特徴としたものである。

第１３の技術手段は、第９の技術手段において、音素データを音素データベースに蓄積して有し、前記補正ステップは、前記字幕情報から取得されるテキストデータと前記音素データベースとから擬似音声を生成するステップを有し、該擬似音声と前記音声情報とを比較することにより、前記字幕情報の表示タイミングの補正候補を決定することを特徴としたものである。

本発明の記録再生装置あるいは表示装置は、受信した放送データを一旦ＨＤ（ハードディスク）または大容量メモリに蓄積し、蓄積後、再生するまでの間に字幕の表示タイミング（すなわち、時間的な表示位置）をずらして、映像／音声と同時に表示できるようにしたものである。
また、ＢＳデジタル放送や地上デジタル放送で用いられている規格であるＭＰＥＧ２ ＴＳで記録する場合、コンテンツ情報には映像、音声のほかに字幕を格納するフィールドが存在する。この字幕フィールドでは表示タイミングを定義することができるので、字幕位置をずらす際に表示タイミング自体を変更する。

ニュース字幕放送のようなリアルタイムで放映される放送データを受信して記録再生を行う場合においても、字幕の表示タイミングを補正して、再生時に映像／音声に対して字幕の表示遅れをなくすことができるため、字幕付与に関する不定期な表示遅れを解消し、映像／音声と同期して字幕情報を快適に閲覧することができる。

以下、本発明の実施の形態を、添付図面を参照して説明する。
尚、図１〜図８は発明を実施する形態の一例を説明するための図であって、図中、同一の符号を付した部分は同一物を示すものとする。

（第１の実施形態）
図１は、本発明の一実施形態である記録再生装置の構成例を示すブロック図で、図中、１０は記録再生装置で、該記録再生装置１０は、入力部１１，チューナ部１２，記録部１３，字幕表示遅れ判定部１４，字幕表示遅れ補正部１５，出力部１６を備えている。本記録再生装置１０は、入力部１１で受信した放送データをチューナ部１２に入力する。チューナ部１２では放送データから映像情報、音声情報、及び字幕情報などを取得して記録部１３に記録する。尚、本発明の記録再生装置１０は、例えば、デジタルチューナ内蔵のハードディスクレコーダや、デジタルチューナを外部接続可能なハードディスクレコーダ、ＤＶＤレコーダなどに好適に用いることができる。

図２は、図１に示した記録再生装置１０における字幕表示遅れの補正処理の一例を説明するためのフロー図である。
まず、記録再生装置１０は、チューナ１２を介して受信した映像データから、映像情報、音声情報、及び字幕情報などからなる番組情報を取得して記録部１３に記録し（ステップＳ１）、字幕表示遅れ判定部１４は記録部１３に記録された番組情報に対して字幕表示タイミングの補正が必要かどうかを判断する（ステップＳ２）。これは、例えば、記録部１３に記録された番組情報に字幕が付与されていない場合や、番組情報に字幕が付与されている場合でも生放送等でない場合、字幕表示タイミングの補正は必要ないと判断し（図中、ＮＯ）、映像／音声、あるいは映像／音声及び字幕を出力部１６から図示しない表示装置（例えば、ＣＲＴやＬＣＤ，プラズマディスプレイなど）に出力する（ステップＳ４）。

また、上記ステップＳ２において、字幕表示遅れ判定部１４は記録部１３に記録された番組情報に字幕が付与されている場合で且つ当該番組情報が生放送等だった場合、字幕表示タイミングの補正が必要と判断し（図中、ＹＥＳ）、字幕表示遅れ補正部１５が映像／音声に対して字幕表示タイミングを補正した後（ステップＳ３）、映像／音声及び字幕を同時に出力部１６から表示装置に出力する。

（字幕表示遅れ判定部１４の処理）
図１及び図２において、字幕表示遅れ判定部１４が、映像／音声に対して字幕表示タイミングの補正が必要と判定するのは、ニュースなどの生放送番組に付与された字幕の場合である。しかしながら、当該番組が生放送であるか否かが重要なのではなく、映像／音声に対して字幕が遅れて受信されることに起因する字幕表示遅れを補正する必要性があるかどうかが問題となる。そのため、生放送番組に限定されるものではない。例えば、収録されたトーク番組を放送する際に、発話量が多く、表示領域の制限によりやむをえず映像／音声と同期が取れていないような場合は補正が必要と判断してもよい。

上記したように、字幕表示遅れは、例えばニュースなどの生放送番組において字幕を付与しようとする場合に、アナウンサ等の発声後に字幕を作成して送信するまでのタイムラグにより発生する。このため録画コンテンツが生放送であるのか、一般的なドラマなどのように収録されたものを放送したものであるかを判定することによって、字幕表示タイミングの補正の必要性、すなわち字幕表示タイミングの遅れの有無を判断することができる。

ここでは、字幕表示遅れ判定部１４による、字幕表示タイミングの補正の必要性を判断する方法の一例として、番組が生放送であるかどうかを判断する。例えばＢＭＬ（Ｂｒｏａｄｃａｓｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）などの情報を手がかりに判断することができる。このＥＰＧのジャンル情報を使えば大まかにではあるが、生放送であるかどうかの判定が可能である。あるいは所定のタグを用意し、生放送である場合にはタグ情報の中に生放送であることを明記するようにしてもよい。

図３は、字幕表示遅れ判定部１４による、字幕表示タイミングの補正の必要性を判断する方法の他の例を説明するための図である。
図３に示すように、音声情報があるにもかかわらず、字幕情報がない区間（ずれ）が当該コンテンツにどの程度存在するかを集計する。コンテンツの途中では前のトピックに関する字幕情報と当該トピックとは異なる別のトピックの映像／音声が同時に存在する。従って、コンテンツの前半、あるいはＣＭ直後について集計することによって字幕表示タイミングを補正する必要があるかどうかを判定することができる。例えば、所定の閾値を設け、閾値よりもずれの量が大きければ字幕表示タイミングを補正する必要があると判断するようにすればよい。

さらに所定のタイミングでサンプリングを行ってもよい。例えば３０秒ごとに５秒ずつサンプリングし、音声の有り／無しと字幕の有り／無しを該コンテンツ全体に対して集計を行う。（音声有り、字幕無し）と（音声無し、字幕有り）の箇所が全体でどれだけあるかを集計し、集計結果が所定の閾値よりも大きい場合には字幕表示タイミングを補正する必要があると判断するようにすればよい。

（字幕表示遅れ補正部１５の処理）
次に、字幕表示遅れ補正部１５による、字幕表示タイミングの遅れを補正する方法の一例について説明する。一般的に、生放送の字幕データは不規則に送られてくるものの、概ね２秒から１０数秒遅れて受信される。このため、字幕表示開始点の探索は、字幕が送られてきた時間を元に探索領域を上記区間、すなわち字幕受信時刻から２秒から１０数秒前にさかのぼった区間に限定すればよい。

ある分析結果によるとアナウンサの発話速度は約４００文字／分、漫才師で約７００文字／分程度であると報告されている。そこで、音声情報の有無と字幕情報から字幕表示タイミングの補正候補を抽出する。例えば、音声パワーを基準に発話区間長を測定する。また放送ジャンルから発話速度を推定し、さらに、推定された発話速度と字幕情報とから推定発話区間長を推定する。前述の音声パワーによる発話区間長と推定発話区間長が近くなるように字幕の表示タイミングを補正する。尚、探索の範囲がオリジナル（元）の字幕表示開始点から１０数秒さかのぼる範囲でよいことは前述のとおりである。さらに、字幕表示区間が連続している場合、一つ前の字幕表示時間と推定された字幕表示開始点／終了点との関係からその終了点付近を探索するようにすると探索区間がさらに狭くなり、高速化することができる。この場合、字幕表示ショットの連続性が途切れたときに１０数秒さかのぼるようにすればよい。

図４は、字幕データから抽出されたテキストの表示遅れを補正する方法の他の例を説明するための図である。図３に示した例において、所定の長さより短いポーズは無視するようにしてもよい。例えば、『こんばんは』と『まず１４人の・・・』の間には短いポーズが存在する。ところが字幕情報では区切れることなく送られてくるので前述の推定発話区間長ではうまくいかない場合がある。そこで所定の閾値よりも短い無音区間の前後はつながっていると判断する。本例では所定の長さδｔとポーズ長δｔ１，δｔ２を比較した場合、δｔ＞δｔ１、δｔ＜δｔ２なので、発話区間長はＴ１となる。

同様に、所定の長さより短い発話区間長を無視するようにしてもよい。例えば、雷のノイズなどによりたまたま短い音が録音されたような場合である。この場合、音声パワーを基準に測定した発話区間長が短いため、前述の推定発話区間長に当該部分が存在しない場合がある。そこで、所定の閾値よりも短い有音区間はノイズであると判定し無視するようにしてもよい。

図５は、本発明が適用される字幕放送の字幕表示遅れ補正方法の一例を説明するためのフロー図である。本例では、ニュースなどの生放送番組を再生する際に図１に示した記録再生装置１０により字幕表示遅れを補正する方法について説明する。
まず、記録再生装置１０は、チューナ１２を介して字幕情報を取得する（ステップＳ１１）。取得する対象となる情報は、字幕表示の開始点，終了点，テキスト本文，文字数等である。次に、取得された字幕情報のうちテキスト本文及び文字数等の情報を用いてどれくらいの発話時間になるか、すなわち推定発話区間長を算出する（ステップＳ１２）。次に、取得された字幕情報のうち開始点情報及び終了点情報を用いて字幕表示時間長を算出し、算出した字幕表示時間長と開始点情報に基づいて探索範囲を決定する（ステップＳ１３）。

さらに、上記決定した探索範囲における音声パワーを抽出し（ステップＳ１４）、各発話区間長を推定して発話区間数ｎを決定する（ステップＳ１５）。尚、上記探索範囲における全ての発話区間（ｎ個）に対し推定発話区間長と、音声パワーに基づく発話区間長との比較を行ってもよいが、ここでは前記推定発話区間長と発話区間長の差が所定の閾値以下になった時点で終了する。すなわち、ステップＳ１６において発話区間（ｉ＝０〜ｎ）とし、ｉ＜ｎであるかどうか比較を行い（ステップＳ１７）、ｉ＜ｎの場合（ＹＥＳの場合）、誤差（ｉ）＝｜（発話区間（ｉ）の区間長）−（推定区間長）｜を算出し（ステップＳ１８）、算出した誤差（ｉ）が閾値より小さい（誤差（ｉ）＜閾値）かどうか判断する（ステップＳ１９）。誤差（ｉ）＞閾値の場合（ＮＯの場合）、発話区間（ｉ）に＋１し（ステップＳ２０）、上記ステップＳ１７に戻り処理を繰り返す。上記ステップＳ１７において、ｉ＜ｎでない場合、すなわちｉがｎより大きくなった場合（ＮＯの場合）、そのまま終了する。

上記ステップＳ１９において、誤差（ｉ）＜閾値の場合（ＹＥＳの場合）、このときの発話区間（ｉ）の開始点情報及び終了点情報を抽出し（ステップＳ２１）、元の字幕情報の開始点、終了点を、前記抽出した発話区間（ｉ）の開始点、終了点の情報に変更する（ステップＳ２２）。このようにして字幕表示遅れを補正する。

（字幕表示終了点の決定方法）
上記表示遅れ補正方法では字幕表示の終了点を発話区間終了点としているが、他の字幕表示終了点決定方法について以下に説明する。
例えば、オリジナル（元）の字幕情報が本来表示される時間を基準に終了点を決定してもよい。すなわち、受信した放送データにおける字幕表示開始点から終了点の時間的な差から表示終了点を決定する。
また、受信した放送データにおいて字幕のテキストデータの文字数に基づいて、終了点を決定してもよい。一般にテキストの認知するために、１秒あたり約５文字程度に収めるようにされている。また今日の字幕放送では表示領域として１行あたり１５.５文字分、概ね２行で放送されている。１秒あたり５文字と考えると２行表示の場合約６秒必要となる。次の字幕データが存在しない場合には前述の指針に従って終了点を決定してもよい。

さらに、音声情報から抽出した発話区間長と、前述の平均発話速度（例えば、アナウンサの発話速度は約４００文字／分、漫才師で約７００文字／分程度）から、字幕の表示が１ページに収まるか、２ページなのか、それ以上なのかを判定するようにしてもよい（本例ではｎページとする）。発話区間長をｎ等分し、それぞれの開始点／終了点を字幕表示開始点，終了点とすると実際の発話に近い位置で字幕情報が表示されるようになる。

（第２の実施形態）
以下、字幕表示タイミングの遅れを補正する別の方法について図６乃至図８に基づいて説明する。
図６は、本発明の他の実施形態である記録再生装置の構成例を示すブロック図で、記録再生装置１０は、図１に示した構成に加えて、音素データを蓄積した音素データベース（音素ＤＢ）１７を備えている。本実施形態では、コンテンツの音声特徴から字幕表示遅れを補正する方法について説明する。

コンテンツの音声情報を音声認識し、その結果のテキストと字幕情報との比較により字幕表示遅れを補正する方法と、字幕情報のテキストと一般的な音素とから音声情報を生成し、コンテンツの音声情報との比較により字幕表示遅れを補正する方法が考えられる。前者の場合にはどんな内容が話されるかわからないため、音声認識の精度によって補正できる場合とできない場合が発生する。本実施形態は後者の方法であって、音素ＤＢ１７と字幕情報から擬似音声を生成することにより話者が何を話したかがわかるため、これによって字幕の表示タイミングを合わせたほうが、計算量が少なくてすむ。

テキストから合成音声を生成する方法として、テキストに合致する音素（または音素片）を使って音声を合成することが知られている。字幕テキストと標準音素（音素ＤＢ１７）を使って字幕テキストに対応した合成音声を生成する。次に、生成した合成音声波形とコンテンツの音声情報を比較（例えば、連続ＤＰマッチング）し、尤度の最も高い音声区間を当該字幕テキストに対応した区間であると判定する。比較を行うコンテンツの音声情報はオリジナル（元）の字幕表示タイミングから１０数秒前までの範囲でいいことは前述と同様である。

図７は、図３に示した字幕例についてＤＰマッチングを図式化した図である。本例は「こんばんは、まず１４人の学生の捜索から」という字幕の例について上記方法を図式化したものである。横軸は時間の経過を示している。オリジナルの音声情報は時間の経過とともに進んでいく。同様にオリジナル字幕も遅れて変動していく。オリジナル字幕が表示されたところから約１０秒分遡ったところからパターンマッチングを開始する。この場合、「こんばんは、まず１４人の学生の捜索から」という字幕テキストから合成音声波形を生成する。上記パターンマッチング開始点からＤＰマッチングを行うと、ＤＰパスは当該音声の開始点から終了点までの間で累積距離が最小となり、同一のパターンであると判定することができる。まったく異なった場所でＤＰマッチングを行うと多くの場合で累積距離が大きくなり、同一のパターンとは判定されない。

上記例ではＤＰマッチングを用いて合成音声の波形とオリジナル音声の波形が一致する部分を演算する方法について述べたが、合成音声の波形をテンプレートとして前述のパターンマッチング開始点以降を対象にテンプレートマッチングを行っても、同様の効果が得られることは明らかである。

図８は、本発明が適用される字幕放送の字幕表示遅れ補正方法の他の例を説明するためのフロー図である。本例では、ニュースなどの生放送番組を再生する際に図６に示した記録再生装置１０により字幕表示遅れを補正する方法について説明する。
まず、記録再生装置１０は、チューナ１２を介して字幕情報を取得する（ステップＳ３１）。取得する対象となる情報は、字幕表示の開始点，終了点，テキスト本文，文字数等である。次に、字幕テキストと音素データから合成音声を生成する（ステップＳ３２）。さらに、字幕情報として取得した字幕表示開始点及び終了点から探索範囲を決定する（ステップＳ３３）。その探索区間における音声情報を抽出し（ステップＳ３４）、抽出した音声情報の一部と、前記生成した合成音声の類似度を演算する（ステップＳ３５）。例えば、合成音声を検索クエリーとするパターンマッチング（検索）を行う。

次に、上記演算された合成音声の類似度が所定の閾値よりも小さい（類似度＜閾値）かどうか判断し（ステップＳ３６）、類似度が所定の閾値よりも小さい場合（ＹＥＳの場合）、探索範囲を変更し（ステップＳ３７）、上記ステップＳ３４に戻り処理を繰り返す。また、上記ステップＳ３６において、類似度が所定の閾値よりも大きくなった場合（ＮＯの場合）、探索を終了し、当該探索区間の開始点及び終了点を抽出し（ステップＳ３８）、元の字幕情報の開始点、終了点を、前記抽出した探索区間の開始点及び終了点にそれぞれ変更することで字幕表示遅れの補正を終了する（ステップＳ３９）。

（第３の実施形態）
本実施形態では第１の実施形態または第２の実施形態で説明した記録再生装置１０を備えた表示装置について説明する。
図９は、本発明の記録再生装置１０を備えた表示装置の構成例を示すブロック図で、図中、２０は表示装置、該表示装置２０は、チューナ部２１、記録再生装置１０、記録再生装置１０からの映像／音声信号を入力する（外部）入力部２２、映像信号から映像を表示する映像表示部２４、音声信号から音声を出力する音声出力部２５、（外部）入力部２２からの映像／音声信号を映像表示部２４と音声出力部２５に分けて出力制御を行う制御部２３を備えている。
表示装置２０において、字幕の表示遅れを補正する必要がある番組を視聴する場合について考える。字幕の表示遅れを補正する必要がある場合、映像／音声の表示タイミングから少なくとも１０数秒の間は字幕データを受信できない可能性があるため、少なくともその間映像／音声の表示タイミングを遅らせるようにする。

図１０は、映像／音声情報と字幕情報の受信時のタイミングと表示タイミングを模式的に示した図である。補正前の字幕表示遅れｔ１と補正後の映像／音声／字幕の表示タイミングｔ２はｔ１≦ｔ２である必要がある。等しい場合はすなわち字幕情報を受信した瞬間に映像／音声を表示するタイミングである。
上記したように、本実施形態は、少なくとも字幕情報を受信するまで映像／音声を表示するタイミングを遅らせるいわばタイムシフト表示方式であるが、コンテンツ全体をいったん記録再生装置１０に記録し、いわゆるビデオ再生と同じように表示しても同様の効果が得られることは言うまでもない。

尚、本発明の記録再生装置、字幕放送の字幕表示遅れ補正方法は、上記した各実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

本発明の一実施形態である記録再生装置の構成例を示すブロック図である。 図１に示した記録再生装置における字幕表示遅れの補正処理の一例を説明するためのフロー図である。 字幕表示遅れ判定部による、字幕表示タイミングの補正の必要性を判断する方法の他の例を説明するための図である。 字幕データから抽出されたテキストの表示遅れを補正する方法の他の例を説明するための図である。 本発明が適用される字幕放送の字幕表示遅れ補正方法の一例を説明するためのフロー図である。 本発明の他の実施形態である記録再生装置の構成例を示すブロック図である。 図３に示した字幕例についてＤＰマッチングを図式化した図である。 本発明が適用される字幕放送の字幕表示遅れ補正方法の他の例を説明するためのフロー図である。 本発明の記録再生装置を備えた表示装置の構成例を示すブロック図である。 映像／音声情報と字幕情報の受信時のタイミングと表示タイミングを模式的に示した図である。 従来の映像表示装置の内部構成例を示すブロック図である。

符号の説明

１０…記録再生装置、１１，１０１…入力部、１２，２１，１０２…チューナ部、１３…記録部、１４…字幕表示遅れ判定部、１５…字幕表示遅れ補正部、１６，１０６…出力部、１７…音素ＤＢ、２０…表示装置、２２…（外部）入力部、２３…制御部、２４…映像表示部、２５…音声出力部、１００…映像表示装置、１０３…映像音声デコード部、１０４…バッファ部、１０５…字幕デコード部。

Claims (13)

1. 映像情報、音声情報、及び字幕情報などを含む放送データを受信する受信手段と、該受信した放送データを記録する記録手段と、該記録手段に記録された映像／音声情報に対して前記字幕情報の表示タイミングを補正する補正手段とを備えていることを特徴とする記録再生装置。
2. 前記記録再生装置は、前記記録手段に記録された放送データに対して前記字幕情報の表示タイミングの遅れの有無を判定する判定手段を備え、前記補正手段は、前記判定手段による判定結果に従って前記表示タイミングの遅れを補正することを特徴とする請求項１に記載の記録再生装置。
3. 前記判定手段は、前記放送データの付加情報の一部として送信されてくる信号を元に前記字幕情報の表示タイミングの遅れの有無を判定することを特徴とする請求項２に記載の記録再生装置。
4. 前記判定手段は、前記音声情報と前記字幕情報の関係から該字幕情報の表示タイミングの遅れの有無を判定することを特徴とする請求項２に記載の記録再生装置。
5. 前記補正手段は、前記音声情報が存在するか否かを判定する手段と、該音声情報が存在する音声区間を演算する手段と、表示させる字幕情報が存在するか否かを判定する手段と、該字幕情報から推定音声区間を演算する手段とを備え、前記音声区間と前記推定音声区間とから前記字幕情報の表示タイミングの補正候補を決定することを特徴とする請求項２に記載の記録再生装置。
6. 前記記録再生装置は、音素データを蓄積した音素データベースを備え、前記補正手段は、前記字幕情報のテキストデータと前記音素データベースとから擬似音声を生成する手段を備え、該擬似音声と前記音声情報とを比較することにより、前記字幕情報の表示タイミングの補正候補を決定することを特徴とする請求項２に記載の記録再生装置。
7. 請求項１乃至６のいずれか１に記載の記録再生装置を備えた表示装置。
8. 映像情報、音声情報、及び字幕情報などを含む放送データを受信する受信ステップと、該受信した放送データを記録手段に記録する記録ステップと、該記録された映像／音声情報に対して前記字幕情報の表示タイミングを補正する補正ステップとを有することを特徴とする字幕放送の字幕表示遅れ補正方法。
9. 前記記録手段に記録された放送データに対して前記字幕情報の表示タイミングの遅れの有無を判定する判定ステップを有し、前記補正ステップにおいて、前記判定ステップによる判定結果に従って前記表示タイミングの遅れを補正することを特徴とする請求項８に記載の字幕放送の字幕表示遅れ補正方法。
10. 前記判定ステップにおいて、前記放送データの付加情報の一部として送信されてくる信号を元に前記字幕情報の表示タイミングの遅れの有無を判定することを特徴とする請求項９に記載の字幕放送の字幕表示遅れ補正方法。
11. 前記判定ステップにおいて、前記音声情報と前記字幕情報の関係から該字幕情報の表示タイミングの遅れの有無を判定することを特徴とする請求項９に記載の字幕放送の字幕表示遅れ補正方法。
12. 前記補正ステップは、前記音声情報が存在するか否かを判定するステップと、該音声情報が存在する音声区間を演算するステップと、表示させる字幕情報が存在するか否かを判定するステップと、該字幕情報から推定音声区間を演算するステップとを有し、前記音声区間と前記推定音声区間とから前記字幕情報の表示タイミングの補正候補を決定することを特徴とする請求項９に記載の字幕放送の字幕表示遅れ補正方法。
13. 音素データを音素データベースに蓄積して有し、前記補正ステップは、前記字幕情報から取得されるテキストデータと前記音素データベースとから擬似音声を生成するステップを有し、該擬似音声と前記音声情報とを比較することにより、前記字幕情報の表示タイミングの補正候補を決定することを特徴とする請求項９に記載の字幕放送の字幕表示遅れ補正方法。

Images