JP2006165772A - 情報再生装置及び方法 - Google Patents

Abstract

【課題】デジタル放送の生放送番組、およびそれを記録した記録媒体からのデジタル放送信号において、字幕と映像及び音声の出力タイミングの調整をユーザが自ら行う。
【解決手段】映像・音声情報と前記字幕情報とを分離する入力分離手段１と、入力分離手段１により分離された映像・音声情報及び字幕情報を記録する記録媒体９と、記録媒体９から字幕情報を読み出し、読み出した字幕情報に基づいて字幕を表示・出力装置１０に表示させる字幕表示手段４と、ユーザによる映像及び音声と字幕とのずれを修正するための入力を受け付ける出力時間差入力手段６と、出力時間差入力手段６が受け付けた入力に基づいて映像及び音声と字幕とのずれを調整するための出力時間差を設定し、タイミングを調整する出力時間差設定手段３と、を備える情報再生装置。
【選択図】図１

Description

本発明は、いわゆる字幕放送を再生する情報再生装置に関し、特に、字幕と映像及び音声とが一致していない場合にそれを調整して再生するための技術に関する。

昨今、ドラマやドキュメンタリーをはじめ、バラエティーなどさまざまな番組で字幕放送が運用されるようになった。字幕は、アナログ放送においては、専用の文字放送デコーダやチューナ内蔵のテレビを用いることにより重畳された字幕情報を表示することができる。また、デジタル放送においては、ハイビジョンテレビやデジタルチューナに標準で字幕表示機能が付加されているため、これらを用いることにより字幕を表示することができる。

最近では字幕作成技術の向上に伴い、ニュースやスポーツ中継などの生放送番組にも字幕をつける技術が確立されてきている。

ドラマなどの録画放送の場合は、事前に字幕情報を作成し、映像・音声情報との表示タイミングを調整してから放送されている。これに対して、ニュースやスポーツ中継などの生放送番組の場合は、放送と同時進行で字幕情報を作成していることが多い。このニュース字幕作成には(１)高速入力のできる機械で、話者の言葉をそのまま字幕化する方法、(２)話者の声を自動音声認識装置で取り込んで字幕化する方法、(３)事前に原稿を入力しておいて、放送時に話者の話すタイミングに合わせて手動で送出する方法、の3つの方法があるが、主に（1）、（2）の方法が用いられ、リアルタイムで字幕情報変換を行っている。音声の自動認識については技術が進んできているため高速な字幕情報変換が可能となってきているが、話者が話してから字幕情報変換を行うことに変わりはないので、必然的に字幕の表示タイミングと話者が実際に話しているタイミングとにずれが生じてしまう。また、ニュース字幕では字幕テキスト文が細切れで表示されることが多くある。このような字幕情報と映像・音声情報のずれ、および字幕テキスト文の不自然な途切れによりユーザの受信番組に対する理解度が低下してしまっていた。

そこで、この字幕と映像のずれを解消するための技術が、例えば、特許文献1に記載さえている技術などが提案されている。この特許文献１の字幕放送受信装置は、映像を一定時間遅延させ字幕の表示タイミングに合わせている。
特開２００２−１２５２０２号公報

しかしながら、特許文献1の字幕放送受信装置ではアナログ放送の字幕を対象としており、デジタル放送および記録媒体から入力されたデジタル放送信号においては、字幕と映像・音声のずれを調整する有効な手段は提供されていなかった。

また、特許文献1の字幕放送受信装置では映像信号の遅延時間を固定でずれを解消しているが、字幕と映像のずれは常に一定ではないため、映像遅延後もやはりずれが生じてしまう可能性があった。字幕と映像・音声の出力時間差はそのつど遅延時間を調整する必要があった。

そこで、本発明の目的は、字幕を含むデジタル放送の生放送番組、およびそれを記録した記録媒体からのデジタル放送信号において、字幕と映像及び音声の出力タイミングの調整をユーザが自ら行うことができるようにするための技術を提供することである。

本発明の別の目的は、ニュース字幕特有の細切れの字幕テキスト文を読みやすい文節単位で表示するための技術を提供することである。

本発明の一実施態様に従う情報再生装置は、映像及び音声を再生するための映像・音声情報及び字幕表示のための字幕情報を含む放送信号の入力を受け付け、前記映像・音声情報と前記字幕情報とを分離する入力分離手段と、前記入力分離手段により分離された映像・音声情報及び字幕情報を記録する記録媒体と、前記記録媒体から前記映像・音声情報を読み出し、読み出した映像・音声情報に基づいて映像及び音声を表示・出力装置に再生させる映像・音声再生手段と、前記記録媒体から前記字幕情報を読み出し、読み出した字幕情報に基づいて字幕を前記表示・出力装置に表示させる字幕表示手段と、前記表示・出力装置に映像及び字幕が表示されているときに、ユーザによる映像及び音声と字幕とのずれを修正するための入力を受け付けるユーザ入力手段と、前記ユーザ入力手段が受け付けた入力に基づいて映像及び音声と字幕とのずれを調整するための出力時間差を設定し、前記映像・音声再生手段及び前記字幕表示手段を制御して、前記設定された出力時間差に応じて映像及び音声の再生と字幕の表示とのタイミングを調整する出力時間差設定手段と、を備える。

好適な実施形態では、前記表示・出力装置に映像及び字幕を表示したまま停止させた状態で前記ユーザ入力手段がユーザの操作を受け付けて、表示された映像及び字幕のいずれか一方または双方を早送りまたは巻き戻して一致させると、前記出力時間差設定手段は、表示中の映像のタイムスタンプと字幕のタイムスタンプとの相対的な差に基づいて前記出力時間差を設定するようにしてもよい。

好適な実施形態では、前記出力時間差設定手段において、前記出力時間差が未設定であるかあるいは設定された出力時間差が０である場合、前記入力分離手段で分離された前記字幕情報および前記映像・音声情報を前記記録媒体に記録せず、前記字幕表示手段および前記映像・音声再生手段で処理するように切換えるための切換制御手段を、さらに備えるようにしてもよい。

好適な実施形態では、過去に出力時間差を設定した番組の番組情報及び当該番組の出力時間差とを対応付けて記憶する実績記憶手段をさらに備える。そして、前記出力時間差設定手段は、前記実績記憶手段を参照して出力時間差を設定するようにしてもよい。

好適な実施形態では、前記入力分離手段には、デジタル放送の生放送番組、およびそれを記録した記録媒体からのデジタル放送信号が入力されるようにしてもよい。

好適な実施形態では、前記ユーザ入力手段は、所定のボタンが１回操作されると、表示された映像及び字幕のいずれか一方を所定の時間だけ早送りまたは巻き戻しを行うこともできる。

好適な実施形態では、前記字幕表示手段は、前記字幕情報に含まれる字幕テキスト文について解析を行い、1回の表示で文節が途切れないように字幕表示を行うこともできる。

本発明によれば、字幕を含むデジタル放送の生放送番組、およびそれを記録した記録媒体からのデジタル放送信号において、字幕と映像及び音声の出力タイミングの調整をユーザが自ら行うことができる。

以下、本発明の一実施形態に係る情報再生装置について、図面を用いて説明する。

図１は、本実施形態に係る情報再生装置の機能ブロック図である。この情報再生装置は入力分離手段１、記録手段２、出力時間差設定手段３、字幕表示手段４、映像・音声再生手段５、出力時間差入力手段６から構成される。この装置は例えばセットトップボックス、デジタルチューナ内蔵テレビ、あるいはDVDレコーダやハードディスク内蔵のDVDプレーヤなどに内蔵される。

入力分離手段1には、図示しないアンテナを介してデジタル放送波、あるいは図示しないDVD（Digital Versatile Disc）やDVHS(Digital Video Home System)などの再生装置からのデジタル信号が入力される。入力がデジタル放送波の場合、入力分離手段1は、選局、検波処理を施した後、さらに、デジタル復調及び誤り訂正処理を施す。そして、入力分離手段1は、上記の処理が施されたデジタル放送波を字幕表示のための字幕情報、映像及び音声を再生するための映像・音声情報、及びPCR（Program Clock Reference）情報などにそれぞれ分離して、出力する。一方、入力がDVDやDVHSなどのデジタル信号の場合は、入力分離手段1は、字幕情報、映像・音声情報、及びSCR（System Clock Reference）(あるいはPCR)情報などにそれぞれ分離して、出力する。

記録手段２は、入力分離手段１で分離された信号を、ハードディスクや内蔵メモリのような記録媒体に記録する。この際、字幕情報と映像・音声情報とは、それぞれ別々に記録する。これにより、記録媒体９からはそれぞれの情報をランダムに読み出すことができる。

出力時間差設定手段３は、字幕表示と映像・音声の再生出力との出力時間差を決定する。そして、出力時間差設定手段３は、字幕表示手段４が出力する字幕表示情報と、映像・音声再生手段５が出力する映像・音声再生情報とを、この出力時間差だけ相対的にずらして出力させるように制御する。

ここで、出力時間差は、映像及び音声と字幕とのずれを修正するための調整時間であり、出力時間差入力手段６により後述するような方法でユーザ自らの入力により設定される。例えば、字幕が映像及び音声よりもある時間だけ遅れているときは、その遅れ時間を出力時間差とするとよい。また、出力時間差入力手段６からの入力がなかった場合には、EIT（Event Information Table）やPMT（Program Map Table）に含まれる番組情報を解析し、出力時間差設定手段３が出力時間差を決定してもよい。

例えば、処理中の信号がニュース番組やスポーツの生中継などの生放送番組である場合、現在の放送では字幕が映像・音声よりも10秒ほど遅延することが多い。そこで、出力時間差設定手段３は、字幕表示が１０秒早くなるように、出力時間差を設定する。あるいは、処理中の信号がドラマなどの録画放送である場合、一般に字幕と映像及び音声とのずれはないので、出力時間差を０に設定する。

字幕表示手段４は、記録媒体９から字幕情報を読み出して、表示・出力装置１０に字幕を表示させるための字幕表示情報を生成して、表示・出力装置１０に対して出力する。映像及び音声の再生に対して字幕表示を相対的に遅らせる場合、字幕表示情報の出力を一時停止し、出力時間差だけ経過後に字幕表示情報の出力を再開するようにしてもよい。また、字幕表示手段４は、処理中の信号がニュース番組である場合、ニュース字幕特有の細切れの字幕表示が起こる可能性があるので、字幕表示の際に字幕テキスト文を解析し、1回に表示される文字数と字幕テキスト文の最後が文節単位で切れているかを判断する。一定文字数以下の細切れ表示であったり、最後の文節が途切れていたりして読みにくい場合には、一つ前の文節で表示をいったん区切り、残りは次の字幕表示の先頭に表示するように修正を行ってもよい。

映像・音声再生手段5は、記録媒体９から映像・音声情報を読み出して、表示・出力装置１０に映像及び音声再生出力させるための映像・音声再生情報を生成し、表示・出力装置１０に出力する。字幕表示に対して映像及び音声の再生を相対的に遅らせる場合、映像・音声再生情報の出力を一時停止し、出力時間差だけ経過後に映像・音声再生情報の出力を再開するようにしてもよい。

出力時間差入力手段６は、ユーザが任意の出力時間差を入力し、出力時間差設定手段3に出力するための手段であり、例えば、リモートコントローラーやキーボードのような入力装置であってもよい。出力時間差入力手段６の入力方法は、例えば、画面上に字幕調整用のOSD（On Screen Display）を表示して数字ボタンや矢印キーにより出力時間差の数値を入力する方法が考えられる。さらに、より出力時間差の入力を容易にするために以下のような方法も考えられる。

＜リモートコントローラーからの操作＞
リモートコントローラーに字幕調整用ボタンを配置する。このボタンを押下することによりOSDを表示し、字幕調整を開始する。字幕調整用ボタンを押下すると画面上に例えば図２(a)に示すような「字幕調整」メニューが表示され、字幕が一時停止する。図２(a)では、映像及び音声はオリンピックの話題であるが、字幕は高校野球となっており、両者の間にずれが生じていることを示す。ここで、リモートコントローラーの矢印ボタン等を用いて映像を巻き戻し、ユーザが主観的に字幕と映像及び音声の出力タイミングが一致するようにシーンを選択する(図2(b))。また、字幕のずれは概ね２秒以内であれば許容範囲であるので、映像の早送り・巻戻しによる細かな調整を行うほかに、例えば、矢印ボタンを1回押すごとに1秒、もしくは0.5秒といった一定時間単位で映像・音声情報のスキップができるようにし、より簡単に調整を行ってもよい。

そして、上記のような操作により字幕のずれ調整が完了してリモートコントローラーの決定ボタンが押下されると、出力時間差設定手段３は、選択されたシーンの字幕情報のタイムスタンプと映像・音声情報のタイムスタンプとの差から出力時間差を決定する。

＜メニュー画面からの操作＞
表示・出力装置１０の表示画面上に表示されるメインメニューや各種設定メニューの選択肢に「字幕調整」の項目を設けるようにしてもよい(図2(c))。この場合、メニューから「字幕調整」を選択することにより、リモートコントローラーからの操作と同様の調整を行うことができる。

上記の方法で出力時間差を決定するためには、あらかじめ映像・音声情報を記録媒体９に記録しておいたほうが便利である。また、巻き戻しよりも早送りの方が次に来る映像が予想しやすいと考えられる。そこで、選局後にあらかじめ映像・音声をある程度記録媒体９に蓄積し、遅延させて再生しておき、字幕調整のために字幕を一時停止している間に徐々に早送りを行い、出力タイミングを調節する方法も考えられる。一般的に生放送のニュース番組の字幕は映像・音声よりも10秒ほど遅れて表示されることが多いため、あらかじめ蓄積しておく情報は15秒程度でよいと考えられる。

次に、図1に示した情報再生装置における具体的な動作例を、図３に示すフローチャートを参照して説明する。

まずステップS1において、入力分離手段１が、放送信号の字幕情報、映像・音声情報、およびPCR情報などへの分離処理を実行する。

ステップS2において、記録手段２が、入力分離手段１から取得した字幕情報、及び映像・音声情報を、それぞれ記録媒体９に記録する。

ステップS3において、上述したようにして、ユーザが出力時間差入力手段６により、出力時間差を設定するための入力をする。

ステップS4において、出力時間差設定手段３により、例えば、番組情報から出力時間差が決定され、またはステップS3において出力時間差の入力があった場合には、自動的に設定した出力時間差を入力された出力時間差に更新する。

ステップS5において、ステップS4で決定した出力時間差に従って、字幕表示手段４と映像・音声再生手段５により字幕の表示と映像・音声の再生を行う。このとき字幕表示手段４は同時に字幕テキスト文の解析を行い、字幕表示の最適化を行ってもよい。

これにより、字幕及び映像・音声のずれを調整することができる。

次に、本発明の第２の実施形態では、出力時間差の調整を行った際に調整した番組情報と出力時間差を記録しておき、次に同じ番組が選局されたときには自動的に出力時間差の調整を行うことができる機能をさらに備える。すなわち、図４に示す第２の実施形態に係る情報再生装置の機能ブロック図では、出力時間差管理手段７が追加されている。

出力時間差管理手段７は、出力時間差調整を行った実績に関する情報を記憶した出力時間差管理テーブル７０を有する。そのテーブルは、例えばデータ項目として、字幕調整を行った番組のチャンネル番号、番組名、放送日時などの番組情報及び設定した出力時間差を有する。出力時間差入力手段６でOSD表示する「字幕調整」メニューに出力時間差を自動設定するような選択肢を設け、これが選択された場合には出力時間差管理テーブル７０に現在視聴中の番組情報と類似する情報(番組名が同じ、放送時間帯が同じ等)が存在するか検索を行う。過去に同じ番組で出力時間差制御が行われていた場合、そのとき設定された出力時間差を適用する。過去に出力時間差制御が行われていなかった場合、画面上に「新しく設定される番組です」などのメッセージを表示し、出力時間差の設定を促す。

次に、本発明の第３の実施形態では、ずれ調整を行う場合と行わない場合とを選択可能とすることができる。すなわち、図５に示す第３の実施形態に係る情報再生装置の機能ブロック図では、入力分離手段１の後段に切換え制御手段８が追加されている。

切換え制御手段8は、出力時間差設定手段３において出力時間差が必要ない場合、入力分離手段１の出力先を切換えて記録手段２における字幕情報および映像・音声情報の記録処理を省略するものである。

切換え制御手段8は、入力分離手段1から分離された字幕情報及び映像・音声情報と出力時間差設定手段3からの出力時間差とを入力として受け付ける。そして、出力時間差が0で出力時間差制御が必要ないと判断した場合は、入力分離手段1から入力された字幕情報と映像・音声情報を字幕表示手段4と映像・音声再生手段5に直接出力する。このとき、字幕表示手段4と映像音声再生手段5は入力された字幕情報、映像・音声情報をデコードし出力タイミングの調整なしに表示、再生を行う。一方、出力時間差が0以外で出力時間差制御が必要であると判断した場合は、入力分離手段１から入力された字幕情報のみ、もしくは映像・音声情報のみ、あるいは両方を記録手段２に出力し、出力時間差設定手段３から入力された出力時間差を字幕表示手段４のみ、もしくは映像・音声再生手段５のみ、あるいは両方に出力する。そして、出力時間差が入力された字幕表示手段4または映像・音声再生手段5、あるいは両方は出力時間差に従って記録媒体から字幕情報もしくは映像・音声情報を読み出して表示、再生を行う。

ここで、図５に示した情報再生装置における具体的な動作例を、図６に示すフローチャートを参照して説明する。

まずステップS101において、入力分離手段１が、放送信号の字幕情報、映像・音声情報、およびPCR情報などへの分離処理を実行する。

ステップS102において、ユーザが出力時間差入力手段６により、出力時間差を設定するための入力をする。

ステップS103において、出力時間差設定手段３により、例えば、番組情報から出力時間差が決定され、またはステップS102において出力時間差の入力があった場合には、自動的に設定した出力時間差を入力された出力時間差に更新する。

ここで、ステップS104において、切換え制御手段８により、出力時間差の有無を判定し、出力時間差制御が必要であると判断した場合にはステップS105において、字幕情報、及び映像・音声情報を記録媒体９に記録する。一方、出力時間差制御が不要であると判断した場合には、ステップS105をスキップしてステップS106に進む。

そして、ステップS106において、ステップS103で決定した出力時間差に従って、字幕表示手段４と映像・音声再生手段５により字幕の表示と映像・音声の再生を行う。

これにより、番組情報の記録によって自動的に出力タイミングが調整されるとき、出力タイミングを調整して入力する時間は必要ないため、字幕は出力タイミング制御が必要なく、タイムシフト再生用の字幕情報の記録も必要なくなる。そのため字幕情報を記録するためのTS（Transport Stream）処理系を節約することができる。TSの処理系には数に限りがあるため節約するために遅延しない方の情報のデコードは記録媒体からの読み出しではなく入力分離手段からの出力をそのままデコードするようにする。

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。

出力時間差入力手段を備える情報再生装置の例を示したブロック図である。 出力時間差を入力する際のOSD画面の例を示した図である 出力時間差入力手段を備える情報再生装置の動作例を示したフローチャートである。 出力時間差管理手段を追加した情報再生装置の例を示したブロック図である。 切換制御手段を追加した情報再生装置の動作例を示したフローチャートである。 切換制御手段を追加した情報再生装置の動作例を示したフローチャートである。

符号の説明

1 入力分離手段
2 記録手段
3 出力時間差設定手段
4 字幕表示手段
5 映像・音声再生手段
6 出力時間差入力手段
7 出力時間差管理手段
8 切替え制御手段
10 表示・出力装置

Claims (8)

1. 映像及び音声を再生するための映像・音声情報及び字幕表示のための字幕情報を含む放送信号の入力を受け付け、前記映像・音声情報と前記字幕情報とを分離する入力分離手段と、
   前記入力分離手段により分離された映像・音声情報及び字幕情報を記録する記録媒体と、
   前記記録媒体から前記映像・音声情報を読み出し、読み出した映像・音声情報に基づいて映像及び音声を表示・出力装置に再生させる映像・音声再生手段と、
   前記記録媒体から前記字幕情報を読み出し、読み出した字幕情報に基づいて字幕を前記表示・出力装置に表示させる字幕表示手段と、
   前記表示・出力装置に映像及び字幕が表示されているときに、ユーザによる映像及び音声と字幕とのずれを修正するための入力を受け付けるユーザ入力手段と、
   前記ユーザ入力手段が受け付けた入力に基づいて映像及び音声と字幕とのずれを調整するための出力時間差を設定し、前記映像・音声再生手段及び前記字幕表示手段を制御して、前記設定された出力時間差に応じて映像及び音声の再生と字幕の表示とのタイミングを調整する出力時間差設定手段と、を備える情報再生装置。
2. 前記表示・出力装置に映像及び字幕を表示したまま停止させた状態で前記ユーザ入力手段がユーザの操作を受け付けて、表示された映像及び字幕のいずれか一方または双方を早送りまたは巻き戻して一致させると、前記出力時間差設定手段は、表示中の映像のタイムスタンプと字幕のタイムスタンプとの相対的な差に基づいて前記出力時間差を設定することを特徴とする請求項１に記載の情報再生装置。
3. 前記出力時間差設定手段において、前記出力時間差が未設定であるかあるいは設定された出力時間差が０である場合、前記入力分離手段で分離された前記字幕情報および前記映像・音声情報を前記記録媒体に記録せず、前記字幕表示手段および前記映像・音声再生手段で処理するように切換えるための切換制御手段を、さらに備えることを特徴とする請求項１または２に記載の情報再生装置。
4. 過去に出力時間差を設定した番組の番組情報及び当該番組の出力時間差とを対応付けて記憶する実績記憶手段をさらに備え、
   前記出力時間差設定手段は、前記実績記憶手段を参照して出力時間差を設定することを特徴とする請求項1または２に記載の情報再生装置。
5. 前記入力分離手段には、デジタル放送の生放送番組、およびそれを記録した記録媒体からのデジタル放送信号が入力されることを特徴とする請求項１から４のいずれかに記載の情報再生装置。
6. 前記ユーザ入力手段は、所定のボタンが１回操作されると、表示された映像及び字幕のいずれか一方を所定の時間だけ早送りまたは巻き戻しを行うことを特徴とする請求項１から４に記載の情報再生装置。
7. 前記字幕表示手段は、前記字幕情報に含まれる字幕テキスト文について解析を行い、1回の表示で文節が途切れないように字幕表示を行うことを特徴とする請求項１から４に記載の情報再生装置。
8. 映像及び音声を再生するための映像・音声情報及び字幕表示のための字幕情報を含む放送信号の入力を受け付け、前記映像・音声情報と前記字幕情報とを分離するステップと、
   前記分離された映像・音声情報及び字幕情報を記録媒体に記録するステップと、
   前記記録媒体から前記映像・音声情報を読み出し、読み出した映像・音声情報に基づいて映像及び音声を表示・出力装置に再生させるステップと、
   前記記録媒体から前記字幕情報を読み出し、読み出した字幕情報に基づいて字幕を前記表示・出力装置に表示させるステップと、
   前記表示・出力装置に映像及び字幕が表示されているときに、ユーザによる映像及び音声と字幕とのずれを修正するための入力を受け付けるステップと、
   前記受け付けたずれ修正のための入力に基づいて映像及び音声と字幕とのずれを調整するための出力時間差を設定し、前記設定された出力時間差に応じて映像及び音声の再生と字幕の表示とのタイミングを調整するステップと、を備える情報再生方法。