JP2011155539A - 映像信号処理装置およびその表示方法 - Google Patents

Abstract

【課題】放送で送られてくる文字情報を取り込んで、任意の表示形式・タイミングで表示させる映像信号処理装置およびその表示方法を提供する。
【解決手段】録画された番組を保持する記憶手段と、前記記憶手段から得られる番組の映像信号をディスプレイへ出力する出力手段と、前記映像に関する字幕データを前記映像信号から取得する取得手段と、前記字幕データを前記取得手段から取り出し保存する保存手段と、前記保存手段に保存されている字幕データから字幕を番組再生位置とは非同期に作成し、前記映像にこの字幕を重ねる表示合成処理を行う表示合成手段とを備えることを特徴とする映像信号処理装置。
【選択図】 図２

Description

本発明は、映像信号処理装置およびその表示方法に係わり、特にデジタルテレビの字幕データ表示機能に関する。

現状の日本のデジタル放送などで、放送されている番組には、2ヶ国語以上の字幕データが付属している場合がある。ユーザーは、放送に付属している字幕データのうち任意の言語を選択することで、映像に同期して画面上に字幕を表示させることができる。

仮に、日本語を理解できない人が放送を受信する場合などは、理解できる言語の字幕データを画面上に表示させることで、放送内容を理解することが可能となっている。

一方、既存のDTVセットには、HDDなどを内蔵しており、受信している番組を録画することが出来る機能を持つものがある。このようなDTVセットにて番組を録画する際には、録画するTSデータ上に字幕データも一緒に記録することが可能である。

この字幕データの表示機能を外国語の学習に用いることを考えた場合、番組を録画し、任意の区間を再生することにより、音声を聞くヒヤリング練習をおこない、その音声の意味を字幕表示より認識するような学習方方は現状のDTVセットおよび字幕データの表示機能にて可能である。

しかし、現状の日本のデジタル放送における字幕データの表示機能では、字幕データ側に付加されている表示時刻に合わせて字幕データが画面上に表示されてしまうため、ユーザーがヒヤリング練習をしたい区間の再生中の字幕データの表示タイミングと表示される量はコントロールできない。

対して特許文献１では、画像に重ねるテキストデータなどを、あらかじめ重ねて表示させる別オブジェクトとして用意し任意の位置・タイミングで表示させる機能に関して述べられている。

しかしながら、放送で送られてくる文字情報を取り込んで、任意の表示形式・タイミングで表示させる技術については開示されていなかった。

特開２００５−２７６３４４号公報

本発明は、放送で送られてくる文字情報を取り込んで、任意の表示形式・タイミングで表示させる技術を提供することを目的とする。

上記課題を解決するために、本発明の映像信号処理装置は、録画された番組を保持する記憶手段と、前記記憶手段から得られる番組の映像信号をディスプレイへ出力する出力手段と、前記映像に関する字幕データを前記映像信号から取得する取得手段と、前記字幕データを前記取得手段から取り出し保存する保存手段と、前記保存手段に保存されている字幕データから字幕を番組再生位置とは非同期に作成し、前記映像にこの字幕を重ねる表示合成処理を行う表示合成手段とを備えることを特徴とする。

本発明によれば、放送で送られてくる文字情報を取り込んで、任意の表示形式・タイミングで表示させる映像信号処理装置およびその表示方法が得られる。

本発明の一実施形態に係わるテレビ受信装置の構成を概略的に示すブロック図。 同実施形態の要部の詳細を示す機能ブロック構成図。 同実施形態の処理フロー図。 同実施形態の字幕データ取得処理フロー図。 同実施形態に用いられる字幕データ表示処理を示す内部ブロック図。 同実施形態のスクロールウィンドウのような表示形態を例示するための図。 同他の形態に用いられる要部の詳細を示す機能ブロック構成図。 同他の形態に用いられる字幕データ取得処理フロー図。 同他の形態に用いられる字幕データ表示処理を示す内部ブロック図。 同他の形態に用いられる字幕のOSDデータ化処理フロー図。 従来のDTVセットを示す機能ブロック構成図。

以下、本発明の実施形態を説明する。
（実施形態１）
本発明による実施形態１を図１乃至図６及び図１１を参照して説明する。
まず以下に、図１を参照して本発明の一実施形態に係わるテレビ受信装置について説明する。
図１は、本発明の一実施形態に係るテレビ受信装置の構成を概略的に示している。このテレビ受信装置は、地上アナログ放送波、並びにＢＳ、ＣＳ及び地上デジタル放送波を受信可能であり、マイクロプロセッサ１０、デジタル用チューナ１１、アナログ用チューナ１２、デジタル用復調器１３、アナログ用復調器１４及びＴＳ復号器１５を備えている。

ＢＳ、ＣＳ及び地上デジタル放送波は、アンテナ１で受信され、この受信信号がデジタル用チューナ１１に供給される。同様に、地上アナログ放送波は、アンテナ１で受信され、この受信信号がアナログ用チューナ１２に供給される。デジタル用チューナ１１及びアナログ用チューナ１２は、フェーズロックドループ(ＰＬＬ)方式を採用し、マイクロプロセッサ１０の制御により中心周波数及び帯域幅等の受信パラメータを指定してそれぞれ所望の放送波を選局するために用いられる。

デジタル用チューナ１１で選局した放送波の受信信号は、例えば日本の地上デジタル放送の場合にＯＦＤＭ(orthogonal frequency division multiplexing)方式のデジタル用復調器１３及びＴＳ復号器１５に順次供給され、これらでデジタル映像信号及び音声信号に復調及び復号される。アナログ用チューナ１２で選局された受信信号は、アナログ用復調器１４に供給され、ここでアナログ映像信号及び音声信号に復調される。

このテレビ受信装置は、更に、信号処理部１６、グラフィック処理部１７、ＯＳＤ(on screen display)信号生成部１８、映像処理部１９、ディスプレイ２０、音声処理部２１、スピーカ２２、操作パネル２３、赤外線受光部２４、リモコン２５、フラッシュメモリ２６、ＵＳＢ(Universal Serial Bus)コネクタ２７、カードコネクタ２８、及びネットワーク通信回路２９を備える。信号処理部１６は、ＴＳ復号器１５からのデジタル映像信号及び音声信号に対して選択的に所定のデジタル信号処理を施し、それぞれグラフィック処理部１７及び音声処理部２１に出力する。また、信号処理部１６は、アナログ用復調器１４からのアナログ映像信号及び音声信号を選択的にデジタル化し、このデジタル化された映像信号及び音声信号に対して所定のデジタル信号処理を施し、それぞれグラフィック処理部１７及び音声処理部２１に出力する。

グラフィック処理部１７は、信号処理部１６から出力されたデジタル映像信号にＯＳＤ信号生成部１８で生成されたＯＳＤ信号を選択的に重畳して出力する。映像処理部１９は、グラフィック処理部１７から出力されたデジタル映像信号に対してディスプレイ２０に適合させる例えばサイズ調整等の変換を行う。ディスプレイ２０は、映像処理部１９から出力された映像信号に対応する映像を表示する。音声処理部２１は、信号処理部１６から出力されたデジタル音声信号をスピーカ２２に適合させる音量調整等の変換を行う。スピーカ２２は、音声処理部２１から出力された音声信号に対応する音声を再生する。

マイクロプロセッサ１０は、操作パネル２３からの操作情報、またはリモコン２５から送出され赤外線受光部２４で受信された操作情報を受けて、その操作内容が反映されるように各コンポーネントを制御する。ここで、操作パネル或いはキーボード２３及びリモコン２５は、ユーザーインタフェースとして機能する操作モジュールに相当している。図１に示すように、マイクロプロセッサ１０は、様々な処理及び制御を行うＣＰＵ(central processing unit）３１、このＣＰＵ３１の制御プログラム及び様々な初期データを保持するＲＯＭ(read only memory）３２、ＣＰＵ３１の入出力情報を一時的に格納する作業エリアを提供するＲＡＭ(random access memory）３３、Ｉ２Ｃバス等を介して各コンポーネントに対する設定情報及び制御情報を入出力するインタフェース３４、及び放送波やネットワーク経由で取得される時刻情報及び日付情報に従って補正される時計回路３５を含んでいる。

ＵＳＢコネクタ２７は、様々なＵＳＢ機器を接続するために設けられている。カードコネクタ２８は、様々なメディアカードを接続するために設けられている。また、ネットワーク通信回路２９は、インターネットに直接あるいはＬＡＮ(local area network)経由で接続されている。時刻情報を放送波から取得する場合は、アンテナ１で受信した信号から、また時刻情報，天気，占い等基礎データをネットワークから取得する場合は、ネットワーク通信回路２９から、それぞれマイクロプロセッサ１０に取り込まれる。

不揮発性メモリとしてのフラッシュメモリ２６には、予め製造側においてテレビ受信装置の出荷段階でＢＧＭ(プリインストールＢＧＭ）及びこのＢＧＭを再生するために利用される様々な登録情報を格納しておいてもよい。

またＵＳＢコネクタ２７やカードコネクタ２８は、外部からＵＳＢ機器（メモリ等）やメディアカードを接続して動画、写真、音楽データを読み出すことができる。例えば、放送の録画用にＨＤＤを内蔵する装置例もあるが、本例ではこのＵＳＢ機器として、放送の録画用のＨＤＤを備えているものとする。例えばデジタル用復調器１３で復調された結果のデジタル信号は、番組単位にTSデータとして読み出せるように、このＨＤＤに蓄積されるように構成されている。

マイクロプロセッサ１０は、例えばフォトビューア機能やフォトフレーム機能を実現するために、ＵＳＢコネクタ２７に接続されるＵＳＢメモリやカードコネクタ２８に接続されるメディアカードにファイルとして保持される１または複数のフォト画像を取り込み、信号処理部１６、グラフィック処理部１７、及び映像処理部１９での処理を経て各フォト画像をディスプレイ２０に表示させる制御を行えるように構成されている。

ここで既存技術として図１１に、従来のDTVセットにおけるHDDに録画された放送を再生する際のデータ処理を機能ブロック図として示す。
図１１では、HDD（Ｈ）から読み出されたTSデータは、Demux（デマルチプレクサ）２の処理にて、ユーザーから指定された条件に応じて、Audioデータ、Videoデータ、字幕データに分離される。

分離されたAudioデータはAudioデコーダー３にて、データに付属する再生時刻データに合わせてデータをデコードし、出力処理６へデコードしたデータを出力される。

分離されたVideoデータはVideoデコーダー４にて、データに付属する再生時刻データに合わせてデータをデコードし映像合成処理７へデコードしたデータを出力される。

分離された字幕データは字幕処理５にて、データに付属する表示時刻に応じて字幕データを処理しOSD情報を作成し、映像合成処理７へ出力される。
映像合成処理７は、Videoデコーダー４および字幕処理５からのデータを合成し最終的にTVの画面上へ表示する画像データを作成し、出力処理６で示す出力処理へ合成した画像データを出力される。

出力処理６で示す出力処理は、Audioデコーダー３からの入力であるデコードされた音声データをTVセットの音声出力へ音声として出力し、映像合成処理７からの入力である合成した画像データをTVセットの画面上へ表示され、TVセットして視聴が可能となる。

さて図２は、この発明の一実施形態を示す機能ブロック構成図である。
本実施形態では、図２に示すように図１１の字幕処理５の部分を字幕データ取得処理８、字幕データ保存部９、字幕データ表示処理１０の3つのブロックに置き換えたブロック図のシステムについて説明する。

ユーザーが本実施形態の機能を使用して、字幕データを表示させる場合、再生処理は、図３の処理フローに示すように、字幕データ取得処理を行う第一段階と、字幕データを表示させる第二段階の二段階にて行われる。

第一段階の処理では、ユーザーが再生（ステップＳ２１）させようとする区間のTSデータがHDD（Ｈ）から読み出され（ステップＳ２２）、Demux２の処理にて字幕データが分離され（ステップＳ２３）、字幕データ取得処理８へ送られる（ステップＳ２４）。この際、AudioデータおよびVideoデータは分離処理されずDemux２内で破棄される。再生範囲の終了を判定し（ステップＳ２５）Ｙｅｓなら第二段階の処理に移行するがＮｏならばTSデータの読み出し位置を進め（ステップＳ２６）、ステップＳ２１へ戻る。

字幕データ取得処理８は、図４で示すような処理フローにて、Demux２の処理より送られてくる字幕データより（ステップＳ４１）、文字データと必要な制御コードのみを取り出し（ステップＳ４２）、字幕データ保存部９へ順番に保存する（ステップＳ４３）。

これをユーザーが再生させようとする区間の全TSデータに対して実施し、第一段階が終了する。
第一段階を終了した時点で、字幕データ保存部９には、ユーザーが再生させようとする区間に含まれる字幕データが保存されている。
第二段階の処理では、ユーザーが再生させようとする区間のTSデータが再び先頭からHDD（Ｈ）から読み出され（ステップＳ２７〜Ｓ２９）、Demux２の処理にて、ユーザーから指定された条件に応じて、Audioデータ、Videoデータに分離される（ステップＳ３０）。この際、字幕データは分離処理されず、Demux２内で破棄される。

分離されたAudioデータはAudioデコーダー３にて、データに付属する再生時刻データに合わせてデータをデコードし（ステップＳ３１）、出力処理６へデコードしたデータを出力する。このとき再生範囲の終了を判定し（ステップＳ３３）Ｙｅｓなら処理を終了するがＮｏならば音声・映像の出力をし（ステップＳ３４）TSデータの読み出し位置を進め（ステップＳ３５）、ステップＳ２９へ戻る。

分離されたVideoデータはVideoデコーダー４にて、データに付属する再生時刻データに合わせてデータをデコードし映像合成処理７へデコードしたデータを出力する。

一方、第一段階の処理にて字幕データ保存部９に保存された字幕データは、第二段階の処理の最初で、字幕データ表示処理１０により（ステップＳ２８）、保存されている全字幕データ分、ユーザーの指定・操作に応じてOSD情報データとして作成され（ステップＳ３２）、そのデータが映像合成処理７へ出力される（ステップＳ３４）。この状態は、再生区間が完了するまで保持される（ステップＳ３３）。

映像合成処理７は、Videoデコーダー４および字幕データ表示処理１０からのデータを合成し最終的にTVの画面上へ表示する画像データを作成し、出力処理６へ合成した画像データを出力する。

出力処理６は、Audioデコーダー３からの入力であるデコードされた音声データをTVセットの音声出力へ音声として出力し、映像合成処理７からの入力である合成した画像データをTVセットの画面上へ表示する。

また、字幕データ表示処理１０では、図５に示す処理ブロックで構成される。この機能は、字幕データ保存部９より保存されている全字幕データを取得し、OSD情報データ化し（１０−１）映像合成処理７へ出力する。

その際、TVセットのメニュー等より指定される、OSD画面上に一度に表示する字幕の行数をしていする「表示行数」、一行の文字数を決める「表示桁数」の指定により、OSD情報の領域サイズが決定される（１０−２）。

その際、OSD情報の領域サイズ内に、OSD情報データ化した全字幕データが表示しきれない場合、OSD情報の領域は、図６に示すスクロールウィンドウのような表示形態となり、ユーザーの操作により、OSD情報データ化した全字幕データのうち、任意の部分を表示させスクロールさせる（１０−３）ことができるような機能を持つ。

このスクロール機能はTVセットのリモコン等でOSD表示中も任意にスクロールさせることが可能である。
このような構成のTVセットを用いることで、録画している任意の区間を再生する際に、その区間の字幕情報の表示を、放送に付属する表示時間情報に関係なく、ユーザーの設定・操作に応じて任意にコントロールすることが可能になる。

実施形態１に示す機能により、録画している任意の区間を再生する際に、その区間の字幕情報の表示を、放送に付属する表示時間情報に関係なく、ユーザーの設定・操作に応じて任意にコントロールすることが可能になる。

それにより、ユーザーは、再生する任意の区間の字幕データを先に読んで意味を確認しながら、音声を聞くような学習を実施することが可能になる。
（実施形態２）
本発明による実施形態２を図７乃至図１０も参照して説明する。実施形態１と共通する部分は説明を省略する。
実施形態２では、DTVセットのデータ処理の流れを、実施形態１に対して、図７に示すようにVideoデコーダー４ａから字幕データ表示処理１０ａに対して、デコード時間情報が送付されるように変更する。

また、字幕データ取得処理８で行われる処理フローを、図８の処理フローに示すように、Demux２の処理より送られてくる字幕データより（ステップＳ８１）、文字データと必要な制御コードおよび付属している表示時間情報をセットにして（ステップＳ８２）、字幕データ保存部９へ順番に保存する（ステップＳ８３）ように変更する。

また、字幕データ表示処理１０は、図９に示す処理ブロックのように、図５に示す実施例１の機能の字幕のOSD情報データ化処理（１０−１ａ） の部分に、「表示間隔」の指定およびVideoデコーダー４ａからの「デコード時間情報」取得の機能が追加されている。この「表示間隔」はTVセットのメニュー等より指定され、「デコード時間情報」は、Videoデコーダー４ａでデコードされるVideoデータに付属する再生時間情報に応じたデータが取得される。

これらの変更により、字幕データ表示処理１０ａは、字幕のOSDデータ化処理にて、図１０に示す処理フローのように、「デコード時間情報」と同期して、スクロールウィンドウ処理（１０−３ａ）へのOSDデータ化された字幕データの出力が制御できるようになる。

その結果、Videoデコーダー４ａでデコードされるVideoデータのデコードが「表示間隔」分の時間進行するたびに、表示される字幕データも「表示間隔」分進めた時間位置からの文字データに更新されるような処理が行われる。

その他の機能は、実施形態１と同様である。
このような構成のTVセットを用いることで、録画している任意の区間を再生する際に、その区間の字幕情報を、放送に付属する表示時間情報に関係なく、ユーザーの設定した時間間隔に応じたタイミングで時間間隔分の字幕をまとめて表示させることが可能になる。

実施形態２に示す機能により、録画している任意の区間を再生する際に、その区間の字幕情報を、放送に付属する表示時間情報に関係なく、ユーザーの設定した時間間隔に応じたタイミングで時間間隔分の字幕をまとめて表示させることが可能になる。

それにより、長い区間を再生する場合などに、実施形態１で示した効果だけでは、一度に表示される字幕量が多すぎるような場合でも、ユーザーは、一定の間隔分の字幕データだけをまとめて表示させることができ、ビデオの再生が進むに応じて、字幕データの表示範囲が変わるため、字幕表示の位置を操作する頻度が減り、音声を聞く学習をより効率よく進められる。

以上の実施形態では以下のポイントのように、字幕データの表示タイミングと表示量をユーザー設定に応じて任意にコントロールすることにより、外国語を学習する際の手助けとなる機能を提供する。

（１）録画番組に付属している字幕データを番組再生位置とは非同期に、画面上で閲覧することが出来る機能
（２）字幕表示する範囲を操作することが可能な（１）の機能
（３）字幕表示するタイミングを任意に設定することが可能な（１）の機能
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。コンテンツとしては放送された番組のみでなく、セルのＤＶＤのような形態のものであってもよい。また番組の記憶手段はＳＤカード等、ＨＤＤでなくともよい。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１０…マイクロプロセッサ、１６…信号処理部、１７…グラフィック処理部、１８…ＯＳＤ信号生成部、１９…映像処理部、２０…ディスプレイ、２３…操作パネル、２４…赤外線受光部、２５…リモコン、２６…フラッシュメモリ、２７…ＵＳＢコネクタ、２８…カードコネクタ、２９…ネットワーク通信回路。

Claims (5)

1. 録画された番組を保持する記憶手段と、
   前記記憶手段から得られる番組の映像信号をディスプレイへ出力する出力手段と、
   前記映像に関する字幕データを前記映像信号から取得する取得手段と、
   前記字幕データを前記取得手段から取り出し保存する保存手段と、
   前記保存手段に保存されている字幕データから字幕を番組再生位置とは非同期に作成し、前記映像にこの字幕を重ねる表示合成処理を行う表示合成手段とを
   備えることを特徴とする映像信号処理装置。
2. 前記字幕データは外部からの指定に基づいて字幕表示する範囲を操作されることを特徴とする請求項１に記載の映像信号処理装置。
3. 前記字幕データは外部からの指定に基づいて字幕表示するタイミングを設定されることを特徴とする請求項１に記載の映像信号処理装置。
4. 更に、前記映像信号を表示するディスプレイを備えることを特徴とする請求項１に記載の映像信号処理装置。
5. 録画された番組を保持する記憶手段を用いる映像信号処理装置の表示方法であって、
   前記記憶手段から得られる番組の映像を表示し、
   前記映像に関する字幕データを前記映像信号から取得し、
   前記字幕データを前記取得手段から取り出し保存し、
   前記保存されている字幕データから字幕を番組再生位置とは非同期に作成し、前記映像にこの字幕を重ねる表示合成処理を行うことを特徴とする表示方法。

Images