JP2006050013A - テレビ放送受信装置、記録再生装置 - Google Patents

Abstract

【課題】テレビ放送により映像、音声と共に受信される文字のデータを有効に利用して、電波の受信状況が悪い場合であっても放送内容を把握することを可能にする。
【解決手段】携帯デジタルテレビ１０は、映像、音声及び文字のデータを含むテレビ放送を受信する。バックエンドＬＳＩ１４のパケットフィルタ１４ａは、フロントエンドＬＳＩ１２から得られるＭＰＥＧ ＴＳパケットをもとにエラー率を検出し、テレビ放送の受信状況が良好であるか否かを判別する。パケットフィルタ１４ａは、受信状況が悪いと判別して場合には、出力切換部１４ｅにより字幕デコーダ１４ｂにより生成される字幕（文字）を、映像デコーダ１４ｃにより生成される映像に合成して表示させる。
【選択図】 図２

Description

本発明は、映像、音声、文字などのデータを含むデジタルテレビ放送を受信するテレビ放送受信装置、及び記録再生装置に関する。

近時では、デジタルテレビ放送が開始され、対応するデジタルテレビ放送受信装置によって、映像や音声を視聴するだけでなく、データ放送によって多様な情報を取得することが可能になっている。

デジタルテレビ放送では、テレビ放送番組の内容に関連する字幕がデータ放送によって受信されて、表示画面中の所定位置に表示されるようになっている（例えば、特許文献１）。
特開２００３−０３７７９２号公報

現在のデータ放送における字幕の運用形態としては、例えば複数言語の字幕情報を送信しておき、視聴者が、その中の１つの言語の字幕情報を選択しておくことで、この選択された言語の字幕情報を映像と共に表示させることができる。また、字幕表示が設定されていなければ、字幕情報が受信されていたとしても表示されない。

ところで、携帯型のテレビ放送受信装置は、常に電波の受信状況が良好な場所で使用されるとは限らない。このため、受信電波の状況が悪くなると、画像が乱れ音声がとぎれてしまったり、全く映像あるいは音声が出力されなくなってしまう。この場合、その時に放送されていた番組の内容が全く把握できなくなってしまう。また、字幕情報が受信されていたとしても、字幕表示が設定されていなければ何ら利用されることはなかった。

本発明の課題は、テレビ放送により映像、音声と共に受信される文字のデータを有効に利用して、電波の受信状況が悪い場合であっても放送内容を把握することが可能なテレビ放送受信装置を提供することにある。

請求項１記載の発明は、映像、音声及び文字のデータを含むテレビ放送を受信するテレビ放送受信装置において、テレビ放送の受信状況が良好であるか否かを判別する受信状況判別手段と、前記受信状況判別手段によって受信状況が良好ではないと判別された場合に、前記文字のデータをもとに文字を表示させる文字表示手段とを具備したことを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記受信状況判別手段により受信状況が良好ではないと判別された場合に、受信対象としている番組と、受信状況が良好ではないと判別された時間とを示すデータを記録する受信状況記録手段と、前記受信状況記録手段に記録されたデータをもとに、ネットワークを通じて番組データを取得する番組データ取得手段とを具備したことを特徴とする。

請求項３記載の発明は、請求項２記載の発明において、前記テレビ放送の受信により得られた映像、音声及び文字の少なくとも何れかを含む番組データを記録する番組データ記録手段と、前記番組データ取得手段により取得された番組データを前記番組データ記録手段に記録された番組データに合成する番組データ合成手段とを具備したことを特徴とする。

請求項４記載の発明は、請求項３記載の発明において、前記番組データ記録手段に記録された番組データの文字を含む部分を判別する判別手段と、前記判別手段により文字が含むと判別された部分の映像と音声を通常速度で再生出力する通常再生出力手段と、前記判別手段により文字が含まないと判別された部分の映像と音声を高速に再生出力する高速再生出力手段とを具備したことを特徴とする。

請求項５記載の発明は、映像、音声及び文字の少なくとも何れかを含むコンテンツデータを記録するコンテンツデータ記録手段と、前記コンテンツデータ記録手段に記録されたコンテンツデータの文字を含む部分を判別する判別手段と、前記判別手段により文字が含むと判別された部分の映像と音声を通常速度で再生出力する通常再生出力手段と、前記判別手段により文字が含まないと判別された部分の映像と音声を高速に再生出力する高速再生出力手段とを具備したことを特徴とする。

請求項６記載の発明は、映像及び音声を含むコンテンツデータを記録するコンテンツデータ記録手段と、前記コンテンツデータ記録手段に記録されたコンテンツデータの音声を認識して、台詞を含む部分を判別する判別手段と、前記判別手段により台詞を含むと判別された部分の映像と音声を通常速度で再生出力する通常再生出力手段と、前記判別手段により台詞が含まないと判別された部分の映像と音声を高速に再生出力する高速再生出力手段とを具備したことを特徴とする。

請求項７記載の発明は、請求項６記載の発明において、前記判別手段により台詞を含むと判別された部分を示すマーカを前記コンテンツデータ記録手段に記録されたコンテンツデータに付加する付加手段を有し、前記通常再生出力手段及び前記高速再生出力手段は、前記付加手段によって付加されたマーカに応じて再生出力することを特徴とする。

請求項１記載の発明によれば、テレビ放送の受信状況が悪いために、映像及び音声の出力では番組の内容を把握できない場合であっても、映像と音声のデータと共に送信されている字幕や文字スーパーなどの文字データをもとに文字を表示させることで、番組内容を把握できるようになる。

請求項２記載の発明によれば、請求項１の発明の効果に加えて、受信状況が良好でなく受信された映像及び音声のデータが不完全な場合であっても、受信状況が良好でなかった番組とその時間を記録しておくことで、別途、ネットワークを通じて、例えば番組データを提供するサーバに対して、不完全な部分を要求して取得（ダウンロード）することができる。

請求項３記載の発明によれば、請求項２の発明の効果に加えて、電波の受信状況が良好でないために、ネットワークを通じて、例えば番組データを提供するサーバから不完全な受信となっていた番組データを取得した場合には、この取得した番組データを、先に記録されている番組データに合成して完全な状態の番組データとして記録しておくことができる。

請求項４記載の発明によれば、請求項３の発明の効果に加えて、番組データ中の字幕などの文字を含む部分を判別し、番組中の文字が含む部分については通常速度で再生出力することで映像、音声、及び文字について通常通りに確認することができ、文字が含まない部分については高速に再生出力することにより再生時間の短縮を図ることができる。

請求項５記載の発明によれば、コンテンツデータ中の字幕などの文字を含む部分を判別し、コンテンツ中の文字が含む部分については通常速度で再生出力することで映像、音声、及び文字について通常通りに確認することができ、文字が含まない部分については高速に再生出力することにより再生時間の短縮を図ることができる。

請求項６記載の発明によれば、コンテンツデータ中の音声について音声認識処理を施すことで台詞を含む部分を判別し、コンテンツ中の台詞が含む部分については通常速度で再生出力することで映像、音声について通常通りに内容を把握することができ、台詞が含まない部分については高速に再生出力することにより再生時間の短縮を図ることができる。

請求項７記載の発明によれば、請求項６の発明の効果に加えて、台詞を含むと判別された部分にマーカを記録しておくことで、コンテンツを再生出力するたびに音声に対して音声認識をすることなく、コンテンツ中の台詞が含む部分については通常速度で再生出力し、台詞が含まない部分については高速に再生出力することができる。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態における携帯デジタルテレビ１０（テレビ放送受信装置）が使用されるシステム構成を示すブロック図である。

放送局２は、地上波デジタルテレビ放送を送信するもので、複数チャンネルの番組データ（音声データ、映像データ、文字データ）を含む放送フレームを送信する。放送局２からは、例えば家庭内などで使用される一般のテレビ放送受信装置向けの番組データの他に、移動体向けの番組データを含めて送信する。携帯デジタルテレビ１０は、放送局２から放送される移動体向けのデジタルテレビ放送（番組データ）を受信するものとする（一般向けのデジタルテレビ放送を受信するとしても良い）。また、放送局２は、テレビ放送だけでなくデータ放送も行う。

基地局４は、携帯デジタルテレビ１０との間で無線通信を行なうもので、携帯デジタルテレビ１０とインターネットなどのネットワーク６とを無線通信を介して接続する。

ネットワーク６は、公衆回線網（有線、無線）、インターネットなど各種通信網を含むもので、例えば携帯デジタルテレビ１０、サーバ７などが接続される。

サーバ７は、各種サービスを提供するもので、例えば放送局２により放送される番組に関係するデータの提供なども行う。例えば、サーバ７は、番組データベース８に記録されている、放送局２によって放送された番組データ（音声データ、映像データ、文字データ）を提供するサービスを実行する。サーバ７は、ネットワーク６を通じて例えば携帯デジタルテレビ１０から番組データの取得要求があった場合に、携帯デジタルテレビ１０から取得されるデータが示す番組と時間に該当する番組データを番組データベース８から検索して、ネットワーク６を通じて提供する。

携帯デジタルテレビ１０は、放送局２から送信される映像、音声及び文字のデータを含むテレビ放送を受信して、再生出力することができる。携帯デジタルテレビ１０は、テレビ放送により受信した番組データを、例えばＭＰＥＧ ＴＳパケット形式によって記録しておき、任意に再生出力させることができる。また、携帯デジタルテレビ１０は、基地局４との間の無線通信を介してネットワーク６と接続し、例えば番組データを提供するサーバ７にアクセスすることができる。

図２は、本実施形態における携帯デジタルテレビ１０の構成を示すブロック図である。

図２に示すように、携帯デジタルテレビ１０は、フロントエンドＬＳＩ１２、バックエンドＬＳＩ１４、ＣＰＵ１６、ＲＯＭ１８、ＲＡＭ１９、フラッシュメモリ２０、通信ユニット２１、液晶ディスプレイ２２、及び内蔵スピーカ２４が設けられている。

フロントエンドＬＳＩ１２は、デジタルテレビ放送の電波をアンテナ１２ｂにより受信し、チューナ１２ａによりデジタルテレビ放送波から生成されるＲＦ（Radio Frequency）信号から所定の放送番組の信号を選択し、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調部１２ｃによりＭＰＥＧ（Moving Picture Experts Group） ＴＳ（Transport Stream）パケット信号へ復調する。ＭＰＥＧ ＴＳパケット信号には、放送番組の映像、音声、字幕（あるいはスーパー）などのデータが含まれている。

バックエンドＬＳＩ１４は、ＯＦＤＭ復調部１２ｃによって復調されたＭＰＥＧ ＴＳパケット信号を、パケットフィルタ１４ａにおいてパケットヘッダに基づいて音声、映像、字幕のパケットに振り分け、それぞれ音声デコーダ１４ｄ、映像デコーダ１４ｃ、字幕デコーダ１４ｂにおいてデコードする。音声デコーダ１４ｄのデコードにより生成される音声は、内蔵スピーカ２４から出力される。映像デコーダ１４ｃのデコードにより生成される映像は、図示せぬ表示制御部を介して、ビデオ信号として液晶ディスプレイ２２に出力されて表示される。字幕デコーダ１４ｂのデコードにより生成される字幕（文字）は、映像デコーダ１４ｃにより生成された映像に、出力切換部１４ｅにおいて合成され、液晶ディスプレイ２２において表示される。

また、パケットフィルタ１４ａは、ＯＦＤＭ復調部１２ｃからのＭＰＥＧ ＴＳパケット信号に対するエラー率を検出する機能、すなわちテレビ放送の受信状況が良好であるか否かを判別する機能を有している。パケットフィルタ１４ａは、エラー率が予め設定された値以上となったと判別した場合には、電波の受信状況が悪いために、画像が乱れ音声がとぎれてしまったり、全く映像あるいは音声が出力されなくなっているため、出力切換部１４ｅにより字幕デコーダ１４ｂにより生成される字幕（文字）を合成して表示させる。

地上波デジタル放送においては、字幕データの変調方式は、映像／音声データと比較して外乱に対する耐性が同一もしくは字幕データの方が強くなっており、また映像／音声データと比較して字幕データのデータ量が極端に少ない。従って、字幕データは、映像／音声データと比較して外乱に対して破壊される確率が低い。そのため、電波状況が不安定な状態の時に映像／音声を正常に出力できない状況でも、字幕モードをオンすることで、少なくとも字幕については正常な出力が期待できる。

出力切換部１４ｅは、パケットフィルタ１４ａによって検出されるエラー率に基づいて切り替えられる他、通常の動作時（受信状況が良好な場合）には、図示せぬ入力装置から入力されたユーザからの字幕モードオン／オフの設定に応じて、ＣＰＵ１６からの制御に応じて切り替えられる。

音声認識部１４ｆは、フラッシュメモリ２０に記録された番組（コンテンツ）データについて再生出力する場合に、音声デコーダ１４ｄのデコードにより生成される音声について音声認識を実行し、音声（台詞）を含む部分であるかを判別する（第２実施形態）。

ＣＰＵ１６は、ＲＯＭ１８に記録された各種プログラムを実行することで各部を制御する。ＣＰＵ１６は、図示せぬ入力装置を介してユーザから入力される各種指示に応じた処理を実行可能である。例えば、ＣＰＵ１６は、ユーザからの指示に応じて、デジタルテレビ放送の受信状況が悪い場合に自動的に字幕を表示させる再生モードの設定が可能である。ＣＰＵ１６は、再生モードがオンに設定された場合には、バックエンド１４に対して、パケットフィルタ１４ａにより検出されるエラー率に応じた出力切換部１４ｅに対する切換制御を実行させる。また、ＣＰＵ１６は、ユーザからの指示に応じて、バックエンドＬＳＩ１４を介して、デジタル放送の受信により得られた番組データを、フラッシュメモリ２０において例えばＭＰＥＧ ＴＳパケット形式によって記録させることができる。また、ＣＰＵ１６は、パケットフィルタ１４ａにより検出されるエラー率が予め設定された値以上となった場合に、その受信対象としている番組と受信状況が良好ではないと判別された時間とを示すデータをＲＡＭ１９に記録し、このデータをもとに、ネットワーク６を通じてサーバ７に対して番組データのダウンロードを要求することができる。

ＲＯＭ１８は、ＣＰＵ１６により実行される各種プログラムやデータなどが記録されている。
ＲＡＭ１９は、ＣＰＵ１６による動作に伴って一時的なデータなどが記録される。例えば、ＲＡＭ１９には、デジタルテレビ放送の受信状況を示すデータ（受信対象としている番組と、受信状況が良好ではないと判別された時間とを示すデータ）、通信ユニット２１を通じてサーバ７からダウンロードされたデータ、フラッシュメモリ２０に記録されるデータなどが一時的に記録される。

フラッシュメモリ２０は、ＣＰＵ１６の制御のもとで、バックエンドＬＳＩ１４からの番組データ（音声データ、映像データ、文字データ）が、例えばＭＰＥＧ ＴＳパケット形式（あるいはＭＰＥＧ ＰＳ（program Stream）パケット形式）によって記録される。フラッシュメモリ２０に記録された番組データは、バックエンドＬＳＩ１４に読み出されて再生出力される。

通信ユニット２１は、ＣＰＵ１６の制御のもとで、基地局４、ネットワーク６を介して、サーバ７などとの通信を実行する。

液晶ディスプレイ２２は、図示せぬ表示制御から出力されるビデオ信号を入力して映像を表示する。なお、液晶ディスプレイ２２に限らず、携帯型のテレビ放送受信装置を実現することが可能な他の表示装置を用いることも可能である。

内蔵スピーカ２４は、音声デコーダ１４ｆから出力される音声信号に応じた音声を出力させる。

次に、本実施形態における携帯デジタルテレビ１０の動作について、図３に示すフローチャートを参照しながら説明する。ここでは、放送局２から放送されされている番組データには、映像、音声と共に字幕のデータが含まれているものとする。

まず、携帯デジタルテレビ１０は、電源がオンされると各部を起動する。携帯デジタルテレビ１０は、フロントエンドＬＳＩ１２においてユーザが指定した番組のテレビ放送を受信し、バックエンドＬＳＩ１４においてＭＰＥＧ ＴＳパケットに含まれる音声と映像をデコードして、液晶ディスプレイ２２に番組の映像を表示させると共に内蔵スピーカ２４から音声を出力させる。

例えば、携帯デジタルテレビ１０を電車内で使用しているものとする。この場合、電車の進行に伴って電波の受信状況が変化し、電波の受信状況が悪い場所では映像、音声が正常に出力されなくなってしまう。ここで、ユーザが再生モードをオンに設定する指示を入力したものとする。ＣＰＵ１６は、ユーザからの指示に応じて、バックエンドＬＳＩ１４に対し、デジタルテレビ放送の受信状況が悪い場合に、字幕を表示させる再生モードによる動作を実行させる。

再生モードがオンに設定されている場合、バックエンド１４は、図３に示すフローチャートに従って、字幕の出力を制御する。

パケットフィルタ１４ａは、ＯＦＤＭ復調部１２ｃから入力されるＭＰＥＧ ＴＳパケットを対象として、エラー率を検出し、このエラー率が予め設定されている値以上となっているか、すなわち電波状況が悪くなっているかを判別する（ステップＡ１）。

電波状況が良好な場合には（ステップＡ１、Ｙｅｓ）、パケットフィルタ１４ａは、出力切換部１４ｅにより字幕が出力されないようにする（字幕オフ）（ステップＡ２）。この場合、映像、音声共に良好な状態で受信されているため、字幕を表示しないうにすることで映像を損ねないで済む。

図４（ａ）には、電波の受信状況が良好な場合の映像表示と音声出力状態を示している。ここでは、液晶ディスプレイ２２において映像が明瞭に表示されると共に、内蔵スピーカ２４から明瞭な音声が出力されている。

パケットフィルタ１４ａは、一定時間待機した後（ステップＡ４）、再びＭＰＥＧ ＴＳパケットを対象として、エラー率を検出することで電波状況を判別する（ステップＡ１）。すなわち、パケットフィルタ１４ａは、定期的にデジタルテレビ放送の受信状況を調べている。

パケットフィルタ１４ａは、エラー率が予め設定されている値以上となっていると判別された場合（ステップＡ１、Ｎｏ）、出力切換部１４ｅにより字幕が出力されるようにする（字幕オン）（ステップＡ３）。出力切換部１４ｅは、映像デコーダ１４ｃにより生成された映像に、字幕デコーダ１４ｂにより生成される字幕（文字）を合成して出力し、液晶ディスプレイ２２において字幕つきの映像を表示させる。

図４（ｂ）には、電波の受信状況が悪化した場合の映像表示と音声出力状態を示している。ここでは、液晶ディスプレイ２２における映像がかすれた状態にあり、また内蔵スピーカ２４からは音声が出力されない、あるいは途切れて出力されている。しかし、字幕「○井がホームラン！」が表示されていることから、現在、放送されている内容が、例えば野球番組でホームランシーンを放送していることが把握できる。

その後、デジタルテレビ放送の受信状況が良好になった場合には（ステップＡ１）、映像と音声を正常に出力できるため、前述と同様にして字幕をオフして（ステップＡ２）、自動的に字幕が表示されないようにする。

このようにして、デジタルテレビ放送の受信状況が悪く、映像、音声を正常に出力できない状況にあることが検出されると、受信状況が悪い場合であっても再生出力の可能性の高い字幕について自動的に表示出力されるように制御されるので、この字幕を参照することで映像、音声では把握できなかった番組の内容を知ることができる。

なお、前述した説明では、電波の受信状況が悪くなった場合に字幕モードを自動的にオンして字幕を表示するようにしているが、字幕以外の文字データ、例えばデータ放送によって受信される文字データを表示するようにしても良い。

この場合、図２に示す構成において、バックエンドＬＳＩ１４にデータ放送をデコードする機能、例えばデータ放送により受信されるＢＭＬ（broadcast markup language）により記述されたデータ応じて、データ放送により受信されるデータコンテンツの表示やコンテンツに対する操作の制御を行うデータ放送ブラウザ処理部を設ける。

データ放送ブラウザ部は、パケットフィルタ１４ａによってエラー率が予め設定された値以上となり、受信状況が悪くなったと判別された場合には、データ放送をオンにして、液晶ディスプレイ２２に表示される画面中にデータ放送表示用の領域を設定し、データ放送により受信される情報を表示する。また、受信状況が良好になった場合には、データ放送をオフにして、データ放送により受信される情報の表示を停止する。

次に、デジタルテレビ放送により受信される番組データを再生出力しながら記録する場合の動作について説明する。本実施形態における携帯デジタルテレビ１０は、ユーザからの指示に応じて、番組を視聴しながら番組データを記録するモードにすることができる。この際、携帯デジタルテレビ１０は、パケットフィルタ１４ａによって検知されるエラー率を利用してデジタルテレビ放送の受信状況を記録しておくことができる。

図５（ａ）には、デジタルテレビ放送を出力しながら受信状況を記録する受信状況記録処理を説明するフローチャートを示している。

まず、デジタルテレビ放送が受信されると（ステップＢ１）、パケットフィルタ１４ａによりエラー率が予め設定された値以上となっているか、すなわち電波の受信状況が悪くなった（障害あり）かを判別している（ステップＢ２）。

ここで、電波の受信状況が良好な場合には、バックエンドＬＳＩ１４においてデコードされた映像、音声が再生出力される（ステップＢ４）。また、バックエンドＬＳＩ１４を通じてフラッシュメモリ２０に番組データを記録していく（ステップＢ５）。

一方、電波の受信状況が悪くなった場合（ステップＢ２、Ｙｅｓ）、ＣＰＵ１６は、現在、受信対象としている番組と、受信状況が良好ではないと判別された時間とを示すデータをＲＡＭ１９（あるいはフラッシュメモリ２０）に記録する（ステップＢ３）。ここで記録される時間は、例えば番組の開始時刻を基準とした時間とする。

そして、バックエンドＬＳＩ１４においてデコードされた映像、音声と共に、前述したように再生モードがオンに設定されている場合には、字幕が映像に合成されて再生出力される（ステップＢ４）。また、バックエンドＬＳＩ１４を通じてフラッシュメモリ２０に番組データを記録していく（ステップＢ５）。ここでは、受信状況が悪い状態の不完全な番組データが記録されることになる。この部分の番組データについては、後述する番組データ取得処理により、サーバ７からダウンロードして更新することができる。

このようにして、番組データを記録する際に、電波の受信状況が悪いために番組データに不完全な部分がある場合には、その番組と不完全となっている時間を示すデータを記録しておくことができる。

次に、サーバ７から番組データをダウンロードする番組データ取得処理について、図５（ｂ）に示すフローチャートを参照しながら説明する。

ＣＰＵ１６は、ユーザから番組データのダウンロードの実行が指示されると、通信ユニット２１を通じて、番組データのダウンロードサービスを提供しているサーバ７にアクセスする（ステップＣ１）。サーバ７と接続されると、ＣＰＵ１６は、ＲＡＭ１９（あるいはフラッシュメモリ２０）に記録された受信状況記録処理により記録された番組と時間を示すデータをサーバ７に送信して、このデータに該当する番組データのダウンロードを要求する（ステップＣ２）。

サーバ７は、携帯デジタルテレビ１０からの要求を受信すると、番組データベース８に記録されている番組データから該当するものを検索して携帯デジタルテレビ１０に送信する。ここでは、該当する番組全体の番組データを提供するようにしても良いが、時間を示すデータに該当する範囲の番組データのみを送信するものとする。なお、サーバ７が提供する番組データには、映像、音声の他、字幕などの文字データなども含む。番組データベース８では、例えばシーン毎に番組データが管理されており、携帯デジタルテレビ１０から受信したデータが示す時間を含むシーンを該当する範囲とする。

携帯デジタルテレビ１０は、通信ユニット２１を通じてサーバ７から番組データをダウンロードする（ステップＣ３）。そして、フラッシュメモリ２０に記録されている番組データに、ダウンロードした番組データを合成する（ステップＣ４）。すなわち、ダウンロードした番組データにより、不完全な状態で記録された部分を含む番組データを更新することで、番組データ全体を電波の受信状況が良好な場合に記録された場合と同じ品質とすることができる。例えば、ダウンロードした番組データは、シーン単位で取得されるため、記録済みの番組データの該当するシーンについて更新される。

このようにして、デジタルテレビ放送を受信して番組データを記録する場合に受信状況を記録しておくことで、電波の受信状況が悪かった部分の番組データをサーバ７からダウンロードして、更新することができる。

次に、前述したようにフラッシュメモリ２０に記録された番組データを再生出力させる場合について説明する。本実施形態における携帯デジタルテレビ１０では、記録された番組データを再生出力させる場合に、番組データ中の字幕または台詞がある部分については通常速度で再生出力し、その他の部分については高速に再生する再生モードの設定が可能である。

図６は、字幕がある部分以外を高速に再生する再生モードが設定された場合の動作を示すフローチャートである。

フラッシュメモリ２０に記録された番組データは、バックエンドＬＳＩ１４に入力され、パケットフィルタ１４ａにおいてパケットヘッダに基づいて音声、映像、字幕のパケットに振り分けられ、それぞれ音声デコーダ１４ｄ、映像デコーダ１４ｃ、字幕デコーダ１４ｂにおいてデコードされて出力される。

番組データについて通常の再生出力をしている状態において本モードがオンされると、ＣＰＵ１６は、バックエンドＬＳＩ１４に対して字幕の有無に応じた再生出力を実行させる。

バックエンドＬＳＩ１４の字幕デコーダ１４ｂは、パケットフィルタ１４ａからのデータにより字幕が含まれる区間であるかを検知し、字幕表示区間であるか否かに応じて、映像デコーダ１４ｃと音声デコーダ１４ｄに対して速度制御信号を出力する。

ここで、字幕表示区間でない場合には（ステップＤ１、Ｎｏ）、字幕デコーダ１４ｂは、映像デコーダ１４ｃと音声デコーダ１４ｄに対して、高速再生を指示する速度制御信号を出力する。

映像デコーダ１４ｃは、字幕デコーダ１４ｂからの速度制御信号に応じて画像を高速再生出力する。また、音声デコーダ１４ｄは、映像デコーダ１４ｃによる画像の高速再生に合わせて音声を高速再生出力する（ステップＤ２）。ここでは、ＢＧＭなどの音声に関して、音程が変わらないように通常速度の再生音声を細切れ（間欠的）に連続再生する（音声細切れ分割等速再生）。

字幕デコーダ１４ｂは、一定時間待機した後（ステップＤ３）、再び字幕表示区間であるか否かの検知を行う（ステップＤ１）。すなわち、字幕デコーダ１４ｂは、定期的に字幕表示区間の有無を調べている。

一方、字幕表示区間である場合には（ステップＤ１、Ｙｅｓ）、字幕デコーダ１４ｂは、映像デコーダ１４ｃと音声デコーダ１４ｄに対して、通常再生を指示する速度制御信号を出力する。

映像デコーダ１４ｃは、字幕デコーダ１４ｂからの速度制御信号に応じて画像を通常速度により再生出力する。また、音声デコーダ１４ｄも通常速度により再生出力する（ステップＤ４）。

字幕デコーダ１４ｂは、前述と同様にして、一定時間待機した後（ステップＤ５）、再び字幕表示区間であるか否かの検知を行う（ステップＤ１）。

通常、映画やドラマ、ニュースなどのコンテンツ（番組データ）においては、映像中に字幕が表示される場合には、台詞の音声も同時に出力されることが多い。従って、字幕表示の有無を確認することで台詞の有無を判断し、字幕表示区間については通常速度で再生出力することで、言葉の聞き取りが重要になるコンテンツについて映像及び音声について確実に確認することができ、また字幕区間以外では高速再生することで再生時間の短縮を図ることができる。

図７は、台詞がある部分以外を高速に再生する再生モードが設定された場合の動作を示すフローチャートである。

記録された番組データについて通常の再生出力をしている状態において本モードがオンされると、ＣＰＵ１６は、バックエンドＬＳＩ１４に対して台詞の有無に応じた再生出力を実行させる。

バックエンドＬＳＩ１４の音声認識部１４ｆは、音声デコーダ１４ｄによってデコードされた音声信号に対して音声認識処理を実行し、台詞（人間の声）が含まれる区間であるか否かを検知し、台詞の発声状況に変化があるかを判別する（ステップＥ１）。

ここで、台詞の発声状況に変化があると判別された場合、音声認識部１４ｆは、映像デコーダ１４ｃと音声デコーダ１４ｄに対して、台詞の有無に応じた速度制御信号を出力する。

ここで、台詞が有る場合には（ステップＥ２、Ｎｏ）、映像デコーダ１４ｃは、音声認識部１４ｆからの速度制御信号に応じて画像を高速再生出力する。また、音声デコーダ１４ｄは、映像デコーダ１４ｃによる画像の高速再生に合わせて音声を高速再生出力する（ステップＥ３）。ここでは、ＢＧＭなどの音声に関して、音程が変わらないように通常速度の再生音声を細切れ（間欠的）に連続再生する（音声細切れ分割等速再生）。

音声認識部１４ｆは、継続して音声認識処理を実行し、台詞が含まれる区間であるか否かを検知し、台詞の発声状況に変化があるかを判別する（ステップＥ１）。ここで、台詞がある状況に変化した場合（ステップＥ２、Ｙｅｓ）、音声認識部１４ｆは、音声デコーダ１４ｄに対して遅延制御信号を出力し、台詞開始時点まで戻ってから再デコードを実行させる。また、音声認識部１４ｆは、映像デコーダ１４ｃに対して、通常再生を指示する速度制御信号を出力する。

すなわち、台詞の有無の識別には複雑な信号処理が必要となるため、台詞（音声）開始から音声認識部１４ｆにより台詞の存在が認識されるまでにはタイムラグが生じる。そのため、音声デコーダ１４ｄは、再生出力される音声をユーザが聞き取れないことがないように、台詞の開始時点に遡って再生出力できるようにする（ステップＥ４）。

映像デコーダ１４ｃは、音声認識部１４ｆからの速度制御信号に応じて画像を通常速度により再生出力する。また、音声デコーダ１４ｄは、台詞開始時点から通常速度により再生出力する（ステップＥ５）。

その後も音声認識部１４ｆは、継続して音声認識処理を実行し、台詞が含まれる区間であるか否かを検知し、台詞の発声状況の変化に応じて高速再生出力と通常再生出力を切り替えさせる。

このようにして、音声認識処理によって台詞（人間の音声）の有無を判断し、台詞が発せられている場合に通常の速度で再生出力し、それ以外の場合に高速再生出力することにより、字幕の有無により再生速度を切り替える場合と同様にして、言葉の聞き取りが重要になるコンテンツについて映像及び音声について確実に確認することができ、また字幕区間以外では高速再生することで再生時間の短縮を図ることができる。ここでは、音声認識によって台詞の有無を検出しているので、字幕データが存在しない番組データ（コンテンツ）についても、高速再生出力と通常の再生出力とを切り換えながらの再生出力が可能となる。また、高速再生出力から通常の再生出力に切り替わる際に、音声認識処理により台詞の検出が遅れた場合でも、台詞開始時点に戻って再生出力されるので正常な出力が可能となる。

なお、前述した説明では、デジタルテレビ放送を受信して得られた番組データの再生出力を例にしているが、ネットワークを介して受信されたコンテンツデータや、他の記録媒体（ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）など）によって提供されるコンテンツデータを対象とすることもできる。

また、字幕または台詞のある部分を通常再生し、その他の部分を高速再生するとしているが、その他の条件に該当する部分を検出して高速再生するようにしても良い。例えば、映像のシーンチェンジの頻度が多い区間、映像中に特定の物体（形状や色などにより判別される）が表示されている区間、映像中に文字が含まれている区間、音声レベルが所定以上となっている区間などがある。これらの条件に該当する部分を判別する機能を設け、この機能による検出結果をもとにして映像及び音声の再生出力の速度を制御すれば良い。

また、一般的なピクチャーサーチ再生で画像は一定倍速で再生し、音声を通常速度で再生する際に、字幕や台詞の有無を検知して、字幕や台詞がある部分を重点的に切り出して再生するようにしても良い。

なお、前述した説明では、記録された番組データ（コンテンツ）を再生出力する際に、字幕あるいは台詞を検知しているが、番組データを記録する際に字幕あるいは台詞を検知し、記録フォーマット内に字幕あるいは台詞の開始点及び終了点を示すマーカを付加するようにしても良い。

この場合、字幕デコーダ１４ｂによる字幕表示区間の位置、あるいは音声認識部１４ｆによる文字認識処理により検出される台詞の発生区間の位置を示すデータが記録用として出力される。ＣＰＵ１６は、字幕デコーダ１４ｂあるいは音声認識部１４ｆから出力されるデータ（マーカ）を、番組データ（コンテンツ）に付加してフラッシュメモリ２０に記録しておく。

このマーカが付加された番組データを再生出力する場合には、このマーカ位置を検出することで、高速再生出力と通常再生出力を切り換える。これにより、再生出力のたびに字幕あるいは台詞を検出することなく、前述と同様にして、字幕あるいは台詞がある場合に通常速度で再生出力し、それ以外の場合に高速再生出力することができる。この場合、バックエンドＬＳＩ１４における処理の負荷が軽減され、字幕や台詞を検知するまでの遅延が発生しないので、安定した再生出力が可能となる。

なお、前述した説明では、フラッシュメモリ２０にデジタルテレビ放送を受信して得られた番組データ（コンテンツデータ）が記録されるものとしているが、通信ユニット２１を通じて受信されたデータを記録することもできる。また、番組データ（コンテンツデータ）が記録された記録媒体を脱着自在とし、この記録媒体に記録されたデータを再生出力することも可能である。

また、フラッシュメモリ２０に番組データを記録するとしているが、その他の不揮発性の記録媒体、例えばハードディスク装置などに記録することも可能である。

さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

また、前述した実施形態では、バックエンドＬＳＩＬＳＩ１４において映像／音声データに対する処理を実行する構成としているが、ＣＰＵ１６により映像／音声処理プログラムに基づいて前述と同様の処理を実行させるようにしても良い。この場合、映像／音声処理プログラムを、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで、あるいは通信媒体を通じて提供できるようにしても良い。映像／音声処理プログラムによりコンピュータの動作を制御することで、前述した実施形態における機能を実現することができる。

本発明の実施形態における携帯デジタルテレビ１０（テレビ放送受信装置）が使用されるシステム構成を示すブロック図。 本実施形態における携帯デジタルテレビ１０の構成を示すブロック図。 本実施形態における携帯デジタルテレビ１０の動作について説明するためのフローチャート。 本実施形態における映像表示と音声出力状態の一例を示す図。 本実施形態における受信状況記録処理と番組データ取得処理について説明するためのフローチャート。 本実施形態における字幕がある部分以外を高速に再生する再生モードが設定された場合の動作を示すフローチャート。 本実施形態における台詞がある部分以外を高速に再生する再生モードが設定された場合の動作を示すフローチャート。

符号の説明

２…放送局。４…基地局、６…ネットワーク、７…サーバ、８…番組データベース、１０…携帯デジタルテレビ、１２…フロントエンドＬＳＩ、１２ａ…チューナ、１２ｂ…アンテナ、１２ｃ…ＯＦＤＭ復調部、１４…バックエンドＬＳＩ、１４ａ…パケットフィルタ、１４ｂ…字幕デコーダ、１４ｃ…映像デコーダ、１４ｄ…音声デコーダ、１４ｅ…出力切換部、１４ｆ…音声認識部、１６…ＣＰＵ、１８…ＲＯＭ、１９…ＲＡＭ、２０…フラッシュメモリ、２１…通信ユニット、２２…液晶ディスプレイ、２４…内蔵スピーカ。

Claims (7)

1. 映像、音声及び文字のデータを含むテレビ放送を受信するテレビ放送受信装置において、
   テレビ放送の受信状況が良好であるか否かを判別する受信状況判別手段と、
   前記受信状況判別手段によって受信状況が良好ではないと判別された場合に、前記文字のデータをもとに文字を表示させる文字表示手段と
   を具備したことを特徴とするテレビ放送受信装置。
2. 前記受信状況判別手段により受信状況が良好ではないと判別された場合に、受信対象としている番組と、受信状況が良好ではないと判別された時間とを示すデータを記録する受信状況記録手段と、
   前記受信状況記録手段に記録されたデータをもとに、ネットワークを通じて番組データを取得する番組データ取得手段と
   を具備したことを特徴とする請求項１記載のテレビ放送受信装置。
3. 前記テレビ放送の受信により得られた映像、音声及び文字の少なくとも何れかを含む番組データを記録する番組データ記録手段と、
   前記番組データ取得手段により取得された番組データを前記番組データ記録手段に記録された番組データに合成する番組データ合成手段と
   を具備したことを特徴とする請求項２記載のテレビ放送受信装置。
4. 前記番組データ記録手段に記録された番組データの文字を含む部分を判別する判別手段と、
   前記判別手段により文字が含むと判別された部分の映像と音声を通常速度で再生出力する通常再生出力手段と、
   前記判別手段により文字が含まないと判別された部分の映像と音声を高速に再生出力する高速再生出力手段と
   を具備したことを特徴とする請求項３記載のテレビ放送受信装置。
5. 映像、音声及び文字の少なくとも何れかを含むコンテンツデータを記録するコンテンツデータ記録手段と、
   前記コンテンツデータ記録手段に記録されたコンテンツデータの文字を含む部分を判別する判別手段と、
   前記判別手段により文字が含むと判別された部分の映像と音声を通常速度で再生出力する通常再生出力手段と、
   前記判別手段により文字が含まないと判別された部分の映像と音声を高速に再生出力する高速再生出力手段と
   を具備したことを特徴とする記録再生装置。
6. 映像及び音声を含むコンテンツデータを記録するコンテンツデータ記録手段と、
   前記コンテンツデータ記録手段に記録されたコンテンツデータの音声を認識して、台詞を含む部分を判別する判別手段と、
   前記判別手段により台詞を含むと判別された部分の映像と音声を通常速度で再生出力する通常再生出力手段と、
   前記判別手段により台詞が含まないと判別された部分の映像と音声を高速に再生出力する高速再生出力手段と
   を具備したことを特徴とする記録再生装置。
7. 前記判別手段により台詞を含むと判別された部分を示すマーカを前記コンテンツデータ記録手段に記録されたコンテンツデータに付加する付加手段を有し、
   前記通常再生出力手段及び前記高速再生出力手段は、前記付加手段によって付加されたマーカに応じて再生出力することを特徴とする請求項６記載の記録再生装置。

Images