JP2011139241A - テレビ受信装置、テレビ受信装置の制御方法及び制御プログラム - Google Patents

Abstract

【課題】字幕データに基づいて音声再生を行っている場合に、通常の音声再生（さらには映像再生）に違和感なく復帰させる。
【解決手段】字幕データが含まれるディジタルテレビ放送電波を受信して、画像再生及び音声再生を行うテレビ受信装置において、音声再生が途切れた場合に、字幕データあるいは複数の字幕データで構成される字幕データ群が対応する字幕表示可能期間内に、再生が終了するように字幕データあるいは字幕データ群に基づいて字幕音声を再生する。
【選択図】図５

Description

本発明は、テレビ受信装置、テレビ受信装置の制御方法及び制御プログラムに係り、特に字幕データに基づいて字幕表示を選択的に行うことが可能な地上波ディジタルテレビ放送を受信可能なテレビ受信装置、テレビ受信装置の制御方法及び制御プログラムに関する。

従来、ディジタル放送に用いる映像信号および音声信号はそれぞれディジタル圧縮され、符号化されて映像エレメンタリーストリーム(ＥＳ: Elementary Stream)及び音声エレメンタリーストリームとされる。
これらの映像エレメンタリーストリームあるいは音声エレメンタリーストリームは、適当な大きさに分割されてパケット化され、ＰＥＳ(Packetized Elementary Stream)とされる。
さらにこれらのＰＥＳは、時系列に繋がれ映像トランスファーストリーム（ＴＳ）と音声トランスファーストリームとされる。
同様にディジタル放送で字幕放送を行う場合には、字幕データを符号化後にエレメンタリーストリームとし、このエレメンタリーストリームを適当な大きさに分割してパケット化しＰＥＳとし、時系列に繋がれ字幕トランスファーストリーム（ＴＳ）となる。
そして、映像トランスファーストリーム、音声トランスファーストリーム及び字幕トランスファーストリームは、一つのトランスファーストリームＴＳに多重化され、ディジタル放送信号として送信されていた（例えば、特許文献１参照）。
受信装置側では、上述した手順とは逆の手順で、受信した多重信号を映像トランスファーストリーム、音声トランスファーストリーム、字幕トランスファーストリームに分離後それぞれ復号化し、元の映像信号、音声信号、字幕信号としていた。
ところで、ディジタル放送における字幕信号は、クローズドキャプションであり、アナログ放送における字幕（オープンキャプション）とは異なっており、表示／非表示の設定または選択が送信側または受信側で設定または選択ができる。
また、字幕放送を行う場合、映像や音声との同期をとる場合には、字幕の表示タイミングが問題になるが、タイムスタンプという仕組みを用いて、映像や音声との同期をとっている。

特開２００３−０４６９６０号公報

ところで、地上波ディジタルテレビ放送においては、電波状況が悪くなると、まず、映像表示が行えなくなり、次に音声再生が途切れることとなる。
特に車載用のテレビ受信装置においては、ドライバーは音声により内容を把握しているため、音声が途切れると全く内容を把握することができなくなってしまう。
この場合に、字幕データに基づいて音声再生を行うことが考えられるが、再び音声の再生が可能となった場合に、字幕データに基づく音声再生から通常の音声へ切り替えるタイミングが合わなくなってしまい、使い勝手が悪いという不具合が生じる可能性があった。
そこで、本発明の目的は、字幕データに基づいて音声再生を行っている場合に、通常の音声再生（さらには映像再生）に違和感なく復帰させることが可能なテレビ受信装置、テレビ受信装置の制御方法及び制御プログラムを提供することにある。

上記目的を達成するために、本発明の第１態様は、字幕データが含まれるディジタルテレビ放送電波を受信して、画像再生及び音声再生を行うテレビ受信装置において、前記音声再生が途切れた場合に、前記字幕データあるいは複数の字幕データで構成される字幕データ群が対応する字幕表示可能期間内に、再生が終了するように前記字幕データあるいは前記字幕データ群に基づいて前記字幕音声を再生する字幕音声再生部を備えたことを特徴とする。

上記構成によれば、字幕音声再生部は、音声再生が途切れた場合に、字幕データあるいは複数の字幕データで構成される字幕データ群が対応する字幕表示可能期間内に、再生が終了するように字幕データあるいは字幕データ群に基づいて字幕音声を再生する。
したがって、音声が再生できない場合でも放送内容の概略を把握できるとともに、字幕表示可能期間内に字幕音声を再生するので、字幕音声再生から音声再生に復帰する場合でも、区切りよく復帰させることができ、字幕音声再生から音声再生への復帰の違和感を低減させることができる。

本発明の第２態様は、第１態様において、前記字幕音声再生部は、今回再生を行うべき字幕音声の再生開始可能時刻と、次回再生を行うべき前記字幕音声の再生開始予定時刻との差に基づいて今回再生を行う前記字幕音声の再生速度を定めることを特徴とする。
上記構成によれば、字幕音声再生から音声再生への復帰の違和感を低減させるための字幕音声の再生速度を容易かつ迅速に定めることができる。

本発明の第３態様は、第２態様において、前記字幕音声再生部は、遅くとも次回再生を行うべき前記字幕音声の再生開始時刻までに今回の字幕音声の再生が完了するように前記再生速度を定める。
上記構成によれば、遅くとも次回再生を行うべき字幕音声の再生開始予定時刻までに今回の字幕音声の再生が完了するので、次回の再生開始予定時刻において、音声再生が可能な状態となり、音声再生が復帰される場合でも、違和感なく復帰させることができる。

本発明の第４態様は、字幕データが含まれるディジタルテレビ放送電波を受信して、画像再生及び音声再生を行うテレビ受信装置の制御方法において、前記音声再生が途切れた場合に、前記字幕データあるいは複数の字幕データで構成される字幕データ群が対応する字幕表示可能期間を算出する算出過程と、前記字幕表示可能期間内に再生が終了するように前記字幕データあるいは前記字幕データ群に基づいて前記字幕音声を再生する字幕音声再生過程と、を備えたことを特徴とする。
上記構成によれば、音声が再生できない場合でも放送内容の概略を把握できるとともに、字幕表示可能期間内に字幕音声を再生するので、字幕音声再生から音声再生に復帰する場合でも、区切りよく復帰させることができ、字幕音声再生から音声再生への復帰の違和感を低減させることができる。

本発明の第５態様は、字幕データが含まれるディジタルテレビ放送電波を受信して、画像再生及び音声再生を行うテレビ受信装置をコンピューターにより制御するための制御プログラムにおいて、前記コンピューターを、前記音声再生が途切れた場合に、前記字幕データあるいは複数の字幕データで構成される字幕データ群が対応する字幕表示可能期間を算出する手段、前記字幕表示可能期間内に再生が終了するように前記字幕データあるいは前記字幕データ群に基づいて前記字幕音声を再生する手段、として機能させることを特徴とする。
上記構成によれば、音声が再生できない場合でも放送内容の概略を把握できるとともに、字幕表示可能期間内に字幕音声を再生するので、字幕音声再生から音声再生に復帰する場合でも、区切りよく復帰させることができ、字幕音声再生から音声再生への復帰の違和感を低減させることができる。

本発明によれば、字幕データに基づいて音声再生を行い、通常の音声再生（さらには映像再生）に復帰させた場合の違和感を低減して復帰させることができる。

実施形態の車載用テレビ受信装置の概要構成ブロック図である。 字幕デコーダーの概要構成ブロック図である。 ディジタル放送信号のフォーマットの一例の説明図である。 実施形態の動作処理フローチャートである。 字幕音声の再生時の動作説明図である。 字幕音声の再生時の処理フローチャートである。

以下、図面を参照して本発明の実施形態について説明する。
図１は、実施形態の車載用テレビ受信装置の概要構成ブロック図である。
車載用テレビ受信装置１０は、車両のコンソールパネルに設置されるものである。
車載用テレビ受信装置１０は、外部アンテナ１１に接続されたチューナー部１２と、チューナー部１２により復調された放送信号からトランスファーストリームのデコードを行うトランスファーストリームデコーダー部（ＴＳデコーダー部）１３と、トランスファーストリームデコーダー部１３により復号化された映像ＰＥＳの復号化を行い映像信号ＳＧとして出力する映像デコーダー部１４と、を備えている。

さらに車載用テレビ受信装置１０は、トランスファーストリームデコーダー部１３により復号化された音声ＰＥＳの復号化を行い音声信号ＳＡとして出力する音声デコーダー部１５と、トランスファーストリームデコーダー部１３により復号化された字幕ＰＥＳ（独立ＰＥＳ）の復号化を行い字幕信号ＳＣおよび字幕データＤＣとして出力する字幕デコーダー部１６と、字幕データＤＣに基づいて音声合成により字幕音声信号ＳＣＡを出力する音声合成部１７と、音声信号ＳＡあるいは字幕音声信号ＳＣＡに対して各種処理を行い、外部スピーカー１８に出力する音声処理部１９と、映像信号ＳＧおよび字幕信号ＳＣに基づいて映像および字幕をディスプレイ２０に表示させるための映像処理を行う映像処理部２１と、車載用テレビ受信装置１０を構成する各部を中枢的に制御するためのコントローラー部２２と、を備えている。

ここで、字幕デコーダーの構成について説明する。
図２は、字幕デコーダーの概要構成ブロック図である。
字幕デコーダー部１６は、大別すると、字幕データの解析を行うデータ解析部２５と、データ解析部２５の解析結果に基づいて字幕信号ＳＣおよび字幕データＤＣを生成し出力する字幕制御部２６と、を備えている。
データ解析部２５は、字幕ＰＥＳが入力され、入力された字幕ＰＥＳの符号解析を行って、制御情報および文字情報を抽出して出力する符号解析部２７と、符号解析部２７により抽出された制御情報を解析し、字幕文字の表示位置、字幕文字の表示開始タイミング（ＰＴＳ：Presentation Time Stamp）、字幕文字の表示サイズ、字幕文字の表示色などを表示制御情報を解析結果として出力する制御情報解析部２８と、符号解析部２７により抽出された文字情報を解析し、字幕文字の文字コード、外字情報などを文字制御情報を解析結果として出力する文字情報解析部２９と、を備えている。

図３は、ディジタル放送信号のフォーマットの一例の説明図である。
ディジタル放送信号３０は、映像トランスファーストリーム３１、音声トランスファーストリーム３２及び字幕トランスファーストリーム３３を備えている。
映像トランスファーストリーム３１、音声トランスファーストリーム３２及び字幕トランスファーストリーム３３は、同様の構成を採っている。より具体的には、映像トランスファーストリーム３１は、トランスファーストリームの先頭を表すトランスファストリームヘッダー４１と、実際の映像データが格納された映像ＰＥＳ４２と、を備えている。また、音声トランスファーストリーム３２は、トランスファーストリームの先頭を表すトランスファストリームヘッダー４４と、実際の音声データが格納された音声ＰＥＳ４５と、を備えている。また、字幕トランスファーストリーム３３は、トランスファーストリームの先頭を表すトランスファストリームヘッダー４７と、実際の字幕データが格納された字幕ＰＥＳ４８と、を備えている。

ここで、字幕ＰＥＳについてより詳細に説明する。
字幕ＰＥＳ４８は、格納されている字幕データの種類（同期型あるいは非同期型）を表すＰＥＳヘッダー５１と、実際の字幕データが複数組格納されたＰＥＳデータ５２と、を備えている。
ＰＥＳデータ５２は、ＰＥＳデータ５２の先頭部分であることを示すヘッダー５３と、複数組の字幕データに対応する情報が格納されたデータグループデータ５４と、誤り検出用のＣＲＣコードを格納したＣＲＣデータ５５と、を備えている。
データグループデータ５４は、字幕文字の表示開始タイミング（ＰＴＳ）を含む各種制御情報を格納した制御情報部５６と、実際の字幕データが格納されたデータユニット５７と、で構成される字幕データグループ５８を複数個備えている。
データユニット５７は、文字位置、文字サイズ情報、色情報、文字間隔指定情報、行間隔指定情報、字幕本文の文字コード、規格外の文字のビットマップイメージなどの外字情報などを格納している。

次に実施形態の動作を説明する。
車載用テレビ受信装置１０のチューナー部１２は、外部アンテナ１１を介して受信した放送信号を復調し、トランスファーストリームデコーダー部１３に出力する。
トランスファーストリームデコーダー部１３は、放送信号からトランスファーストリームのデコードを行い、映像ＰＥＳ４２を映像デコーダー部１４に出力し、音声ＰＥＳを４５を音声デコーダー部１５に出力し、字幕ＰＥＳ４８を字幕デコーダー部１６に出力する。

これにより、映像デコーダー部１４は、映像ＰＥＳ４２の復号化を行い映像信号ＳＧとして映像処理部２１に出力する。
また、音声デコーダー部１５は、音声ＰＥＳ４５の復号化を行い音声信号ＳＡとして音声処理部１９に出力する。
また、字幕デコーダー部１６のデータ解析部２５は、符号解析部２７により入力された字幕ＰＥＳ４８の符号解析を行って、制御情報部５６（図３参照）を抽出して制御情報解析部２８に出力する。また、符号解析部２７は、文字情報であるデータユニット５７を抽出して文字情報解析部２９に出力する。

これらの結果、制御情報解析部２８は、符号解析部２７により抽出された制御情報を解析し、字幕文字の表示位置、字幕文字の表示開始タイミング（ＰＴＳ）、字幕文字の表示サイズ、字幕文字の表示色などを表示制御情報を解析結果として字幕制御部２６に出力する。
一方、文字情報解析部２９は、符号解析部２７により抽出された文字情報を解析し、字幕文字の文字コード、外字情報などを文字制御情報を解析結果として字幕制御部２６に出力する。

そして、字幕制御部２６は、表示制御情報および文字制御情報に基づいて字幕信号ＳＣを生成して映像処理部２１に出力する。なお、本実施形態において、字幕はクローズドキャプションであるので、表示設定がなされていない場合には、映像処理部２１に字幕信号ＳＣが出力されることはない。
また、字幕制御部２６は、字幕データＤＣを生成して音声合成部１７に出力する。

ところで、コントローラー部２２は、トランスファーストリームデコーダー部１３の動作状態を監視し、電波状態が悪くなって、音声デコーダー部１５により音声再生ができない状態になったかを常時監視している。
そして、音声デコーダー部１５により音声再生ができない状態になったと判別した場合には、字幕デコーダー部１６から出力された字幕データＤＣに基づいて音声合成部１７に音声合成を行わせ、音声処理部１９を介して、字幕音声の再生を行わせることとなる。

以下、字幕音声の再生時の動作を中心としてより詳細な動作について説明する。
図４は、実施形態の動作処理フローチャートである。
まず、コントローラー部２２は、トランスファーストリームデコーダー部１３の動作状態を監視し（ステップＳ１１）、映像再生が可能であるか否かを判別する（ステップＳ１２）。
ステップＳ１２の判別において、映像再生が可能である場合には（ステップＳ１２；Ｙｅｓ）、上述したように、映像処理部２１に映像信号ＳＧに基づいて映像再生を行わせるとともに、音声処理部１９に音声信号ＳＡに基づいて音声再生を行わせ（ステップＳ１３）、処理を再びステップＳ１１に移行させ、以下同様の処理を行わせる。

ステップＳ１２の判別において、映像再生が可能ではない場合には（ステップＳ１２；Ｎｏ）、トランスファーストリームデコーダー部１３の動作状態に基づいて、音声再生が可能であるか否かを判別する（ステップＳ１４）。
ステップＳ１４の判別において、音声再生が可能である場合には（ステップＳ１４；Ｙｅｓ）、上述したように、音声処理部１９に音声信号ＳＡに基づいて音声再生を行わせ（ステップＳ１５）、処理を再びステップＳ１１に移行させ、以下同様の処理を行わせる。
ステップＳ１４の判別において、音声再生が可能ではない場合には（ステップＳ１４；Ｎｏ）、字幕音声の再生が必要であるので、音声合成部１７および音声処理部１９を制御して字幕音声の再生を行わせる（ステップＳ１６）。

図５は、字幕音声の再生時の動作説明図である。なお、図５において、字幕ＰＥＳは、理解の容易のために書き加えたものであり、時間軸とは同期しているわけではない。
また、図６は、字幕音声の再生時の処理フローチャートである。
まず、コントローラー部２２は、音声再生が途切れた場合には、字幕表示開始時刻を字幕ＰＥＳ４８に含まれるＰＴＳに基づいて取得する（ステップＳ２１）。
そして、コントローラー部２２は、字幕ＰＥＳ４８に含まれる字幕Ａに対応する字幕データグループ５８Ａの制御情報部５６に含まれるＰＴＳにより字幕Ａの表示可能期間が時刻ｔ１に開始されることを検出する。

さらにコントローラー部２２は、字幕Ｂに対応する字幕データグループ５８Ｂの制御情報部５６に含まれるＰＴＳにより字幕Ｂの表示可能期間が時刻ｔ４に開始される場合において、時刻ｔ２に音声が途切れたことが検出された場合には、字幕Ａの音声読上（再生）期間は、時刻ｔ２から時刻ｔ４の期間となることを検出する。
これにより、コントローラー部２２の制御下で、字幕デコーダー部１６の字幕制御部２６は、字幕Ａの音声を時刻ｔ２〜時刻ｔ４の期間に読み上げが完了するように、字幕Ａの音声読み上げ時の再生速度を設定し（ステップＳ２２）、字幕データＤＣを音声合成部１７に出力する（ステップＳ２３）。

音声合成部１７は、字幕データＤＣに基づいて音声合成により字幕Ａに対応する字幕音声信号ＳＣＡを音声処理部１９に出力する（ステップＳ２４）。
音声処理部１９は、字幕Ａに対応する字幕音声信号ＳＣＡに対して各種処理を行い、外部スピーカー１８に出力するので、外部スピーカー１８から字幕Ａに対応する読み上げ音声が再生され、遅くとも時刻ｔ４までに再生が可能となる。
そして、音声が途切れた状態が時刻ｔ３に終了したとすると、音声処理部１９は、音声デコーダー部１５から入力された音声信号ＳＡに対して各種処理を行い、外部スピーカー１８に出力するので、外部スピーカー１８からは、音声信号ＳＡに対応する音声が再生される。

そして再び時刻ｔ５において、音声が途切れたことが検出された場合には、コントローラー部２２は、字幕ＰＥＳ４８に含まれる字幕Ｃに対応する字幕データグループ５８Ｃの制御情報部５６に含まれるＰＴＳにより字幕Ｃの表示可能期間が時刻ｔ６に開始され、字幕Ｄに対応する字幕データグループ５８Ｄの制御情報部５６に含まれるＰＴＳにより字幕Ｄの表示可能期間が時刻ｔ８に開始されるので、時刻ｔ５に音声が途切れたことが検出された場合には、字幕Ｃの音声読上期間は、時刻ｔ５から時刻ｔ８の期間となることを検出する。

これにより、コントローラー部２２の制御下で、字幕デコーダー部１６の字幕制御部２６は、字幕Ｃの音声を時刻ｔ５〜時刻ｔ８の期間に読み上げが完了するように、字幕Ｃの音声読み上げの再生速度を設定し（ステップＳ２２）、字幕データＤＣを音声合成部１７に出力し（ステップＳ２３）、音声合成部１７は、字幕データＤＣに基づいて音声合成により字幕Ｃに対応する字幕音声信号ＳＣＡを音声処理部１９に出力するので（ステップＳ２４）、外部スピーカー１８から字幕Ｃに対応する読み上げ音声が再生され、遅くとも時刻ｔ８までに再生が可能となる。

以上の説明のように、本実施形態によれば、電波状況の悪化により、映像ばかりでなく音声が途切れてしまった場合であっても、字幕データに基づいて字幕音声が再生されるので、視聴者であるユーザーは視聴していた番組がどのような状況になっているのかを容易に把握できる。
この場合に、字幕の表示可能期間に基づいて、音声合成した字幕音声の再生時間を調整しているので、先に再生している字幕音声が、次に再生される字幕音声や再度再生可能状態となった音声に対してずれが生じにくく、内容を容易に把握できる。

特に車載用のテレビ受信装置においては、ドライバーは、テレビ画面を注視することができないので、映像ばかりでなく音声が途切れてしまった場合には、従来においては全く内容を把握することができなかったが、本実施形態によれば、字幕音声が再生されるので、大まかな内容を把握して再び再生が開始された場合に違和感なく、放送番組内容に集中できる。

以上の説明は、車載用のテレビ受信装置であったが、携帯電話端末に内蔵されたテレビ受信装置などの携帯型テレビ受信装置や、据置型のテレビ受信装置であっても、同様に適用が可能となる。

以上の説明においては、字幕表示可能期間に一つの字幕について音声読上を行う場合のものであったが、一字幕表示可能期間に複数の字幕（字幕データ群）について音声読上を行ったり、複数の字幕表示可能期間を連結して、複数の字幕について音声読上を行ったりするように構成することも可能である。

以上の説明においては、再生速度を変更させる場合について述べたが、この場合の音声ピッチについては、変更しないように音声合成を行うように構成することも可能である。これにより、ユーザーの好みの音質で字幕音声を再生させることができる。

１０ 車載用テレビ受信装置
１１ 外部アンテナ
１２ チューナー部
１３ トランスファーストリームデコーダー部
１４ 映像デコーダー部
１５ 音声デコーダー部
１６ 字幕デコーダー部
１７ 音声合成部
１８ 外部スピーカー
１９ 音声処理部
２０ ディスプレイ
２１ 映像処理部
２２ コントローラー部
２５ データ解析部
２６ 字幕制御部
２７ 符号解析部
２８ 制御情報解析部
２９ 文字情報解析部
３０ ディジタル放送信号
３３ 字幕トランスファーストリーム
４８ 字幕ＰＥＳ
５８ 字幕データグループ
ＤＣ 字幕データ
ＳＣ 字幕信号
ＳＣＡ 字幕音声信号

Claims (5)

1. 字幕データが含まれるディジタルテレビ放送電波を受信して、画像再生及び音声再生を行うテレビ受信装置において、
   前記音声再生が途切れた場合に、前記字幕データあるいは複数の字幕データで構成される字幕データ群が対応する字幕表示可能期間内に、再生が終了するように前記字幕データあるいは前記字幕データ群に基づいて前記字幕音声を再生する字幕音声再生部を備えたことを特徴とするテレビ受信装置。
2. 請求項１記載のテレビ受信装置において、
   前記字幕音声再生部は、今回再生を行うべき字幕音声の再生開始可能時刻と、次回再生を行うべき前記字幕音声の再生開始時刻との差に基づいて今回再生を行う前記字幕音声の再生速度を定めることを特徴とするテレビ受信装置。
3. 請求項２記載のテレビ受信装置において、
   前記字幕音声再生部は、遅くとも次回再生を行うべき前記字幕音声の再生開始時刻までに今回の字幕音声の再生が完了するように前記再生速度を定めることを特徴とするテレビ受信装置。
4. 字幕データが含まれるディジタルテレビ放送電波を受信して、画像再生及び音声再生を行うテレビ受信装置の制御方法において、
   前記音声再生が途切れた場合に、前記字幕データあるいは複数の字幕データで構成される字幕データ群が対応する字幕表示可能期間を算出する算出過程と、
   前記字幕表示可能期間内に再生が終了するように前記字幕データあるいは前記字幕データ群に基づいて前記字幕音声を再生する字幕音声再生過程と、
   を備えたことを特徴とするテレビ受信装置の制御方法。
5. 字幕データが含まれるディジタルテレビ放送電波を受信して、画像再生及び音声再生を行うテレビ受信装置をコンピューターにより制御するための制御プログラムにおいて、
   前記コンピューターを、前記音声再生が途切れた場合に、前記字幕データあるいは複数の字幕データで構成される字幕データ群が対応する字幕表示可能期間を算出する手段、
   前記字幕表示可能期間内に再生が終了するように前記字幕データあるいは前記字幕データ群に基づいて前記字幕音声を再生する手段、
   として機能させることを特徴とする制御プログラム。

Images