JP2007027880A - デジタル放送蓄積・再生方法 - Google Patents

Abstract

【課題】特殊再生（高速再生）の再生速度をユーザの嗜好に合わせ自動で変更することができるデジタル放送蓄積・再生方法を提供すること。
【解決手段】ストリーム処理部と、蓄積ストリーム作成部と、動画処理部と、音声処理部と、動画特徴量抽出部と、前記音声処理部の復号した音声の特徴量を抽出する音声特徴量抽出部と、前記蓄積ストリーム作成部の作成した蓄積ストリームと、前記動画特徴量抽出部及び前記音声特徴量抽出部の抽出した動画特徴量及び音声特徴量とを蓄積する蓄積装置と、ユーザの特殊再生指示を受信し、操作のタイミングの前後一定期間のストリームの持つ特徴量を前記蓄積装置から読み出し、特徴量のパターンを検出すると共に検出された特徴量のパターンを前記蓄積装置にユーザの好みのパラメタパターンとしてパラメタパターン検出部とを有することを特徴とする。
【選択図】図１

Description

本発明は、デジタル放送の蓄積再生方法に関し、特にユーザの好みを反映させた再生速度で特殊再生が可能な蓄積再生方法に関する。

特許文献１「動画再生装置」（東芝）では、特殊再生時にフレーム間の差分の大きなところと、音声変化の大きいところを抽出し、シーンチェンジ部として特殊再生速度を低下させてユーザの認識度を向上させている。

又、特許文献２「動画記録再生装置及び記憶媒体」（シャープ）では、「番組間スキップ」「類似シーン検索」「ＣＭ−ＣＭ間スキップ」といったことを可能とする情報を蓄積時に保存し、複数の特殊再生手法をユーザに提供し利便性を向上させている。

更に、特許文献３「情報信号処理装置及び情報信号処理装置及び情報信号記録装置」（ソニー）では、番組情報として送出されている情報から番組ジャンルを認識し、ジャンル毎に画像・音声のシーンチェンジに一定のルールを設けて、特殊再生時にはそのルールに応じたシーンチェンジ部の特殊再生速度を落とすことでユーザの認識率を上げている。
特開平１０−２４３３５１号公報 特開２０００−１２５２４３号公報 特開２００２−０４４５７２号公報

特許文献１〜３記載の発明をより発展させ、ユーザの好みを的確に反映できる特殊再生手法が望まれている。

本発明は、従来例の問題を解決し、特殊再生（高速再生）の再生速度をユーザの嗜好に合わせ自動で変更することができるデジタル放送蓄積・再生方法を提供することを目的とする。

本発明は、デジタル放送を受信・蓄積し再生する蓄積再生方法であって、入力ストリームを動画及び音声に分離するストリーム処理部と、前記ストリーム処理部の処理したストリームを受け取り蓄積ストリームを作成する蓄積ストリーム作成部と、前記ストリーム処理部の分離した動画を復号する動画処理部と、前記ストリーム処理部の分離した音声を復号する音声処理部と、前記動画処理部の復号した動画の特徴量を抽出する動画特徴量抽出部と、前記音声処理部の復号した音声の特徴量を抽出する音声特徴量抽出部と、前記蓄積ストリーム作成部の作成した蓄積ストリームと、前記動画特徴量抽出部及び前記音声特徴量抽出部の抽出した動画特徴量及び音声特徴量とを蓄積する蓄積装置と、ユーザの特殊再生指示を受信し、操作のタイミングの前後一定期間のストリームの持つ特徴量を前記蓄積装置から読み出し、特徴量のパターンを検出すると共に検出された特徴量のパターンを前記蓄積装置にユーザの好みのパラメタパターンとしてパラメタパターン検出部とを有することを特徴とするデジタル放送蓄積・再生方法である。

本発明によれば、特殊再生（高速再生）の再生速度をユーザの嗜好に合わせて自動で変更することができる。特に、過去に視聴したコンテンツで取得した特徴量から新たな別のコンテンツの再生速度を変更できる。

又、過去に特殊再生を行った際に、特殊再生指示のタイミングの動画・音声特徴量を記憶し、ユーザの嗜好とすることにより、新たな録画コンテンツについても同様の特徴量を持つシーンについてユーザの嗜好を判定できる。

本発明は、デジタル放送受信装置、デジタル及びアナログの放送蓄積再生装置、デジタル及びアナログビデオカメラ再生装置、デジタルスチルカメラ再生装置等を包含しており、特に内部にハードディスク等の蓄積装置を持つデジタル放送受信装置及びデジタル放送蓄積再生装置は、録画再生動作が一般的に行われている上、放送される動画及び音声をそのままデジタルで処理し特徴量を抽出できるという点で好ましい。

以下、内部にハードディスク等の蓄積装置を持つデジタル放送受信装置を例に、本発明の実施の形態を図面を用いて説明する。以下では、「内部にハードディスク等の蓄積装置を持つデジタル放送受信装置」を単に「放送受信装置」と称するものとする。

図１において、１０１はデジタル放送波を受信する放送受信アンテナである。デジタル放送波であれば、ＢＳ／ＣＳ地上波といった放送の形態を問わない。又、日／米／欧等の放送のフォーマットについても任意である。放送受信アンテナ１０１は、入力処理部１０４と接続され、入力ストリームを入力する。

１０２は本発明を適用する放送受信装置にユーザの指示を通知する操作部である。リモートコントローラが一般的であるが、装置に指示を伝えることができれば方法は任意である。操作部１０２は放送受信装置の制御部１０３に接続される。

１０３は本発明を適用する放送受信装置の制御部である。放送受信装置制御部１０３は、簡単のため図示しないが、放送受信装置の各構成要件に接続され、制御情報を通知する。少なくとも、「停止」「通常視聴」「録画」「通常再生」「高速再生」の４つの指示を送ることが可能であることが必須である。

１０４は入力ストリームを処理する入力処理部である。入力処理部は、デジタル放送の多重入力ストリームの分離、解析を行う。一般的なデジタル放送では、多重層にMPEG2 Transport Stream が用いられるため、MPEG2 −TS処理を行えること、Service Information （SI) 及びProgram Specific Information（PSI ）の解析が可能であることが特に好ましい。

入力処理部１０４は、以下のように他構成要件と接続されることが好ましい。

入力処理部１０４は放送波アンテナ１０１と接続され、多重デジタル放送信号を入力する。又、入力処理部１０４は、蓄積／再生部１０９と接続され、多重デジタル放送信号を入力する。入力処理部１０４は、動画処理部１０５と接続され、分離した圧縮動画信号を出力する。又、入力処理部１０４は、音声処理部１０６と接続され、圧縮音声信号を出力する。又、入力処理部１０４は、蓄積／再生部１０９と接続され、多重デジタル放送信号を出力する。

入力処理部１０４は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」の指示を受けて、放送波アンテナ１０１から多重デジタル放送信号を受け取り、多重分離・ＳＩ／ＰＳＩ解析等の後、圧縮動画信号を動画処理部１０５に、圧縮音声信号を音声処理部１０６に出力する。

「録画」の指示を受けて、放送波アンテナ１０１から多重デジタル放送信号を受け取り、蓄積／再生部１０９に出力する。

「通常再生」「高速再生」の指示を受けて、蓄積／再生部１０９から多重デジタル放送信号を受け取り、多重分離・ＳＩ／ＰＳＩ解析等の後、圧縮動画信号を動画処理部１０５に圧縮音声信号を音声処理部１０６に出力する。

「停止」の指示を受けて、信号処理を停止し、信号入力／出力を停止する。

１０５は圧縮動画信号を処理する動画処理部である。デジタル放送で用いられる圧縮動画を復号する。一般的なデジタル放送ではMPEG2 動画が用いられるため、MPEG2 動画復号が可能であることが特に好ましい。更に、動画処理部１０４は、通常の復号に加え、通常の数倍〜数十倍の速度で動画を出力可能な高速復号が可能であることが望ましく、少なくとも３段階程度に高速再生の速さを変化させられることが望ましい。高速復号の手法は任意である。

動画処理部１０４は、以下のように他構成要件と接続されることが好ましい。

動画処理部１０５は、入力処理部１０４と接続され、圧縮動画信号を入力する。又、動画処理部１０５は、再生速度決定部１１９と接続され、再生速度情報を入力する。又、動画処理部１０５は、動画出力部１０７と接続され、復号動画信号を出力する。又、動画処理部１０５は、動画パラメタ抽出部１１１と接続され、動画パラメタ抽出で用いる情報を出力する。出力する情報としては、フレームの画素値、フレームの周波数値、動きベクトルが好ましい。動画パラメタについては動画パラメタ抽出部１１１の動作説明で詳細に述べる。動画処理部１０５は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」「通常再生」の指示を受けて、入力処理部１０４から圧縮動画信号を受け取り、圧縮信号の復号処理を行い、動画出力部１０７に出力する。

「録画」の指示の際は動画処理部１０５は動作しない。

「高速再生」の指示を受けて、入力処理部１０４から圧縮動画信号を、再生速度決定部１１９から再生速度情報を、それぞれ受け取り、指示された再生速度で圧縮動画信号の復号を行い、動画出力部１０７に出力する。

「停止」の指示を受けて、信号処理を停止し、信号入力／出力を停止する。

１０６は圧縮音声信号を処理する音声処理部である。デジタル放送で用いられる圧縮音声を復号する。デジタル放送で用いられている圧縮音声形式MPEG2 AAC 、MPEG１ Audio、Dolby Digital(AC-3) 復号が可能であることが望ましい。更に、音声処理部１０６は、通常の復号に加え、通常の数倍〜数十倍の速度で音声を出力可能な高速復号が可能であることが望ましく、又、少なくとも３段階程度に高速再生速度を変更できることが望ましい。高速復号の手法は任意で良い。

音声処理部１０６は、以下のように他構成要件と接続されることが好ましい。

音声処理部１０６は、入力処理部１０４と接続され、圧縮音声信号を入力する。又、音声処理部１０６は、再生速度決定部１１９に接続され、再生速度情報を入力する。又、音声処理部１０６は、音声出力部１０８と接続され、復号音声信号を出力する。又、音声処理部１０６は、音声パラメタ抽出部１１５と接続され、音声パラメタ抽出で用いる情報を出力する。出力する情報としては、音声フレームのレベル値、音声フレームの周波数値が好ましい。音声パラメタについては音声パラメタ抽出部１１５の動作説明で詳細に説明する。

音声処理部１０６は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」「通常再生」の指示を受けて、入力処理部１０４から圧縮音声信号を受け取り、圧縮信号の復号処理を行い、音声出力部１０８に出力する。

「録画」の指示の際は音声処理部１０６は動作しない。

「高速再生」の指示を受けて、入力処理部１０４から圧縮音声信号を、再生速度決定部１１９から再生速度情報を、それぞれ受け取り、指示された速度で圧縮音声信号の復号を行い、音声出力部１０８に出力する。

「停止」の指示を受けて、信号処理を停止し、信号入力／出力を停止する。

１０７は動画信号を出力する動画出力部である。復号された動画を決められた解像度、フレームレートで出力する。

動画出力部１０７は、以下のように他構成要件と接続されることが好ましい。

動画出力部１０７は、動画処理部１０５と接続され、復号動画信号を入力する。又、動画出力部１０７は、図示しない外部ディスプレイ等と接続され、動画信号を出力する。

動画出力部１０７は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」「通常再生」「高速再生」の指示を受けて、動画処理部１０５から復号動画信号を受け取り、映像を図示しない表示装置に出力する。

「録画」の指示の際は動画出力部１０７は動作しない。

「停止」の指示を受けて、信号入力／出力を停止する。

１０８は音声信号を出力する音声出力部である。復号された音声を決められたサンプリング周波数、チャネル数で出力する。

音声出力部１０８は、以下のように他構成要件と接続されることが好ましい。

音声出力部１０８は、音声処理部１０６と接続され、復号音声信号を入力する。又、音声出力部１０６は、図示しない外部アンプ等と接続され、音声信号を出力する。

音声出力部１０８は、放送受信装置制御部１０３からの指示をうけて以下のような動作を行うことが好ましい。

「通常視聴」「通常再生」「高速再生」の指示を受けて、音声処理部１０６から復号音声信号を受け取り、音声を図示しない出力装置に出力する。

「録画」の指示は無視する。

「停止」の指示を受けて、信号入力／出力を停止する。

１０９は入力ストリームのストリーム蓄積装置１１０への蓄積を制御し、ストリーム蓄積装置１１０からの読み出しを制御する蓄積／再生部である。

蓄積／再生部１０９は、以下のように他構成要件と接続されることが好ましい。

蓄積／再生部１０９は入力処理部１０４と接続され、多重デジタル放送信号を入力する。又、蓄積／再生部１０９はストリーム蓄積装置１１０と接続され、多重デジタル放送信号を出力する。又、蓄積／再生部１０９はストリーム蓄積装置１１０と接続され、多重デジタル放送信号を入力する。又、蓄積／再生部１０９は入力処理部１０４と接続され、多重デジタル放送信号を出力する。

蓄積／再生部１０９は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」の指示の際は蓄積／再生部１０９は動作しない。

「通常再生」「高速再生」の指示を受けて、ストリーム蓄積部１１０から多重デジタル放送信号を読み出し、入力処理部１０４に出力する。

「録画」の指示を受けて、入力処理部１０４から多重デジタル放送信号を受け取り、ストリーム蓄積部１１０に出力する。

「停止」の指示を受けて、信号入力／出力を停止する。

１１０は放送ストリームを蓄積するストリーム蓄積部である。ストリーム蓄積部１１０は、デジタル放送を蓄積できる不揮発性の蓄積媒体であれば媒体は任意で良いが、蓄積できる情報量からハードディスク等の大容量磁気記憶装置が望ましい。

ストリーム蓄積部１１０は、以下のように他構成要件と接続されることが好ましい。

ストリーム蓄積部１１０は蓄積／再生部１０９と接続され、多重デジタル放送信号が入力される。又、ストリーム蓄積部１１０は蓄積／再生部１０９と接続され、多重デジタル放送信号が出力される。

ストリーム蓄積部１１０は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」の指示の際はストリーム蓄積部１１０は動作しない。

「通常再生」「高速再生」の指示を受けて、蓄積／再生部１０９から読み出すストリームの指示を受け、多重デジタル放送信号を読み出し、蓄積／再生部１０９に出力する。

「録画」の指示を受けて、蓄積／再生部１０９から多重デジタル放送信号を受け取り、蓄積する。

「停止」の指示を受けて、信号入力/ 出力を停止する。

１１１は動画に含まれるパラメタを抽出し、動画パラメタ蓄積部１１２に蓄積する動画パラメタ抽出部である。動画パラメタ抽出部１１１が抽出する動画パラメタは、動画の特徴量である。特徴量としては以下が好ましい。

Ａ．フレーム内情報
Ａ．１：輝度/ 色差値平均・・・対象フレームの全ての画素の輝度値を平均したものと、色差値をそれぞれ平均したもの。１フレームにつき輝度について値１つ、色差について値２つとなる。

Ａ．２：空間周波数値平均・・・対象フレームを８×８のブロックに分割し、ブロック単位でＤＣＴした結果をブロック毎に平均したもの。結果は１フレームにつき８×８の値となる。動画圧縮形式がMPEG２等のＤＣＴを利用した圧縮方式の場合、ＤＣＴ値を流用できる。

Ｂ．隣接フレーム間情報
Ｂ．１：輝度／色差差分値平均・・・対象フレームと、１フレーム前のフレームの全ての画素の輝度値及び色差値の差分を計算し、平均したもの。１フレームにつき輝度について値１つ、式差について値２つとなる。

Ｂ．２：動きベクトル加算・・・対象フレームと、１フレーム若しくは参照フレームとの間の動きベクトルを、１フレーム分全てベクトル加算した結果。結果は１フレームに付きベクトル１つとなる。

動画パラメタ抽出部１１１は、動画処理部１０５よりフレームの画素値、周波数値、動きベクトルを取得し、上記特徴量を計算する。

動画パラメタ抽出部１１１は、以下のように他構成要件と接続されることが好ましい。

動画パラメタ抽出部１１１は動画処理部１０５と接続され、動画パラメタ抽出に必要な情報を取得する。情報としては、フレームの画素値、周波数値、動きベクトルが好ましい。更に、動画パラメタ抽出部１１１は、動画パラメタ蓄積部１１２と接続され、動画パラメタ蓄積部１１２に演算された特徴量を出力する。

動画パラメタ抽出部１１１は、放送受信装置制御部１０３からの指示を受けてて以下のような動作を行うことが好ましい。

「通常視聴」「通常再生」「高速再生」の指示の際は動画パラメタ抽出部１１１は動作しない。

「録画」の指示を受けて、動画処理部１０５から動画パラメタ抽出に必要な情報を受け取り、上記特徴量を計算し、フレーム識別番号と共に動画パラメタ蓄積部１１２に出力する。

「停止」の指示を受けて、信号入力／出力を停止する。

１１２は動画のパラメタを蓄積する動画パラメタ蓄積部である。動画パラメタ蓄積部１１２は、動画パラメタを蓄積できる不揮発性の蓄積媒体であれば任意で良いが、蓄積できる情報量からハードディスク等の大容量磁気記憶装置が望ましい。

動画パラメタ蓄積部１１２は、以下のように他構成要件と接続されることが好ましい。

動画パラメタ蓄積部１１２は、動画パラメタ抽出部１１１と接続され、動画パラメタが入力される。又、動画パラメタ蓄積部１１２は、動画パラメタ傾向取得部１１４と接続され、動画パラメタが出力される。更に、動画パラメタ蓄積部１１２は、再生速度決定部１１９と接続され、動画パラメタが出力される。

動画パラメタ蓄積部１１２は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」「通常再生」の指示の際は動画パラメタ蓄積部１１２は動作しない。

「高速再生」の指示を受けて、再生速度決定部１１９から指示されたフレームの動画パラメタを出力する。

「録画」の指示を受けて、動画パラメタ抽出部１１１からフレームの動画パラメタを受け取り、蓄積する。

「停止」の指示を受けて、信号入力／出力を停止する。

１１３は動画パラメタの特殊再生指示時の傾向を蓄積する動画パラメタ傾向蓄積部である。動画パラメタ傾向蓄積部１１３は、動画パラメタを蓄積できる不揮発性の蓄積媒体であれば任意で良いが、蓄積できる情報量からハードディスク等の大容量磁気記憶装置が望ましい。

動画パラメタ傾向蓄積部１１３は、以下のように他構成要件と接続されることが好ましい。

動画パラメタ傾向蓄積部１１３は動画パラメタ傾向取得部１１４と接続され、動画パラメタが入力される。又、動画パラメタ傾向蓄積部１１３は再生速度決定部１１９と接続され、動画パラメタが出力される。

動画パラメタ傾向蓄積部１１３は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」の指示の際は動画パラメタ傾向蓄積部１１３は動作しない。

「通常再生」の指示を受け、更に、前の状態が「高速再生」の場合のみ、指示を受け取ったタイミングで動画パラメタ傾向取得部１１４から動画パラメタ傾向を受け取り、蓄積する。

「高速再生」指示を受けて、再生速度決定部１１９の指定するフレームの動画パラメタを再生速度決定部１１９に出力する。又、高速再生の指示を受け取ったタイミングで、動画パラメタ傾向取得部１１４から動画パラメタ傾向を受け取り、蓄積する。

「録画」の指示の際は、動画パラメタ傾向蓄積部１１３は動作しない。

「停止」の指示を受けて、信号入力／出力を停止する。

１１４は動画パラメタ傾向蓄積部１１３に蓄積されているパラメタ情報を抽出し、特殊再生時のパラメタ傾向を取得する動画パラメタ傾向取得部である。動画パラメタ傾向取得部１１３は、ユーザが再生速度を変更する指示を行ったタイミングの動画パラメタを取得する。

動画パラメタ傾向取得部１１４は、以下のように他構成要件と接続されることが好ましい。

動画パラメタ傾向取得部１１４は動画パラメタ蓄積部１１２と接続され、動画パラメタが入力される。又、動画パラメタ傾向取得部１１４は、動画パラメタ傾向蓄積部１１３と接続され、動画パラメタが出力される。

動画パラメタ傾向取得部１１４は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」の指示の際は動画パラメタ傾向取得部１１４は動作しない。

「通常再生」の指示を受け、更に、前の状態が「高速再生」の場合のみ、指示を受け取ったタイミングで、入力処理部１０４が処理を行う動画フレームの動画パラメタと、その前後一定時間分の動画フレームの動画パラメタを動画パラメタ蓄積部１１２から受け取り、パラメタの傾向を計算する。ここで計算される動画パラメタの傾向は、以下のものが好ましい。

調査した一定時間分のフレームの「対象パラメタ」について、以下「抽出される傾向の基準」を満たすフレームがある場合、「傾向として蓄積される値」が動画パラメタ傾向蓄積部１１３に蓄積される。

「高速再生」指示を受け取ったタイミングで、入力処理部１０４が処理を行う動画フレームの動画パラメタと、その前後一定時間分の動画フレームの動画パラメタを動画パラメタ蓄積部１１２から受け取り、パラメタの傾向を計算する。ここで計算される動画パラメタの傾向は、上記のものが好ましい。

調査した一定時間分のフレームの「対象パラメタ」について、上記「抽出される傾向の基準」を満たすフレームがある場合、「傾向として蓄積される値」が動画パラメタ傾向蓄積部１１３に蓄積される。

「録画」の指示の際は動画パラメタ傾向取得部１１４は動作しない。

「停止」の指示を受けて、信号入力/ 出力を停止する。

１１５は音声フレームに含まれるパラメタを抽出し、音声パラメタ蓄積部１１６に蓄積する音声パラメタ抽出部である。音声パラメタ抽出部１１５が抽出する音声パラメタは、音声の特徴量である。特徴量としては以下が好ましい。

Ａ．音声フレーム内情報
Ａ．１：音声レベル平均：一定時間区間の「音声フレーム」内の音声レベル値の平均。値は１音声フレームにつき音声レベル１つになる。

Ａ．２：音声周波数平均：一定時間区間の「音声フレーム」をフーリエ変換し得られる周波数成分を平均したもの。値は、１音声フレームにつき、区間長とサンプリング周波数に依存する数の周波数成分となる。

Ｂ．隣接フレーム情報
Ｂ．１：音声レベル差分値平均：１区間前の「音声フレーム」内の音声レベル平均値と、現「音声フレーム」内の音声レベル平均値の差分値。値は１音声フレームにつき音声レベル差分値１つとなる。

音声パラメタ抽出部１１５は、音声処理部１０６よりフレームの音声レベル値、音声周波数平均値を取得、上記特徴量を計算する。

音声パラメタ抽出部１１５は、以下のように他構成要件と接続されることが好ましい。

音声パラメタ抽出部１１５は、音声処理部１０６と接続され、音声パラメタ抽出に必要な情報を取得する。情報としては、フレームの音声レベル、周波数値が好ましい。更に、音声パラメタ抽出部１１５は、音声パラメタ蓄積部１１６と接続され、音声パラメタ蓄積部１１６に演算された特徴量を出力する。

音声パラメタ抽出部１１６は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」「通常再生」「高速再生」の指示の際は音声パラメタ抽出部１１６は動作しない。

「録画」の指示を受けて、音声処理部１０６から音声パラメタ抽出に必要な情報を受け取り、上記特徴量を計算し、フレーム識別番号と共に音声パラメタ蓄積部１１２に出力する。

「停止」の指示を受けて、信号入力／出力を停止する。

１１６は音声のパラメタを蓄積する音声パラメタ蓄積部である。音声パラメタ蓄積部１１６は、音声パラメタを蓄積できる不揮発性の蓄積媒体であれば任意で良いが、蓄積できる情報量からハードディスク等の大容量磁気記憶装置が望ましい。

音声パラメタ蓄積部１１６は、以下のように他構成要件と接続されることが好ましい。

音声パラメタ蓄積部１１６は、音声パラメタ抽出部１１５と接続され、音声パラメタが入力される。又、音声パラメタ蓄積部１１６は、音声パラメタ傾向取得部１１８と接続され、音声パラメタが出力される。更に、音声パラメタ蓄積部１１４は、再生速度決定部１１９と接続され、音声パラメタが出力される。

音声パラメタ蓄積部１１４は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」「通常再生」の指示の際は音声パラメタ蓄積部１１４は動作しない。

「高速再生」の指示を受けて、再生速度決定部１１９から指示された音声フレームの音声パラメタを出力する。

「録画」の指示をうけて、音声パラメタ抽出部１１５から音声フレームの音声パラメタを受け取り、蓄積する。

「停止」の指示を受けて、信号入力／出力を停止する。

１１７は音声パラメタの特殊再生指示時の傾向を蓄積する音声パラメタ傾向蓄積部である。音声パラメタ傾向蓄積部１１７は、音声パラメタを蓄積できる不揮発性の蓄積媒体であれば任意で良いが、蓄積できる情報量からハードディスク等の大容量磁気記憶装置が望ましい。

音声パラメタ傾向蓄積部１１７は、以下のように他構成要件と接続されることが好ましい。

音声パラメタ傾向蓄積部１１７は音声パラメタ傾向取得部１１８と接続され、音声パラメタが入力される。又、音声パラメタ傾向蓄積部１１７は、再生速度決定部１１９と接続され、音声パラメタが出力される。

音声パラメタ傾向蓄積部１１７は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」の指示は無視する。

「通常再生」の指示を受け、更に、前の状態が「高速再生」の場合のみ、指示を受け取ったタイミングで、入力処理部１０４が処理を行う音声フームの音声パラメタと、その前後一定時間分の音声フームの音声バラメタを音声パラメタ蓄積部１１６から受け取り、パラメタの傾向を計算する。

調査した一定時間分のフレームの「対象パラメタ」について、以下「抽出される傾向の基準」を満たすフレームがある場合、「傾向として蓄積される値」が音声パラメタ傾向蓄積部１１７に蓄積される。

「高速再生」指示を受け取ったタイミングで、入力処理部１０４が処理を行う音声フレームの音声パラメタと、その前後一定時間分の音声フレームの音声パラメタを音声パラメタ蓄積部１１６から受け取り、パラメタの傾向を計算する。ここで計算される音声パラメタの傾向は、上記のものが好ましい。

調査した一定時間分のフレームの「対象パラメタ」について、上記「抽出される傾向の基準」を満たすフレームがある場合、「傾向として蓄積される値」が音声パラメタ傾向蓄積部１１７に蓄積される。

「録画」の指示の際は音声パラメタ傾向取得部１１８は動作しない。

「停止」の指示を受けて、信号入力／出力を停止する。

１１９は高速再生時の再生速度を決定する再生速度決定部である。高速再生時に、入力処理部１０４が処理している動画若しくは音声フレームについて、予め蓄積されている当該フレームの特徴量パラメタと、過去に特殊再生を指示したタイミングの特徴量パラメタとの相関を計算し、再生速度を決定する。

再生速度決定部１１９は、以下のように他構成要件と接続されることが好ましい。

再生速度決定部１１９は動画パラメタ蓄積部１１２と接続され、動画パラメタが入力される。又、再生速度決定部１１９は、動画パラメタ傾向蓄積部１１３と接続され、動画パラメタが入力される。又、再生速度決定部１１９は、音声パラメタ蓄積部１１６と接続され、音声パラメタが入力される。又、再生速度決定部１１９は、音声パラメタ傾向蓄積部１１７と接続され、音声パラメタが入力される。又、再生速度決定部１１９は、動画処理部１０５と接続され、再生速度が情報が出力される。又、再生速度決定部１１９は、音声処理部１０６と接続され、再生速度が情報が出力される。

再生速度決定部１１９は、放送受信装置制御部１０３からの指示を受けて以下のような動作を行うことが好ましい。

「通常視聴」の指示の際は再生速度決定部１１９は動作しない。

「高速再生」指示を受けると、入力処理部１０４が処理を行う動画フレームの前後一定時間分の動画パラメタを動画パラメタ蓄積部１１２から取得し、パラメタの傾向を計算する。再生速度決定部１１９が行う傾向計算方法は、動画パラメタ傾向取得部１１４と全く同じ手法である。

更に、過去の高速再生指示の傾向を動画パラメタ傾向蓄積部１１３から受け取り、再生速度決定部１１９が計算したパラメタ傾向と比較する。「通常再生」から「高速再生」に再生速度を変化させたときの動画パラメタと、現在の動画フレームのパラメタの相関が高い場合は、再生速度を通常の高速再生より増加させる。「高速再生」から「通常再生」に再生速度を変化させたときの動画パラメタと、現在のフレームのパラメタの相関が高い場合は、再生速度を通常の高速再生より減少させる。特に相関が無い場合は、通常の高速再生とする。

又、入力処理部１０４が処理を行う音声フレームの前後一定時間分の音声パラメタを音声パラメタ蓄積部１１６から受け取り、パラメタの傾向を計算する。再生速度決定部１１９が行う傾向計算方法は、音声パラメタ傾向取得部１１８と全く同じ手法である。

更に、過去の高速再生指示時の音声パラメタを音声パラメタ傾向蓄積部１１７から受け取り、相関を計算する。「通常再生」から「高速再生」に再生速度を変化させたときの音声パラメタと、現在の音声フレームのパラメタの相関が高い場合は、再生速度を通常の高速再生より増加させる。「高速再生」から「通常再生」に再生速度を変化させたときの音声パラメタと、現在のフレームのパラメタの相関が高い場合は、再生速度を通常の高速再生より減少させる。特に相関が無い場合は、通常の高速再生とする。決定された再生速度を動画処理部１０５及び音声処理部１０６に出力する。

再生速度のステップ数は任意であるが、通常の高速再生速度と、それより遅い低−高速再生と、通常よりも速い高−高速再生の３段階程度を用意する程度が処理が簡易で好ましい。

「録画」の指示の際は再生速度決定部１１９は動作しない。

「停止」の指示を受けて、信号入力／出力を停止する。

以下では、本実施の形態における蓄積装置を具備した放送受信装置の動作例を示す。

本実施の形態で説明する放送受信装置は、ユーザのリモコン操作により、「停止」「通常視聴」「録画」「通常再生」「高速再生」の５つの状態を取る。状態遷移図を図２に示す。一般的な蓄積装置を備えた放送受信装置では、「通常視聴」から「録画」に状態遷移が可能であるが、簡単のため本実施の形態では蓄積は「停止」状態からのみ遷移するものとした。又、本実施におけるシステムの動作を示すフローチャートを図３に示す。

先ず、「停止」状態１２０からユーザが「通常視聴」を指示する（１２１）（１３０）と、システムは通常視聴状態１２２に入る。通常視聴状態１２２では、放送受信アンテナ１０１から受信された放送信号が入力処理部１０４で入力処理される。多重信号のデマルチプレックス処理等が入力処理部１０４で行われる（１３１）。入力処理部１０４で分離された動画信号が動画処理部１０５で復号処理され（１３２）、動画出力部１０７から出力される（１３３）。又、音声信号は音声処理部１０６で復号処理され（１３２）、音声出力部１０８から出力される（１３３）。これは一般的な放送受信装置の動作と同様である。

「停止」状態１２０から録画の指示をユーザが行う（１２３）（１３４）と、システムは「録画」状態１２４に遷移する。録画状態１２４では、「通常視聴」状態１２２と同様に放送受信アンテナ１０１から受信された放送信号が入力処理部１０４で入力処理され、多重信号のデマルチプレックス処理等が入力処理部１０４で行われる（１３５）と共に、蓄積／再生部１０９は入力ストリームを蓄積ストリームに変換し、ストリーム蓄積部１１０にストリームを蓄積する（１３６）。

更に、「録画」状態１２４でも、入力処理部１０４で分離された動画信号が動画処理部１０５で復号処理される（１３７）。それと同時に、動画パラメタ抽出部１１１は、動画の各フレーム内及びフレーム間の特徴量を抽出し（１３８）、動画パラメタ蓄積部１１２に蓄積する（１３９）。同様に、音声信号は音声処理部１０６で復号処理される（１３７）。それと同時に、音声パラメタ抽出部１１５は、音声の各フレーム内及びフレーム間の特徴量を抽出し（１３８）、音声パラメタ蓄積部１１６に蓄積する（１３９）。

「停止」状態１２０から、ストリーム蓄積部１１０に蓄積されているコンテンツの「再生」を指示する（１２５）（１４０）と、システムは「通常再生」状態１２６に遷移する。「通常再生」状態１２６ではストリーム蓄積部１１０に蓄積されているストリームを蓄積／再生部１０９が読み出し、入力処理部１０４で「通常視聴」状態１２２の際と同様に処理する（１４１）。

「通常視聴」状態１２２と同様に、入力処理部１０４で分離された動画信号が動画処理部１０５で復号処理（１４２）され、動画出力部１０７から出力される（１４３）。又、音声信号は音声処理部１０６で復号処理され（１４２）、音声出力部１０８から出力される（１４３）。再生しているストリームの特徴量は既に蓄積時に取得され、動画パラメタ蓄積部１１２、音声パラメタ蓄積部１１６に蓄積されている。このため、動画パラメタ及び音声パラメタの取得は行われない。

「通常再生」状態１２６から高速再生をユーザが指示する（１２７）（１４４）と、システムは「高速再生」状態１２８に遷移する。「高速再生」状態１２８では、「通常視聴」状態１２２と同様に、入力処理部１０４で分離（１４５）された動画信号が動画処理部１０５で復号処理される（１５２）。動画処理部１０５は、後述する手法で決定される高速再生速度で動画フレームを復号（１５２）、動画出力部１０７から動画を出力する（１５３）。高速再生時の動画復号動作そのものは本発明の主旨ではないので説明を省略する。又、音声信号も同様に、音声処理部１０６で後述する手法で決定される高速再生速度で復号され（１５２）、音声出力部１０８から出力される（１５３）。高速再生時の音声復号動作についても説明を省略する。

「高速再生」状態１２８では、システムは動画及び音声の特徴量を監視し、高速再生の速度モードをユーザの指示なしに変更する。本実施の形態では、高速再生の速度モードとして「高速再生モード」と、通常再生よりは速く、高速再生よりは遅い速度で再生する「低−高速再生モード」、通常の高速再生より更に速い「高−高速再生モード」を用意する。高速再生が指示された状態では、「高速再生モード」で動作する。「高速再生」状態１２８では、再生速度決定部１１９は、現在表示しているフレームと、その前後一定時間分の特徴量を、動画パラメタ蓄積部１１２から取得し（１４６）、動画パラメタ傾向取得部１１４と同様の手法で動画パラメタの傾向を計算する（１４７）。

その後、動画パラメタ傾向蓄積部１１３から、過去に速度変更を指示したタイミングで取得した動画パラメタの傾向を取得し（１４８）、計算した現在表示中のフレーム前後の動画パラメタ傾向と比較する（１４９）。これは、過去に「高速再生を開始したタイミング」「高速再生を終了したタイミング」の動画パラメタ傾向と、現在のパラメタ傾向を比較している。その結果、再生速度決定部１１９が過去に「高速再生を開始したタイミング」と現在のパラメタの相関が高いと判定すると（１５０）、再生速度決定部１１９は動画処理部１０５及び音声処理部１０６に再生速度を「高−高速再生」にするよう指示する。再生速度決定部１１９が過去に「高速再生を終了したタイミング」と現在のパラメタの相関が高いと判定すると（１５１）、再生速度決定部１１９は動画処理部１０５及び音声処理部１０６に再生速度を「低−高速再生」にするよう指示する。

同様の処理は音声パラメタについても行われる。再生速度決定部１１９は、現在出力しているフレームと、その前後一定時間分の特徴量を、音声パラメタ蓄積部１１６から取得し（１４６）、音声パラメタ傾向取得部１１８と同様の手法でパラメタの傾向を計算する（１４７）。その後、音声パラメタ傾向蓄積部１１７から、過去に速度変更を指示したタイミングで取得した音声パラメタの傾向を取得し（１４８）、計算した現在表示中のフレームの前後の音声パラメタ傾向と比較する（１４９）。その結果、再生速度決定部１１９が過去に「高速再生を開始したタイミング」と現在のパラメタとの相関が高いと判定すると（１５０）、音声パラメタ傾向取得部１１８は動画処理部１０５及び音声処理部１０６に再生速度を「高−高速再生」にするよう指示する。再生速度決定部１１９が過去に「高速再生を終了したタイミング」と現在のパラメタの相関が高いと判定すると（１５１）、再生速度決定部１１９は動画処理部１０５及び音声処理部１０６に再生速度を「低−高速再生」にするよう指示する。

動画パラメタ傾向蓄積部１１２及び音声パラメタ傾向蓄積部１１６にパラメタが蓄積されるタイミングは、ユーザが高速再生の開始及び終了指示を行ったタイミングである。高速再生の開始の指示を受け取ると（１４４）、システムは「通常再生」状態（１２６）から「高速再生」状態（１２８）に遷移する。

その際、そのタイミングで表示している動画フレームと、その前後一定時間分のフレームのパラメタから、パラメタ傾向を計算し、「高速再生を開始したタイミングの動画特徴量」として、動画パラメタ傾向蓄積部１１２に蓄積する（１５４）。同様に、音声パラメタについても音声パラメタ傾向蓄積部１１６に蓄積する（１５４）。高速再生の終了の指示を受け取ると（１５５）、システムは「高速再生」状態（１２８）から「通常再生」状態（１２６）に遷移する。その際、そのタイミングで表示している動画フレームと、その前後一定時間分のフレームのパラメタから、パラメタ傾向を計算し、「高速再生を終了したタイミングの動画特徴量」として、動画パラメタ傾向蓄積部１１２に蓄積する（１５６）。同様に、音声パラメタについても音声パラメタ傾向蓄積部１１６に蓄積する（１５６）。

以上の処理の結果、ユーザは「高速再生」を指示する作業のみで、システムは過去のユーザの高速再生終了のタイミングの傾向と似た傾向の動画若しくは音声パラメタを持つフレームを認識し、自動的に再生速度を変更することができる。

尚、本実施の形態では、説明のためにシステムの状態遷移を図２のように決めたが、本発明はこれに限定するものではない。システムの状態遷移は任意である。又、説明の簡単化のため特殊再生を高速再生に限定したが、特殊再生全般に適用可能である。

又、本実施の形態では、再生速度を「高速再生」と「低−高速再生」「高−高速再生」の３段階としたが、本発明はこれに限定するものではない。パラメタの相関の度合いによって任意の段階を適用することが可能である。

又、本実施の形態では、使用する動画／音声のパラメタを限定して説明しているが、本発明はこれに限定されない。動画／音声の任意の特徴量を用いた適用が可能である。

更に、本実施の形態では、例として放送受信装置に対する適用例を示したが、本発明はこれに限定するものではない。蓄積された動画を再生する、蓄積再生装置、ＤＶＣ再生装置、ＤＳＣ再生装置等にも適用可能である。

本発明に係る特殊再生方法の実施の形態を示すブロック図である。 実施の形態における特殊再生方法の状態遷移図である。 実施の形態における特殊再生方法の動作を説明するフローチャートである。

符号の説明

１０１ 放送受信アンテナ
１０２ リモコン
１０３ 特殊再生装置
１０４ 入力処理部
１０５ 動画処理部
１０６ 音声処理部
１０７ 動画出力部
１０８ 音声出力部
１０９ 蓄積／再生部
１１０ ストリーム蓄積部
１１１ 動画パラメタ抽出部
１１２ 動画パラメタ蓄積部
１１３ 動画パラメタ傾向蓄積部
１１４ 動画パラメタ傾向取得部
１１５ 音声パラメタ抽出部
１１６ 音声パラメタ蓄積部
１１７ 音声パラメタ傾向蓄積部
１１８ 音声パラメタ傾向取得部
１１９ 再生速度決定部
１２０ 停止状態
１２１ 停止状態から通常再生状態への状態遷移指示
１２２ 通常再生状態
１２３ 停止状態から録画状態への状態遷移指示
１２４ 録画状態
１２５ 停止状態から通常再生状態への状態遷移指示
１２６ 通常再生状態
１２７ 通常再生状態から高速再生状態への状態遷移指示
１２８ 高速再生状態
１３０ 通常視聴指示
１３１ 入力処理
１３２ Video/Audio 復号
１３３ 動画／音声出力
１３４ 録画指示
１３５ 入力処理
１３６ Video/Audio 復号
１３７ 動画／音声パラメタ抽出
１３８ 動画／音声パラメタ蓄積
１３９ 動画／音声出力
１４０ 通常再生指示
１４１ 入力処理
１４２ Video/Audio 復号
１４３ 動画／音声出力
１４４ 高速再生開始指示
１４５ 入力処理
１４６ 処理フレーム動画／音声パラメタ取得
１４７ 処理フレーム動画／音声パラメタ傾向計算
１４８ 過去速度変更指示時パラメタ傾向取得
１４９ パラメタ比較
１５０ 再生速度高−高速再生
１５１ 再生速度低−高速再生
１５２ Video/Audio 高速復号
１５３ 動画／音声高速出力
１５４ 高速再生開始時パラメタ傾向計算・蓄積
１５５ 高速再生終了指示
１５６ 高速再生終了時パラメタ傾向計算・蓄積

Claims (1)

1. デジタル放送を受信・蓄積し再生する蓄積再生方法であって、入力ストリームを動画及び音声に分離するストリーム処理部と、前記ストリーム処理部の処理したストリームを受け取り蓄積ストリームを作成する蓄積ストリーム作成部と、前記ストリーム処理部の分離した動画を復号する動画処理部と、前記ストリーム処理部の分離した音声を復号する音声処理部と、前記動画処理部の復号した動画の特徴量を抽出する動画特徴量抽出部と、前記音声処理部の復号した音声の特徴量を抽出する音声特徴量抽出部と、前記蓄積ストリーム作成部の作成しした蓄積ストリームと、前記動画特徴量抽出部及び前記音声特徴量抽出部の抽出した動画特徴量及び音声特徴量とを蓄積する蓄積装置と、ユーザの特殊再生指示を受信し、操作のタイミングの前後一定期間のストリームの持つ特徴量を前記蓄積装置から読み出し、特徴量のパターンを検出すると共に検出された特徴量のパターンを前記蓄積装置にユーザの好みのパラメタパターンとしてパラメタパターン検出部とを有することを特徴とするデジタル放送蓄積・再生方法。

Images