JP2010288079A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】本発明は、画質を向上することができる。
【解決手段】本発明は、画像処理装置１における画像符号化部４は、デジタルチューナ部３から供給される放送番組コンテンツの画像データＳ４を受け取り、放送番組コンテンツに関するジャンル情報を受け取る。画像符号化部４は、画像データＳ４を符号化し、符号化された画像データに対し、符号化によって生じるノイズを低減させるためのフィルタ処理として、デブロックフィルタ処理を施す。画像符号化部４は、ジャンル情報に応じてフィルタの特性を表す特性パラメータとしてのフィルタ強度パラメータを決定し、決定されたフィルタ強度パラメータに応じて、フィルタの特性（フィルタ強度）を変更する。
【選択図】図５

Description

本発明は画像処理装置及び画像処理方法に関し、例えば地上デジタル放送によって配信される画像データを符号化する符号化装置に適用して好適なものである。

従来、地上デジタル放送などによって配信される放送番組コンテンツを符号化してハードディスクや光ディスクなどに記憶する画像処理装置が広く知られている。ハードディスクレコーダやブルーレイ（Blu-ray Disc、登録商標）ディスクレコーダなどがその一例である。

地上デジタル放送では、視聴者に視聴させる放送番組コンテンツと共に、当該放送番組コンテンツに関する情報（以下、これをＥＰＧ情報と呼ぶ）が配信される。このＥＰＧ情報は、放送番組コンテンツの内容やキーワード、今後の放送予定などの他に、放送番組コンテンツのジャンルを表すジャンル情報が含まれている。

この画像処理装置として、当該画像処理装置に記憶済みの放送番組コンテンツのうち、一定期間再生されないものについて圧縮率を上げて再記憶するようになされたものがある（例えば、特許文献１参照）。この画像処理装置では、ジャンル情報に応じて圧縮率及び当該圧縮率を上げるタイミングを選択するようになされている。

特開２００９−１０６０３公報

ところでかかるジャンル情報は、放送番組コンテンツの内容に応じて分類されたものである。また、画像データは、放送番組コンテンツの内容に応じてその特徴が変化する場合がある。このため、画像処理装置は、画像データを符号化する際に、ジャンル情報をより有益に利用できると考えられる。

本発明は以上の点を考慮してなされたもので、画質を向上し得る画像処理装置及び画像処理方法を提案しようとするものである。

かかる課題を解決するため本発明の画像処理装置においては、番組コンテンツの画像データ及び番組コンテンツに関するジャンル情報を受け取る受取部と、受取部により受け取られたジャンル情報に応じて、受取部により受け取られた画像データを符号化した符号化データをデコードして得られるローカル画像に対してフィルタ処理を行うフィルタの特性を表す特性パラメータを決定する決定部と、決定部によって決定された特性パラメータに応じて、フィルタの特性を変更する特性変更部と、特性変更部により変更されたフィルタの特性に従ってフィルタ処理されたローカルデコード画像を用いて予測処理を行うことにより、受取部により受け取られた画像データを符号化して符号化データを生成する符号化部とを設けるようにした。

これにより、画像処理装置は、番組コンテンツの内容をフィルタの特性に反映することができるため、フィルタの特性を適切に設定し得る。

本発明の画像処理方法では、番組コンテンツの画像データ及び番組コンテンツに関するジャンル情報を受け取るジャンル情報受取ステップと、受取ステップにおいて受け取られたジャンル情報に応じて、受取ステップにおいて受け取られた画像データを符号化した符号化データをデコードして得られるローカル画像に対してフィルタ処理を行うフィルタの特性を表す特性パラメータを決定する決定ステップと、決定ステップにおいて決定された特性パラメータに応じて、フィルタの特性を変更する特性変更ステップと、特性変更ステップにおいて変更されたフィルタの特性に従ってフィルタ処理されたローカルデコード画像を用いて予測処理を行うことにより、受取ステップにおいて受け取られた画像データを符号化して符号化データを生成する符号化ステップとを設けるようにした。

これにより、画像処理方法では、番組コンテンツの内容をフィルタの特性に反映することができるため、フィルタの特性を適切に設定し得る。

本発明によれば、番組コンテンツの内容をフィルタの特性に反映することができるため、フィルタの特性を適切に設定し得、かくして画質を向上し得る画像処理装置及び画像処理方法を実現できる。

画像処理装置の構成を示す略線図である。 符号化装置の構成を示す略線図である。 フィルタブロックとマクロブロックを示す略線図である。 α及びβの定義を示す略線図である。 フィルタ強度パラメータの決定の説明に供する略線図である。 オフセット値の設定の説明に供する略線図である。 フィルタ特性設定処理手順の説明に供する略線図である。 付加係数テーブルを示す略線図である。 他の実施の形態による例外的なフィルタ強度パラメータの説明に供する略線図である。 時刻情報を用いたフィルタ特性変更処理の例を示す略線図である。

以下、図面について、本発明の一実施の形態を詳述する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像の特性に応じたフィルタ特性の変更）
２．第２の実施の形態（他の情報の利用）
３．他の実施の形態

＜１．第１の実施の形態＞
[１−１．画像処理装置の構成]
図１は、全体として画像処理装置を示している。画像処理装置１は、番組コンテンツとしての放送番組コンテンツを受信して記憶するハードディスクレコーダやパーソナルコンピュータなどでなる。

デジタル放送受信部２は、例えばアンテナやインターネットなどのネットワークに接続されており、地上デジタル放送などの放送信号Ｓ１を受信する外部インターフェースでなる。この放送信号Ｓ１は、例えばＭＰＥＧ（Moving Picture Experts Group）２規格に従って符号化されている。

デジタル放送受信部２は、放送番組コンテンツを表す放送信号Ｓ１を受信すると、これを放送信号Ｓ２としてデジタルチューナ部３へ供給する。デジタルチューナ部３は、放送信号Ｓ２を復号化し、ＥＰＧ（Electric Program Guide）情報Ｓ３、画像データＳ４及び音声データＳ５をそれぞれ生成し、例えばテレビジョン装置などの表示装置（図示しない）に供給する。なお、ＥＰＧ情報は、放送番組コンテンツの内容やキーワード、今後の放送予定、放送局情報、時刻情報及びジャンル情報などを含んでいる。

この結果、表示装置には、画像データＳ４に基づく画像が表示されると共に、音声データＳ５に基づく音声が出力される。また、ユーザの要求に応じてＥＰＧ情報における各種情報が表示される。

このとき、デジタルチューナ部３は、ＥＰＧ情報Ｓ３及び画像データＳ４を画像符号化部４に供給し、音声データＳ５を音声符号化部５に供給する。画像符号化部４は、後述する画像符号化処理によりＨ．２６４／ＡＶＣ（Advanced Video Coding）方式に従って画像データＳ４を符号化してビットストリームＳ６を生成し、これを記憶部６に供給する。

音声符号化部５は、所定の符号化方式に従って音声データＳ５を符号化して音声符号データＳ７を生成し、これを記憶部６に供給する。記憶部６は、例えばハードディスクやブルーレイディスク（Blu-ray Disc、登録商標）などの光学ディスクドライブ、フラッシュメモリなどでなる。記憶部６は、供給されるビットストリームＳ６及び音声符号データＳ７を対応付けて記憶する。

この結果、記憶部６には、放送番組コンテンツが符号化された状態で記憶される。画像処理装置１は、ユーザの要求に応じて、記憶部６に記憶された放送番組コンテンツを読み出し、図示しない復号部によって復号し、画像データＳ４及び音声データＳ５を再生する。復号部は、画像データＳ４及び音声データＳ５を表示装置に供給する。この結果、表示装置には、画像データＳ４に基づく画像が表示されると共に、音声データＳ５に基づく音声が出力されるようになされている。

[１−２．画像符号化部の構成]
図２に示すように、画像符号化部４は、デジタルチューナ部３からＥＰＧ情報Ｓ３及び画像データＳ４が供給されると、ＥＰＧ情報Ｓ３をＥＰＧ情報取得部３１へ、画像データＳ４を画面並べ替えバッファ１２へそれぞれ供給する。

画面並べ替えバッファ１２は、画像データＳ４におけるＧＯＰ（Group Of Picture）構造に応じて画像データＳ４を並べ替え、当該並べ替えられた画像データＳ４を演算器１３、動き予測・補償部１４、イントラ予測部１５及び演算器２５にそれぞれ供給する。

演算器１３は、画像データＳ４をインター符号化すべき場合には、動き予測・補償部１４から供給される予測値Ｌ５を画像データＳ４から減算し、これを差分データＤ１として直交変換部１７に供給する。演算器１３は、画像データＳ４をイントラ符号化すべき場合には、イントラ予測部１５から供給される予測値Ｌ５を画像データＳ４から減算し、これを差分データＤ１として直交変換部１７に供給する。

直交変換部１７は、ＤＣＴ（Discrete Cosine Transform）変換及びカルーネン・レーベ変換などの直交変換処理により、差分データＤ１を直交変換し、直交変換係数Ｄ２を量子化部１８に供給する。

量子化部１８は、レート制御部１９の制御により決定された量子化パラメータＱＰを用いて直交変換係数Ｄ２を量子化し、量子化係数Ｄ３を逆量子化部２３及び可逆符号化部２０に供給する。可逆符号化部２０は、ＣＡＶＬＣ（Context-based Adaptive Variable Length Code）及びＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coding）などのエントロピー符号化方式に従って量子化係数Ｄ３を可逆符号化し、可逆符号化データＤ５を蓄積バッファ２１に供給する。

また、可逆符号化部２０は、イントラ符号化及びインター符号化に関する情報を動き予測・補償部１４及びイントラ予測部１５から取得しこれらの情報を可逆符号化データＤ５のヘッダ情報に設定する。

蓄積バッファ２１は、可逆符号化データＤ５を蓄積すると共に、当該可逆符号化データＤ５を所定の伝送速度でビットストリームＳ６として出力する。レート制御部１９は、蓄積バッファ２１を監視し、可逆符号化データＤ５の発生符号量が所定の制御単位（例えばフレームやＧＯＰなど）ごとに一定の符号量に近づくよう、量子化パラメータＱＰを決定する。

逆量子化部２３は、量子化係数Ｄ３を逆量子化して再生直交変換係数Ｌ１を生成し、これを逆直交変換部２４に供給する。逆直交変換部２４は、再生直交変換係数Ｌ１を逆直交変換して再生差分データＬ２を生成し、これを演算器２５に供給する。

演算器２５は、動き予測・補償部１４又はイントラ予測部１５から供給される予測値Ｌ５と再生差分データＬ２とを加算して処理対象ブロックのローカルデコード画像Ｌ３を生成し、これをデブロックフィルタ２６及びフレームメモリ２７に供給する。

デブロックフィルタ２６は、処理対象ブロックに対してデブロックフィルタ処理を実行し、これをフレームメモリ２７に供給する。この結果、フレームメモリ２７には、デブロックフィルタ処理されたローカルデコード画像Ｌ４が記憶される。

フレームメモリ２７は、デブロックフィルタ処理されたローカルデコード画像Ｌ４のうち、参照対象ブロックに対応するローカルデコード画像Ｌ４を、動き予測・補償部１４又はイントラ予測部１５に対してそれぞれ供給する。動き予測・補償部１４は、ローカルデコード画像Ｌ４を参照して画像データＳ４に対する動き予測により処理対象ブロックの予測値Ｌ５を生成し、演算器１３及び２５に供給する。イントラ予測部１５は、ローカルデコード画像Ｌ４を参照して画像データＳ４に対するイントラ予測により処理対象ブロックの予測値Ｌ５を生成し、演算器１３及び２５に供給する。

このように、画像符号化部４は、画像データＳ４を符号化してビットストリームＳ６を生成するようになされている。

[１−３．デブロックフィルタ処理]
次に、デブロックフィルタ２６が実行するデブロックフィルタ処理について説明する。

画像符号化部４は、所定の画素数でなる処理単位ブロックごとに、上述した符号化処理を実行する。処理単位ブロックは、１６×１６画素のマクロブロックを基本とするが、そのサイズは処理内容によって変化する。例えば、直交変換部１７は、４×４画素又は８×８画素でなるＤＣＴブロックごとにＤＣＴ処理を実行する。量子化部１８は、マクロブロックごとに設定された量子化パラメータＱＰを用いて量子化処理を実行する。

このため、逆直交変換部２４が生成するローカルデコード画像Ｌ３には、ブロック間の歪み（以下、これをブロック歪みと呼ぶ）が発生する場合がある。画像符号化部４は、仮にこのブロック歪みを含んだローカルデコード画像Ｌ３を参照して予測値Ｌ５を生成すると、画質の劣化を伝搬させることになる。

そこで画像符号化部４は、デブロックフィルタ処理によりブロック歪みを除去してローカルデコード画像Ｌ４を生成し、当該ローカルデコード画像Ｌ４を参照して予測値Ｌ５を生成する。この結果、画像符号化部４は、符号化による画質の劣化を極力伝搬させないようになされている。

ここで、デブロックフィルタ処理は、ブロック歪みを低減するものの、画像の解像度を低下させる原因となる。このため、画像符号化部４は、ブロック歪みの生じやすい領域に対して適応的にデブロックフィルタをかける。

図３に示すように、処理対象となる４×４画素のブロックをフィルタブロックＰ、当該
フィルタブロックＰの右隣及び下隣のブロックを隣接ブロックＱとする。フィルタブロックＰ及び隣接ブロックＱの境界をブロック境界（太線で示す）と呼ぶ。当該ブロック境界に接する画素をそれぞれｐ０、ｑ０とする。フィルタブロックにおける各画素を、ブロック境界から離隔する方向に、ｐ１、ｐ２、ｐ３とする。隣接ブロックＱにおける各画素を同様にｑ１、ｑ２、ｑ３とする。また、マクロブロック間の境界をマクロブロック境界と呼ぶ。

デブロックフィルタ２６は、フィルタブロックＰのマクロブロックにおけるマクロブロック境界からの位置、イントラブロックか否か、インター符号化における参照ピクチャ及び動きベクトル値などに応じてブロック境界強度Ｂｓを決定する。このブロック境界強度Ｂｓは、「０」〜「４」の５段階に評価される。

デブロックフィルタ２６は、以下に示す（１）〜（４）式を全て満たす場合には、ブロック境界に対してデブロックフィルタをかける。一方、デブロックフィルタ（１）〜（４）式のいずれかを満たさない場合には、ブロック境界に対してデブロックフィルタをかけない。

すなわち、デブロックフィルタ２６は、フィルタブロックＰ及び隣接ブロックＱがインターブロックであり、参照ピクチャとほぼ同一の絵柄を示す場合には、ブロック境界強度Ｂｓを「０」と評価する。このとき、デブロックフィルタ２６は、ブロック境界に対し、デブロックフィルタをかけない。

デブロックフィルタ２６は、ブロック境界強度Ｂｓが「１」以上であって、以下の１）〜３）の条件を全て満たす場合にのみデブロックフィルタをかける。１）ブロック境界に隣接する画素値ｐ０及びｑ０の差分がインデックスαより小さい。２）画素値ｐ０と当該画素値ｐ０に隣接する画素ｐ１との差分がインデックスβより小さい。３）画素値ｑ０と当該画素値ｑ０に隣接する画素ｑ１との差分がインデックスβより小さい。

ここで、図４に、インデックスα及びβの一覧を示している。図からわかるように、インデックスα及びインデックスβは、量子化パラメータＱＰの値に応じて設定されており、量子化パラメータＱＰが大きくなるにつれてその値が大きくなっている。

言い換えると、デブロックフィルタ２６は、量子化パラメータＱＰが小さい（「１５」以下）場合には、ブロック歪みが出現しづらいため、ブロック境界に対してデブロックフィルタをかけない。

デブロックフィルタ２６は、量子化パラメータＱＰが大きい（「１６」以上）場合には、画素値の差分値に応じてデブロックフィルタをかけるか否かを決定する。

画素値の差分が大きい場合には、デブロックフィルタをかけることにより解像度を著しく低下させる危険性がある。デブロックフィルタ２６は、量子化パラメータＱＰが比較的小さく、ブロック歪みの出現確率が小さい及び出現してもその程度が小さい場合には、ノイズの低減よりも解像度の維持を優先する。

デブロックフィルタ２６は、小さい値でなるインデックスα及びβよりも画素値の差分がさらに小さいときにのみデブロックフィルタをかける。すなわち、デブロックフィルタ２６は、量子化パラメータＱＰが比較的小さい場合には、解像度を維持できる場合にのみブロック境界に対してデブロックフィルタをかける。このため、デブロックフィルタのフィルタ強度は小さくなる。

量子化パラメータＱＰが大きい場合、ブロック歪みの出現確率が大きい及び出現するとその程度が大きく、ブロック歪みが目立つ危険性がある。デブロックフィルタ２６は、量子化パラメータＱＰが比較的大きい場合には、解像度の維持よりもノイズの低減を優先する。

デブロックフィルタ２６は、大きい値でなるインデックスα及びβよりも画素値の差分が小さいときデブロックフィルタをかける。すなわち、デブロックフィルタ２６は、量子化パラメータＱＰが比較的大きい場合には、高い確率でブロック境界に対してデブロックフィルタをかける。このため、デブロックフィルタのフィルタ強度は大きくなる。

つまり、デブロックフィルタ２６は、ブロック歪みの出現確率及びその程度と解像度の低下とを比較考量し、量子化パラメータＱＰの値が大きくなるにつれて解像度の低下よりブロック歪みの低減を優先するようインデックスα及びインデックスβを決定している。

例えば、デブロックフィルタ２６は、量子化パラメータＱＰが「３０」である場合、インデックスαとして「２５」を、インデックスβとして「８」を選択する。デブロックフィルタ２６は、当該インデックスα及びβを用い、（１）〜（４）式に従ってブロック境界に対するデブロックフィルタをかけるか否かを判別するようになされている。

Ｈ．２６４／ＡＶＣ規格では、インデックスα及びβを選択する際に、量子化パラメータＱＰにオフセット（以下、これをＱＰオフセットと呼ぶ）を付加できることが定められている。これにより、ブロック歪みの低減又は解像度の低下の優先度を変更することが可能である。

ところで、放送番組コンテンツは、様々な画像及び画質でなる画像データを供給する。例えば、大自然や歴史的建造物などを紹介する放送番組コンテンツでは、画質が極めて重要であり、解像度を極力維持することが望ましい。また、スポーツなどの放送番組では、解像度はさして重要ではなく、ノイズが優先的に除去されることが望ましい。

地上デジタル放送では、放送番組コンテンツと共にＥＰＧ情報を配信している。このＥＰＧ情報には、放送予定情報や放送番組コンテンツの内容を表す情報に加えて、放送番組コンテンツがその内容に応じて分類されたジャンル情報が含まれている。

本実施の形態による画像符号化部４は、ジャンル情報に応じてＱＰオフセットを選択することにより、放送番組コンテンツの内容に応じてブロック歪みの低減又は解像度の維持の優先度を変更するようになされている。

[１−４．フィルタ特性の設定]
次に、ジャンル情報に応じてデブロックフィルタ２６のフィルタ強度を設定するフィルタ特性設定処理について説明する。

動きの大きな画像データを有する放送番組コンテンツでは、ユーザの視線が動きの大きいところに注目するため、解像度が重要でない。このため、動きが大きい放送番組コンテンツが属するジャンルでは、解像度の維持よりもノイズの低減を優先すべきである。一方、動きが小さい放送番組コンテンツでは、ユーザの視線が一点に集中することがないため、全体的な印象を重要視し、解像度の維持を優先するべきである。

上述したように、地上デジタル放送では、画像データがＭＰＥＧ−２などの符号化方式によって符号化された状態で配信される。特に生放送では、リアルタイムで放送番組コンテンツを配信するため、放送番組コンテンツの解像度が低い場合が多く、入力段階ですでにブロック歪みが存在する場合すらある。そこで、入力される画像データＳ４の品質が低い場合が多い放送番組コンテンツが属するジャンルでは、解像度の維持よりもノイズの低減を優先すべきである。

一方、大自然や歴史的建造物などを紹介する放送番組コンテンツは、予め高品質の機材を用いて撮影され、画質の解像度が高い状態で配信される。そこで、入力される画像データＳ４の品質が高い場合が多い放送番組コンテンツが属するジャンルでは、ノイズの低減よりも解像度の維持を優先すべきである。

また、音楽を紹介する放送番組コンテンツでは、歌手が歌を歌うシーンが非常に重要となる。このようなシーンでは、歌手の表情などに視聴者の視線が集中するため、例え程度の小さいブロック歪みであっても、ユーザに気付かれてしまう。そこで、視聴者の視線がある領域に集中するテクスチャでなるシーンを有し、当該シーンが非常に重要であるような放送番組コンテンツが属するジャンルでは、解像度の維持よりもノイズの低減を優先すべきである。

本実施の形態では、放送番組コンテンツのジャンルごとに有する画像データＳ４の視覚的な特徴に応じて、ノイズの低減及び解像度の維持に対する優先度を評価し、当該優先度に応じてデブロックフィルタ２６のフィルタ強度を調整するようになされている。

図５に、ジャンル情報及び当該ジャンル情報に対応するフィルタ強度パラメータの一覧を示している。地上デジタル放送では、放送番組コンテンツを１２のジャンル（いわゆる大分類）に分類している。本実施の形態では、上述した法則に従い、ノイズ低減の優先度を表すノイズ優先要素を点数化し、総合点に応じてデブロックフィルタ処理におけるフィルタ強度を決定する。本実施の形態では、ノイズ優先要素として、「動き」、「入力」、「テクスチャ」を有している。

すなわち、「動き」が大きい放送番組コンテンツが属するジャンルは、ノイズの低減を優先すべきであるため、点数が高くなる。「入力」は入力される画像データＳ４の品質を表すノイズ優先要素であり、画質が低いとノイズの低減を優先すべきであるため、点数が高くなる。「テクスチャ」は、視聴者の視線がある領域に集中するような画像を表すノイズ優先要素であり、ノイズの低減を優先すべきであるため、点数が高くなる。

各ノイズ優先要素は、それぞれ最高点（カッコで示す）が相違している。すなわち、ノイズ優先要素は、その重要性に応じて重み付けがなされている。

各ノイズ優先要素の値が加算された総合点が高いことは、解像度の維持よりもノイズの低減が優先されるべきであり、フィルタ強度が大きく設定されるべきであることを表している。一方、総合点が低いことは、ノイズの低減よりも解像度の維持が優先されるべきであり、フィルタ強度が小さく設定されるべきであることを表している。

本実施の形態では、総合点が「９」のときに中間値をとり、「８」〜「１０」のときにフィルタ強度が「中」に設定される。また、総合点が「１１」以上のときにフィルタ強度が「大」に設定され、総合点が「７」以下のときにフィルタ強度パラメータが「小」に設定される。

具体的に、ニュース／報道では、スポーツなどの動きの大きい画像から、キャスターがニュースを伝達するときの静止画像に近い画像をも包含するため、「動き」は中間の「４」に評価されている。ニュース／報道では、予め収録されたものから生放送のものまで入力される画像データＳ４の品質も様々であるため、「入力」は中間の「２」に評価されている。「テクスチャ」についても同様であり、ニュース／報道では、中間の「３」に評価されている。この結果、総合点は「９」となり、フィルタ強度パラメータが「中」に設定される。

スポーツでは、動きがかなり激しいため、「動き」が最大の「７」に評価されている。スポーツは、生放送が多いため、「入力」が最大の「３」に評価され、「テクスチャ」が中間の「２」に評価されている。この結果、総合点は「１３」となり、フィルタ強度パラメータが「大」に設定される。

情報／ワイドショーでは、ニュース／報道と同様に様々な画像データＳ４が供給されるため、「動き」、「入力」、「テクスチャ」が中間の「４」、「２」、「３」に評価され、総合点は「９」、フィルタ強度パラメータが「中」に設定される。

ドラマでは、例えば恋愛ドラマのような比較的動きの小さいものから、アクションドラマ、スポーツドラマのような動きの大きいものまで様々である。このため、ドラマでは、ニュース／報道と同様に「動き」、「入力」、「テクスチャ」が中間の「４」、「２」、「３」に評価され、総合点は「９」、フィルタ強度パラメータが「中」に設定される。

音楽では、カメラワークやフラッシュ照明などにより、「動き」が比較的大きく「６」に評価され、歌を歌うシーンがあることからテクスチャが最大の「５」に評価されている。また、「入力」は中間の「２」に評価され、総合点は「１３」、フィルタ強度パラメータが「大」に設定される。

バラエティでは、アクションゲームなど出演者の動きが比較的大きく、またカメラワークも大きいことから、「動き」が「６」に評価されている。バラエティでは、「入力」及び「テクスチャ」が中間の「２」及び「３」に評価され、総合点は「１１」、フィルタ強度パラメータが「大」に設定される。

映画では、ドラマと同様、恋愛映画のような比較的動きの小さいものから、アクション映画、スポーツ映画のような動きの大きいものまで様々である。このため、映画では、ニュース／報道及びドラマと同様に「動き」、「入力」、「テクスチャ」が中間の「４」、「２」、「３」に評価され、総合点は「９」、フィルタ強度パラメータが「中」に設定される。

アニメ／特撮は、アニメと特撮との混合である。アニメは、急激に色調が変化するいわゆる線画が中心であり、ブロック歪みが目立ち易いという特徴を有している。これに対して、特撮は実写であり、カメラワークが大きくないため動きも少なく、アニメとは特徴が大きく相違する。このため、アニメ／特撮では、ニュース／報道及びドラマと同様に「動き」、「入力」、「テクスチャ」が中間の「４」、「２」、「３」に評価され、総合点は「９」、フィルタ強度パラメータが「中」に設定される。

ドキュメンタリー／教養は、出演者よりも風景などを中心に撮影される場合が多いため、動きが小さく、「動き」が「２」に評価され、解像度の与えるインパクトが大きいためテクスチャが「２」に評価されている。ドキュメンタリー／教養は、高品質な機材を用いて撮影され、丁寧な画像処理が施されており、画像データＳ４の解像度の高い場合が多く、「入力」が「１」に評価され、総合点は「５」、フィルタ強度パラメータが「小」に設定される。

劇場／公演では、落語のような比較的動きの小さいものから、ダンス、バレエのような動き及びカメラワークの大きいものまで様々である。このため、劇場／公演では、ニュース／報道及びドラマと同様に「動き」、「入力」、「テクスチャ」が中間の「４」、「２」、「３」に評価され、総合点は「９」、フィルタ強度パラメータが「中」に設定される。

趣味／教養では、園芸や囲碁・将棋の方法を紹介する番組のような比較的動きの小さいものや、静止画を用いた説明などが多い。このため、趣味／教養では「動き」が「２」に評価され、「入力」、「テクスチャ」が中間の「２」、「３」に評価され、総合点は「９」、フィルタ強度パラメータが「中」に設定される。

福祉では、福祉問題を紹介する番組のような比較的動きの小さいものから、文字放送を含む時代劇のような動きの大きい番組まで様々である。このため、福祉では、ニュース／報道及びドラマと同様に「動き」、「入力」、「テクスチャ」が中間の「４」、「２」、「３」に評価され、総合点は「９」、フィルタ強度パラメータが「中」に設定される。

具体的に、画像符号化部４のＥＰＧ情報取得部３１（図２）は、デジタルチューナ部３（図１）から供給されるＥＰＧ情報Ｓ３を取得すると、これをジャンル情報取得部３２に供給する。ジャンル情報取得部３２は、ＥＰＧ情報Ｓ３から録画対象となる放送番組コンテンツに対応するジャンル情報を抽出し、これを強度決定部３３に供給する。

強度決定部３３は、ジャンル情報とフィルタ強度パラメータとを対応付けた設定テーブルを記憶している。強度決定部３３は、ジャンル情報に対応するフィルタ強度パラメータを選択すると、これを強度設定部３４に供給する。

強度設定部３４は、強度決定部３３から供給されたフィルタ強度パラメータに応じて、量子化処理に使用された量子化パラメータＱＰの値に対してＱＰオフセットを付加する。すなわち、強度設定部３４は、ローカルデコード画像Ｌ３のスライスヘッダに含まれるslice_alpha_c0_offset_div2及びslice_beta_offset_div2の値をフィルタ強度パラメータに応じて変化させる。

図６に示すように、強度設定部３４は、フィルタ強度パラメータが「大」の場合、slice_alpha_c0_offset_div2及びslice_beta_offset_div2の値を「６」に設定する。このとき、デブロックフィルタ２６は、例えば量子化処理に使用された量子化パラメータＱＰの値が「３０」である場合、インデックスα及びβを選択する際の量子化パラメータＱＰの値を６／２だけオフセットさせた「３３」とする。

デブロックフィルタ２６は、図４に示したように、量子化パラメータＱＰ＝「３３」に応じて、インデックスα＝「３６」、インデックスβ＝「９」を選択する。この結果、デブロックフィルタ２６は、量子化パラメータＱＰ＝「３３」と同程度のフィルタ強度、すなわち実際の量子化処理に使用された量子化パラメータＱＰよりも大きなフィルタ強度でデブロックフィルタ処理を実行することができる。

強度設定部３４は、フィルタ強度パラメータが「中」の場合、slice_alpha_c0_offset_div2及びslice_beta_offset_div2の値を「０」に設定する。このとき、デブロックフィルタ２６は、ＱＰオフセットを付加しないため、実際の量子化処理に使用された量子化パラメータＱＰと同一のフィルタ強度でデブロックフィルタ処理を実行することができる。

強度設定部３４は、フィルタ強度パラメータが「小」の場合、slice_alpha_c0_offset_div2及びslice_beta_offset_div2の値を「−６」に設定する。このとき、デブロックフィルタ２６は、例えば量子化処理に使用された量子化パラメータＱＰの値が「３０」である場合、インデックスα及びβを選択する際の量子化パラメータＱＰの値を６／２だけオフセットさせた「２７」とする。

デブロックフィルタ２６は、量子化パラメータＱＰ＝「２７」に応じて、インデックスα＝「１７」インデックス、β＝「６」を選択する。この結果、デブロックフィルタ２６は、量子化パラメータＱＰ＝「２７」と同程度のフィルタ強度、すなわち実際の量子化処理に使用された量子化パラメータＱＰよりも小さなフィルタ強度でデブロックフィルタ処理を実行することができる。

このように、画像符号化部４は、放送番組コンテンツのジャンルごとに有する画像データＳ４の視覚的な特徴に応じて、ノイズの低減の優先度を表すノイズ優先要素を評価する。画像符号化部４は、ノイズ優先要素の評価に応じてデブロックフィルタ２６のフィルタ強度を調整する。

これにより、画像符号化部４は、画像データＳ４の視覚的な特徴に合わせてデブロックフィルタ２６のフィルタ強度を変化させることができる。このため、画像符号化部４は、画像データＳ４に合わせた適切なフィルタ強度を設定することができ、ローカルデコード画像Ｌ４の画質を向上させ得る。この結果、画像符号化部４は、画質の良好なローカルデコード画像を参照して画像データＳ４を符号化し得るため、ビットストリームＳ６の画質を向上させ得る。

なお、上述した一連の符号化処理及びフィルタ特性設定処理は、ハードウェアにより実行させることもでき、また、ソフトウェアにより実行させることも可能である。符号化処理及びフィルタ特性設定処理をソフトウェアによって実現する場合、ＣＰＵ及びＲＡＭに仮想的に画像符号化部４が形成される。そして、ＲＯＭに格納された符号化処理プログラム及びフィルタ特性設定プログラムをＲＡＭに展開することにより、符号化処理及びフィルタ特性設定処理が実行される。

[１−５．フィルタ特性設定処理手順]
次に、フィルタ特性設定処理プログラムに従って実行されるフィルタ特性設定処理手順ＲＴ１について、図７のフローチャートを用いて説明する。

画像符号化部４は、フィルタ特性設定処理手順ＲＴ１を開始し、ステップＳＰ１において、ＥＰＧ情報Ｓ３及び画像データＳ４が供給されると、次のステップＳＰ２へ移る。

ステップＳＰ２において、画像符号化部４は、ＥＰＧ情報からジャンル情報を取得すると、次のステップＳＰ３へ移る。

ステップＳ３において、画像符号化部４は、ジャンル情報に対応するフィルタ強度パラメータを判別する。このとき画像符号化部４は、フィルタ強度パラメータを「大」と判別した場合には、ステップＳＰ４へ、フィルタ強度パラメータを「中」と判別した場合には、ステップＳＰ５へ、フィルタ強度パラメータを「小」と判別した場合には、ステップＳＰ６へ移る。

ステップＳＰ４において、画像符号化部４は、フィルタ強度を大きくしノイズの低減を優先するため、slice_alpha_c0_offset_div2及びslice_beta_offset_div2の値をそれぞれ「６」に設定すると、次のステップＳＰ７へ移る。

ステップＳＰ５において、画像符号化部４は、フィルタ強度を標準のままに維持するため、slice_alpha_c0_offset_div2及びslice_beta_offset_div2の値をそれぞれ「０」に設定すると、次のステップＳＰ７へ移る。

ステップＳＰ６において、画像符号化部４は、フィルタ強度を小さくし解像度の維持を優先するため、slice_alpha_c0_offset_div2及びslice_beta_offset_div2の値をそれぞれ「６」に設定すると、次のステップＳＰ７へ移る。

ステップＳＰ７において、画像符号化部４は、ステップＳＰ４〜６において設定されたフィルタ強度でデブロックフィルタ処理を実行すると、終了ステップへ移って処理を終了する。

[１−６．動作及び効果]
以上の構成において、画像処理装置１における画像符号化部４は、デジタルチューナ部３から供給される番組コンテンツである放送番組コンテンツの画像データＳ４及び放送番組コンテンツに関するジャンル情報を受け取る。画像符号化部４は、ジャンル情報に応じて符号化された量子化係数Ｄ３をローカルデコードして得られるローカルデコード画像Ｌ３に対してフィルタ処理を行うフィルタ（デブロックフィルタ２６）の特性を表す特性パラメータとしてのフィルタ強度パラメータを決定する。画像符号化部４は、決定されたフィルタ強度パラメータに応じて、フィルタの特性（フィルタ強度）を変更する。

画像符号化部４は、画像データを、フィルタ処理されたローカルデコード画像Ｌ４を用いた予測処理（画面内予測及び動き予測）により符号化する。このとき、画像符号化部４は、符号化された画像データである量子化係数Ｄ３をデコードしてローカルデコード画像Ｌ３を生成する。そして画像符号化部４は、当該生成されたローカルデコード画像Ｌ３に対しフィルタ処理としてのデブロックフィルタ処理を施すことにより、ローカルデコード画像Ｌ４を生成する。

これにより、画像符号化部４は、ジャンル情報が示す放送番組コンテンツの内容をフィルタ強度に反映させることができる。すなわち、画像符号化部４は、画像データＳ４を分析しても知り得ない放送番組コンテンツの内容に応じた適切なフィルタ強度でデブロックフィルタ処理を実行することができる。この結果、画像符号化部４は、従来の方法と比較して、一段と適切にフィルタ強度を設定することができ、解像度とノイズのバランスを適切に保ち得る。

画像符号化部４は、ジャンル情報が表す画像データＳ４の視覚的な特徴に応じてフィルタ強度を決定する。すなわち、画像符号化部４は、放送番組コンテンツの内容に応じて視聴者が画像を視聴するときの視点が相違することに着目し、フィルタ強度による解像度の低下度及びノイズの低減度のバランスを決定する。

これにより、画像符号化部４は、デブロック歪み又は解像度の低下をユーザに極力気付かせないようにできるため、画質を向上させることができる。

画像符号化部４は、動きが大きい場合には、ユーザが当該動きを追うことに注力して必死となり解像度を感じる余裕がないため、解像度の低下が問題とならないことに着目する。このため、画像符号化部４は、動きが大きいジャンルの放送番組コンテンツに対して、ノイズの低減を優先し、フィルタ強度を大きくする。逆に、動きが小さい場合には、ユーザの視点が大きく動かず、解像度の低下が問題となる。画像符号化部４は、ジャンルの放送番組コンテンツに対して、解像度の維持を優先し、フィルタ強度を小さくする。

画像符号化部４は、入力されるときの画像データＳ４の品質が低い場合には、ノイズが大きく目立つ可能性があることに着目する。このため、画像符号化部４は、品質が低いジャンルの放送番組コンテンツに対して、ノイズの低減を優先し、フィルタ強度を大きくする。逆に、画像データＳ４の品質が高い場合には、元々の画像が高い解像度で制作されておりノイズが少ない。画像符号化部４は、品質が高いジャンルの放送番組コンテンツに対して、解像度の維持を優先し、フィルタ強度を小さくする。

画像符号化部４は、人物の表情などが重要視される場合には、ユーザが当該人物の顔などを注視するため、小さいノイズでもユーザに気付かれる可能性が高いことに着目する。このため、画像符号化部４は、特定の領域にユーザの視線が注力される放送番組コンテンツに対して、ノイズの低減を優先し、フィルタ強度を大きくする。逆に、人物の存在がさほど重要でないような場合には、特定の領域にユーザの視線が注力する可能性が小さい。画像符号化部４は、特定の領域にユーザの視線が注力しない放送番組コンテンツに対して、解像度の維持を優先し、フィルタ強度を小さくする。

これにより、画像符号化部４は、放送番組コンテンツの内容が表すユーザの視点の動きや注力度合いをフィルタ強度に反映させることができる。この結果、画像符号化部４は、画像データＳ４の画素ごとの特性のみに応じてフィルタ強度を決定する従来の方法と比して、一段と適切にフィルタ強度を設定することができる。

画像符号化部４は、ジャンル情報がスポーツを表していた場合に、フィルタ強度を大きくするようにフィルタ強度パラメータを決定する。

これにより、画像符号化部４は、入力される画像データＳ４の品質が低く、動きの大きい放送番組コンテンツに対して、ノイズの低減を優先させることができる。また、動きが大きい放送番組コンテンツでは、ノイズが出易いという傾向もある。画像符号化部４は、ノイズの低減を優先させることにより、かかるノイズを効果的に低減することができる。

画像符号化部４は、ジャンル情報が音楽を表していた場合に、フィルタ強度を大きくするようにフィルタ強度パラメータを決定する。

ジャンル情報が音楽である放送番組コンテンツは、歌手が歌うシーンが重要である。このシーンでは、背景に電飾が使用されたり、フラッシュが使用されるなどし、またカメラワークも大きいことから、比較的動きが大きい。このため、ユーザは解像度の低下に気付きにくい。また、歌手の表情が非常に重要であり、ユーザが歌手の顔領域に注目するため、小さなノイズでもユーザに気付かれ易く、さらに当該ノイズが与える不快感が他の領域よりも大きくなる。仮にユーザが大好きな歌手の顔領域に存在するノイズに気付くと、当該ユーザは著しい不快感を有すると想定されるからである。

画像符号化部４は、ノイズの低減を優先させることにより、歌手の顔領域からノイズをほぼ完全に除去することができ、ユーザに不快感を極力与えない。

画像符号化部４は、ジャンル情報がバラエティを表していた場合に、フィルタ強度を大きくするようにフィルタ強度パラメータを決定する。

これにより、画像符号化部４は、動きの大きい放送番組コンテンツに対して、ノイズの低減を優先させることができる。

画像符号化部４は、ジャンル情報がドキュメンタリー／教養を表していた場合に、フィルタの強度を小さくするように特性パラメータを決定する。

これにより、画像符号化部４は、動きが小さく、入力される画像データＳ４が高品質である放送番組コンテンツに対して、解像度の維持を優先させることができる。すなわち、高い解像度で配信される放送番組コンテンツに対し、解像度の低下を極力抑制できる。

画像符号化部４は、先に符号化された画像データが復号化されてなるローカルデコード画像Ｌ４を参照して画像データＳ４を符号化する。デブロックフィルタ２６は、ローカルデコード画像Ｌ３に対してデブロックフィルタ処理を施すことにより、ローカルデコード画像Ｌ４を生成する。

これにより、画像符号化部４は、ノイズが低減されたローカルデコード画像Ｌ３を参照することができるため、符号化により発生するノイズを後に符号化される画像に伝搬させることを抑制できる。

フィルタ強度パラメータは、視覚的な特徴である複数の優先要素としてのノイズ優先要素に基づいて、ノイズの低減を優先すべきか否かが評価されることにより、ジャンル情報ごとに決定されている。

これにより、画像符号化部４は、複数のノイズ優先要素に基づいて、ノイズの低減を優先すべきか否かを総合的に判断することができるため、フィルタ強度を適切に設定できる。

フィルタ強度パラメータは、ノイズ優先要素ごとに重み付けされることにより評価されている。

これにより、画像符号化部４は、ノイズの低減を優先すべき各ノイズ優先要素に対し、重要性に応じて優先度の度合いを変化させることができ、フィルタ強度を一段と適切に設定できる。

以上の構成によれば、画像符号化部４は、放送番組コンテンツのジャンル情報から、当該ジャンル情報が表す放送番組コンテンツの内容に応じて、放送番組コンテンツの符号化の際にかけるデブロックフィルタのフィルタ強度を設定する。

これにより、画像符号化部４は、画像データＳ４を解析しただけでは認識し得ない放送番組コンテンツの内容をフィルタ強度に反映することができ、ノイズの低減又は解像度の優先度を適切に判断し得る。かくして本発明は、画質を向上し得る画像処理装置及び画像処理方法を実現することができる。

＜２．第２の実施の形態＞
［２−１．ジャンル情報以外の情報を用いたフィルタ特性設定処理］
図８に示す第２の実施の形態においては、図１〜図７に示す第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第２の実施の形態では、ジャンル情報だけでなくＥＰＧ情報Ｓ３に含まれるジャンル情報以外の情報を利用してフィルタ強度を変更する点が、第１の実施の形態と異なっている。

ＥＰＧ情報Ｓ３には、ジャンル情報の他にも、放送番組コンテンツを配信している放送局を表す放送局情報や、放送番組コンテンツの内容を説明するイベント情報などが含まれている。

放送番組コンテンツは、配信元となる放送局によって撮影及び編集される場合が多く、使用する機材や技術力の差異により、放送局によって画像データＳ４の解像度が相違する傾向がある。解像度が高い放送番組コンテンツを配信する傾向が大きい放送局から配信された放送信号Ｓ１に基づく画像データＳ４については、解像度の維持を優先すべきである。逆に解像度が低い放送番組コンテンツを配信する傾向が大きい放送局から配信された放送信号Ｓ１に基づく画像データＳ４については、ノイズの低減を優先すべきである。

そこで第２の実施の形態における画像符号化部１０４（図示せず）は、放送局情報をフィルタ強度パラメータに反映させる。

イベント情報は、放送番組コンテンツの内容を直接的に表している。例えばこのイベント情報に「生放送」や「実況」、「生中継」などが含まれていた場合、当該放送番組コンテンツのうち、少なくとも主要な部分が生放送である可能性が高い。この場合、解像度の維持よりもノイズの低減を優先させるべきである。

また、映画やドラマ、趣味／教養などスポーツ以外のジャンルに属する放送番組コンテンツに対応するイベント情報において、「スポーツの名称」が含まれていた場合、少なくとも主要な部分にスポーツのシーンが含まれている可能性が高い。この場合、解像度の維持よりもノイズの低減を優先させるべきである。

ドキュメンタリー／教養のジャンルに属する放送番組コンテンツのイベント情報において、大自然や歴史的建造物を有する地名、あるいは大自然や歴史的建造物を表す名称を有する場合、少なくとも主要な部分に大自然や歴史的建造物のシーンが含まれている可能性が高い。大自然や歴史的建造物を有する地名とは、「グランドキャニオン」、「グレートバリアリーフ」などであり、大自然や歴史的建造物を表す名称とは、「珊瑚礁」、「ブナ原生林」、「ジャングル」、「世界遺産」、「古都」などである。この場合、ノイズの低減よりも解像度の維持を優先させるべきである。

そこで画像符号化装置１０４は、イベント情報に画像データＳ４の視覚的な特徴を表すこれらのキーワード（以下、これを特徴キーワードと呼ぶ）が含まれていた場合には、当該特徴キーワードをフィルタ強度パラメータに反映させる。

ジャンル情報取得部３２に対応するジャンル情報取得部１３２（図示せず）は、ＥＰＧ情報取得部３１からＥＰＧ情報Ｓ３が供給されると、当該ＥＰＧ情報Ｓ３から録画中の放送番組コンテンツに対応するジャンル情報及び放送局情報を抽出し、強度決定部３３に供給する。

ジャンル情報取得部１３２は、画像データＳ４の視覚的特徴を表す特徴キーワードのリストを記憶している。ジャンル情報取得部１３２は、ＥＰＧ情報Ｓ３のうち、録画中の放送番組コンテンツに対応するイベント情報から、特徴キーワードを検索する。ジャンル情報取得部１３２は、イベント情報に特徴キーワードが含まれていた場合、当該特徴キーワードをジャンル情報及び放送局情報と共に強度決定部３３に対応する強度決定部１３３に供給する。

強度決定部１３３は、フィルタ強度パラメータ（図５）とジャンル情報とが対応付けられた設定テーブルの代りに、総合点とジャンル情報とが対応付けられた点数テーブルを記憶している。また、強度決定部１３３は、図８に示すように、放送局情報及び特徴キーワードと付加係数とが対応付けられた付加係数テーブルを記憶している。

強度決定部１３３は、点数テーブルに従って、ジャンル情報に対応する総合点を選択する。さらに、強度決定部１３３は、付加係数テーブルに従ってジャンル情報取得部１３２から供給された放送局情報及び特徴キーワードに対応する付加係数を選択する。

なお、ジャンル情報がスポーツの場合には、既にスポーツのシーンが含まれていることを想定して総合点が決定されているため、付加係数の適用除外となっている。強度決定部１３３は、スポーツの名称が供給されると、ジャンル情報を確認し、当該ジャンル情報がスポーツでない場合のみ、付加係数を選択する。

また、ジャンル情報がドキュメンタリー／教養でない場合には、高品質な機材を用いて撮影されていない場合が想定される。強度決定部１３３は、自然及び歴史的建造物の地名あるいは名称が供給されると、ジャンル情報を確認し、当該ジャンル情報がドキュメンタリー／教養である場合のみ、付加係数を選択する。

強度決定部１３３は、選択された総合点に対して付加係数を乗算し、乗算点数を算出する。例えばジャンル情報がドキュメンタリー／教養であり、放送局情報が「Ｈ」を表し、特徴キーワードとして「生放送」及び「自然の名称」が供給された場合、「Ｈ」に対応する０．９と、「生放送」及び「自然の名称」にそれぞれ対応する「１．２」及び「０．８」を総合点「５」に乗算する。この結果、乗算点数は、５×０．９×１．２×０．８＝４．３２となる。また、強度決定部１３３は、特徴キーワードが供給されない場合には、ジャンル情報に対応する総合点に対し、放送局情報に対応する付加係数のみを乗算する。

強度決定部１３３は、５段階のオフセット値「−９、−６、０、６、９」を有しており、乗算点数に応じて一のオフセット値を選択する。このオフセット値は、フィルタ強度パラメータを数値として表すものであり、slice_alpha_c0_offset_div2及びslice_beta_offset_div2の値としてそのまま使用される。

強度決定部１３３は、乗算点数が「５．０未満」の場合、オフセット値として「−９」を選択する。強度決定部１３３は、乗算点数が「５．０以上、８．０以下」の場合、オフセット値として「−６」を選択する。強度決定部１３３は、乗算点数が「８．０以上、１０．０以下」の場合、オフセット値として「０」を選択する。強度決定部１３３は、乗算点数が「１０．０超、１３．０未満」の場合、オフセット値として「６」を選択する。強度決定部１３３は、乗算点数が「１３．０以上」の場合、オフセット値として「９」を選択する。

強度決定部１３３は、選択されたオフセット値を強度設定部３４に対応する強度設定部１３４（図示せず）に供給する。強度設定部１３４は、供給されたオフセット値をslice_alpha_c0_offset_div2及びslice_beta_offset_div2にそれぞれ設定する。この結果、ＱＰオフセットが付加された量子化パラメータを用いてインデックスα及びβが選択され、フィルタ強度が変更されるようになされている。

このように、画像符号化部１０４は、乗算点数を算出することにより、ジャンル情報に加えて、放送局情報及び特徴キーワードを用いて画像データＳ４におけるノイズの低減及び解像度の維持についての優先度を決定するようにした。

これにより、画像符号化部１０４は、ジャンル情報のみからでは分かり得ないような画像データＳ４の視覚的特徴を用いてノイズの低減及び解像度の維持についての優先度を決定し、一段と適切にフィルタ強度を設定することができる。

［２−２．動作及び効果］
以上の構成において、画像符号化部１０４は、放送番組コンテンツの内容を説明するイベント情報を受け取る。画像符号化部１０４は、イベント情報に画像データの視覚的な特徴を表す特徴キーワードが含まれていた場合には、特徴キーワードを特性パラメータとしてのフィルタ強度パラメータに反映させる。

これにより、画像符号化部１０４は、ジャンル情報に加えて特徴キーワードをフィルタ強度に反映させることができるため、第１の実施の形態と比して、一段と適切にフィルタ強度を設定することができる。

画像符号化部１０４は、ＥＰＧ情報Ｓ３に含まれ。放送番組コンテンツが配信された放送局を表す放送局情報を受け取り、放送番組コンテンツが配信された放送局をフィルタ強度パラメータに反映させる。

これにより、画像符号化部１０４は、放送局ごとの特性をフィルタ強度に反映させることができるため、第１の実施の形態と比して、一段と適切にフィルタ強度を設定することができる。

以上の構成によれば、画像符号化部４は、イベント情報に含まれる特徴キーワードをフィルタ強度パラメータに反映させることにより、フィルタ強度に対して画像データＳ４の視覚的な特徴を一段と適切に反映させることができる。この結果、画像符号化部４は、解像度の維持及びノイズの低減のバランスを適切に調整して、ビットストリームＳ６における画質を向上し得る。

＜３．他の実施の形態＞
なお上述した実施した第１及び第２の形態においては、画像符号化部４は、放送番組コンテンツが属する大分類のジャンルに応じてフィルタ強度パラメータを決定するようにした場合について述べた。本発明はこれに限らず、例えばジャンル情報が示す放送番組コンテンツが属する中分類のジャンルに従って、特性パラメータを決定するようにしても良い。この場合、画像符号化部は、中分類のジャンルとフィルタ強度パラメータとが対応付けられた設定テーブルを記憶しており、中分類のジャンルに応じてフィルタ強度パラメータを選択する。

これにより、画像符号化部は、番組放送コンテンツをより詳細に分類することができるため、フィルタ強度パラメータを一段と適切に選択することができる。

また、画像符号化部は、放送番組コンテンツが属する中分類のジャンルが、大分類のジャンルの示す視覚的な特徴に対して例外的な特徴を示す例外中分類とフィルタ強度パラメータとを対応付けた設定テーブル（図９）を有していても良い。画像符号化部は、放送番組コンテンツが属する中分類が例外中分類であった場合には、大分類のジャンルに対応する特性パラメータに拘らず、例外中分類のジャンルに対応するフィルタ強度パラメータを放送番組コンテンツのフィルタ強度パラメータとして決定する。

画像符号化部は、中分類が政治・国会及び討論・会談（ニュース／報道）、暮らし・住まい、グルメ・料理、健康・医療（情報／ワイドショー）、クラシック・オペラ（音楽）、旅バラエティ（バラエティ）、特撮（アニメ／特撮）、歴史・紀行、インタビュー・討論（ドキュメンタリー／教養）、落語・演芸（劇場／公演）であった場合には、フィルタ強度パラメータを小さくする。一方、画像符号化部は、中分類がアニメ（映画）、国内アニメ及び国外アニメ（アニメ／特撮）、スポーツ（ドキュメンタリー／教養）、ダンス・バレエ（劇場／公演）であった場合には、フィルタ強度パラメータを大きくする。なおカッコ内は、中分類のジャンルが属する大分類のジャンルを示している。

これにより、画像符号化部は、大分類のジャンルの傾向とは相違する傾向を有する例外中分類に属する放送番組コンテンツについて、適切なフィルタ強度でデブロックフィルタ処理を実行できる。

また上述した第１の実施の形態においては、ジャンル情報に応じてフィルタ強度パラメータを選択するようにした場合について述べた。本発明はこれに限らず、さらに現在の時刻を表す時刻情報を受け取り、当該時刻情報をフィルタ強度パラメータに反映させるようにしても良い。例えば画質の低い映像が多く配信される夜中の時間帯においては、フィルタ強度を大きく設定する。

また、図１０に示すように、画像符号化部は、時刻情報が予め定められた指定時間（例えば朝５：００〜８：５９）に属する場合には、時刻が表示される時刻表示領域ＴＭに対して、フィルタの強度が小さくなるよう、フィルタ強度パラメータを決定する。このとき、画像符号化部は、時刻表示領域ＴＭ以外の領域については、第１の実施の形態と同様にフィルタ強度パラメータを決定する。

これにより、画像符号化部は、フレーム画像５０において文字情報が表示される時刻表示領域ＴＭに対して、解像度を維持できるため、当該文字情報の解像度を維持して文字情報を鮮明に画面に表示させることができる。これにより、画像符号化部は、文字情報が不鮮明であるために全体的な解像度が低いという印象をユーザに与えずに済む。

また、図１０に示した以外にも、例えばバラエティなどでテロップが多用されるジャンルに対し、テロップが多く表示されるテロップ領域に対して、又はフレーム画像の全域に対してフィルタ強度を小さく設定しても良い。

さらに上述した第１及び第２の実施の形態においては、デブロックフィルタ２６において、フィルタ特性としてフィルタ強度を変更するようにした場合について述べた。本発明はこれに限らず、例えばタップ数などの特性を変更するようにしても良い。また、フィルタ強度を変更する手段として、slice_alpha_c0_offset_div2及びslice_beta_offset_div2の値を変更する以外にも、種々の手法を用いることができる。また、オフセット値の数、値及びその算出方法に制限はない。例えばフィルタ強度パラメータとしての総合点に対して所定の係数を乗算することによりオフセット値を算出しても良い。

さらに上述した第１及び第２の実施の形態においては、フィルタとしてデブロックフィルタ２６を用いるようにした場合について述べた。本発明はこれに限らず、要は符号化によって生じたノイズを低減できるフィルタであれば良く、例えば補間フィルタであっても良い。

さらに上述した第１及び第２の実施の形態においては、地上デジタル放送が配信される場合に本発明を適用するようにした場合について述べた。本発明はこれに限らず、例えばインターネットを用いたストリーム配信及びオンデマンド配信などの各種番組コンテンツに対して本発明を適用するようにしても良い。また、ＥＰＧ情報Ｓ３は必ずしも放送信号Ｓ１と同時に取得する必要はなく、例えばインターネットなどのネットワークを介して別途取得しても良い。この場合、より詳細なジャンル情報を入手できる可能性がある。

さらに上述した第１の実施の形態においては、供給されるＥＰＧ情報Ｓ３からジャンル情報を抽出するようにした場合について述べた。本発明はこれに限らず、例えばデジタルチューナ部３がジャンル情報のみを画像符号化部４に供給し、ジャンル情報取得部３２がこれを受け取るようにしても良い。

さらに上述した第１及び第２の実施の形態においては、ＡＶＣ／Ｈ．２６４方式に従って符号化処理を実行するようにした場合について述べた。本発明はこれに限らず、符号化方式及びその処理内容に制限はなく、符号化によって生じたノイズを低減できるフィルタをローカルデコード画像に対して使用する全ての符号化方式に対して本発明を適用することができる。

さらに上述した第１の実施の形態においては、優先要素としてノイズ優先要素を評価することによりノイズ低減の優先度を評価するようにした場合について述べた。本発明はこれに限らず、解像度の維持の優先度を評価するようにしても良い。また、優先要素の数に制限はなく、１以上でなる任意の優先要素を用いることができる。

さらに上述した第２の実施の形態においては、ジャンル情報に応じて選択されたフィルタ強度パラメータに対し、放送局情報及び特徴キーワードに応じて選択された付加係数を乗算するようにした場合について述べた。本発明はこれに限らず、要は、放送局情報及び特徴キーワード、若しくはどちらか一方がフィルタ強度パラメータに反映されればよい。例えば、放送局情報及び特徴キーワードに応じて選択された付加点数を加算するようにしても良い。また、放送局情報及び特徴キーワードのいずれか一方のみに応じて付加係数が選択されても良い。さらに、本発明は、ジャンル情報を使用せず、放送局情報及び特徴キーワード、若しくはどちらか一方のみをフィルタ強度パラメータに反映させても良い。この場合、放送局情報及び特徴キーワード、若しくはどちらか一方のみとフィルタ強度パラメータとを対応付けた設定テーブルから、フィルタ強度パラメータを選択する。

さらに、上述した実施の形態においては、符号化プログラム、フィルタ特性設定プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納するようにした場合について述べた。本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリなどにインストールするようにしても良い。また、フィルタ特性設定プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。

さらに上述した実施の形態においては、受取部としての画面並べ替えバッファ１２及びジャンル情報取得部３２と、符号化部としての演算器１３、動き予測・補償部１４、イントラ予測部１５、直交変換部１７、量子化部１８と、逆量子化部２３、逆直交変換部２４及び演算器２５と、デブロックフィルタ２６と、決定部としての強度決定部３３と、特性変更部としての強度設定部３４とによって画像処理装置としての画像処理装置１を構成するようにした場合について述べた。本発明の画像処理装置は、受取部と、決定部と、特性変更部と、符号化部とを少なくとも有していればよく、例えば画像符号化部４のみから構成されていても良い。さらに本発明は、その他種々の構成による受取部と、決定部と、特性変更部と、符号化部とによって本発明の画像処理装置を構成するようにしても良い。

本発明の符号化装置は、例えば公に配信されるコンテンツを録画する機能を有する各種電子機器に利用することができる。

１……画像処理装置、４……画像符号化部、１２……並べ替えバッファ、１３、２４……演算器、１４……動き予測・補償部、１５……イントラ予測部、１７……直交変換部、１８……量子化部、１９……レート制御部、２０……可逆符号化部、２１……蓄積バッファ、２３……逆量子化部、２４……逆直交変換部、２６……デブロックフィルタ、２７……フレームメモリ、Ｓ４……画像データ、Ｓ６……ビットストリーム、Ｌ３……ローカルデコード画像。

Claims (19)

1. 番組コンテンツの画像データ及び上記番組コンテンツに関するジャンル情報を受け取る受取部と、
   上記受取部により受け取られたジャンル情報に応じて、上記受取部により受け取られた画像データを符号化した符号化データをデコードして得られるローカル画像に対してフィルタ処理を行うフィルタの特性を表す特性パラメータを決定する決定部と、
   上記決定部によって決定された上記特性パラメータに応じて、上記フィルタの特性を変更する特性変更部と、
   上記特性変更部により変更されたフィルタの特性に従ってフィルタ処理されたローカルデコード画像を用いて予測処理を行うことにより、上記受取部により受け取られた画像データを符号化して上記符号化データを生成する符号化部と
   を有する画像処理装置。
2. 上記決定部は、
   上記ジャンル情報が表す上記画像データの視覚的な特徴に応じて上記フィルタの特性を決定する
   請求項１に記載の画像処理装置。
3. 上記特性パラメータは、
   上記フィルタの強度を表している
   請求項２に記載の画像処理装置。
4. 上記決定部は、
   上記ジャンル情報がスポーツを表していた場合に、上記フィルタの強度を大きくするように上記特性パラメータを決定する
   請求項３に記載の画像処理装置。
5. 上記決定部は、
   上記ジャンル情報が音楽を表していた場合に、上記フィルタの強度を大きくするように上記特性パラメータを決定する
   請求項４に記載の画像処理装置。
6. 上記決定部は、
   上記ジャンル情報がバラエティを表していた場合に、上記フィルタの強度を大きくするように上記特性パラメータを決定する
   請求項５に記載の画像処理装置。
7. 上記決定部は、
   上記ジャンル情報がドキュメンタリー／教養を表していた場合に、上記フィルタの強度を小さくするように上記特性パラメータを決定する
   請求項６に記載の画像処理装置。
8. 上記フィルタは、
   ブロック歪みを低減するデブロックフィルタである
   請求項１に記載の画像処理装置。
9. 上記符号化部は、
   Ｈ．２６４／ＡＶＣ方式に従って上記画像データを符号化し、
   上記特性変更部は、
   slice_alpha_c0_offset_div2及びslice_beta_offset_div2の値を変更することにより、上記フィルタの強度を変更する
   請求項８に記載の画像処理装置。
10. 上記特性パラメータは、
    上記視覚的な特徴である複数の優先要素に基づいて、上記ノイズの低減及び解像度のいずれかを優先すべきかが評価されることにより、上記ジャンル情報ごとに決定されている
    請求項９に記載の画像処理装置。
11. 上記複数の優先要素は、
    上記優先要素ごとに重み付けされている
    請求項１０に記載の画像処理装置。
12. 上記ジャンル情報受取部は、
    上記番組コンテンツの内容を説明するイベント情報を受け取り、
    上記決定部は、
    上記イベント情報に上記画像データの視覚的な特徴を表す特徴キーワードが含まれていた場合には、上記特徴キーワードを上記特性パラメータに反映させる
    請求項３に記載の画像処理装置。
13. 上記ジャンル情報受取部は、
    上記番組コンテンツが配信された放送局を表す放送局情報を受け取り、
    上記決定部は、
    上記番組コンテンツが配信された放送局を上記特性パラメータに反映させる
    請求項１２に記載の画像処理装置。
14. 上記決定部は、
    上記番組コンテンツが属する大分類のジャンルに応じて上記特性パラメータを決定し、
    上記番組コンテンツが属する中分類のジャンルが、上記大分類のジャンルの示す視覚的な特徴に対して例外的な特徴を示す場合には、上記大分類のジャンルに対応する特性パラメータに拘らず、例外中分類のジャンルに対応する特性パラメータを上記番組コンテンツの特性パラメータとして決定する
    請求項１３に記載の画像処理装置。
15. 上記決定部は、
    上記ジャンル情報が示す上記番組コンテンツが属する中分類のジャンルに従って、上記特性パラメータを決定する
    請求項１３に記載の画像処理装置。
16. 上記ジャンル情報受取部は、
    現在の時刻を表す時刻情報を受け取り、
    上記決定部は、
    上記時刻情報を上記特性パラメータに反映させる
    請求項１２に記載の画像処理装置。
17. 上記決定部は、
    上記時刻情報が予め定められた指定時間に属する場合には、時刻が表示される時刻表示領域に対して、上記フィルタの強度が小さくなるよう、上記特性パラメータを決定する
    請求項１６に記載の画像処理装置。
18. 上記番組コンテンツを含む放送信号を受信して上記画像データを生成する変換部と、
    上記符号部によって符号化された上記符号化データを記憶する記憶部と、
    上記記憶部によって記憶された上記符号化データを復号化する復号化部と
    を有する請求項９に記載の画像処理装置。
19. 番組コンテンツの画像データ及び上記番組コンテンツに関するジャンル情報を受け取るジャンル情報受取ステップと、
    上記受取ステップにおいて受け取られたジャンル情報に応じて、上記受取ステップにおいて受け取られた画像データを符号化した符号化データをデコードして得られるローカル画像に対してフィルタ処理を行うフィルタの特性を表す特性パラメータを決定する決定ステップと、
    上記決定ステップにおいて決定された上記特性パラメータに応じて、上記フィルタの特性を変更する特性変更ステップと、
    上記特性変更ステップにおいて変更されたフィルタの特性に従ってフィルタ処理されたローカルデコード画像を用いて予測処理を行うことにより、上記受取ステップにおいて受け取られた画像データを符号化して上記符号化データを生成する符号化ステップと
    を実行させる画像処理方法。

Images