JP2015162844A - 画像符号化装置 - Google Patents

Abstract

【課題】本発明は、録画する番組の画質を適切に保持し、かつ、記憶媒体を効率的に利用できる画像符号化装置を提供する。【解決手段】本発明は、入力された第１映像符号化データ（１０１）から、符号化難易度パラメータを算出するパラメータ算出部３と、符号化難易度パラメータに基づいて、第１映像符号化データを再符号化する圧縮率を決定する圧縮率決定部４と、第１映像符号化データを復号した映像データに対して、決定した圧縮率に基づいて再符号化を行い、第２映像符号化データ（１０２）を生成する再符号化部５とを備える。【選択図】図１

Description

本発明は画像符号化装置に関するものである。

デジタル放送波を録画する機器として、ハードディスク（Ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ、ＨＤＤ）レコーダまたは録画機能付テレビ等の普及が進んでいる。これらデジタル放送波を録画する機器は、ＭＰＥＧ−２またはＨ．２６４／ＡＶＣのビデオストリームを用いたハイビジョン放送番組をそのまま記録および保存するだけではなく、ＭＰＥＧ−２またはＨ．２６４／ＡＶＣのビデオストリームを用いたハイビジョン放送番組の、ハイビジョンの画素数をそのままＨ．２６４／ＡＶＣビデオストリームにレート変換して記録および保存する。さらに、近年の録画機器には、ハイビジョンの４倍の画素数のＨ．２６５／ＨＥＶＣビデオストリームの放送番組をそのまま記録および保存する機能が備わっている。

デジタル放送波をＨ．２６４／ＡＶＣビデオストリームに変換する符号化手段としては、受信したＭＰＥＧ−２等のビデオストリームをリアルタイムで変換する手段だけではなく、例えば特許文献１に示されるように、ＭＰＥＧ−２ビデオストリームを受信した際には変換せず、後でＨ．２６４／ＡＶＣビデオストリームに同じ画素数のまま変換する技術が開示されている。また、レート変換時の圧縮率としては、通常複数のモードが用意されており、それらからユーザが選択する方式となっている。

特開２０１０−０６３１３３号公報

上述した従来の符号化技術では、ビットレートを変換した上で録画するため、ユーザが選択した圧縮率のレートで放送番組が録画されていた。その場合、ユーザは番組に応じて個々に圧縮率を設定する必要があるが、圧縮率が画質へどのように影響されるのかが分からないために、適当な圧縮率を設定することができないという課題があった。

また、録画する各番組に対する最適な圧縮率をユーザが判断することが困難であるため、どの番組に対しても一定以上の画質を保つために高いビットレートとなるモードに固定して設定される等、記憶媒体（ハードディスク等）の効率的な利用が行われていないという課題もあった。

本発明は、上記のような問題を解決するためになされたものであり、録画する番組の画質を適切に保持することができ、かつ、記憶媒体を効率的に利用することができる画像符号化装置を提供することを目的とする。

本発明の一態様に関する画像符号化装置は、入力された第１映像符号化データから、符号化の難易度を示す符号化難易度パラメータを算出するパラメータ算出部と、前記符号化難易度パラメータに基づいて、前記第１映像符号化データを再符号化する場合の圧縮率を決定する圧縮率決定部と、前記第１映像符号化データを復号した映像データに対して、前記圧縮率決定部において決定した前記圧縮率に基づいて再符号化を行い、第２映像符号化データを生成する再符号化部とを備える。

本発明の別の態様に関する画像符号化装置は、入力された第１映像符号化データから、符号化の難易度を示す符号化難易度パラメータを算出するパラメータ算出部と、前記符号化難易度パラメータに基づいて、前記第１映像符号化データの発生符号量を制御するカラーフォーマット符号化パラメータを決定する符号化パラメータ決定部と、前記第１映像符号化データを復号した映像データに対して、前記符号化パラメータ決定部において決定した前記カラーフォーマット符号化パラメータに基づいて再符号化を行い、第２映像符号化データを生成する再符号化部とを備える。

本発明の上記態様によれば、ユーザが圧縮率の設定を切り替える必要がなく、符号化難易度パラメータに基づく最適な圧縮率で放送番組を符号化することができ、録画する番組の画質を適切に保持することができる。また、ハードディスク等の記憶媒体を効率的に利用することができる。

実施形態に関する画像符号化装置の構成を概念的に示すブロック図である。 実施形態に関する再符号化部の構成を概念的に示すブロック図である。 実施形態に関する画像符号化装置の符号化難易度パラメータの算出例を示す図である。 実施形態に関する画像符号化装置の符号化難易度パラメータの算出例を示す図である。 実施形態に関する圧縮率決定部における閾値設定例を示す図である。 実施形態に関する圧縮率決定部における閾値設定例を示す図である。 実施形態に関する画像符号化装置の動作を示すフローチャートである。 実施形態に関する画像符号化装置の、圧縮率決定部の動作を示すフローチャートである。 実施形態に関する画像符号化装置の符号化難易度パラメータの算出例を示す図である。 実施形態に関する画像符号化装置の符号化難易度パラメータの算出例を示す図である。 実施形態に関する画像符号化装置の構成を概念的に示すブロック図である。 量子化マトリクスの例を示す図である。 量子化マトリクスの例を示す図である。 実施形態に関する画像符号化装置の動作を示すフローチャートである。 実施形態に関する画像符号化装置の、符号化パラメータ決定部の動作を示すフローチャートである。

以下、添付の図面を参照しながら実施形態について説明する。

＜第１実施形態＞
＜構成＞
本実施形態では、ユーザ操作を必要とせずに、適切な圧縮率でＭＰＥＧ−２ビデオストリーム（映像符号化データ）を記録する画像符号化装置について説明する。当該画像符号化装置は、ＭＰＥＧ−２ビデオストリームを受信し、再圧縮して記録する機器あるいはシステムの一例である。

図１は、本実施形態に関する画像符号化装置の構成を概念的に示すブロック図である。本実施形態に関する画像符号化装置は、コンピュータ等によって機能的に実現される。

画像符号化装置は、受信部１、記憶部２、パラメータ算出部３、圧縮率決定部４および再符号化部５を備えている。

受信部１は、ＭＰＥＧ−２映像符号化方式によって圧縮符号化されたＭＰＥＧ−２ビデオストリーム１０１（第１映像符号化データ）を受信し、記憶部２に記録させる。

記憶部２は、ハードディスク、大容量メモリまたはソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ、ＳＳＤ）等で構成される格納領域である。なお、記憶部２は、画像符号化装置の外部にあってもよく、その場合には、画像符号化装置内の他の機能部と互いに作用しあうことによって、全体として画像符号化装置の機能を果たすものとする。

パラメータ算出部３は、記憶部２に記録されたＭＰＥＧ−２ビデオストリーム１０１を読み出し、さらに復号する。そして、パラメータ算出部３は、ＭＰＥＧ−２ビデオストリーム１０１におけるあらかじめ設定された長さのシーン単位で、符号化の難易度を示すパラメータである符号化難易度パラメータを算出する。ここで、符号化の難易度とは、画素間の分散値に基づく、画面の複雑度をいう。詳細については後述する。また、シーン単位とは、例えば所定の時間の単位でもよいし、ＭＰＥＧ−２ビデオストリーム１０１のデータ構造を規定するｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅ（ＧＯＰ）、すなわち、ＭＰＥＧ−２ビデオストリーム１０１に対するランダムアクセス可能なデータ単位（２つのＩピクチャ間に含まれる全ピクチャデータ）等でもよい。パラメータ算出部３において導出された符号化難易度パラメータは、シーンの単位で記憶部２に記録される。

圧縮率決定部４は、記憶部２に記録された符号化難易度パラメータに基づいて圧縮率を決定し、当該圧縮率に応じたカラーフォーマット符号化パラメータを決定する。カラーフォーマット符号化パラメータは、あらかじめ設定された複数の録画モードのそれぞれに用意されており、内部または外部の記憶媒体に記憶されている。

図２は、再符号化部５の構成を概念的に示すブロック図である。再符号化部５は、復号部６、制御部７および符号化部８を備えている。

復号部６は、記憶部２から読み出したＭＰＥＧ−２ビデオストリーム１０１を復号し、復号した画像を符号化部８に出力する。

制御部７は、圧縮率決定部４で決定されたカラーフォーマット符号化パラメータが入力されると、当該パラメータで選択されている録画モードに対応したカラーフォーマット符号化パラメータを取得し、符号化部８に出力する。

符号化部８は、復号部６から入力された画像に対して、制御部７から入力されたカラーフォーマット符号化パラメータを用いて符号化処理を行い、Ｈ．２６４／ＡＶＣビデオストリーム１０２（第２映像符号化データ）を出力する。

＜動作＞
次に、パラメータ算出部３による符号化難易度パラメータの算出動作について、図３および図４を参照しながら具体的に説明する。ここで、図３は、符号化難易度パラメータの算出例を示す図である。また、図４は、符号化難易度パラメータの他の算出例を示す図である。

図３に示されるように、まず、ＭＰＥＧ−２ビットストリームのＩピクチャ符号化データに含まれるＤＣＴ係数のＤＣ成分から、縮小画像（図３におけるＤＣ_０、ＤＣ_１、ＤＣ_２およびＤＣ_３からなる）を生成する。ここで、ＤＣＴ係数とは、画像領域中に、ある周波数成分が含まれる度合いを表す値である。そして、生成した縮小画像内で特定の単位ごとに画素間の分散値を計算する。分散値を計算する単位は、画像全体でもよいし、所定のブロック単位であるＭＢ等で処理してもよい。ＭＢ単位で処理する場合、縮小画像は２×２になるため、以下の式（１）を用いて計算することができる。

画素の分散が大きい場合は、画面が複雑であることが示されており、符号化が難しい画像である（符号化難易度が高い）ことを示している。すなわち、符号化の難易度とは、画素間の分散値に基づく、画面の複雑度をいう。

上述のように、ブロック単位（ＭＢ等）で処理する場合、各ブロックの分散値の平均値を１ピクチャの符号化難易度パラメータとしてもよいし、図４に示されるように、計算した分散値が所定の閾値を超えたブロックのみをカウントし、その個数を符号化難易度パラメータとしてもよい。

所定の閾値を超えたブロックのみをカウントする条件として、以下が考えられる。

図４の例では、符号化難易度パラメータを算出するための処理量が増加する。しかし、分散値の平均値を使用する場合には、局所的に分散が大きいブロックまたは局所的に分散が小さいブロックが存在していた場合に、符号化難易度パラメータの算出に際しても影響を受ける。分散値が所定の閾値を超えたブロックのみをカウントする場合には、そのような影響を小さくすることができるという利点がある。

一方、シーン単位で比較する場合には、１シーン内に含まれるＩピクチャで符号化難易度パラメータを算出し、その平均値をとって符号化難易度パラメータとしてもよいし、所定の閾値を設定して当該閾値を超えたＩピクチャをカウントし、その個数を符号化難易度パラメータとしてもよい。

なお、上述のようにシーン単位で処理する場合、ＭＰＥＧ−２ビデオストリーム１０１のＩピクチャ符号化データに含まれるＤＣＴ係数のＤＣ成分から縮小画像を生成して、生成した縮小画像に対する特徴量を符号化難易度パラメータとしているが、ＭＰＥＧ−２ビデオストリーム１０１を画像データに復号して、復号画像レベルで同様の特徴量抽出を実行してもかまわない。縮小画像ではないため処理量は増加するものの、実際の画像データに即した特徴量が抽出できるという利点がある。

次に、圧縮率決定部４によるカラーフォーマット符号化パラメータの算出動作を具体的に説明する。

圧縮率決定部４が符号化難易度パラメータ（Ｌｅｖｅｌ）に基づいてカラーフォーマット符号化パラメータを決定する方法としては、閾値処理が考えられる。録画モードのモード数をＮとすると、以下に示す閾値判定条件（ａ）に基づいて閾値処理を行い、録画モード（ｍｏｄｅ）を決定することができる。録画モードが決定されれば、録画モードに応じたカラーフォーマット符号化パラメータが決定される。

なお、ｍｏｄｅ１＜ｍｏｄｅ２＜・・・＜ｍｏｄｅＮの順で圧縮率が低くなるものとする。

符号化難易度（Ｌｅｖｅｌ）が高いシーンは、圧縮率を高くすると画質が劣化してしまうため、あまり圧縮率を上げられない。一方、符号化難易度（Ｌｅｖｅｌ）が低いシーンは、圧縮率を高くしても画質劣化が目立たない。このため、上記のような閾値処理により圧縮率を決定することにより、シーンの符号化難易度と圧縮率とのバランスをとることができる。

次に、上述した閾値ＴＨＮの設定について説明する。閾値ＴＨＮ（画質優先閾値）は本実施形態では固有値としているが、録画モード毎の状態に応じて変更してもよい。

例えば、図５（縦軸が符号化難易度、横軸が時間）に示される閾値設定例のように、時間の経過に従って符号化難易度（図５における実線）が変動する画像データがある場合、その画質を優先させたいユーザに対しては、画質を優先させる画像優先閾値を、例えば図５における点線のように設定（符号化難易度の変動範囲内の値に設定）することにより、当該閾値よりも高い符号化難易度を示す時間帯では圧縮率を低く設定し、当該閾値よりも低い符号化難易度を示す時間帯では圧縮率を高く設定することができる。このようにして、ユーザの嗜好に合わせた録画モード設定を行うことができる。

また、シーンごとに大きく符号化難易度が変化する場合であって、各シーンを複数のシーン群に分類することができる場合、図６（縦軸が符号化難易度、横軸が時間）に示される他の閾値設定例のように、各シーン群に応じて算出した符号化難易度に対して閾値ＴＨＮを設定することもできる。

このとき、より低い閾値のシーン群（図６におけるシーンＢ群）の閾値を参照して閾値ＴＨＮを設定することもできる。より低い閾値のシーン群に基づいて閾値ＴＨＮを設定し、さらに当該閾値ＴＨＮに基づいて圧縮率を決定することにより、シーン全体の閾値に基づいて圧縮率を決定する場合よりも画質を優先させることができる。

また、ユーザの選択操作に基づいてシーンＡ群もしくはシーンＢ群のどちらか一方の閾値を選択し、その閾値を閾値ＴＨＮとして圧縮率決定部４において設定してもよい。これにより、圧縮率決定部４では、ユーザが選択したシーン群に着目して圧縮率を決定することができる。

さらに、ユーザの嗜好に合わせた閾値設定の異なる方法として、ユーザからのフィードバックをもとに、閾値ＴＨＮを学習させる方法も考えられる。

次に、画像符号化装置の動作について説明する。

図７は、本実施形態に関する画像符号化装置の動作を示すフローチャートである。なお、以下に示す処理は特定のシーンごとに行われ、録画対象番組が終了されるまで繰り返されるものとする。

受信部１は、録画対象の番組のＭＰＥＧ−２ビデオストリームを受信し、記憶部２に記録させる（第１１ステップ（Ｓ１１））。パラメータ算出部３は、第１１ステップ（Ｓ１１）で記憶部２に記録されたＭＰＥＧ−２ビデオストリームを復号し、さらにそこから符号化難易度パラメータを抽出する（第１２ステップ（Ｓ１２））。

なお、第１２ステップ（Ｓ１２）における処理は、放送波を受信しながら行われてもよいし、放送波の受信中はＭＰＥＧ−２ビデオストリームを記憶部２に蓄積することとし、当該処理はオフラインで行われてもよい。同様に、以下に示す動作は放送波を受信しながら行うように構成してもよいし、番組終了まで放送波を受信した後、オフラインで再符号化まで行うように構成してもよい。

次に、圧縮率決定部４は、ユーザが画質優先モードを設定しているか否かの判定を行う（第１３ステップ（Ｓ１３））。画質優先モードが設定されている場合（ＹＥＳ）には、第１４ステップ（Ｓ１４）に進み、画質優先モードが設定されていない場合（ＮＯ）には、第１５ステップ（Ｓ１５）に進む。ここで、画質優先モードとは、ユーザが画質を優先するモードである。当該モードでは、カラーフォーマット符号化パラメータにおける、画質に影響を与える色あいまたはピント等に関するパラメータが調整され（これらのパラメータが調整されたカラーフォーマット符号化パラメータに置き換えられ）、さらに、当該パラメータが調整された画像をユーザが評価する。そして、ユーザの評価に基づいて、閾値ＴＨＮが調整される。

第１４ステップ（Ｓ１４）では、圧縮率決定部４が、画質を優先するカラーフォーマット符号化パラメータに置き換える処理を行う。そして、当該カラーフォーマット符号化パラメータを用いた符号化画像を評価することによって閾値を微調整し、調整した閾値を設定する。

第１５ステップ（Ｓ１５）では、圧縮率決定部４が、カラーフォーマット符号化パラメータを変更せず、同じカラーフォーマット符号化パラメータを設定する。そして、閾値も変更せず、そのまま設定する。

第１６ステップ（Ｓ１６）では、圧縮率決定部４が、第１２ステップ（Ｓ１２）で抽出された符号化難易度パラメータと、第１４ステップ（Ｓ１４）または第１５ステップ（Ｓ１５）で設定された閾値ＴＨＮとを用いて、上述した閾値判定条件（ａ）に基づいて閾値処理を行う。そして、それぞれ圧縮率の異なる録画モードのうちから１つの録画モードに決定する。

第１７ステップ（Ｓ１７）では、再符号化部５が、第１６ステップ（Ｓ１６）で決定した録画モードによって、第１１ステップ（Ｓ１１）で受信したＭＰＥＧ−２ビデオストリームを復号した画像に対して再符号化を行い、得られたＨ．２６４／ＡＶＣビデオストリームを録画ストリームとして出力する。

第１８ステップ（Ｓ１８）では、圧縮率決定部４が、録画対象番組が終了したか否か判定を行う。録画対象番組が終了している場合（ＹＥＳ）には、処理を終了する。録画対象番組が終了していない場合（ＮＯ）には、第１１ステップ（Ｓ１１）に戻り、上述した処理を繰り返す。

図８は、本実施形態に関する画像符号化装置の、圧縮率決定部４の動作を示すフローチャートである。以下の動作は、図７の第１４ステップ（Ｓ１４）における、閾値の微調整を行う動作ということができる。

まず、以下の動作では、あるカラーフォーマット符号化パラメータを用いて番組録画が行われた後に、ユーザが当該番組を視聴し、視聴後に画質について評価を行うものとする。当該評価には、視聴した画像の画質に満足したか否かの評価が含まれる。

圧縮率決定部４に、ユーザ操作によって視聴した番組の画質に対する評価が入力されると（第１ステップ（Ｓ１））、圧縮率決定部４は、当該評価を参照して、ユーザが画質に満足したか否か判定を行う（第２ステップ（Ｓ２））。ユーザが画質に満足していると判定できる場合（ＹＥＳ）には、第４ステップ（Ｓ４）に進み、ユーザが画質に満足していないと判定できる場合（ＮＯ）には、第６ステップ（Ｓ６）に進む。

第４ステップ（Ｓ４）では、閾値ＴＨＮを上げる処理を行う。そして、圧縮率の高い録画モードが選択されるように調整を行う。その後、動作を終了する。

第６ステップ（Ｓ６）では、閾値ＴＨＮを下げる処理を行う。当該処理は、高画質化を図るために、圧縮率を下げる方向に閾値ＴＨＮを変更させる処理である。そして、圧縮率の低い録画モードが選択されるように調整を行う。その後、動作を終了する。

このように、圧縮率決定部４は、ユーザからの画質に対するフィードバックに基づいて閾値ＴＨＮを微調整することができる。当該調整によって、よりユーザの嗜好に合った符号化を実現することができる。

なお、ユーザからのフィードバックは常時行われるように構成してもよいし、ある一定期間ごとに行われるように構成してもよい。常時フィードバックを行うことで、細かい調整が可能となるが、ユーザが煩わしさを感じる可能性がある。一方、ある一定区間ごとにフィードバックを行うことで、細かい設定の変更は行うことができないが、ユーザの負担を低減させることができる。

上述の説明では、符号化難易度パラメータとして、Ｉピクチャの縮小画像を用いてパラメータを算出する例が示されているが、フレーム間の動きベクトルを用いてパラメータを算出してもよい。動きベクトルを用いることにより、シーン内の動きの複雑度が分かるため、発生符号量の大小を判断することができる。

動きベクトルを用いた符号化難易度パラメータの推定方法として、動きベクトルの長さを用いることが考えられる。

上述した式（２）に示すように、動きベクトルの長さが大きいということは、フレーム間で動きが大きいことを意味しており、一般的に動きを捉えにくいシーンであると言える。そのため、動きベクトルの長さをみることで、シーン内の複雑度（符号化難易度）を推定できる。

または、以下の式（３）に示されるように動きベクトルの分散値を用いてもよい。一般的な動画像符号化方式であれば、動きベクトルは符号化済ベクトルから予測したベクトルとの差分を符号化する。そのため、分散が小さければ、それだけ符号化する値が小さくなると考えられる。そのため、動きベクトルの長さを用いる場合と比べ処理量は増えるが、分散値を用いることで、より精度よく符号化難易度を推定することが可能となる。

また、符号化難易度パラメータとして、図９に示されるようなフレーム間の差分画像の分散を用いてもよい。差分画像の分散が大きいということは、シーン内で動きが大きいこと、または、雑音が大きいことを示している。そのため、符号化難易度を推定するパラメータとして利用することで、より精度よく符号化難易度を推定できる。

差分画像の分散を用いる場合は、隣接する画像間の差分画像でもよいし、数フレーム離れた画像間の差分画像を用いてもよい。例えば、図１０に示されるように、隣接するＩピクチャ同士の差分画像から縮小画像を生成して分散値を算出することにより、縮小画像の生成がＤＣＴ係数のみから行えるため、処理量低減に寄与する。

符号化難易度パラメータとして、上記項目を組み合わせてもよい。すなわち、画像の複雑度と、動きの複雑度とを組み合わせることにより、より精度よく符号化難易度を推定することが可能となる。

＜効果＞
以上のように、本実施形態に関する画像符号化装置によれば、第１映像符号化データとしてのＭＰＥＧ−２ビデオストリーム１０１から、符号化の難易度を示す符号化難易度パラメータを算出するパラメータ算出部３と、算出された符号化難易度パラメータに基づいて、ＭＰＥＧ−２ビデオストリーム１０１を再符号化する場合の、画像の圧縮率（録画モード）を決定する圧縮率決定部４と、決定された録画モードに応じたパラメータを用いて、目標符号量を適応的に切り替えた再符号化を行う再符号化部とを備える。

このような構成によれば、ユーザが圧縮率の設定を切り替える必要がなく、符号化難易度パラメータに基づく最適な圧縮率で放送番組を符号化することができ、録画する番組の画質を適切に保持することができる。また、ハードディスク等の記憶媒体を効率的に利用することができる。

また、本実施形態に関する画像符号化装置によれば、圧縮率決定部４が閾値処理により録画モードを決定し、閾値処理に用いる閾値を優先度、シーンごとの符号化難易度、ハードディスクの残容量、あるいはユーザの嗜好等に合わせて設定可能に構成されているので、記録する機器側の状態、あるいはユーザの嗜好に合わせた録画モードの決定を行うことができる。

また、本実施形態に関する画像符号化装置によれば、符号化難易度パラメータとして画像の複雑さと、画像の動きの複雑さとを組み合わせ可能に構成したので、映像符号化データの符号化の難易度を精度よく推定することができる。

なお、本実施形態では、符号化難易度パラメータに基づいて圧縮率を決定する構成を示したが、画像符号化装置を記録システム等に適用する場合には従来手法の手動で圧縮率を決定するモードと切り替え可能なシステムとして構成してもよい。自由にモードを設定したいユーザに対し、手動で決定可能なモードを用意することで、よりユーザの嗜好に合わせた記録システムを提供することができる。

また、本実施形態では、ＭＰＥＧ−２ビデオストリームを入力とし、Ｈ．２６４／ＡＶＣビデオストリームを出力とする例が示されているが、入力が、Ｈ．２６４／ＡＶＣビデオストリームまたはＨ．２６５／ＨＥＶＣビデオストリーム等の別の動画像符号化方式であってもよいし、出力がＭＰＥＧ−２等の別の動画像符号化方式であってもよい。

＜第２実施形態＞
＜構成＞
第１実施形態では、ＭＰＥＧ−２ビデオストリームを受信し、適切な圧縮率でＭＰＥＧ−２ビデオストリームを記録する画像符号化装置について述べられているが、本実施形態では、ユーザ、記録装置あるいは記録システムが設定した録画モードに対し、より高画質な映像を得るためのパラメータを設定する構成を示す。

図１１は、本実施形態に関する画像符号化装置の構成を概念的に示すブロック図である。

図１１に示されるように画像符号化装置は、図１で示された場合における圧縮率決定部４に替えて、設定された録画モードにおける、カラーフォーマット符号化パラメータ（クロマ補正係数）を決定する符号化パラメータ決定部１１を設けている。なお、以下では、第１実施形態による画像符号化装置の構成要素と同一または相当する構成要素には、第１実施形態で使用した符号と同一の符号を付し、その詳細な説明を省略または簡略化する。

符号化パラメータ決定部１１は、パラメータ算出部３で算出された符号化難易度パラメータと、色彩または色合いの所望する画質とに応じて、設定された録画モードにおける、量子化マトリクス等のカラーフォーマット符号化パラメータを設定する。量子化マトリクスのカラーフォーマット符号化パラメータのパラメータセット数をＮとすると、以下に示す閾値判定条件（ｂ）に基づいて閾値処理を行い、カラーフォーマット符号化パラメータ（Ｐａｒａ）を決定する。

なお、Ｎの値が大きいほど、符号化難易度が低いシーン用のパラメータセットを示している。すなわち、Ｎの値が大きいほど、画像の高域を残すカラーフォーマット符号化パラメータのパラメータセットであることを示している。

再符号化部５の制御部７は、符号化パラメータ決定部１１で決定されたカラーフォーマット符号化パラメータを、符号化部８に出力する。

図１２および図１３は、量子化マトリクスの例を示す図である。符号化難易度が高い場合は、図１２に示されるように高域の係数を落とすカラーフォーマット符号化パラメータを設定し、符号化難易度が低い場合は、図１３に示されるように高域の係数をより残すカラーフォーマット符号化パラメータを設定する。符号化難易度が高いということは、発生符号量が多いということを示している。指定されたビットレートで符号化するために、高域の係数を落とすマトリクスとすることで、発生符号量を抑えることが可能となる。一方、符号化難易度が低い場合は、発生符号量が少ないことを示しており、図１３に示されるような高域の係数を残すマトリクスとしても、指定されたビットレートで符号化できる可能性が高い。

また、符号化難易度に応じてデブロッキングフィルタ等のループフィルタ強度を変えるように構成することもできる。フィルタ強度を強くすると、画像の高域が失われるため、少しぼやけた画像になるが、発生符号量を小さくできるメリットがある。このため、符号化難易度が高いシーンについては、フィルタ強度を強くすることで発生符号量を抑えることが可能となる。

次に、上述した閾値ＴＨＮ´の設定について説明する。閾値ＴＨＮ´（画質優先閾値）は本実施形態では固有値としているが、録画モード毎の状態に応じて変更してもよい。上述したように、符号化難易度が低い映像に対して、量子化マトリクスまたはブロッキングフィルタのパラメータについて高域の係数を落とすように設定を行うと、画像の高域が失われ、全体的にぼやけた画像となる。一方、符号化難易度が高い映像に対して高域の係数を残すような符号化を行うと、画像のぼやけが減る一方で、色彩または色合いが濃く目立つ画像となる。

また、ユーザの嗜好に合わせた閾値設定の異なる方法として、ユーザからのフィードバックをもとに、閾値ＴＨＮ´を学習させる方法も考えられる。

＜動作＞
次に、画像符号化装置の動作について説明する。

図１４は、本実施形態に関する画像符号化装置の動作を示すフローチャートである。なお、以下では第１実施形態において説明されたステップに対応するステップには、第１実施形態において使用されたものと同一の符号を付し、その説明を省略または簡略化する。また、第１実施形態における場合と同様に、図１４に示されたフローチャートにおいても、ユーザが自動録画の設定を選択していることを前提に説明を行う。なお、以下の処理は特定のシーンごとに行われ、録画対象番組が終了されるまで繰り返されるものとする。

ユーザまたは記録システム側から入力された録画モードが設定されると（第３１ステップ（Ｓ３１））、受信部１は、録画対象の番組のＭＰＥＧ−２ビデオストリームを受信し、記憶部２に記録させる（第１１ステップ（Ｓ１１））。パラメータ算出部３は、第１１ステップ（Ｓ１１）で記憶部２に記録されたＭＰＥＧ−２ビデオストリームから符号化難易度パラメータを抽出する（第１２ステップ（Ｓ１２））。

その後、第１３ステップ（Ｓ１３）から第１５ステップ（Ｓ１５）までの処理を行い、選択されたモード（画質優先モード等）に応じて閾値ＴＨＮ´を設定する。

符号化パラメータ決定部１１は、第１２ステップ（Ｓ１２）で抽出された符号化難易度パラメータと、第１４ステップ（Ｓ１４）または第１５ステップ（Ｓ１５）で設定された閾値ＴＨＮ´とを用いて、上述した閾値判定条件（ｂ）に基づいて閾値処理を行う。そして、Ｎ個（Ｎ≧１）のカラーフォーマット符号化パラメータから１つのカラーフォーマット符号化パラメータに決定する（第３２ステップ（Ｓ３２））。

第３３ステップ（Ｓ３３）では、再符号化部５が、第３２ステップ（Ｓ３２）で決定したカラーフォーマット符号化パラメータによって、第１１ステップ（Ｓ１１）で受信したＭＰＥＧ−２ビデオストリームを復号した画像に対して再符号化を行い、得られたＨ．２６４／ＡＶＣビデオストリームを録画ストリームとして出力する。

第１８ステップ（Ｓ１８）では、符号化パラメータ決定部１１が、録画対象番組が終了したか否か判定を行う。録画対象番組が終了している場合（ＹＥＳ）には、処理を終了する。録画対象番組が終了していない場合（ＮＯ）には、第１１ステップ（Ｓ１１）に戻り、上述した処理を繰り返す。

図１５は、本実施形態に関する画像符号化装置の、符号化パラメータ決定部１１の動作を示すフローチャートである。以下の動作は、図１４の第１４ステップ（Ｓ１４）における、閾値の微調整を行う動作ということができる。なお、以下では第１実施形態において説明されたステップに対応するステップには、第１実施形態において使用されたものと同一の符号を付し、その説明を省略または簡略化する。

まず、あるカラーフォーマット符号化パラメータを用いて番組録画が行われた後に、ユーザが当該番組を視聴し、視聴後に画質について評価を行うものとする。

符号化パラメータ決定部１１に、ユーザ操作によって視聴した番組の画質に対する評価が入力されると（第１ステップ（Ｓ１））、符号化パラメータ決定部１１は、当該評価を参照して、ユーザが画質に満足したか否か判定を行う（第２ステップ（Ｓ２））。ユーザが画質に満足している場合（ＹＥＳ）には、動作を終了する。一方、ユーザが画質に満足していない場合（ＮＯ）には、第２１ステップ（Ｓ２１）に進む。

第２１ステップ（Ｓ２１）では、第２ステップ（Ｓ２）における評価を参照して、録画した映像の色彩または色合いがぼやけていると評価したか、または、録画した映像の色彩または色合いが濃いと評価したかについて判定を行う。録画した映像がぼやけていると評価された場合（ＹＥＳ）には、第２２ステップ（Ｓ２２）に進み、録画した映像の色彩または色合いが濃いと評価された場合（ＮＯ）には、第２３ステップ（Ｓ２３）に進む。

第２２ステップ（Ｓ２２）では、高域の係数を残す符号化の設定とするために、閾値ＴＨＮ´を下げる処理を行う。その後、動作を終了する。

第２３ステップ（Ｓ２３）では、高域の係数をより落とす符号化の設定とするために、閾値ＴＨＮ´を上げる処理を行う。その後、動作を終了する。

このように、ユーザからのフィードバックに基づいて閾値ＴＨＮ´を微調整することが可能となり、よりユーザの嗜好に合った符号化を実現することができる。

なお、ユーザからのフィードバックは常時行われるように構成してもよいし、ある一定期間ごとに行われるように構成してもよい。常時フィードバックを行うことで、細かい設定が可能となるが、ユーザが煩わしさを感じる可能性がある。一方、ある一定区間ごとにフィードバックを行うことで、細かい設定の変更は行うことができないが、ユーザの負担を低減させることができる。

＜効果＞
以上のように、本実施形態に関する画像符号化装置によれば、第１映像符号化データとしてのＭＰＥＧ−２ビデオストリーム１０１から、符号化の難易度を示す符号化難易度パラメータを算出するパラメータ算出部３と、算出された符号化難易度パラメータに基づいて、ＭＰＥＧ−２ビデオストリーム１０１の発生符号量を制御するカラーフォーマット符号化パラメータを決定する符号化パラメータ決定部１１と、決定されたカラーフォーマット符号化パラメータを用いて、発生符号量を適応的に切り替えた再符号化を行う再符号化部５とを備える。

このように構成したことで、ユーザが設定を切り替える必要がなく、最適な発生符号量の符号化を行うことができる。また、所望する画質のレート変換録画を実現することができる。

また、本実施形態に関する画像符号化装置によれば、符号化パラメータ決定部１１が閾値処理によりカラーフォーマット符号化パラメータを決定し、閾値処理に用いる閾値をユーザの嗜好等に合わせて設定可能に構成されているので、ユーザの嗜好に合わせたカラーフォーマット符号化パラメータを設定することができる。

なお、本実施形態では、ＭＰＥＧ−２ビデオストリームを入力とし、Ｈ．２６４／ＡＶＣビデオストリームを出力とする例を示されているが、入力が、Ｈ．２６４／ＡＶＣビデオストリームまたはＨ．２６５／ＨＥＶＣビデオストリーム等の別の動画像符号化方式であってもよいし、出力がＭＰＥＧ−２等の別の動画像符号化方式であってもよい。

また、上記実施形態の双方を組み合わせた動作を想定することもできる。すなわち、圧縮率決定部４で録画モードを決定した上で、当該録画モードにおいて、符号化パラメータ決定部１１によってカラーフォーマット符号化パラメータを決定する。このように構成することで、最適な圧縮率の録画モードで符号化ができ、さらに、当該録画モードで符号化する上で、より高画質な映像を得るためのパラメータを設定することができる。

上記実施形態では、各構成要素の実施の条件等についても記載しているが、これらはすべての局面において例示であって記載したものに限られるものではない。よって、例示されていない無数の変形例（任意の構成要素の変形または省略、さらには、異なる実施形態間の自由な組み合わせを含む）が、本発明の範囲内において想定され得る。

１ 受信部、２ 記憶部、３ パラメータ算出部、４ 圧縮率決定部、５ 再符号化部、６ 復号部、７ 制御部、８ 符号化部、１０１ ＭＰＥＧ−２ビデオストリーム、１０２ Ｈ．２６４／ＡＶＣビデオストリーム。

Claims (9)

1. 入力された第１映像符号化データから、符号化の難易度を示す符号化難易度パラメータを算出するパラメータ算出部と、
   前記符号化難易度パラメータに基づいて、前記第１映像符号化データを再符号化する場合の圧縮率を決定する圧縮率決定部と、
   前記第１映像符号化データを復号した映像データに対して、前記圧縮率決定部において決定した前記圧縮率に基づいて再符号化を行い、第２映像符号化データを生成する再符号化部とを備える、
   画像符号化装置。
2. 前記圧縮率が、前記符号化難易度パラメータとあらかじめ定められた少なくとも１つの閾値との大小関係に基づいて決定される、
   請求項１に記載の画像符号化装置。
3. 前記閾値が、前記第２映像符号化データを復号した映像データの画質に対する評価に基づいて調整される、
   請求項２に記載の画像符号化装置。
4. 前記符号化難易度パラメータに基づいて、前記第１映像符号化データの発生符号量を制御するカラーフォーマット符号化パラメータを決定する符号化パラメータ決定部をさらに備え、
   前記再符号化部が、前記第１映像符号化データを復号した映像データに対して、前記圧縮率決定部において決定した前記圧縮率、および、前記符号化パラメータ決定部において決定した前記カラーフォーマット符号化パラメータに基づいて再符号化を行い、第２映像符号化データを生成する、
   請求項１から３のうちのいずれか１項に記載の画像符号化装置。
5. 符号化難易度パラメータが、前記第１映像符号化データを復号した映像データの分散値に基づいて決定されるパラメータである、
   請求項１から４のうちのいずれか１項に記載の画像符号化装置。
6. 入力された第１映像符号化データから、符号化の難易度を示す符号化難易度パラメータを算出するパラメータ算出部と、
   前記符号化難易度パラメータに基づいて、前記第１映像符号化データの発生符号量を制御するカラーフォーマット符号化パラメータを決定する符号化パラメータ決定部と、
   前記第１映像符号化データを復号した映像データに対して、前記符号化パラメータ決定部において決定した前記カラーフォーマット符号化パラメータに基づいて再符号化を行い、第２映像符号化データを生成する再符号化部とを備える、
   画像符号化装置。
7. 前記カラーフォーマット符号化パラメータが、前記符号化難易度パラメータとあらかじめ定められた少なくとも１つの閾値との大小関係に基づいて決定される、
   請求項６に記載の画像符号化装置。
8. 前記閾値が、前記第２映像符号化データを復号した映像データの画質に対する評価に基づいて調整される、
   請求項７に記載の画像符号化装置。
9. 符号化難易度パラメータが、前記第１映像符号化データを復号した映像データの分散値に基づいて決定されるパラメータである、
   請求項１から８のうちのいずれか１項に記載の画像符号化装置。

Images