JP2011254393A - 符号化装置、符号化方法及びプログラム - Google Patents

Abstract

【課題】良好な画質を保つとともに、簡単にかつ効率良く圧縮符号化できるようにする。
【解決手段】特徴判定部１０３は、撮像部１０１の焦点制御情報を用いて、対象となる画素が、焦点が合っている領域と焦点が合っていない領域とのどちらに属するかを判定する。そして、焦点が合っている領域に属する場合は画像を縮小せずに、そのまま符号化処理を行う。一方、焦点が合っていない領域に属する場合は、画像を例えば１／４に縮小することにより解像度を下げて符号化処理を行う。
【選択図】図１

Description

本発明は符号化装置、符号化方法及びプログラムに関し、特に、効率の良い符号化処理を行うために用いて好適な技術に関する。

近年、動画像データの圧縮符号化方式として、ＭＰＥＧ−２（Moving Picture Experts Group phase2）やＨ．２６４／ＡＶＣ（Advanced Video Coding）といったものが知られている。また、上記のＭＰＥＧ−２符号化方式よりも効率良く高圧縮を行う圧縮符号化方法として、解像度を変換して圧縮符号化を行うものが知られている。

例えば、特許文献１には、圧縮符号化後の動きベクトルや動き補償した結果の残差等に基づいて、入力画像の解像度や画素数を再設定する技術が開示されている。また、特許文献２には、入力画像をラプラシアン処理して各所定領域のエッジを検出し、各所定領域におけるエッジ検出の結果に基づいて解像度変換処理を行ってから圧縮符号化を行う技術が開示されている。

特開平１１−７５１５４号公報 特開２００２−６４７１３号公報

しかしながら、特許文献１に記載の技術では、符号化済みピクチャの結果を用いて次に符号化するピクチャの解像度を決定する。そのため、最適な解像度であるとは限らず、解像度はピクチャ単位に決定される。したがって、ピクチャ内で領域を区切って解像度を変換できず、ピクチャ内で符号化の難易度が大きく異なるようなピクチャに対してはあまり効果的がなかった。

また、特許文献２においては、ピクチャ内で所定の画素単位に解像度を変換できるが、入力画像のエッジ検出の結果のみに応じて解像度を変換する。そのため、符号化難易度とは必ずしも一致しない場合があり、符号化効率が十分でなかった。また、必ずエッジを検出する必要があることに加え、所定の画素単位を細かくすると、事前のエッジ検出処理が増加したり、解像度変換結果の符号量が増加したり、動き探索、動き補償処理が増加したりし、処理が複雑になってしまう。

本発明は前述の問題点に鑑み、良好な画質を保つとともに、簡単にかつ効率良く圧縮符号化できるようにすることを目的としている。

本発明の符号化装置は、入力された画像の特徴情報に応じて前記画像の所定の領域ごとに解像度を変換する変換手段と、前記変換手段により解像度が変換された領域を、解像度に基づいてグループ化して、グループ毎に動き補償予測を含む符号化処理を行う符号化手段とを有することを特徴とする。

本発明によれば、画像の特徴に応じて簡単かつ効率良く圧縮符号化することができる。

実施形態に係る符号化装置の機能構成例を示すブロック図である。 領域ごとに特徴が異なる画像の一例を示す図である。 第１の実施形態の符号化処理手順の一例を示すフローチャートである。 第２の実施形態の符号化処理手順の一例を示すフローチャートである。

以下、図面を参照しながら本発明の好適な実施形態について説明する。
（第１の実施形態）
図１（ａ）は、本実施形態に係る符号化装置１００全体の機能構成例を示すブロック図である。
図１（ａ）において、本実施形態に係る符号化装置１００は、撮像部１０１と、信号処理部１０２と、特徴判定部１０３と、解像度変換部１０４と、ブロック化部１０５と、符号化部１０６と、記録部１０７とを備えている。ここで、撮像部１０１は、図示しないレンズと撮像素子等から構成され、被写体の映像を撮像して、画像信号及び撮像情報を出力する。

特徴判定部１０３は、撮像部１０１から出力された撮像情報に従って、撮像された画像信号の特徴を判定し、領域の分類を行う。また、符号化部１０６はさらにグループ形成部１０８を有し、グループ形成部１０８が特徴判定部１０３による分類結果に対応して、各マクロブロックをグループ化し、各グループが独立に復号化可能なように符号化を行う。また、符号化装置１００には、メモリカード等の記録媒体１０９が装着されており、記録部１０７により画像データ等が記録される。なお、各ブロックの詳細な処理手順については、図３のフローチャートの説明において後述する。

図３は、本実施形態における符号化処理手順の一例を示すフローチャートである。
まず、動画像の撮影を開始する指示を受けると処理を開始し、ステップＳ３０１において、撮像部１０１は、レンズから被写体像を入光し、撮像素子によって入光した被写体像を光電変換し、画像信号を信号処理部１０２に出力する。また、撮像部１０１は、画像を撮像した際に、被写界深度情報と焦点（フォーカス）制御情報とを含む撮像情報を特徴判定部１０３に出力する。撮像情報は、撮像された画像における焦点が合っている領域（画素）と焦点が合っていない領域（画素）とを特定するために利用される。次に、ステップＳ３０２において、信号処理部１０２は、撮像部１０１から出力された画像信号をマトリクス処理することによって、輝度信号及び色差信号を生成し、ガンマ処理、Ａ／Ｄ変換などの処理を行って、解像度変換部１０４に出力する。

ステップＳ３０３において、特徴判定部１０３は、撮像部１０１からの撮像情報（被写界深度情報と焦点制御情報）を用いて、対象となる画素が、図２（ａ）に示すように焦点が合っている領域２００と焦点が合っていない領域２０１のどちらに属するかを判定する。本実施形態では、このように画面上のすべての画素領域を２つ以上の領域に分類する。本実施形態では、焦点が合っている領域と焦点が合っていない領域とに分類したが、焦点の合致度によって領域を多段的に設けてもよい。この判定の結果、焦点が合っていない領域２０１に属する場合は、特徴判定部１０３はステップＳ３０４において、既に大きくぼやけて人間の見た目には判り難いため、画像を縮小して解像度を下げるように、解像度変換部１０４及び符号化部１０６へ指示する。

一方、ステップＳ３０３の判定の結果、焦点が合っている領域２００に属する場合は、特徴判定部１０３はステップＳ３０５において、画像を縮小せず解像度を下げないように、解像度変換部１０４及び符号化部１０６へ指示する。そして、ステップＳ３０６において、特徴判定部１０３は、フレーム画像内の全ての画素について領域の判定が行われたか否かを判断する。この判断の結果、まだ領域の判定が行われていない画素が存在する場合は、ステップＳ３０３に戻り、次の画素について同様の判定を行う。なお、本実施形態では、画素単位で領域の判定を行っているが、所定の領域（画素ブロック）単位で判定を行ってもよい。

一方、ステップＳ３０６の判断の結果、すべての画素について領域の判定が終了した場合は、ステップＳ３０７に進む。そして、ステップＳ３０７において、解像度変換部１０４は、特徴判定部１０３の指示に従い、信号処理部１０２により処理された画像信号に対して解像度を変換する。具体的には、画像を縮小して解像度を下げるように指示された画素で構成される領域２０１においては、画像サイズを例えば１／４に縮小して、縮小後の画像信号をブロック化部１０５に出力する。なお、具体的な縮小方法は、公知技術の画素の間引き処理やフィルタ処理等によって実現される。一方、画像を縮小せず解像度を下げないように指示された画素で構成される領域２００においては、画像の縮小を行わずに、そのまま画像信号をブロック化部１０５に出力する。本実施形態では、縮小しない場合と１／４に縮小する場合とで説明したが、前述したように、分類する領域を多段的に設けた場合は、より多段的に縮小するようにしてもよい。

次に、ステップＳ３０８において、ブロック化部１０５は、入力された画像信号をマクロブロックと呼ばれる所定の画素数（１６×１６や３２×３２等）の領域に分割し、符号化部１０６に出力する。そして、ステップＳ３０９において、符号化部１０６は、このマクロブロックを単位にして動き補償予測やＤＣＴ変換処理、量子化、エントロピー符号化を施し、符号化データとして記録部１０７に出力する。このとき、前述したように符号化部１０６のグループ形成部１０８は、特徴判定部１０３による分類結果に対応して、各マクロブロックをグループ化する。本実施形態では、１／４に縮小された画素から生成されたマクロブロックからなるグループと、縮小しない画素から生成されたマクロブロックからなるグループとを形成し、グループ毎にそれぞれ別個に動き補償予測等の符号化処理を行う。このとき、グループごとに独立に復号化可能なように、符号化部１０６は、例えばグループをスライス化して、スライス単位で符号化処理を完結するように制御する。

次に、ステップＳ３１０において、記録部１０７は、符号化部１０６から出力された各スライスのデータを統合して、記録媒体１０９に記録し、処理を終了する。

以上説明したように本実施形態によれば、撮像情報を用いて画像の解像度を変換して符号化することにより、画像の特徴に応じた効率良い符号化が可能となる。

（第２の実施形態）
第１の実施形態では、撮像情報に基づいて解像度を変換する領域と解像度を変換しない領域とに分類して符号化する例について説明した。これに対して、本実施形態では、特徴情報として周波数帯域情報（マクロブロック毎の分散値）に基づいて解像度を変換する領域と解像度を変換しない領域とに分類して符号化する例について説明する。

図１（ｂ）は、本実施形態に係る符号化装置１５０全体の機能構成例を示すブロック図である。なお、本実施形態では、第１の実施形態と異なる点についてのみ説明する。
図１（ｂ）において、本実施形態の特徴判定部１５４は、ブロック化部１５３によって分割されたマクロブロック単位で絵柄が複雑な領域か否かによって領域を分類する。そして、解像度変換部１５５はこの分類結果に基づいて解像度を変換し、グループ形成部１０８は、分類結果により各マクロブロックをグループ化する。

図４は、本実施形態における符号化処理手順の一例を示すフローチャートである。
まず、動画像の撮影を開始する指示を受けると処理を開始し、ステップＳ４０１において、撮像部１０１は、図３のステップＳ３０１と同様に、撮像素子によって入光した被写体像を光電変換し、画像信号を信号処理部１０２に出力する。次に、ステップＳ４０２において、信号処理部１０２は、撮像部１０１から出力された画像信号をマトリクス処理することによって輝度信号及び色差信号を生成し、ガンマ処理、Ａ／Ｄ変換などの処理を行って、ブロック化部１５３に出力する。

次に、ステップＳ４０３において、ブロック化部１５３は、入力された画像信号をマクロブロックと呼ばれる所定の画素数（１６×１６や３２×３２等）の領域に分割し、特徴判定部１５４、及び解像度変換部１５５に出力する。そして、ステップＳ４０４において、特徴判定部１５４は、ブロック化部１５３によって分割されたマクロブロック毎の分散値（アクティビティ）を求める。分散値は、平坦部では歪みが目立ちやすく、絵柄の複雑な部分では目立ちにくいという人間の視覚特性が反映された値であり、マクロブロックを格子状にＮ分割して輝度信号の分散値を算出し、その最小値をとる。例えば、マクロブロックを１６×１６として、Ｎを４とすると、以下の数１に示す式を用いて分散値を算出する。

次に、ステップＳ４０５において、特徴判定部１５４は、算出した分散値をマクロブロック単位で解析し、図２（ｂ）に示すように、平坦な領域２５０と平坦でない領域２５１とのどちらに属するかを判定する。この判定の結果、平坦な領域２５０に属する場合は、この領域がほぼ同じ輝度値、色差値で構成されていることから、人間の見た目には判り難い。そのため、ステップＳ４０６に進み、特徴判定部１５４は、画像を縮小して解像度を下げるように、解像度変換部１５５及び符号化部１０６へ指示する。

一方、ステップＳ４０５の判定の結果、平坦でない領域２５１に属する場合は、絵柄の複雑な部分では目立ちにくい。このことから、特徴判定部１５４はステップＳ４０７において、画像を縮小せずに解像度を下げないように、解像度変換部１５５及び符号化部１０６へ指示する。そして、ステップＳ４０８において、特徴判定部１５４は、フレーム画像内の全てのマクロブロックについて領域の判定が行われたか否かを判断する。この判断の結果、まだ領域の判定が行われていないマクロブロックが存在する場合は、ステップＳ４０５に戻り、次のマクロブロックについて同様の判定を行う。なお、本実施形態では、マクロブロック単位で領域の判定を行っているが、他の所定の領域単位で判定を行ってもよい。

一方、ステップＳ４０８の判断の結果、全てのマクロブロックについて判定が行われた場合は、ステップＳ４０９において、解像度変換部１５５は、特徴判定部１５４の指示に従い、ブロック化部１５３から入力された画像信号に対して解像度を変換する。具体的には、画像を縮小して解像度を下げるように指示されたマクロブロックで構成される領域２５０においては、各マクロブロックの画素情報を例えば１／４に削減して、縮小された各マクロブロックを符号化部１０６に出力する。一方、画像を縮小せず解像度を下げないように指示されたマクロブロックで構成される領域２５１においては、マクロブロックの縮小を行わずに、そのままの各マクロブロックを符号化部１０６に出力する。次に、ステップＳ４１０及びＳ４１１においては、それぞれ図３のステップＳ３０９、Ｓ３１０と同様に符号化処理及び記録処理を行い、処理を終了する。

以上説明したように本実施形態によれば、周波数帯域情報を用いてマクロブロックの解像度を変換して符号化することにより、画像の特徴に応じた効率良い符号化が可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０３ 特徴判定部、１０４ 解像度変換部、１０６ 符号化部

Claims (6)

1. 入力された画像の特徴情報に応じて前記画像の所定の領域ごとに解像度を変換する変換手段と、
   前記変換手段により解像度が変換された領域を、解像度に基づいてグループ化して、グループ毎に動き補償予測を含む符号化処理を行う符号化手段とを有することを特徴とする符号化装置。
2. 前記符号化手段は、他のグループとは独立して復号化できるようにグループ化して符号化することを特徴とする請求項１に記載の符号化装置。
3. 被写体像を撮像して前記画像を生成する撮像手段をさらに有し、
   前記画像の特徴情報は、前記撮像手段によって前記画像を生成した際に出力される前記画像における焦点が合っている領域と焦点が合っていない領域とを特定するための情報であることを特徴とする請求項１または２に記載の符号化装置。
4. 前記画像の特徴情報は、所定の画素数からなるマクロブロックの周波数帯域情報であることを特徴とする請求項１または２に記載の符号化装置。
5. 入力された画像の特徴情報に応じて前記画像の所定の領域ごとに解像度を変換する変換工程と、
   前記変換工程において解像度が変換された領域を、解像度に基づいてグループ化して、グループ毎に動き補償予測を含む符号化処理を行う符号化工程とを有することを特徴とする符号化方法。
6. 入力された画像の特徴情報に応じて前記画像の所定の領域ごとに解像度を変換する変換工程と、
   前記変換工程において解像度が変換された領域を、解像度に基づいてグループ化して、グループ毎に動き補償予測を含む符号化処理を行う符号化工程とをコンピュータに実行させることを特徴とするプログラム。

Images