JP2011082801A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像の圧縮符号化に適したサイズを判定すること。
【解決手段】画像処理装置１は、抽出部２、判定部３および処理部４を備えている。ａ、ｂ、ｃ、ｄ、ｅおよびｆは整数であり、ａ＜ｃ＜ｅおよびｂ＜ｄ＜ｆであるとする。抽出部２は、原画の画素に基づいてエッジ情報を抽出する。判定部３は、抽出部２により抽出されたエッジ情報が第１の条件を満たす場合にｅ画素×ｆ画素を処理の単位サイズと判定する。判定部３は、抽出部２により抽出されたエッジ情報が第２の条件を満たす場合にａ画素×ｂ画素を処理の単位サイズと判定する。判定部３は、抽出部２により抽出されたエッジ情報が第１の条件および第２の条件のいずれも満たさない場合にｃ画素×ｄ画素を処理の単位サイズと判定する。処理部４は、判定部３により判定された処理の単位サイズで画像処理を行う。処理部４は、画像処理の結果を出力する。
【選択図】図１

Description

この発明は、画像処理装置および画像処理方法に関する。

従来、画像をブロック化して圧縮符号化する画像処理技術が知られている。このような画像処理技術として、ブロック分割部が１６×１６サイズのマクロブロックを４×４サイズのブロックに分割し、エッジ検出部が分割生成された４×４サイズのブロックに対するエッジ検出を行い、ブロック結合部がエッジ検出により得られたエッジ情報と予測モード決定部で決定された予測モードに基づいて、４×４サイズのブロックを適宜結合してマクロブロックの分割形を決定するようにして、最適なマクロブロックの分割を行って画像を圧縮符号化できるようにする画像処理装置および画像処理方法が知られている（例えば、特許文献１参照。）。

特開２００８−１７３０５号公報

しかしながら、従来の画像処理技術では、１６×１６サイズと８×８サイズとで、いずれが画像の圧縮符号化に適したサイズであるか、ということを判定することができない、という問題点がある。

画像の圧縮符号化に適したサイズを判定することができる画像処理装置および画像処理方法を提供することを目的とする。

ａ、ｂ、ｃ、ｄ、ｅおよびｆがいずれも整数であり、ａ＜ｃ＜ｅおよびｂ＜ｄ＜ｆであるとする。画像処理装置は、抽出部、判定部および処理部を備えている。抽出部は、原画の画素に基づいてエッジ情報を抽出する。判定部は、エッジ情報が第１の条件を満たす場合にｅ画素×ｆ画素を処理の単位サイズと判定する。判定部は、エッジ情報が第２の条件を満たす場合にａ画素×ｂ画素を処理の単位サイズと判定する。判定部は、エッジ情報が第１の条件および第２の条件のいずれも満たさない場合にｃ画素×ｄ画素を処理の単位サイズと判定する。処理部は、判定された処理の単位サイズで画像処理を行う。

この画像処理装置および画像処理方法によれば、画像の圧縮符号化に適したサイズを判定することができるという効果を奏する。

実施例１にかかる画像処理装置を示すブロック図である。 実施例１にかかる画像処理方法を示すフローチャートである。 実施例２にかかる画像処理装置を示すブロック図である。 実施例２にかかる画像処理装置のフレーム内予測部を示すブロック図である。 実施例２にかかるエッジ情報を抽出する方法の説明図である。 実施例２にかかる処理の単位サイズを判定する方法の説明図である。 実施例２にかかる閾値と動画圧縮率との関係を示す特性図である。 実施例２にかかる画像処理方法を示すフローチャートである。 実施例２にかかる画像処理方法を示すフローチャートである。 実施例２にかかる画像処理方法を示すフローチャートである。 実施例２にかかる画像処理方法を示すフローチャートである。 実施例２にかかる画質評価のシミュレーション結果を示す特性図である。

以下に添付図面を参照して、この画像処理装置および画像処理方法の好適な実施の形態を詳細に説明する。

（実施例１）
・画像処理装置の説明
図１は、実施例１にかかる画像処理装置を示すブロック図である。図１に示すように、画像処理装置１は、抽出部２、判定部３および処理部４を備えている。ここで、ａ、ｂ、ｃ、ｄ、ｅおよびｆは、いずれも整数であるとする。ａ＜ｃ＜ｅであるとする。ｂ＜ｄ＜ｆであるとする。抽出部２は、原画の画素に基づいてエッジ情報を抽出する。判定部３は、抽出部２により抽出されたエッジ情報が第１の条件を満たす場合にｅ画素×ｆ画素を処理の単位サイズと判定する。判定部３は、抽出部２により抽出されたエッジ情報が第２の条件を満たす場合にａ画素×ｂ画素を処理の単位サイズと判定する。判定部３は、抽出部２により抽出されたエッジ情報が第１の条件および第２の条件のいずれも満たさない場合にｃ画素×ｄ画素を処理の単位サイズと判定する。処理部４は、判定部３により判定された処理の単位サイズで画像処理を行う。処理部４は、画像処理の結果を出力する。

・画像処理方法の説明
図２は、実施例１にかかる画像処理方法を示すフローチャートである。図２に示すように、画像処理が開始されると、まず、画像処理装置１は、抽出部２により、原画の画素に基づいてエッジ情報を抽出する（ステップＳ１）。次いで、画像処理装置１は、判定部３により、処理の単位サイズを判定する（ステップＳ２）。この判定において、判定部３は、抽出部２により抽出されたエッジ情報が第１の条件を満たす場合にｅ画素×ｆ画素を処理の単位サイズと判定する。判定部３は、抽出部２により抽出されたエッジ情報が第２の条件を満たす場合にａ画素×ｂ画素を処理の単位サイズと判定する。判定部３は、抽出部２により抽出されたエッジ情報が第１の条件および第２の条件のいずれも満たさない場合にｃ画素×ｄ画素を処理の単位サイズと判定する。次いで、画像処理装置１は、処理部４により、処理の単位サイズで画像処理を行う（ステップＳ３）。そして、画像処理が終了となる。

実施例１によれば、エッジ情報が第１の条件を満たす場合、処理の単位サイズはｅ画素×ｆ画素と判定される。エッジ情報が第２の条件を満たす場合、処理の単位サイズはａ画素×ｂ画素と判定される。エッジ情報が第１の条件および第２の条件のいずれも満たさない場合、処理の単位サイズはｃ画素×ｄ画素と判定される。従って、画像処理に適したサイズを判定することができる。例えば、画像の圧縮符号化に適したサイズを判定することができる。

（実施例２）
・Ｈ．２６４／ＡＶＣ規格の説明
動画像符号化規格の一つに、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がある。Ｈ．２６４／ＡＶＣ規格は、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ、国際電気通信連合電気通信標準化部門）およびＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ、国際標準化機構）／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ、国際電気標準会議）により策定された規格である。

Ｈ．２６４／ＡＶＣ規格では、画像処理装置は、動画データを構成する一枚一枚のフレーム（静止画）とフレームとの間の差分値や、フレーム内の差分値に基づいて、動画データを圧縮して符号化する。Ｈ．２６４／ＡＶＣ規格では、各フレームは、１６画素×１６画素のサイズのマクロブロックを含む。Ｈ．２６４／ＡＶＣ規格では、イントラ予測処理が行われる。イントラ予測処理では、一フレーム内において、あるマクロブロックに隣接する画素の情報に基づいて該マクロブロックの予測画素のデータが生成される。生成された予測画素に基づいて、画像の予測処理が行われる。イントラ予測処理におけるマクロブロックに対する処理のサイズには、例えば４画素×４画素、８画素×８画素および１６画素×１６画素の３種類がある。４画素×４画素でのイントラ予測処理および８画素×８画素でのイントラ予測処理には、それぞれ垂直、水平、平均および斜めなどの９種類の予測モードがある。１６画素×１６画素でのイントラ予測処理には、垂直、水平、平均および面の４種類の予測モードがある。

実施例１にかかる画像処理装置の一例として、例えばＨ．２６４／ＡＶＣ規格に準拠した画像処理装置においてイントラ予測処理を行う装置が挙げられる。実施例２では、画像処理装置の一例として、このイントラ予測処理を行う装置について説明する。

・画像処理装置の説明
図３は、実施例２にかかる画像処理装置を示すブロック図である。図３に示すように、画像処理装置１１は、入力された動画データを圧縮して符号化する。画像処理装置１１は、差分器１２、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換部１３、量子化部１４、逆量子化部１５、逆ＤＣＴ変換部１６、加算器１７、フレーム内予測部１８、フレーム間予測部１９、可変長符号化部２０を有する。

フレーム内予測部１８は、イントラ予測処理（フレーム内予測処理）を行う。フレーム内予測部１８は、イントラ予測処理を行う際に、マクロブロックごとに、処理の単位サイズとして例えば４画素×４画素、８画素×８画素および１６画素×１６画素の３種類のサイズの中から一つを選択する。フレーム内予測部１８は、各マクロブロックを、選択したサイズの予測対象ブロックに分割し、予測対象ブロックごとに処理を行う。フレーム内予測部１８は、予測対象ブロックの予測計算に用いる符号化済みの隣接ブロックの画素３１から各予測モードでの予測画像を生成する。フレーム内予測部１８は、生成した各予測モードでの予測画像と元の入力画像３２との差分値を求め、各予測モードのコストを計算する。フレーム内予測部１８は、コストが一番小さい予測モードを当該マクロブロックのベスト予測モードとして選択し、該ベストイントラ予測モード、該ベストイントラ予測モードのコストおよび該ベストイントラ予測モードの予測画素を判定部２３へ出力する。フレーム内予測部１８は、実施例１の画像処理装置１に相当する。

フレーム間予測部１９は、フレーム間予測処理を行う。フレーム間予測処理において、フレーム間予測部１９は、予測対象ブロックに対し、前方、後方、あるいはその両方のフレームから予測画像を生成する。フレーム間予測部１９は、生成した予測画像と元の入力画像３２との差分を求める。フレーム間予測部１９は、入力画像３２および参照画像３３を入力し、予測画像ブロックの生成を行う。フレーム間予測部１９は、動き検出部２１および動き補償部２２を有する。動き検出部２１は、入力画像３２および参照画像３３の輝度データに基づいて動きベクトル３４を算出する。動き補償部２２は、算出した動きベクトル３４および参照画像３３に基づいて、補間演算された輝度と色差データを有する予測画素を算出する。動き補償部２２は、算出したベストインタ予測モード、該ベストインタ予測モードのコストおよび該ベストインタ予測モードの予測画素を判定部２３へ出力する。

判定部２３は、フレーム間予測部１９およびフレーム内予測部１８から出力された予測画素のうち、予測誤差の小さい画像をマクロブロックの予測画像３５として出力する。差分器１２は、入力画像３２とその予測結果である予測画像３５との差分を計算する。差分器１２は、計算した差分値を予測誤差３６として出力する。ここで、予測画像３５は、フレーム間予測処理において相前後するフレームのマクロブロックに基づいて、あるいはイントラ予測処理において同一フレームの隣接するマクロブロックに基づいて、生成された画像である。画像処理装置１１は、各予測処理により生成された予測画像３５と予測処理前の入力画像３２との差分を符号化して出力する。差分が小さくなるほど画像の圧縮率が高くなる。ＤＣＴ変換部１３は、予測誤差３６を離散コサイン変換により周波数領域に変換する。量子化部１４は、変換したＤＣＴ係数値に対し、量子化ステップで除算した結果を整数値に丸める処理をする。可変長符号化部２０は、整数値に丸め込まれたＤＣＴ係数値のうち、出現頻度の高い情報を短い符号で表現し、出現頻度の低い情報を長い符号で表現する。それによって、全体として出力ビット数が減る。可変長符号化部２０は、符号化データ３７を出力する。

逆量子化部１５は、量子化部１４により量子化された予測誤差を逆量子化する。逆量子化された予測誤差は、逆ＤＣＴ変換部１６により逆変換される。それによって、ＤＣＴ係数値に変換される前の予測誤差３８が得られる。加算器１７は、フレーム内予測部１８またはフレーム間予測部１９により生成された予測画像３５と、逆ＤＣＴ変換部１６により得られた予測誤差３８とを加算する。加算器１７は、加算により得られた画像３９を出力する。画像３９は、フィルタ部２４に入力される。フィルタ部２４は、デブロッキング・フィルタとも呼ばれ、画像３９のブロックひずみを減少させる。フィルタ部２４は、ブロックひずみ処理後の画像を復元画像４０として出力する。復元画像４０は、次のフレームを処理するときに、フレーム間予測部１９によるフレーム間予測処理の参照画像として用いられる。

画像処理装置１１では、入力画像３２が入力されると、フレーム間予測部１９によりフレーム間予測処理が実行される。また、フレーム内予測部１８によりイントラ予測処理が実行される。判定部２３は、フレーム間予測処理結果およびイントラ予測処理結果のうち最も入力画像３２との差分値が小さい予測画像３５を出力する。差分器１２は、生成された予測画像３５と入力画像３２との差分を計算する。差分器１２は、予測誤差３６をＤＣＴ変換部１３に出力する。予測誤差３６は、ＤＣＴ変換部１３により変換され、量子化部１４で量子化される。量子化された予測誤差は、可変長符号化部２０により符号化される。符号化された予測誤差は、符号化データ３７として出力される。また、量子化された予測誤差は、逆量子化部１５により逆量子化される。逆量子化された予測誤差は、逆ＤＣＴ変換部１６により周波数領域から時間領域に変換される。加算器１７は、時間領域に変換された予測誤差３８と判定部２３から出力された予測画像３５とを加算する。加算器１７は、予測処理前の画像３９を生成する。以上のようにして画像処理装置１１は、フレーム間予測処理とイントラ予測処理により動画データを圧縮することができる。

・フレーム内予測部の説明
図４は、実施例２にかかる画像処理装置のフレーム内予測部を示すブロック図である。図４に示すように、フレーム内予測部１８は、エッジ抽出部５１、サイズ判定部５２および処理部５３を備えている。エッジ抽出部５１は、入力画像３２の原画の画素にフィルタをかけて、エッジ情報を抽出する。エッジ情報を抽出する方法については後述する。サイズ判定部５２は、エッジ抽出部５１により抽出されたエッジ情報に基づいて、マクロブロックに対してイントラ予測処理を行う際の処理の単位サイズを判定する。処理の単位サイズとして、例えば４画素×４画素、８画素×８画素および１６画素×１６画素の中から一つが選択される。処理の単位サイズを判定する方法については後述する。

処理部５３は、各マクロブロックを、サイズ判定部５２により判定されたサイズの予測対象ブロックに分割し、予測対象ブロックごとに処理を行う。サイズ判定部５２により予め予測対象ブロックのサイズが選択されているので、処理部５３は、その選択されたサイズの予測モードについて処理を行う。処理部５３は、選択されなかったサイズの予測モードについては処理を行わない。例えば４画素×４画素のサイズが選択されている場合、処理部５３は、４画素×４画素のサイズに用意されている９種類の予測モードについて処理を行う。例えば４画素×４画素のサイズが選択されている場合、処理部５３は、８画素×８画素のサイズに用意されている９種類の予測モードおよび１６画素×１６画素のサイズに用意されている４種類の予測モードの処理を行わない。

処理部５３は、予測画素生成部５４、コスト計算部５５およびモード判定部５６を備えている。予測画素生成部５４は、サイズ判定部５２により判定されたサイズの予測対象ブロックに隣接する画素を利用して、該サイズの各予測モードでの予測画素を生成する。コスト計算部５５は、予測画素生成部５４により生成された各予測モードでの予測画素と原画の画素との差分値を求め、各予測モードのコストを計算する。モード判定部５６は、各予測モードのコストを比較し、コストが一番小さい予測モードを当該マクロブロックのベスト予測モードとして選択する。処理部５３は、処理結果として、ベスト予測モード、該ベスト予測モードのコストおよび該ベスト予測モードの予測画素を出力する。エッジ抽出部５１は、実施例１の抽出部２に相当する。サイズ判定部５２は、実施例１の判定部３に相当する。処理部５３は、実施例１の処理部４に相当する。

・エッジ情報を抽出する方法の説明
エッジ抽出部５１は、種々の空間フィルタや種々の周波数フィルタを用いてエッジ情報を抽出する。一例として、例えば（１）式で表される水平方向の空間エッジフィルタを用いることができる。例えば（２）式で表される垂直方向の空間エッジフィルタを用いることができる。

図５は、実施例２にかかるエッジ情報を抽出する方法の説明図である。図５には、マクロブロックの一部が示されている。図５に示すように、マクロブロック６１において、隣接する４個の原画の画素Ａ６２，Ｂ６３，Ｃ６４，Ｄ６５に対して、１個の仮想的な画素６６が設定される。エッジ抽出部５１は、仮想的な画素６６の水平エッジ強度ＳＴＲ_Hおよび垂直エッジ強度ＳＴＲ_Vを計算する。水平エッジ強度ＳＴＲ_Hは、隣接する４個の原画の画素Ａ６２，Ｂ６３，Ｃ６４，Ｄ６５の値を用いて、例えば（３）式で表される。垂直エッジ強度ＳＴＲ_Vは、隣接する４個の原画の画素Ａ６２，Ｂ６３，Ｃ６４，Ｄ６５の値を用いて、例えば（４）式で表される。

・処理の単位サイズを判定する方法の説明
（ｉ）処理の単位サイズが１６画素×１６画素であることを判定する条件（第１の条件）
図６は、実施例２にかかる処理の単位サイズを判定する方法の説明図である。図６には、１個のマクロブロックの全体が示されている。図６に示すように、マクロブロック６１のサイズが例えば１６画素×１６画素である場合には、１個のマクロブロック６１に２２５個の仮想的な画素６６，６７が設定される。第１の条件は、１個のマクロブロック６１内の全ての仮想的な画素６６，６７について、水平エッジ強度ＳＴＲ_Hおよび垂直エッジ強度ＳＴＲ_Vが第１の閾値以下である、ということである。この第１の条件を満たす場合、当該マクロブロック内には強いエッジが存在しないので、サイズ判定部５２は、１６画素×１６画素のサイズを処理の単位サイズと判定する。第１の閾値については後述する。

（ｉｉ）処理の単位サイズが４画素×４画素であることを判定する条件（第２の条件）
図６に示すように、画素の並びにおいて横一列を行とし、縦一列を列として説明する。また、本明細書において、仮想的な画素６６，６７の第Ｍ行目の第Ｎ列目に位置する仮想的な画素ＰをＰ（Ｍ、Ｎ）と表し、仮想的な画素Ｐ（Ｍ、Ｎ）の水平エッジ強度をＳＴＲ_H（Ｍ、Ｎ）と表し、仮想的な画素Ｐ（Ｍ、Ｎ）の垂直エッジ強度をＳＴＲ_V（Ｍ、Ｎ）と表すことがある。

サイズ判定部５２は、まず、仮想的な画素６６，６７の各行について、行ごとに各仮想的な画素６６，６７の垂直エッジ強度ＳＴＲ_Vの合計値を求める。これによって、マクロブロック６１のサイズが例えば１６画素×１６画素である場合、仮想的な画素６６，６７の第１行目から第１５行目までの各行について、行のエッジ強度が得られる。各行について、行のエッジ強度ＲＯＷＳＵＭ_I（Ｉ＝１、２、・・・、１５）は、例えば（５）式で表される。サイズ判定部５２は、仮想的な画素６６，６７の各列について、列ごとに各仮想的な画素６６，６７の水平エッジ強度ＳＴＲ_Hの合計値を求める。これによって、マクロブロック６１のサイズが例えば１６画素×１６画素である場合、仮想的な画素６６，６７の第１列目から第１５列目までの各列について、列のエッジ強度が得られる。各列について、列のエッジ強度ＣＯＬＳＵＭ_I（Ｉ＝１、２、・・・、１５）は、例えば（６）式で表される。

サイズ判定部５２は、仮想的な画素６６，６７の全ての行のうち、丁度中央となる行を除いた残りの各行について、行のエッジ強度を比較し、その中から行のエッジ強度の最大値ＲＯＷＳＵＭ＿ＭＡＸを選択する。マクロブロック６１のサイズが例えば１６画素×１６画素である場合、サイズ判定部５２は、仮想的な画素６６，６７の第８行目（図６に●で示す画素の並び）を除いて、第１行目から第７行目までの各行および第９行目から第１５行目までの各行を比較の対象とする。サイズ判定部５２は、仮想的な画素６６，６７の全ての列のうち、丁度中央となる列を除いた残りの各列について、列のエッジ強度を比較し、その中から列のエッジ強度の最大値ＣＯＬＳＵＭ＿ＭＡＸを選択する。マクロブロック６１のサイズが例えば１６画素×１６画素である場合、サイズ判定部５２は、仮想的な画素６６，６７の第８列目（図６に●で示す画素の並び）を除いて、第１列目から第７列目までの各列および第９列目から第１５列目までの各列を比較の対象とする。

第２の条件は、行のエッジ強度の最大値ＲＯＷＳＵＭ＿ＭＡＸと仮想的な画素６６，６７の丁度中央となる行のエッジ強度との比率が第２の閾値以上であり、あるいは列のエッジ強度の最大値ＣＯＬＳＵＭ＿ＭＡＸと仮想的な画素６６，６７の丁度中央となる列のエッジ強度との比率が第２の閾値以上である、ということである。この第２の条件を満たす場合、当該マクロブロック内のある８画素×８画素サイズのブロック内に強いエッジがあるので、サイズ判定部５２は、４画素×４画素のサイズを処理の単位サイズと判定する。第２の条件を満たさない場合には、８画素×８画素サイズのブロックにおいて境界のエッジが一番強いので、サイズ判定部５２は、８画素×８画素のサイズを処理の単位サイズと判定する。第２の閾値については後述する。

・第１の閾値および第２の閾値の説明
第１の閾値および第２の閾値は、例えばＨ．２６４における量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ、ＱＰ）の経験関数である。Ｈ．２６４規格では、ＱＰの有効範囲は０〜５１である。本発明者が実験を行ったところ、動画圧縮率が低いときには、ＱＰが小さく、予測対象ブロックのサイズとして小さいサイズが選択されることが多いという結果が得られた。また、動画圧縮率が高いときには、ＱＰが大きく、予測対象ブロックのサイズとして大きいサイズが選択されることが多いという結果が得られた。図７に、第１の閾値および第２の閾値と動画圧縮率（ＱＰ）との定性的な関係を示す。図７において、縦軸は第１の閾値および第２の閾値の値であり、横軸は動画圧縮率（ＱＰ）である。図７に示すように、動画圧縮率（ＱＰ）が高くなると第１の閾値および第２の閾値が大きくなる。第２の閾値は、第１の閾値よりも大きい。第１の閾値および第２の閾値の具体的な数値は、例えば実験により求められる。

図７によれば、動画圧縮率が低いときには、第１の閾値および第２の閾値がともに小さくなる。従って、前記第１の条件を満たす確率が低くなり、前記第２の条件を満たす確率が高くなる。つまり、サイズ判定部５２により、処理の単位サイズが１６画素×１６画素のサイズであると判定される確率が低くなり、４画素×４画素のサイズであると判定される確率が高くなる。逆に、動画圧縮率が高いときには、第１の閾値および第２の閾値がともに大きくなる。従って、前記第１の条件を満たす確率が高くなり、前記第２の条件を満たす確率が低くなる。つまり、サイズ判定部５２により、処理の単位サイズが１６画素×１６画素のサイズであると判定される確率が高くなり、４画素×４画素のサイズであると判定される確率が低くなる。

・画像処理方法の説明
図８〜図１１は、実施例２にかかる画像処理方法を示すフローチャートである。図８に示すように、画像処理においてイントラ予測処理が開始されると、まず、フレーム内予測部１８は、エッジ抽出部５１により、原画の画素に基づいてマクロブロックごとにエッジ情報を抽出する（ステップＳ１１）。次いで、フレーム内予測部１８は、サイズ判定部５２により、エッジ抽出部５１により抽出されたエッジ情報に基づいて、前記第１の条件を満たすか否かを判定する（ステップＳ１２）。第１の条件を満たす場合（ステップＳ１２：Ｙｅｓ）、フレーム内予測部１８は、処理部５３により、図１１に示す１６画素×１６画素のサイズで処理を行う（ステップＳ１６）。第１の条件を満たさない場合（ステップＳ１２：Ｎｏ）、フレーム内予測部１８は、サイズ判定部５２により、エッジ抽出部５１により抽出されたエッジ情報に基づいて、前記第２の条件を満たすか否かを判定する（ステップＳ１３）。

第２の条件を満たす場合（ステップＳ１３：Ｙｅｓ）、フレーム内予測部１８は、処理部５３により、図９に示す４画素×４画素のサイズで処理を行う（ステップＳ１４）。第２の条件を満たさない場合（ステップＳ１３：Ｎｏ）、フレーム内予測部１８は、処理部５３により、図１０に示す８画素×８画素のサイズで処理を行う（ステップＳ１５）。ステップＳ１４、ステップＳ１５またはステップＳ１６での処理が終了すると、フレーム内予測部１８は、処理結果として、ベスト予測モード、該ベスト予測モードのコストおよび該ベスト予測モードの予測画素を出力し（ステップＳ１７）、イントラ予測処理を終了する。なお、ステップＳ１３を先に行ってからステップＳ１２を行ってもよい。

図９に示すように、４画素×４画素のサイズでの処理においては、マクロブロック６１のサイズが例えば１６画素×１６画素である場合、まず、初期設定として、予測対象ブロックの番号ＢＬＫが０に設定される（ステップＳ２１）。初期設定として、予測対象ブロックのコストの最小値ＣＯＳＴ＿ＢＬＫ＿ＭＩＮが最大値に設定される（ステップＳ２２）。初期設定として、予測モードの番号ＭＯＤＥが０に設定される（ステップＳ２３）。なお、ステップＳ２１およびステップＳ２３の順序は問わない。次いで、フレーム内予測部１８は、予測画素生成部５４により、予測画素を生成する（ステップＳ２４）。次いで、フレーム内予測部１８は、コスト計算部５５により、予測画素と原画の画素との差分値を求め、コストを計算する。コスト計算部５５の計算により新たに得られたコストの値がその時点でのコストの最小値ＣＯＳＴ＿ＢＬＫ＿ＭＩＮよりも小さい場合、フレーム内予測部１８は、モード判定部５６により、コストの最小値ＣＯＳＴ＿ＢＬＫ＿ＭＩＮを新たに得られたコストの値で更新する（ステップＳ２５）。

そして、ステップＳ２３に戻り、予測モードの番号ＭＯＤＥを１だけ進め、予測モードの番号ＭＯＤＥが９になるまで（ステップＳ２３：Ｙｅｓ）、ステップＳ２３からステップＳ２５までを繰り返す。ステップＳ２３で予測モードの番号ＭＯＤＥが９になったら（ステップＳ２３：Ｎｏ）、ステップＳ２１に戻り、予測対象ブロックの番号ＢＬＫを１だけ進める。例えば１６画素×１６画素のサイズのマクロブロックには４画素×４画素のサイズの予測対象ブロックが１６個含まれているので、予測対象ブロックの番号ＢＬＫが１６になるまで（ステップＳ２１：Ｙｅｓ）、ステップＳ２１からステップＳ２５までを繰り返す。ステップＳ２１で予測対象ブロックの番号ＢＬＫが１６になったら（ステップＳ２１：Ｎｏ）、図８のステップＳ１７に戻り、処理結果を出力する。

図１０に示すように、８画素×８画素のサイズでの処理は、上述した４画素×４画素のサイズでの処理と同様である（ステップＳ３１〜ステップＳ３５）。ただし、例えば１６画素×１６画素のサイズのマクロブロックには８画素×８画素のサイズの予測対象ブロックが４個含まれているので、予測対象ブロックの番号ＢＬＫが４になったら（ステップＳ３１：Ｎｏ）、図８のステップＳ１７に戻り、処理結果を出力する。

図１１に示すように、１６画素×１６画素のサイズでの処理は、上述した４画素×４画素のサイズでの処理と同様である（ステップＳ４１〜ステップＳ４４）。ただし、例えば１６画素×１６画素のサイズのマクロブロックに含まれている１６画素×１６画素のサイズの予測対象ブロックの数は１個である。従って、上述した４画素×４画素のサイズでの処理におけるステップＳ２１に相当する処理がない。また、予測モードの数が４個であるので、予測モードの番号ＭＯＤＥが４になったら（ステップＳ４２：Ｎｏ）、図８のステップＳ１７に戻り、処理結果を出力する。

・画質の評価結果
図１２は、実施例２にかかる画質評価のシミュレーション結果を示す特性図である。図１２において、縦軸は画質指標ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）であり、横軸はビットレートである。〇のプロットは実施例２のシミュレーション結果であり、□のプロットは比較例のシミュレーション結果である。比較例では、予測対象ブロックのサイズを予め判定せずに、４画素×４画素、８画素×８画素および１６画素×１６画素の３種類のサイズの全ての予測モードについて予測画素と原画の画素との差分値を求め、各予測モードのコストを計算した。従って、比較例のフレーム内予測部には、実施例２のサイズ判定部５２に相当するブロックがない。また、比較例のフレーム内予測部には、実施例２の処理部５３に相当するブロックが４画素×４画素用、８画素×８画素用および１６画素×１６画素用として３個設けられている。図１２に示すように、実施例２による画質は、比較例による画質と同等である。

実施例２によれば、第１の条件を満たす場合、予測対象ブロックのサイズは１６画素×１６画素と判定される。第２の条件を満たす場合、予測対象ブロックのサイズは４画素×４画素と判定される。第１の条件および第２の条件のいずれも満たさない場合、予測対象ブロックのサイズは８画素×８画素と判定される。従って、イントラ予測処理に適した予測対象ブロックのサイズを予め判定することができる。その判定されたサイズの予測モードについて予測画素を生成してコストを計算すればよいので、上述した比較例と比べて、Ｈ．２６４規格におけるイントラ予測の演算量を大幅に削減することができる。例えば、予測対象ブロックのサイズが４画素×４画素または８画素×８画素である場合、４画素×４画素または８画素×８画素の予測モードの数が９個であるので、比較例と比べて、約５９％（＝（９＋４）／（９＋９＋４）×１００）の演算量を削減することができる。予測対象ブロックのサイズが１６画素×１６画素である場合、１６画素×１６画素の予測モードの数が４個であるので、比較例と比べて、約８２％（＝（９＋９）／（９＋９＋４）×１００）の演算量を削減することができる。また、上述した比較例の場合には予測画素を生成してコストを計算するブロックが３個必要であるが、実施例２では予測画素を生成してコストを計算するブロックが１個で済むので、比較例と比べて、回路面積を大幅に削減することができる。比較例の回路面積に対する実施例２の回路面積の削減率は、具体的な回路の構成によって異なるが、約５０％〜６６％程度の回路面積を削減することができる。

なお、本発明は、Ｈ．２６４規格におけるイントラ予測処理に限らず、複数の画素を含むマクロブロックに対して、該マクロブロックをさらに複数個に分割したブロックを対象として画像処理を行う画像処理装置および画像処理方法に適用することができる。

１，１１ 画像処理装置
２，５１ 抽出部
３，５２ 判定部
４，５３ 処理部

Claims (5)

1. ａ、ｂ、ｃ、ｄ、ｅおよびｆがいずれも整数であり、ａ＜ｃ＜ｅおよびｂ＜ｄ＜ｆであるとき、
   原画の画素に基づいてエッジ情報を抽出する抽出部と、
   該抽出部により抽出されたエッジ情報が第１の条件を満たす場合にｅ画素×ｆ画素を処理の単位サイズと判定し、該エッジ情報が第２の条件を満たす場合にａ画素×ｂ画素を処理の単位サイズと判定し、該エッジ情報が該第１の条件および該第２の条件のいずれも満たさない場合にｃ画素×ｄ画素を処理の単位サイズと判定する判定部と、
   該判定部により判定された処理の単位サイズで画像処理を行う処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記抽出部は、原画の隣接する４個の画素に対して１個の仮想的な画素を設定し、該原画の隣接する４個の画素の水平方向のエッジ情報および垂直方向のエッジ情報に基づいて、該仮想的な画素の水平方向のエッジ情報および垂直方向のエッジ情報を抽出することを特徴とする請求項１に記載の画像処理装置。
3. ｅ画素×ｆ画素のブロックに含まれる全ての前記仮想的な画素の水平方向のエッジ情報および垂直方向のエッジ情報が第１の閾値以下であることを、前記第１の条件とすることを特徴とする請求項２に記載の画像処理装置。
4. ｅがｃの２倍であり、ｆがｄの２倍であり、画素の並びにおいて横一列を行とし、縦一列を列とするとき、
   前記抽出部は、各行について、一行に含まれる全ての前記仮想的な画素の垂直方向のエッジ情報の合計を求めて当該行のエッジ情報とし、各列について、一列に含まれる全ての前記仮想的な画素の水平方向のエッジ情報の合計を求めて当該列のエッジ情報とし、
   第ｄ行目を除く第１行目から第［ｆ−１］行目までの各行について該行のエッジ情報のうちの最大値と第ｄ行目の該行のエッジ情報との比率、または第ｃ列目を除く第１列目から第［ｅ−１］列目までの各列について該列のエッジ情報のうちの最大値と第ｃ列目の該列のエッジ情報との比率、のいずれかが第２の閾値以上であることを、前記第２の条件とすることを特徴とする請求項２または３に記載の画像処理装置。
5. ａ、ｂ、ｃ、ｄ、ｅおよびｆがいずれも整数であり、ａ＜ｃ＜ｅおよびｂ＜ｄ＜ｆであるとき、
   原画の画素に基づいてエッジ情報を抽出する抽出ステップと、
   該抽出ステップにより抽出されたエッジ情報が第１の条件を満たす場合にｅ画素×ｆ画素を処理の単位サイズと判定し、該エッジ情報が第２の条件を満たす場合にａ画素×ｂ画素を処理の単位サイズと判定し、該エッジ情報が該第１の条件および該第２の条件のいずれも満たさない場合にｃ画素×ｄ画素を処理の単位サイズと判定する判定ステップと、
   該判定ステップにより判定された処理の単位サイズで画像処理を行う処理ステップと、
   を含むことを特徴とする画像処理方法。

Images