JP2019009605A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】階調が適切に表現された良好な符号化画像を生成できるようにする。【解決手段】画像処理装置は、符号化対象となる画像データに所定の条件を満たす部分である所定部分が存在するか否かを判定する判定手段と、所定部分が存在する場合は、フレーム内予測に用いられる参照画素に対して平滑化処理を行うと共に、平滑化処理が行われた参照画素を用いて符号化対象ブロックの符号化処理を行う処理手段とを有する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

動画像データを符号化して記録する画像処理装置として、デジタルカメラまたはデジタルビデオカメラが知られている。動画像データ用の符号化方法としては、ＭＰＥＧ−２（Ｈ．２２２／Ｈ．２６２）、ＭＰＥＧ−４（Ｈ．２６４）等が広く普及している。これらの符号化方法によれば、フレーム間予測（インター予測）およびフレーム内予測（イントラ予測）を行うことにより、高い圧縮率で動画像データを符号化することができる。

特許文献１には、イントラ予測における予測値として、隣接する符号化済みマクロブロックの周波数特性を考慮した値を生成する方法が記載されている。特許文献２には、イントラ予測のブロックサイズを最小のブロックサイズに設定する方法が記載されている。

特開２００８−２４５０８８号公報 特開２０１１−２３９３６５号公報

しかしながら、上述の符号化方法では、階調が徐々に変化する部分（グラデーション部分）において、良好な符号化画像が得られない場合があった。図１５（ａ）および図１５（ｂ）は、良好な符号化画像が得られない場合の例を説明するための図である。図１５（ａ）は、フレーム内予測において参照される参照画素の画素値の例を示す。図１５（ａ）の横軸は、参照画素の位置を示し、図１５（ａ）の縦軸は、参照画素の輝度値の例を示す。符号化処理はブロック単位で行われるため、図１５（ａ）に示すように、ブロックの境界において参照画素の画素値が不連続となり得る。図１５（ｂ）は、各ブロックの画像を概念的に示したものである。ブロック１５０２ａ〜１５０２ｄは、符号化済みのブロックを示す。ブロック１５０２ｅは、符号化対象ブロックを示す。符号化済みのブロック１５０２ｂ、１５０２ｃの境界において参照画素の画素値が図１５（ａ）のように不連続になっていると、斜め方向に位置する参照画素を用いたフレーム内予測においては、以下のような現象が生じる。即ち、符号化対象ブロック１５０２ｅにおいて、図１５（ｂ）に示すように、擬似輪郭１５０１が生じ得る。

このような擬似輪郭１５０１の発生を防止すべく、動画像データ用の符号化方法であるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、イントラスムージング処理が規定されている。イントラスムージング処理は、フレーム内予測に用いられる参照画素に対して線形補間処理を行い、このような線形補間処理が行われた参照画素を用いてフレーム内予測を行うことにより、滑らかな画像を生成する平滑化処理である。イントラスムージング処理を行えば、線形補間処理が行われた参照画素を用いて符号化対象ブロックが符号化されるため、擬似輪郭１５０１が生ずるのを防止することが可能である。なお、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の詳細は、ＩＳＯ／ＩＥＣ２３００８（ＭＰＥＧ−ＨまたはＨ．２６５とも呼ばれる）に規定されている。

しかしながら、上述のイントラスムージング処理を用いるだけでは、必ずしも良好な符号化画像が得られない場合がある。
そこで、本発明は、階調が適切に表現された良好な符号化画像を生成できるようにすることを目的とする。

実施形態の一観点によれば、画像処理装置は、符号化対象となる画像データに所定の条件を満たす部分である所定部分が存在するか否かを判定する判定手段と、前記所定部分が存在する場合は、フレーム内予測に用いられる参照画素に対して平滑化処理を行うと共に、前記平滑化処理が行われた前記参照画素を用いて符号化対象ブロックの符号化処理を行う処理手段とを有する。

実施形態の他の観点によれば、画像処理方法は、符号化対象となる画像データに所定の条件を満たす部分である所定部分が存在するか否かを判定するステップと、前記所定部分が存在する場合は、フレーム内予測に用いられる参照画素に対して平滑化処理を行うと共に、前記平滑化処理が行われた前記参照画素を用いて符号化対象ブロックの符号化処理を行うステップとを有する。

実施形態の他の観点によれば、プログラムは、コンピュータを、符号化対象となる画像データに所定の条件を満たす部分である所定部分が存在するか否かを判定する判定手段と、前記所定部分が存在する場合には、フレーム内予測に用いられる参照画素に対して平滑化処理を行うと共に、前記平滑化処理が行われた前記参照画素を用いて符号化対象ブロックの符号化処理を行う処理手段として機能させるためのプログラムである。

本発明によれば、階調が適切に表現された良好な符号化画像を生成することができる。

実施形態１における画像処理装置１００の構成要素を説明するためのブロック図である。 実施形態１における画像処理装置１００の構成要素を説明するためのブロック図である。 イントラスムージング処理の例を概念的に説明するための図である。 画像処理装置１００が有する符号化部１０４の構成要素を説明するためのブロック図である。 実施形態１における画像処理装置１００の動作例を説明するためのフローチャートである。 符号化データのデータ構造の例を説明するための図である。 符号化データのデータ構造の例を説明するための図である。 実施形態１の具体例を説明するための図である。 実施形態２における画像処理装置１００の構成要素を説明するためのブロック図である。 実施形態２における画像処理装置１００の動作例を説明するためのフローチャートである。 実施形態２の具体例を説明するための図である。 実施形態３における画像処理装置１００の構成要素を説明するためのブロック図である。 実施形態３における画像処理装置１００の動作例を説明するためのフローチャートである。 実施形態３の具体例を説明するための図である。 良好な符号化画像が得られない場合の例を説明するための図である。

以下、本発明の実施形態について図面を用いて説明する。但し、本発明は以下の実施形態に限定されるものではない。

［実施形態１］
まず、図１および図２を参照して、実施形態１における画像処理装置１００の構成要素を説明する。実施形態１では、画像処理装置１００が、撮像装置（例：デジタルビデオカメラまたはデジタルカメラ）として動作可能な例を説明するが、画像処理装置１００はこのような装置に限定されるものではない。動画像データに対して後述するような符号化処理を行う装置であれば、画像処理装置１００は、携帯端末（例：スマートフォン）として動作可能な装置であってもよい。

図１に示すように、画像処理装置１００は、撮像部１０１と、顔画像検出部１０２と、イントラスムージング処理決定部１０３と、符号化部１０４とを有する。また、図２に示すように、画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、メモリ２０２と、不揮発性メモリ２０３と、操作部２０４とを有する。また、画像処理装置１００は、表示制御部２０７と、表示部２０８と、記録媒体制御部２０９と、内部バス２１０と、レンズユニット２１１とを有する。ＣＰＵ２０１は、顔画像検出部１０２およびイントラスムージング処理決定部１０３として動作し得る。実施形態１では、ＣＰＵ２０１が顔画像検出部１０２およびイントラスムージング処理決定部１０３として動作する場合を例に説明するが、これに限定されるものではない。例えば、ＣＰＵ２０１とは別のプロセッサが顔画像検出部１０２およびイントラスムージング処理決定部１０３として動作するように構成してもよい。或いは、ＣＰＵ２０１とは別のプロセッサが顔画像検出部１０２、イントラスムージング処理決定部１０３および符号化部１０４として動作するように構成してもよい。

ＣＰＵ２０１は、不揮発性メモリ２０３に記憶されているプログラムを実行することにより、画像処理装置１００の各構成要素を制御する。ＣＰＵ２０１は、例えばハードウェアプロセッサである。上述したように、ＣＰＵ２０１は、顔画像検出部１０２およびイントラスムージング処理決定部１０３としても機能し得る。

メモリ２０２は、例えば、書き換え可能な揮発性メモリである。メモリ２０２には、撮像部１０１から順次出力される画像データが一時的に格納される。メモリ２０２は、ＣＰＵ２０１の作業領域としても用いられる。メモリ２０２は、これらを一時的に記録するために十分な記憶容量を有する。メモリ２０２は、後述するフレームメモリ４０１（図４参照）として機能し得る。

不揮発性メモリ２０３は、電気的に消去が可能なメモリであり、例えばＥＥＰＲＯＭを有する。不揮発性メモリ２０３は、画像処理装置１００の各構成要素を制御するためのプログラムと、画像処理装置１００の各構成要素の制御を用いられる情報（制御パラメータ等）とを記憶する。

操作部２０４は、画像処理装置１００を操作するためのユーザインターフェースとして動作する。操作部２０４は、電源ボタン、メニューボタン、シャッターボタン等のボタンを含んでおり、これらのボタンはスイッチまたはタッチパネルでユーザに提供される。ＣＰＵ２０１は、操作部２０４を介して入力されたユーザの指示に従って画像処理装置１００の各構成要素を制御する。

レンズユニット２１１は、ズームレンズ、フォーカスレンズ、レンズ制御部、絞り等を有する。レンズユニット２１１のレンズ制御部は、ＣＰＵ２０１から送信される制御信号に基づき、ズームレンズ、フォーカスレンズ、絞り等を制御する。これにより、焦点の調整および絞り値（Ｆ値）の制御が行われる。レンズユニット２１１は、画像処理装置１００から取り外し可能であってもよい。

撮像部１０１は、動画像データを構成する複数の画像データを順次生成し、生成した複数の画像データを順次出力する。撮像部１０１としては、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサが用いられる。撮像部１０１は、画素アレイを有する。レンズユニット２１１によって形成される被写体の光学像が画素アレイに結像される。画素アレイには、被写体の光学像を電気信号に変換するための複数の光電変換素子が２次元的に配列されている。なお、撮像部１０１は、静止画像データを生成することも可能である。撮像部１０１は、画像処理部をさらに有する。画像処理部は、撮像部１０１で生成された画像データに対して所定の画像処理を行う。このような画像処理としては、例えば、補間処理、縮小処理（リサイズ処理）、色変換処理等が挙げられる。また、画像処理部は、撮像部１０１で生成された画像データを用いて、露光制御または測距制御のための所定の演算処理をも行い得る。撮像部１０１からは、画像処理部によって所定の画像処理が行われた所定のフォーマットの画像データが出力される。撮像部１０１で生成された画像データは、図１に示すように、入力画像データ（符号化対象となる画像データに相当）として顔画像検出部１０２と符号化部１０４とに入力される。

符号化部１０４は、撮像部１０１から符号化部１０４に入力された入力画像データに対して後述するような符号化処理を行うことにより、画像データを符号化する。なお、符号化部１０４の詳細については、図４を用いて後述することとする。

表示制御部２０７は、表示部２０８を制御する。表示部２０８は、表示パネル（例：液晶表示パネル、有機ＥＬパネル）を有する。表示制御部２０７は、撮像部１０１で生成された画像データに対してリサイズ処理等を行うことにより、表示部２０８に表示可能な画像データを生成し、生成した画像データを表示部２０８に出力する。表示部２０８は、表示制御部２０７から供給される画像データに対応する画像を表示する。表示部２０８は、例えばタッチパネルセンサを有するものであってもよい。表示部２０８がタッチパネルセンサを有する場合、表示部２０８は操作部２０４としても機能し得る。

記録媒体制御部２０９は、ＣＰＵ２０１からの要求に基づき、記録媒体２１２への符号化データの書き込みまたは記録媒体２１２からの符号化データの読み出しを行う。記録媒体２１２は、例えばメモリカードとして動作する。記録媒体２１２に格納される符号化データは、撮像部１０１で生成され、符号化部１０４で符号化された画像データである。記録媒体２１２に格納される符号化データは、記録媒体２１２のファイルシステムに適合した形式でファイルとして記録媒体２１２に格納される。記録媒体２１２は、画像処理装置１００から取り外し可能であってもよいし、画像処理装置１００に内蔵されたものであってもよい。画像処理装置１００の各構成要素は、内部バス２１０を介して互いにアクセス可能となっている。

顔画像検出部１０２は、撮像部１０１から顔画像検出部１０２に入力された入力画像データ（符号化対象となる画像データに相当）に顔画像が存在するか否かを検出する。実施形態１および他の実施形態では、入力画像データの一部であって人の顔に相当すると判定された部分を顔画像と呼ぶ。実施形態１において、入力画像データに顔画像が含まれているか否かを検出するのは、次のような理由によるものである。顔画像においては、階調が徐々に変化するため、顔画像に擬似輪郭が発生すると、擬似輪郭が目立ってしまう。このため、入力画像データに顔画像が含まれている場合には、擬似輪郭が生ずるのを防止するために、イントラスムージング処理を行うことが好ましい。このような理由により、実施形態１では、入力画像データに顔画像が含まれているか否かを検出するようにしている。入力画像データに顔画像が含まれているか否かを検出する手法としては、例えば以下のような手法が挙げられる。例えば、顔画像を予め不揮発性メモリ２０３等に格納しておき、入力画像データと顔画像とを例えばパターンマッチングによって比較することにより、入力画像データに顔画像が含まれているか否かを検出し得る。また、肌色に対応する画素値の画素が入力画像データに含まれているか否かに基づいて、入力画像データに顔画像が含まれているか否かを検出することも可能である。顔画像検出部１０２は、入力画像データに顔画像が含まれているか否かを示す検出結果をイントラスムージング処理決定部１０３に出力する。このように、顔画像検出部１０２は、符号化対象となる画像データに顔画像（所定の条件を満たす部分である所定部分に相当）が含まれているか否かを検出する検出手段として機能し得る。

イントラスムージング処理決定部１０３は、顔画像検出部１０２による検出結果に基づき、イントラスムージング処理を有効とするか否かを判定する。イントラスムージング処理は、フレーム内予測に用いられる参照画素に対して線形補間処理を行い、このような線形補間処理が行われた参照画素を用いてフレーム内予測を行うことにより、滑らかな画像を生成する平滑化処理である。顔画像が顔画像検出部１０２によって検出された場合には、イントラスムージング処理決定部１０３は、イントラスムージング処理を有効とするための信号を符号化部１０４に出力する。具体的には、イントラスムージング処理決定部１０３は、符号化部１０４に供給するイントラスムージング処理有効信号をイネーブルとする。一方、顔画像が顔画像検出部１０２によって検出されない場合には、イントラスムージング処理決定部１０３は、イントラスムージング処理を無効とするための信号を符号化部１０４に出力する。具体的には、イントラスムージング処理決定部１０３は、符号化部１０４に供給するイントラスムージング処理有効信号をディセーブルとする。このように、イントラスムージング処理決定部１０３は、フレーム内予測に用いられる参照画素に対して平滑化処理（スムージング処理）を行うか否かを、顔画像検出部１０２の検出結果に基づいて決定する決定手段として機能し得る。

符号化部１０４は、イントラスムージング処理決定部１０３から供給されるイントラスムージング処理有効信号に基づき、入力画像データ（符号化対象となる画像データに相当）に対して符号化処理を行う。イントラスムージング処理有効信号がイネーブルの際には、符号化部１０４は、イントラスムージング処理を有効として符号化を行う。一方、イントラスムージング処理有効信号がディセーブルの際には、符号化部１０４は、イントラスムージング処理を無効として符号化を行う。符号化処理としては、例えば、ＩＳＯ／ＩＥＣ２３００８において規定された符号化処理が挙げられる。符号化部１０４は、符号化処理が行われた入力画像データをビットストリームとして出力する。図３（ａ）および図３（ｂ）は、イントラスムージング処理の例を概念的に説明するための図である。図３（ａ）は、線形補間処理が行われた参照画素を概念的に示すグラフである。図３（ａ）の横軸は、参照画素の位置を示し、図３（ａ）の縦軸は、参照画素の輝度値の例を示す。図１５（ａ）を参照して説明したように、参照画素に対して線形補間処理を行っていない状態においては、ブロックの境界において参照画素の画素値が不連続となっている場合がある。これに対し、参照画素に対して線形補間処理を行うと、図３（ａ）に示すように、参照画素の画素値がブロックの境界においても連続的となる。図３（ｂ）は、各ブロックの画像データを概念的に示したものである。ブロック３０１ａ〜３０１ｄは、符号化済みのブロックを示す。ブロック３０１ｅは、符号化対象ブロックを示す。符号化済みのブロック３０１ｂおよび３０１ｃの境界において参照画素の画素値が図３（ａ）のように連続的になっているため、斜め方向に位置する参照画素を用いたフレーム内予測においても、符号化対象ブロック３０１ｅに擬似輪郭が生じるのを防止し得る。

次に、図４を参照して、画像処理装置１００が有する符号化部１０４の構成要素を説明する。

図４に示すように、符号化部１０４は、イントラ予測部（フレーム内予測部）４０２と、インター予測部（フレーム間予測部）４０３と、イントラ／インター選択部４０４と、予測画像生成部４０５と、整数変換部４０６と、量子化部４０７とを有する。符号化部１０４は、エントロピー符号化部４０８と、符号量制御部４０９と、逆量子化部４１０と、逆整数変換部４１１と、ループフィルタ４１２と、ビットストリーム生成部４１３と、減算器４１４と、加算器４１５とをさらに有する。

撮像部１０１から符号化部１０４に入力された入力画像データは、フレームメモリ４０１に格納される。フレームメモリ４０１には、複数フレーム分の画像を格納することが可能である。フレームメモリ４０１には、入力画像データと、後述する動き予測処理において用いられる参照画像データとが格納される。

イントラ予測部４０２は、フレームメモリ４０１に格納された１フレーム分の入力画像データから符号化対象ブロックの画像データを読み出す。そして、イントラ予測部４０２は、符号化対象ブロックの画像データと、符号化対象ブロックの周辺に位置する参照画素のデータから生成された複数のイントラ予測画像データとの相関を計算する。イントラ予測部４０２には、イントラスムージング処理決定部１０３からイントラスムージング処理有効信号が供給されるようになっている。イントラスムージング処理有効信号がイネーブルの場合、イントラ予測部４０２は、符号化対象ブロックの周辺に位置する参照画素に対して線形補間処理を行い、このような線形補間処理が行われた参照画素を用いてイントラ予測画像データを生成する。そして、イントラ予測部４０２は、符号化対象ブロックの画像データと最も相関が高いイントラ予測画像データのイントラ予測モードを、複数のイントラ予測モードの候補から選択する。さらに、イントラ予測部４０２は、符号化対象ブロックの画像データと最も相関が高いイントラ予測画像データと符号化対象ブロックの画像データとの予測誤差である第１の予測誤差を計算する。そして、イントラ予測部４０２は、計算した第１の予測誤差を示す情報と、符号化対象ブロックの画像データと最も相関が高いイントラ予測画像データとを、イントラ／インター選択部４０４に通知する。

インター予測部４０３は、入力画像データと参照画像データとの間で動きベクトルを計算する。さらに、インター予測部４０３は、計算した動きベクトルに基づいて生成されたインター予測画像データと符号化対象ブロックの画像データとの予測誤差である第２の予測誤差を計算する。そして、インター予測部４０３は、計算した第２の予測誤差を示す情報と、生成したインター予測画像データとを、イントラ／インター選択部４０４に通知する。

イントラ／インター選択部４０４は、イントラ予測部４０２からの第１の予測誤差とインター予測部４０３からの第２の予測誤差とに基づき、イントラ予測またはインター予測を選択する。具体的には、イントラ／インター選択部４０４は、第１の予測誤差と第２の予測誤差とを比較し、第１の予測誤差が第２の予測誤差よりも小さければ、インター予測を選択し、第２の予測誤差が第１の予測誤差以下であればイントラ予測を選択する。イントラ予測が選択された場合、イントラ／インター選択部４０４は、以下のような処理を行う。即ち、イントラ／インター選択部４０４は、イントラ／インター選択部４０４がイントラ予測を選択したことを示す情報と、符号化対象ブロックの画像データと最も相関が高いイントラ予測画像データとを、予測画像生成部４０５に供給する。インター予測が選択された場合、イントラ／インター選択部４０４は、イントラ／インター選択部４０４がインター予測を選択したことを示す情報と、インター予測部４０３が生成したインター予測画像データとを予測画像生成部４０５に供給する。

予測画像生成部４０５は、イントラ／インター選択部４０４から供給された各符号化対象ブロックのイントラ／インター予測画像データに基づき、１フレーム分の予測画像データを生成する。予測画像生成部４０５には、イントラスムージング処理決定部１０３からイントラスムージング処理有効信号が供給されるようになっている。イントラスムージング処理有効信号がイネーブルの場合には、予測画像生成部４０５は、イントラスムージング処理を適用して予測画像データを生成する。

なお、ＩＳＯ／ＩＥＣ２３００８においては、以下のような条件を全て満たす場合にイントラスムージング処理が行われる。第１の条件は、符号化対象ブロックの境界に位置する参照画素の画素値と、参照画素の平均値との差の絶対値が、輝度のビット深度に応じて決定される閾値未満であることである。第２の条件は、ＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）サイズが３２画素×３２画素であることである。第３の条件は、どのようなイントラ予測モードであるのかを示す変数であるｐｒｅｄＭｏｄｅＩｎｔｒａが、１（ＤＣ予測）、１０（水平方向予測）および２６（垂直方向予測）のいずれでもないことである。第４の条件は、シーケンスパラメータセット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に含まれるｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１であることである。

減算器４１４は、予測画像生成部４０５によって生成された予測画像データと入力画像データとの差分画像データを生成し、生成した差分画像データを整数変換部４０６に供給する。

整数変換部４０６は、整数変換処理を行うことにより、減算器４１４から供給された差分画像データを１フレーム分の係数データに変換する。整数変換部４０６で生成された係数データは、量子化部４０７に供給される。

量子化部４０７は、符号量制御部４０９から供給される目標符号量に基づく量子化係数を決定し、整数変換部４０６から供給される係数データを決定した量子化係数に従って量子化する。量子化部４０７で量子化された係数データは、エントロピー符号化部４０８と逆量子化部４１０とに供給される。

エントロピー符号化部４０８は、エントロピー符号化処理を行うことにより、量子化部４０７で量子化された係数データから１フレーム分の符号化データを生成する。ＣＡＢＡＣ（コンテキスト適応算術符号化）は、エントロピー符号化部４０８で行われるエントロピー符号化処理の例である。エントロピー符号化部４０８は、符号化データの発生符号量を示す情報を符号量制御部４０９に供給する。エントロピー符号化部４０８は、１フレーム分の符号化データをビットストリーム生成部４１３に供給する。

ビットストリーム生成部４１３は、エントロピー符号化部４０８から供給される１フレーム分の符号化データにヘッダ情報等を付加し、ヘッダ情報等が付加された符号化データを出力する。ＳＰＳおよびピクチャパラメータセット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）は、符号化データに付加されるヘッダ情報の例である。ＳＰＳは、シーケンスにおいて共通なパラメータが定義されたパラメータセットである。ＰＰＳは、ピクチャにおいて共通なパラメータが定義されたパラメータセットである。ビットストリーム生成部４１３から出力される符号化データは、記録媒体２１２に記録される。ビットストリーム生成部４１３には、イントラスムージング処理決定部１０３からイントラスムージング処理有効信号が供給されるようになっている。イントラスムージング処理有効信号がイネーブルの場合、ビットストリーム生成部４１３は、イントラスムージング処理が適用された符号化データに、以下のようなヘッダ情報を付加する。即ち、ＳＰＳに含まれるｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値を１としたヘッダ情報を符号化データに付加する。

符号量制御部４０９は、エントロピー符号化部４０８から供給される発生符号量を示す情報と、目標ビットレート、バッファモデル等を示す情報とに基づいて、１フレーム当たりの目標符号量を計算し、計算した目標符号量を量子化部４０７に供給する。

逆量子化部４１０は、量子化部４０７で行われた量子化処理に対応する逆量子化処理を行うことにより、量子化部４０７で量子化された係数データを逆量子化する。量子化部４０７で逆量子化された係数データは、逆整数変換部４１１に供給される。逆整数変換部４１１は、整数変換部４０６で行われた整数変換処理に対応する逆整数変換処理を行うことにより、逆量子化部４１０から供給された係数データを差分画像データに変換する。逆量子化部４１０で生成された差分画像データは、加算器４１５に供給される。加算器４１５は、逆整数変換部４１１から供給される差分画像データと、予測画像生成部４０５から出力される予測画像データとを加算し、参照画像データを生成する。加算器４１５で生成された参照画像データは、ループフィルタ４１２と予測画像生成部４０５とに供給される。

ループフィルタ４１２は、加算器４１５で生成された参照画像データに対して、ブロック境界で発生する符号化歪みを軽減するためのフィルタ処理を行う。ループフィルタ４１２でフィルタ処理が行われた参照画像データは、フレームメモリ４０１に格納される。

次に、図５のフローチャートを参照して、画像処理装置１００の動作例を説明する。なお、図５のフローチャートは、動画像データを構成する複数の入力画像データのそれぞれに対して行われる。

ステップＳ５０１において、ＣＰＵ２０１は、記録開始の指示がユーザによってなされたか否かを判定する。記録開始の指示は、例えばユーザが操作部２０４を操作することによって行われる。記録開始の指示がなされていない場合には（ステップＳ５０１でＮＯ）、図５に示す処理を終了する。一方、記録開始の指示がなされた場合には（ステップＳ５０１でＹＥＳ）、ステップＳ５０２に移行する。

ステップＳ５０２において、顔画像検出部１０２は、入力画像データに顔画像が含まれているか否かを検出する。入力画像データに顔画像が含まれている場合には（ステップＳ５０３でＹＥＳ）、ステップＳ５０４に移行する。入力画像データに顔画像が含まれていない場合には（ステップＳ５０３でＮＯ）、ステップＳ５０６に移行する。

ステップＳ５０４において、イントラスムージング処理決定部１０３は、イントラスムージング処理有効信号をイネーブルにする。符号化部１０４は、イントラスムージング処理を有効にして符号化処理を行う。この後、ステップＳ５０５に移行する。

ステップＳ５０５において、符号化部１０４は、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１に設定されたＳＰＳを含むヘッダ情報を、符号化された入力画像データである符号化データに付加する。そして、符号化部１０４は、このようなヘッダ情報が付加された符号化データをビットストリームとして出力する。ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に設定されたＳＰＳを含むヘッダ情報を、符号化データに付加するのは、復号の際に当該情報が必要となるためである。この後、ステップＳ５０８に移行する。

ステップＳ５０６において、イントラスムージング処理決定部１０３は、イントラスムージング処理有効信号をディセーブルにする。符号化部１０４は、イントラスムージング処理を無効にして符号化処理を行う。この後、ステップＳ５０７に移行する。

ステップＳ５０７において、符号化部１０４は、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０に設定されたＳＰＳを含むヘッダ情報を、符号化データに付加する。そして、符号化部１０４は、このようなヘッダ情報が付加された符号化データをビットストリームとして出力する。この後、ステップＳ５０８に移行する。

ステップＳ５０８において、ＣＰＵ２０１は、記録終了の指示がユーザによってなされたか否かを判定する。記録終了の指示は、例えばユーザが操作部２０４を操作することによって行われる。記録終了の指示がなされた場合には（ステップＳ５０８でＹＥＳ）、図５に示す処理を終了する。一方、記録終了の指示がなされていない場合には（ステップＳ５０８でＮＯ）、ステップＳ５０２以降の動作が繰り返される。

次に、図６および図７を参照して、ビットストリーム生成部４１３から出力される符号化データのデータ構造例を示す。

図６に示すように、ＩＳＯ／ＩＥＣ２３００８に基づいて生成されるビットストリームシーケンス６０１は、ＭＰＥＧ−４の場合と同様に、複数のアクセスユニット（ＡＵ：Ａｃｃｅｓｓ Ｕｎｉｔ）が復号順に配列された構造となっている。図６において、ＡＵ ＃Ｎ（Ｎは整数）は、第Ｎ番目のアクセスユニットであることを示す。

各アクセスユニットは、ヘッダ情報と、ヘッダ情報に続いて配された符号化データとを含んでいる。ヘッダ情報には、アクセスユニットの開始位置を示すアクセスユニットデリミタ（ＡＵＤ：Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ）が含まれている。また、ヘッダ情報には、各レイヤの共通情報および関係情報を示すビデオパラメータセット（ＶＰＳ：Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）が含まれている。また、ヘッダ情報には、ＳＰＳおよびＰＰＳが含まれている。図６において、ＶＰＳＮ（Ｎは整数）は、第Ｎ番目のアクセスユニットのＶＰＳであることを示し、ＳＰＳＮ（Ｎは整数）は、第Ｎ番目のアクセスユニットのＳＰＳであることを示す。また、図６において、ＰＰＳＮ（Ｎは整数）は、第Ｎ番目のアクセスユニットのＰＰＳであることを示す。符号化データは、マクロブロック単位で符号化された複数のスライスデータを含む。図６において、スライスＮ（Ｎは整数）は、第Ｎ番目のアクセスユニットに含まれるスライスデータであることを示す。１つのアクセスユニットには、複数のスライスデータが含まれている。ＳＰＳおよびＰＰＳは、ストリームシーケンスの途中で変更することが規格上可能である。

図７は、ＶＰＳとＳＰＳとＰＰＳとスライスデータとの関連付けの例を示す図である。図７に示すように、ＶＰＳには、ＶＰＳを識別するためのｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄが含まれる。ＳＰＳには、ＳＰＳが参照するＶＰＳのＩＤを示すｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄと、ＳＰＳを識別するためのｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄとが含まれる。ＰＰＳには、ＰＰＳが参照するＳＰＳのＩＤを示すｐｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄと、ＰＰＳを識別するためのｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄとが含まれる。スライスデータのヘッダには、スライスデータが参照するＰＰＳのＩＤを示すｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄが含まれる。

図７における矢印は、ヘッダ情報の参照関係を示す。図７に示すように、同じＩＤに基づいて、スライスとＰＰＳとの関連付け、ＰＰＳとＳＰＳとの関連付け、ＳＰＳとＶＰＳとの関連付けが行われている。図７から分かるように、異なるアクセスユニットのヘッダ情報が参照される。図７に示す例においては、ＳＰＳ０において、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０となっている。ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０であるということは、イントラスムージング処理を無効にして符号化処理が行われたことを示す。また、図７に示す例においては、ＳＰＳ２において、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１となっている。ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１であるということは、イントラスムージング処理を有効にして符号化処理が行われたことを示す。

図７に示す例においては、第０番目のアクセスユニットに含まれるスライスデータを取得する際にも、第１番目のアクセスユニットに含まれるスライスデータを取得する際にも、イントラスムージング処理を無効として符号化処理が行われている。そして、第０番目のアクセスユニットに含まれるスライスデータを復号化する際にも、第１番目のアクセスユニットに含まれるスライスデータを復号する際にも、第１番目のアクセスユニットのヘッダ情報に含まれているＳＰＳ０が参照される。ＳＰＳ０においては、上述したように、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０となっている。このため、第０番目のアクセスユニットを復号する際にも、第１番目のアクセスユニットを復号する際にも、イントラスムージング処理は無効とされる。従って、第０番目のアクセスユニットに含まれているスライスデータと第１番目のアクセスユニットに含まれているスライスデータとを良好に復号することができる。

また、図７に示す例においては、第２番目のアクセスユニットに含まれるスライスデータを取得する際には、イントラスムージング処理を有効として符号化処理が行われている。そして、第２番目のアクセスユニットに含まれるスライスデータを復号化する際には、第２番目のアクセスユニットのヘッダ情報に含まれているＳＰＳ２が参照される。ＳＰＳ２においては、上述したように、ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１となっている。このため、第２番目のアクセスユニットを復号する際には、イントラスムージング処理は有効とされる。従って、第２番目のアクセスユニットに含まれているスライスデータを良好に復号することができる。

次に、図８（ａ）および図８（ｂ）を参照して、実施形態１の具体例を説明する。図８（ａ）は、入力画像データに顔画像が含まれている例を示す。図８（ｂ）は、入力画像データに顔画像が含まれていない例を示す。

図８（ａ）に示すように、入力画像データに顔画像８０１が含まれている場合には、入力画像データを符号化する際にイントラスムージング処理が適用される。人物の顔の画像においては、階調が徐々に変化する。このため、イントラスムージング処理を適用することによって、階調が適切に表現された良好な符号化画像を得ることができる。

一方、図８（ｂ）のような風景の画像に対してイントラスムージング処理が行われると、ディテールが失われるおそれがある。実施形態１では、顔画像が含まれていないこのような入力画像データに対してはイントラスムージング処理が適用されないため、画質が損なわれることはない。

このように、実施形態１によれば、入力画像データ（符号化対象となる画像データに相当）に顔画像が含まれているか否かに基づいて、イントラスムージング処理を行うか否かが判定される。従って、実施形態１によれば、イントラスムージング処理を適切に行うことができ、階調が適切に表現された良好な符号化画像を得ることが可能となる。

［実施形態２］
次に、実施形態２を説明する。実施形態２では、画像処理装置１００が、入力画像データに含まれている顔画像のサイズに基づき、イントラスムージング処理を行うか否かを判定することができる例を説明する。

図９は、実施形態２における画像処理装置１００の構成要素を説明するためのブロック図である。実施形態２における画像処理装置１００の構成要素のうち、実施形態１における画像処理装置１００の構成要素と同一の構成要素については、同一の符号を付してそれらの説明を省略または簡潔にする。

実施形態２における画像処理装置１００は、実施形態１における画像処理装置１００と異なり、顔画像サイズ検出部９０１をさらに有する。顔画像サイズ検出部９０１は、例えばＣＰＵ２０１によって実現され得る。顔画像検出部１０２による顔画像の検出の結果を示す信号が、顔画像サイズ検出部９０１に供給されるようになっている。顔画像サイズ検出部９０１は、入力画像データに含まれている顔画像のサイズ（顔画像サイズ）に関する情報である顔画像サイズ情報を、例えば以下のようにして取得する。即ち、顔画像サイズ検出部９０１は、顔画像が含まれる領域である顔画像領域１１０１のサイズに関する情報（顔画像サイズ情報）を取得する（図１１（ａ）および図１１（ｂ）参照）。顔画像サイズ情報は、例えば、顔画像領域１１０１の座標を示す情報であってもよいし、顔画像領域１１０１の座標とライン数とを組み合わせた情報であってもよい。また、顔画像サイズ情報は、顔画像領域１１０１の面積を示す情報であってもよい。顔画像サイズ検出部９０１は、取得した顔画像サイズ情報を、イントラスムージング処理決定部１０３に通知する。

イントラスムージング処理決定部１０３は、顔画像サイズ検出部９０１から出力される顔画像サイズ情報に基づき、イントラスムージング処理を行うか否かを判定する。

次に、図１０のフローチャートを参照して、実施形態２における画像処理装置１００の動作例を説明する。
ステップＳ５０１からステップＳ５０３までは、実施形態１と同様であるため、それらのステップで行われる動作の説明を省略する。入力画像データに顔画像が含まれている場合には（ステップＳ５０３でＹＥＳ）、ステップＳ１００１に移行する。入力画像データに顔画像が含まれていない場合には（ステップＳ５０３でＮＯ）、ステップＳ５０６に移行する。

ステップＳ１００１において、顔画像サイズ検出部９０１は、顔画像サイズ情報を取得する。この後、ステップＳ１００２に移行する。

ステップＳ１００２において、イントラスムージング処理決定部１０３は、顔画像領域１１０１のサイズが、予め定めた所定値以上であるか否かに基づいて、イントラスムージング処理を行うか否かを判定する。イントラスムージング処理決定部１０３は、顔画像領域１１０１のサイズが所定値以上である場合には、イントラスムージング処理有効信号をイネーブルにする。一方、イントラスムージング処理決定部１０３は、顔画像領域１１０１のサイズが所定値未満である場合には、イントラスムージング処理有効信号をディセーブルにする。所定値は、例えば入力画像データのサイズの５０％とすることができるが、これに限定されるものではない。比較的小さい顔画像の場合には、階調はあまり重要視されない。一方、比較的大きい顔画像の場合には、階調が重要視され得る。従って、階調が重要視され得るか否かに基づいて、所定値を決定することができる。入力画像データに含まれている顔画像のサイズが所定値以上である場合には（ステップＳ１００２でＹＥＳ）、ステップＳ５０４に移行する。入力画像データに含まれている顔画像のサイズが所定値未満である場合には（ステップＳ１００２でＮＯ）、ステップＳ５０６に移行する。

ステップＳ５０４からステップＳ５０８までは、実施形態１と同様であるため、それらのステップで行われる動作の説明を省略する。

次に、図１１（ａ）および図１１（ｂ）を参照して、実施形態２の具体例を説明する。図１１（ａ）は、顔画像領域１１０１のサイズが大きい例を示す。図１１（ｂ）は、２つの顔画像領域１１０１のサイズが小さい例を示す。

図１１（ａ）のように、入力画像データに含まれている顔画像領域１１０１のサイズが所定値以上である場合には、入力画像データを符号化する際にイントラスムージング処理が行われる。イントラスムージング処理を適用することによって、階調が適切に表現された良好な符号化画像が得られる。

一方、図１１（ｂ）のように、入力画像データに含まれている２つの顔画像領域１１０１のサイズが所定値未満である場合には、入力画像データを符号化する際にイントラスムージング処理が行われない。イントラスムージング処理が行われないため、風景のディテールが失われず、良好な符号化画像が得られる。

このように、実施形態２によれば、入力画像データ（符号化対象となる画像データに相当）に含まれている顔画像のサイズに基づいて、イントラスムージング処理を行うか否かを判定する。従って、実施形態２によれば、階調が適切に表現されたより良好な符号化画像を得ることができる。

［実施形態３］
次に、実施形態３を説明する。実施形態３では、画像処理装置１００が、入力画像データに含まれている顔画像の数に基づき、イントラスムージング処理を行うか否かを判定することができる例を説明する。

図１２は、実施形態３における画像処理装置１００の構成要素を説明するためのブロック図である。実施形態３における画像処理装置１００の構成要素のうち、実施形態１における画像処理装置１００の構成要素と同一の構成要素については、同一の符号を付してそれらの説明を省略または簡潔にする。実施形態３における画像処理装置１００の構成要素のうち、実施形態２における画像処理装置１００の構成要素と同一の構成要素については、同一の符号を付してそれらの説明を省略または簡潔にする。

実施形態３における画像処理装置１００は、実施形態１における画像処理装置１００と異なり、顔画像計数部１２０１をさらに有する。顔画像計数部１２０１は、例えばＣＰＵ２０１によって実現され得る。顔画像計数部１２０１は、入力画像データに含まれている顔画像の数に関する情報である顔画像数情報を、データ例えば以下のようにして取得する。即ち、顔画像計数部１２０１は、顔画像が含まれる領域である顔画像領域１４０１の数に関する情報（顔画像数情報）を取得する（図１４（ａ）および図１４（ｂ）参照）。顔画像計数部１２０１は、取得した顔画像数情報を、イントラスムージング処理決定部１０３に通知する。

イントラスムージング処理決定部１０３は、顔画像計数部１２０１から出力される顔画像数情報に基づき、イントラスムージング処理を行うか否かを判定する。

次に、図１３のフローチャートを参照して、実施形態３における画像処理装置１００の動作例を説明する。

ステップＳ５０１からステップＳ５０３までは、実施形態１と同様であるため、それらのステップで行われる動作の説明を省略する。入力画像データに顔画像が含まれている場合には（ステップＳ５０３でＹＥＳ）、ステップＳ１３０１に移行する。入力画像データに顔画像が含まれていない場合には（ステップＳ５０３でＮＯ）、ステップＳ５０６に移行する。

ステップＳ１３０１において、顔画像計数部１２０１は、顔画像数情報を取得する。この後、ステップＳ１３０２に移行する。

ステップＳ１３０２において、イントラスムージング処理決定部１０３は、顔画像数が、予め定めた所定値以上であるか否かを判定する。イントラスムージング処理決定部１０３は、顔画像数が所定値以上である場合には、イントラスムージング処理有効信号をディセーブルにする。イントラスムージング処理決定部１０３は、顔画像数が所定値未満である場合には、イントラスムージング処理有効信号をイネーブルにする。顔画像数が所定値以上の場合に、イントラスムージング処理をディセーブルとするのは、顔画像数が多い場合には、顔画像のサイズが小さく、顔画像の階調があまり重要視されないためである。一方、顔画像数が所定値未満の場合に、イントラスムージング処理を有効とするのは、顔画像数が少ない場合には、顔画像が大きい場合があり、大きい顔画像は、階調が重要視され得るためである。所定値は、例えば４としてもよいし、５としてもよいが、これらに限定されるものではない。なお、撮像モードまたは画角によって、所定値を変更するようにしてもよい。顔画像数が所定値以上である場合には（ステップＳ１３０２でＹＥＳ）、ステップＳ５０６に移行する。顔画像数が所定値未満である場合には（ステップＳ１３０２でＮＯ）、ステップＳ５０４に移行する。

ステップＳ５０４からステップＳ５０８までは、実施形態１と同様であるため、それらのステップで行われる動作の説明を省略する。

次に、図１４（ａ）および図１４（ｂ）を参照して、実施形態３の具体例を説明する。図１４（ａ）は、顔画像数が所定値未満である場合の例を示す。図１４（ｂ）は、顔画像数が所定値以上である場合の例を示す。

図１４（ａ）のように、顔画像数が所定値未満である場合には、入力画像データを符号化する際にイントラスムージング処理が行われる。イントラスムージング処理を適用することによって、階調が適切に表現された良好な符号化画像が得られる。

一方、図１４（ｂ）のように、顔画像数が所定値以上である場合には、入力画像データを符号化する際にイントラスムージング処理が行われない。イントラスムージング処理が行われないため、ユニフォーム等のディテールが失われていない良好な符号化画像が得られる。

このように、実施形態３によれば、入力画像データ（符号化対象となる画像データに相当）に含まれている顔画像の数に基づいて、イントラスムージング処理を行うか否かを判定する。従って、実施形態３によっても、階調が適切に表現されたより良好な符号化画像を得ることができる。
なお、実施形態３は、実施形態２と組み合わせることが可能である。

［実施形態４］
実施形態１、２および３では、所定の条件を満たす部分が顔画像である場合を例に説明したが、所定の条件を満たす部分は顔画像に限定されるものではない。所定の条件を満たす部分の別の例としては、例えば、階調が徐々に変化する部分（グラデーション部分）が挙げられる。階調が徐々に変化する部分か否かは、例えば、画素値の空間的な変化率が閾値未満である部分か否かに基づいて判定し得る。そして、階調が徐々に変化する部分が入力画像データに含まれているか否かに基づき、イントラスムージング処理を行うか否かを判定するようにしてもよい。

［実施形態５］
実施形態１〜４で説明した様々な機能、処理または方法は、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、プロセッサなどがプログラムを用いて実現することもできる。以下、実施形態５では、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、プロセッサなどを「コンピュータＸ」と呼ぶ。また、実施形態５では、コンピュータＸを制御するためのプログラムであって、実施形態１〜４で説明した様々な機能、処理または方法を実現するためのプログラムを「プログラムＹ」と呼ぶ。

実施形態１〜４で説明した様々な機能、処理または方法は、コンピュータＸがプログラムＹを実行することによって実現される。この場合において、プログラムＹは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＸに供給される。実施形態５におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、揮発性メモリ、不揮発性メモリなどの少なくとも１つを含む。実施形態５におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな記憶媒体である。

なお、本発明の実施形態は上述の実施形態１、２、３、４または５に限定されるものではない。発明の要旨を逸脱しない範囲で変更または修正された実施形態１、２、３、４または５も本発明の実施形態に含まれる。

１００…画像処理装置
１０１…撮像部
１０２…顔画像検出部
１０３…イントラスムージング処理決定部
１０４…符号化部

Claims (7)

1. 符号化対象となる画像データに所定の条件を満たす部分である所定部分が存在するか否かを判定する判定手段と、
   前記所定部分が存在する場合は、フレーム内予測に用いられる参照画素に対して平滑化処理を行うと共に、前記平滑化処理が行われた前記参照画素を用いて符号化対象ブロックの符号化処理を行う処理手段と
   を有することを特徴とする画像処理装置。
2. 前記平滑化処理は、線形補間処理を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記所定部分は、顔に相当する部分であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記処理手段は、前記所定部分のサイズに基づき、前記平滑化処理を行うか否かを決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記処理手段は、前記所定部分の数に基づき、前記平滑化処理を行うか否かを決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
6. 符号化対象となる画像データに所定の条件を満たす部分である所定部分が存在するか否かを判定するステップと、
   前記所定部分が存在する場合は、フレーム内予測に用いられる参照画素に対して平滑化処理を行うと共に、前記平滑化処理が行われた前記参照画素を用いて符号化対象ブロックの符号化処理を行うステップと
   を有することを特徴とする画像処理方法。
7. コンピュータを、
   符号化対象となる画像データに所定の条件を満たす部分である所定部分が存在するか否かを判定する判定手段と、
   前記所定部分が存在する場合には、フレーム内予測に用いられる参照画素に対して平滑化処理を行うと共に、前記平滑化処理が行われた前記参照画素を用いて符号化対象ブロックの符号化処理を行う処理手段
   として機能させるためのプログラム。