JP2007249849A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】１次元画像処理から２次元画像処理に効率よく拡張できるようにする。
【解決手段】加算部３１において、入力信号T0に対して加算されるトータル補正信号T5は、次のようにして生成される。即ち、総合補正部３０において、水平補正部２１の水平方向の補正量を示す出力信号T1、垂直補正部２２の垂直補正の補正量を示す出力信号T2、左斜め補正部２３の左斜め方向の補正量を示す出力信号T3、および、右斜め補正部２４の右斜め方向の補正量を示す出力信号T4が、所定の演算方式に従って合成され、その合成後の信号がトータル補正信号T5として出力される。本発明は、テレビジョン放送受像機に適用可能である。
【選択図】図８

Description

本発明は、画像処理装置および方法並びにプログラムに関し、特に、２次元フィルタ処理に頼ることなく、１次元画像処理から２次元画像処理に効率よく拡張できるようになった画像処理装置および方法並びにプログラムに関する。

従来、画像を構成する複数画素のうちの処理対象として注目すべき画素（以下、注目画素と称する）に対して施す画像処理として、水平方向と垂直方向のうちの何れか一方向に配置される複数の画素（注目画素含）の各画素値を利用する画像処理が存在する。以下、かかる画像処理を、１次元画像処理と称する。

また、注目画素の画素値に対して施す画像処理として、所定の２次元領域内の複数の画素（注目画素含）の各画素値を利用する画像処理が存在する。以下、かかる画像処理を、２次元画像処理と称する。

通常、２次元画像処理を実現するためには、１次元画像処理を拡張する手法が採用される。かかる手法として、フィルタを２次元化する手法と、水平方向と垂直方向との各１次元画像処理のそれぞれを行って各方向の処理結果を足し合わせるという手法（例えば特許文献１参照）とが従来利用されている。

特開２００４−２７２６５７号公報

しかしながら、前者の手法を利用した処理、即ち、２次元マトリクスを利用した処理（以下、２次元フィルタ処理と称する）を実行する画像処理装置を採用した場合には問題ないが、２次元フィルタ処理を実行しない画像処理装置を採用する必要がある場合には、次のような問題点が発生する。

即ち、２次元フィルタ処理を用いずに２次元画像処理を実現するためには、後者の手法、即ち、水平方向のみを処理対象とする１次元画像処理と、垂直方向のみを処理対象とする１次元画像処理との各結果を足し合わせる、といった手法が採用される。

このような手法で画像の補正が行われる場合、過補正になったり、未処理領域（補正がかからない領域等）が生じてしまう、という問題点が発生する。換言すると、このような手法は、1次元画像処理から2次元画像処理に効率よく拡張できた手法であるとは言い難い、という問題点が発生する。

本発明は、このような状況に鑑みてなされたものであり、２次元フィルタ処理に頼ることなく、1次元画像処理から2次元画像処理に効率よく拡張できるようにするものである。

本発明の一側面の画像処理装置は、水平方向と垂直方向とで定義される平面上に配置される複数の画素の各画素値から構成される画像データに対して、画像処理を施す画像処理装置であって、前記画像データを構成する前記各画素値のうちの、処理対象として注目すべき注目画素の画素値に対して、その注目画素を含む前記水平方向に配置される複数の画素の各画素値を利用する画像処理を施す水平方向画像処理手段と、前記注目画素の画素値に対して、その注目画素を含む前記垂直方向に配置される複数の画素の各画素値を利用する画像処理を施す垂直方向画像処理手段と、前記注目画素の画素値に対して、その注目画素を含む、前記水平方向および前記垂直方向とは異なる所定の斜め方向に配置される複数の画素の各画素値を利用する画像処理を施す斜め方向画像処理手段と、前記水平方向画像処理手段、前記垂直方向画像処理手段、および、前記斜め方向画像処理手段の各処理結果に基づいて、前記注目画素の画素値に対する補正量を決定する補正量決定手段と、前記注目画素の画素値に対して、前記補正量決定手段により決定された前記補正量を加算することで、前記注目画素の画素値を補正する補正手段とを備える。

前記斜め方向画像処理手段は、前記注目画素の画素値に対して、その注目画素を含む、前記水平方向に対して左４５度斜め方向に配置される複数の画素の各画素値を利用する画像処理を施す左４５度斜め方向画像処理手段と、前記注目画素の画素値に対して、その注目画素を含む、前記水平方向に対して右４５度斜め方向に配置される複数の画素の各画素値を利用する画像処理を施す右４５度斜め方向画像処理手段とを有する。

前記注目画素について、その補正方向と、前記補正量の指標となる補正指標量とに基づいて、前記水平方向画像処理手段、前記垂直方向画像処理手段、前記左４５度斜め方向画像処理手段、および、前記右４５度斜め方向画像処理手段の各処理結果を変更する変更手段をさらに設け、前記補正量決定手段は、前記水平方向画像処理手段、前記垂直方向画像処理手段、前記左４５度斜め方向画像処理手段、および、前記右４５度斜め方向画像処理手段についての前記変更手段により変更された各処理結果に基づいて、前記注目画素の画素値に対する前記補正量を決定することができる。

前記変更手段は、前記注目画素について、前記補正指標量の長さを有する前記補正方向のベクトルを補正指標ベクトルとして、前記補正指標ベクトルを、前記水平方向、前記垂直方向、前記左４５度斜め方向、および、前記右４５度斜め方向のそれぞれに分解し、その結果得られる前記水平方向、前記垂直方向、前記左４５度斜め方向、および、前記右４５度斜め方向の各ベクトルのそれぞれに基づいて、前記水平方向画像処理手段、前記垂直方向画像処理手段、前記左４５度斜め方向画像処理手段、および、前記右４５度斜め方向画像処理手段の各処理結果を変更することができる。

前記画像データは、動画像を構成する複数のアクセスユニットのうちの所定の１つについての画像データであり、前記注目画素についての移動ベクトルを検出する移動ベクトル検出手段をさらに設け、前記変更手段は、前記注目画素について、前記移動ベクトル検出手段により検出された前記移動ベクトルを、前記補正指標ベクトルとして利用することができる。

本発明の一側面の画像処理方法/プログラムは、水平方向と垂直方向とで定義される平面上に配置される複数の画素の各画素値から構成される画像データに対して、画像処理を施す画像処理装置の画像処理方法／そのような画像処理を制御するコンピュータに実行させるプログラムであって、前記画像データを構成する前記各画素値のうちの、処理対象として注目すべき注目画素の画素値に対して、その注目画素を含む前記水平方向に配置される複数の画素の各画素値を利用する水平方向画像処理を施し、前記注目画素の画素値に対して、その注目画素を含む前記垂直方向に配置される複数の画素の各画素値を利用する垂直方向画像処理を施し、前記注目画素の画素値に対して、その注目画素を含む、前記水平方向および前記垂直方向とは異なる所定の斜め方向に配置される複数の画素の各画素値を利用する斜め方向画像処理を施し、前記水平方向画像処理、前記垂直方向画像処理、および、前記斜め方向画像処理の各結果に基づいて、前記注目画素の画素値に対する補正量を決定し、前記注目画素の画素値に対して、決定された前記補正量を加算することで、前記注目画素の画素値を補正するステップを含む。

本発明の一側面においては、水平方向と垂直方向とで定義される平面上に配置される複数の画素の各画素値から構成される画像データに対して、次のような画像処理が施される。即ち、前記画像データを構成する前記各画素値のうちの、処理対象として注目すべき注目画素の画素値に対して、その注目画素を含む前記水平方向に配置される複数の画素の各画素値を利用する水平方向画像処理、その注目画素を含む前記垂直方向に配置される複数の画素の各画素値を利用する垂直方向画像処理、および、その注目画素を含む、前記水平方向および前記垂直方向とは異なる所定の斜め方向に配置される複数の画素の各画素値を利用する斜め方向画像処理がそれぞれ施され、それらの画像処理の各結果に基づいて、前記注目画素の画素値に対する補正量が決定され、前記注目画素の画素値に対して、決定された前記補正量が加算されることで、前記注目画素の画素値が補正される。

以上のごとく、本発明によれば、画像データを構成する各画素の画素値に対して、２次元画像処理による補正を行うことができる。特に、２次元フィルタ処理に頼ることなく、１次元画像処理から２次元画像処理に効率よく拡張できる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、明細書又は図面における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、明細書又は図面に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、明細書又は図面に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明の一側面の画像処理装置（例えば、図８、図１０、図１１の画像処理装置）は、
水平方向と垂直方向とで定義される平面（例えば図７の水平方向Ｈと垂直方向Ｖで定義される平面）上に配置される複数の画素の各画素値から構成される画像データに対して、画像処理を施す画像処理装置において、
前記画像データを構成する前記各画素値のうちの、処理対象として注目すべき注目画素の画素値に対して、その注目画素を含む前記水平方向に配置される複数の画素の各画素値を利用する画像処理を施す水平方向画像処理手段（例えば図８、図１０、図１１の水平補正部２１）と、
前記注目画素の画素値に対して、その注目画素を含む前記垂直方向に配置される複数の画素の各画素値を利用する画像処理を施す垂直方向画像処理手段（例えば図８、図１０、図１１の垂直補正部２２）と、
前記注目画素の画素値に対して、その注目画素を含む、前記水平方向および前記垂直方向とは異なる所定の斜め方向に配置される複数の画素の各画素値を利用する画像処理を施す斜め方向画像処理手段（例えば図８、図１０、図１１の左斜め補正部２３や右斜め補正部２４）と、
前記水平方向画像処理手段、前記垂直方向画像処理手段、および、前記斜め方向画像処理手段の各処理結果に基づいて、前記注目画素の画素値に対する補正量を決定する補正量決定手段（例えば図８の例の場合は総合補正部３０であり、図１０の例の場合は総合補正部３５であり、図１１の例の場合は総合補正部４２）と、
前記注目画素の画素値に対して、前記補正量決定手段により決定された前記補正量を加算することで、前記注目画素の画素値を補正する補正手段（例えば図８、図１０、図１１の加算部３１）と
を備える。

前記斜め方向画像処理手段は、
前記注目画素の画素値に対して、その注目画素を含む、前記水平方向に対して左４５度斜め方向（例えば図７の線Ｌに平行な方向）に配置される複数の画素の各画素値を利用する画像処理を施す左４５度斜め方向画像処理手段（例えば図８、図１０、図１１の左斜め補正部２３）と、
前記注目画素の画素値に対して、その注目画素を含む、前記水平方向に対して右４５度斜め方向（例えば図７の線Ｒに平行な方向）に配置される複数の画素の各画素値を利用する画像処理を施す右４５度斜め方向画像処理手段（例えば図８、図１０、図１１の右斜め補正部２４）と
を有する。

前記注目画素について、その補正方向と、前記補正量の指標となる補正指標量とに基づいて、前記水平方向画像処理手段、前記垂直方向画像処理手段、前記左４５度斜め方向画像処理手段、および、前記右４５度斜め方向画像処理手段の各処理結果を変更する変更手段（例えば、例えば図８の例の総合補正部３０、図１０の例の総合補正部３５、および、図１１の例の総合補正部４２のうちの、図９のステップＳ２の処理を実行する部分であって、具体的には例えば図１１の例の総合補正部４２のうちの水平/垂直補正量決定部５１や左/右斜め補正量決定部５２）をさらに備え、
前記補正量決定手段は、前記水平方向画像処理手段、前記垂直方向画像処理手段、前記左４５度斜め方向画像処理手段、および、前記右４５度斜め方向画像処理手段についての前記変更手段により変更された各処理結果に基づいて、前記注目画素の画素値に対する前記補正量を決定する。

前記変更手段は、前記注目画素について、
前記補正指標量の長さを有する前記補正方向のベクトル（例えば図７のベクトルvt1）を補正指標ベクトルとして、
前記補正指標ベクトルを、前記水平方向、前記垂直方向、前記左４５度斜め方向、および、前記右４５度斜め方向のそれぞれに分解し、
その結果得られる前記水平方向、前記垂直方向、前記左４５度斜め方向、および、前記右４５度斜め方向の各ベクトル（例えば図７の補正指標ベクトルvt1についての、水平方向のベクトルv1、０ベクトルである垂直方向および左４５度斜め方向のベクトル、並びに、右４５度斜め方向のベクトルv2）のそれぞれに基づいて、前記水平方向画像処理手段、前記垂直方向画像処理手段、前記左４５度斜め方向画像処理手段、および、前記右４５度斜め方向画像処理手段の各処理結果を変更する。

前記画像データは、動画像を構成する複数のアクセスユニットのうちの所定の１つについての画像データであり、
前記注目画素についての移動ベクトルを検出する移動ベクトル検出手段（例えば図１０の移動ベクトル検出部３２）をさらに備え、
前記変更手段は、前記注目画素について、前記移動ベクトル検出手段により検出された前記移動ベクトルを、前記補正指標ベクトルとして利用する。

本発明の一側面の画像処理方法は、
水平方向と垂直方向とで定義される平面上に配置される複数の画素の各画素値から構成される画像データに対して、画像処理を施す画像処理装置（例えば、図８、図１０、図１１の画像処理装置）の画像処理方法であって、
前記画像データを構成する前記各画素値のうちの、処理対象として注目すべき注目画素の画素値に対して、その注目画素を含む前記水平方向に配置される複数の画素の各画素値を利用する水平方向画像処理を施し、
前記注目画素の画素値に対して、その注目画素を含む前記垂直方向に配置される複数の画素の各画素値を利用する垂直方向画像処理を施し、
前記注目画素の画素値に対して、その注目画素を含む、前記水平方向および前記垂直方向とは異なる所定の斜め方向に配置される複数の画素の各画素値を利用する斜め方向画像処理を施し（例えば図９のステップＳ１の処理）、
前記水平方向画像処理、前記垂直方向画像処理、および、前記斜め方向画像処理の各結果に基づいて、前記注目画素の画素値に対する補正量を決定し（例えば図９のステップＳ３の処理）、
前記注目画素の画素値に対して、決定された前記補正量を加算することで、前記注目画素の画素値を補正する（例えば図９のステップＳ４の処理）
ステップを含む。

本発明の一側面のプログラムは、上述した本発明の一側面の画像処理方法に対応するプログラムである。詳細については後述するが、このプログラムは、例えば、図１８のリムーバブルメディア１１１や、記憶部１０８に含まれるハードディスク等の記録媒体に記録され、図１８の構成のコンピュータにより実行される。

その他、本発明の一側面としては、上述した本発明の一側面のプログラムを記録した記録媒体も含まれる。

以上説明した本発明の一側面の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。

ここで、１次元画像処理から２次元画像処理への拡張手法として、上述した従来の２つの手法のうちの、２次元フィルタ処理を利用しない方の手法、即ち、水平方向と垂直方向との各補正処理（１次元画像処理）のそれぞれを行い、各補正処理の結果（補正量）を足し合わせる（合成する）、といった従来の手法について説明する。なお、以下、かかる従来の手法を、単に、従来の拡張手法と称する。

図１は、従来の拡張手法が適用される画像処理装置の機能的構成例を示している。以下、図１の例の画像処理装置を、単に、従来の画像処理装置と称する。

なお、以下の説明においては、次の前提事項が成立しているとする。

即ち、従来の画像処理装置は、動画像データに対する各種画像処理をアクセスユニット単位で実行するとする。アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各静止画像全体（フレーム等）またはその一部分（フィールド等）を指す。ただし、以下、説明の簡略上、従来の画像処理装置は、動画像データに対する各種画像処理をフレーム単位で実行するとする。

また、従来の画像処理装置を構成する各機能ブロック（加算部等の演算部も含む）に入力される信号を、まとめて入力信号と適宜称する。即ち、動画像、動画像を構成する各フレーム、および、各フレームを構成する各画素（各画素値）といった入力単位によらず、一括して入力信号と適宜称する。同様に、各機能ブロックから出力される信号を、その出力単位によらず、一括して出力信号と適宜称する。換言すると、入力単位や出力単位の区別が必要な場合、その単位（主に画素値）を用いて説明を行い、それ以外の場合、単に入力信号または出力信号を用いて説明を行う。

なお、以上の前提事項は、後述する本発明が適用される種々の画像処理装置についても成立するとする。

図１の例の従来の画像処理装置は、水平補正部１乃至加算部４から構成される。

かかる従来の画像処理装置において、所定のフレームデータまたはその一部分が入力信号T0として、水平補正部１、垂直補正部２、および加算部４に提供される。

水平補正部１は、入力信号T0に対して、水平方向の１次元画像処理を施し、その結果得られる信号を出力信号T1として加算部３に提供する。ここに、水平方向の１次元画像処理とは、注目画素と、その水平方向のライン上に配置される幾つかの別の画素との各画素値を利用して、注目画素の水平方向補正量を決定する処理をいう。

また、垂直補正部２は、入力信号T0に対して、垂直方向の１次元画像処理を施し、その結果得られる信号を出力信号T2として加算部３に提供する。ここに、垂直方向の１次元画像処理とは、注目画素と、その垂直方向のライン上に配置される幾つかの別の画素との各画素値を利用して、注目画素の垂直方向補正量を決定する処理をいう。

加算部３は、水平補正部１の出力信号T1と、垂直補正部２の出力信号T2とを加算し、その結果得られる信号T1＋T2を出力信号T3として加算部４に提供する。

加算部４は、入力信号T0に対して、加算部３の出力信号T3を加算し、その結果得られる信号T0＋T3を、最終的な出力信号T4として外部に出力する。

このように、水平補正部１の出力信号T1が水平方向補正信号であり、垂直補正部２の出力信号T2が垂直方向補正信号であるといえる。従って、それらの加算信号である加算部３の出力信号T3がトータル補正信号として、入力信号T0に加算されるのである。換言すると、入力信号T0が例えば各画素値（フレームを構成する各画素の画素値）で構成される場合には、水平補正部１の出力信号T1とは、各画素値についての水平方向補正量から構成される信号であるといえる。一方、垂直補正部２の出力信号T2とは、各画素値についての垂直方向補正量から構成される信号であるといえる。従って、加算部３の出力信号T３とは、
各画素値についての水平方向補正量と垂直方向補正量との合成量（トータル補正量）から構成される信号であるといえる。

次に、図２乃至図４を参照して、図１の例の従来の画像処理装置の補正処理の結果の例について説明する。

例えば、図２に示されるように、対角線を境にして左方が白色で右方が黒色の正方形の中央部分の領域１１が、図３に示されるように水平方向に１０画素分で垂直方向に９画素分（以下、10×９画素と称する）からなるフレーム１１−１として、従来の画像処理装置に入力されたとする。

より正確には、図３のフレーム１１−１を構成する１０×９の画素の各画素値が、入力信号T0として従来の画像処理装置に入力されて、画像処理（補正処理）が施されることになる。ただし、ここでは、説明を容易なものとするために、図３のフレーム１１−１自体が入力信号T0であるとして、以下の説明を行っていく。

また、水平補正部１の処理、即ち、水平方向の１次元画像処理は、水平方向に隣接して並ぶ７つの画素を処理対象とするフィルタ処理、即ち、７タップのフィルタによる水平補正処理であるとする。この場合、図３のフレーム１１−１に対して、かかる水平補正部１の処理による補正が施される領域が、図４のフレーム１１−２のうちの灰色の領域として示されている。

また、垂直補正部２の処理、即ち、垂直方向の１次元画像処理は、垂直方向に隣接して並ぶ７つの画素を処理対象とするフィルタ処理、即ち、７タップのフィルタによる垂直補正処理であるとする。この場合、図３のフレーム１１−１に対して、かかる垂直補正部２の処理により補正が施される領域が、図５のフレーム１１−３のうちの灰色の領域として示されている。

図４と図５とを比較するに、水平補正部１の処理でも垂直補正部２の処理でも、図３のフレーム１１−１のうちの補正が施される領域は、同一領域（図４と図５において灰色となっている領域）になることがわかる。

従って、従来の画像処理装置では、結局、図３のフレーム１１−１のうちの、図４と図５の灰色領域に対応する領域のみに対して、補正が施されることになる。そして、それらの領域における補正量は、水平方向補正量と垂直方向補正量との加算量（トータル補正量）となる。また、図３のフレーム１１−１のうちの、図４と図５の灰色領域に対応する領域以外の領域（図４と図５において黒色のままとなっている領域）では、全く補正が施されないことになる。

即ち、従来の画像処理装置では、図３のフレーム１１−１のうちの、図４と図５の灰色領域に対応する領域が過補正となり、それ以外の領域、即ち、図４と図５の黒色領域に対応する領域が、処理できない領域（補正がかからない領域等）となる、という上述した問題点が発生してしまう。

そこで、本発明人は、図３のフレーム１１−１に対して、左４５度斜めの方向（図２の白黒を分割する対角線と直行する方向、即ち、図２には図示せぬもう一方の対角線の方向）に隣接して並ぶ７つの画素を処理対象とするフィルタ処理、即ち、７タップのフィルタによる斜め補正処理を施す試験を行った。かかる試験の結果が、図６に示されている。即ち、図６のフレーム１１−４のうちの、灰色領域が、かかる斜め補正処理による補正が施された領域であり、黒色領域が、その補正が施されなかった領域である。

図６と、図４や図５とを比較するに、補正が施された領域（灰色領域）が拡張していること、即ち、斜め補正処理による補正範囲は、水平や垂直の補正処理による補正範囲に比較して広範囲となることがわかる。

そこで、本発明人は、かかる試験結果に基づいて、１次元画像処理から２次元画像処理への拡張手法として、次のような新たな手法を発明した。即ち、水平補正処理と垂直補正処理のそれぞれを行うのみならず、さらに、所定の斜め方向の補正処理を行い、それぞれの補正処理の各結果（各方向補正量）を合成する、という手法を本発明人は発明した。以下、かかる拡張手法を、斜め方向考慮拡張手法と称する。

このようにして、斜め方向考慮拡張手法を適用することで、処理できない領域（補正が施されない領域）の範囲を縮小させることができる、という効果を奏することが可能になる。

ただし、斜め方向考慮拡張手法の合成処理において、水平方向、垂直方向、および、斜め方向の何れにも補正が施された領域（図６の灰色領域のうちの、図４と図５とにおいても灰色領域となっている領域）では、そのトータル補正量（合成された補正量）をただ単に、水平方向、垂直方向、および、斜め方向の各補正量の総加算量とすると、過補正になってしまう。即ち、水平方向、垂直方向、および、斜め方向の各補正量の総加算量をそのままトータル補正量（合成された補正量）として使用してしまうと、上述した問題点のうちの、過補正になってしまうという問題点については依然として解決できないことになる。

そこで、本発明人は、かかる過補正の問題点も解決すべく、さらに、斜め方向考慮拡張手法の応用手法として、次のような新たな手法を発明した。即ち、水平方向、垂直方向、および斜め方向のそれぞれの補正処理を行うところまでは、斜め方向考慮拡張手法と同一である。ただし、その後、各方向の補正処理の各結果（各方向補正量）を合成する合成処理では、各方向補正量をただ単に加算するのではなく、各方向補正量を、本来補正したい方向（以下、補正方向と称する）に応じてそれぞれ個別に変更し（再補正し）、変更後の各方向補正量を加算する、という手法を本発明人は発明した。以下、かかる手法を、斜め方向考慮拡張応用手法と称する。

以下、かかる斜め方向考慮拡張応用手法が適用された画像処理装置（その構成については後述する）の処理（特に合成処理）の概略について説明する。なお、以下、斜め方向考慮拡張応用手法が適用された画像処理装置を、単に本発明の画像処理装置と称する。

例えば、図７に示されるように、補正対象のフレーム（上述した例では図３のフレーム１１−１）の水平方向Ｈを横軸として、垂直方向Ｖを縦軸とした二次元座標系を考える。この場合、注目画素についての補正方向は、この座標系内の所定のベクトルの方向として表現することができる。具体的には例えば図７の例では、ベクトルvt1，vt2の方向が、補正方向とされている。この場合、ベクトルvt1，vt2の各長さは、注目画素に対するトータル補正量に対応する長さであるとする。

この場合、例えば図７に示されるように、ベクトルvt1＝(a,b)は、水平方向のベクトルv1と、右４５度斜め方向（線Ｒに平行な方向）のベクトルv2と、０ベクトルである垂直方向および左４５度斜め方向（線Ｌに平行な方向）のベクトルとにそれぞれ分解できる。

そこで、本発明の画像処理装置は、水平方向補正量については、ベクトルv1に対応する量に変更し、右４５度斜め方向補正量については、ベクトルv2に対応する量に変更し、垂直方向と左４５度斜め方向の各補正量についてはそれぞれ０（０ベクトルに対応する量）に変更する。そして、本発明の画像処理装置は、変更後の各方向補正量を加算する。以上の一連の処理が、斜め方向考慮拡張応用手法における合成処理の一例であって、図７のベクトルv1，v2を合成してベクトルvt1を生成するのと等価な処理となる。従って、本発明の画像処理装置は、かかる一連の処理結果（合成処理結果）を注目画素の画素値に加算することで、補正方向（ベクトルvt1の方向）の補正として、トータル補正量（ベクトルvt1の長さに対応する量）を注目画素の画素値に加算する補正を行ったことと等化になる。その結果、注目画素の画素値は適正に補正されることになる。即ち、過補正が防止されるのである。

同様に、例えば図７に示されるように、ベクトルvt2＝(-a,b)は、水平方向のベクトルv3と、左４５度斜め方向（線Ｌに平行な方向）のベクトルv4と、０ベクトルである垂直方向および右４５度斜め方向（線Ｒに平行な方向）のベクトルとにそれぞれ分解できる。

そこで、本発明の画像処理装置は、水平方向補正量については、ベクトルv3に対応する量に変更し、左４５度斜め方向補正量については、ベクトルv4に対応する量に変更し、垂直方向と右４５度斜め方向の各補正量についてはそれぞれ０（０ベクトルに対応する量）に変更する。そして、本発明の画像処理装置は、変更後の各方向補正量を足し合わせる。以上の一連の処理が、斜め方向考慮拡張応用手法における合成処理の一例であって、図７のベクトルv3，v4を合成してベクトルvt2を生成するのと等価な処理となる。従って、本発明の画像処理装置は、かかる一連の処理結果（合成処理結果）を注目画素の画素値に加算することで、補正方向（ベクトルvt2の方向）の補正として、トータル補正量（ベクトルvt2の長さに対応する量）を注目画素の画素値に加算する補正を行ったことと等化になる。その結果、注目画素の画素値は適正に補正されることになる。即ち、過補正が防止されるのである。

なお、ベクトルvt1は、図７の例では、水平方向のベクトルv1と、右４５度斜め方向のベクトルv2とに分解されているが（他方向は0ベクトルとされているが）、垂直方向と右４５度斜め方向のベクトルとに分解されてもよい。同様に、ベクトルvt2は、図７の例では、水平方向のベクトルv3と、左４５度斜め方向のベクトルv4とに分解されているが、垂直方向と左４５度斜め方向のベクトルとに分解されてもよい。

また、補正方向は、ベクトルvt1，vt2の方向に限定されず、何れの方向ともなり得るが、補正方向が何れの方向であっても、その補正方向のベクトルは、水平方向、垂直方向、左４５度斜め方向、および、右４５度斜め方向の各ベクトル（０ベクトル含む）に分解できる。

以上の内容をまとめると、本発明の画像処理装置は、注目画素について、次のような一連の処理を行うことになる。

即ち、本発明の画像処理装置は、水平方向、垂直方向、左４５度斜め方向、および、右４５度斜め方向のそれぞれの１次元補正処理を行う。

次に、本発明の画像処理装置は、合成処理を実行する。

即ち、本発明の画像処理装置は、トータル補正量の指標となる量（以下、補正指標量と称する）をその長さとし、かつ、補正方向をその方向とするベクトル（以下、補正指標ベクトルと称する）を定義する。そして、本発明の画像処理装置は、補正指標ベクトルを、水平方向、垂直方向、左４５度斜め方向、および、右４５度斜め方向のそれぞれのベクトル（０ベクトル含む）に分解する。

次に、本発明の画像処理装置は、水平方向、垂直方向、左４５度斜め方向、および、右４５度斜め方向のそれぞれの1次元補正処理の結果（各方向補正量）を、対応する方向のベクトルに応じてそれぞれ個別に変更する（対応する方向のベクトルが０ベクトルの場合には補正量は０にする）。

次に、本発明の画像処理装置は、変更後の各方向補正量を足し合わせ、その結果得られる量をトータル補正量として決定する。

以上の一連の処理が、合成処理である。

そして、本発明の画像処理装置は、注目画素の画素値に対して、合成処理の結果得られたトータル補正量を加算することで、その注目画素の補正を行う。

以上の一連の処理を実行可能な本発明の画像処理装置の機能的構成例が図８に示されている。

図８の例の本発明の画像処理装置は、水平補正部２１乃至加算部３１から構成されている。

かかる本発明の画像処理装置において、図１の例と同様の信号T0が入力信号として、水平補正部２１、垂直補正部２２、左斜め補正部２３、右斜め補正部２４、および加算部３１に提供される。

水平補正部２１は、入力信号T0に対して、水平方向の１次元画像処理を施し、その結果得られる信号を出力信号T1（図１の水平補正部１の出力信号T1と同様の信号）として乗算部２５に提供する。即ち、水平補正部２１として、従来の水平補正部１をそのまま採用することもできる。

垂直補正部２２は、入力信号T0に対して、垂直方向の１次元画像処理を施し、その結果得られる信号を出力信号T2（図１の垂直補正部２の出力信号T2と同様の信号）として乗算部２６に提供する。即ち、垂直補正部２２として、従来の垂直補正部２をそのまま採用することもできる。

左斜め補正部２３は、入力信号T0に対して、左４５度斜め方向の１次元画像処理を施し、その結果得られる信号を出力信号T3として乗算部２７に提供する。

ここに、左４５度斜め方向の１次元画像処理とは、注目画素と、その左４５度斜め方向に配置される幾つかの別の画素との各画素値を利用して、注目画素の左４５度斜め方向補正量を決定する処理をいう。即ち、入力信号T0が例えば各画素値（フレームを構成する各画素の画素値）で構成される場合には、左斜め補正部２３の出力信号T3とは、各画素値についての左４５度斜め方向補正量から構成される信号であるといえる。

右斜め補正部２４は、入力信号T0に対して、右４５度斜め方向の１次元画像処理を施し、その結果得られる信号を出力信号T4として乗算部２８に提供する。

ここに、右４５度斜め方向の１次元画像処理とは、注目画素と、その右４５度斜め方向に配置される幾つかの別の画素との各画素値を利用して、注目画素の右４５度斜め方向補正量を決定する処理をいう。即ち、入力信号T0が例えば各画素値（フレームを構成する各画素の画素値）で構成される場合には、右斜め補正部２４の出力信号T4とは、各画素値についての右４５度斜め方向補正量から構成される信号であるといえる。

総合補正部３０は、水平補正部２１の出力信号T1、垂直補正部２２の出力信号T2、左斜め補正部２３の出力信号T3、および、右斜め補正部２４の出力信号T4に対して、図７を用いて上述したベクトルの概念を利用した合成処理を施し、その結果得られるトータル補正信号T5（図７の例では、ベクトルvt1やvt2に対応する信号T5）を生成し、それを出力信号として加算部３１に提供する。

加算部３１は、入力信号T0に対して、総合補正部３０からのトータル補正信号T5を加算し、その結果得られる信号T0＋T5を、最終的な出力信号T6として外部に出力する。

以下、繰り返しになるが、この図８の例の本発明の画像処理装置の処理（以下、補正処理と称する）の一例について、図９のフローチャートを参照して再度説明する。

ステップＳ１において、水平補正部２１、垂直補正部２２、左斜め補正部２３、および、右斜め補正部２４のそれぞれは、水平、垂直、左斜め、および右斜め方向の各補正信号T1，T2，T3，T4のそれぞれを、原信号T0（入力信号T0）から生成する。各補正信号T1，T2，T3，T4のそれぞれが総合補正部３０に提供されると、処理はステップＳ２に進む。

ステップＳ２において、総合補正部３０は、各補正信号T1，T2，T3，T4のそれぞれに対して、図７で説明したベクトルの概念を利用して再補正する。

ステップＳ３において、総合補正部３０は、再補正後の各補正信号T1，T2，T3，T4からトータル補正信号T5を生成する。

具体的には例えば、補正指標ベクトルが、上述した図７のベクトルvt1である場合には、補正信号T1がベクトルv1に応じて変更された結果得られる信号が、ステップＳ２の処理結果である再補正後の補正信号T1となり、補正信号T2が0ベクトルに応じて変更された結果得られる信号（即ち0信号）が、ステップＳ２の処理結果である再補正後の補正信号T2となり、補正信号T3が0ベクトルに応じて変更された結果得られる信号（即ち0信号）が、ステップＳ２の処理結果である再補正後の補正信号T3となり、補正信号T4がベクトルv2に応じて変更された結果得られる信号が、ステップＳ２の処理結果である再補正後の補正信号T4となる。従って、ステップＳ３の処理で、ベクトルvt1に対応する信号が、トータル補正信号T5として生成されることになる。

また例えば、補正指標ベクトルが、上述した図７のベクトルvt2である場合には、補正信号T1がベクトルv3に応じて変更された結果得られる信号が、ステップＳ２の処理結果である再補正後の補正信号T1となり、補正信号T2が0ベクトルに応じて変更された結果得られる信号（即ち0信号）が、ステップＳ２の処理結果である再補正後の補正信号T2となり、補正信号T3がベクトルv4に応じて変更された結果得られる信号が、ステップＳ２の処理結果である再補正後の補正信号T3となり、補正信号T4が０ベクトルに応じて変更された結果得られる信号（即ち0信号）が、ステップＳ２の処理結果である再補正後の補正信号T4となる。従って、ステップＳ３の処理で、ベクトルvt2に対応する信号が、トータル補正信号T5として生成されることになる。

このように、ステップＳ２とＳ３の処理が、上述した斜め方向考慮拡張応用手法における合成処理の一例である。

ただし、ここでは、説明の簡略上、合成処理は全て総合補正部３０側で行われるとしたが、合成処理の一部を、後述する図１０の例のように、各方向の補正部（水平補正部２１、垂直補正部２２、左斜め補正部２３、および右斜め補正部２４）側に委譲してもよい。

トータル補正信号T5が加算部３１に提供されると、処理はステップＳ４に進む。ステップＳ４において、加算部３１は、原信号T0（入力信号T0）に対してトータル補正信号T5を加算した信号T0+T5を、出力信号T6として外部に出力する。これにより、補正処理は終了となる。

以上、図８の例の本発明の画像処理装置の補正処理について説明した。

かかる図８の例の本発明の画像処理装置は、例えば本発明人の既出願（特願２００４−３５４５７１号等）の願書に添付した明細書等に記載されている画像処理装置、即ち、撮像ボケを抑制すべく、移動ベクトルの大きさ（長さ）に応じた補正量で補正を行う画像処理装置として採用可能である。

この場合、移動ベクトルを補正指標ベクトルとして利用するようにすれば、本発明の画像処理装置は、例えば次の図１０のように構成することができる。

図１０において、図８と対応する箇所には対応する符号を付しており、それらの箇所については説明を適宜省略する。

図１０の例の本発明の画像処理装置においては、図８の例には無い分解部２９と移動ベクトル検出部３２が設けられている。また、図８の総合補正部３０の代わりに総合補正部３５が設けられている。即ち、詳細については後述するが、上述した合成処理の一部（図９のステップＳ２の処理）が、図１０の例では水平補正部２１乃至右斜め補正部２４に委譲されており、図１０の例では、ステップＳ３の処理のみを実行する総合補正部３５が設けられているのである。

図１０の例の本発明の画像処理装置において、移動ベクトル検出部３２は、入力信号T0に対応する所定のフレームとその前後の幾つかのフレームとから、その所定のフレームを構成する各画素のそれぞれについて、水平方向の移動ベクトルと、垂直方向の移動ベクトルとをそれぞれ検出する。そして、移動ベクトル検出部３２は、所定のフレームを構成する各画素の水平方向の移動ベクトル信号MV_H（以下、単にMV_Hと称する）と、各画素の垂直方向の移動ベクトル信号MV_V（以下、単にMV_Vと称する）とを分解部２９に供給する。

分解部２９は、MV_Hを構成する各画素の水平方向の移動ベクトルと、MV_Vを構成する各画素の垂直方向の移動ベクトルとの合成ベクトル（即ち、移動ベクトル）を、各画素の補正指標ベクトルとして、各画素についての補正指標ベクトルを、水平方向、垂直方向、左４５度斜め方向、および、右４５度斜め方向のそれぞれに分解したベクトルをそれぞれ生成する。そして、分解部２９は、各画素の水平方向のベクトルからなる信号を、移動ベクトル信号MV0（以下、単にMV0と称する）として水平補正部２１に提供する。分解部２９は、各画素の垂直方向のベクトルからなる信号を、移動ベクトル信号MV1（以下、単にMV1と称する）として垂直補正部２２に提供する。分解部２９は、各画素の左４５度斜め方向のベクトルからなる信号を、移動ベクトル信号MV2（以下、単にMV2と称する）として左斜め補正部２３に提供する。分解部２９は、各画素の右４５度斜め方向のベクトルからなる信号を、移動ベクトル信号MV3（以下、単にMV3と称する）として右斜め補正部２４に提供する。

なお、以下、注目画素の処理について説明する場合、注目画素の水平方向の移動ベクトルをMV_Hと称し、注目画素の垂直方向の移動ベクトルをMV_Vと称する。また、水平補正部２１に対して注目画素の移動ベクトルとして与えられるベクトルをMV0と称する。垂直補正部２２に対して注目画素の移動ベクトルとして与えられるベクトルをMV1と称する。左斜め補正部２３に対して注目画素の移動ベクトルとして与えられるベクトルをMV2と称する。右斜め補正部２４に対して注目画素の移動ベクトルとして与えられるベクトルをMV3と称する。

即ち、図１０の例では、注目画素の補正指標ベクトル（MV_HとMV_Vとの合成ベクトルである移動ベクトル）が、水平、垂直、左４５度斜め、および右斜め方向に分解され、それらのうちの、水平方向のベクトルがMV0として水平補正部２１に提供され、垂直方向のベクトルがMV1として垂直補正部２２に提供され、左４５度斜め方向のベクトルがMV2として左斜め補正部２３に提供され、右４５度斜め方向のベクトルがMV3として右斜め補正部２４に提供される。

ここで例えば、各方向のそれぞれにおいて、所定の一方向を＋方向とし、その反対方向を−方向とする。具体的には例えば図７の例では、水平方向Ｈのうちの、図中右方向を＋方向として、図中左方向を−方向とする。垂直方向Ｖのうちの、図中上方向を＋方向として、図中下方向を−方向とする。左４５度斜め方向（線Ｌの方向）のうちの、図中左斜め上方向を＋方向として、図中右斜め下方向を−方向とする。右４５度斜め方向（線Ｒの方向）のうちの、図中右斜め上方向を＋方向として、図中左斜め下方向を−方向とする。

この場合、MV_H，MV_V，MV0,MV1,MV2,MV3のそれぞれは、+k（kは、ベクトルの大きさを表す任意の整数値）または-kで表現することができる。

以上の前提の下、分解部２９が、注目画素に対して実行する処理の例について説明する。

上述したように、図１０の例では、MV_HとMV_Vとの合成ベクトル、即ち移動ベクトルが補正指標ベクトルとして採用されている。従って、例えばMV_H＝+a，MV_V=+bの場合には、補正指標ベクトル（移動ベクトル）は図７のベクトルvt1になる。また、例えばMV_H＝−a，MV_V＝+bの場合には、補正指標ベクトルがベクトルvt2となる。そこで、以下、説明を容易なものとするために、移動ベクトルは図７のベクトルvt1またはvt2であるとして説明していく。即ち、以下、MV_Hの大きさはaであるとし、MV_Vの大きさはbであるとして説明していく。

この場合、分解部２９は、補正指標ベクトルを、水平方向、垂直方向、左４５度斜め方向、および、右４５度斜め方向のそれぞれに分解することになるが、これらのうちの、水平方向と垂直方向のベクトルについては、次のようにして生成（分解）する。即ち、分解部２９は、水平方向と垂直方向とのうちの、aとbのうちの大きい方に対応する方向（即ち、aが大きければ水平方向であり、bが大きければ垂直方向である）のベクトルとして、max（a，b）−min（a，b）の大きさを有するベクトルを生成する。なお、max()とは、最大値を出力する関数を意味し、min()とは、最小値を出力する関数を意味する。この場合、分解部２９は、もう一方の方向のベクトルは０ベクトルとする。

具体的には、aの方が大きい場合（図７の例の場合）、a−bの大きさを有する水平方向のベクトルが生成され、そのベクトルがMV0として水平補正部２１に提供されることになる。この場合、垂直方向のベクトルは０ベクトルとなり、その0ベクトルがMV1として垂直補正部２２に提供されることになる。

これに対して、bの方が大きい場合（図７には図示されていない場合）、b−aの大きさを有する垂直方向のベクトルが生成され、そのベクトルがMV1として垂直補正部２２に提供さることになる。この場合、水平方向のベクトルは０ベクトルとなり、その０ベクトルがMV0として水平補正部２１に提供されることになる。

また、分解部２９は、補正指標ベクトルを、水平方向、垂直方向、左４５度斜め方向、および、右４５度斜め方向のそれぞれに分解することになるが、これらのうちの、左４５度斜め方向と右４５度斜め方向のベクトルについては、次のようにして生成（分解）する。即ち、分解部２９は、MV_HとMV_Vとの符号が同一の場合（図７の例では、ベクトルvt1が移動ベクトルとされている場合）、min（a，b）の大きさを有する右４５度斜め方向のベクトルを生成して、そのベクトルをMV3として右斜め補正部２４に提供する。この場合、分解部２９は、左４５度斜め方向のベクトルは０ベクトルであると決定して（０ベクトルを生成して）、その０ベクトルをMV2として左斜め補正部２３に提供する。

これに対して、分解部２９は、MV_HとMV_Vとの符号が異なる場合（図７の例では、ベクトルvt2が移動ベクトルとされている場合）、min（a，b）の大きさを有する左４５度斜め方向のベクトルを生成して、そのベクトルをMV2として左斜め補正部２３に提供する。この場合、分解部２９は、右４５度斜め方向のベクトルは０ベクトルであると決定し（０ベクトルを生成し）、その０ベクトルをMV3として右斜め補正部２４に提供する。

このようにして、補正指標ベクトル（移動ベクトル）が、水平方向、垂直方向、左４５度斜め方向、および、右４５度斜め方向のそれぞれに分解され、その結果得られる各方向のベクトルのそれぞれがMV0，MV1，MV2,MV3のそれぞれ（0ベクトル含む）として、水平補正部２１、垂直補正部２２、左斜め補正部２３、右斜め補正部２４のそれぞれに提供される。

すると、水平補正部２１は、入力信号（原信号）T0に対して、MV0を考慮した水平方向の１次元画像処理を施し、その結果得られる信号を出力信号T11として総合補正部３５に提供する。

同様に、垂直補正部２１は、入力信号（原信号）T0に対して、MV1を考慮した垂直方向の１次元画像処理を施し、その結果得られる信号を出力信号T12として総合補正部３５に提供する。

左斜め補正部２３は、入力信号（原信号）T0に対して、MV2を考慮した左４５度斜め方向の１次元画像処理を施し、その結果得られる信号を出力信号T13として総合補正部３５に提供する。

右斜め補正部２４は、入力信号（原信号）T0に対して、MV3を考慮した右４５度斜め方向の１次元画像処理を施し、その結果得られる信号を出力信号T14として総合補正部３５に提供する。

この場合、MV0，MV1，MV2,MV3のそれぞれ（0ベクトル含む）は、上述したように、図７のベクトルの概念に基づいて生成されたベクトル（補正指標ベクトルから、水平方向、垂直方向、左４５度斜め方向、および、右４５度斜め方向のそれぞれに分解されたベクトル）である。従って、水平補正部２１の出力信号T11、垂直補正部２２の出力信号T12、左斜め補正部２３の出力信号T13、および、右斜め補正部２４の出力信号T14のそれぞれは、図９のステップＳ２の処理結果としての信号（再補正後の各方向補正信号）である。即ち、水平方向、垂直方向、左４５度斜め方向、および、右４５度斜め方向のそれぞれのベクトルに対応する各方向の補正信号であるといえる。このように、図１０の例では、水平補正部２１乃至右斜め補正部２４が、図９のステップＳ１とＳ２の処理を実行することになる。

従って、総合補正部３３は、上述したように、ステップＳ３の処理のみを実行することになる。即ち、総合補正部３５は、ステップＳ３において、信号T11、信号T12、信号T13、および、信号T14の加算信号T11+T12+T13+T14を、トータル補正信号T5として加算部３１に提供する。すると、加算部３１は、ステップＳ４において、原信号T0（入力信号T0）に対してトータル補正信号T5を加算した信号T0+T5を、出力信号T6として外部に出力する。

なお、図１０の例の水平補正部２１乃至右斜め補正部２４の処理、即ち、移動ベクトル（MV0，MV1,MV2,MV3）を考慮した各方向（水平、垂直、左４５度斜め、右４５度斜め）の１次元画像処理は、特に限定されず、例えば、次のような処理を採用することができる。

即ち、例えば、１段階目の処理として、入力信号に対して所定の1次元画像処理（例えばフィルタ処理等）を施し、２段階目の処理として、1段階目の処理で得られた信号に対して、移動ベクトルを利用する別の処理（例えば移動ベクトルの大きさをゲイン量として、ゲインを変更する処理等）を施す、といった処理を採用することができる。

図９に対応させると、１段階目の処理がステップＳ１の処理に対応し、２段階目の処理がステップＳ２の処理に対応する。より具体的には例えば、水平補正部２１についての第１の1次元画像処理とは、次のような処理となる。即ち、水平補正部２１は、ステップＳ１において、入力信号（原信号）T0に対して、水平方向の１次元画像処理を施すことで、図８の例の水平補正部２１の出力信号T1と同様の補正信号T1を生成する。そして、水平補正部２１は、ステップＳ２において、分解部２９からのMV0に応じて補正信号T0を再補正し、その結果得られる信号を出力信号T11として総合補正部３５に提供する。なお、垂直補正部２２乃至右斜め補正部４の処理も基本的に同様となるので、ここではそれらの説明については省略する。

その他、図１０の例の水平補正部２１乃至右斜め補正部２４の処理としては、例えば１段階で済む処理であるが、その1段階の処理を行うために必要な各種条件を、移動ベクトルに応じて可変設定し（例えばタップ数等を移動ベクトルの大きさに応じて可変設定し）、移動ベクトルに応じて設定された各種条件に従って、入力信号に対して1次元画像処理（例えばフィルタ処理等）を施す、といった処理も採用可能である。

このように、図１０の例の本発明の画像処理装置は、移動ベクトルを補正指標ベクトルとして利用した補正を行うことができる。その他、移動ベクトルを補正指標ベクトルとして利用した補正を行うことができる画像処理装置の構成例が図１１に示されている。即ち、図１１は、本発明の画像処理装置の構成例であって、上述した例とは異なる例を示している。

図１１の例において、図１０と対応する箇所には、対応する符号が付しており、それらの説明については適宜省略する。

図１１の例の本発明の画像処理装置においては、図１０の分解部２９は設けられておらず、また、図１０の例には無いMAX出力部４１が設けられている。また、図１０の総合補正部３５の代わりに総合補正部４２が設けられている。総合補正部４２の詳細については、図１２を参照して後述する。その他の構成は、図１０の対応する構成と同様とされている。

移動ベクトル検出部３２は、MV_Hを、MAX出力部４１、水平補正部２１、および総合補正部４２に提供する一方、MV_Vを、MAX出力部４１、垂直補正部２２、および総合補正部４２に提供する。

MAX出力部４１は、MV_HとMV_Vとのうちの、その大きさが大きい方を、左斜め補正部２３と右斜め補正部２４とに提供する。

以下の図１１の例の説明でも、説明を容易なものとするために、MV_Hの大きさをaとし、MV_Vの大きさをbとする。この場合、aの方が大きければ、MV_Hが、MAX出力部４１から出力されて、左斜め補正部２３と右斜め補正部２４とのそれぞれに入力される。これに対して、bの方が大きければ、MV_Vが、MAX出力部４１から出力されて、左斜め補正部２３と右斜め補正部２４とのそれぞれに入力される。

即ち、図１１の例では、MV_HがMV0として水平補正部２１に提供され、MV_VがMV1として垂直補正部２２に提供される。また、MAX出力部４１の出力（MV_HまたはMV_V）が、MV2として左斜め補正部２３に提供されるとともに、MV3として右斜め補正部２４に提供される。

水平補正部２１は、入力信号（原信号）T0に対して、MV0を考慮した水平方向の１次元画像処理を施し、その結果得られる信号を出力信号T21として総合補正部４２に提供する。

同様に、垂直補正部２１は、入力信号（原信号）T0に対して、MV1を考慮した垂直方向の１次元画像処理を施し、その結果得られる信号を出力信号T22として総合補正部４２に提供する。

左斜め補正部２３は、入力信号（原信号）T0に対して、MV2を考慮した左４５度斜め方向の１次元画像処理を施し、その結果得られる信号を出力信号T23として総合補正部４２に提供する。

右斜め補正部２４は、入力信号（原信号）T0に対して、MV3を考慮した右４５度斜め方向の１次元画像処理を施し、その結果得られる信号を出力信号T24として総合補正部４２に提供する。

ただし、図１０の例では、MV0，MV1，MV2,MV3のそれぞれは、MV_HとMV_Vの合成ベクトルである移動ベクトル（補正指標ベクトル）が、水平、垂直、左４５度斜め、および右４５度斜めの各方向に分解された結果得られるベクトル（0ベクトル含む）であった。このため、水平補正部２１の出力信号T11乃至右斜め補正部２４の出力信号T14は、各方向のベクトルに分解済みの信号であるといえる。即ち、図１０の例では、水平補正部２１の出力信号T11乃至右斜め補正部２４の出力信号T14とは、図９のステップＳ２の処理結果としての信号であるといえる。

これに対して、図１１の例では、MV0，MV1，MV2,MV3のそれぞれは、MV_HまたはMV_Vのままである。従って、水平補正部２１の出力信号T21乃至右斜め補正部２４の出力信号T24は、各方向のベクトルに未分解の信号であるといえる。即ち、図１１の例では、水平補正部２１の出力信号T21乃至右斜め補正部２４の出力信号T２４とは、図９のステップＳ１の処理結果としての信号（または、ステップＳ２の処理途中の信号）であるといえる。

換言すると、図１０の例の総合補正部３５に提供される水平補正部２１の出力信号T11乃至右斜め補正部２４の出力信号T14で示される各方向補正量は、補正指標ベクトルが各方向に分解されたベクトルの大きさに対応する量に既になっている。このため、総合補正部３５では、水平補正部２１の出力信号T11乃至右斜め補正部２４の出力信号T14の総加算信号を、そのままトータル補正信号T5とすることができた。即ち、総合補正部３５は、図９のステップＳ３の処理のみを実行すれば足りた。

これに対して、図１１の例の総合補正部４２に提供される水平補正部２１の出力信号T21乃至右斜め補正部２４の出力信号T24が示す各方向補正量は、MV_HまたはMV_Vの大きさに対応する量であって、補正指標ベクトルが各方向に分解されたベクトルの各大きさに対応する量にはまだなっていない。このため、総合補正部３５では、水平補正部２１の出力信号T21乃至右斜め補正部２４の出力信号T24の総加算信号を、そのままトータル補正信号T5とすることはできない。即ち、総合補正部４２は、図９のステップＳ２の少なくとも一部を実行して、水平補正部２１の出力信号T21乃至右斜め補正部２４の出力信号T24が示す各方向補正量を、補正指標ベクトルから各方向に分解されたベクトルの各大きさに対応する量にそれぞれ変更させた後、ステップ３の処理を実行する（変更後の各方向補正量を加算する）必要がある。

このため、総合補正部４２は、例えば図１２に示すように、水平/垂直補正量決定部５１、左/右斜め補正量決定部５２、および加算部５３を含むように構成されているのである。

なお、図１２の説明においても、図７との関係を把握しやすくするために、MV_Hの大きさはaであり、かつ、MV_Vの大きさはbであるとする。

水平/垂直補正量決定部５１は、信号T21または信号T22から、水平または垂直方向のベクトル（MV_HとMV_Vの合成ベクトルである移動ベクトルが、水平または垂直方向に分解された結果得られるベクトル）に対応する信号T43を生成して、加算部５３に提供する。

このため、水平/垂直補正量決定部５１には、MAX出力部６１乃至乗算部６５が設けられている。

MAX出力部６１は、信号T21と信号T22とのうちの大きい方を、出力信号T41として乗算部６５に出力する。即ち、信号T21とは、図１１のMV0（=大きさaのMV_H）に応じて水平補正部２１により生成された水平方向補正信号であり、信号T22とは、図１１のMV1（大きさbのMV_V）に応じて垂直補正部２２により生成された垂直方向補正信号である。従って、aとbとのうちのaの方が大きい場合（図７に示される場合）には、上述したように、移動ベクトルは水平方向に分解される（垂直方向は0ベクトルになる）ので、即ち、水平方向補正信号が利用される（垂直方向補正信号は0信号となる）ので、信号T21が信号T41として乗算部６５に提供される。これに対して、bの方が大きい場合には、上述したように、移動ベクトルは垂直方向に分解される（水平方向は0ベクトルになる）ので、即ち、垂直方向補正信号が利用される（水平方向補正信号は０信号になる）ので、信号T22が信号T41として乗算部６５に提供される。

また、移動ベクトルが水平方向に分解される場合（即ち、a>bの場合）、その水平方向のベクトル（例えば図７の例ではベクトルv3，v1）の大きさはa-bとなるので、その大きさと図１１のMV_0(=MV_V)の大きさaとのスカラー比は、a-b/aとなる。一方、移動ベクトルが垂直方向に分解される場合（即ち、b>aの場合）、その垂直方向のベクトルの大きさはb-aとなるので、その大きさと図１１のMV1(=MV_V)の大きさbとのスカラー比は、b-a/bとなる。これら両者の場合をまとめると、スカラー比は、結局、max(a,b) - min(a,b)/ max(a,b)で表すことができる。このスカラー比の演算を行うブロックが、MAX出力部６２乃至β/α出力部６４（および、後述するMIN出力部７３）である。

具体的には、MAX出力部６２は、MV_H（大きさa）とMV_V(大きさb)とのうちの、大きい方を出力信号MVXとして減算部６３とβ/α出力部６４（および後述するβ/α出力部７４）に提供する。即ち、MAX出力部６２の出力信号MVXとは、max(a,b)に対応する信号である。

減算部６３は、MAX出力部６２の出力信号MVXと、MIN出力部７３の出力信号MVNとの減算信号を、出力信号MVDとしてβ/α出力部６４に提供する。即ち、信号MVXは上述したようにmax(a,b)に対応する信号であり、信号MVNは後述するようにmin(a,b)に対応する信号であるので、減算部６３の出力信号MVDとは、max(a,b) - min(a,b)に対応する信号となる。

β/α出力部６４は、減算部６３の出力信号MVDに対する、MAX出力部６２の出力信号MVXの除算信号を、出力信号MVR1として乗算部６５に提供する。即ち、β/α出力部６４の出力信号MVR1とは、max(a,b) - min(a,b)/ max(a,b)に対応する信号、即ち、上述したスカラー比に対応する信号である。

乗算部６５は、MAX出力部６１の出力信号T41に対する、β/α出力部６４の出力信号MVR1の乗算信号を、出力信号T43として加算部５３に提供する。即ち、この乗算部６５の出力信号T43が、水平または垂直方向のベクトルに対応する信号、具体的には例えば移動ベクトルが図７の補正指標ベクトルvt1,vt2である場合には水平方向のベクトルv1,v3に対応する信号となる。

このようにして、この乗算部６５の出力信号T43が、再補正後の水平または垂直方向補正信号として、加算部５３に提供される。

このような水平/垂直補正量決定部５１に対して、左/右斜め補正量決定部５２は、信号T33または信号T34から、左または右４５度斜め方向のベクトル（MV_HとMV_Vの合成ベクトルである移動ベクトルが、左または右４５度斜め方向に分解された結果得られるベクトル）に対応する信号T44を生成して、加算部５３に提供する。

このため、左/右斜め補正量決定部５２は、方向検出部７１乃至乗算部７５が設けられている。

方向検出部７１は、MV_H（αとして入力）とMV_V（βとして入力）との乗算結果が0以上の場合、出力信号S1として１をセレクト部７２に提供する一方、信号MV_Hと信号MV_Vとの乗算結果が0未満の場合、出力信号S1として０をセレクト部７２に提供する。

セレクト部７２は、方向検出部７１から出力信号S1として０が供給された場合には、信号T23を出力信号T42として乗算部７５に出力する一方、方向検出部７１から出力信号S1として１が供給された場合には、信号T24を出力信号T42として乗算部７５に出力する。

方向検出部７１から出力信号S1として１が供給されることは、MV_HとMV_Vとの乗算結果が0以上であること、即ち、MV_VとMV_Hとが同符号であることを示している。上述したように、MV_VとMV_Hとが同符号の場合には、移動ベクトルは右４５度斜め方向のベクトルに分解される（左４５度斜め方向は0ベクトルとなる）ので、即ち、右４５度斜め方向補正信号が利用される（左４５度斜め方向補正信号は0信号となる）ので、図１１の右斜め補正部２４の出力信号T24が、信号T42として乗算部７５に提供される。

これに対して、方向検出部７１から出力信号S1として０が供給されることは、MV_HとMV_Vとの乗算結果が0未満であること、即ち、MV_VとMV_Hとが異符号であることを示している。上述したように、MV_VとMV_Hとが異符号の場合には、移動ベクトルは左４５度斜め方向のベクトルに分解される（右４５度斜め方向は0ベクトルとなる）ので、即ち、左４５度斜め方向補正信号が利用される（右４５度斜め方向補正信号は0信号となる）ので、図１１の左斜め補正部２３の出力信号T23が、信号T42として乗算部７５に提供される。

この場合、信号T23，T24は、図１１のMV2，MV3に応じて左斜め補正部２３または右斜め補正部２４により生成された左または右４５度斜め方向補正信号であり、MV2,MV3の大きさは何れもmax(a,b)である。また、上述したように、移動ベクトルから分解された左または右４５度斜め方向のベクトル（図７の例ではベクトルv4またはv2）の大きさはmin(a,b)である。従って、左または右４５度斜め方向のベクトル（図７の例ではベクトルv4またはv2）と、MV2またはMV3とのスカラー比は何れも、min(a,b)/ max(a,b)となる。このスカラー比の演算を行うブロックが、MIN出力部７３とβ/α出力部７４（および上述したMAX出力部６２）である。

具体的には、MIN出力部７３は、信号MV_H（大きさA）と信号MV_V(大きさb)とのうちの小さい方を、出力信号MVNとして加算部６３とβ/α出力部７４に提供する。即ち、MIN出力部７３の出力信号MVNとは、min(a,b)に対応する信号である。

β/α出力部７４は、MIN出力部７３の出力信号MVNに対する、MAX出力部６２の出力信号MVXの除算信号を、出力信号MVR2として乗算部７５に提供する。即ち、β/α出力部７４の出力信号MVR2とは、min(a,b)/ max(a,b)に対応する信号、即ち、上述したスカラー比に対応する信号である。

乗算部７５は、セレクト部７２の出力信号T42に対する、β/α出力部７４の出力信号MVR2の乗算信号を、出力信号T44として加算部５３に提供する。即ち、この乗算部７５の出力信号T44が、左または右４５度斜め方向のベクトルに対応する信号、具体的には例えば移動ベクトルが図７の補正指標ベクトルvt1である場合には右４５度斜め方向のベクトルv2に対応する信号となり、移動ベクトルが図７の補正指標ベクトルvt2である場合には左４５度斜め方向のベクトルv4に対応する信号とな

このようにして、この乗算部７５の出力信号T44が、右または左斜め方向補正信号として、加算部５３に提供される。

加算部５３は、水平/垂直補正量決定部５１の出力信号T43（水平/垂直方向補正信号T43）と、左/右斜め補正量決定部５２の出力信号T44（左/右４５度斜め方向補正信号T44）との加算信号を、出力信号T35として図１１の加算部３１に提供する。即ち、加算部５３は、水平または垂直方向のベクトルと、左または右４５度斜め方向のベクトルとのベクトル合成と等価な処理を実行することで、トータル補正信号である信号T35を生成して出力する。

かかる信号T35は、図１１に示されるように、総合補正部４２の出力信号、即ちトータル補正信号として加算部３１に提供される。そこで、加算部３１は、入力信号T0に対して、総合補正部４２の出力信号であるトータル補正信号T35を加算し、その結果得られる信号T0＋T35を、最終的な出力信号T36として出力する。

以上説明したように、図１１の例の本発明の画像処理装置も、結局、図９のフローチャートに従って補正処理を実行することができる。ただし、ステップＳ２の処理については、総合補正部４２のうちの特に図１２の水平/垂直補正量決定部５１および左/斜め補正量決定部５２により実行される。また、ステップＳ３の処理については、総合補正部４２のうちの特に図１２の加算部５３により実行される。

ところで、各方向の1次元画像処理（図１１等の水平補正部２１乃至右斜め補正部２４の処理等）は、上述したように特に限定されず、例えば、いわゆるエンハンス処理をそれぞれ採用することができる。

ただし、一般的にエンハンス処理が施された信号はノイズ等の影響を受けてしまっている。そこで、エンハンス処理による効果を落とさずに、ノイズ等の影響を抑制するために、エンハンス処理結果に対して、その処理方向に直行する方向に帯域制限をかける手法（以下、帯域制限手法と称する）が存在する。

具体的には例えば図１１の例の画像処理装置に対して、この帯域制限手法をさらに適用した場合に実現される画像処理装置の構成例が、図１３に示されている。

図１３において、図１１と対応する箇所には対応する符号を付しており、それらの箇所については説明を適宜省略する。

図１３の例の本発明の画像処理装置においては、図１１の例の画像処理装置に対して、さらに、水平補正部２１の後段であって総合補正部４２の前段にVLPF部８１が、垂直補正部２２の後段であって総合補正部４２の前段にHLPF部８２が、左斜め補正部２３の後段であって総合補正部４２の前段にRLPF部８３が、右斜め補正部２４の後段であって総合補正部４２の前段にLLPF部８４が、それぞれ設けられている。

VLPF部８１は、水平補正部２１で決定された水平方向の補正量がノイズの影響を受けないように、水平補正部２１の出力信号T21に対して、水平補正部２１の処理方向（水平方向）に直行する垂直方向に帯域制限をかけ（Low Pass Filter処理を施し）、その結果得られる信号T21'を出力信号として総合補正部４２に提供する。

同様に、HLPF部８２は、垂直補正部２２で決定された垂直方向の補正量がノイズの影響を受けないように、垂直補正部２２の出力信号T22に対して、垂直補正部２２の処理方向（垂直方向）に直行する水平方向に帯域制限をかけ（Low Pass Filter処理を施し）、その結果得られる信号T22'を出力信号として総合補正部４２に提供する。

RLPF部８３は、左斜め補正部２３で決定された左４５度斜め方向の補正量がノイズの影響を受けないように、左斜め補正部２３の出力信号T23に対して、左斜め補正部２３の処理方向（左４５度斜め方向）に直行する右４５度斜め方向に帯域制限をかけ（Low Pass Filter処理を施し）、その結果得られる信号T23'を出力信号として総合補正部４２に提供する。

LLPF部８４は、右斜め補正部２４で決定された右４５度斜め方向の補正量がノイズの影響を受けないように、右斜め補正部２４の出力信号T24に対して、右斜め補正部２４の処理方向（右４５度斜め方向）に直行する左４５度斜め方向に帯域制限をかけ（Low Pass Filter処理を施し）、その結果得られる信号T24'を出力信号として総合補正部４２に提供する。

ただし、入力信号T0として、例えばフレームを構成する複数の水平方向ライン（そのライン上に配置される1以上の画素の各画素値）が、そのライン番号順に順次入力されてくる場合には、VLPF部８１、RLPF部８３、および、LLPF部８３は、注目画素が配置されている水平方向ラインとは別のライン（上または下方向に存在する幾つかの別の水平方向ライン）に配置されている画素も、処理対象画素として利用することになる。このため、図示はしないが、VLPF部８１、RLPF部８３、および、LLPF部８３の各前段には、ラインメモリが必要となる。その結果、画像処理装置自体の回路規模が大きくなってしまう場合がある。

そこで、かかる場合を回避する目的があるとき、即ち、画像処理装置の回路規模を、図１３の例の規模と比較してさらに一段と縮小したいという目的があるときには、次のような手法を採用すればよい。即ち、先に、各方向補正量を合成する合成処理実行し（図１１等の例では、水平補正部２１乃至右斜め補正部２４の各出力信号を合成する合成処理を実行し）、その後、その合成補正量（図１１等の例では、総合補正部４２の出力信号T35）に対して、所定の一方向（例えば垂直方向）に帯域制限をかけ、帯域制限された合成補正量を最終的なトータル補正量として利用する（図１１の例では、合成補正信号T35に対して帯域制限がかけられた信号を、トータル補正信号として加算部３１に提供する）、といった手法（以下、合成後帯域制限手法と称する）を採用すればよい。これにより、ラインメモリは、トータル補正量に対して所定の一方向に帯域制限をかけるブロックの前段に１つだけで用意すればよいことになり、画像処理装置の回路規模をさらに一段と縮小することが可能になる。

具体的には例えば、図１３の例と比較すべく、図１１の例の画像処理装置に対して、かかる合成後帯域制限手法をさらに適用した場合に実現される画像処理装置の構成例が、図１４に示されている。

図１４の例の本発明の画像処理装置においては、図１１の例の画像処理装置に対して、さらに、総合補正部４２の後段であって加算部３１の前段にVLPF部８５が設けられている。

VLPF部８５は、総合補正部４２で各方向の補正量が合成された結果得られる合成補正量がノイズの影響を受けないように、総合補正部４２の出力信号T35（合成補正信号T35）に対して、垂直方向に帯域制限をかけ（Low Pass Filter処理を施し）、その結果得られる信号T41をトータル補正信号として加算部３１に提供する。

従って、図１４の例では、加算部３１は、入力信号T0に対して、VLPF部８５の出力信号T41をトータル補正信号として加算し、その結果得られる信号T0＋T41を、最終的な出力信号T36として外部に出力する。

なお、総合補正部４２の出力信号T35に対して帯域制限をかける方向は、図１４の例では垂直方向とされたが、図１４の例に特に限定されない。ただし、エンハンス処理の目的が撮像ボケ抑制の場合、その撮像ボケの抑制効果を一番図りたい方向は、水平方向であることが多い。従って、このような場合には、撮像ボケの抑制効果を一番図りたい水平方向に直交する方向、即ち、図１４の例のように垂直方向を、総合補正部４２の出力信号T35に対して帯域制限をかける方向として採用すると好適である。

ところで、図１４の例の画像処理装置において、入力信号T0が、垂直方向に動くオブジェクト（物体等）を含んだ画像についての画像信号であり、そのオブジェクト（像）の一部が注目画素であったときを考える。即ち、注目画素の水平方向の移動ベクトルであるMV_Hが0であったときを考える。このとき、総合補正部４２の出力信号T35とは、垂直方向にエンハンスした補正量に対応する信号となっている。従って、VLPF部８５では、このような垂直方向にエンハンスした補正量に対して帯域制限をかけることになり、結果的に、その出力信号T41の特性は、バンドパスフィルタ通過後の特性になってしまう、という問題が発生する。

そこで、かかる問題を解決するためには、図１５に示されるように、VLPF部８５に対してさらにMV_Hを入力させ、このMV_Hの大きさに応じて帯域制限の効き度合いを調整（制御）すればよい。

具体的には例えば、MV_Hの大きさに応じて帯域制限の効き度合いを調整（制御）可能なVLPF部８５は、図１６に示されるように構成することができる。

図１６の例では、VLPF部８５は、HPF部９１乃至減算部９４を含むように構成されている。

総合補正部４２の出力信号T35は、入力補正信号としてVLPF部８５のHPF部９１、ゲイン量決定部９２、および減算部９４に入力される。

HPF部９１は、入力補正信号T35に対してハイパスフィルタをかけ、その結果得られる信号T51を出力信号として乗算部９３に提供する。

ゲイン量決定部９２は、例えば図１７に示されるような関数f(α)を保持している。そこで、ゲイン量決定部９２は、移動ベクトル検出部３２（図１５）からのMV_Hを入力値αとして関数f1(α)に代入し、その出力値f1(MV_H)を、ゲインGとして乗算部９３に提供する。

乗算部９３は、HPF部３１の出力信号T51に対して、ゲイン量決定部９２からのゲインGを乗算し、その結果得られる信号G×T51を出力信号T52として、減算部９４に提供する。

減算部９４は、入力補正信号T35から、乗算部９３の出力信号T52を減算し、その結果得られる信号T35-T52を、トータル補正信号T41として加算部３１（図１５）に提供する。

即ち、図１６の例では、入力補正信号T35に対してハイパスフィルタがかけられた結果得られる信号T51が、MV_Hの大きさに応じてゲイン調整されて信号T52となり、その信号T52が、入力補正信号T35から減算されることで、入力補正信号T35に対してローパスフィルタがかけられた結果得られる信号と等価な信号T41が得られ、それがトータル補正信号として出力されるのである。

この場合、オブジェクトの動き成分の多くが垂直方向成分であるようなとき（垂直方向に近い方向にオブジェクトが動いているとき）にはMV_Hは小さい値となり、図１７の関数f(α)の特性から容易にわかるように、ゲインGが１よりも小さい値となる。従って、減算部９４において、入力補正信号T35から減算される量（信号T52のレベル）は、MV_Hが大きいとき（オブジェクトの動き成分の多くが水平方向成分であるようなとき、即ち、水平方向に近い方向にオブジェクトが動いているとき）と比較して少なくなる。このようにして、図１６の例のVLPF部８５においては、MV_Hの大きさに応じて帯域制限の効き度合いが制御されるのである。

なお、VLPF部８５の構成として、単純なローパスフィルタの構成を採用するのではなく、このような図１６の構成を採用した理由は、MV_Hの大きさに応じた帯域制限の効き度合いの制御を、より一段と簡単に実現できるようにするためである。

以上、合成後帯域制限手法が適用された画像処理装置として、図１４乃至図１６の構成例について説明したが、その構成は、上述した図１４乃至図１６の構成例に限定されず、次のような処理を実行可能な構成を有していれば足りる。

即ち、合成後帯域制限手法が適用された画像処理装置とは、
第１の方向に1以上の画素が連続して配置されてラインが構成され、１以上の前記ラインが、前記第１の方向に直交する第２の方向に１以上連続して配置されて画像が構成され、前記画像についての画像信号が前記ラインを単位として入力されたとき、その画像信号に対して次のような画像処理を施す画像処理装置であれば足りる。
即ち、
前記画像信号に対して前記第１の方向のエンハンス処理を施し、その結果得られる信号を第１のエンハンス処理済信号として出力し、
前記画像信号に対して、前記第１の方向とは異なる各方向のエンハンス処理をそれぞれ施し、それぞれの結果得られる複数の信号のそれぞれを、複数の第２のエンハンス処理済信号のそれぞれとして出力し、
前記第１のエンハンス処理済信号、および、複数の前記第２のエンハンス処理済信号に対して、所定の合成手法に基づく合成処理を施し、その結果得られる合成信号を出力し、
前記合成信号に対して、前記第１の方向とは異なる方向に帯域制限をかける処理を施し、その結果得られる信号を、前記画像信号に対する補正信号として出力し、
前記画像信号に対して前記補正信号を加算し、その結果得られる信号を、補正後の前記画像信号として出力する
画像処理装置であれば、合成後帯域制限手法が適用された画像処理装置であるといえ、その構成は上述した図１４乃至図１６の構成例に特に限定されない。

具体的は例えば、図示はしないが、図１０の例の画像処理装置に対して、さらに、総合補正部３５の後段であって加算部３１の前段にVLPF部（図１６の構成のVLPF部８５等）が設けられた画像処理装置もまた、合成後帯域制限手法が適用された画像処理装置の一例である。

ところで、上述した一連の処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。

この場合、図８、図１０、図１１、図１３、図１４、および図１５の画像処理装置全体若しくはその一部分は、例えば、図１８に示されるようなコンピュータで構成することができる。

図１８において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置との通信処理を行う。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。

従来の画像処理装置の機能的構成の一例を示すブロック図である。 画像処理の対象となるフレームの一例を示す図である。 画像処理の対象となるフレームの一例を示す図である。 図３のフレームに対して、従来の水平方向の１次元画像処理が施された結果の例を示す図である。 図３のフレームに対して、従来の垂直方向の１次元画像処理が施された結果の例を示す図である。 図３のフレームに対して、本発明が適用される斜め方向の１次元画像処理が施された結果の例を示す図である。 本発明が適用される画像処理の手法を説明するための図である。 本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。 図８の画像処理装置の補正処理の一例を説明するフローチャートである。 本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。 本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。 図１１の画像処理装置のうちの総合補正部の機能的構成の詳細例を示すブロック図である。 本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。 本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。 本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。 図１５の画像処理装置のうちのVLPF部の機能的構成の詳細例を示すブロック図である。 図１６のゲイン量決定部が保持する関数の特性例を示す図である。 本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。

符号の説明

２１ 水平補正部， ２２垂直補正部， ２３ 左斜め補正部， ２４ 右斜め補正部， ２９ 分解部， ３０ 総合補正部， ３２ 移動ベクトル検出部， ３５ 総合補正部， ４１ MAX出力部， ４２ 総合補正部， ５１ 水平/垂直補正量決定部， ５２ 左/右斜め補正量決定部， ８１ VLPF部， ８２ HLPF部， ８３ RLPF部， ８４ LLPF部， ８５ VLPF部， ９１ HPF部， ９２ ゲイン量決定部， ９３ 乗算部， ９４ 減算部， １０１ ＣＰＵ， １０２ ＲＯＭ， １０３ ＲＡＭ， １０８ 記憶部， １１１ リムーバブルメディア

Claims (7)

1. 水平方向と垂直方向とで定義される平面上に配置される複数の画素の各画素値から構成される画像データに対して、画像処理を施す画像処理装置において、
   前記画像データを構成する前記各画素値のうちの、処理対象として注目すべき注目画素の画素値に対して、その注目画素を含む前記水平方向に配置される複数の画素の各画素値を利用する画像処理を施す水平方向画像処理手段と、
   前記注目画素の画素値に対して、その注目画素を含む前記垂直方向に配置される複数の画素の各画素値を利用する画像処理を施す垂直方向画像処理手段と、
   前記注目画素の画素値に対して、その注目画素を含む、前記水平方向および前記垂直方向とは異なる所定の斜め方向に配置される複数の画素の各画素値を利用する画像処理を施す斜め方向画像処理手段と、
   前記水平方向画像処理手段、前記垂直方向画像処理手段、および、前記斜め方向画像処理手段の各処理結果に基づいて、前記注目画素の画素値に対する補正量を決定する補正量決定手段と、
   前記注目画素の画素値に対して、前記補正量決定手段により決定された前記補正量を加算することで、前記注目画素の画素値を補正する補正手段と
   を備える画像処理装置。
2. 前記斜め方向画像処理手段は、
   前記注目画素の画素値に対して、その注目画素を含む、前記水平方向に対して左４５度斜め方向に配置される複数の画素の各画素値を利用する画像処理を施す左４５度斜め方向画像処理手段と、
   前記注目画素の画素値に対して、その注目画素を含む、前記水平方向に対して右４５度斜め方向に配置される複数の画素の各画素値を利用する画像処理を施す右４５度斜め方向画像処理手段と
   を有する画像処理装置。
3. 前記注目画素について、その補正方向と、前記補正量の指標となる補正指標量とに基づいて、前記水平方向画像処理手段、前記垂直方向画像処理手段、前記左４５度斜め方向画像処理手段、および、前記右４５度斜め方向画像処理手段の各処理結果を変更する変更手段をさらに備え、
   前記補正量決定手段は、前記水平方向画像処理手段、前記垂直方向画像処理手段、前記左４５度斜め方向画像処理手段、および、前記右４５度斜め方向画像処理手段についての前記変更手段により変更された各処理結果に基づいて、前記注目画素の画素値に対する前記補正量を決定する
   請求項２に記載の画像処理装置。
4. 前記変更手段は、前記注目画素について、
   前記補正指標量の長さを有する前記補正方向のベクトルを補正指標ベクトルとして、
   前記補正指標ベクトルを、前記水平方向、前記垂直方向、前記左４５度斜め方向、および、前記右４５度斜め方向のそれぞれに分解し、
   その結果得られる前記水平方向、前記垂直方向、前記左４５度斜め方向、および、前記右４５度斜め方向の各ベクトルのそれぞれに基づいて、前記水平方向画像処理手段、前記垂直方向画像処理手段、前記左４５度斜め方向画像処理手段、および、前記右４５度斜め方向画像処理手段の各処理結果を変更する
   請求項３に記載の画像処理装置。
5. 前記画像データは、動画像を構成する複数のアクセスユニットのうちの所定の１つについての画像データであり、
   前記注目画素についての移動ベクトルを検出する移動ベクトル検出手段をさらに備え、
   前記変更手段は、前記注目画素について、前記移動ベクトル検出手段により検出された前記移動ベクトルを、前記補正指標ベクトルとして利用する
   請求項４に記載の画像処理装置。
6. 水平方向と垂直方向とで定義される平面上に配置される複数の画素の各画素値から構成される画像データに対して、画像処理を施す画像処理装置の画像処理方法において、
   前記画像データを構成する前記各画素値のうちの、処理対象として注目すべき注目画素の画素値に対して、その注目画素を含む前記水平方向に配置される複数の画素の各画素値を利用する水平方向画像処理を施し、
   前記注目画素の画素値に対して、その注目画素を含む前記垂直方向に配置される複数の画素の各画素値を利用する垂直方向画像処理を施し、
   前記注目画素の画素値に対して、その注目画素を含む、前記水平方向および前記垂直方向とは異なる所定の斜め方向に配置される複数の画素の各画素値を利用する斜め方向画像処理を施し、
   前記水平方向画像処理、前記垂直方向画像処理、および、前記斜め方向画像処理の各結果に基づいて、前記注目画素の画素値に対する補正量を決定し、
   前記注目画素の画素値に対して、決定された前記補正量を加算することで、前記注目画素の画素値を補正する
   ステップを含む画像処理方法。
7. 水平方向と垂直方向とで定義される平面上に配置される複数の画素の各画素値から構成される画像データに対して施す画像処理を制御するコンピュータに実行させるプログラムであって、
   前記画像データを構成する前記各画素値のうちの、処理対象として注目すべき注目画素の画素値に対して、その注目画素を含む前記水平方向に配置される複数の画素の各画素値を利用する水平方向画像処理を施し、
   前記注目画素の画素値に対して、その注目画素を含む前記垂直方向に配置される複数の画素の各画素値を利用する垂直方向画像処理を施し、
   前記注目画素の画素値に対して、その注目画素を含む、前記水平方向および前記垂直方向とは異なる所定の斜め方向に配置される複数の画素の各画素値を利用する斜め方向画像処理を施し、
   前記水平方向画像処理、前記垂直方向画像処理、および、前記斜め方向画像処理の各結果に基づいて、前記注目画素の画素値に対する補正量を決定し、
   前記注目画素の画素値に対して、決定された前記補正量を加算することで、前記注目画素の画素値を補正する
   ステップを含むプログラム。

Images