JP2015114702A - 画像処理装置、画像処理方法、および撮像装置 - Google Patents

Abstract

【課題】隣接する複数の画素信号が同時に出力される場合のＳＡＤ演算を、回路規模の増大を抑えつつ同時に行うことができる画像処理装置、画像処理方法、および撮像装置を提供する。
【解決手段】隣接する複数の注目画素のそれぞれ毎に参照画素との間の相関を同時に取る画像処理装置であって、それぞれの注目画素毎に予め定めた複数の注目領域が重複する共通注目領域と、対応するそれぞれの参照画素毎に予め定めた複数の参照領域が重複する共通参照領域とをそれぞれ定義し、共通注目領域と共通参照領域とに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算を行った共通ＳＡＤ演算結果を出力する共通領域ＳＡＤ演算部と、それぞれの注目画素に対応し、共通ＳＡＤ演算結果と注目領域内で共通注目領域に含まれない領域のＳＡＤ演算結果とに基づいて加算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る注目画素と同じ数の加算処理部とを備える。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、および撮像装置に関する。

デジタルカメラなどの撮像装置における撮影では、撮像装置に備えた固体撮像装置から出力されたそれぞれの画素の信号（以下、「画素信号」という）に対して、様々な処理が行われる。この処理には、固体撮像装置によって撮影した画像を形成するための画像処理や、撮像装置による撮影に関する制御のための処理などがある。

そして、撮像装置が行う画像処理には、固体撮像装置によって撮影した画像内の注目画素と、注目画素の近傍に位置する同じ色の画素（以下、「参照画素」という）との間で相関を取ることによって、注目画素と参照画素との類似度を求め、その類似度の結果を画像処理に用いることもある。注目画素と参照画素との間の相関を取る手法としては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）演算によるブロックマッチングが広く知られている。例えば、特許文献１には、注目画素を含む特定の領域からなる基準ブロックと、参照画素を含み、基準ブロックと同じ大きさの領域からなる参照ブロックとの間で、ブロックマッチングによって相関を取る技術が開示されている。

このＳＡＤ演算によるブロックマッチングの手法では、注目画素を中心とした予め定めた大きさの領域からなる注目ブロックと、参照画素を中心とした注目ブロックと同じ大きさの領域からなる参照ブロックとにおいて、同一座標に位置する画素同士で画素値の差分絶対値を算出し、注目ブロックに含まれる全ての画素に対して算出したそれぞれの差分絶対値を積算する処理が行われる。

例えば、図１２（ａ）に示したように、水平方向ｘ＝６、垂直方向ｙ＝６の座標位置の注目画素（６，６）と、水平方向ｘ＝２、垂直方向ｙ＝２の座標位置の参照画素（２，２）、つまり、注目画素の座標位置から水平方向に−４、垂直方向に−４した座標位置の参照画素との間で相関を取る場合を考える。このとき、図１２（ｂ）に示したように、注目ブロックの領域を、注目画素を中心とした水平方向、垂直方向のそれぞれに５画素ずつの領域、つまり、５画素×５画素の領域とし、参照ブロックを、参照画素を中心とした注目ブロックと同じ大きさの５画素×５画素の領域とする。この場合における注目ブロックに対するＳＡＤ演算では、下式（１）によってＳＡＤ演算の結果（以下、「ＳＡＤ演算結果」という）を求めることができる。

上式（１）において、ＳＡＤ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置する注目画素（ｘ，ｙ）を中心とした注目ブロックに対応したＳＡＤ演算結果を表す。また、上式（１）において、Ａ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置する注目画素（ｘ，ｙ）を中心とした注目ブロック内の画素の画素値、Ｂ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置する注目画素（ｘ，ｙ）を中心とした注目ブロック内のそれぞれの画素に対応する参照ブロック内の画素の画素値を表す。また、上式（１）において、ｉおよびｊは整数である。なお、上式（１）の参照ブロック内の画素の画素値Ｂ（ｘ，ｙ）において、水平方向ｘ、垂直方向ｙの座標位置とも“−４”しているのは、参照ブロック内のそれぞれの画素の座標位置が、注目ブロック内に含まれる対応する画素のそれぞれの座標位置から水平方向に−４、垂直方向に−４した座標位置であるためである。

また、近年では、撮像装置の高速化に対応するため、複数の画素信号を同時に出力する固体撮像装置を撮像装置に搭載するケースが多くなっている。なお、複数の画素信号を同時に出力する固体撮像装置の出力形式には、例えば、水平方向に隣接する２画素の画素信号を同時に出力する形式や、垂直方向に隣接する２画素の画素信号を同時に出力する形式などがある。また、水平方向に隣接する２画素の画素信号と、垂直方向に隣接する２画素の画素信号とを同時に出力する、つまり、４画素分の画素信号を同時に出力する形式もある。

このような、複数の画素信号を同時に出力する固体撮像装置を搭載した撮像装置においてＳＡＤ演算を行う場合、同時に出力されるそれぞれの画素に基づいて同時にＳＡＤ演算を行う必要がある。このため、従来の撮像装置においては、固体撮像装置から出力された画素信号に対して画像処理を行う画像処理部内に、１つの画素に対して差分絶対値を算出する演算回路が注目ブロックに含まれる画素数分（図１２の場合では５×５＝２５個）備えられたＳＡＤ演算部を、固体撮像装置から画素信号が同時に出力されるチャンネル数分備えることによって、複数の画素信号を同時に出力する固体撮像装置に対応していた。

特開２００７−０８８９１０号公報

ところで、ＳＡＤ演算を行うＳＡＤ演算部は、演算対象のブロックの大きさや、ＳＡＤ演算を行う際の参照画素の数に比例して回路規模が増加する。例えば、ＳＡＤ演算を行う対象のブロックの大きさを大きくする、つまり、注目ブロックおよび参照ブロックの領域を大きくして差分絶対値を算出する演算対象の画素数を多くすると、このブロック内に含まれる画素の数に比例して、同一座標に位置する画素同士で画素値の差分絶対値を算出する演算量（演算回路）が増大し、ＳＡＤ演算部の回路規模が増加する。また、例えば、ＳＡＤ演算を行う際に用いる参照画素の数を増やす、つまり、１つの注目画素に対する差分絶対値の算出を複数の参照画素を用いて行うようにすると、差分絶対値の算出に用いる参照画素の数に比例して、差分絶対値を算出する演算量（演算回路）が増大し、ＳＡＤ演算部の回路規模が増加する。

このため、複数の画素信号を同時に出力する固体撮像装置を搭載した撮像装置において、固体撮像装置から同時に画素信号が出力されるチャンネル数分のＳＡＤ演算部を画像処理部内に備えるということは、画像処理部の回路規模の増大、つまり、撮像装置の回路規模の増大に繋がってしまう。

本発明は、上記の課題認識に基づいてなされたものであり、固体撮像装置から隣接する複数の画素信号が同時に出力される場合であっても、それぞれの画素信号に対応したＳＡＤ演算を、回路規模の増大を抑えつつ同時に行うことができる画像処理装置、画像処理方法、および撮像装置を提供することを目的としている。

上記の課題を解決するため、本発明の画像処理装置は、隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る画像処理装置であって、同時に相関を取る隣接するそれぞれの前記注目画素毎に予め定めた複数の注目領域が重複する共通注目領域と、それぞれの前記注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域が重複する、前記共通注目領域に対応する共通参照領域とを、それぞれ定義し、該定義した前記共通注目領域と前記共通参照領域とに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算を行った共通ＳＡＤ演算結果を出力する共通領域ＳＡＤ演算部と、それぞれの前記注目画素に対応し、前記共通ＳＡＤ演算結果と、対応する前記注目画素に対して予め定めた注目領域内で前記共通注目領域に含まれない周辺の画素の領域に対応するＳＡＤ演算結果とに基づいて加算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する前記注目画素と同じ数の加算処理部と、を備える、ことを特徴とする。

また、本発明の画像処理方法は、隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る画像処理装置における画像処理方法であって、同時に相関を取る隣接するそれぞれの前記注目画素毎に予め定めた複数の注目領域が重複する共通注目領域と、それぞれの前記注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域が重複する、前記共通注目領域に対応する共通参照領域とを、それぞれ定義し、該定義した前記共通注目領域と前記共通参照領域とに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算を行った共通ＳＡＤ演算結果を出力する共通領域ＳＡＤ演算手順と、それぞれの前記注目画素に対応し、前記共通ＳＡＤ演算結果と、対応する前記注目画素に対して予め定めた注目領域内で前記共通注目領域に含まれない周辺の画素の領域に対応するＳＡＤ演算結果とに基づいて加算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する前記注目画素と同じ回数の加算処理手順と、を含む、ことを特徴とする。

また、本発明の撮像装置は、複数の画素を有し、隣接する複数の前記画素の信号を光電変換した複数の画素信号を同時に出力する固体撮像装置と、前記固体撮像装置から隣接する複数の前記画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る、上記本発明の画像処理装置と、を備える、ことを特徴とする。

本発明によれば、固体撮像装置から隣接する複数の画素信号が同時に出力される場合であっても、それぞれの画素信号に対応したＳＡＤ演算を、回路規模の増大を抑えつつ同時に行うことができるという効果が得られる。

本発明の第１の実施形態における画像処理装置の概略構成を示したブロック図である。 本第１の実施形態の画像処理装置において同時にＳＡＤ演算を行う画素の領域の一例を模式的に示した図である。 本第１の実施形態の画像処理装置におけるＳＡＤ演算の演算方法を模式的に示した図である。 本第１の実施形態の画像処理装置において同時にＳＡＤ演算を行う画素の領域の別の一例および演算方法を模式的に示した図である。 本発明の実施形態の画像処理装置におけるＳＡＤ演算の演算方法の別の一例を模式的に示した図である。 本発明の実施形態の画像処理装置において４チャンネルの画素信号が同時に入力される場合の画像処理装置の概略構成を示したブロック図である。 本発明の第２の実施形態における画像処理装置の概略構成を示したブロック図である。 本第２の実施形態の画像処理装置において同時にＳＡＤ演算を行う画素の領域の一例を模式的に示した図である。 本第２の実施形態の画像処理装置におけるＳＡＤ演算の演算方法を模式的に示した図である。 本第２の実施形態の画像処理装置におけるＳＡＤ演算の演算方法を模式的に示した図である。 本第２の実施形態の画像処理装置において同時にＳＡＤ演算を行う画素の領域の別の一例を模式的に示した図である。 ＳＡＤ演算を行う画素およびＳＡＤ演算を行う画素の領域の一例を模式的に示した図である。

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における画像処理装置の概略構成を示したブロック図である。図１に示した画像処理装置１００は、シリアル／パラレル変換部１１０と、共通ブロックＳＡＤ演算部１２０と、２つの加算処理部１３１および加算処理部１３２と、を備えている。なお、図１には、撮像装置に搭載され、画像処理装置１００に画素信号を出力する固体撮像装置（以下「イメージセンサ」という）１０も併せて示している。ただし、図１においては、イメージセンサ１０に配置されたそれぞれの画素から出力される画素信号（アナログ信号）をデジタル信号に変換する構成要素は省略している。また、図１においては、シリアル／パラレル変換部１１０から共通ブロックＳＡＤ演算部１２０に出力する信号線を簡略化して示している。

イメージセンサ１０は、不図示のレンズによって結像された被写体の光学像を光電変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表される固体撮像装置である。イメージセンサ１０は、撮像した撮影画像の画素信号、すなわち、入射した被写体光に応じたそれぞれの画素の画素信号を、水平方向ｘに隣接する２画素同時に、それぞれの画素に対応する２つのチャンネルから出力する。なお、以下の説明においては、イメージセンサ１０がベイヤー配列のカラーフィルタが撮像面に貼付されている固体撮像装置であり、ベイヤー配列の撮影画像の水平方向ｘに隣接する２画素の画素信号を、対応するそれぞれのチャンネルから同時に出力するものとして説明する。

ベイヤー配列のイメージセンサ１０が水平方向ｘに隣接する２画素の画素信号を同時に出力する場合、まず、最初の出力タイミングで、Ｒ画素の画素信号を一方のチャンネル（以下、「チャンネルｃｈ１」という）から順次出力し、同時に、Ｒ画素に水平方向（行方向）に隣接するＧｒ画素の画素信号を他方のチャンネル（以下、「チャンネルｃｈ２」という）から順次出力する。その後、イメージセンサ１０は、次の出力タイミングで、Ｇｂ画素の画素信号を一方のチャンネルから順次出力し、同時に、Ｇｂ画素に水平方向（行方向）に隣接するＢ画素の画素信号を他方のチャンネルから順次出力する。

このように、イメージセンサ１０は、垂直方向（列方向）に隣接する２画素の画素信号の出力を、行毎に交互に繰り返す。そして、画像処理装置１００には、イメージセンサ１０がそれぞれのチャンネルから出力した画素信号が、不図示の構成要素（例えば、アナログデジタル変換回路）によってデジタル信号にそれぞれ変換され、それぞれのチャンネルから出力された画素信号が表す画素値に応じた画像データとして順次入力される。

なお、以下の説明においては、説明を容易にするため、イメージセンサ１０が、画素信号に応じた画像データをそれぞれのチャンネルから出力するものとして説明する。図１には、イメージセンサ１０のチャンネルｃｈ１からＲ画素の画素信号に応じた画像データ（Ｒ１，Ｒ２，Ｒ３，・・・）が、チャンネルｃｈ２からＧｒ画素の画素信号に応じた画像データ（Ｇｒ１，Ｇｒ２，Ｇｒ３，・・・）が、それぞれ同時に、画像処理装置１００に順次入力されている様子を示している。

画像処理装置１００は、イメージセンサ１０に配置されたそれぞれの画素から出力される画素信号に応じたデジタル信号に対して様々な画像処理を施す画像処理部内に備えられる。なお、図１においては、イメージセンサ１０から出力されるそれぞれの画素信号が表す画素値に応じたデジタル信号（画像データ）に応じて、注目画素と参照画素との間の相関を取る画像処理を施す、本第１の実施形態の画像処理装置１００の構成のみを示している。本第１の実施形態の画像処理装置１００では、注目画素と参照画素との間の相関を取る手法として、イメージセンサ１０から出力される注目画素を中心とした予め定めた大きさの領域内のそれぞれの画像に対応したそれぞれの画像データの差分絶対値和を求めるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）演算を行い、ＳＡＤ演算した結果（以下、「ＳＡＤ演算結果」という）を出力する。なお、図１に示した画像処理装置１００は、水平方向（行方向）ｘに隣接する２画素の画素信号を同時に出力するベイヤー配列のイメージセンサ１０に対応した構成の一例である。

シリアル／パラレル変換部１１０は、イメージセンサ１０のそれぞれのチャンネルから順次（直列的に）入力される画像データを、後段の共通ブロックＳＡＤ演算部１２０がＳＡＤ演算を行う際に用いる数だけ同時に（並列的に）出力する。より具体的には、シリアル／パラレル変換部１１０は、イメージセンサ１０の行毎に交互に入力される画像データを一旦記憶し、記憶したそれぞれの画像データを、共通ブロックＳＡＤ演算部１２０がＳＡＤ演算を行う数だけ同時に出力する。シリアル／パラレル変換部１１０は、例えば、画像処理装置１００がＳＡＤ演算を行う際に用いるイメージセンサ１０の垂直方向（列方向）の画像データの数、つまり、イメージセンサ１０の水平方向の行数（ライン数）のラインメモリで構成される。

この構成によって、シリアル／パラレル変換部１１０は、それぞれの画像データが異なるタイミングで入力された場合でも、ＳＡＤ演算を行うブロックに含まれる画像データを同じタイミングで共通ブロックＳＡＤ演算部１２０に出力することができる。

共通ブロックＳＡＤ演算部１２０は、シリアル／パラレル変換部１１０から同時に入力されたそれぞれの画像データに基づいてＳＡＤ演算を行い、ＳＡＤ演算した後のＳＡＤ演算結果を、イメージセンサ１０のそれぞれのチャンネルに対応する後段の加算処理部のそれぞれに出力する。

共通ブロックＳＡＤ演算部１２０によるＳＡＤ演算では、まず、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした予め定めた大きさの領域（以下、「第１の注目ブロック」という）と、チャンネルｃｈ２から出力される注目画素を中心とした予め定めた大きさの領域（以下、「第２の注目ブロック」という）とをそれぞれ定義する。そして、共通ブロックＳＡＤ演算部１２０は、さらに、第１の注目ブロックと第２の注目ブロックとが重複する、すなわち、第１の注目ブロックに対するＳＡＤ演算と第２の注目ブロックに対するＳＡＤ演算とで共通に用いられる領域（以下、「共通注目ブロック」という）を定義する。

また、共通ブロックＳＡＤ演算部１２０によるＳＡＤ演算では、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素に対応した参照画素を中心とした予め定めた大きさの領域（以下、「第１の参照ブロック」という）と、チャンネルｃｈ２から出力される注目画素に対応した参照画素を中心とした予め定めた大きさの領域（以下、「第２の参照ブロック」という）とをそれぞれ定義する。そして、共通ブロックＳＡＤ演算部１２０は、さらに、第１の参照ブロックと第２の参照ブロックとが重複する領域（以下、「共通参照ブロック」という）を定義する。

なお、イメージセンサ１０は、水平方向ｘに隣接する２画素の画像データを同時に出力する。このため、共通ブロックＳＡＤ演算部１２０が定義した第１の注目ブロックと第２の注目ブロックとは、水平方向ｘに１画素分ずれた領域である。また、同様に、共通ブロックＳＡＤ演算部１２０が定義した第１の参照ブロックと第２の参照ブロックとも、水平方向ｘに１画素分ずれた領域である。

ここで、以下の説明においては、イメージセンサ１０から出力されるそれぞれの画像データに対応する各画素の位置を容易に識別できるようにするため、画素の座標値をＸＹ座標で表し、“（）：括弧”内の最初に画素の水平方向ｘの列番号、最後に垂直方向ｙの行番号を数字で表す。例えば、イメージセンサ１０のチャンネルｃｈ１から出力される水平方向ｘ＝６、垂直方向ｙ＝６の座標位置に位置する注目画素は、注目画素（６，６）と表し、イメージセンサ１０のチャンネルｃｈ２から出力される水平方向ｘ＝７、垂直方向ｙ＝６の座標位置に位置する注目画素は、注目画素（７，６）と表す。

その後、共通ブロックＳＡＤ演算部１２０は、定義した共通注目ブロックと共通参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値を積算した結果、つまり、共通注目ブロックに対応するＳＡＤ演算結果（以下、「共通ＳＡＤ演算結果」という）を、後段の加算処理部１３１と加算処理部１３２とのそれぞれに出力する。このとき共通ブロックＳＡＤ演算部１２０が出力する共通ＳＡＤ演算結果は、下式（２）で表される。

上式（２）において、ＳＡＤｏ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置するイメージセンサ１０のチャンネルｃｈ１から出力される注目画素（ｘ，ｙ）を中心とした共通注目ブロックに対応した共通ＳＡＤ演算結果を表す。また、上式（２）において、Ａ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置する注目画素（ｘ，ｙ）を中心とした共通注目ブロック内の画像データ、Ｂ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置する注目画素（ｘ，ｙ）を中心とした共通注目ブロック内の画像データに対応する共通参照ブロック内の画像データを表す。また、上式（２）において、ｈは注目画素（ｘ，ｙ）を中心とした第１の注目ブロックの領域の水平方向の大きさを示した画素数、ｖは注目画素（ｘ，ｙ）を中心とした第１の注目ブロックの領域の垂直方向の大きさを示した画素数を表す。また、上式（２）において、ｎは共通注目ブロック内の注目画素（ｘ，ｙ）に対応する参照画素の注目画素（ｘ，ｙ）からの水平方向の距離を示した画素数、ｎは共通注目ブロック内の注目画素（ｘ，ｙ）に対応する参照画素の注目画素（ｘ，ｙ）からの垂直方向の距離を示した画素数を表す。従って、上式（２）において、ｈ、ｖ、ｎ、ｍ、ｉ、およびｊは正の整数である。

また、共通ブロックＳＡＤ演算部１２０は、定義した第１の注目ブロック内で、共通注目ブロックに含まれないブロック（以下、「第１の加算ブロック」という）に対応するＳＡＤ演算結果（以下、「第１の加算用ＳＡＤ演算結果」という）を加算処理部１３１に出力する。また、共通ブロックＳＡＤ演算部１２０は、定義した第２の注目ブロック内で、共通注目ブロックに含まれないブロック（以下、「第２の加算ブロック」という）に対応するＳＡＤ演算結果（以下、「第２の加算用ＳＡＤ演算結果」という）を加算処理部１３２に出力する。

なお、共通ブロックＳＡＤ演算部１２０は、第１の注目ブロックと第２の注目ブロックを合わせたブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値を算出する演算回路を、このブロックに含まれる画素数分備えている。例えば、共通ブロックＳＡＤ演算部１２０が対応する第１の注目ブロックと第２の注目ブロックとのそれぞれの領域が、５画素×５画素の領域である場合には、第１の注目ブロックと第２の注目ブロックとを合わせたブロックの領域は、６画素×５画素の領域となる。このため、共通ブロックＳＡＤ演算部１２０は、６画素×５画素分、すなわち、３０個の演算回路を備えている。これにより、共通ブロックＳＡＤ演算部１２０は、シリアル／パラレル変換部１１０から同時に入力されたそれぞれの画像データに基づいてＳＡＤ演算した共通ＳＡＤ演算結果、第１の加算用ＳＡＤ演算結果、および第２の加算用ＳＡＤ演算結果を、同時に加算処理部１３１と加算処理部１３２とのそれぞれに出力することができる。

加算処理部１３１および加算処理部１３２のそれぞれは、共通ブロックＳＡＤ演算部１２０から入力された共通ＳＡＤ演算結果と、共通ブロックＳＡＤ演算部１２０から入力された第１の加算用ＳＡＤ演算結果または共通ブロックＳＡＤ演算部１２０から入力された第２の加算用ＳＡＤ演算結果とに基づいて、イメージセンサ１０のそれぞれのチャンネルに対応するＳＡＤ演算結果を、それぞれ出力する。なお、図１に示した画像処理装置１００では、加算処理部１３１がイメージセンサ１０のチャンネルｃｈ１に対応し、加算処理部１３２がイメージセンサ１０のチャンネルｃｈ２に対応している。

より具体的には、加算処理部１３１は、共通ブロックＳＡＤ演算部１２０から入力された共通ＳＡＤ演算結果と、共通ブロックＳＡＤ演算部１２０から入力された第１の加算用ＳＡＤ演算結果とを加算し、加算した結果を、イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果として出力する。このとき加算処理部１３１が出力する第１の注目ブロックに対応したＳＡＤ演算結果は、下式（３）で表される。

上式（３）において、ＳＡＤ１（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置するイメージセンサ１０のチャンネルｃｈ１から出力される注目画素（ｘ，ｙ）を中心とした第１の注目ブロックに対応したＳＡＤ演算結果を表す。また、上式（３）において、右辺の第２項は、第１の加算ブロックに対応した第１の加算用ＳＡＤ演算結果を表す式である。また、上式（３）において、Ａ（ｘ，ｙ）、Ｂ（ｘ，ｙ）、ｈ、ｖ、ｎ、ｍ、ｉ、およびｊは、上式（２）と同様である。

また、加算処理部１３２は、共通ブロックＳＡＤ演算部１２０から入力された共通ＳＡＤ演算結果と、共通ブロックＳＡＤ演算部１２０から入力された第２の加算用ＳＡＤ演算結果とを加算し、加算した結果を、イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果として出力する。このとき加算処理部１３２が出力する第２の注目ブロックに対応したＳＡＤ演算結果は、下式（４）で表される。

上式（４）において、ＳＡＤ２（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置するイメージセンサ１０のチャンネルｃｈ２から出力される注目画素（ｘ，ｙ）を中心とした第２の注目ブロックに対応したＳＡＤ演算結果を表す。また、上式（４）において、右辺の第２項は、第２の加算ブロックに対応した第２の加算用ＳＡＤ演算結果を表す式である。また、上式（４）において、Ａ（ｘ，ｙ）、Ｂ（ｘ，ｙ）、ｈ、ｖ、ｎ、ｍ、ｉ、およびｊは、上式（２）および上式（３）と同様である。

このような構成によって、画像処理装置１００では、イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果と、イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果とを同時に出力する。つまり、画像処理装置１００では、共通ブロックＳＡＤ演算部１２０と加算処理部１３１との構成によって、イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果を出力し、共通ブロックＳＡＤ演算部１２０と加算処理部１３２との構成によって、イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果を出力する。

次に、本第１の実施形態の画像処理装置１００において、イメージセンサ１０のそれぞれのチャンネルに対応するＳＡＤ演算を行う方法について説明する。まず、図２を用いて同時にＳＡＤ演算を行う領域について説明する。図２は、本第１の実施形態の画像処理装置１００において同時にＳＡＤ演算を行う画素の領域の一例を模式的に示した図である。図２（ａ）には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックと、第１の参照ブロックとの位置関係を示し、図２（ｂ）には、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックと、第２の参照ブロックとの位置関係を示している。

図２を見てわかるように、イメージセンサ１０が、水平方向ｘに隣接する２画素の画像データを同時に出力する場合、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素とは、水平方向ｘに隣接する２画素である。同様に、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素に対応する参照画素と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素に対応する参照画素とも、水平方向ｘに隣接する２画素である。

より具体的には、図２に示した一例では、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素の座標位置は、水平方向ｘ＝６、垂直方向ｙ＝６の座標位置であり、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素の座標位置は、水平方向ｘ＝７、垂直方向ｙ＝６の座標位置である。同様に、それぞれの注目画素の座標位置から水平方向に−４、垂直方向に−４した座標位置にある、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素に対応する参照画素の座標位置は、水平方向ｘ＝２、垂直方向ｙ＝２の座標位置であり、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素に対応する参照画素の座標位置は、水平方向ｘ＝３、垂直方向ｙ＝２の座標位置である。

上述したように、共通ブロックＳＡＤ演算部１２０は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックと、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックとをそれぞれ定義する。また、共通ブロックＳＡＤ演算部１２０は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした第１の参照ブロックと、チャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした第２の参照ブロックとをそれぞれ定義する。

より具体的には、図２に示した一例では、共通ブロックＳＡＤ演算部１２０が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした５画素×５画素の領域を第１の注目ブロックと定義し、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした５画素×５画素の領域を第２の注目ブロックと定義する。また、共通ブロックＳＡＤ演算部１２０は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした５画素×５画素の領域を第１の参照ブロックと定義し、チャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした５画素×５画素の領域を第２の参照ブロックと定義する。

ここで定義された第１の注目ブロック内の画像データと第１の参照ブロック内の画像データとに基づいてＳＡＤ演算したＳＡＤ演算結果が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した最終的なＳＡＤ演算結果である。また、ここで定義された第２の注目ブロック内の画像データと第２の参照ブロック内の画像データとに基づいてＳＡＤ演算したＳＡＤ演算結果が、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した最終的なＳＡＤ演算結果である。

なお、従来の撮像装置に備えた画像処理部においては、第１の注目ブロック内の画像データと第１の参照ブロック内の画像データとに基づいてＳＡＤ演算するＳＡＤ演算部と、第２の注目ブロック内の画像データと第２の参照ブロック内の画像データとに基づいてＳＡＤ演算するＳＡＤ演算部とをそれぞれ備えることによって、第１の注目ブロックと第２の注目ブロックとのそれぞれに対応するＳＡＤ演算結果とを同時に出力していた。

一方、本第１の実施形態の画像処理装置１００では、共通ブロックＳＡＤ演算部１２０が、第１の注目ブロックと第２の注目ブロックとに共通する共通注目ブロックと、第１の参照ブロックと第２の参照ブロックとに共通する共通参照ブロックとをそれぞれ定義する。図３は、本第１の実施形態の画像処理装置１００におけるＳＡＤ演算の演算方法を模式的に示した図である。図３には、第１の注目ブロックと第２の注目ブロックとに共通する４画素×５画素の領域の共通注目ブロックと、第１の参照ブロックと第２の参照ブロックとに共通する４画素×５画素の領域の共通参照ブロックとをそれぞれ定義した状態を示している。

図３を見てわかるように、共通注目ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）とが含まれている。また、共通参照ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）とが含まれている。

そして、本第１の実施形態の画像処理装置１００では、共通ブロックＳＡＤ演算部１２０が、定義した共通注目ブロック内の画像データと共通参照ブロック内の画像データとに基づいてＳＡＤ演算を行い、共通注目ブロックに対応した共通ＳＡＤ演算結果を、加算処理部１３１と加算処理部１３２とのそれぞれに出力する。このとき共通ブロックＳＡＤ演算部１２０が出力する、図３に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした共通注目ブロックに対応した共通ＳＡＤ演算結果は、上式（２）より、下式（５）で表される。

さらに、本第１の実施形態の画像処理装置１００では、共通ブロックＳＡＤ演算部１２０が、定義した第１の注目ブロック内で、共通注目ブロックに含まれないブロック、すなわち、図３に示した第１の加算ブロック内の画像データと、この第１の加算ブロックに対応する第１の参照ブロック内の領域の画像データとに基づいてＳＡＤ演算を行った第１の加算用ＳＡＤ演算結果を、加算処理部１３１に出力する。

これにより、加算処理部１３１は、共通ブロックＳＡＤ演算部１２０から入力された共通ＳＡＤ演算結果と第１の加算用ＳＡＤ演算結果とを加算して、第１の注目ブロックに対応したＳＡＤ演算結果を得る。そして、加算処理部１３１は、第１の注目ブロックに対応したＳＡＤ演算結果を、イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果として出力する。このとき加算処理部１３１が出力する、図２（ａ）に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックに対応したＳＡＤ演算結果は、上式（３）より、下式（６）で表される。

また、本第１の実施形態の画像処理装置１００では、共通ブロックＳＡＤ演算部１２０が、定義した第２の注目ブロック内で、共通注目ブロックに含まれないブロック、すなわち、図３に示した第２の加算ブロック内の画像データと、この第２の加算ブロックに対応する第２の参照ブロック内の領域の画像データとに基づいてＳＡＤ演算を行った第２の加算用ＳＡＤ演算結果を、加算処理部１３２に出力する。

これにより、加算処理部１３２は、共通ブロックＳＡＤ演算部１２０から入力された共通ＳＡＤ演算結果と第２の加算用ＳＡＤ演算結果とを加算して、第２の注目ブロックに対応したＳＡＤ演算結果を得る。そして、加算処理部１３２は、第２の注目ブロックに対応したＳＡＤ演算結果を、イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果として出力する。このとき加算処理部１３２が出力する、図２（ｂ）に示した、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックに対応したＳＡＤ演算結果は、上式（４）より、下式（７）で表される。

本第１の実施形態によれば、隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、この注目画素の周辺の画素を含めて同時に取る画像処理装置（画像処理装置１００）であって、同時に相関を取る隣接するそれぞれの注目画素毎に予め定めた複数の注目領域（第１の注目ブロックおよび第２の注目ブロック）が重複する共通注目領域（共通注目ブロック）と、それぞれの注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域（第１の参照ブロックおよび第２の参照ブロック）が重複する、共通注目ブロックに対応する共通参照領域（共通参照ブロック）とを、それぞれ定義し、ここで定義した共通注目ブロックと共通参照ブロックとに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算（ＳＡＤ演算）を行った共通ＳＡＤ演算結果を出力する共通領域ＳＡＤ演算部（共通ブロックＳＡＤ演算部１２０）と、それぞれの注目画素に対応し、共通ＳＡＤ演算結果と、対応する注目画素に対して予め定めた第１の注目ブロックまたは第２の注目ブロック内で共通注目領域に含まれない周辺の画素の領域（第１の加算ブロックまたは第２の加算ブロック）に対応するＳＡＤ演算結果（第１の加算用ＳＡＤ演算結果または第２の加算用ＳＡＤ演算結果）とに基づいて加算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する注目画素と同じ数（２つ）の加算処理部（加算処理部１３１および加算処理部１３２）と、を備える画像処理装置１００が構成される。

また、本第１の実施形態によれば、隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、この注目画素の周辺の画素を含めて同時に取る画像処理装置（画像処理装置１００）における画像処理方法であって、同時に相関を取る隣接するそれぞれの注目画素毎に予め定めた複数の注目領域（第１の注目ブロックおよび第２の注目ブロック）が重複する共通注目領域（共通注目ブロック）と、それぞれの注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域（第１の参照ブロックおよび第２の参照ブロック）が重複する、共通注目ブロックに対応する共通参照領域（共通参照ブロック）とを、それぞれ定義し、ここで定義した共通注目ブロックと共通参照ブロックとに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算（ＳＡＤ演算）を行った共通ＳＡＤ演算結果を出力する共通領域ＳＡＤ演算手順（共通ブロックＳＡＤ演算部１２０における動作手順）と、それぞれの注目画素に対応し、共通ＳＡＤ演算結果と、対応する注目画素に対して予め定めた第１の注目ブロックまたは第２の注目ブロック内で共通注目領域に含まれない周辺の画素の領域（第１の加算ブロックまたは第２の加算ブロック）に対応するＳＡＤ演算結果（第１の加算用ＳＡＤ演算結果または第２の加算用ＳＡＤ演算結果）とに基づいて加算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する注目画素と同じ回数（２回）の加算処理手順（加算処理部１３１および加算処理部１３２における動作手順）と、を含む画像処理方法が構成される。

また、本第１の実施形態によれば、複数の画素を有し、隣接する複数の画素の信号を光電変換した複数の画素信号を同時に出力する固体撮像装置（イメージセンサ１０）と、イメージセンサ１０から隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、この注目画素の周辺の画素を含めて同時に取る画像処理装置（画像処理装置１００）と、を備える撮像装置が構成される。

また、本第１の実施形態によれば、共通ブロックＳＡＤ演算部１２０は、入力された第１の注目画素（イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６））を中心とし、相関を取る周辺の画素を含めた予め定めた大きさの第１の注目領域（第１の注目ブロック）と、同時に入力された隣接する第２の注目画素（イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６））を中心とし、同時に相関を取る周辺の画素を含めた予め定めた大きさの第２の注目領域（第２の注目ブロック）とが重複する共通注目ブロックと、注目画素（６，６）に対応する第１の参照画素（イメージセンサ１０のチャンネルｃｈ１から出力される参照画素（２，２））を中心とし、第１の注目ブロックに対応する予め定めた大きさの第１の参照領域（第１の参照ブロック）と、注目画素（７，６）に対応する第２の参照画素（イメージセンサ１０のチャンネルｃｈ２から出力される参照画素（３，２））を中心とし、第２の注目ブロックに対応する予め定めた大きさの第２の参照領域（第２の参照ブロック）とが重複する共通参照ブロックとを、それぞれ定義し、共通注目ブロックと共通参照ブロックとにおいて同一の座標に位置する画素の画素信号が表す値（画像データ）同士の差分絶対値をそれぞれ算出し、算出した差分絶対値を積算するＳＡＤ演算を行った共通ＳＡＤ演算結果を出力し、注目画素（６，６）に対応する加算処理部である第１の加算処理部（加算処理部１３１）は、共通ＳＡＤ演算結果と、第１の注目ブロック内で、共通注目ブロックに含まれない画素の領域（第１の加算ブロック）に対応するＳＡＤ演算結果（第１の加算用ＳＡＤ演算結果）とを加算した第１のＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果）を出力し、注目画素（７，６）に対応する加算処理部である第２の加算処理部（加算処理部１３２）は、共通ＳＡＤ演算結果と、第２の注目ブロック内で、共通注目ブロックに含まれない画素の領域（第２の加算ブロック）に対応するＳＡＤ演算結果（第２の加算用ＳＡＤ演算結果）とを加算した第２のＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果）を出力する、画像処理装置１００が構成される。

また、本第１の実施形態によれば、共通ブロックＳＡＤ演算部１２０は、共通注目ブロックに含まれない第１の注目ブロック内の画素の第１の加算ブロックと、この第１の加算ブロックに対応する共通参照ブロックに含まれない第１の参照ブロック内の画素の領域とにおいて同一の座標に位置する画素の画素信号が表す値に基づいてＳＡＤ演算した第１の加算用ＳＡＤ演算結果と、共通注目ブロックに含まれない第２の注目ブロック内の画素の第２の加算ブロックと、この第２の加算ブロックに対応する共通参照ブロックに含まれない第２の参照ブロック内の画素の領域とにおいて同一の座標に位置する画素の画素信号が表す値に基づいてＳＡＤ演算した第２の加算用ＳＡＤ演算結果と、をそれぞれ出力し、加算処理部１３１は、共通ＳＡＤ演算結果と第１の加算用ＳＡＤ演算結果とを加算した第１のＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果）を出力し、加算処理部１３２は、共通ＳＡＤ演算結果と第２の加算用ＳＡＤ演算結果とを加算した第２のＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果）を出力する、画像処理装置１００が構成される。

上記に述べたように、本第１の実施形態の画像処理装置１００では、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックと、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックとが重複する、すなわち、第１の注目ブロックと第２の注目ブロックとに共通する共通注目ブロックに対してＳＡＤ演算を行う。そして、本第１の実施形態の画像処理装置１００では、共通注目ブロックに対応する共通ＳＡＤ演算結果と、第１の注目ブロックに含まれない第１の加算ブロックに対応する第１の加算用ＳＡＤ演算結果、または第２の注目ブロックに含まれない第２の加算ブロックに対応する第２の加算用ＳＡＤ演算結果とを加算する。これにより、本第１の実施形態の画像処理装置１００でも、第１の注目ブロックに対応するＳＡＤ演算と第２の注目ブロックに対応するＳＡＤ演算とをそれぞれ同時に行う従来の撮像装置に備えた画像処理部と同じＳＡＤ演算結果を得ることができる。

しかも、本第１の実施形態の画像処理装置１００では、従来の撮像装置に備えた画像処理部において第１の注目ブロックと第２の注目ブロックとのそれぞれの対応した別々のＳＡＤ演算部で行っていたＳＡＤ演算を、共通ブロックＳＡＤ演算部１２０と加算処理部１３１、または加算処理部１３２との組み合わせで行うことができる。これにより、本第１の実施形態の画像処理装置１００では、ＳＡＤ演算を行うために備える、同一座標に位置する画素の画像データ同士の差分絶対値を算出する演算回路の数を、従来の撮像装置に備えた画像処理部に備える数よりも、少なくすることができる。

より具体的には、例えば、第１の注目ブロックと第２の注目ブロックとのそれぞれの領域が５画素×５画素の領域である場合、従来の撮像装置に備えた画像処理部では、５画素×５画素分の演算回路を２チャンネル分、すなわち、５×５×２＝５０個の演算回路を備える必要があった。これに対して、本第１の実施形態の画像処理装置１００では、第１の注目ブロックと第２の注目ブロックを合わせたブロックの領域である６画素×５画素分の演算回路、すなわち、６×５＝３０個の演算回路を共通ブロックＳＡＤ演算部１２０に備えるのみで、共通ＳＡＤ演算結果と、第１の加算用ＳＡＤ演算結果および第２の加算用ＳＡＤ演算結果とを得ることができる。つまり、本第１の実施形態の画像処理装置１００では、第１の注目ブロックと第２の注目ブロックとに共通の共通注目ブロックの領域である４画素×５画素分の演算回路、すなわち、４×５＝２０個の演算回路を、従来の撮像装置に備えた画像処理部よりも削減することができる。

しかも、本第１の実施形態の画像処理装置１００では、シリアル／パラレル変換部１１０から、共通ブロックＳＡＤ演算部１２０がＳＡＤ演算を行う数の画像データが同時に入力されるため、共通ブロックＳＡＤ演算部１２０は、共通ＳＡＤ演算結果を得るのと同時に、第１の加算用ＳＡＤ演算結果と第２の加算用ＳＡＤ演算結果とを得ることができる。これは、本第１の実施形態の画像処理装置１００に備えた共通ブロックＳＡＤ演算部１２０に備えた、第１の加算ブロックに対応する演算回路、または第２の加算ブロックに対応する演算回路が算出した差分絶対値を積算するのみで、第１の加算用ＳＡＤ演算結果と第２の加算用ＳＡＤ演算結果とを算出することができるからである。これにより、本第１の実施形態の画像処理装置１００では、ＳＡＤ演算に関わる回路の回路規模の増大を、従来の構成よりも抑えつつ、それぞれの画像データに応じたＳＡＤ演算結果を同時に出力することができる。

なお、本第１の実施形態においては、ＳＡＤ演算を行うために定義するそれぞれの領域（ブロック）が、図２および図３に示したような方向に定義された形状の領域（ブロック）である場合について説明した。しかし、ＳＡＤ演算を行うために定義する領域（ブロック）は、本第１の実施形態において説明した形状に限定されるものではない。例えば、図４に示したような形状の領域（ブロック）であっても同様に、本発明の考え方を適用することができる。

図４は、本第１の実施形態の画像処理装置１００において同時にＳＡＤ演算を行う画素の領域の別の一例および演算方法を模式的に示した図である。図４（ａ）には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックと、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした第１の参照ブロックとの位置関係を示している。また、図４（ｂ）には、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックと、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした第２の参照ブロックとの位置関係を示している。また、図４（ｃ）には、第１の注目ブロックと第２の注目ブロックとが重複する領域の共通注目ブロックと、第１の参照ブロックと第２の参照ブロックとが重複する領域の共通参照ブロックと、第１の注目ブロックに対応する第１の加算ブロックおよび第２の注目ブロックに対応する第２の加算ブロックとを示している。

本第１の実施形態の画像処理装置１００では、共通ブロックＳＡＤ演算部１２０が、図４に示したような形状のそれぞれの領域（ブロック）に対するＳＡＤ演算を行った共通ＳＡＤ演算結果、第１の加算用ＳＡＤ演算結果、および第２の加算用ＳＡＤ演算結果を、加算処理部１３１と加算処理部１３２とのそれぞれに出力する。そして、加算処理部１３１と加算処理部１３２とのそれぞれが、共通ブロックＳＡＤ演算部１２０から入力された共通ＳＡＤ演算結果と、第１の加算用ＳＡＤ演算結果または第２の加算用ＳＡＤ演算結果を加算する。これにより、本第１の実施形態の画像処理装置１００は、図４（ａ）に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックに対応するＳＡＤ演算結果と、図４（ｂ）に示した、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックに対応するＳＡＤ演算結果とを同時に出力する。

このように、本第１の実施形態の画像処理装置１００では、第１の注目ブロックと第２の注目ブロックとのそれぞれの領域（ブロック）の形状によらずに、第１の注目ブロックに対応するＳＡＤ演算結果と第２の注目ブロックに対応するＳＡＤ演算結果とをそれぞれ同時に出力することができる。

なお、本第１の実施形態においては、画像処理装置１００が、水平方向（行方向）ｘに隣接する２画素の画像データを同時に出力するイメージセンサ１０に対応する構成の一例を示した。しかし、本発明の画像処理装置の考え方は、イメージセンサが同時に出力する画像データの方向が、水平方向（行方向）ｘである構成に限定されるものではない。例えば、イメージセンサが、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力する構成や、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力する、つまり、４画素の画像データを同時に出力する構成であっても同様に、本発明の考え方を適用することができる。

＜第１の実施形態の変形例＞
ここで、イメージセンサが画像データを同時に出力する別の一例について説明する。図５は、本発明の実施形態の画像処理装置におけるＳＡＤ演算の演算方法の別の一例を模式的に示した図である。図５（ａ）には、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサに対応した場合の演算方法を模式的に示し、図５（ｂ）には、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサに対応した場合の演算方法を模式的に示している。

まず、図５（ａ）を参照して、本発明の考え方を適用した画像処理装置が、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサに対応する場合について説明する。本発明の考え方を適用した画像処理装置が、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサに対応する場合であっても、この画像処理装置に備えた共通ブロックＳＡＤ演算部は、画像処理装置１００に備えた共通ブロックＳＡＤ演算部１２０と同様に、ＳＡＤ演算を行う際に用いるそれぞれの領域（ブロック）を定義する。

なお、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサに対応する画像処理装置は、入力される画像データの順番に応じてそれぞれのＳＡＤ演算を行う領域（ブロック）が異なるのみで、その構成は、画像処理装置１００と同様に考えることができる。従って、以下の説明においては、図１に示したイメージセンサ１０が、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力し、図１に示した画像処理装置１００が、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサに対応する画像処理装置であるものとして説明する。

図５（ａ）には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックに対応した最終的なＳＡＤ演算結果と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（６，７）を中心とした第２の注目ブロックに対応した最終的なＳＡＤ演算結果とを得るために定義する、それぞれの領域（ブロック）を示している。

より具体的には、第１の注目ブロックと第２の注目ブロックとに共通する５画素×４画素の領域の共通注目ブロックと、第１の参照ブロックと第２の参照ブロックとに共通する５画素×４画素の領域の共通参照ブロックとを示している。図５（ａ）を見てわかるように、共通注目ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（６，７）とが含まれている。また、共通参照ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（６，７）に対応した参照画素（２，３）とが含まれている。

共通ブロックＳＡＤ演算部１２０は、上述したように、定義した共通注目ブロック内の画像データと共通参照ブロック内の画像データとに基づいてＳＡＤ演算を行った共通ＳＡＤ演算結果を、加算処理部１３１と加算処理部１３２とのそれぞれに出力する。さらに、共通ブロックＳＡＤ演算部１２０は、定義した第１の注目ブロック内で、共通注目ブロックに含まれない、図５（ａ）に示した第１の加算ブロック内の画像データと、この第１の加算ブロックに対応する第１の参照ブロックにおける領域（ブロック）の画像データとに基づいてＳＡＤ演算を行った第１の加算用ＳＡＤ演算結果を、加算処理部１３１に出力する。また、共通ブロックＳＡＤ演算部１２０は、定義した第２の注目ブロック内で、共通注目ブロックに含まれない、図５（ａ）に示した第２の加算ブロック内の画像データと、この第２の加算ブロックに対応する第２の参照ブロックにおける領域（ブロック）の画像データとに基づいてＳＡＤ演算を行った第２の加算用ＳＡＤ演算結果を、加算処理部１３２に出力する。

これにより、加算処理部１３１は、共通ＳＡＤ演算結果と第１の加算用ＳＡＤ演算結果とを加算し、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックに対応するＳＡＤ演算結果を出力する。また、加算処理部１３２は、共通ＳＡＤ演算結果と第２の加算用ＳＡＤ演算結果とを加算し、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサ１０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックに対応するＳＡＤ演算結果を出力する。

このように、イメージセンサが、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力する構成であっても、本発明の考え方を適用することによって同様に、第１の注目ブロックに対応するＳＡＤ演算結果と第２の注目ブロックに対応するＳＡＤ演算結果とをそれぞれ同時に出力することができる。

続いて、図５（ｂ）を参照して、本発明の考え方を適用した画像処理装置が、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサに対応する場合について説明する。本発明の考え方を適用した画像処理装置が、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサに対応する場合であっても、この画像処理装置に備えた共通ブロックＳＡＤ演算部は、画像処理装置１００に備えた共通ブロックＳＡＤ演算部１２０と同様に、ＳＡＤ演算を行う際に用いるそれぞれの領域（ブロック）を定義する。

ただし、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサに対応する画像処理装置は、入力される画像データに応じて定義する注目ブロックの数が、画像処理装置１００よりも多い。
つまり、イメージセンサのチャンネルｃｈ１〜チャンネルｃｈ４のそれぞれから出力される注目画素のそれぞれを中心とした予め定めた大きさの４つの領域（以下、「第１〜第４の注目ブロック」という）をそれぞれ定義し、第１〜第４の注目ブロックが重複する、すなわち、第１〜第４の注目ブロックで共通する共通注目ブロックを定義する。このため、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサに対応する画像処理装置の構成は、画像処理装置１００の構成と異なり、第１〜第４の注目ブロックに対応した構成になっている。

図６は、本発明の実施形態の画像処理装置において４チャンネルの画素信号が同時に入力される場合の画像処理装置の概略構成を示したブロック図である。図６に示した画像処理装置２００は、シリアル／パラレル変換部２１０と、共通ブロックＳＡＤ演算部２２０と、４つの加算処理部２３１〜加算処理部２３４と、を備えている。なお、図６には、撮像装置に搭載され、画像処理装置２００に画素信号を出力するイメージセンサ２０も併せて示している。ただし、図６においても、図１に示した画像処理装置１００の概略構成と同様に、イメージセンサ２０に配置されたそれぞれの画素から出力される画素信号（アナログ信号）をデジタル信号に変換する構成要素は省略している。また、図６においては、シリアル／パラレル変換部２１０から共通ブロックＳＡＤ演算部２２０に出力する画像データの信号線を簡略化して示している。

なお、画像処理装置２００に備えた構成要素のそれぞれは、入力される画像データに応じてそれぞれのＳＡＤ演算を行う領域（ブロック）が異なるのみで、画像処理装置１００に備えたそれぞれの構成要素と同様に考えることができる。従って、以下の説明においては、画像処理装置２００に備えたそれぞれの構成要素に関する詳細な説明は省略する。なお、図６に示した画像処理装置２００では、加算処理部２３１がイメージセンサ２０のチャンネルｃｈ１に対応し、加算処理部２３２がイメージセンサ２０のチャンネルｃｈ２に対応し、加算処理部２３３がイメージセンサ２０のチャンネルｃｈ３に対応し、加算処理部２３４がイメージセンサ２０のチャンネルｃｈ４に対応している。

図５（ｂ）には、イメージセンサ２０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックに対応した最終的なＳＡＤ演算結果と、イメージセンサ２０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックに対応した最終的なＳＡＤ演算結果とを得るために定義する、それぞれの領域（ブロック）を示している。また、図５（ｂ）には、イメージセンサ２０のチャンネルｃｈ３から出力される注目画素（６，７）を中心とした第３の注目ブロックに対応した最終的なＳＡＤ演算結果と、イメージセンサ２０のチャンネルｃｈ４から出力される注目画素（７，７）を中心とした第４の注目ブロックに対応した最終的なＳＡＤ演算結果とを得るために定義する、それぞれの領域（ブロック）を示している。

より具体的には、第１〜第４の注目ブロックで共通する４画素×４画素の領域の共通注目ブロックと、第１〜第４の参照ブロックで共通する４画素×４画素の領域の共通参照ブロックとを示している。図５（ｂ）を見てわかるように、共通注目ブロック内には、イメージセンサ２０のチャンネルｃｈ１から出力される注目画素（６，６）と、イメージセンサ２０のチャンネルｃｈ２から出力される注目画素（７，６）と、イメージセンサ２０のチャンネルｃｈ３から出力される注目画素（６，７）と、イメージセンサ２０のチャンネルｃｈ４から出力される注目画素（７，７）とが含まれている。また、共通参照ブロック内には、イメージセンサ２０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）と、イメージセンサ２０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）と、イメージセンサ２０のチャンネルｃｈ３から出力される注目画素（６，７）に対応した参照画素（２，３）と、イメージセンサ２０のチャンネルｃｈ４から出力される注目画素（７，７）に対応した参照画素（３，３）とが含まれている。

共通ブロックＳＡＤ演算部２２０は、画像処理装置１００に備えた共通ブロックＳＡＤ演算部１２０と同様に、定義した共通注目ブロック内の画像データと共通参照ブロック内の画像データとに基づいてＳＡＤ演算を行った共通ＳＡＤ演算結果を、加算処理部２３１〜加算処理部２３４とのそれぞれに出力する。さらに、共通ブロックＳＡＤ演算部２２０は、定義した第１の注目ブロック内で、共通注目ブロックに含まれない、図５（ｂ）に示した画素ＬＴを含む１画素×５画素と５画素×１画素とを合わせた第１の加算ブロックに対応する第１の加算用ＳＡＤ演算結果を、加算処理部２３１に出力する。ただし、第１の加算ブロックにおいて画素ＬＴの画素データに対応するＳＡＤ演算結果は、第１の加算用ＳＡＤ演算結果に重複して含まれない。また、共通ブロックＳＡＤ演算部２２０は、定義した第２の注目ブロック内で、共通注目ブロックに含まれない、図５（ｂ）に示した画素ＲＴを含む１画素×５画素と５画素×１画素とを合わせた第２の加算ブロックに対応する第２の加算用ＳＡＤ演算結果を、加算処理部２３２に出力する。ただし、第２の加算ブロックにおいて画素ＲＴの画素データに対応するＳＡＤ演算結果は、第２の加算用ＳＡＤ演算結果に重複して含まれない。

また、共通ブロックＳＡＤ演算部２２０は、定義した第３の注目ブロック内で、共通注目ブロックに含まれない、図５（ｂ）に示した画素ＬＢを含む１画素×５画素と５画素×１画素とを合わせた第３の加算ブロックに対応する第３の加算用ＳＡＤ演算結果を、加算処理部２３３に出力する。ただし、第３の加算ブロックにおいて画素ＬＢの画素データに対応するＳＡＤ演算結果は、第３の加算用ＳＡＤ演算結果に重複して含まれない。また、共通ブロックＳＡＤ演算部２２０は、定義した第４の注目ブロック内で、共通注目ブロックに含まれない、図５（ｂ）に示した画素ＲＢを含む１画素×５画素と５画素×１画素とを合わせた第４の加算ブロックに対応する第４の加算用ＳＡＤ演算結果を、加算処理部２３４に出力する。ただし、第４の加算ブロックにおいて画素ＲＢの画素データに対応するＳＡＤ演算結果は、第４の加算用ＳＡＤ演算結果に重複して含まれない。

これにより、加算処理部２３１は、共通ＳＡＤ演算結果と第１の加算用ＳＡＤ演算結果とを加算し、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサ２０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックに対応するＳＡＤ演算結果を出力する。また、加算処理部２３２は、共通ＳＡＤ演算結果と第２の加算用ＳＡＤ演算結果とを加算し、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサ２０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックに対応するＳＡＤ演算結果を出力する。

また、加算処理部２３３は、共通ＳＡＤ演算結果と第３の加算用ＳＡＤ演算結果とを加算し、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサ２０のチャンネルｃｈ３から出力される注目画素を中心とした第３の注目ブロックに対応するＳＡＤ演算結果を出力する。また、加算処理部２３４は、共通ＳＡＤ演算結果と第４の加算用ＳＡＤ演算結果とを加算し、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサ２０のチャンネルｃｈ４から出力される注目画素を中心とした第４の注目ブロックに対応するＳＡＤ演算結果を出力する。

このように、イメージセンサが、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力する、つまり、４画素の画像データを同時に出力する構成であっても、本発明の考え方を適用することができる。そして、第１の注目ブロックに対応するＳＡＤ演算結果、第２の注目ブロックに対応するＳＡＤ演算結果、第３の注目ブロックに対応するＳＡＤ演算結果、および第４の注目ブロックに対応するＳＡＤ演算結果をそれぞれ同時に出力することができる。

なお、本第１の実施形態においては、ＳＡＤ演算を行うそれぞれの領域（ブロック）に含まれる画像データに対して重み付けが行われていない場合の一例について説明した。しかし、実際の撮像装置におけるブロックマッチングの処理では、ＳＡＤ演算を行うそれぞれの画像データに対して、例えば、ＳＡＤ演算を行うそれぞれの領域（ブロック）の中心に近い画素データほど高い値の重みを設定して処理を行う場合もある。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態の画像処理装置は、ＳＡＤ演算を行うそれぞれの注目ブロック内の画像データに対して重みが設定されている場合に、設定された重み係数の値（以下、「重み値」という）に応じてＳＡＤ演算を行う構成の画像処理装置である。図７は、本第２の実施形態における画像処理装置の概略構成を示したブロック図である。図７に示した画像処理装置３００は、シリアル／パラレル変換部３１０と、３つの共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３と、６つの加算処理部３３１１〜加算処理部３３３２と、２つの重み処理部３４１および重み処理部３４２と、を備えている。なお、図７には、撮像装置に搭載され、画像処理装置３００に画素信号を出力するイメージセンサ１０も併せて示している。ただし、図７においても、図１に示した第１の実施形態の画像処理装置１００の概略構成と同様に、イメージセンサ１０に配置されたそれぞれの画素から出力される画素信号（アナログ信号）をデジタル信号に変換する構成要素は省略している。また、図７においては、シリアル／パラレル変換部３１０から共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれに出力する画像データの信号線を簡略化して示している。

画像処理装置３００は、イメージセンサ１０に配置されたそれぞれの画素から出力される画素信号に応じたデジタル信号に対して様々な画像処理を施す画像処理部内に備えられる。なお、図７においても、図１に示した第１の実施形態の画像処理装置１００の概略構成と同様に、イメージセンサ１０から出力されるそれぞれの画素信号に応じたそれぞれの画像データに応じて、予め定めた大きさの領域内のそれぞれの画像に対応したそれぞれの画像データの差分絶対値和を求めるＳＡＤ演算を行ったＳＡＤ演算結果を出力する本第２の実施形態の画像処理装置３００の構成のみを示している。なお、図７に示した画像処理装置３００は、水平方向（行方向）ｘに隣接する２画素の画素信号を同時に出力するベイヤー配列のイメージセンサ１０に対応し、最終的にＳＡＤ演算を行うそれぞれの注目ブロック内の画像データに３種類の重み値が設定されている構成の一例である。

なお、以下の説明においては、説明を容易にするため、第１の実施形態の画像処理装置１００の説明と同様に、イメージセンサ１０が、画素信号に応じた画像データをそれぞれのチャンネルから出力するものとして説明する。図７にも、イメージセンサ１０のチャンネルｃｈ１からＲ画素の画素信号に応じた画像データ（Ｒ１，Ｒ２，Ｒ３，・・・）が、チャンネルｃｈ２からＧｒ画素の画素信号に応じた画像データ（Ｇｒ１，Ｇｒ２，Ｇｒ３，・・・）が、それぞれ同時に、画像処理装置３００に順次入力されている様子を示している。

シリアル／パラレル変換部３１０は、第１の実施形態の画像処理装置１００に備えたシリアル／パラレル変換部１１０と同様に、イメージセンサ１０のそれぞれのチャンネルから順次（直列的に）入力される画像データを一旦記憶し、記憶したそれぞれの画像データを、後段の共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれがＳＡＤ演算を行う際に用いる数だけ同時に（並列的に）出力する。なお、シリアル／パラレル変換部３１０の構成や動作は、図１に示した第１の実施形態のシリアル／パラレル変換部１１０の構成や動作と同様であるため、詳細な説明は省略する。

共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれは、第１の実施形態の画像処理装置１００に備えた共通ブロックＳＡＤ演算部１２０と同様に、シリアル／パラレル変換部３１０から同時に入力されたそれぞれの画像データに基づいてＳＡＤ演算を行い、ＳＡＤ演算した後のＳＡＤ演算結果を、イメージセンサ１０のそれぞれのチャンネルに対応する後段の加算処理部のそれぞれに出力する。なお、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれの構成や動作は、図１に示した第１の実施形態の共通ブロックＳＡＤ演算部１２０の構成や動作と同様であるため、詳細な説明は省略する。なお、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれが備える画像データ同士の差分絶対値を算出する演算回路の数は、対応するそれぞれの注目ブロックを合わせたブロックに含まれる画素数に応じて異なる数であってもよい。

なお、上述したように、画像処理装置３００においては、最終的にＳＡＤ演算を行うそれぞれの注目ブロック内の画像データに３種類の重み値が設定されている。このため、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれは、注目ブロック内で同じ重み値が設定された領域（ブロック）毎に、ＳＡＤ演算を行う。このため、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれが、第１の注目ブロック、第２の注目ブロック、共通注目ブロック、第１の加算ブロック、第２の加算ブロックなどの各領域（ブロック）を定義する際の考え方は、共通ブロックＳＡＤ演算部１２０と同様であるが、それぞれのブロックの領域の大きさは、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれで異なる。

加算処理部３３１１〜加算処理部３３３２のそれぞれは、第１の実施形態の画像処理装置１００に備えた加算処理部１３１または加算処理部１３２と同様に、対応する共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれから入力された共通ＳＡＤ演算結果と、第１の加算用ＳＡＤ演算結果または第２の加算用ＳＡＤ演算結果とに基づいて、イメージセンサ１０のそれぞれのチャンネルに対応するＳＡＤ演算結果を、対応する後段の重み処理部３４１または重み処理部３４２に、それぞれ出力する。なお、図７に示した画像処理装置３００では、加算処理部３３１１と、加算処理部３３２１と、加算処理部３３３１とのそれぞれがイメージセンサ１０のチャンネルｃｈ１に対応し、加算処理部３３１２と、加算処理部３３２２と、加算処理部３３３２とのそれぞれがイメージセンサ１０のチャンネルｃｈ２に対応している。なお、加算処理部３３１１〜加算処理部３３３２のそれぞれの構成や動作は、図１に示した第１の実施形態の加算処理部１３１および加算処理部１３２のそれぞれの構成や動作と同様であるため、詳細な説明は省略する。

重み処理部３４１および重み処理部３４２のそれぞれは、対応する加算処理部から入力されたそれぞれのＳＡＤ演算結果に対してそれぞれの重み値を乗算し、重み値を乗算したそれぞれのＳＡＤ演算結果を加算する重み付け処理を行い、重み付け処理を行った後のＳＡＤ演算結果（以下、「重み付けＳＡＤ演算結果」という）を、それぞれ出力する。なお、図７に示した画像処理装置３００では、重み処理部３４１がイメージセンサ１０のチャンネルｃｈ１に対応し、重み処理部３４２がイメージセンサ１０のチャンネルｃｈ２に対応している。

このような構成によって、画像処理装置３００では、イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果と、イメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果とを同時に出力する。つまり、画像処理装置３００では、共通ブロックＳＡＤ演算部３２１と加算処理部３３１１との構成によって、第１の注目ブロック内で１つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ１に対応する領域（ブロック）のＳＡＤ演算結果を出力する。また、画像処理装置３００では、共通ブロックＳＡＤ演算部３２２と加算処理部３３２１との構成によって、第１の注目ブロック内で２つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ１に対応する領域（ブロック）のＳＡＤ演算結果を出力する。また、画像処理装置３００では、共通ブロックＳＡＤ演算部３２３と加算処理部３３３１との構成によって、第１の注目ブロック内で３つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ１に対応する領域（ブロック）のＳＡＤ演算結果を出力する。そして、画像処理装置３００では、重み処理部３４１が、加算処理部３３１１、加算処理部３３２１、および加算処理部３３３１のそれぞれが出力した１つ目〜３つ目の重み値が設定されたそれぞれの領域（ブロック）のＳＡＤ演算結果に対して重み付け処理を行って、イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果を出力する。

また、同時に、画像処理装置３００では、共通ブロックＳＡＤ演算部３２１と加算処理部３３１２との構成によって、第２の注目ブロック内で１つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ２に対応する領域（ブロック）のＳＡＤ演算結果を出力する。また、画像処理装置３００では、共通ブロックＳＡＤ演算部３２２と加算処理部３３２２との構成によって、第２の注目ブロック内で２つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ２に対応する領域（ブロック）のＳＡＤ演算結果を出力する。また、画像処理装置３００では、共通ブロックＳＡＤ演算部３２３と加算処理部３３３２との構成によって、第２の注目ブロック内で３つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ２に対応する領域（ブロック）のＳＡＤ演算結果を出力する。そして、画像処理装置３００では、重み処理部３４２が、加算処理部３３１２、加算処理部３３２２、および加算処理部３３３２のそれぞれが出力した１つ目〜３つ目の重み値が設定されたそれぞれの領域（ブロック）のＳＡＤ演算結果に対して重み付け処理を行って、イメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果を出力する。

次に、本第２の実施形態の画像処理装置３００において、イメージセンサ１０のそれぞれのチャンネルに対応するＳＡＤ演算を行う方法について説明する。まず、図８を用いて同時にＳＡＤ演算を行う領域について説明する。図８は、本第２の実施形態の画像処理装置３００において同時にＳＡＤ演算を行う画素の領域の一例を模式的に示した図である。図８（ａ）には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックと、第１の参照ブロックとの位置関係を示し、図８（ｂ）には、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックと、第２の参照ブロックとの位置関係を示している。

図８を見てわかるように、本第２の実施形態の画像処理装置３００においても、イメージセンサ１０が水平方向ｘに隣接する２画素の画像データを同時に出力する場合におけるそれぞれのチャンネルの注目画素同士および参照画素同士の位置関係は、図２に示した第１の実施形態におけるイメージセンサ１０が出力するそれぞれのチャンネルの注目画素の位置関係および参照画素の位置関係と同様に、水平方向ｘに隣接する２画素である。つまり、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素とは、水平方向ｘに隣接する２画素であり、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素に対応する参照画素と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素に対応する参照画素とも、水平方向ｘに隣接する２画素である。

そして、本第２の実施形態の画像処理装置３００においては、上述したように、最終的にＳＡＤ演算を行うそれぞれの注目ブロック内の画像データに３種類の重み値が設定されている。図８に示した一例では、最終的な重み付けＳＡＤ演算結果を得る注目ブロックの中心に近い画素データほど高い値の重み値が設定されている場合を示している。なお、以下の説明においては、それぞれの画素データに設定された重み値ａ〜重み値ｃの関係が、重み値ａ＞重み値ｂ＞重み値ｃの関係にあるものとして説明する。つまり、重み値ａが最も高い値であり、重み値ｃが最も低い値であるものとして説明する。

より具体的には、図８に示した一例では、イメージセンサ１０のチャンネルｃｈ１から出力される水平方向ｘ＝６、垂直方向ｙ＝６の座標位置の注目画素（６，６）の画素データに最も高い重み値ａが設定され、注目画素（６，６）の周辺の８画素の画素データに重み値ｂが設定され、さらに周辺の１６画素の画素データに最も低い重み値ｃが設定されている。同様に、イメージセンサ１０のチャンネルｃｈ２から出力される水平方向ｘ＝７、垂直方向ｙ＝６の座標位置の注目画素（７，６）の画素データに最も高い重み値ａが設定され、注目画素（７，６）の周辺の８画素の画素データに重み値ｂが設定され、さらに周辺の１６画素の画素データに最も低い重み値ｃが設定されている。

なお、図８（ａ）と図８（ｂ）とを比べてわかるように、イメージセンサ１０から入力された同じ画素の画像データであっても、第１の注目ブロックに含まれる画素としてＳＡＤ演算されるときと、第２の注目ブロックに含まれる画素としてＳＡＤ演算されるときとで、設定された重み値が異なる場合がある。例えば、水平方向ｘ＝８、垂直方向ｙ＝５の座標位置に位置する画素（８，５）は、第１の注目ブロックに含まれる画素としてＳＡＤ演算されるときの重み値は重み値ｃであるが、第２の注目ブロックに含まれる画素としてＳＡＤ演算されるときの重み値は重み値ｂである。

このため、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれは、上述したように、注目ブロック内で同じ重み値が設定された領域（ブロック）毎に、ＳＡＤ演算を行う。そこで、共通ブロックＳＡＤ演算部３２１は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ｃ以上の領域（以下、「第１ｃの注目ブロック」という）と、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ｃ以上の領域（以下、「第２ｃの注目ブロック」という）とをそれぞれ定義する。また、共通ブロックＳＡＤ演算部３２２は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ｂ以上の領域（以下、「第１ｂの注目ブロック」という）と、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ｂ以上の領域（以下、「第２ｂの注目ブロック」という）とをそれぞれ定義する。また、共通ブロックＳＡＤ演算部３２３は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ａ以上の領域（以下、「第１ａの注目ブロック」という）と、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ａ以上の領域（以下、「第２ａの注目ブロック」という）とをそれぞれ定義する。

より具体的には、図８に示した一例では、共通ブロックＳＡＤ演算部３２１が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした５画素×５画素の領域を第１ｃの注目ブロックと定義し、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした５画素×５画素の領域を第２ｃの注目ブロックと定義する。また、共通ブロックＳＡＤ演算部３２２が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした３画素×３画素の領域を第１ｂの注目ブロックと定義し、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした３画素×３画素の領域を第２ｂの注目ブロックと定義する。また、共通ブロックＳＡＤ演算部３２３が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした１画素×１画素の領域を第１ａの注目ブロックと定義し、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした１画素×１画素の領域を第２ａの注目ブロックと定義する。なお、図８に示した一例では、第１ａの注目ブロックと第２ａの注目ブロックとのそれぞれは、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）またはイメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）のみの領域である。

なお、共通ブロックＳＡＤ演算部３２１が定義した第１ｃの注目ブロックと第２ｃの注目ブロックとが、最終的な重み付けＳＡＤ演算結果を得るそれぞれの注目ブロックである。なお、以下の説明において、第１ａの注目ブロック、第１ｂの注目ブロック、および第１ｃの注目ブロックのそれぞれを区別せずに表す場合には、「第１の重み付け注目ブロック」といい、第２ａの注目ブロック、第２ｂの注目ブロック、および第２ｃの注目ブロックのそれぞれを区別せずに表す場合には、「第２の重み付け注目ブロック」という。

また、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれは、定義したそれぞれの第１の重み付け注目ブロックに対応し、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした第１ａの参照ブロック、第１ｂの参照ブロック、および第１ｃの参照ブロックのそれぞれを定義する。同様に、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれは、定義したそれぞれの第２の重み付け注目ブロックに対応し、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした第２ａの参照ブロック、第２ｂの参照ブロック、および第２ｃの参照ブロックのそれぞれを定義する。

より具体的には、図８に示した一例では、共通ブロックＳＡＤ演算部３２１が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした５画素×５画素の領域を第１ｃの参照ブロックと定義し、チャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした５画素×５画素の領域を第２ｃの参照ブロックと定義する。また、共通ブロックＳＡＤ演算部３２２が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした３画素×３画素の領域を第１ｂの参照ブロックと定義し、チャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした３画素×３画素の領域を第２ｂの参照ブロックと定義する。また、共通ブロックＳＡＤ演算部３２３が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした１画素×１画素の領域を第１ａの参照ブロックと定義し、チャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした１画素×１画素の領域を第２ａの参照ブロックと定義する。なお、図８に示した一例では、第１ａの参照ブロックと第２ａの参照ブロックとのそれぞれは、第１ａの注目ブロックと第２ａの注目ブロックとのそれぞれの注目ブロックと同様に、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）またはイメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）のみの領域である。

なお、以下の説明において、第１ａの参照ブロック、第１ｂの参照ブロック、および第１ｃの参照ブロックのそれぞれを区別せずに表す場合には、「第１の重み付け参照ブロック」といい、第２ａの参照ブロック、第２ｂの参照ブロック、および第２ｃの参照ブロックのそれぞれを区別せずに表す場合には、「第２の重み付け参照ブロック」という。

ここで定義された第１ｃの注目ブロックと第１ｃの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値に対して対応する重み値を乗算した後に積算したＳＡＤ演算結果が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した最終的な重み付けＳＡＤ演算結果である。また、ここで定義された第２ｃの注目ブロックと第２ｃの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値に対して対応する重み値を乗算した後に積算したＳＡＤ演算結果が、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した最終的な重み付けＳＡＤ演算結果である。

なお、従来の撮像装置に備えた画像処理部においては、注目ブロックと参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値に対して対応する重み値を乗算した後に積算するＳＡＤ演算部を、イメージセンサ１０が画像データを出力するチャンネル数分備えることによって、それぞれの注目ブロックに対応するＳＡＤ演算結果を同時に出力していた。つまり、従来の撮像装置に備えた画像処理部においては、差分絶対値を算出した後に重み付け処理を行う演算回路を、注目ブロック内に含まれる画像データの数分備えている。

一方、本第２の実施形態の画像処理装置３００では、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれが、第１の実施形態の画像処理装置１００に備えた共通ブロックＳＡＤ演算部１２０と同様に、第１の重み付け注目ブロックと第２の重み付け注目ブロックとに共通する共通注目ブロックと、第１の重み付け参照ブロックと第２の重み付け参照ブロックとに共通する共通参照ブロックとをそれぞれ定義する。図９は、本第２の実施形態の画像処理装置３００におけるＳＡＤ演算の演算方法を模式的に示した図である。図９には、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれが、共通注目ブロックと共通参照ブロックとをそれぞれ定義した状態を示している。

より具体的には、共通ブロックＳＡＤ演算部３２１が、第１ｃの注目ブロックと第２ｃの注目ブロックとに共通する４画素×５画素の領域の第３の共通注目ブロックと、第１ｃの参照ブロックと第２ｃの参照ブロックとに共通する４画素×５画素の領域の第３の共通参照ブロックとをそれぞれ定義する。また、同様に、共通ブロックＳＡＤ演算部３２２が、第１ｂの注目ブロックと第２ｂの注目ブロックとに共通する２画素×３画素の領域の第２の共通注目ブロックと、第１ｂの参照ブロックと第２ｂの参照ブロックとに共通する２画素×３画素の領域の第２の共通参照ブロック（不図示）とをそれぞれ定義する。また、同様に、共通ブロックＳＡＤ演算部３２３が、第１ａの注目ブロックと第２ａの注目ブロックとに共通する０画素×０画素の領域の第１の共通注目ブロックと、第１ａの参照ブロックと第２ａの参照ブロックとに共通する０画素×０画素の領域の第１の共通参照ブロック（不図示）とをそれぞれ定義する。なお、図９に示した一例では、第１の共通注目ブロックは、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）およびイメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）のいずれも含まない領域である。また、同様に、第１の共通参照ブロック（不図示）は、第１の共通注目ブロックと同様に、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）およびイメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）のいずれも含まない領域である。

図９を見てわかるように、第３の共通注目ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）とが含まれている。また、第３の共通参照ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）とが含まれている。同様に、第２の共通注目ブロック内にも、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）とが含まれている。同様に、第２の共通参照ブロック（不図示）内にも、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）とが含まれる。

なお、以下の説明において、第３の共通注目ブロック、第２の共通注目ブロック、および第１の共通注目ブロックのそれぞれを区別せずに表す場合には、「共通注目ブロック」といい、第３の共通参照ブロック、第２の共通参照ブロック、および第１の共通参照ブロックのそれぞれを区別せずに表す場合には、「共通参照ブロック」という。

そして、本第２の実施形態の画像処理装置３００では、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれが、定義した共通注目ブロック内の画像データと共通参照ブロック内の画像データとに基づいてＳＡＤ演算を行い、共通注目ブロックに対応する共通ＳＡＤ演算結果を、対応する加算処理部３３１１〜加算処理部３３３２のそれぞれに出力する。

より具体的には、共通ブロックＳＡＤ演算部３２１が、定義した第３の共通注目ブロック内の画像データと第３の共通参照ブロック内の画像データとに基づいてＳＡＤ演算を行った第３の共通ＳＡＤ演算結果を、加算処理部３３１１と加算処理部３３１２とに出力する。また、同様に、共通ブロックＳＡＤ演算部３２２が、定義した第２の共通注目ブロック内の画像データと第２の共通参照ブロック（不図示）内の画像データとに基づいてＳＡＤ演算を行った第２の共通ＳＡＤ演算結果を、加算処理部３３２１と加算処理部３３２２とに出力する。また、同様に、共通ブロックＳＡＤ演算部３２３が、定義した第１の共通注目ブロック内の画像データと第１の共通参照ブロック（不図示）内の画像データとに基づいてＳＡＤ演算を行った第１の共通ＳＡＤ演算結果を、加算処理部３３３１と加算処理部３３３２とに出力する。

このとき共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれが出力する、図９に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心としたそれぞれの共通注目ブロックに対応した共通ＳＡＤ演算結果のそれぞれは、第１の実施形態の画像処理装置１００に備えた共通ブロックＳＡＤ演算部１２０と同様に、上式（２）で表される。なお、共通ＳＡＤ演算結果のそれぞれは、第３の共通注目ブロック、第２の共通注目ブロック、および第１の共通注目ブロックの領域の大きさに応じて異なった変数で、上式（２）によって算出された値である。なお、上述したように、第１の共通注目ブロックおよび第１の共通参照ブロック（不図示）には、いずれの画素も含んでいない。従って、共通ブロックＳＡＤ演算部３２３が加算処理部３３３１と加算処理部３３３２とに出力する第１の共通ＳＡＤ演算結果は、“０”である。

さらに、本第２の実施形態の画像処理装置３００では、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれが、第１の実施形態の画像処理装置１００に備えた共通ブロックＳＡＤ演算部１２０と同様に、第１の加算用ＳＡＤ演算結果を、対応する加算処理部３３１１、加算処理部３３２１、および加算処理部３３３１のそれぞれに出力する。

より具体的には、共通ブロックＳＡＤ演算部３２１が、定義した第１ｃの注目ブロック内で、第３の共通注目ブロックに含まれないブロック、すなわち、図９に示した第１ｃの加算ブロック内の画像データと、この第１ｃの加算ブロックに対応する第１ｃの参照ブロック内の領域の画像データとに基づいてＳＡＤ演算を行った第１ｃの加算用ＳＡＤ演算結果を、加算処理部３３１１に出力する。また、同様に、共通ブロックＳＡＤ演算部３２２が、定義した第１ｂの注目ブロック内で、第２の共通注目ブロックに含まれないブロック、すなわち、図９に示した第１ｂの加算ブロック内の画像データと、この第１ｂの加算ブロックに対応する第１ｂの参照ブロック内の領域の画像データとに基づいてＳＡＤ演算を行った第１ｂの加算用ＳＡＤ演算結果を、加算処理部３３２１に出力する。また、同様に、共通ブロックＳＡＤ演算部３２３が、定義した第１ａの注目ブロック内で、第１の共通注目ブロックに含まれないブロック、すなわち、図９に示した注目画素（６，６）の画像データと、この注目画素（６，６）に対応する参照画素（２，２）の画像データとに基づいてＳＡＤ演算を行った第１ａの加算用ＳＡＤ演算結果、すなわち、注目画素（６，６）のみのＳＡＤ演算結果を、加算処理部３３３１に出力する。

これにより、加算処理部３３１１、加算処理部３３２１、および加算処理部３３３１のそれぞれは、対応する共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれから入力された共通ＳＡＤ演算結果と対応する第１の加算用ＳＡＤ演算結果とを加算して、それぞれの第１の重み付け注目ブロックに対応したＳＡＤ演算結果を得る。そして、加算処理部３３１１、加算処理部３３２１、および加算処理部３３３１のそれぞれは、それぞれの第１の重み付け注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４１に出力する。

このとき加算処理部３３１１、加算処理部３３２１、および加算処理部３３３１のそれぞれが出力する、図８（ａ）に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心としたそれぞれの第１の重み付け注目ブロックに対応したＳＡＤ演算結果のそれぞれは、第１の実施形態の画像処理装置１００に備えた共通ブロックＳＡＤ演算部１２０と同様に、上式（３）で表される。なお、ＳＡＤ演算結果のそれぞれは、第３の共通注目ブロックおよび第１ｃの加算ブロック、第２の共通注目ブロックおよび第１ｂの加算ブロック、第１の共通注目ブロックおよび第１ａの加算ブロックの領域の大きさに応じて異なった変数で、上式（３）によって算出された値である。

また、本第２の実施形態の画像処理装置３００では、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれが、第１の実施形態の画像処理装置１００に備えた共通ブロックＳＡＤ演算部１２０と同様に、第２の加算用ＳＡＤ演算結果を、対応する加算処理部３３１２、加算処理部３３２２、および加算処理部３３３２のそれぞれに出力する。

より具体的には、共通ブロックＳＡＤ演算部３２１が、定義した第２ｃの注目ブロック内で、第３の共通注目ブロックに含まれないブロック、すなわち、図９に示した第２ｃの加算ブロック内の画像データと、この第２ｃの加算ブロックに対応する第２ｃの参照ブロック内の領域の画像データとに基づいてＳＡＤ演算を行った第２ｃの加算用ＳＡＤ演算結果を、加算処理部３３１２に出力する。また、同様に、共通ブロックＳＡＤ演算部３２２が、定義した第２ｂの注目ブロック内で、第２の共通注目ブロックに含まれないブロック、すなわち、図９に示した第２ｂの加算ブロック内の画像データと、この第２ｂの加算ブロックに対応する第２ｂの参照ブロック内の領域の画像データとに基づいてＳＡＤ演算を行った第２ｂの加算用ＳＡＤ演算結果を、加算処理部３３２２に出力する。また、同様に、共通ブロックＳＡＤ演算部３２３が、定義した第２ａの注目ブロック内で、第１の共通注目ブロックに含まれないブロック、すなわち、図９に示した注目画素（７，６）の画像データと、この注目画素（７，６）に対応する参照画素（３，２）の画像データとに基づいてＳＡＤ演算を行った第２ａの加算用ＳＡＤ演算結果、すなわち、注目画素（７，６）のみのＳＡＤ演算結果を、加算処理部３３３２に出力する。

これにより、加算処理部３３１２、加算処理部３３２２、および加算処理部３３３２のそれぞれは、対応する共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれから入力された共通ＳＡＤ演算結果と対応する第２の加算用ＳＡＤ演算結果とを加算して、それぞれの第２の重み付け注目ブロックに対応したＳＡＤ演算結果を得る。そして、加算処理部３３１２、加算処理部３３２２、および加算処理部３３３２のそれぞれは、それぞれの第２の重み付け注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４２に出力する。

このとき加算処理部３３１２、加算処理部３３２２、および加算処理部３３３２のそれぞれが出力する、図８（ｂ）に示した、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心としたそれぞれの第２の重み付け注目ブロックに対応したＳＡＤ演算結果のそれぞれは、第１の実施形態の画像処理装置１００に備えた共通ブロックＳＡＤ演算部１２０と同様に、上式（４）で表される。なお、ＳＡＤ演算結果のそれぞれは、第３の共通注目ブロックおよび第２ｃの加算ブロック、第２の共通注目ブロックおよび第２ｂの加算ブロック、第１の共通注目ブロックおよび第２ａの加算ブロックの領域の大きさに応じて異なった変数で、上式（４）によって算出された値である。

その後、本第２の実施形態の画像処理装置３００では、重み処理部３４１および重み処理部３４２のそれぞれが、対応する加算処理部３３１１〜加算処理部３３３２のそれぞれから入力されたＳＡＤ演算結果のそれぞれに対して対応する重み値を乗算した後に、重み値を乗算したそれぞれのＳＡＤ演算結果を加算する重み付け処理を行う。そして、重み処理部３４１および重み処理部３４２のそれぞれは、重み付け処理を行った後の重み付けＳＡＤ演算結果のそれぞれを、イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果およびイメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果として、それぞれ出力する。

図１０は、本第２の実施形態の画像処理装置３００におけるＳＡＤ演算の演算方法を模式的に示した図である。図１０（ａ）には、重み処理部３４１が行う重み付け処理の内容を模式的に示し、図１０（ｂ）には、重み処理部３４２が行う重み付け処理の内容を模式的に示している。

まず、図１０（ａ）を参照して、重み処理部３４１による重み付け処理について説明する。上述したように、共通ブロックＳＡＤ演算部３２１は、図９に示した第３の共通注目ブロックに対応する第３の共通ＳＡＤ演算結果と、第１ｃの加算ブロックに対応する第１ｃの加算用ＳＡＤ演算結果とを加算処理部３３１１に出力する。そして、加算処理部３３１１は、第３の共通ＳＡＤ演算結果と第１ｃの加算用ＳＡＤ演算結果とを加算し、図８に示した第１ｃの注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４１に出力する（図１０（ａ）の上段参照）。また、同様に、共通ブロックＳＡＤ演算部３２２は、図９に示した第２の共通注目ブロックに対応する第２の共通ＳＡＤ演算結果と、第１ｂの加算ブロックに対応する第１ｂの加算用ＳＡＤ演算結果とを加算処理部３３２１に出力する。そして、加算処理部３３２１は、第２の共通ＳＡＤ演算結果と第１ｂの加算用ＳＡＤ演算結果とを加算し、図８に示した第１ｂの注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４１に出力する（図１０（ａ）の中段参照）。また、同様に、共通ブロックＳＡＤ演算部３２３は、図９に示した第１の共通注目ブロックに対応する第１の共通ＳＡＤ演算結果（＝０）と、第１ａの加算ブロックに対応する第１ａの加算用ＳＡＤ演算結果、すなわち、注目画素（６，６）のみのＳＡＤ演算結果とを加算処理部３３３１に出力する。そして、加算処理部３３３１は、第１の共通ＳＡＤ演算結果と第１ａの加算用ＳＡＤ演算結果とを加算し、図８に示した第１ａの注目ブロックに対応したＳＡＤ演算結果、すなわち、注目画素（６，６）のみのＳＡＤ演算結果を、重み処理部３４１に出力する（図１０（ａ）の下段参照）。

そして、重み処理部３４１は、加算処理部３３１１から入力された第１ｃの注目ブロックに対応したＳＡＤ演算結果に、設定された最も低い重み値ｃを乗算する（図１０（ａ）の上段参照）。これにより、第１ｃの注目ブロックと第１ｃの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して対応する重み値ｃを乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。さらに、重み処理部３４１は、加算処理部３３２１から入力された第１ｂの注目ブロックに対応したＳＡＤ演算結果に、設定された重み値ｂと重み値ｃとの差分の重み値（ｂ−ｃ）を乗算する（図１０（ａ）の中段参照）。これにより、第１ｂの注目ブロックと第１ｂの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して重み値（ｂ−ｃ）を乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。さらに、重み処理部３４１は、加算処理部３３３１から入力された第１ａの注目ブロックに対応したＳＡＤ演算結果に、設定された最も高い重み値ａから重み値ｂと重み値ｃとを差し引いた重み値（ａ−ｂ−ｃ）を乗算する（図１０（ａ）の下段参照）。これにより、第１ａの注目ブロックと第１ａの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して重み値（ａ−ｂ−ｃ）を乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。

そして、重み処理部３４１は、それぞれの重み値を乗算したそれぞれのＳＡＤ演算結果を加算する。つまり、図１０（ａ）の上段、中段、および下段に示したそれぞれの乗算の処理によって得たＳＡＤ演算結果を加算する。これにより、第１ｃの注目ブロックに対応する画素に重み値ｃが乗算され、第１ｂの注目ブロックに対応する画素に重み値ｂが乗算され、さらに、第１ａの注目ブロックに対応する画素に重み値ａが乗算された後に、全ての値が積算されたＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。ここで得られたＳＡＤ演算結果が、３種類の重み値が設定されているイメージセンサ１０のチャンネルｃｈ１に対応した第１の注目ブロック（＝第１ｃの注目ブロック）に対応した最終的な重み付けＳＡＤ演算結果である。そして、重み処理部３４１は、第１ｃの注目ブロックに対応した最終的な重み付けＳＡＤ演算結果を、イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果として出力する。

なお、上述した第１ｂの注目ブロックに対応したＳＡＤ演算結果に対する乗算の処理において、重み値ｂと重み値ｃとの差分の重み値（ｂ−ｃ）を乗算している理由は、第１ｃの注目ブロックに重複して含まれる第１ｂの注目ブロック内の画像データに、重み値ｃが重複して乗算されてしまうことを回避するためである。また、上述した第１ａの注目ブロックに対応したＳＡＤ演算結果に対する乗算の処理において、重み値ａから重み値ｂと重み値ｃとを差し引いた重み値（ａ−ｂ−ｃ）を乗算している理由も、第１ｃの注目ブロックと第１ｂの注目ブロックとに重複して含まれる第１ａの注目ブロック内の画像データに、重み値ｃおよび重み値ｂが重複して乗算されてしまうことを回避するためである。

続いて、図１０（ｂ）を参照して、重み処理部３４２による重み付け処理について説明する。上述したように、共通ブロックＳＡＤ演算部３２１は、図９に示した第３の共通注目ブロックに対応する第３の共通ＳＡＤ演算結果と、第２ｃの加算ブロックに対応する第２ｃの加算用ＳＡＤ演算結果とを加算処理部３３１２に出力する。そして、加算処理部３３１２は、第３の共通ＳＡＤ演算結果と第２ｃの加算用ＳＡＤ演算結果とを加算し、図８に示した第２ｃの注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４２に出力する（図１０（ｂ）の上段参照）。また、同様に、共通ブロックＳＡＤ演算部３２２は、図９に示した第２の共通注目ブロックに対応する第２の共通ＳＡＤ演算結果と、第２ｂの加算ブロックに対応する第２ｂの加算用ＳＡＤ演算結果とを加算処理部３３２２に出力する。そして、加算処理部３３２２は、第２の共通ＳＡＤ演算結果と第２ｂの加算用ＳＡＤ演算結果とを加算し、図８に示した第２ｂの注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４２に出力する（図１０（ｂ）の中段参照）。また、同様に、共通ブロックＳＡＤ演算部３２３は、図９に示した第１の共通注目ブロックに対応する第１の共通ＳＡＤ演算結果（＝０）と、第２ａの加算ブロックに対応する第２ａの加算用ＳＡＤ演算結果、すなわち、注目画素（７，６）のみのＳＡＤ演算結果とを加算処理部３３３２に出力する。そして、加算処理部３３３２は、第１の共通ＳＡＤ演算結果と第２ａの加算用ＳＡＤ演算結果とを加算し、図８に示した第２ａの注目ブロックに対応したＳＡＤ演算結果、すなわち、注目画素（７，６）のみのＳＡＤ演算結果を、重み処理部３４２に出力する（図１０（ｂ）の下段参照）。

そして、重み処理部３４２は、加算処理部３３１２から入力された第２ｃの注目ブロックに対応したＳＡＤ演算結果に、設定された最も低い重み値ｃを乗算する（図１０（ｂ）の上段参照）。これにより、第２ｃの注目ブロックと第２ｃの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して対応する重み値ｃを乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。さらに、重み処理部３４２は、加算処理部３３２２から入力された第２ｂの注目ブロックに対応したＳＡＤ演算結果に、設定された重み値ｂと重み値ｃとの差分の重み値（ｂ−ｃ）を乗算する（図１０（ｂ）の中段参照）。これにより、第２ｂの注目ブロックと第２ｂの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して重み値（ｂ−ｃ）を乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。さらに、重み処理部３４２は、加算処理部３３３２から入力された第２ａの注目ブロックに対応したＳＡＤ演算結果に、設定された最も高い重み値ａから重み値ｂと重み値ｃとを差し引いた重み値（ａ−ｂ−ｃ）を乗算する（図１０（ｂ）の下段参照）。これにより、第２ａの注目ブロックと第２ａの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して重み値（ａ−ｂ−ｃ）を乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。

そして、重み処理部３４２は、それぞれの重み値を乗算したそれぞれのＳＡＤ演算結果を加算する。つまり、図１０（ｂ）の上段、中段、および下段に示したそれぞれの乗算の処理によって得たＳＡＤ演算結果を加算する。これにより、第２ｃの注目ブロックに対応する画素に重み値ｃが乗算され、第２ｂの注目ブロックに対応する画素に重み値ｂが乗算され、さらに、第２ａの注目ブロックに対応する画素に重み値ａが乗算された後に、全ての値が積算されたＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。ここで得られたＳＡＤ演算結果が、３種類の重み値が設定されているイメージセンサ１０のチャンネルｃｈ２に対応した第２の注目ブロック（＝第２ｃの注目ブロック）に対応した最終的な重み付けＳＡＤ演算結果である。そして、重み処理部３４２は、第２ｃの注目ブロックに対応した最終的な重み付けＳＡＤ演算結果を、イメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果として出力する。

なお、上述した第２ｂの注目ブロックに対応したＳＡＤ演算結果に対する乗算の処理、および第１ａの注目ブロックに対応したＳＡＤ演算結果に対する乗算の処理において、それぞれのＳＡＤ演算結果に乗算する重み値を、それぞれの重み値ａ〜重み値ｃを演算した後に乗算している理由は、重み処理部３４１における重み付け処理の理由と同様である。つまり、それぞれの注目ブロックにおいて重複している画像データに、重み値が重複して乗算されてしまうことを回避するためである。

本第２の実施形態によれば、共通領域ＳＡＤ演算部と注目画素と同じ数の加算処理部との組み合わせ（共通ブロックＳＡＤ演算部３２１と加算処理部３３１１および加算処理部３３１２との組み合わせ、共通ブロックＳＡＤ演算部３２２と加算処理部３３２１および加算処理部３３２２との組み合わせ、共通ブロックＳＡＤ演算部３２３と加算処理部３３３１および加算処理部３３３２との組み合わせ）を、共通注目ブロック内のそれぞれの画素に設定された重み値（重み値ａ〜重み値ｃ）の種類（３種類）と同じ数だけ備え、さらに、加算処理部３３１１〜加算処理部３３３２のそれぞれから出力されるそれぞれのＳＡＤ演算結果に対して重み付け処理を行った重み付けＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果およびイメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果）を出力する、同時に相関を取る隣接する注目画素と同じ数（２つ）の重み処理部（重み処理部３４１および重み処理部３４２）、を備える画像処理装置（画像処理装置３００）が構成される。

また、本第２の実施形態によれば、共通領域ＳＡＤ演算部と注目画素と同じ数の加算処理部との組み合わせのそれぞれは、対応する重み値ａ〜重み値ｃに応じたＳＡＤ演算結果をそれぞれ出力し、重み処理部３４１および重み処理部３４２のそれぞれは、共通領域ＳＡＤ演算部と注目画素と同じ数の加算処理部との組み合わせのそれぞれから出力された、対応する注目画素におけるＳＡＤ演算結果のそれぞれに、対応する重み値ａ〜重み値ｃに基づいた値を乗算した後、ここで乗算したそれぞれの重み値に対応するＳＡＤ演算結果を加算したイメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果およびイメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果を出力する、画像処理装置３００が構成される。

また、本第２の実施形態によれば、第１の重み値（重み値ａ）に対応する共通領域ＳＡＤ演算部である第１の共通領域ＳＡＤ演算部（共通ブロックＳＡＤ演算部３２３）は、入力された注目画素（６，６）を中心とし、相関を取る周辺の画素を含めた予め定めた大きさの第１の注目ブロックにおいて重み値ａが設定された第１の重みの第１の注目領域（第１ａの注目ブロック）と、同時に入力された隣接する注目画素（７，６）を中心とし、同時に相関を取る周辺の画素を含めた予め定めた大きさの第２の注目ブロックにおいて重み値ａが設定された第１の重みの第２の注目領域（第２ａの注目ブロック）とが重複する共通注目ブロックである第１の重みの共通注目領域（第１の共通注目ブロック）と、注目画素（６，６）に対応する参照画素（２，２）を中心とし、第１の注目ブロックに対応する予め定めた大きさの第１の参照ブロックにおいて重み値ａが設定された第１の重みの第１の参照領域（第１ａの参照ブロック）と、注目画素（７，６）に対応する参照画素（３，２）を中心とし、第２の注目ブロックに対応する予め定めた大きさの第２の参照ブロックにおいて重み値ａが設定された第１の重みの第２の参照領域（第２ａの参照ブロック）とが重複する共通参照ブロックである第１の重みの共通参照領域（第１の共通参照ブロック）とを、それぞれ定義し、第１の共通注目ブロックと第１の共通参照ブロックとにおいて同一の座標に位置する画素の画素信号が表す画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値を積算する差分絶対値和演算を行った共通ＳＡＤ演算結果である第１の重みの共通ＳＡＤ演算結果（第１の共通ＳＡＤ演算結果）を出力し、重み値ａに対応し、注目画素（６，６）に対応する加算処理部である第１の重みの第１の加算処理部（加算処理部３３３１）は、第１の共通ＳＡＤ演算結果と、第１ａの注目ブロック内で、第１の共通注目ブロックに含まれない画素の領域（注目画素（７，６）の領域）に対応するＳＡＤ演算結果（第１ａの加算用ＳＡＤ演算結果）とを加算した第１の重みの第１のＳＡＤ演算結果（第１ａの注目ブロックに対応したＳＡＤ演算結果、すなわち、注目画素（６，６）のみのＳＡＤ演算結果）を出力し、重み値ａに対応し、注目画素（７，６）に対応する加算処理部である第１の重みの第２の加算処理部（加算処理部３３３２）は、第１の共通ＳＡＤ演算結果と、第２ａの注目ブロック内で、第１の共通注目ブロックに含まれない画素の領域（注目画素（６，６）の領域）に対応するＳＡＤ演算結果（第２ａの加算用ＳＡＤ演算結果）とを加算した第１の重みの第２のＳＡＤ演算結果（第２ａの注目ブロックに対応したＳＡＤ演算結果、すなわち、注目画素（７，６）のみのＳＡＤ演算結果）を出力し、重み値ａよりも小さく、この重み値ａが設定された画素の領域よりも大きな領域の画素に設定された第２の重み値（重み値ｂまたは重み値ｃ）に対応する共通領域ＳＡＤ演算部である第２の共通領域ＳＡＤ演算部（共通ブロックＳＡＤ演算部３２２または共通ブロックＳＡＤ演算部３２１）は、第１の注目ブロックにおいて重み値ｂまたは重み値ｃが設定された第２の重みの第１の注目領域（第１ｂの注目ブロックまたは第１ｃの注目ブロック）と、第２の注目ブロックにおいて重み値ｂまたは重み値ｃが設定された第２の重みの第２の注目領域（第２ｂの注目ブロックまたは第２ｃの注目ブロック）とが重複する共通注目ブロックである第２の重みの共通注目領域（第２の共通注目ブロックまたは第３の共通注目ブロック）と、第１の参照ブロックにおいて重み値ｂまたは重み値ｃが設定された第２の重みの第１の参照領域（第１ｂの参照ブロックまたは第１ｃの参照ブロック）と、第２の参照ブロックにおいて重み値ｂまたは重み値ｃが設定された第２の重みの第２の参照領域（第２ｂの参照ブロックまたは第２ｃの参照ブロック）とが重複する共通参照ブロックである第２の重みの共通参照領域（第２の共通参照ブロックまたは第３の共通参照ブロック）とを、それぞれ定義し、第２の共通注目ブロックまたは第３の共通注目ブロックと第２の共通参照ブロックまたは第３の共通参照ブロックとにおいて同一の座標に位置する画素の画素信号が表す画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値を積算する差分絶対値和演算を行った共通ＳＡＤ演算結果である第２の重みの共通ＳＡＤ演算結果（第２の共通ＳＡＤ演算結果または第２の共通ＳＡＤ演算結果）を出力し、重み値ｂまたは重み値ｃに対応し、注目画素（６，６）に対応する加算処理部である第２の重みの第１の加算処理部（加算処理部３３２１または加算処理部３３１１）は、第２の共通ＳＡＤ演算結果または第３の共通ＳＡＤ演算結果と、第１ｂの注目ブロックまたは第１ｃの注目ブロック内で、第２の共通注目ブロックまたは第３の共通注目ブロックに含まれない画素の領域（第１ｂの加算ブロックまたは第１ｃの加算ブロック）に対応するＳＡＤ演算結果（第１ｂの加算用ＳＡＤ演算結果または第１ｃの加算用ＳＡＤ演算結果）とを加算した第２の重みの第１のＳＡＤ演算結果（第１ｂの注目ブロックに対応したＳＡＤ演算結果または第１ｃの注目ブロックに対応したＳＡＤ演算結果）を出力し、重み値ｂまたは重み値ｃに対応し、注目画素（７，６）に対応する加算処理部である第２の重みの第２の加算処理部（加算処理部３３２２または加算処理部３３１２）は、第２の共通ＳＡＤ演算結果または第３の共通ＳＡＤ演算結果と、第２ｂの注目ブロックまたは第２ｃの注目ブロック内で、第２の共通注目ブロックまたは第３の共通注目ブロックに含まれない画素の領域（第２ｂの加算ブロックまたは第２ｃの加算ブロック）に対応するＳＡＤ演算結果（第２ｂの加算用ＳＡＤ演算結果または第２ｃの加算用ＳＡＤ演算結果）とを加算した第２の重みの第２のＳＡＤ演算結果（第２ｂの注目ブロックに対応したＳＡＤ演算結果および第２ｃの注目ブロックに対応したＳＡＤ演算結果）を出力し、注目画素（６，６）に対応する重み処理部である第１の重み処理部（重み処理部３４１）は、第１ａの注目ブロックに対応したＳＡＤ演算結果に重み値ａから重み値ｂ、または重み値ｂと重み値ｃを減算した重み値を乗算し、第１ｂの注目ブロックに対応したＳＡＤ演算結果または第１ｃの注目ブロックに対応したＳＡＤ演算結果に重み値ｂから重み値ｃを減算した重み値、または重み値ｃを乗算し、ここで乗算したそれぞれの第１のＳＡＤ演算結果を加算した重み付けＳＡＤ演算結果である第１の重み付けＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果）を出力し、注目画素（７，６）に対応する重み処理部である第２の重み処理部（重み処理部３４２）は、第２ａの注目ブロックに対応したＳＡＤ演算結果に重み値ａから重み値ｂ、または重み値ｂと重み値ｃを減算した重み値を乗算し、第２ｂの注目ブロックに対応したＳＡＤ演算結果および第２ｃの注目ブロックに対応したＳＡＤ演算結果に重み値ｂから重み値ｃを減算した重み値、または重み値ｃを乗算し、ここで乗算したそれぞれの第２のＳＡＤ演算結果を加算した重み付けＳＡＤ演算結果である第２の重み付けＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果）を出力する、画像処理装置３００が構成される。

上記に述べたように、本第２の実施形態の画像処理装置３００では、第１の実施形態の画像処理装置１００を同様に、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックと、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックとに共通する共通注目ブロックに対してＳＡＤ演算を行う。このとき、本第２の実施形態の画像処理装置３００では、設定された重み値に応じて定義した、第１の重み付け注目ブロックと第２の重み付け注目ブロックとに共通するそれぞれの共通注目ブロック毎に、ＳＡＤ演算を行う。そして、本第２の実施形態の画像処理装置３００では、第１の実施形態の画像処理装置１００を同様に、それぞれの共通注目ブロックに対応する共通ＳＡＤ演算結果と、対応する第１の重み付け注目ブロックに含まれない第１の加算ブロックに対応する第１の加算用ＳＡＤ演算結果、または対応する第２の重み付け注目ブロックに含まれない第２の加算ブロックに対応する第２の加算用ＳＡＤ演算結果とを加算する。その後、本第２の実施形態の画像処理装置３００では、第１の重み付け注目ブロックと第２の重み付け注目ブロックとのそれぞれに、対応する重み値を乗算した後にそれぞれのＳＡＤ演算結果を加算する重み付け処理を行う。これにより、本第２の実施形態の画像処理装置３００でも、従来の撮像装置に備えた画像処理部と同様に、第１の注目ブロックに対応する重み付けＳＡＤ演算結果と第２の注目ブロックに対応する重み付けＳＡＤ演算結果とを、それぞれ同時に出力することができる。

しかも、本第２の実施形態の画像処理装置３００では、従来の撮像装置に備えた画像処理部において画像データ毎に行っていた差分絶対値に対する重み値の乗算を、重み値に応じて定義した領域（第１の重み付け注目ブロックおよび第２の重み付け注目ブロック）のＳＡＤ演算結果に対して行う。つまり、本第２の実施形態の画像処理装置３００では、重み付け処理を、複数の画像データに対してＳＡＤ演算を行った後のまとまった単位で行う。これにより、本第２の実施形態の画像処理装置３００では、重み付け処理を行う演算回路の数を、従来の撮像装置に備えた画像処理部に備える数よりも少なくすることができる。

より具体的には、例えば、第１の注目ブロックと第２の注目ブロックとのそれぞれの領域が５画素×５画素の領域であり、それぞれの注目ブロック内の画像データに３種類の重み値が設定されている場合、従来の撮像装置に備えた画像処理部では、５画素×５画素分の演算回路を２チャンネル分、すなわち、５×５×２＝５０個の重み付け処理を行う演算回路を備える必要があった。これに対して、本第２の実施形態の画像処理装置３００では、３種類の重み値に対応する重み付け処理を行う演算回路を２チャンネル分、すなわち、３×２＝６個の重み付け処理を行う演算回路を備えるのみで、それぞれの重み付けＳＡＤ演算結果を得ることができる。これにより、本第２の実施形態の画像処理装置３００では、画像データに対する重み付けを行ったＳＡＤ演算に関わる回路の回路規模の増大を、従来の構成よりも抑えつつ、それぞれの画像データに対する重み付けＳＡＤ演算結果を同時に出力することができる。

なお、本第２の実施形態においては、それぞれの画像データに対する重み値が、図８に示したように設定された場合について説明した。しかし、それぞれの画像データに対する重み値の設定は、本第２の実施形態において説明した設定に限定されるものではない。例えば、図１１に示したように設定された場合であっても同様に、本発明の考え方を適用することができる。

図１１は、本第２の実施形態の画像処理装置３００において同時にＳＡＤ演算を行う画素の領域の別の一例を模式的に示した図である。図１１（ａ）には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックと、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした第１の参照ブロックとの位置関係を示している。また、図１１（ｂ）には、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックと、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした第２の参照ブロックとの位置関係を示している。また、図１１には、第１の注目ブロックと第２の注目ブロックとのそれぞれの注目ブロック内の画像データに３種類の重み値が設定されている状態を示している。

本第２の実施形態の画像処理装置３００では、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれが、設定された重み値に応じて、それぞれの第１の重み付け注目ブロックと第２の重み付け注目ブロックとを定義する。より具体的には、図１１において、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ｃ以上の第１ｃの注目ブロックと、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ｃ以上の第２ｃの注目ブロックとをそれぞれ定義する。また、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ｂ以上の第１ｂの注目ブロックと、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ｂ以上の第２ｂの注目ブロックとをそれぞれ定義する。また、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ａ以上の第１ａの注目ブロックと、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ａ以上の第２ａの注目ブロックとをそれぞれ定義する。

また、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれは、定義したそれぞれの第１の重み付け注目ブロックおよび第２の重み付け注目ブロックに対応する第１の重み付け参照ブロックおよび第２の重み付け参照ブロックを定義する。より具体的には、図１１において、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした第１ａの参照ブロック、第１ｂの参照ブロック、および第１ｃの参照ブロックのそれぞれを定義する。同様に、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした第２ａの参照ブロック、第２ｂの参照ブロック、および第２ｃの参照ブロックのそれぞれを定義する。

そして、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれが、定義したそれぞれの第１の重み付け注目ブロックおよび第２の重み付け注目ブロックで共通する共通注目ブロックに対するＳＡＤ演算を行った共通ＳＡＤ演算結果と、それぞれの第１の重み付け注目ブロックまたは第２の重み付け注目ブロックに対応する第１の加算用ＳＡＤ演算結果、および第２の加算用ＳＡＤ演算結果とを、加算処理部３３１１〜加算処理部３３３２のそれぞれに出力する。そして、加算処理部３３１１〜加算処理部３３３２のそれぞれが、共通ブロックＳＡＤ演算部３２１〜共通ブロックＳＡＤ演算部３２３のそれぞれから入力された共通ＳＡＤ演算結果と、第１の加算用ＳＡＤ演算結果または第２の加算用ＳＡＤ演算結果とを加算する。その後、重み処理部３４１および重み処理部３４２のそれぞれが、加算処理部３３１１〜加算処理部３３３２のそれぞれから入力されたＳＡＤ演算結果のそれぞれに、対応する重み値を乗算した後にそれぞれのＳＡＤ演算結果を加算する重み付け処理を行う。これにより、本第２の実施形態の画像処理装置３００は、図１１（ａ）に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックに対応する重み付けＳＡＤ演算結果と、図１１（ｂ）に示した、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックに対応する重み付けＳＡＤ演算結果とを同時に出力する。

このように、本第２の実施形態の画像処理装置３００では、第１の注目ブロックと第２の注目ブロックとのそれぞれの注目ブロック内の画像データに設定される重み値の状態によらずに、第１の注目ブロックに対応する重み付けＳＡＤ演算結果と第２の注目ブロックに対応する重み付けＳＡＤ演算結果とをそれぞれ同時に出力することができる。

なお、本第２の実施形態においては、画像処理装置３００が、水平方向（行方向）ｘに隣接する２画素の画像データを同時に出力するイメージセンサ１０に対応する構成の一例を示した。しかし、本発明の画像処理装置の考え方は、第１の実施形態の画像処理装置１００を同様に、イメージセンサが同時に出力する画像データの方向が、水平方向（行方向）ｘである構成に限定されるものではなく、イメージセンサが画像データを同時に出力する構成が異なる場合でも同様に、本発明の考え方を適用することができる。

例えば、イメージセンサが、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力する構成の場合には、入力される画像データの順番に応じてそれぞれのＳＡＤ演算を行う領域（ブロック）が図５（ａ）に示したようになるのみで、その構成や動作は、画像処理装置３００と同様に考えることができる。また、例えば、イメージセンサが、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力する、つまり、４画素の画像データを同時に出力する構成場合には、入力される画像データに応じて画像処理装置３００に備える構成要素が増える。より具体的には、図６に示した第１の実施形態の変形例の構成と同様に考え、図７に示した画像処理装置３００に、イメージセンサのチャンネルｃｈ３およびチャンネルｃｈ４に対応するための６つの加算処理部と２つの重み処理部とが増えることになる。しかし、この場合の画像処理装置の動作も、それぞれのＳＡＤ演算を行う領域（ブロック）が図５（ｂ）に示したようになるのみで、画像処理装置３００と同様に考えることができる。従って、イメージセンサが画像データを同時に出力する構成が異なる場合における画像処理装置の構成や動作に関する詳細な説明は省略する。

上記に述べたとおり、本発明を実施するための形態によれば、隣接する複数の画素信号を、それぞれの画素に対応する複数のチャンネルから同時に出力する固体撮像装置（イメージセンサ）が搭載された撮像装置において、それぞれのチャンネルから出力される画素信号に応じたデジタル信号に対してＳＡＤ演算を同時に行う場合に、それぞれのチャンネルに対応したＳＡＤ演算を行う領域を合わせる（拡張する）。そして、本発明を実施するための形態では、それぞれのチャンネルに対応した領域が共通する（重複する）領域に対してＳＡＤ演算を行い、そのＳＡＤ演算結果と、共通する領域に含まれないそれぞれのチャンネルに対応した領域、すなわち、それぞれのチャンネルにおいてＳＡＤ演算を行う領域において共通する領域に不足している領域のＳＡＤ演算結果を加算する。これにより、本発明を実施するための形態では、それぞれのチャンネルに対応する領域のＳＡＤ演算を別々に行うことによって、それぞれのチャンネルから出力される画素信号に応じたデジタル信号に対するＳＡＤ演算を別々の演算回路で同時に行う従来の構成よりも、ＳＡＤ演算結果を得るために備える演算回路の数を少なくすることができる。このことにより、本発明を実施するための形態では、ＳＡＤ演算に関わる回路の回路規模の増大を抑えつつ、それぞれのチャンネルから出力される画素信号に応じたデジタル信号に対するＳＡＤ演算を同時に行うことができる。

また、本発明を実施するための形態によれば、それぞれのチャンネルから出力される画素信号に応じたデジタル信号に対して重み付けがされている場合、それぞれのデジタル信号に設定された重み値に応じて、ＳＡＤ演算を行うそれぞれの領域を定義する。そして、本発明を実施するための形態では、定義した領域毎にＳＡＤ演算を行った後に、それぞれの領域に対応した重み値を乗算してそれぞれのＳＡＤ演算結果を加算する重み付け処理を行う。これにより、本発明を実施するための形態では、それぞれのチャンネルに対応する領域のＳＡＤ演算と重み付け処理とをそれぞれのデジタル信号毎に行う従来の構成よりも、重み付け処理を行うために備える演算回路の数を少なくすることができる。このことにより、本発明を実施するための形態では、重み付けを行ったＳＡＤ演算に関わる回路の回路規模の増大を抑えつつ、それぞれのチャンネルから出力される画素信号に応じたデジタル信号に対して重み付け処理を行ったＳＡＤ演算を同時に行うことができる。

なお、本実施形態においては、ＳＡＤ演算を行うそれぞれの注目ブロックの領域が、５画素×５画素の領域である場合について説明したが、ＳＡＤ演算を行う注目ブロックの領域の大きさは、本発明を実施するための形態に限定されるものではない。例えば、ＳＡＤ演算を行う注目ブロックの領域が、９画素×９画素の領域である場合であっても同様に、本発明の考え方を適用することができる。

また、本実施形態においては、ＳＡＤ演算を行うそれぞれの注目ブロック内の画像データに３種類の重み値が設定されている場合について説明したが、注目ブロック内の画像データのそれぞれに設定される重み値は、本発明を実施するための形態に限定されるものではない。例えば、注目ブロック内の画像データに２種類の重み値が設定されている場合や、３種類よりもさらに多くの種類の重み値が設定されている場合であっても同様に、本発明の考え方を適用することができる。

また、本実施形態においては、撮像装置に搭載された、複数の画素信号を同時に複数のチャンネルから出力する固体撮像装置（イメージセンサ）が、隣接する２画素を同時に出力する形式である場合について説明した。しかし、本発明の考え方を適用した画像処理装置が対応するイメージセンサの形式は、本発明を実施するための形態に限定されるものではない。例えば、水平方向に隣接する４画素の画素信号を同時に出力する形式や、垂直方向に隣接する４画素の画素信号を同時に出力する形式である場合でも同様に、本発明の考え方を適用することができる。また、例えば、水平方向に隣接する４画素の画素信号と、垂直方向に隣接する４画素の画素信号とを同時に出力する、つまり、８画素分の画素信号を同時に出力する形式である場合でも同様に、本発明の考え方を適用することができる。

また、本実施形態においては、撮像装置に搭載された固体撮像装置（イメージセンサ）が、ベイヤー配列のイメージセンサである場合について説明したが、本発明の考え方を適用した画像処理装置が対応するイメージセンサにおける画素の配列は、本発明を実施するための形態に限定されるものではない。

また、本実施形態においては、ＳＡＤ演算を行う画像データが、固体撮像装置（イメージセンサ）から出力されるそれぞれの画素信号が表す画素値に応じたデジタル信号である場合について説明したが、ＳＡＤ演算を行う画像データは、本発明を実施するための形態に限定されるものではない。例えば、すでに形成された画像に含まれるそれぞれの画素に対応するデジタル値であってもよい。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１００，２００，３００・・・画像処理装置
１１０，２１０，３１０・・・シリアル／パラレル変換部
１２０，２２０・・・共通ブロックＳＡＤ演算部（共通領域ＳＡＤ演算部）
１３１，２３１・・・加算処理部（加算処理部，第１の加算処理部）
１３２，２３２，２３３，２３４・・・加算処理部（加算処理部，第２の加算処理部）
１０，２０・・・イメージセンサ（固体撮像装置）
３２１，３２２・・共通ブロックＳＡＤ演算部（共通領域ＳＡＤ演算部，第２の共通領域ＳＡＤ演算部）
３２３・・・共通ブロックＳＡＤ演算部（共通領域ＳＡＤ演算部，第１の共通領域ＳＡＤ演算部）
３３１１，３３２１・・・加算処理部（加算処理部，第１の加算処理部，第２の重みの第１の加算処理部）
３３１２，３３２２・・・加算処理部（加算処理部，第２の加算処理部，第２の重みの第２の加算処理部）
３３３１・・・加算処理部（加算処理部，第１の加算処理部，第１の重みの第１の加算処理部）
３３３２・・・加算処理部（加算処理部，第２の加算処理部，第１の重みの第２の加算処理部）
３４１・・・重み処理部（重み処理部，第１の重み処理部）
３４２・・・重み処理部（重み処理部，第２の重み処理部）

Claims (8)

1. 隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る画像処理装置であって、
   同時に相関を取る隣接するそれぞれの前記注目画素毎に予め定めた複数の注目領域が重複する共通注目領域と、それぞれの前記注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域が重複する、前記共通注目領域に対応する共通参照領域とを、それぞれ定義し、該定義した前記共通注目領域と前記共通参照領域とに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算を行った共通ＳＡＤ演算結果を出力する共通領域ＳＡＤ演算部と、
   それぞれの前記注目画素に対応し、前記共通ＳＡＤ演算結果と、対応する前記注目画素に対して予め定めた注目領域内で前記共通注目領域に含まれない周辺の画素の領域に対応するＳＡＤ演算結果とに基づいて加算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する前記注目画素と同じ数の加算処理部と、
   を備える、
   ことを特徴とする画像処理装置。
2. 前記共通領域ＳＡＤ演算部は、
   入力された第１の注目画素を中心とし、相関を取る周辺の画素を含めた予め定めた大きさの第１の注目領域と、同時に入力された隣接する第２の注目画素を中心とし、同時に相関を取る周辺の画素を含めた予め定めた大きさの第２の注目領域とが重複する前記共通注目領域と、前記第１の注目画素に対応する第１の参照画素を中心とし、前記第１の注目領域に対応する予め定めた大きさの第１の参照領域と、前記第２の注目画素に対応する第２の参照画素を中心とし、前記第２の注目領域に対応する予め定めた大きさの第２の参照領域とが重複する前記共通参照領域とを、それぞれ定義し、前記共通注目領域と前記共通参照領域とにおいて同一の座標に位置する画素の画素信号が表す値同士の差分絶対値をそれぞれ算出し、該算出した差分絶対値を積算する前記差分絶対値和演算を行った前記共通ＳＡＤ演算結果を出力し、
   前記第１の注目画素に対応する前記加算処理部である第１の加算処理部は、
   前記共通ＳＡＤ演算結果と、前記第１の注目領域内で、前記共通注目領域に含まれない画素の領域に対応するＳＡＤ演算結果とを加算した第１のＳＡＤ演算結果を出力し、
   前記第２の注目画素に対応する前記加算処理部である第２の加算処理部は、
   前記共通ＳＡＤ演算結果と、前記第２の注目領域内で、前記共通注目領域に含まれない画素の領域に対応するＳＡＤ演算結果とを加算した第２のＳＡＤ演算結果を出力する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記共通領域ＳＡＤ演算部は、
   前記共通注目領域に含まれない前記第１の注目領域内の画素の領域と、該領域に対応する前記共通参照領域に含まれない前記第１の参照領域内の画素の領域とにおいて同一の座標に位置する画素の画素信号が表す値に基づいて前記差分絶対値和演算した第１の加算用ＳＡＤ演算結果と、
   前記共通注目領域に含まれない前記第２の注目領域内の画素の領域と、該領域に対応する前記共通参照領域に含まれない前記第２の参照領域内の画素の領域とにおいて同一の座標に位置する画素の画素信号が表す値に基づいて前記差分絶対値和演算した第２の加算用ＳＡＤ演算結果と、
   をそれぞれ出力し、
   前記第１の加算処理部は、
   前記共通ＳＡＤ演算結果と前記第１の加算用ＳＡＤ演算結果とを加算した前記第１のＳＡＤ演算結果を出力し、
   前記第２の加算処理部は、
   前記共通ＳＡＤ演算結果と前記第２の加算用ＳＡＤ演算結果とを加算した前記第２のＳＡＤ演算結果を出力する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記共通領域ＳＡＤ演算部と前記注目画素と同じ数の前記加算処理部との組み合わせを、前記共通注目領域内のそれぞれの画素に設定された重み値の種類と同じ数だけ備え、
   さらに、
   前記加算処理部のそれぞれから出力されるそれぞれの前記ＳＡＤ演算結果に対して重み付け処理を行った重み付けＳＡＤ演算結果を出力する、同時に相関を取る隣接する前記注目画素と同じ数の重み処理部、
   を備える、
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記共通領域ＳＡＤ演算部と前記注目画素と同じ数の前記加算処理部との組み合わせのそれぞれは、
   対応する重み値に応じた前記ＳＡＤ演算結果をそれぞれ出力し、
   それぞれの前記重み処理部は、
   前記共通領域ＳＡＤ演算部と前記注目画素と同じ数の前記加算処理部との組み合わせのそれぞれから出力された、対応する前記注目画素における前記ＳＡＤ演算結果のそれぞれに、対応する重み値に基づいた値を乗算した後、該乗算したそれぞれの重み値に対応するＳＡＤ演算結果を加算した前記重み付けＳＡＤ演算結果を出力する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 第１の重み値に対応する前記共通領域ＳＡＤ演算部である第１の共通領域ＳＡＤ演算部は、
   入力された第１の注目画素を中心とし、相関を取る周辺の画素を含めた予め定めた大きさの第１の注目領域において前記第１の重み値が設定された第１の重みの第１の注目領域と、同時に入力された隣接する第２の注目画素を中心とし、同時に相関を取る周辺の画素を含めた予め定めた大きさの第２の注目領域において前記第１の重み値が設定された第１の重みの第２の注目領域とが重複する前記共通注目領域である第１の重みの共通注目領域と、前記第１の注目画素に対応する第１の参照画素を中心とし、前記第１の注目領域に対応する予め定めた大きさの第１の参照領域において前記第１の重み値が設定された第１の重みの第１の参照領域と、前記第２の注目画素に対応する第２の参照画素を中心とし、前記第２の注目領域に対応する予め定めた大きさの第２の参照領域において前記第１の重み値が設定された第１の重みの第２の参照領域とが重複する前記共通参照領域である第１の重みの共通参照領域とを、それぞれ定義し、前記第１の重みの共通注目領域と前記第１の重みの共通参照領域とにおいて同一の座標に位置する画素の画素信号が表す値同士の差分絶対値をそれぞれ算出し、該算出した差分絶対値を積算する前記差分絶対値和演算を行った前記共通ＳＡＤ演算結果である第１の重みの共通ＳＡＤ演算結果を出力し、
   前記第１の重み値に対応し、前記第１の注目画素に対応する前記加算処理部である第１の重みの第１の加算処理部は、
   前記第１の重みの共通ＳＡＤ演算結果と、前記第１の重みの第１の注目領域内で、前記第１の重みの共通注目領域に含まれない画素の領域に対応するＳＡＤ演算結果とを加算した第１の重みの第１のＳＡＤ演算結果を出力し、
   前記第１の重み値に対応し、前記第２の注目画素に対応する前記加算処理部である第１の重みの第２の加算処理部は、
   前記第１の重みの共通ＳＡＤ演算結果と、前記第１の重みの第２の注目領域内で、前記第１の重みの共通注目領域に含まれない画素の領域に対応するＳＡＤ演算結果とを加算した第１の重みの第２のＳＡＤ演算結果を出力し、
   前記第１の重み値よりも小さく、該第１の重み値が設定された画素の領域よりも大きな領域の画素に設定された第２の重み値に対応する前記共通領域ＳＡＤ演算部である第２の共通領域ＳＡＤ演算部は、
   前記第１の注目領域において前記第２の重み値が設定された第２の重みの第１の注目領域と、前記第２の注目領域において前記第２の重み値が設定された第２の重みの第２の注目領域とが重複する前記共通注目領域である第２の重みの共通注目領域と、前記第１の参照領域において前記第２の重み値が設定された第２の重みの第１の参照領域と、前記第２の参照領域において前記第２の重み値が設定された第２の重みの第２の参照領域とが重複する前記共通参照領域である第２の重みの共通参照領域とを、それぞれ定義し、前記第２の重みの共通注目領域と前記第２の重みの共通参照領域とにおいて同一の座標に位置する画素の画素信号が表す値同士の差分絶対値をそれぞれ算出し、該算出した差分絶対値を積算する前記差分絶対値和演算を行った前記共通ＳＡＤ演算結果である第２の重みの共通ＳＡＤ演算結果を出力し、
   前記第２の重み値に対応し、前記第１の注目画素に対応する前記加算処理部である第２の重みの第１の加算処理部は、
   前記第２の重みの共通ＳＡＤ演算結果と、前記第２の重みの第１の注目領域内で、前記第２の重みの共通注目領域に含まれない画素の領域に対応するＳＡＤ演算結果とを加算した第２の重みの第１のＳＡＤ演算結果を出力し、
   前記第２の重み値に対応し、前記第２の注目画素に対応する前記加算処理部である第２の重みの第２の加算処理部は、
   前記第２の重みの共通ＳＡＤ演算結果と、前記第２の重みの第２の注目領域内で、前記第２の重みの共通注目領域に含まれない画素の領域に対応するＳＡＤ演算結果とを加算した第２の重みの第２のＳＡＤ演算結果を出力し、
   前記第１の注目画素に対応する前記重み処理部である第１の重み処理部は、
   前記第１の重みの第１のＳＡＤ演算結果に前記第１の重み値から前記第２の重み値を減算した重み値を乗算し、第２の重みの第１のＳＡＤ演算結果に前記第２の重み値を乗算し、該乗算したそれぞれの第１のＳＡＤ演算結果を加算した前記重み付けＳＡＤ演算結果である第１の重み付けＳＡＤ演算結果を出力し、
   前記第２の注目画素に対応する前記重み処理部である第２の重み処理部は、
   前記第１の重みの第２のＳＡＤ演算結果に前記第１の重み値から前記第２の重み値を減算した重み値を乗算し、第２の重みの第２のＳＡＤ演算結果に前記第２の重み値を乗算し、該乗算したそれぞれの第２のＳＡＤ演算結果を加算した前記重み付けＳＡＤ演算結果である第２の重み付けＳＡＤ演算結果を出力する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る画像処理装置における画像処理方法であって、
   同時に相関を取る隣接するそれぞれの前記注目画素毎に予め定めた複数の注目領域が重複する共通注目領域と、それぞれの前記注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域が重複する、前記共通注目領域に対応する共通参照領域とを、それぞれ定義し、該定義した前記共通注目領域と前記共通参照領域とに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算を行った共通ＳＡＤ演算結果を出力する共通領域ＳＡＤ演算手順と、
   それぞれの前記注目画素に対応し、前記共通ＳＡＤ演算結果と、対応する前記注目画素に対して予め定めた注目領域内で前記共通注目領域に含まれない周辺の画素の領域に対応するＳＡＤ演算結果とに基づいて加算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する前記注目画素と同じ回数の加算処理手順と、
   を含む、
   ことを特徴とする画像処理方法。
8. 複数の画素を有し、隣接する複数の前記画素の信号を光電変換した複数の画素信号を同時に出力する固体撮像装置と、
   前記固体撮像装置から隣接する複数の前記画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る、請求項１から請求項６のいずれか１の項に記載の画像処理装置と、
   を備える、
   ことを特徴とする撮像装置。

Images