JP2005115598A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】暗所における被写体撮影時のように被写体照度が低い場合の撮像センサ部による被写体撮影においても、感度アップした、しかも、所望サイズの画像データを得ることができる画像処理方法及び装置を提供する。
【解決手段】撮像センサ部で得られる撮像画像データをリサイズ処理、或いはトリミング処理及びリサイズ処理し、該リサイズ処理後の画像データに基づいて画素加算処理を実行する画像処理方法及び装置であり、リサイズ処理においては、画素加算処理において（水平ｎ×垂直ｍ）画素加算（ｎ、ｍは正の整数）により生成すべき画像データに対して水平ｎ倍、垂直ｍ倍の大きさの画像データを撮像画像データに基づいて、或いはトリミング処理により抽出された画像データに基づいて生成する画像処理方法及び装置。
【選択図】図２

Description

本発明は画像処理方法及び装置、特に、例えば暗所での被写体撮像において撮像センサ部で得られる撮像画像データに感度アップのための処理を施す画像処理方法及び装置に関する。

例えば、光量の少ない薄暗い場所等の暗所における被写体をＣＣＤ型撮像素子等の固体撮像素子を利用した撮像センサ部で撮像する場合、その撮像画像を液晶表示装置等の表示装置に表示したり、記録媒体に記録したり、通信手段を介して離れた位置にあるモニタに表示したり、記録媒体に記録したりするときに、できるだけ鮮明な画像が表示され、記録され、送信されることが望まれ、そのために撮像画像の感度アップ処理に関する研究がなされてきた。

その代表例として画素加算による感度向上を挙げることができる。かかる画素加算は、例えば特開平２００３−５２０４８号公報に紹介されている。この画素加算処理は、例えば撮像センサ部により得られる撮像画像データに基づく画像データにおける隣接する水平２画素と垂直２画素の合計４画素の信号、さらに一般的に言えば、隣接する水平ｎ個の画素と垂直ｍ個の画素の合計ｎ×ｍ画素（ｎ、ｍは正の整数）の信号を加算することで感度の向上を図る手法である。隣接する水平ｎ個の画素を加算する方法等もある。

特開平２００３−５２０４８号公報

しかしながら、いずれにしても画素加算処理を行うと感度は向上するが画像データは減少する。例えば、１２８０×９６０pixels(1280 ×960 画素) の画像データにおいて隣接する水平２画素と垂直２画素の合計４画素の信号を加算する４画素加算を行えば、画像データは６４０×４８０pixelsに減少する。

このとき、画素加算によって得られた画像データのサイズ（水平、垂直の各画素数）は所望のものになるとは限らない。例えば、表示装置の画面に見合ったサイズの画素加算後データを欲しても、画素加算後の画像データサイズが表示装置画面より大きすぎたり、小さすぎたりすることがある。

そこで本発明は、撮像センサ部で得られる撮像画像データを処理する画像処理方法及び装置であって、暗所における被写体撮影時のように被写体照度が低い場合の撮像センサ部による被写体撮影においても、感度アップした画像データを得ることができ、しかも、所望サイズの感度アップした画像データを得ることができる画像処理方法及び装置を提供することを課題とする。

本発明は前記課題を解決するため次の画像処理方法及び画像処理装置を提供する。

（１）第１の画像処理方法及び装置
(1-1) 第１の画像処理方法
撮像センサ部で得られる撮像画像データをリサイズ処理し、該リサイズ処理後の画像データに基づいて画素加算処理を実行する画像処理方法であり、前記リサイズ処理においては、前記画素加算処理において（水平ｎ×垂直ｍ）画素加算（ｎ、ｍは正の整数）により生成すべき画像データに対して水平ｎ倍、垂直ｍ倍の大きさの画像データを前記撮像画像データに基づいて生成する画像処理方法。
(1-2) 第１の画像処理装置
撮像センサ部で得られる撮像画像データをリサイズするリサイズ部、該リサイズ部によるリサイズ後の画像データに画素加算処理を施す画素加算部を含む画像処理装置であり、前記リサイズ部は、前記画素加算部において（水平ｎ×垂直ｍ）画素加算（ｎ、ｍは正の整数）により生成すべき画像データに対して水平ｎ倍、垂直ｍ倍の大きさの画像データを前記撮像画像データに基づいて生成する画像処理装置。

（２）第２の画像処理方法及び装置
(2-1) 第２の画像処理方法
撮像センサ部で得られる撮像画像データから所定サイズの画像を抽出するトリミング処理を行い、該トリミング処理により抽出された画像データをリサイズ処理し、該リサイズ処理後の画像データに基づいて画素加算処理を実行する画像処理方法であり、前記リサイズ処理においては、前記画素加算処理において（水平ｎ×垂直ｍ）画素加算（ｎ、ｍは正の整数）により生成すべき画像データに対して水平ｎ倍、垂直ｍ倍の大きさの画像データを前記トリミング処理により抽出された画像データに基づいて生成する画像処理方法。
(2-2) 第２の画像処理装置
撮像センサ部で得られる撮像画像データから所定サイズの画像を抽出するトリミング部と、該トリミング部により抽出された画像データをリサイズするリサイズ部と、該リサイズ部によるリサイズ後の画像データに画素加算処理を施す画素加算部を含む画像処理装置であり、前記リサイズ部は、前記画素加算部において（水平ｎ×垂直ｍ）画素加算（ｎ、ｍは正の整数）により生成すべき画像データに対して水平ｎ倍、垂直ｍ倍の大きさの画像データを前記トリミング部により抽出された画像データに基づいて生成する画像処理装置。

上記の第１、第２のいずれの画像処理方法及び装置においても、画素加算を行うので、暗所における被写体撮影時のように被写体照度が低い場合の撮像センサ部による被写体撮影においても、感度アップした画像データを得ることができる。
しかも、画素加算により生成しようとする画像データ（例えば表示しようとするサイズの画像データ）に対して水平ｎ倍、垂直ｍ倍という整数倍に画像データをリサイズした後に（水平ｎ×垂直ｍ）画素加算を行うので、所望サイズの感度アップした画像データを得ることができる。

そして、上記第１の画像処理方法及び装置によると、撮像センサ部の画素数によらず、画素加算後に所定サイズの画像を得ることができ、上記第２の画像処理方法及び装置によると、デジタルズーム時の画素加算において、ズーム倍率によらず、所定サイズの画像を得ることができる。

前記いずれの画像処理方法においても、より高品位の画像を得るため、前記リサイズ処理の後、且つ、前記画素加算処理の前にリサイズ処理後の画像データからノイズを除去するノイズ除去処理と前記画素加算処理後に画素加算処理後の画像データからノイズを除去するノイズ除去処理とのうち少なくとも一方のノイズ除去処理を行うようにしてもよい。 また、前記画素加算処理に供される画像データにγ補正を行うようにしてもよい。該画素加算処理後の画像データに階調補正を行うようにしてもよい。

前記いずれの画像処理装置においても、より高品位の画像を得るため、前記リサイズ部によるリサイズ後の画像データ及び前記画素加算部による画素加算後の画像データのうち少なくとも一方からノイズ除去を行うために、前記リサイズ部と画素加算部の間及び前記画素加算部の後のうち少なくとも一方にノイズフィルタ部を設けてもよい。
また、前記画素加算部に入力される画像データにγ補正を行うγ補正部を設けてもよい。該画素加算部による画素加算後の画像データに階調補正を行う階調補正部を設けてもよい。

以上説明したように本発明によると、撮像センサ部で得られる撮像画像データを処理する画像処理方法及び装置であって、暗所における被写体撮影時のように被写体照度が低い場合の撮像センサ部による被写体撮影においても、感度アップした画像データを得ることができ、しかも、所望サイズの感度アップした画像データを得ることができる画像処理方法及び装置を提供することができる。

＜デジタルズームについて＞
本発明に係る画像処理方法及び装置を説明するに先立ってデジタルズーム処理を行う画像処理装置について説明する。
図１２はデジタルズーム処理を行う、それ自体既に知られている画像処理装置の１例ＩＰを示すブロック図である。この処理装置は撮像センサ部ＩＳの撮像センサで得た撮像画像データをデジタルズーム処理する装置である。
撮像センサ部ＩＳは、例えばＣＣＤ型撮像素子等の固体撮像素子からなる、被写体の結像をアナログの電気信号に変換する撮像センサ、被写体を撮像センサに結像させる光学系、撮像センサ出力からノイズを除去して、アナログ電気信号の被写体画像に相当する成分を読みだす相関二重サンプリング回路ＣＤＳ、回路ＣＤＳからのアナログ電気信号をデジタルの生（ｒａｗ）の画像データ（撮像画像データ）に変換するＡ／Ｄ変換部を含んでいる。撮像センサは、本例では、ＲＧＢの３原色からなるカラーフィルタを用いたカラー撮像方式を採用したものである。

画像処理装置ＩＰは、撮像センサ部ＩＳから出力される撮像画像データにホワイトバランス処理を施すホワイトバランス（ＷＢ）処理部、画素補間処理を行う補間処理部、γ補正を行うγ補正部を含んでいる。さらに、デジタルズーム処理のためのトリミング部及びリサイズ部並びに所定のズーム倍率設定のためにトリミング部にトリミングサイズを設定するとともにリサイズ部にリサイズ処理のためのサイズを設定するズーム倍率設定部を含んでいる。リサイズ後の画像データは表示装置による表示、記録媒体への記録、他所への通信（画像データ送信）等のうち１又は２以上に供される。

前記のＷＢ処理部は、生（ｒａｗ）の各色のデータに各々のＷＢゲインをかけて、画像全体のカラーバランスを整える。補間処理部は、それには限定されないが、ここではベイヤー配列されたＲＧＢ原色フィルタを用いているのでベイヤー補間を実行する。γ補正部は、再生画面に所定の階調特性が得られるように補正を行う。

図１２の画像処理装置によると、デジタルズームはトリミング部とリサイズ部により行われる。トリミング部は、ズーム倍率に対応した大きさに、撮像センサ部ＩＳからの画像データを切り出す。リサイズ部はトリミングされた画像データを、表示装置の画面に見合ったサイズ、記録媒体に記録するサイズ、通信に供するサイズ等の所定の或いは所望のサイズ（以下、これらを「表示サイズ」と総称する。）に合うように画像データの大きさを変更する。トリミング部とリサイズ部へ与える各パラメータは、ズーム倍率設定部により設定する。

図１３に、デジタルズーム（アップサンプリング）の例を示す。1280×960 ピクセル(SXGA)の画像データより320 ×240 ピクセルの画像データを切り出している。デジタルズーム倍率は４倍である。ここで表示サイズは640 ×480 ピクセル（VGA ）であるので、トリミングした320 ×240 ピクセルの画像データをVGA のサイズにリサイズする。このとき、表示サイズ（VGA ）よりも、トリミングした320 ×240 ピクセルの画像データの方が小さいので、リサイズはアップサンプリングになる。

図１４に、デジタルズーム（ダウンサンプリング）の例を示す。1280×960 ピクセル（SXGA）の画像データより960 ×720 ピクセルの画像データを切り出している。デジタルズーム倍率は１．３３倍である。ここで表示サイズが640 ×480 ピクセル（VGA ）であるので、トリミングした960 ×720 ピクセルの画像データをVGA のサイズにリサイズする。このとき、表示サイズ（VGA ）よりも、トリミングした960 ×720 ピクセルの画像データの方が大きいので、リサイズはダウンサンプリングになる。

＜本発明の実施形態＞
次に、本発明の実施形態について説明する。
図１は本発明の実施形態に係る画像処理装置を示すブロック図である。この画像処理装置１は、４画素加算デジタルズームを行う装置であり、図１２の装置においてリサイズ部の後に４画素加算部を設けるとともに、より適切な段階でγ補正を行えるように、γ補正部を４画素加算部の後段に配置したものである。トリミング部は補間処理部の後段に配置されている。それ以外の点は図１２の装置と同様の構成である。

（４画素加算）
図１の画像処理装置１によると次のように画像データが処理される。すなわち、撮像センサ部ＩＳからの撮像画像データはホワイトバランス（ＷＢ）処理部によるホワイトバランス処理及び補間処理部によるベイヤー補間処理が施される。デジタルズームは、トリミング部とリサイズ部により行われる。トリミング部は、ズーム倍率に対応した大きさで画像データを切り出す。リサイズ部は、トリミングされた画像データを、４画素加算後の画像データサイズが表示サイズに合うように画像データの大きさを変更する。トリミング部とリサイズ部への各パラメータは、ズーム倍率設定部により設定する。リサイズされた画像データは、４画素加算された後にγ補正され表示サイズの画像データとなる。

図２に、４画素加算時のリサイズの例を示す。1280×960 ピクセル（SXGA）の画像データより320 ×240 ピクセルの画像データを切り出している。デジタルズーム倍率は４倍である。ここで表示サイズが640 ×480 ピクセル（VGA ）であるので、４画素加算後の画像データがVGA になるように、トリミングした320 ×240 ピクセルの画像データをリサイズする。この場合、320 ×240 ピクセルの画像データをアップサンプリングして1280×960 ピクセル（VGA に対して横２倍、縦２倍）の画像データを生成し、この生成画像データを４画素加算して表示サイズ（VGA ）の感度アップした画像データを得る。

図３に、ＲＧＢデータにおける４画素加算の加算方法を示す。４画素加算後の画像データがｈ×ｖピクセルとしたとき、加算前の画像データとして４（ｈ×ｖ）ピクセルが必要である。この加算前の画像データはリサイズにより得る。4 画素加算式を以下に示す。
R’[1][1]＝R[1][1] ＋R[1][2] ＋R[2][1] ＋R[2][2]
G’[1][1]＝G[1][1] ＋G[1][2] ＋G[2][1] ＋G[2][2]
B’[1][1]＝B[1][1] ＋B[1][2] ＋B[2][1] ＋B[2][2]
・・・・・・・ ・・・・・・・
R’[v][h]＝R[2v-1][2h-1] ＋R[2v-1][2h] ＋R[2v][2h-1] ＋R[2v][2h]
G’[v][h]＝G[2v-1][2h-1] ＋G[2v-1][2h] ＋G[2v][2h-1] ＋G[2v][2h]
B’[v][h]＝B[2v-1][2h-1] ＋B[2v-1][2h] ＋B[2v][2h-1] ＋B[2v][2h]

ここで画像データが８ビットとすると、
R ’＞255 ならば R ’＝255
G ’＞255 ならば G ’＝255
B ’＞255 ならば B ’＝255 とする。

すなわち、本例では２５５はＲ’、Ｇ’、Ｂ’のそれぞれについてのダイナミックレンジの最大限界値であり、加算後の画像データが、ダイナミックレンジを超えてしまったとき、そのデータはダイナミックレンジの最大値とする。

（（ｎ×ｍ）画素加算）
以上、４画素加算の例について説明したが、本発明に係る画素加算は４画素加算に限定されるのものではなく、広く一般に（ｎ×ｍ）画素加算に適用できる（ｎ、ｍは正の整数）。この場合、図１の画像処理装置１においては、４画素加算部を以下のような画素加算を実行する（ｎ×ｍ）画素加算部に置き換えればよい。

図４にＲＧＢデータにおける（ｎ×ｍ）画素加算の加算方法を示す。
（ｎ×ｍ）画素加算後の画像データがｈ×ｖピクセルとしたとき、加算前の画像データとして（ｎ×ｍ）×（ｈ×ｖ）ピクセルが必要である。この加算前の画像データはリサイズにより得たものとする。（ｎ×ｍ）画素加算式を以下に示す。

R’[1][1]＝R[1][1] ＋R[1][2] ・・・＋R[1][n-1] ＋R[1][n] ・・・
＋R[m][1] ＋R[m][2] ・・・＋R[m][n-1] ＋R[m][n]
G’[1][1]＝G[1][1] ＋G[1][2] ・・・＋G[1][n-1] ＋G[1][n] ・・・
＋G[m][1] ＋G[m][2] ・・・＋G[m][n-1] ＋G[m][n]
B’[1][1]＝B[1][1] ＋B[1][2] ・・・＋B[1][n-1] ＋B[1][n] ・・・
＋B[m][1] ＋B[m][2] ・・・＋B[m][n-1] ＋B[m][n]

ここで、画像データが８ビットのとき、
R ’＞２２５ ならば R ’＝２５５
G ’＞２５５ ならば G ’＝２５５
B ’＞２５５ ならば B ’＝２５５ とする。
すなわち、加算後の画像データが、ダイナミックレンジを超えてしまったとき、そのデータはダイナミックレンジの最大値とする。

（ＹＣｂＣｒデータの画素加算）
以上はＲＧＢデータに基づく画素加算についての説明であったが、本発明は輝度信号Ｙと二つの色差信号Ｃｂ、Ｃｒによる画像データについても適用できる。この場合、図１の画像処理装置１においては、４画素加算部を以下のような画素加算を実行する画素加算部に置き換えればよい。

図５に、ＹＣｂＣｒ（４２２）データにおける４画素加算の加算方法の例を示す。
４画素加算後の画像データがｈ×ｖピクセルとしたとき、加算前の画像データとして４（ｈ×ｖ）ピクセルが必要である。この加算前の画像データはリサイズにより得る。
図５に示すように、輝度信号Ｙについては４画素を加算して１画素を生成し、色差信号ＣｂとＣｒについては（２画素加算×２）して１画素を生成する。画素加算式を以下に示す。ＹＣｂＣｒ空間での演算はＲＢＧ空間ではあり得ない色を作ってしまうことがあるので、輝度Ｙが大きい領域では、色Ｃｂ、Ｃｒを抑圧する。以下に示す抑圧の条件式は１例である。

Y’0[1][1] ＝Y0[1][1]＋Y1[1][2]＋Y0[2][1]＋Y1[2][2]
Y’1[1][2] ＝Y0[1][3]＋Y1[1][4]＋Y0[2][3]＋Y1[2][4]

(Y’0[1][1] ＋Y ’1[1][2])/2 ＞384 のとき、
Cb’[1][1]＝0
Cr’[1][2]＝0

384 ≧(Y’0[1][1] ＋Y ’1[1][2])/2 ＞255 のとき、
Cb’[1][1]＝(Cb[1][1] ＋Cb[2][1]) ×2
×(384−(Y’0[1][1] ＋Y ’1[1][2])/2)(384-255)
Cr’[1][2]＝(Cr[1][4] ＋Cr[2][4]) ×2
×(384−(Y’0[1][1] ＋Y ’1[1][2])/2)(384-255)

255 ≧(Y’0[1][1] ＋Y ’1[1][2])/2 のとき、
Cb’[1][1]＝(Cb[1][1] ＋Cb[2][1]) ×2
Cr’[1][2]＝(Cr[1][4] ＋Cr[2][4]) ×2

ここで、画像データが８ビットのとき、加算後のＹＣｂＣｒデータの範囲は、
０≦Ｙ’≦２５５
−１２８≦Ｃｂ’≦１２７
−１２８≦Ｃｒ’≦１２７ とする。
すなわち、加算後の画像データがダイナミックレンジを超えてしまったとき、そのデータはダイナミックレンジの最大値或いは最小値とする。彩度が低いあるいは高い場合、Ｃｂ、Ｃｒを適当に補正してもよい。

（リサイズ後のノイズフィルタ）
本発明に係る画像処理においてはより高品位の画像を得るためにノイズフィルタを採用してもよい。図６に、図１に示す画像処理装置において、リサイズ部の後、４画素加算部の前にノイズフィルタを入れた画像処理装置２を示す。画素加算後のノイズ軽減のため、リサイズ後にノイズフィルタを挿入する。特に、リサイズの倍率が大きいとき、画素加算後のノイズが大きくなることがある。このような場合に、リサイズ後のノイズフィルタは効果を発揮する。

図７に、図１に示す画像処理装置において、４画素加算部の後、γ補正部の前にノイズフィルタを入れた画像処理装置３を示す。画素加算後に発生したノイズを除去するため、画素加算後にノイズフィルタを挿入する。画素加算後は、加算前に比べて画素数が減っているので、図６の装置の場合より処理規模は小さくなり、処理時間が短くなる。

（図１の装置のさらなる変形例）
図１に示す画像処理装置では、画素加算後にγ補正を行うが、γ補正後に画素加算してもよい。図８は、図１の装置において、リサイズ部の後、４画素加算部の前にγ補正部を配置するとともに４画素加算部の後に階調補正部（ＬＵＴ）を配置した画像処理装置４を示す。
γ補正後に画素加算を行った場合、画素加算された画像データはγ補正が正しくかかっていない画像データになる。この補正を画素加算後の階調補正（ＬＵＴ）で行う。

（撮像センサ部の画素数が表示サイズの整数倍でないときの画素加算）
本発明は、デジタルズーム以外の画素加算にも適用できる。例えば、撮像装置の画素数が表示サイズの整数倍でないときの画素加算にも適用できる。
図９はそのための画像処理装置例を示すブロック図である。

図９の画像処理装置５は、図１の画像処理装置に関連して説明したものと同じ撮像センサ部ＩＳから出力される撮像画像データにホワイトバランス処理を施すホワイトバランス（ＷＢ）処理部、画素補間処理を行う補間処理部、リサイズ部、４画素加算部及びγ補正部を含んでいる。

図９の画像処理装置５によると次のように画像データが処理される。すなわち、撮像センサ部ＩＳからの撮像画像データはホワイトバランス（ＷＢ）処理部によるホワイトバランス処理及び補間処理部による補間処理が施される。リサイズ部は、撮像センサ部で得られた撮像画像データを、４画素加算後に表示サイズに合うように画像データの大きさを変更する。リサイズされた画像データは４画素加算された後にγ補正され表示サイズの画像データとなる。

１例として、図１０に撮像センサの画素数が1600×1200ピクセルで、表示サイズが640 ×480 の場合の画素加算を示す。
撮像センサの画素数が表示サイズの整数倍でないので、撮像センサ部より得られた画像データを単純に画素加算することはできない。ここでは、４画素加算して表示サイズ（VGA ）を得る方法を示す。４画素加算してVGA を得るには、画素加算前に1280×960 ピクセル（SXGA）の画像データが必要である。この1280×960 ピクセルの画像データは、撮像センサ部より得られた1600×1200ピクセルの画像データをリサイズ（この場合はダウンサンプリング）して生成する。

他の例として、図１１に撮像センサの画素数が1280×960 ピクセルで、表示サイズが960 ×720 ピクセルの場合を示す。４画素加算して表示サイズの960 ×720 ピクセルの画像データを得るには、加算前に1920×1440ピクセルの画像データが必要である。この1920×1440ピクセルの画像データは、撮像センサ部より得られた1280×960 ピクセルの画像データをリサイズ（この場合はアップサンプリング）して生成する。

本発明に係る画像処理方法及び装置は、例えば各種監視目的のための被写体撮影、記念目的のための被写体撮影等の様々の被写体撮影において、被写体が暗所に有る場合のように被写体照度が低い場合でも所望サイズの感度アップした画像データを得ることに利用できる。

本発明に係る画像処理装置例を示すブロック図である。 図１に示す装置による４画素加算時のリサイズの例を示す。 ＲＧＢデータにおける４画素加算の加算方法例を示す図である。 ＲＧＢデータにおける（ｎ×ｍ）画素加算の加算方法例を示す図である。 ＹＣｂＣｒ（４２２）データにおける４画素加算の加算方法の例を示す図である。 本発明に係る画像処理装置の他の例を示すブロック図である。 本発明に係る画像処理装置のさらに他の例を示すブロック図である。 本発明に係る画像処理装置のさらに他の例を示すブロック図である。 本発明に係る画像処理装置のさらに他の例を示すブロック図である。 図９に示す装置による４画素加算の例を示す図である。 図９に示す装置による４画素加算の他の例を示す図である。 既に知られている画像処理装置を示すブロック図である。 図１２の装置によるデジタルズーム（アップサンプリング）の例を示す図である。 図１２の装置によるデジタルズーム（ダウンサンプリング）の例を示す図である。

符号の説明

ＩＰ 画像処理装置
ＩＳ 撮像センサ部
ＣＤＳ 相関二重サンプリング回路
１、２、３、４、５ 画像処理装置

Claims (8)

1. 撮像センサ部で得られる撮像画像データをリサイズ処理し、該リサイズ処理後の画像データに基づいて画素加算処理を実行する画像処理方法であり、前記リサイズ処理においては、前記画素加算処理において（水平ｎ×垂直ｍ）画素加算（ｎ、ｍは正の整数）により生成すべき画像データに対して水平ｎ倍、垂直ｍ倍の大きさの画像データを前記撮像画像データに基づいて生成することを特徴とする画像処理方法。
2. 撮像センサ部で得られる撮像画像データから所定サイズの画像を抽出するトリミング処理を行い、該トリミング処理により抽出された画像データをリサイズ処理し、該リサイズ処理後の画像データに基づいて画素加算処理を実行する画像処理方法であり、前記リサイズ処理においては、前記画素加算処理において（水平ｎ×垂直ｍ）画素加算（ｎ、ｍは正の整数）により生成すべき画像データに対して水平ｎ倍、垂直ｍ倍の大きさの画像データを前記トリミング処理により抽出された画像データに基づいて生成することを特徴とする画像処理方法。
3. 前記リサイズ処理の後、且つ、前記画素加算処理の前にリサイズ処理後の画像データからノイズを除去するノイズ除去処理と前記画素加算処理後に画素加算処理後の画像データからノイズを除去するノイズ除去処理とのうち少なくとも一方のノイズ除去処理を行う請求項１又は２記載の画像処理方法。
4. 前記画素加算処理に供される画像データにγ補正を行い、該画素加算処理後の画像データに階調補正を行う請求項１、２又は３記載の画像処理方法。
5. 撮像センサ部で得られる撮像画像データをリサイズするリサイズ部、該リサイズ部によるリサイズ後の画像データに画素加算処理を施す画素加算部を含む画像処理装置であり、前記リサイズ部は、前記画素加算部において（水平ｎ×垂直ｍ）画素加算（ｎ、ｍは正の整数）により生成すべき画像データに対して水平ｎ倍、垂直ｍ倍の大きさの画像データを前記撮像画像データに基づいて生成することを特徴とする画像処理装置。
6. 撮像センサ部で得られる撮像画像データから所定サイズの画像を抽出するトリミング部と、該トリミング部により抽出された画像データをリサイズするリサイズ部と、該リサイズ部によるリサイズ後の画像データに画素加算処理を施す画素加算部を含む画像処理装置であり、前記リサイズ部は、前記画素加算部において（水平ｎ×垂直ｍ）画素加算（ｎ、ｍは正の整数）により生成すべき画像データに対して、水平ｎ倍、垂直ｍ倍の大きさの画像データを前記トリミング部により抽出された画像データに基づいて生成することを特徴とする画像処理装置。
7. 前記リサイズ部によるリサイズ後の画像データ及び前記画素加算部による画素加算後の画像データのうち少なくとも一方からノイズ除去を行うために、前記リサイズ部と画素加算部の間及び前記画素加算部の後のうち少なくとも一方にノイズフィルタ部を設けた請求項５又は６記載の画像処理装置。
8. 前記画素加算部に入力される画像データにγ補正を行うγ補正部を有するとともに前記画素加算部による画素加算後の画像データに階調補正を行う階調補正部を有する請求項５、６又は７記載の画像処理装置。