JP2013025364A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】ベクトル量子化により画像のノイズ低減を行うことが可能な撮像装置及び画像処理方法等を提供すること。
【解決手段】撮像装置は、画像取得部と、加算画像生成部１３０と、量子化処理部２００と、加算画像再生成部２１０と、推定演算部２３０を含む。加算画像生成部１３０は、加算単位を順次画素シフトさせて第１〜第ｎの加算画像を取得する。量子化処理部は、第１〜第ｎの加算画像の平均を平均画像として求め、その平均画像と第１〜第ｎの加算画像との差分を第１〜第ｎの差分画像として求める。量子化処理部２００は、求めた第１〜第ｎの差分画像の画素値に基づいて差分ベクトルを設定し、設定した差分ベクトルをベクトル量子化する。加算画像再生成部２１０は、ベクトル量子化された差分ベクトルから加算画像を再生成する。推定演算部２３０は、再生成された加算画像に基づいて撮像画像の画素値を推定する。
【選択図】 図５

Description

本発明は、撮像装置及び画像処理方法等に関する。

カメラ撮影において、決定的瞬間を逃さずに撮影者が撮りたいものを確実に残したいという要求は強い。それを解決するために、従来から、高速連写により複数枚を高速で撮っておく機能がある。動きのある被写体の高精細画像を、手振れの影響がある状態で高速に撮り、瞬間を捉えるには、シャッタ速度を高速化し、撮像露時間を必要に応じて短くする必要がある。

特開平７−２３１４４４号公報

しかしながら、短い露光時間ではＳ／Ｎ比が悪化し、高品質な画質が得られないという課題がある。

例えば、１枚画像に対するノイズ低減処理として、適応的なフィルタ処理がある。また、複数枚の画像に対するノイズ低減処理として、連続撮影した複数枚の画像を合成し、加算効果によりノイズ低減を向上させる手法がある。

しかしながら、１枚画像に対する空間的なフィルタ処理では、ノイズ低減効果が限界に近づいてきている。また、複数枚の画像を利用する手法では、被写体が動くと、動きのある被写体の画像間での位置合わせ精度の影響を受ける場合や、そもそも同一被写体が複数枚の画像に跨って存在しない場合がある。そのため、被写体の動きに影響なく効果的ノイズ低減ができる手法が一層望まれている。

例えば、特許文献１には、ノイズ低減の手法としてではないが、１枚画像の画素ブロックにおいて平均値を算出し、その平均値と各画素値との差分を算出し、その差分値をベクトル量子化することにより効率的符号化を行う手法が開示されている。

しかしながら、この手法では、ベイヤ配列のカラー画像に適用した場合、近傍画素は異なる色で構成されているため、近傍画素相互の色相関が高くないと差分値の分散が大きくなり、ベクトルの削減効果が薄れるという課題がある。

本発明の幾つかの態様によれば、ベクトル量子化により画像のノイズ低減を行うことが可能な撮像装置及び画像処理方法等を提供できる。

本発明の一態様は、撮像画像を取得する画像取得部と、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行う量子化処理部と、ベクトル量子化された前記差分ベクトルから前記加算画像を再生成する加算画像再生成部と、再生成された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、を含み、前記加算画像生成部は、前記加算単位を順次画素シフトさせることで第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、前記量子化処理部は、前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と前記第１〜第ｎの加算画像との差分を第１〜第ｎの差分画像として求め、求めた前記第１〜第ｎの差分画像の画素値に基づいて、前記差分ベクトルを設定する撮像装置に関係する。

本発明の一態様によれば、加算単位が順次画素シフトされて第１〜第ｎの加算画像が取得され、その第１〜第ｎの加算画像の平均が平均画像として求められ、その平均画像と第１〜第ｎの加算画像との差分が第１〜第ｎの差分画像として求められる。その第１〜第ｎの差分画像の画素値に基づいて差分ベクトルが設定され、その差分ベクトルがベクトル量子化される。そのベクトル量子化された差分ベクトルから加算画像が再生成され、その再生成された加算画像に基づいて撮像画像が推定される。これにより、ベクトル量子化により画像のノイズ低減を行うことが可能になる。

また本発明の一態様では、前記量子化処理部は、前記差分ベクトルとして、前記第１〜第ｎの差分画像の画素値を成分とするベクトルを設定してもよい。

また本発明の一態様では、画素配列の列をｉ、行をｊとして、前記第１〜第ｎの差分画像における画素の位置を（ｉ，ｊ）と表す場合に、前記量子化処理部は、前記位置（ｉ，ｊ）における前記差分ベクトルとして、前記第１〜第ｎの差分画像の前記位置（ｉ，ｊ）における画素値をそれぞれ第１〜第ｎの成分とするベクトルを設定してもよい。

また本発明の一態様では、前記量子化処理部は、前記差分ベクトルとして、前記第１〜第ｎの差分画像の各差分画像におけるベクトルを設定し、前記各差分画像におけるベクトルは、前記各差分画像の中の複数の隣接画素値を成分とするベクトルであってもよい。

また本発明の一態様では、画素配列の列をｉ、行をｊとして、前記第１〜第ｎの差分画像における画素の位置を（ｉ，ｊ）と表す場合に、前記量子化処理部は、前記位置（ｉ，ｊ）における前記差分ベクトルとして、前記第１〜第ｎの差分画像に対応する第１〜第ｎの差分ベクトルを設定し、前記第１〜第ｎの差分ベクトルのうちの第ｋの差分ベクトル（ｋはｎ以下の自然数）は、前記第１〜第ｎの差分画像のうちの第ｋの差分画像の前記位置（ｉ，ｊ）の画素値と、前記位置（ｉ，ｊ）に隣接する位置の画素値とを、成分とするベクトルであってもよい。

また本発明の一態様では、前記加算画像生成部は、前記加算単位を、水平又は垂直に順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジション（ｍはｎ−１以下の自然数）の前記加算単位は、共通の画素を含んでもよい。

また本発明の一態様では、前記量子化処理部は、前記第１〜第ｎのポジションにおける前記加算画素値の平均値を、前記平均画像の画素値として求める平均画像生成部と、前記平均画像の画素値と、前記第ｍのポジションにおける前記加算画素値との差分値を、前記第１〜第ｎの差分画像のうちの第ｍの差分画像の画素値として求める差分画像生成部と、を有してもよい。

また本発明の一態様では、前記量子化処理部は、前記差分ベクトルを、複数の代表ベクトルの中の、前記差分ベクトルから最も距離の近い代表ベクトルに置換することにより、前記ベクトル量子化を行ってもよい。

また本発明の一態様では、前記量子化処理部は、前記差分ベクトルの発生確率分布において極値を検出し、検出した前記極値に基づいて前記発生確率分布を複数の局所領域に分割し、前記複数の局所領域の各局所領域に属する前記差分ベクトルを前記各局所領域の代表ベクトルに置換することにより、前記ベクトル量子化を行ってもよい。

また本発明の一態様では、前記量子化処理部は、前記差分ベクトルの発生確率分布を、各局所領域の発生確率が同一となる複数の局所領域に分割し、前記複数の局所領域の各局所領域に属する前記差分ベクトルを前記各局所領域の代表ベクトルに置換することにより、前記ベクトル量子化を行ってもよい。

また本発明の一態様では、画素値の変化幅に応じて適応的に移動平均の範囲を調整する適応的ノイズ低減処理を、前記第１〜第ｎの差分画像に対して行うノイズ低減処理部を含んでもよい。

また本発明の一態様では、第１のポジションに設定された第１の加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２の加算単位とが、重畳する場合に、前記推定演算部は、前記第１の加算単位の画素値が重み付け加算された第１の加算画素値と、前記第２の加算単位の画素値が重み付け加算された第２の加算画素値との差分値を求め、前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。

また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記第１、第２の加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記第１、第２の加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。

また本発明の他の態様は、複数のフレームにおいて順次撮像画像を取得する画像取得部と、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行う量子化処理部と、ベクトル量子化された前記差分ベクトルから前記加算画像を再生成する加算画像再生成部と、再生成された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、を含み、前記画像取得部は、前記複数のフレームのうちの第１、第２のフレームにおいて、第１、第２の撮像画像を取得し、前記加算画像生成部は、前記第１、第２の撮像画像それぞれにおいて、前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を取得し、前記量子化処理部は、前記第１の撮像画像から得られた前記第１〜第ｎの加算画像と、前記第２の加算画像から得られた前記第１〜第ｎの加算画像との差分画像を、第１〜第ｎの差分画像として求め、求めた前記第１〜第ｎの差分画像の画素値に基づいて前記差分ベクトルを設定する撮像装置に関係する。

また本発明の他の態様では、前記画像取得部は、前記複数のフレームのうちの第３のフレームにおいて、第３の撮像画像を取得し、前記量子化処理部は、前記第１、第２の撮像画像に基づく第１の差分ベクトルと、前記第２、第３の撮像画像に基づく第２の差分ベクトルとを設定し、前記第１、第２の差分ベクトルに基づいて前記ベクトル量子化を行ってもよい。

また本発明の他の態様では、前記量子化処理部は、前記第１、第２の差分ベクトルの間の距離が所定の距離よりも近い場合に、前記第１差分ベクトルを、前記第１、第２の差分ベクトルの平均ベクトルに置き換えることにより、前記ベクトル量子化を行ってもよい。

また本発明の他の態様は、撮像画像を取得する画像取得部と、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行う量子化処理部と、ベクトル量子化された前記差分ベクトルから前記加算画像を再生成する加算画像再生成部と、再生成された前記加算画像に基づいて前記撮像画像を再構成する画像再構成部と、を含み、前記加算画像生成部は、複数色の第１〜第ｎの画素により構成される前記加算単位を設定し、前記第１〜第ｎの画素と重み付け係数の対応が異なる第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、前記量子化処理部は、前記第１〜第ｎの加算画像のうちの第ｋの加算画像（ｋはｎ以下の自然数）において、隣接する複数画素値の平均値を求め、前記平均値と前記複数画素値の各画素値との差分値により前記差分ベクトルを設定する撮像装置に関係する。

また本発明の他の態様では、前記加算画像生成部は、前記第１〜第ｎの画素と前記重み付け係数の対応が異なる第１〜第ｎの加算式により前記第１〜第ｎの加算画像の画素値を求め、前記撮像画像再構成部は、前記ベクトル量子化された前記差分ベクトルから再生成された前記第１〜第ｎの加算画像の画素値を用いて、前記第１〜第ｎの加算式を逆算することにより前記撮像画像を再構成してもよい。

また本発明の他の態様は、加算画素値を取得する単位である加算単位を撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行い、ベクトル量子化された前記差分ベクトルから前記加算画像を再生成するとともに、再生成された前記加算画像に基づいて前記撮像画像の画素値を推定する場合に、前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と前記第１〜第ｎの加算画像との差分を第１〜第ｎの差分画像として求め、求めた前記第１〜第ｎの差分画像の画素値に基づいて前記差分ベクトルを設定する画像処理方法に関係する。

また本発明の他の態様は、加算画素値を取得する単位である加算単位を撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行い、ベクトル量子化された前記差分ベクトルから前記加算画像を再生成するとともに、再生成された前記加算画像に基づいて前記撮像画像の画素値を推定する場合に、複数のフレームのうちの第１、第２のフレームにおいて順次取得された第１、第２の撮像画像それぞれにおいて、前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を取得し、前記第１の撮像画像から得られた前記第１〜第ｎの加算画像と、前記第２の加算画像から得られた前記第１〜第ｎの加算画像との差分画像を、第１〜第ｎの差分画像として求め、求めた前記第１〜第ｎの差分画像の画素値に基づいて前記差分ベクトルを設定する画像処理方法に関係する。

また本発明の他の態様は、加算画素値を取得する単位である加算単位を撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行い、ベクトル量子化された前記差分ベクトルから前記加算画像を再生成するとともに、再生成された前記加算画像に基づいて前記撮像画像を再構成する場合に、複数色の第１〜第ｎの画素により構成される前記加算単位を設定し、前記第１〜第ｎの画素と重み付け係数の対応が異なる第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、前記第１〜第ｎの加算画像のうちの第ｋの加算画像（ｋはｎ以下の自然数）において、隣接する複数画素値の平均値を求め、前記平均値と前記複数画素値の各画素値との差分値により前記差分ベクトルを設定する画像処理方法に関係する。

第１のノイズ低減手法についての説明図。 差分ベクトルの発生確率分布の例。 第２のベクトル量子化手法についての説明図。 第３のベクトル量子化手法についての説明図。 本実施形態の撮像装置の第１の構成例。 第２のノイズ低減手法についての説明図。 差分ベクトルの発生確率分布の例。 図８（Ａ）、図８（Ｂ）は、適応的ノイズ低減処理についての説明図。 適応的ノイズ低減処理についての説明図。 適応的ノイズ低減処理についての説明図。 適応的ノイズ低減処理についての説明図。 第３のノイズ低減手法についての説明図。 第４のノイズ低減手法についての説明図。 本実施形態の撮像装置の第２の構成例。 図１５（Ａ）、図１５（Ｂ）は、推定画素値と中間画素値の説明図。 復元推定処理についての説明図。 復元推定処理についての説明図。 復元推定処理についての説明図。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．第１のノイズ低減手法
本実施形態では、図１に示すように、近傍の複数画素による加算値を複数求め、その加算値の平均値を求め、その平均値と加算値との差分値を算出する。図２に示すように、その差分値の局所的発生領域を特定し、その特定した領域をベクトル量子化する。これにより、加算値と加算値の平均とは高相関性であるために、得られた差分値同士の組合せの発生確率に偏りが発生するため、その組合せをベクトル量子化すればベクトル数を削減でき、そのベクトル数削減のメリットを使ってランダムノイズの低減を図ることが可能になる。

このような本実施形態の第１のノイズ低減手法について詳細に説明する。なお、以下で用いるフレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。

図１に示すように、フレームｆｘにおいて、ＲＧＢベイヤ配列の撮像画像（以下、「高精細フレーム画像ｆｘ」と呼ぶ）を取得する。図１において、ｐは撮像素子の画素ピッチを表す。高精細フレーム画像ｆｘに、２×２画素の近接異色画素で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、４枚の画素加算画像Ａ_１〜Ａ_４を生成する。４画素加算値ａ_ｉｊは下式（１）で表わされる。

ここで、ｒは重み付けのパラメータであり、１≦ｒである。またｖ_ｉｊは高精細フレーム画像における位置（ｉ，ｊ）の画素値である。ｉは、画素配列の列番号であり、例えば水平走査方向における位置である。ｊは、画素配列の行番号であり、例えば垂直走査方向における位置である。

次に、生成した画素加算画像Ａ_１〜Ａ_４の加算位置の整合を行い、４枚の画素加算画像を重ね合わせた上で同一位置の値の加算平均をとることにより平均画像Ｍを生成する。即ち、画素加算画像Ａ_１〜Ａ_４の４画素加算値をそれぞれ｛ａ_ｉｊ，ａ_{（ｉ＋１）ｊ}，ａ_{（ｉ＋１）（ｊ＋１）}，ａ_{ｉ（ｊ＋１）}｝とすると、平均画像Ｍの画素値ａ^Ｍ _ｉｊは下式（２）で表される。

生成した平均画像Ｍを基準とし、その平均画像Ｍと画素加算画像Ａ_１〜Ａ_４との差分をそれぞれ差分画像Ｄ_１〜Ｄ_４とする。差分画像Ｄ_１〜Ｄ_４の画素値｛δ^（１） _ｉｊ，δ^（２） _ｉｊ，δ^（３） _ｉｊ，δ^（４） _ｉｊ｝を一つの処理単位とし、下式（３）のように定義する。ここで、｛δ^（１） _ｉｊ，δ^（２） _ｉｊ，δ^（３） _ｉｊ，δ^（４） _ｉｊ｝のｉ，ｊは、高精細フレーム画像の画素位置を基準としているため、偶数（又は奇数）である。

下式（４）に示すように、差分画像Ｄ_１〜Ｄ_４の同一位置の構成値｛δ^（１） _ｉｊ，δ^（２） _ｉｊ，δ^（３） _ｉｊ，δ^（４） _ｉｊ｝を差分ベクトルＤ_ｉｊと定義する。

元の高精細フレーム画像ｆｘは、ランダムノイズを含んだ画素値ｖ_ｉｊから構成されるので、平均画像Ｍと差分ベクトルＤ_ｉｊの各成分も、ランダムノイズ成分を当然含んでいる。平均画像Ｍについては、加算効果によりノイズの低減効果が見込まれる。問題は差分ベクトルＤ_ｉｊのノイズ低減になる。そこで本実施形態では、差分ベクトルＤ_ｉｊを観測ベクトルとしてベクトル量子化を行い、ランダムノイズの低減を図る。ベクトル量子化の手法については後述する。

次に、量子化後の差分画像から元のフレーム画像を復元する手法について説明する。上式（３）を変形すると、下式（５）が得られる。下式（４）に示すように、平均画像Ｍを構成する４画素加算値｛ａ^Ｍ _ｉｊ｝と、ベクトル量子化により変換された差分画像Ｄ’_１〜Ｄ’_４を構成する４画素加算値（δ^（１）’_ｉｊ，δ^（２）’_ｉｊ，δ^（３）’_ｉｊ，δ^（４）’_ｉｊ）とから、画素加算画像Ａ_１〜Ａ_４それぞれの４画素加算値｛ａ^（１） _ｉｊ，ａ^（２） _{（ｉ＋１）ｊ}，ａ^（３） _{ｉ（ｊ＋１）}，ａ^（４） _{（ｉ＋１）ｉ（ｊ＋１）}｝が得られる。

求められた４画素加算値｛ａ^（１） _ｉｊ，ａ^（２） _{（ｉ＋１）ｊ}，ａ^（３） _{ｉ（ｊ＋１）}，ａ^（４） _{（ｉ＋１）ｉ（ｊ＋１）}｝は、１枚の高精細画像を水平又は垂直に１画素重畳シフトした４画素加算値により構成されている画像データである。これらの４画素加算値に対して、後述する復元推定処理を適用し、元の高精細画像ｆｘの画素値を求める。このようにして、ベクトル量子化によりノイズ低減された高精細画像ｆｘが得られる。

２．第１のベクトル量子化手法
次に、上記の差分ベクトルＤ_ｉｊを量子化する第１のベクトル量子化手法について説明する。

ベクトル量子化を行うには、観測したベクトル（以下、観測ベクトルＤ_ｉｊ）と、それを局所的ベクトル領域毎に変換していくための代表ベクトル（以下、代表ベクトルＤ’_ｉｊ）が必要となる。

まず、図２に示すように、複数の観測ベクトルＤ_ｉｊの発生確率分布を求める。発生確率分布を求める単位は、１枚のフレーム画像であってもよいし複数の画像に跨ってもよい。この分布の局所的な確率ピークを求め、それらを代表ベクトルＤ_ｍｎとすればよい。なお図２では、図示を簡単にするために、Ｄ_ｉｊを２次元として原理的説明を行う。

図２に示すように、分布の軸は成分｛δ^（１） _ｉｊ，δ^（２） _ｉｊ｝であり、発生する観測ベクトルＤ_ｉｊの領域（拡がり分布、局所発生領域）を円形領域により模式的に表す。Ｐ_ｍｎは、その領域において観測ベクトルＤ_ｉｊの発生確率が最も大きいピークベクトルを表し、Ｄ_ｍｎは、その領域における代表ベクトルを表す。Ｄ_ｉｊは、任意の観測ベクトルを表す。

ピークベクトルＰ_ｍｎの検出では、発生する観測ベクトルＤ_ｉｊの確率分布の変化を見て局所的に確率値の山谷を検出し、ピーク値及びその周辺の谷境界を求め、ピークベクトルが支配する群領域を求める。次に、その群領域内の観測ベクトルＤ_ｉｊの平均ベクトルを算出し、その平均ベクトルをその群領域の代表ベクトルＤ_ｍｎとして設定する。

代表ベクトルＤ_ｍｎは、各画像について毎回設定してもよいし、予め設定しておいてもよい。予め設定する場合、与えられた複数の画像から代表ベクトルを求め、その代表ベクトルを量子化テーブルとして記憶しておき、観測ベクトルＤ_ｉｊのベクトル量子化時に適宜参照する。このようにテーブルを用いてベクトル変換することで、高速化が図られる。

複数の代表ベクトルＤ_ｍｎが求まると、任意の観測ベクトルＤ_ｉｊと、その周辺に存在する代表ベクトルＤ_ｍｎとのユークリッド距離ｚ_ｉｊを求める。代表ベクトルＤ_ｍｎの成分を下式（６）と表わすと、ユークリッド距離ｚ_ｉｊは下式（７）と求められる。

ユークリッド距離ｚ_ｉｊが最も小さくなる代表ベクトルＤ_ｍｎを探索し、観測ベクトルＤ_ｉｊをその代表ベクトルＤ_ｍｎに変換することにより量子化を行う。順次、観測ベクトルＤ_ｉｊを近傍の代表ベクトルＤ_ｍｎに変換する処理を行ない、ベクトル量子化を完了する。

以上の処理により、観測ベクトルＤ_ｉｊと変換すべき代表ベクトルＤ_ｍｎとの対応を予め求めて変換テーブルを生成しておき、元画像データから任意の観測ベクトルＤ_ｉｊの成分パターンを生成し、その観測ベクトルＤ_ｉｊを逐次代表ベクトルＤ_ｍｎに変換できる。これにより、ランダムノイズを低減した成分値（δ^（１）’_ｉｊ，δ^（２）’_ｉｊ，δ^（３）’_ｉｊ，δ^（４）’_ｉｊ）から成る変換差分画像Ｄ’_ｉｊを比較的高速に得ることができる。

なお上記では、撮像素子がＲＧＢベイヤ配列である場合を例に説明したが、本実施形態はこれに限定されず、例えば補色フィルタの撮像素子等であってもよい。また上記では、２×２画素加算を行う場合を例に説明したが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。また上記では、フレームｆｘの撮像画像を例に説明したが、他のフレームにおいても同様である。

また上記では、局所発生領域内の観測ベクトルＤ_ｉｊの平均ベクトルを代表ベクトルＤ_ｍｎとしたが、本実施形態はこれに限定されない。例えば、局所発生領域内の確率ピークを示す観測ベクトルＰ_ｍｎを代表ベクトルＤ_ｍｎとしてもよい。

３．第２のベクトル量子化手法
各差分画像における極値検出により領域分割を行う第２のベクトル量子化手法について説明する。

図３に示すように、ベクトルではなく差分画像毎の構成値δ^（ｋ） _ｉｊの発生確率分布において、局所的な山と谷を検出し、その検出結果に基づいて局所領域を分割設定する。局所的な山と谷は、確率分布の極値（又は変局点）を求め、その極値におけるδ^（ｋ） _ｉｊを山又は谷の位置として設定すればよい。検出された谷の間の領域を局所領域に設定する。

代表値Ｄ_ｍｎとして、その局所領域内のピーク値ｐ_ｍｎ又は、局所領域内の構成値δ^（ｋ） _ｉｊの平均値を設定する。代表値Ｄ_ｍｎが設定できれば、設定された局所的領域を量子化領域とし、観測値Ｄ_ｉｊが存在する領域の代表値Ｄ_ｍｎに観測値Ｄ_ｉｊを逐次量子化し、ノイズ低減がなされた差分画像の変換を完了する。

４．第３のベクトル量子化手法
各差分画像における同一確率領域により領域分割を行う第２のベクトル量子化手法について説明する。

図４に示すように、ベクトルではなく差分画像毎の構成値δ^（ｋ） _ｉｊの発生確率分布において、構成値δ^（ｋ） _ｉｊの正の最大値をＭａｘとし、負の最大値を−Ｍａｘとし、そのＭａｘと−Ｍａｘとの間を所定数Ｎにより確率ｐ^（ｋ）が同一になる領域に分割する。この分割した個々の領域を局所領域として設定する。例えば、図４に示すように、網掛けが施された２つの領域のδ^（ｋ） _ｉｊの発生確率は、ほぼ同一に設定される。

構成値δ^（ｋ） _ｉｊの元の量子化数に対して、領域分割数は当然少なく設定される。例えば、撮像時の画素値が１２ビット量子化であり、これを８ビットに量子化する場合、８ビットに対応する領域数に分割すればよい。

各局所領域の代表値Ｄ_ｍｎとして、その局所領域内のピーク値ｐ_ｍｎ、又は局所領域内の構成値δ^（ｋ） _ｉｊの平均値を設定する。なお、Ｍａｘ値は、−ＭａｘからＭａｘ値の間に存在する構成値δ^（ｋ） _ｉｊの発生確率が所定の値（例えば９５％など）となるように設定する。このＭａｘ値を設定することにより、ほとんど発生しないような最大値が存在した場合に、その値に影響を受けて局所領域が大きくなりすぎてしまうのを防止できる。

５．撮像装置
図５に、本実施形態のベクトル量子化を行う撮像装置の構成例を示す。撮像装置は、レンズ１１０、撮像素子１２０（撮像センサ）、加算画像生成部１３０（重畳シフト重み付け加算画像生成部）、データ記録部１８０、適応的ノイズ低減処理部１９０、量子化処理部２００、加算画像再生成部２１０、推定演算部２３０、画像出力部２９０を含む。

レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。撮像により得られたアナログ信号は、図示しないＡ／Ｄ変換部によりデジタル信号に変換される。加算画像生成部１３０は、上述のように、画素シフトさせつつ撮像画像の画素値を加算し、撮像画像から画素加算画像Ａ_１〜Ａ_４を生成する。

量子化処理部２００は、撮像画像をベクトル量子化する処理を行う。具体的には、量子化処理部２００は、平均画像生成部１４０、差分画像生成部１５０、ベクトル量子化部１６０、量子化テーブル記録部１７０を含む。

平均画像生成部１４０は、加算画像Ａ_１〜Ａ_４から平均画像Ｍを生成する。差分画像生成部１５０は、画素加算画像Ａ_１〜Ａ_４と平均画像Ｍから差分画像Ｄ_１〜Ｄ_４を生成する。ベクトル量子化部１６０は、差分画像Ｄ_１〜Ｄ_４のベクトル量子化を行う。量子化テーブル記録部１７０は、例えば製造時等において量子化テーブルを記録する。

適応的ノイズ低減処理部１９０は、量子化前の差分画像Ｄ_１〜Ｄ_４に対して適応的なノイズ低減処理を行う。適応的なノイズ低減処理については後述する。

データ記録部１８０は、量子化処理された画像データを記録する。具体的には、データ記録部１８０は、量子化された差分画像Ｄ’_１〜Ｄ’_４を記録する差分データ記録部１８１と、平均画像Ｍを記録する平均画像データ記録部１８２を含む。

加算画像再生成部２１０は、平均画像Ｍと量子化後の差分画像Ｄ’_１〜Ｄ’_４とから、加算画像Ａ_１〜Ａ_４を再生成する処理を行う。推定演算部２３０は、加算画像Ａ_１〜Ａ_４に基づいて高精細フレーム画像ｆｘを推定により復元する。復元推定処理については後述する。画像出力部２９０は、復元されたベイヤ配列のＲＡＷ画像をデモザイキング処理し、その画像に対して例えば階調補正処理等の画像処理を行う。画像出力部２９０は、例えば表示装置や記憶装置等に対して、処理後の静止画や動画を出力する。

なお、本実施形態は図５の構成に限定されず、その構成要素の一部（例えば適応的ノイズ低減処理部１９０）の省略や、他の構成要素の追加等の種々の変形実施が可能である。例えば、加算画像生成部１３０、量子化処理部２００、加算画像再生成部２１０、推定演算部２３０を、撮像装置とは別体の画像処理装置（例えばＰＣ等）により構成してもよい。また、撮像装置の各部をソフトウェアにより構成してもよい。この場合、ＣＰＵ等の処理装置が、各部の動作が記述されたプログラムを実行することにより、各部の動作が実現される。

以上の実施形態によれば、図５に示すように、撮像装置は、画像取得部（例えば撮像素子１２０、あるいは撮像素子１２０から画像データを読み出す図示しない読み出し部)と加算画像生成部１３０と量子化処理部２００と加算画像再生成部２１０と推定演算部２３０を含む。

画像取得部は、撮像画像を取得する。図１で説明したように、加算画像生成部１３０は、加算画素値（例えばａ^（１） _００）を取得する単位である加算単位を撮像画像の複数の画素（例えば２×２画素）毎に設定する。加算画像生成部１３０は、その加算単位に含まれる画素値を重み付け加算して加算画素値を求め（上式（１））、求めた加算画素値による加算画像（例えばＡ_１）を取得する。量子化処理部２００は、取得された加算画像Ａ_１〜Ａ_４に基づく差分ベクトルＤ_ｉｊのベクトル量子化を行う。加算画像再生成部２１０は、ベクトル量子化された差分ベクトルＤ’_ｉｊから加算画像Ａ_１〜Ａ_４を再生成する。推定演算部２３０は、再生成された加算画像Ａ_１〜Ａ_４に基づいて撮像画像の画素値ｖ_ｉｊを推定する。

この場合に、加算画像生成部１３０は、加算単位を順次画素シフトさせて第１〜第４の加算画像Ａ_１〜Ａ_４（広義には第１〜第ｎの加算画像、ｎは２以上の自然数）を取得する。量子化処理部２００は、その第１〜第４の加算画像Ａ_１〜Ａ_４の平均を平均画像Ｍとして求め、その平均画像Ｍと第１〜第４の加算画像Ａ_１〜Ａ_４との差分を第１〜第４の差分画像Ｄ_１〜Ｄ_４（広義には第１〜第ｎの差分画像）として求める。量子化処理部２００は、求めた第１〜第４の差分画像Ｄ_１〜Ｄ_４の画素値δ^（ｋ） _ｉｊに基づいて差分ベクトルＤ_ｉｊを設定する。

このようにすれば、ベクトル量子化により効果的に画像のノイズ低減を行うことが可能になる。即ち、平均画像においては、画素値の加算と平均によりランダムノイズが低減される。また、差分画像においては、差分ベクトルをベクトル量子化することによりランダムノイズが低減される。そして、ノイズ低減された平均画像と差分画像から撮像画像を復元することにより、ノイズ低減された高精細画像を得ることができる。

より具体的には、差分画像は、平坦部と類似エッジパターンの集合である。そのため、画素値から構成した差分ベクトルについても、類似ベクトルの集合となり、その類似ベクトルの平均化によりランダムノイズを低減できる。これにより、１枚の画像に対して、効果的なノイズ低減が可能になる。例えば、上述した空間的なフィルタ処理に比べて、ベクトルの発生確率分布に応じて適切に代表ベクトルを設定できるため、発生頻度の多い情報を優先的に残しながらノイズ低減できる。また、上述した連続撮影画像を合成する手法に比べて、１枚画像でノイズ低減できるため、動き補償の精度や被写体の動きに影響されずにノイズ低減できる。

また、加算画像の画素値はＲＧＢ加算値であり、平均画像の画素値はその平均値である。例えば、上述の特許文献１では、ＲＧＢ平均値と、ＲＧＢ各画素値との差分を求めるため、ＲＧＢ間が低相関である場合、低相関な値の差分となってしまう。本実施形態では、加算値と平均値が共にＲＧＢ混色であるため、特許文献１の場合よりも相関性が高くなり、差分ベクトルの発生確率分布が限られた領域に分布し、少ない代表ベクトルで量子化することが可能になる。

ここで、ベクトル量子化とは、複数のサンプリング値をベクトルとして扱い、そのベクトルを量子化する手法である。具体的には、ベクトルを複数のクラスタにクラスタリングし、各クラスタにおいて代表ベクトルを設定し、クラスタに属するベクトルをそのクラスタの代表ベクトルに置き換え、代表ベクトルを符号化する。

また本実施形態では、量子化処理部２００は、差分ベクトルＤ_ｉｊとして、第１〜第４の差分画像Ｄ_１〜Ｄ_４の画素値を成分とするベクトルを設定する。

より具体的には、画素配列の列をｉ、行をｊとして、第１〜第４の差分画像Ｄ_１〜Ｄ_４における画素の位置を（ｉ，ｊ）と表す。上式（３）、（４）で説明したように、量子化処理部２００は、位置（ｉ，ｊ）における差分ベクトルＤ_ｉｊとして、第１〜第４の差分画像Ｄ_１〜Ｄ_４の位置（ｉ，ｊ）における画素値δ^（１） _ｉｊ〜δ^（４） _ｉｊをそれぞれ第１〜第４の成分（広義には第１〜第ｎの成分）とするベクトルを設定する。

このようにすれば、第１〜第４の差分画像Ｄ_１〜Ｄ_４の画素値に基づいて差分ベクトルＤ_ｉｊを設定できる。同一位置（ｉ，ｊ）における画素値δ^（１） _ｉｊ〜δ^（４） _ｉｊは相関性が高いと考えられるため、差分ベクトルＤ_ｉｊの発生確率分布が偏在し、代表ベクトル数の削減が可能になる。

また本実施形態では、図１で説明したように、加算画像生成部１３０は、加算単位を水平又は垂直に順次シフトさせて第１〜第４のポジション（広義には第１〜第ｎのポジション）に設定する。加算画像生成部１３０は、その第１〜第４のポジション（（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）、（ｉ，ｊ＋１））においてそれぞれ第１〜第４の加算画像Ａ_１〜Ａ_４を取得する。第ｍのポジションと第ｍ＋１のポジション（ｍはｎ−１以下の自然数）の加算単位（例えばａ^（１） _００、ａ^（２） _１０）は、共通の画素（ｖ_１０、ｖ_１１）を含む。

このようにすれば、画素シフトされた第１〜第４の加算画像を取得できる。また、隣接加算単位が共通の画素を含む重畳シフトが行われることで、後述する復元推定処理により撮像画像を復元することが可能になる。

また本実施形態では、図５に示すように、量子化処理部２００は、平均画像生成部１４０と、差分画像生成部１５０を有する。上式（２）で説明したように、平均画像生成部１４０は、第１〜第４のポジションにおける加算画素値ａ^（１） _ｉｊ、ａ^（２） _{（ｉ＋１）ｊ}、ａ^（３） _{（ｉ＋１）（ｊ＋１）}、ａ^（４） _{ｉ（ｊ＋１）}の平均値ａ^Ｍ _ｉｊを、平均画像Ｍの画素値として求める。上式（３）で説明したように、差分画像生成部１５０は、平均画像の画素値ａ^Ｍ _ｉｊと、第ｍのポジションにおける加算画素値（例えばａ^（１） _ｉｊ）との差分値（δ^（１） _ｉｊ）を、第ｍの差分画像（Ｄ_１）の画素値として求める。

このようにすれば、第１〜第４の加算画像Ａ_１〜Ａ_４の平均を平均画像として求めることができる。また、平均画像Ｍと第１〜第４の加算画像Ａ_１〜Ａ_４との差分を第１〜第４の差分画像Ｄ_１〜Ｄ_４として求めることができる。

また本実施形態では、上式（７）で説明したように、量子化処理部２００は、差分ベクトルＤ_ｉｊを、複数の代表ベクトルＤ_ｍｎの中の、差分ベクトルＤ_ｉｊから最も距離ｚ_ｉｊ（例えばユークリッド距離）の近い代表ベクトルに置換することにより、ベクトル量子化を行う。

このようにすれば、差分ベクトルＤ_ｉｊと代表ベクトルＤ_ｍｎの類似性をベクトル間の距離により評価し、類似性が高い即ち距離が近い代表ベクトルＤ_ｍｎに差分ベクトルＤ_ｉｊを量子化することができる。

また本実施形態では、図３で説明したように、量子化処理部２００は、差分ベクトルＤ_ｉｊの発生確率分布において極値（局所的な、即ちある点の近傍における最大値又は最小値）を検出し、検出した極値に基づいて発生確率分布を複数の局所領域に分割する。量子化処理部２００は、その複数の局所領域の各局所領域に属する差分ベクトルＤ_ｉｊをその各局所領域の代表ベクトルＤ_ｍｎに置換することにより、ベクトル量子化を行う。

このようにすれば、差分ベクトルＤ_ｉｊと代表ベクトルＤ_ｍｎの類似性を、同一局所領域に属するか否かにより評価し、類似性が高い即ち同一局所領域に属する代表ベクトルＤ_ｍｎに差分ベクトルＤ_ｉｊを量子化することができる。

また本実施形態では、図４で説明したように、量子化処理部２００は、差分ベクトルＤ_ｉｊの発生確率分布を、各局所領域の発生確率が同一となる複数の局所領域に分割する。量子化処理部２００は、その複数の局所領域の各局所領域に属する差分ベクトルＤ_ｉｊをその各局所領域の代表ベクトルＤ_ｍｎに置換することにより、ベクトル量子化を行う。

このようにすれば、例えば極値の検出等の複雑な処理が不要になるため、領域分割の処理を簡素化することができる。また、発生確率分布が大きい領域ほど分割領域の幅が狭くなるため、細かく代表ベクトルが設定され、発生頻度の高い情報ほどより多く残すことが可能になる。

６．第２のノイズ低減手法
各差分画像における隣接画素値により差分ベクトルを構成する第２のノイズ低減手法について説明する。

図６に示すように、同一の差分画像Ｄ_ｋ（ｋは４以下の自然数）の近接４値を観測ベクトルＤ^（ｋ） _ｉｊと定義する。即ち、観測ベクトルＤ^（ｋ） _ｉｊは、下式（８）で表される。図６には、差分画像Ｄ_１における観測ベクトルＤ^（１） _ｉｊを示す。点線の丸により示す４つの差分値は、観測ベクトルを構成する成分を表す。

図７を用いて、代表ベクトルＤ^（ｋ） _ｍｎの設定手法の一例を説明する。図７に示すように、複数の観測ベクトルＤ^（ｋ） _ｉｊの発生確率分布を求める。求める母数単位は、１枚の差分画像であってもよいし、複数の差分画像に跨ってもよい。なお図７では、図示を簡単にするために、Ｄ^（ｋ） _ｉｊを２次元として原理的説明を行う。

図７に示すように、分布の軸は成分｛δ^（ｋ） _ｉｊ，δ^（ｋ） _{（ｉ＋２）ｊ}｝であり、発生する観測ベクトルＤ^（ｋ） _ｉｊの領域（拡がり分布）を円形領域により模式的に表す。Ｐ^（ｋ） _ｍｎは、その領域において観測ベクトルＤ^（ｋ） _ｉｊの発生確率が最も大きいピークベクトルを表し、Ｄ^（ｋ） _ｍｎは、その領域における代表ベクトルを表す。Ｄ^（ｋ） _ｉｊは、任意の観測ベクトルを表す。

観測ベクトルＤ^（ｋ） _ｉｊの発生確率分布の局所的な確率ピークとして、局所領域ＺｐのピークベクトルＰ^（ｋ） _ｍｎを求める。例えば、ピークベクトルＰ^（ｋ） _ｍｎ近傍のユークリッド距離に位置する観測ベクトルＤ^（ｋ） _ｉｊの変局点、即ち確率分布が局所最小値をとる位置を境界とし、その境界の内側を局所領域Ｚｐに設定する。あるいは、ピークベクトルＰ^（ｋ） _ｍｎを中心とし、所定のユークリッド距離ｚ_ｐを直径とする領域を、局所領域Ｚｐとしてもよい。

代表ベクトルＤ^（ｋ） _ｍｎとして、例えば、局所領域Ｚｐに存在する観測ベクトルＤ^（ｋ） _ｉｊの平均ベクトルを設定する。あるいは、ピークベクトルＰ^（ｋ） _ｍｎをそのまま代表ベクトルＤ^（ｋ） _ｍｎとして設定してもよい。あるいは、図４で上述のように、発生確率が均一になるように観測ベクトルＤ^（ｋ） _ｉｊの発生確率分布を領域分割して局所領域Ｚｐを設定し、それぞれの局所領域Ｚｐの平均ベクトルを代表ベクトルＤ^（ｋ） _ｍｎとしてもよい。

複数の代表ベクトルＤ^（ｋ） _ｍｎが求まると、任意の観測ベクトルＤ^（ｋ） _ｉｊと、その周辺に存在する代表ベクトルＤ^（ｋ） _ｍｎとのユークリッド距離ｚ^（ｋ） _ｉｊを求める。代表ベクトルＤ^（ｋ） _ｍｎの成分を下式（９）と表わすと、ユークリッド距離ｚ^（ｋ） _ｉｊは下式（１０）と求められる。

ユークリッド距離ｚ^（ｋ） _ｉｊが最も小さくなる代表ベクトルＤ^（ｋ） _ｍｎを探索し、観測ベクトルＤ^（ｋ） _ｉｊをその代表ベクトルＤ^（ｋ） _ｍｎに変換することにより量子化を行う。順次、観測ベクトルＤ^（ｋ） _ｉｊを近傍の代表ベクトルＤ^（ｋ） _ｍｎに変換する処理を行ない、ベクトル量子化を完了する。

量子化後の差分ベクトルＤ^（ｋ） _ｉｊから加算画像Ａ_１〜Ａ_４を再生成する手法、再生成した加算画像Ａ_１〜Ａ_４から高精細フレーム画像ｆｘを再構成する手法については、上述した第１のノイズ低減手法と同様である。

さて、上記の差分画像は、元画像のローカル領域毎の平均画像との差が分布している画像である。元画像のローカル領域の隣接値に高い相関性があれば、差分値はローカル平均値に大きく偏りをもつ確率分布となりためゼロ中心に偏った分布となり、元画像の画素値の確率分布に比べ分散を非常に小さくできる。また、差分画像は、微分画像のように平坦部とエッジパターンからなる画像であるので、隣接パターンをベクトルと見なせば、元画像よりも少ないベクトルにより構成された画像に変換される。

従って、（ノイズが重畳されていないと仮定する）任意の正解ベクトルを中心にノイズが重畳された類似パターンが群を形成し、離散して存在する値からなる画像に変換されていると見なせるので、群単位でベクトル量子化を行えばノイズ低減が可能となる。

即ち、本実施形態では、元画像の隣接画素値を加算することにより加算画素値の隣接相関性を高め、さらにそれらの平均画像と差分画像を取ることにより、平均画像は加算効果によるノイズ低減が図られる。また、差分画像は限定されたパターン（ベクトル）に分離されるため重畳するノイズの存在範囲の分離性が高まり、ベクトル量子化による正解値の特定を容易にする。

なお上記では、４つの差分画像の近接構成値をベクトルとして扱う例を説明したが、本実施形態はこれに限定されず、例えば４つ以上の構成値をベクトルとしても同様に成立することは言うまでもない。

以上の実施形態によれば、図６で説明したように、量子化処理部２００は、差分ベクトルＤ_ｉｊとして、第１〜第４の差分画像Ｄ_１〜Ｄ_４の各差分画像におけるベクトルＤ^（ｋ） _ｉｊを設定する。前記各差分画像におけるベクトルＤ^（ｋ） _ｉｊは、複数の隣接画素値を成分とするベクトルである。

より具体的には、上式（８）で説明したように、量子化処理部２００は、位置（ｉ，ｊ）における差分ベクトルＤ_ｉｊとして、第１〜第４の差分画像Ｄ_１〜Ｄ_４に対応する第１〜第４の差分ベクトルＤ^（１） _ｉｊ〜Ｄ^（４） _ｉｊ（広義には第１〜第ｎの差分ベクトル）を設定する。第ｋの差分ベクトルＤ^（ｋ） _ｉｊ（ｋはｎ以下の自然数）は、第ｋの差分画像Ｄ_ｋの位置（ｉ，ｊ）の画素値δ^（ｋ） _ｉｊと、位置（ｉ，ｊ）に隣接する位置の画素値δ^（ｋ） _{（ｉ＋２）ｊ}、δ^（ｋ） _{ｉ（ｊ＋２）}、δ^（ｋ） _{（ｉ＋２）（ｊ＋２）}とを、成分とするベクトルである。

このようにすれば、第１〜第４の差分画像Ｄ_１〜Ｄ_４の画素値に基づいて第１〜第４の差分ベクトルＤ^（１） _ｉｊ〜Ｄ^（４） _ｉｊを設定できる。上述のように、隣接位置（ｉ，ｊ）、（ｉ＋２，ｊ）、（ｉ＋２，ｊ＋２）、（ｉ，ｊ＋２）における画素値は相関性が高いと考えられるため、差分ベクトルＤ^（１） _ｉｊ〜Ｄ^（４） _ｉｊの発生確率分布が偏在し、代表ベクトル数の削減が可能になる。

７．適応的ノイズ低減処理
図５で上述の適応的ノイズ低減処理部１９０が行う適応的なノイズ低減処理について詳細に説明する。

本実施形態では、差分画像Ｄ_１〜Ｄ_４に対してアダプティブ・ノイズ・リダクション（以下、ＡＮＲと略す）を適用する。ＡＮＲとは、空間軸に沿って適応的に対象範囲を異ならせながら画素値平均を行う適応的移動平均フィルタリングのことを言う。ＡＮＲでは、対象範囲内のサンプリング値の変化の幅が小さい場合、移動平均の範囲を広くとり、対象範囲内のサンプリング値の変化の幅が大きい場合、移動平均の範囲を狭くする。これを実現するためには、処理位置（着目位置）の画素値を中心とした所定の画素値幅に含まれるサンプリング値の平均を計算し、改めて処理位置の画素値とする。

サンプリング値の変化の幅が小さい範囲では、その変化が高周波成分の場合であっても、振幅としては小さいので丸めても影響が少ないと考えられる。また低周波成分の場合は、移動平均を取っても情報は維持される。この場合は、移動平均の範囲を広くとるため、より多くのサンプリング値の平均を取ることになり、加算効果によるノイズ低減効果が大きい。

一方、サンプリング値の変化の幅が大きい範囲では、その変化が高周波成分の場合でも低周波成分の場合でも、移動平均の範囲を狭くするため情報はほぼ維持される。この場合は、少ないサンプリング値の平均を取ることになるので、加算効果によるノイズ低減効果は小さい。

よって、この方法を適用するケースとして効果が大きいのは、サンプリング値の振幅の変化幅が小さくなる状態のときである。平均画像の画素値ａ^Ｍ _ｉｊと加算画像の画素値ａ^（ｋ） _ｉｊは、加算値同士であるため画素値の相関性が高い。そのため、これらの差分値δ^（ｋ） _ｉｊは、元の撮像画像よりも差分画像のサンプリング値の振幅変化を小さくできる。この差分画像にＡＮＲを適用すれば、効果的に差分画像のノイズ低減が可能になると考えられる。

次に、ＡＮＲの適用手法や演算手法について説明する。図８（Ａ）に示すように、処理する差分画像の画素値（サンプリング値）をδ_ｓとする。δ_ｓを中心として幅±Δ／２の範囲に入る近傍の画素値を特定する。例えば、図８（Ａ）の場合、幅±Δ／２の範囲に入る画素値は存在しない。この場合、下式（１１）に示すように、ｄ１＝ｄ２＝０として移動平均値δ^ａ _ｓを求める。

また、図８（Ｂ）の場合、幅±Δ／２の範囲に入る４画素加算値はδ_ｓ−２、δ_ｓ−１、δ_ｓ＋１である。この場合、上式（１１）においてｄ１＝２，ｄ２＝１とする。なお、ｄ１は、処理する画素値δ_ｓの左方向（ｓ軸の負方向）の移動平均を取る画素値の範囲を表わす。ｄ２は、処理する画素値δ_ｓの右方向（ｓ軸の正方向）の移動平均を取る画素値の範囲を表わす。ｄ１、ｄ２は、下式（１２）に示す条件を満足しているものとする。

次に、図３で上述の差分画像Ｄ_１〜Ｄ_４を例にとり、上記ＡＮＲの適用例について説明する。図９に示すように、差分画像Ｄ_１〜Ｄ_４は、それぞれ２次元配列のデータである。演算を簡単にするために、上記ＡＮＲを水平方向と垂直方向に別々に適用する。なお以下では、簡単のため、δ_ｉｊ＝δ^（ｋ） _ｉｊとして（ｋ）を省略する。

具体的には、図９に示すように、画素値δ_ｉｊに対して水平方向（ｉ軸方向）に順次ＡＮＲを適用すると、水平方向の移動平均値δ^ｈ _ｉｊが得られる。また図１０に示すように、画素値δ_ｉｊに対して垂直方向（ｊ軸方向）に順次ＡＮＲを適用すると、垂直方向の移動平均値δ^ｖ _ｉｊが得られる。図１１に示すように、移動平均値δ^ｈ _ｉｊとδ^ｖ _ｉｊの平均値δ^ａ _ｉｊ（例えばδ^ａ _ｉｊ＝（δ^ｈ _ｉｊ＋δ^ｖ _ｉｊ）／２）を計算し、その平均値δ^ａ _ｉｊを最終な移動平均値とする。

以上の実施形態によれば、図５に示すように、撮像装置は適応的ノイズ低減処理部１９０を含む。図８（Ａ）〜図１１で説明したように、適応的ノイズ低減処理部１９０は、画素値の変化幅に応じて適応的に移動平均の範囲ｄ１＋ｄ２を調整する適応的ノイズ低減処理を、第１〜第４の差分画像Ｄ_１〜Ｄ_４に対して行う。

例えば本実施形態では、処理対象の画素値δ_ｓから幅±Δ／２の範囲に入る画素値の数に応じて範囲ｄ１＋ｄ２を調整し、その範囲ｄ１＋ｄ２内の画素値の平均値を、画素値δ_ｓとして再設定する。

このようにすれば、画素値の生起分布が狭く、画素値の振幅が小さい差分画像のノイズを効果的に低減できる。即ち、適応的ノイズ低減処理では、画素値の振幅が小さい場合には移動平均の範囲ｄ１＋ｄ２が広くなるため、その範囲よりも高周波数のノイズ成分が効果的に低減される。

８．第３のノイズ低減手法
画素の配色パターンと重み付け係数の対応が同一のブロック同士により、平均画像と差分画像を生成し、ベクトル量子化を行う第３のノイズ低減手法について説明する。

図１２に示すように、原画像のＲＧＢベイヤ配列の近接画素値を色別に｛Ｒ_ｉｊ，Ｇｒ_ｉｊ，Ｇｂ_ｉｊ，Ｒ_ｉｊ｝と表す。ベイヤ配列における２×２画素の基本ブロック単位で加算単位（図１２の太線四角で表す４画素）を設定し、重み付け加算を行う。具体的には下式（１３）に示すように、同一ブロックの画素値に対して、異なる４種類のパターンの重み付け係数を掛けて４つの加算値｛ａ^（１） _ｉｊ，ａ^（２） _ｉｊ，ａ^（３） _ｉｊ，ａ^（４） _ｉｊ｝を算出する。これら４つの加算値により、それぞれ４種類の４画素加算画像｛Ａ_１，Ａ_２，Ａ_３，Ａ_４｝を生成する。即ち、各４画素加算画像では、ブロック内の配色と重み付け係数の対応が同一であり、その対応が異なる４種類の４画素加算画像が得られることになる。

次に、下式（１４）に示すように、４画素加算画像Ａ_ｋにおいて、配色と重み付けの関係が共通する４画素加算値のうちの隣接する４画素加算値｛ａ^（ｋ） _ｉｊ，ａ^（ｋ） _{（ｉ＋２）ｊ}，ａ^（ｋ） _{ｉ（ｊ＋２）}，ａ^（ｋ） _{（ｉ＋２）（ｊ＋２）}｝のブロック平均値ｍ^（ｋ） _ｉｊを求める。下式（１５）に示すように、差分値｛δ^（ｋ） _ｉｊ，δ^（ｋ） _{（ｉ＋２）ｊ}，δ^（ｋ） _{ｉ（ｊ＋２）}，δ^（ｋ） _{（ｉ＋２）（ｊ＋２）}｝を求める。ここでｋ＝１、２、３、４である。

これらの差分値｛δ^（ｋ） _ｉｊ，δ^（ｋ） _{（ｉ＋２）ｊ}，δ^（ｋ） _{ｉ（ｊ＋２）}，δ^（ｋ） _{（ｉ＋２）（ｊ＋２）}｝に対して、上述のベクトル量子化を適用することによりノイズの低減を図る。ベクトル量子化のためのベクトルの捉え方は、同一４画素加算画像内のＤ_ｉｊ＝（δ^（ｋ） _ｉｊ，δ^（ｋ） _{（ｉ＋２）ｊ}，δ^（ｋ） _{ｉ（ｊ＋２）}，δ^（ｋ） _{（ｉ＋２）（ｊ＋２）}）でもよいし、異なる４画素加算画像間のＤ_ｉｊ＝（δ^（１） _ｉｊ，δ^（２） _ｉｊ，δ^（３） _ｉｊ，δ^（４） _ｉｊ）でもよい。

なお、ブロック平均値ｍ^（ｋ） _ｉｊ又は量子化された差分値δ^（ｋ）’_ｉｊは、データ圧縮されて記録されてもよい。特に差分値δ^（ｋ）’_ｉｊはエントロピーの低減が図られているので、エントロピー符号化などがデータの圧縮に有効である。

次に、量子化された差分値から加算画像Ａ_１〜Ａ_４を再生成する。具体的には、上記のように処理され記録されたブロック平均値ｍ^（ｋ） _ｉｊと差分値｛δ^（ｋ）’_ｉｊ，δ^（ｋ）’_{（ｉ＋２）ｊ}，δ^（ｋ）’_{ｉ（ｊ＋２）}，δ^（ｋ）’_{（ｉ＋２）（ｊ＋２）}｝を読み出す。それらのデータが圧縮されている場合は、当然ながら伸張処理を行う。ベクトル量子化により符号化されている場合は、量子化テーブルを参照して復号し、元の記録前の値に戻す。

これらの平均値と差分値を上式（１４）、（１５）に代入し、解くことにより、ブロックを構成する重み付けされた４画素の加算値｛ａ^（ｋ） _ｉｊ，ａ^（ｋ） _{（ｉ＋２）ｊ}，ａ^（ｋ） _{ｉ（ｊ＋２）}，ａ^（ｋ） _{（ｉ＋２）（ｊ＋２）}｝を再生成する。

次に、再生成された加算値から原画像を復元する。具体的には、再生成された４画素の加算値｛ａ^（ｋ） _ｉｊ，ａ^（ｋ） _{（ｉ＋２）ｊ}，ａ^（ｋ） _{ｉ（ｊ＋２）}，ａ^（ｋ） _{（ｉ＋２）（ｊ＋２）}｝から原画像の同一ブロック単位の画素値｛Ｒ_ｉｊ，Ｇｒ_ｉｊ，Ｇｂ_ｉｊ，Ｒ_ｉｊ｝を導出する。同一ブロック単位の画素値を求めるために、同一ブロック単位の異なる重み付け係数を掛けて加算した４つの加算値｛ａ^（１） _ｉｊ，ａ^（２） _ｉｊ，ａ^（３） _ｉｊ，ａ^（４） _ｉｊ｝を、再生成データから抽出する。

抽出した加算値｛ａ^（１） _ｉｊ，ａ^（２） _ｉｊ，ａ^（３） _ｉｊ，ａ^（４） _ｉｊ｝を上式（１３）に代入し、その連立方程式を解くことにより、同一のブロックの４つの構成画素値｛Ｒ_ｉｊ，Ｇｒ_ｉｊ，Ｇｂ_ｉｊ，Ｒ_ｉｊ｝を導出する。同様にして、加算値ａ^（ｋ） _{（ｉ＋２）ｊ}、ａ^（ｋ） _{ｉ（ｊ＋２）}、ａ^（ｋ） _{（ｉ＋２）（ｊ＋２）}から、それぞれ構成画素値｛Ｒ_{（ｉ＋２）ｊ}，Ｇｒ_{（ｉ＋２）ｊ}，Ｇｂ_{（ｉ＋２）ｊ}，Ｒ_{（ｉ＋２）ｊ}｝、｛Ｒ_{ｉ（ｊ＋２）}，Ｇｒ_{ｉ（ｊ＋２）}，Ｇｂ_{ｉ（ｊ＋２）}，Ｒ_{ｉ（ｊ＋２）}｝、｛Ｒ_{（ｉ＋２）（ｊ＋２）}，Ｇｒ_{（ｉ＋２）（ｊ＋２）}，Ｇｂ_{（ｉ＋２）（ｊ＋２）}，Ｒ_{（ｉ＋２）（ｊ＋２）}｝を求める。このようにして、原画像の画素値が各々求められる。

以上の実施形態によれば、撮像装置は、画像再構成部を含む（例えば図５において、推定演算部２３０の代わりに図示しない画像再構成部を含む）。画像再構成部は、ベクトル量子化された差分ベクトルＤ’_ｉｊから再生成された加算画像に基づいて撮像画像を再構成する

図１２で説明したように、加算画像生成部１３０は、複数色Ｒ、Ｇｒ、Ｇｂ、Ｂの第１〜第４の画素（広義には第１〜第ｎの画素）により構成される加算単位を設定する。上式（１３）で説明したように、加算画像生成部１３０は、その第１〜第４の画素と重み付け係数１、１／ｒ、１／ｒ、１／ｒ^２の対応が異なる第１〜第４の加算画像Ａ_１〜Ａ_４を取得する。上式（１４）で説明したように、量子化処理部２００は、第ｋの加算画像Ａ_ｋ（ｋはｎ以下の自然数）において、隣接する複数画素値の平均値ｍ^（ｋ） _ｉｊを求める。上式（１５）で説明したように、量子化処理部２００は、その平均値ｍ^（ｋ） _ｉｊと複数画素値の各画素値との差分値｛δ^（ｋ） _ｉｊ，δ^（ｋ） _{（ｉ＋２）ｊ}，δ^（ｋ） _{ｉ（ｊ＋２）}，δ^（ｋ） _{（ｉ＋２）（ｊ＋２）}により差分ベクトルＤ_ｉｊを設定する。

このようにすれば、Ｒ、Ｇｒ、Ｇｂ、Ｂの配色と重み付け係数の対応が同一の加算画像Ａ_ｋ内において平均値と差分値が求められる。一般に自然画像は、近接する異なる色の相関が高くないため、配色と重み付けの対応が異なると、加算値間の相関性が低下する。この点、本実施形態によれば、各加算画像内では、配色と重み付けの関係が一致するため、加算値の間の相関性を高めることができる。これにより、近接加算値の平均値を求め、その平均値と加算値の差分値をとることで、平均値に対する差分値のばらつきを小さく抑えることができるため、近接画素が低色相関の場合であっても、差分値パターンの数量をより削減でき、ベクトル量子化における代表ベクトル数を削減することが期待できる。

また本実施形態では、上式（１３）で説明したように、加算画像生成部１３０は、第１〜第４の画素と重み付け係数の対応が異なる第１〜第４の加算式（広義には第１〜第ｎの加算式）により第１〜第４の加算画像Ａ_１〜Ａ_４の画素値を求める。画像再構成部は、再生成された第１〜第４の加算画像の画素値を用いて、第１〜第４の加算式を逆算することにより撮像画像（Ｒ、Ｇｒ、Ｇｂ、Ｂの画素値）を再構成する。

このようにすれば、加算画像を生成するための加算式において、量子化後の加算値に置き換え、撮像画像の画素値について加算式を解くことにより、ベクトル量子化によりノイズ低減された撮像画像を再構成できる。

９．第４のノイズ低減手法
フレーム間において類似する差分値をベクトル量子化する第４のノイズ低減手法について説明する。

図１３に示すように、連続撮影した時系列のフレーム画像を｛・・・・，ｆｘ，ｆｘ＋１，ｆｘ＋２，ｆｘ＋３，・・・・｝とし、隣接フレーム画像に対して動き補償処理を行う。例えば、フレーム画像ｆｘに対する次のフレーム画像ｆｘ＋１のずれを補正し、補正後の画像をｆ’ｘ＋１とする。フレーム画像ｆｘ＋１に対する次のフレーム画像ｆｘ＋２のずれを補正し、補正後の画像をｆ’ｘ＋２とする。フレーム画像ｆｘ＋２に対する次のフレーム画像ｆｘ＋３のずれを補正し、補正後の画像をｆ’ｘ＋３とする。

基準フレーム画像ｆｘにおいて、重畳シフト４画素加算値｛ａ_ｉｊ［ｘ］，ａ_{（ｉ＋１）ｊ}［ｘ］，ａ_{ｉ（ｊ＋１）}［ｘ］，ａ_{（ｉ＋１）（ｊ＋１）}［ｘ］｝を求める。補正されたフレーム画像ｆ’ｘ＋１，ｆ’ｘ＋２，ｆ’ｘ＋３各々において、重畳シフト４画素加算値｛ａ_ｉｊ［ｘ＋１］，ａ_{（ｉ＋１）ｊ}［ｘ＋１］，ａ_{ｉ（ｊ＋１）}［ｘ＋１］，ａ_{（ｉ＋１）（ｊ＋１）}［ｘ＋１］｝、｛ａ_ｉｊ［ｘ＋２］，ａ_{（ｉ＋１）ｊ}［ｘ＋２］，ａ_{ｉ（ｊ＋１）}［ｘ＋２］，ａ_{（ｉ＋１）（ｊ＋１）}［ｘ＋２］｝、｛ａ_ｉｊ［ｘ＋３］，ａ_{（ｉ＋１）ｊ}［ｘ＋３］，ａ_{ｉ（ｊ＋１）}［ｘ＋３］，ａ_{（ｉ＋１）（ｊ＋１）}［ｘ＋３］｝を求める。

次に、下式（１６）〜（１８）に示すように、隣接フレーム画像において対応する位置の４画素加算値の差分値（以下、フレーム間差分値と呼ぶ）を求める。なお、式（１６）〜（１８）のδの定義と式（１５）のδの定義は異なるものであり、δは単なる差分量の意味として用いている。

図１３に示すように、フレーム間差分値として、隣接フレーム画像単位で４種類の値が得られることになる。フレーム画像はベイヤ配列のカラー画像なので、１フレームの中で近接する｛Ｒ，Ｇｒ，Ｇｂ，Ｂ｝の加算値が得られ、その混色加算値のフレーム間差分値が得られる。Ｒ，Ｇｒ，Ｇｂ，Ｂそれぞれ独立の値よりも混色加算値の方が発生する値を偏らせられるため、Ｒ，Ｇｒ，Ｇｂ，Ｂ独立にフレーム間差分値を扱うよりは、混色加算値のフレーム間差分値の方が、代表ベクトルの組み合わせ数をより削減できる。

下式（１９）に示すように、位置的に対応するフレーム間差分値｛δ^（ｋ） _ｉｊ［ｘ＋１］，δ^（ｋ） _ｉｊ［ｘ＋２］，δ^（ｋ） _ｉｊ［ｘ＋３］｝を用いて、差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋１］、Ｄ^（ｋ） _ｉｊ［ｘ＋２］を定義する。ここで、ｋ＝１、２、３、４である。

また、下式（２０）に示すように、差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋１］とＤ^（ｋ） _ｉｊ［ｘ＋２］のユークリッド距離ｄを定義する。

次に、差分ベクトルを量子化（狭義には平均化）する。具体的には、差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋１］とＤ^（ｋ） _ｉｊ［ｘ＋２］の発生確率分布を、共通の分割領域で分割する。例えば図４で説明したように、各領域の確率を均等にする手法により領域分割する。そして、共通領域に属するそれらの差分ベクトルのうち、は類似性が高い差分ベクトル同士のベクトル平均を算出する。即ち、共通領域に属するそれらの差分ベクトルのうち、ユークリッド距離ｄが所定値より小さい差分ベクトル同士のベクトル平均を算出する。

差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋１］を、算出されたベクトル平均値に置換する。このことにより加算効果によりランダムノイズの低減を図ることができる。所定値は当然画質に影響するので、予め統計的に値の発生確率を観測し、どの程度丸めても画質として認められるか評価し決定しておくことが望ましい。なお、ユークリッド距離ｄが所定値より大きい場合は、量子化誤差が大きくなるので置換を行わないようにする。

次に、量子化された差分ベクトルＤ^（ｋ）’_ｉｊ［ｘ＋１］＝（δ^（ｋ）’_ｉｊ［ｘ＋１］，δ^（ｋ）’_ｉｊ［ｘ＋２］）からフレーム画像ｆｘ＋１、ｆｘ＋２を復元する。例えば重畳シフト４画素加算値ａ_ｉｊ［ｘ］の求め方は次のように行う。上記によりユークリッド距離ｄが所定値より小さい差分ベクトル同士のベクトル平均が求められ、その平均を改めて差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋１］の値として改めて置換する。差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋１］が特定されると言うことは、そのベクトル成分であるフレーム間差分値δ^（ｋ） _ｉｊ［ｘ＋１］，δ^（ｋ） _ｉｊ［ｘ＋２］も特定されることになる。よって式（１６）および式（１７）にそれらフレーム間差分値δ^（ｋ） _ｉｊ［ｘ＋１］，δ^（ｋ） _ｉｊ［ｘ＋２］を代入すると共に、既知である基準フレーム画像ｆｘの重畳シフト４画素加算値ａ_ｉｊ［ｘ］を式（１６）に代入し、それらの式を解けば、ａ_ｉｊ［ｘ＋１］、ａ_ｉｊ［ｘ＋２］が求められる。同様な考えで、残りの重畳シフト４画素加算値｛ａ_{（ｉ＋１）ｊ}［ｘ＋１］、ａ_{ｉ（ｊ＋１）}［ｘ＋１］、ａ_{（ｉ＋１）（ｊ＋１）}［ｘ＋１］｝、｛ａ_{（ｉ＋１）ｊ}［ｘ＋２］、ａ_{ｉ（ｊ＋１）}［ｘ＋２］、ａ_{（ｉ＋１）（ｊ＋１）}［ｘ＋２］｝を求めることができる。求めた加算値からフレーム画像を復元する手法は、上述した第１のノイズ低減手法と同様である。

なお上記では、上式（１９）に示すように差分ベクトルの成分をδ^（ｋ） _ｉｊ［ｘ＋１］、δ^（ｋ） _ｉｊ［ｘ＋２］の２成分としたが、本実施形態はこれに限定されない。例えば、ベクトルではないが、拡張した考えとして最も単純に、下式（２１）に示すように差分ベクトルを定義してもよい。

また上記では、フレーム画像の動き補償処理を前提としたが、本実施形態はこれに限定されず、動き補償処理を省略しても構わない。動き補償処理を省略した場合、差分ベクトル数が増えることになるが、ノイズ低減効果は同様に期待できる。

さて、上記のフレーム間差分を使った量子化によるノイズ低減効果について説明する。一般的に、連続する複数のフレーム画像を重ね合わせることにより加算効果を用いてランダムノイズを低減する手法がある。この手法では、被写体の動きや手振れによりフレーム間の画像ずれが発生してしまうため、位置ずれの補正を行う。

しかしながら、この手法では、補正の精度が劣ると重ね合わせた画像のずれが残ったままとなり、画質は著しく劣化する。そのため、高精度な位置ずれ補正が求められるが、補正の精度には限界があるか、又は補正の精度を上げるために非常に複雑な処理を余儀なくされる。

この点、本実施形態によれば、フレーム間の画像ずれをきちんと補正した上で加算平均する手法ではなく、画像ずれがあってもそのずれ方が類似するもの（ベクトルとしての捉え方を含む）同士を加算平均する手法を用いている。即ち、第１のフレームと第２のフレームとの間の被写体像の動きの変化（差分）と、第２のフレームと第３のフレームとの間の被写体像の動きの変化（差分）とが、類似する場合のベクトルを用いて、それらを加算平均することによりランダムノイズの低減を図ろうとする考えである。

パンニング撮影や手振れなどのように、第１、第２のフレーム間と、第２、第３のフレーム間とで、被写体像の動きがほぼ同様なものになる場合は、相互に類似性ある動きの変化が発生しやすい。また、撮像フレームが高速化すればするほど相互に類似性ある動きの変化が発生しやすくなる。このような場合、本実施形態では、類似性のある差分ベクトルの平均が行われるため、高精度な画像ずれの位置合わせを行わずともノイズ低減効果が期待できる。

また、第１、第２フレームにあった像が第３フレームに存在しない場合は、その像についての差分ベクトルには類似性のあるものが存在しないため、本実施形態では加算平均が行われない。そのため、加算平均により画質を損なうことは避けられる。

１０．撮像装置の第２の構成例
図１４に、上記の第４のノイズ低減手法を行う場合の撮像装置の構成例を示す。撮像装置は、レンズ１１０、撮像素子１２０、加算画像生成部１３０、データ記録部１８０、量子化処理部２００、加算画像再生成部２１０、推定演算部２３０（原画像復元部）、画像出力部２９０を含む。なお以下では、図５で上述の構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

量子化処理部２００は、第１の差分ベクトル生成部１５１、第２の差分ベクトル生成部１５２、ベクトル量子化部１６０、量子化テーブル記録部１７０を含む。

第１の差分ベクトル生成部１５１は、加算画像から求められたフレーム間差分値に基づいて、第１の差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋１］を出力する。第２の差分ベクトル生成部１５２は、加算画像の画素値から求められたフレーム間差分値に基づいて、第２の差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋２］を出力する。ベクトル量子化部１６０は、Ｄ^（ｋ） _ｉｊ［ｘ＋１］、Ｄ^（ｋ） _ｉｊ［ｘ＋２］に基づいてＤ^（ｋ） _ｉｊ［ｘ＋１］の量子化を行う。

データ記録部１８０は、量子化された差分値δ^（ｋ）’_ｉｊ［ｘ＋１］を記録する差分データ記録部１８１と、フレームｆｘの加算画像ａ_ｉｊ［ｘ］を基準画像データとして記録する基準画像データ記録部１８３を含む。

加算画像再生成部２１０は、基準画像ａ_ｉｊ［ｘ］と量子化後の差分値δ^（ｋ）’_ｉｊ［ｘ＋１］とから、フレームｆｘ＋１の加算画像ａ_ｉｊ［ｘ＋１］を再生成する処理を行う。推定演算部２３０は、基準画像ａ_ｉｊ［ｘ］から、フレームｆｘの撮像画像を復元する処理と、再生成された加算画像ａ_ｉｊ［ｘ＋１］から、フレームｆｘ＋１の撮像画像を再構成する処理を行う。

以上の実施形態によれば、図１３で説明したように、画像取得部は、複数のフレームのうちの第１、第２のフレームｆｘ、ｆｘ＋１において、第１、第２の撮像画像を取得する。加算画像生成部１３０は、その第１、第２の撮像画像それぞれにおいて、加算単位を順次画素シフトさせて第１〜第４の加算画像｛ａ_ｉｊ［ｘ］，ａ_{（ｉ＋１）ｊ}［ｘ］，ａ_{ｉ（ｊ＋１）}［ｘ］，ａ_{（ｉ＋１）（ｊ＋１）}［ｘ］｝、｛ａ_ｉｊ［ｘ＋１］，ａ_{（ｉ＋１）ｊ}［ｘ＋１］，ａ_{ｉ（ｊ＋１）}［ｘ＋１］，ａ_{（ｉ＋１）（ｊ＋１）}［ｘ＋１］｝を取得する。上式（１６）で説明したように、量子化処理部２００は、第１の撮像画像から得られた第１〜第４の加算画像と、第２の加算画像から得られた第１〜第４の加算画像との差分画像δ^（１） _ｉｊ［ｘ＋１］〜δ^（４） _ｉｊ［ｘ＋１］を、第１〜第４の差分画像として求める。上式（１９）、（２１）で説明したように、量子化処理部２００は、求めた第１〜第４の差分画像の画素値δ^（ｋ） _ｉｊ［ｘ＋１］に基づいて差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋１］を設定する。

このようにすれば、各フレームにおいて求められた加算画像から、フレーム間における差分画像を生成し、その差分画像から差分ベクトルを設定できる。これにより、上述したように、フレーム間における被写体の動きが高精度に補償されない場合であっても、ベクトル量子化により高画質なノイズ低減を行うことが可能になる。

また本実施形態では、図１３で説明したように、画像取得部は、複数のフレームのうちの第３のフレームｆｘ＋２において、第３の撮像画像を取得する。上式（１９）、（２１）で説明したように、量子化処理部２００は、第１、第２の撮像画像に基づく第１の差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋１］と、第２、第３の撮像画像に基づく第２の差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋２］とを設定し、その第１、第２の差分ベクトルに基づいてベクトル量子化を行う。

このようにすれば、フレーム間における被写体の動きと、次のフレーム間における被写体の動きの類似性を、差分ベクトルの類似性により検出することが可能になる。これにより、動き補償が十分でなくとも、同一被写体が写っている画素を検出してノイズ低減することが可能になる。

また本実施形態では、上式（２０）で説明したように、量子化処理部２００は、第１、第２の差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋１］、Ｄ^（ｋ） _ｉｊ［ｘ＋２］の間の距離ｄが所定の距離よりも近い場合に、第１差分ベクトルＤ^（ｋ） _ｉｊ［ｘ＋１］を、第１、第２の差分ベクトルの平均ベクトルに置き換えることにより、ベクトル量子化を行う。

このようにすれば、距離ｄが所定の距離よりも近い場合に、第１、第２の差分ベクトルの類似性が高いと判断し、その類似性が高い差分ベクトルを用いてベクトル量子化を行うことができる。

１１．復元推定処理
次に、重畳シフト加算された加算画像から撮像画像を推定する処理について詳細に説明する。なお以下では、加算画素値｛ａ_００、ａ_１０、ａ_１１、ａ_０１｝を例に説明する（ｉ，ｊは０以上の整数）が、他の加算画素値についても同様である。また、加算単位が２×２画素毎に設定される場合を例に説明するが、これに限定されず、例えば３×３画素毎であってもよい。

図１５（Ａ）、図１５（Ｂ）に、推定画素値と中間画素値の説明図を示す。図１５（Ａ）に示す加算画素値｛ａ_００、ａ_１０、ａ_１１、ａ_０１｝は、例えば図１で説明した加算画像Ａ_１〜Ａ_４の加算画素値｛ａ^（１） _００，ａ^（２） _１０，ａ^（３） _１１，ａ^（４） _０１｝に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ_００〜ｖ_２２を推定する。推定画素値ｖ_ｉｊは、例えば図１で説明した撮像画像ｆｘの画素値に対応する。

図１５（Ｂ）に示すように、まず加算画素値ａ_００〜ａ_１１から中間画素値ｂ_００〜ｂ_２１（中間推定画素値）を推定する。中間画素値は２画素加算値に対応し、例えばｂ_００は画素値ｖ_００とｖ_０１の加算値に対応する。これらの中間画素値ｂ_００〜ｂ_２１から最終的な画素値ｖ_００〜ｖ_２２を推定する。

まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値ｂ_００〜ｂ_２０を推定する場合を例に説明する。次の行の中間画素値ｂ_０１〜ｂ_２１についても同様の手法により推定される。

図１６に示すように、中間画素値ｂ_００〜ｂ_２０は、水平方向の最初の行の加算画素値ａ_００、ａ_１０に基づいて推定される。説明を簡単にするために、例えば重み係数ｒ＝２とすると、加算画素値ａ_００、ａ_１０は下式（２２）で表される。
ａ_００＝ｖ_００＋（１／２）ｖ_０１＋（１／２）ｖ_１０＋（１／４）ｖ_１１，
ａ_１０＝ｖ_１０＋（１／２）ｖ_１１＋（１／２）ｖ_２０＋（１／４）ｖ_２１
（２２）

下式（２３）に示すようにｂ_００、ｂ_１０、ｂ_２０を定義する。
ｂ_００＝ｖ_００＋（１／ｒ）ｖ_０１＝ｖ_００＋（１／２）ｖ_０１，
ｂ_１０＝ｖ_１０＋（１／ｒ）ｖ_１１＝ｖ_１０＋（１／２）ｖ_１１，
ｂ_２０＝ｖ_２０＋（１／ｒ）ｖ_２１＝ｖ_２０＋（１／２）ｖ_２１ （２３）

次に、上式（２３）を用いて上式（２２）を変形すると、下式（２４）が成り立つ。
ａ_００＝ｂ_００＋（１／２）ｂ_１０，
ａ_１０＝ｂ_１０＋（１／２）ｂ_２０ （２４）

上式（２４）において、ａ_００、ａ_１０に所定の重み係数を掛けて差分δｉ_０を取り、上式（２３）を使って変形すると、下式（２５）が成り立つ。
δｉ_０＝ａ_１０−２ａ_００
＝（１／２）ｂ_２０−２ｂ_００ （２５）

ｂ_００を未知数（初期変数）とすると、下式（２６）に示すように、中間画素値ｂ_１０、ｂ_２０をｂ_００の関数として求めることができる。このようにして、ｂ_００を未知数として高精細な中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の組合せパターンが求められる。
ｂ_００＝（未知数），
ｂ_１０＝２（ａ_００−ｂ_００），
ｂ_２０＝４ｂ_００＋２δｉ_０＝４ｂ_００＋２（ａ_１０−２ａ_００） （２６）

次に、未知数ｂ_００を求める手法について説明する。図１７に示すように、加算画素値のパターン｛ａ_００，ａ_１０｝と中間画素値のパターン｛ｂ_００，ｂ_１０，ｂ_２０｝を比較する。そして、その誤差Ｅが最小になる未知数ｂ_００を導出し、中間画素値ｂ_００として設定する。

具体的には、加算画素値｛ａ_ｉｊ｝と中間画素値｛ｂ_ｉｊ，ｂ_{（ｉ＋１）ｊ}｝には、下式（２７）の関係が成り立つ。この下式（２７）による重み付けを考慮すると、下式（２８）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ_００，ａ_１０｝とパターン｛ｂ_００，ｂ_１０，ｂ_２０｝の類似性評価を行う。
ａ_ｉｊ＝ｂ_ｉｊ＋（１／２）ｂ_{（ｉ＋１）ｊ} （２７）

図１８に示すように、Ｅｊを最小にする未知数ｂ_００（＝α）を求め、ｂ_００の値を決定できる。そして、推定したｂ_００の値を上式（２６）に代入し、ｂ_１０，ｂ_２０が求められる。

次に、求めた中間画素値ｂ_ｉｊを用いて最終推定画素値ｖ_ｉｊを求める手法について説明する。以下では、左端垂直列（ｉ＝０列）を例に説明する。最終推定画素値ｖ_ｉｊは、中間画素値ｂ_ｉｊを求めた手法と同様に求められる。即ち、上式（２４）を下式（２９）に置き換えれば、以降の処理は同様である。
ｂ_００＝ｖ_００＋（１／２）ｖ_０１，
ｂ_０１＝ｖ_０１＋（１／２）ｖ_０２ （２９）

以上の実施形態によれば、図１５（Ａ）に示すように、第１のポジションに設定された第１の加算単位（例えばａ_００）と、第１のポジションがシフトされた第２のポジションに設定された第２の加算単位（例えばａ_１０）は重畳する。上式（２５）に示すように、推定演算部２３０は、第１、第２の加算単位の画素値が重み付け加算された第１、第２の加算画素値ａ_００、ａ_１０の差分値δｉ_０を求める。図１５（Ｂ）に示すように、第１の中間画素値ｂ_００は、加算単位ａ_００から重畳領域（ｖ_１０、ｖ_１１）を除いた第１の領域（ｖ_００、ｖ_０１）の加算画素値である。第２の中間画素値ｂ_２０は、加算単位ａ_１０から重畳領域（ｖ_１０、ｖ_１１）を除いた第２の領域（ｖ_２０、ｖ_２１）の加算画素値である。上式（２６）に示すように、第１、第２の中間画素値ｂ_００、ｂ_２０の関係式を、差分値δｉ_０を用いて表す。図１７等に示すように、その関係式を用いて第１、第２の中間画素値ｂ_００、ｂ_２０を推定する。推定した第１の中間画素値ｂ_００を用いて加算単位に含まれる各画素の画素値（ｖ_００、ｖ_１０、ｖ_１１、ｖ_０１）を求める。

このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルタの繰り返し演算等の複雑な処理が不要となる。

ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１５（Ａ）に示すように、加算単位ａ_００と加算単位ａ_１０が、２つの推定画素ｖ_１０、ｖ_１１を共有することである。

また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションと位置や座標が一致しないポジションのことである。

また本実施形態では、第１、第２の中間画素値（例えばｂ_００、ｂ_２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ_００、ｂ_１０、ｂ_２０｝）とする。上式（２６）に示すように、推定演算部２３０は、中間画素値パターンに含まれる中間画素値の間の関係式を第１、第２の加算画素値ａ_００、ａ_１０を用いて表す。図１７に示すように、中間画素値の間の関係式で表された中間画素値パターンと、第１、第２の加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ_００、ｂ_１０、ｂ_２０を決定する。

このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。

ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。

また本実施形態では、上式（２８）に示すように、推定演算部２３０は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ_００、ｂ_１０、ｂ_２０｝）と加算画素値（ａ_００、ａ_１０）との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ_００、ｂ_１０、ｂ_２０を決定する。

このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また加算画像生成部、量子化処理部、加算画像再生成部、推定演算部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

１００ 被写体、１１０ レンズ、１２０ 撮像素子、１３０ 加算画像生成部、
１４０ 平均画像生成部、１５０ 差分画像生成部、１５１ 差分ベクトル生成部、
１５２ 差分ベクトル生成部、１６０ ベクトル量子化部、
１７０ 量子化テーブル記録部、１８０ データ記録部、１８１ 差分データ記録部、
１８２ 平均画像データ記録部、１８３ 基準画像データ記録部、
１９０ 適応的ノイズ低減処理部、２００ 量子化処理部、２１０ 加算画像再生成部、
２３０ 推定演算部、２９０ 画像出力部、
Ａ_１〜Ａ_４ 加算画像、Ｄ_１〜Ｄ_４ 差分画像、Ｄ_ｉｊ 差分ベクトル、
Ｄ_ｍｎ 代表ベクトル、Ｅｊ 評価関数、Ｍ 平均画像、Ｐ_ｍｎ ピークベクトル、
Ｚｐ 局所領域、ａ^Ｍ _ｉｊ 平均値、ａ_ｉｊ 加算画素値、ｂ_００ 未知数、
ｂ_ｉｊ 中間画素値、ｄ ユークリッド距離、ｄ１，ｄ２ 範囲、ｆｘ フレーム、
ｐ 画素ピッチ、ｐ^（ｋ） 確率、ｐ_ｍｎ ピーク値、ｖ_ｉｊ 画素値、
ｚ_ｉｊ ユークリッド距離、δ^ａ _ｓ，δ^ｈ _ｉｊ，δ^ｖ _ｉｊ 移動平均値、δｉ_０ 差分値

Claims (21)

1. 撮像画像を取得する画像取得部と、
   加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、
   取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行う量子化処理部と、
   ベクトル量子化された前記差分ベクトルから前記加算画像を再生成する加算画像再生成部と、
   再生成された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、
   を含み、
   前記加算画像生成部は、
   前記加算単位を順次画素シフトさせることで第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、
   前記量子化処理部は、
   前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と前記第１〜第ｎの加算画像との差分を第１〜第ｎの差分画像として求め、求めた前記第１〜第ｎの差分画像の画素値に基づいて、前記差分ベクトルを設定することを特徴とする撮像装置。
2. 請求項１において、
   前記量子化処理部は、
   前記差分ベクトルとして、前記第１〜第ｎの差分画像の画素値を成分とするベクトルを設定することを特徴とする撮像装置。
3. 請求項２において、
   画素配列の列をｉ、行をｊとして、前記第１〜第ｎの差分画像における画素の位置を（ｉ，ｊ）と表す場合に、
   前記量子化処理部は、
   前記位置（ｉ，ｊ）における前記差分ベクトルとして、前記第１〜第ｎの差分画像の前記位置（ｉ，ｊ）における画素値をそれぞれ第１〜第ｎの成分とするベクトルを設定することを特徴とする撮像装置。
4. 請求項１において、
   前記量子化処理部は、
   前記差分ベクトルとして、前記第１〜第ｎの差分画像の各差分画像におけるベクトルを設定し、
   前記各差分画像についてのベクトルは、
   前記各差分画像の中の複数の隣接画素値を成分とするベクトルであることを特徴とする撮像装置。
5. 請求項４において、
   画素配列の列をｉ、行をｊとして、前記第１〜第ｎの差分画像における画素の位置を（ｉ，ｊ）と表す場合に、
   前記量子化処理部は、
   前記位置（ｉ，ｊ）における前記差分ベクトルとして、前記第１〜第ｎの差分画像に対応する第１〜第ｎの差分ベクトルを設定し、
   前記第１〜第ｎの差分ベクトルのうちの第ｋの差分ベクトル（ｋはｎ以下の自然数）は、
   前記第１〜第ｎの差分画像のうちの第ｋの差分画像の前記位置（ｉ，ｊ）の画素値と、前記位置（ｉ，ｊ）に隣接する位置の画素値とを、成分とするベクトルであることを特徴とする撮像装置。
6. 請求項１乃至５のいずれかにおいて、
   前記加算画像生成部は、
   前記加算単位を、水平又は垂直に順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、
   前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジション（ｍはｎ−１以下の自然数）の前記加算単位は、共通の画素を含むことを特徴とする撮像装置。
7. 請求項６において、
   前記量子化処理部は、
   前記第１〜第ｎのポジションにおける前記加算画素値の平均値を、前記平均画像の画素値として求める平均画像生成部と、
   前記平均画像の画素値と、前記第ｍのポジションにおける前記加算画素値との差分値を、前記第１〜第ｎの差分画像のうちの第ｍの差分画像の画素値として求める差分画像生成部と、
   を有することを特徴とする撮像装置。
8. 請求項１乃至７のいずれかにおいて、
   前記量子化処理部は、
   前記差分ベクトルを、複数の代表ベクトルの中の、前記差分ベクトルから最も距離の近い代表ベクトルに置換することにより、前記ベクトル量子化を行うことを特徴とする撮像装置。
9. 請求項１乃至７のいずれかにおいて、
   前記量子化処理部は、
   前記差分ベクトルの発生確率分布において極値を検出し、検出した前記極値に基づいて前記発生確率分布を複数の局所領域に分割し、前記複数の局所領域の各局所領域に属する前記差分ベクトルを前記各局所領域の代表ベクトルに置換することにより、前記ベクトル量子化を行うことを特徴とする撮像装置。
10. 請求項１乃至７のいずれかにおいて、
    前記量子化処理部は、
    前記差分ベクトルの発生確率分布を、各局所領域の発生確率が同一となる複数の局所領域に分割し、前記複数の局所領域の各局所領域に属する前記差分ベクトルを前記各局所領域の代表ベクトルに置換することにより、前記ベクトル量子化を行うことを特徴とする撮像装置。
11. 請求項１乃至１０のいずれかにおいて、
    画素値の変化幅に応じて適応的に移動平均の範囲を調整する適応的ノイズ低減処理を、前記第１〜第ｎの差分画像に対して行うノイズ低減処理部を含むことを特徴とする撮像装置。
12. 請求項１乃至１１のいずれかにおいて、
    第１のポジションに設定された第１の加算単位と、前記第１のポジションがシフトされた第２のポジションに設定された第２の加算単位とが、重畳する場合に、
    前記推定演算部は、
    前記第１の加算単位の画素値が重み付け加算された第１の加算画素値と、前記第２の加算単位の画素値が重み付け加算された第２の加算画素値との差分値を求め、
    前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
    前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
13. 請求項１２において、
    前記推定演算部は、
    前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記第１、第２の加算画素値を用いて表し、
    前記中間画素値間の関係式で表された前記中間画素値パターンと前記第１、第２の加算画素値とを比較して類似性を評価し、
    前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
14. 複数のフレームにおいて順次撮像画像を取得する画像取得部と、
    加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、
    取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行う量子化処理部と、
    ベクトル量子化された前記差分ベクトルから前記加算画像を再生成する加算画像再生成部と、
    再生成された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、
    を含み、
    前記画像取得部は、
    前記複数のフレームのうちの第１、第２のフレームにおいて、第１、第２の撮像画像を取得し、
    前記加算画像生成部は、
    前記第１、第２の撮像画像それぞれにおいて、前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を取得し、
    前記量子化処理部は、
    前記第１の撮像画像から得られた前記第１〜第ｎの加算画像と、前記第２の加算画像から得られた前記第１〜第ｎの加算画像との差分画像を、第１〜第ｎの差分画像として求め、求めた前記第１〜第ｎの差分画像の画素値に基づいて前記差分ベクトルを設定することを特徴とする撮像装置。
15. 請求項１４において、
    前記画像取得部は、
    前記複数のフレームのうちの第３のフレームにおいて、第３の撮像画像を取得し、
    前記量子化処理部は、
    前記第１、第２の撮像画像に基づく第１の差分ベクトルと、前記第２、第３の撮像画像に基づく第２の差分ベクトルとを設定し、前記第１、第２の差分ベクトルに基づいて前記ベクトル量子化を行うことを特徴とする撮像装置。
16. 請求項１５において、
    前記量子化処理部は、
    前記第１、第２の差分ベクトルの間の距離が所定の距離よりも近い場合に、前記第１差分ベクトルを、前記第１、第２の差分ベクトルの平均ベクトルに置き換えることにより、前記ベクトル量子化を行うことを特徴とする撮像装置。
17. 撮像画像を取得する画像取得部と、
    加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、
    取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行う量子化処理部と、
    ベクトル量子化された前記差分ベクトルから前記加算画像を再生成する加算画像再生成部と、
    再生成された前記加算画像に基づいて前記撮像画像を再構成する画像再構成部と、
    を含み、
    前記加算画像生成部は、
    複数色の第１〜第ｎの画素により構成される前記加算単位を設定し、前記第１〜第ｎの画素と重み付け係数の対応が異なる第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、
    前記量子化処理部は、
    前記第１〜第ｎの加算画像のうちの第ｋの加算画像（ｋはｎ以下の自然数）において、隣接する複数画素値の平均値を求め、前記平均値と前記複数画素値の各画素値との差分値により前記差分ベクトルを設定することを特徴とする撮像装置。
18. 請求項１７において、
    前記加算画像生成部は、
    前記第１〜第ｎの画素と前記重み付け係数の対応が異なる第１〜第ｎの加算式により前記第１〜第ｎの加算画像の画素値を求め、
    前記撮像画像再構成部は、
    前記ベクトル量子化された前記差分ベクトルから再生成された前記第１〜第ｎの加算画像の画素値を用いて、前記第１〜第ｎの加算式を逆算することにより前記撮像画像を再構成することを特徴とする撮像装置。
19. 加算画素値を取得する単位である加算単位を撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、
    取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行い、
    ベクトル量子化された前記差分ベクトルから前記加算画像を再生成するとともに、
    再生成された前記加算画像に基づいて前記撮像画像の画素値を推定する場合に、
    前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、
    前記第１〜第ｎの加算画像の平均を平均画像として求め、前記平均画像と前記第１〜第ｎの加算画像との差分を第１〜第ｎの差分画像として求め、求めた前記第１〜第ｎの差分画像の画素値に基づいて前記差分ベクトルを設定することを特徴とする画像処理方法。
20. 加算画素値を取得する単位である加算単位を撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、
    取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行い、
    ベクトル量子化された前記差分ベクトルから前記加算画像を再生成するとともに、
    再生成された前記加算画像に基づいて前記撮像画像の画素値を推定する場合に、
    複数のフレームのうちの第１、第２のフレームにおいて順次取得された第１、第２の撮像画像それぞれにおいて、前記加算単位を順次画素シフトさせて第１〜第ｎの加算画像（ｎは２以上の自然数）を取得し、
    前記第１の撮像画像から得られた前記第１〜第ｎの加算画像と、前記第２の加算画像から得られた前記第１〜第ｎの加算画像との差分画像を、第１〜第ｎの差分画像として求め、求めた前記第１〜第ｎの差分画像の画素値に基づいて前記差分ベクトルを設定することを特徴とする画像処理方法。
21. 加算画素値を取得する単位である加算単位を撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、
    取得された前記加算画像に基づく差分ベクトルのベクトル量子化を行い、
    ベクトル量子化された前記差分ベクトルから前記加算画像を再生成するとともに、
    再生成された前記加算画像に基づいて前記撮像画像を再構成する場合に、
    複数色の第１〜第ｎの画素により構成される前記加算単位を設定し、前記第１〜第ｎの画素と重み付け係数の対応が異なる第１〜第ｎの加算画像（ｎは２以上の自然数）を前記加算画像として取得し、
    前記第１〜第ｎの加算画像のうちの第ｋの加算画像（ｋはｎ以下の自然数）において、隣接する複数画素値の平均値を求め、前記平均値と前記複数画素値の各画素値との差分値により前記差分ベクトルを設定することを特徴とする画像処理方法。