JP2012231378A - 撮像装置及び画像生成方法 - Google Patents

Abstract

【課題】簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供すること。
【解決手段】撮像装置は、画像取得部と、加算画像生成部と、圧縮処理部と、伸張処理部と、推定演算部と、画像出力部を含む。加算画像生成部は、加算単位を順次画素シフトさせながら加算単位に含まれる画素値を重み付け加算して加算画像Ａ_１〜Ａ_３を取得する。圧縮処理部は、加算画像Ａ_２と加算画像Ａ_１、Ａ_３の差分を、差分画像Ｄ_１、Ｄ_３として求め、Ａ_２、Ｄ_１、Ｄ_３を圧縮する。伸張処理部は、圧縮されたＡ_２、Ｄ_１、Ｄ_３を伸張して加算画像Ａ_１〜Ａ_３を求める。推定演算部は、加算画像Ａ_１〜Ａ_３に基づいて加算画像Ａ_４を補間により求め、求めた加算画像Ａ_４と加算画像Ａ_１〜Ａ_３に基づいて撮像画像ｆｘの画素値ｖ_ｉｊを推定する。画像出力部は、推定された画素値ｖ_ｉｊに基づく高解像画像を出力する。
【選択図】 図１

Description

本発明は、撮像装置及び画像生成方法等に関する。

昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザーがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。

特開２００９−１２４６２１号公報 特開２００８−２４３０３７号公報

しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザーがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。

本発明者は、この決定的瞬間の撮影を実現するために、低解像動画から任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。

本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び画像生成方法等を提供できる。

本発明の一態様は、撮像画像を取得する画像取得部と、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、前記加算画像を圧縮する圧縮処理部と、圧縮された前記加算画像を伸張する伸張処理部と、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、を含み、前記加算画像生成部は、前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、前記圧縮処理部は、前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、前記伸張処理部は、圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、前記推定演算部は、前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定する撮像装置に関係する。

本発明の一態様によれば、加算単位が順次画素シフトされて第１〜第ｎ−１の加算画像が取得され、第ｋの加算画像と第ｍの加算画像の差分が、第ｍの差分画像として求められ、その第ｋの加算画像と第ｍの差分画像が圧縮される。圧縮された第ｋの加算画像と第ｍの差分画像が伸張されて第１〜第ｎ−１の加算画像が求められ、その第１〜第ｎ−１の加算画像に基づいて第ｎの加算画像が補間により求められ、その前記第１〜第ｎの加算画像に基づいて撮像画像の画素値が推定される。

これにより、例えば後述する推定処理を適用することで、簡素な処理で低解像の加算画像から高解像な撮像画像を復元することが可能になる。動画撮影と静止画撮影を切り換えないため、動画データから任意タイミングの高解像静止画を取得できる。また、差分画像を求めることで、高圧縮率で画像データを圧縮できる。

また本発明の一態様では、前記加算画像生成部は、前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎ−１のポジションに設定し、前記第１〜第ｎ−１のポジションにおいてそれぞれ前記第１〜第ｎ−１の加算画像を取得し、第ｎのポジションの加算単位は、前記第ｎ−１のポジションの加算単位を、水平又は垂直に１画素シフトさせた加算単位であり、前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含んでもよい。

このようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求め、その加算画素値により第１〜第ｎ−１の加算画像を構成できる。

また本発明の一態様では、前記圧縮処理部は、第ｋのポジションの前記加算画素値と第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部を有してもよい。

このようにすれば、第ｋの加算画像の画素値と、第ｍの加算画像の画素値の差分値により、第ｍの差分画像の画素値を求めることができる。

また本発明の一態様では、前記圧縮処理部は、前記第ｍの差分画像をエントロピー符号化により可逆圧縮してもよい。

差分画像は、加算画像と加算画像の差分であるため画素値のエントロピーを撮像画像よりも小さくできる。そのため、差分画像をエントロピー符号化することで高圧縮率で圧縮できる。

また本発明の一態様では、前記画像取得部は、前記撮像画像として、複数の色の画素が配列された画像を取得し、前記加算画像生成部は、第１〜第ｎ−１の色配列を有する前記加算単位を設定して第１〜第ｎ−１の加算画素値を取得し、前記推定演算部は、第ｎの色配列に対応する第ｎの加算画素値を補間により求め、求めた前記第ｎの加算画素値と、取得された前記第１〜第ｎ−１の加算画素値とに基づいて、第１の推定画素値を推定する第１の推定部を有し、前記第１の推定部は、前記第１〜第ｎ−１の加算画素値の中の、前記重み付け加算における重み付けと色の対応関係が前記第ｎの色配列と同一である第ｓの加算画素値（ｓはｎ−１以下の自然数）に基づいて、前記第ｎの加算画素値を補間してもよい。

このようにすれば、重み付けと色の対応関係が第ｎの加算画像と同一の第ｓの加算画像に基づいて第ｎの加算画像を求めることができる。重み付けと色の対応関係が維持された加算画像を用いて、例えば後述の推定処理を行うことで、撮像画像が持つ色情報を高精度に復元できる。

また本発明の一態様では、前記推定演算部は、前記第ｓ、第ｎの加算画素値を補間により求め、求めた前記第ｓ、第ｎの加算画素値と、取得された前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて、第２の推定画素値を推定する第２の推定部と、前記第１、第２の推定画素値に基づいて最終的な推定画素値を合成する合成部と、を有し、前記第２の推定部は、前記第ｓ、第ｎの加算画素値を、前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて色配列に依らず補間により求めてもよい。

このようにすれば、色配列に依らない補間を行うことで、補間対象の画素により近い画素を用いて第ｓ、第ｎの加算画像を求めることが可能になる。補間対象の画素により近い画素を用いて求められた第ｓ、第ｎの加算画像を用いて復元推定処理を行うことで、撮像画像が持つ解像情報を高精度に復元できる。

また本発明の一態様では、前記撮像画像が、ＲＧＢベイヤー配列の画像である場合に、前記第１の推定部は、ＲＧＢベイヤー配列の前記第１の推定画素値に対してデモザイキング処理を行い、各画素における第１のＲＧＢ画素値を求め、前記第２の推定部は、ＲＧＢベイヤー配列の前記第２の推定画素値に対してデモザイキング処理を行い、各画素における第２のＲＧＢ画素値を求め、前記合成部は、前記第１のＲＧＢ画素値に基づいて、色差値に相当する第１の画素値を求め、前記第２のＲＧＢ画素値に基づいて、輝度値に相当する第２の画素値を求め、前記第１、第２の画素値をＲＧＢ画素値に変換して最終的なＲＧＢ画素値を求めてもよい。

このようにすれば、色情報が復元された第１の推定画素値と、解像情報が復元された第２の推定画素値とに基づいて、最終的な推定画素値を合成できる。また、色差値に相当する画素値を求めることで、第１の推定画素値から色情報を取り出すことができ、輝度値に相当する画素値を求めることで、第２の推定画素値から解像情報を取り出すことができる。

また本発明の一態様では、第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、前記推定演算部は、前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めてもよい。

このようにすれば、加算単位が重畳しながら順次画素シフトされた第１〜第ｎの加算画像から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、簡素な処理で撮像画像を推定できる。

また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。

このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定により求めることができる。

また本発明の他の態様は、撮像画像を取得し、加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、前記加算画像を圧縮し、圧縮された前記加算画像を伸張し、伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、前記推定演算部により推定された画素値に基づく高解像画像を出力する場合に、前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定する画像生成方法に関係する。

第１のデータ圧縮手法についての説明図。 第１の補間手法についての説明図。 色情報復元画像の生成手法についての説明図。 色情報復元画像の生成手法についての説明図。 第２の補間手法についての説明図。 解像情報復元画像の生成手法についての説明図。 解像情報復元画像の生成手法についての説明図。 撮像装置の第１の構成例。 撮像装置の第２の構成例。 融合画像データの符号割り当て例。 推定演算部の詳細な構成例。 推定演算部の変形構成例。 図１３（Ａ）、図１３（Ｂ）は、推定画素値と中間画素値の説明図。 復元推定処理についての説明図。 復元推定処理についての説明図。 復元推定処理についての説明図。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．本実施形態の概要
デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。

しかしながら、この手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れたり、ユーザーが気づいたときには既に決定的瞬間を逃していたりするという課題がある。

決定的瞬間の静止画を得るために、高フレームレートの高解像動画を取得し、その高解像動画から任意タイミングの静止画を抜き出す手法が考えられる。しかしながら、この手法では、高解像動画を撮影するためデータ量が増大するという課題がある。

そこで本実施形態では、図１に示すように、撮像画像を画素加算して複数の低解像画像Ａ_１〜Ａ_３を取得し、基準画像Ａ_２と低解像画像Ａ_１、Ａ_３の差分画像Ｄ_１、Ｄ_３を求め、その差分画像Ｄ_１、Ｄ_３を例えばエントロピー符号化により圧縮する。差分画像Ｄ_１、Ｄ_３では画素値がゼロ付近に偏在していると考えられるため、圧縮率を向上できる。

さて、低解像画像から高解像画像を得る手法として、画素シフトにより撮影した低解像画像に対していわゆる超解像処理を行う手法が考えられる。例えば、この手法では、順次位置ずらししながら加算読み出しを行い、その複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法等が知られている。

例えば上述の特許文献１には、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、その複数の低解像画像を合成することにより高解像画像を仮定し、その高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。

しかしながら、この手法では、２次元フィルターを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、例えばデジタルカメラのような処理能力やコストの制限がある機器への適用は困難であるという課題がある。

また上述の特許文献２には、画素シフトさせた複数の低解像画像を撮像し、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する手法が開示されている。この手法では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。

しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、所定の条件を満たす領域を画像から見つけ出している。そのため、適当な領域が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な領域を探索する処理が必要になってしまう。

この点、本実施形態では、図１等で後述するように、基準画像Ａ_２と差分画像Ｄ_１、Ｄ_３から低解像画像Ａ_１〜Ａ_３を再生し、その低解像画像Ａ_１〜Ａ_３に基づいて低解像画像Ａ_４を補間により求める。この低解像画像Ａ_１〜Ａ_４の加算画素値ａ^（１） _００〜ａ^（４） _０１は、重畳画素シフトされたものであり、隣接する加算画素値は共通の画素を含んでいる。図１３（Ａ）〜図１６で後述するように、この重畳画素シフトされた加算画素値を用いることで、高解像画像を推定する処理を簡素化できる。

２．第１のデータ圧縮手法
次に、本実施形態について詳細に説明する。まず、撮像画像データの圧縮手法について説明する。なお以下では撮像素子がＲＧＢベイヤー配列である場合を例に説明するが、本実施形態はこれに限定されず、例えば補色フィルターの撮像素子等であってもよい。また以下では４画素加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。また以下ではフレームｆｘの撮像画像を例に説明するが、他のフレームにおいても同様である。

ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。

図１に示すように、フレームｆｘにおいて全画素読み出しによりＲＧＢベイヤー配列の撮像画像（以下、「高精細フレーム画像ｆｘ」と呼ぶ）を取得する。高精細フレーム画像ｆｘに、４画素で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、３枚の画素加算画像Ａ_１〜Ａ_３を生成する。

４画素加算値ａ_ｉｊは下式（１）で表わされ、画素加算画像Ａ_１〜Ａ_３を構成する加算画素値はそれぞれ｛ａ_ｉｊ、ａ_{（ｉ＋１）ｊ}、ａ_{（ｉ＋１）（ｊ＋１）}｝である。なお図１に示すように、４画素加算値ａ_{ｉ（ｊ＋１）}で構成される画素加算画像Ａ_４は取得しない。
ａ_ｉｊ＝ｖ_ｉｊ＋（１／ｒ）ｖ_{（ｉ＋１）ｊ}＋
（１／ｒ）ｖ_{ｉ（ｊ＋１）}＋（１／ｒ^２）ｖ_{（ｉ＋１）（ｊ＋１）} （１）

ここで、ｒは重み付けのパラメータであり、１≦ｒである。またｖ_ｉｊは高精細フレーム画像におけるアドレス（ｉ，ｊ）の画素値である。

次に、生成した画素加算画像Ａ_２を基準画像とする。画素加算画像Ａ_１、Ａ_３の加算位置を基準画像Ａ_２の加算位置に整合した上で、基準画像Ａ_２と２枚の画素加算画像Ａ_１、Ａ_３との差分をそれぞれとり、差分画像Ｄ_１、Ｄ_３を生成する。具体的には、画素加算画像Ａ_１〜Ａ_３の４画素加算値をそれぞれ｛ａ^（１） _ｉｊ，ａ^（２） _{（ｉ＋１）ｊ}，ａ^（３） _{（ｉ＋１）（ｊ＋１）}｝とすると、基準画像Ａ_２の４画素加算値｛ａ^Ａ２ _ｉｊ｝と差分画像Ｄ_１、Ｄ_３の４画素加算値｛ａ^Ｄ１ _ｉｊ，ａ^Ｄ３ _ｉｊ｝は、下式（２）により求められる。基準画像Ａ_２と差分画像Ｄ_１、Ｄ_３を合わせて融合画像データＦ（Ｍ，Ｄ_１〜Ｄ_４）とする。
ａ^Ａ２ _ｉｊ＝ａ^（２） _{（ｉ＋１）ｊ}，
ａ^Ｄ１ _ｉｊ＝ａ^（１） _ｉｊ−ａ^Ａ２ _ｉｊ，
ａ^Ｄ３ _ｉｊ＝ａ^（３） _{（ｉ＋１）（ｊ＋１）}−ａ^Ａ２ _ｉｊ （２）

なお、画素加算画像Ａ_２を基準画像としたのは、配色と重み付けの関係においてＲとＢが同一の重み付け（１／ｒ）であり、４画素加算値としてＲとＢの平均的な値が得られるため、４画素加算値のバラツキの中央値として用いるのが妥当であるからである。

このようにして、静止画と動画を融合させた融合画像データＦ（Ａ_２，Ｄ_１，Ｄ_３）を生成し、それを記録しておき、その記録されたＦ（Ａ_２，Ｄ_１，Ｄ_３）を後段において解凍処理することにより、「高精細静止画データ」又は「動画データ」を適宜生成することが可能となる。

３．高精細静止画の再生手法
次に、融合画像データＦ（Ａ_２，Ｄ_１，Ｄ_３）から高精細フレーム画像ｆｘを復元推定する手法について説明する。

上式（２）を変形すると、下式（３）が得られる。下式（３）に示すように、基準画像Ａ_２を構成する４画素加算値｛ａ^Ａ２ _ｉｊ｝と、差分画像Ｄ_１、Ｄ_３を構成する４画素加算値｛ａ^Ｄ１ _ｉｊ，ａ^Ｄ３ _ｉｊ｝から、画素加算画像Ａ_１、Ａ_３のそれぞれの４画素加算値｛ａ^（１） _ｉｊ，ａ^（３） _{（ｉ＋１）（ｊ＋１）}｝が得られる。また４画素加算値ａ^（２） _{（ｉ＋１）ｊ}＝ａ^Ａ２ _ｉｊである。
ａ^（１） _ｉｊ＝ａ^Ａ２ _ｉｊ＋ａ^Ｄ１ _ｉｊ，
ａ^（３） _{（ｉ＋１）（ｊ＋１）}＝ａ^Ａ２ _ｉｊ＋ａ^Ｄ３ _ｉｊ （３）

本実施形態では、これらの再生された４画素加算値｛ａ^（１） _ｉｊ，ａ^（２） _{（ｉ＋１）ｊ}，ａ^（３） _{（ｉ＋１）（ｊ＋１）}｝を用いて、後述する補間手法により４画素加算値｛ａ^（４） _{ｉ（ｊ＋１）}｝を求める。この補間値を加えた４つの４画素加算値は、１枚の高精細フレーム画像ｆｘを水平又は垂直に１画素ずつ重畳シフトした４画素加算値により構成されている画像データである。この４つの４画素加算値に対して、図１３（Ａ）等で後述する復元推定処理を適用することにより、元の高精細フレーム画像ｆｘが求められる。

４．第２のデータ圧縮手法
次に、上述した基準画像Ａ_２の記録データ量を更に削減する第２のデータ圧縮手法について説明する。

基準画像Ａ_２において、例えば近接する４つの加算画素値｛ａ^Ａ２ _ｉｊ，ａ^Ａ２ _{（ｉ＋２）ｊ}，ａ^Ａ２ _{ｉ（ｊ＋２）}，ａ^Ａ２ _{（ｉ＋２）（ｊ＋２）}｝を処理単位とする。これらは近接した同一重み付け加算値なので相関性が比較的高いので差分効果が大きい。

加算画素値｛ａ^Ａ２ _ｉｊ｝を基準画素加算値とする。下式（４）に示すように、残りの加算画素値は、差分値｛ａ^Ｄ２ _{（ｉ＋２）ｊ}，ａ^Ｄ２ _{ｉ（ｊ＋２）}，ａ^Ｄ２ _{（ｉ＋２）（ｊ＋２）}｝として表わされる。ここで、ｉ、ｊは、奇数の画素アドレスを表す。
ａ^Ｄ２ _{（ｉ＋２）ｊ}＝ａ^Ａ２ _{（ｉ＋２）ｊ}−ａ^Ａ２ _ｉｊ，
ａ^Ｄ２ _{ｉ（ｊ＋２）}＝ａ^Ａ２ _{ｉ（ｊ＋２）}−ａ^Ａ２ _ｉｊ，
ａ^Ｄ２ _{（ｉ＋２）（ｊ＋２）}＝ａ^Ａ２ _{（ｉ＋２）（ｊ＋２）}−ａ^Ａ２ _ｉｊ （４）

これらの基準画素加算値｛ａ^Ａ２ _ｉｊ｝と差分値｛ａ^Ｄ２ _{（ｉ＋２）ｊ}，ａ^Ｄ２ _{ｉ（ｊ＋２）}，ａ^Ｄ２ _{（ｉ＋２）（ｊ＋２）}｝を、基準画像Ａ_２の記録データＡ_２’とする。差分値は、近接した同一重み付け加算画素値の差分値なので、値がゼロ付近に偏在していると考えられる。そのため、差分値は割り当てデータ量が低減されるので、基準画像Ａ_２の記録データ量を縮減可能である。この場合、融合画像データはＦ（Ａ_２’，Ｄ_１，Ｄ_３）で与えられる。

加算画像Ａ_１〜Ａ_３を再生するときは、まず上式（４）により基準画像Ａ_２のデータを再生する。次に、基準画像Ａ_２と差分画像Ｄ_１、Ｄ_３を用いて、上式（３）により加算画像Ａ_１〜Ａ_３を再生する。

５．色情報復元画像の生成手法
次に、取得されていない加算画像Ａ_４を補間により求める手法と、求めた加算画像Ａ_４と加算画像Ａ_１〜Ａ_３により高精細フレーム画像ｆｘを復元する手法について説明する。本実施形態では、これらの加算画像から色情報復元画像と解像情報復元画像を生成し、この２つの画像を合成することにより高精細フレーム画像ｆｘを復元する。

まず、加算画像Ａ_４を求める第１の補間手法と、求めた加算画像Ａ_４を用いて色情報復元画像を生成する手法について説明する。

図２に示すように、４画素加算パターン１〜３の４画素加算値は、加算画像Ａ_１〜Ａ_３の画素値として取得されている。４画素加算パターン４の４画素加算値は、加算画像Ａ_４の画素値に対応しており、補間により求める画素値である。これらの４画素加算パターン１〜４は、画素の色の配列と重み付け係数の関係を表している。図２では、例としてｒ＝２の重み付け係数を、画素の横に記載している。

加算画像Ａ_４の画素値は、色の配列と重み付け係数の関係が同一である加算画像Ａ_２の画素値を用いて補間により求められる。即ち、ＧｒとＧｂを同じＧ色と捉えれば、４画素加算パターン２、４の重み付け係数は、「Ｇ画素：‘１’又は‘１／ｒ^２’、Ｒ画素：‘１／ｒ’、Ｂ画素：‘１／ｒ’」である。これらの加算値にはＲＧＢと重み付けの関係の違いはなく、加算値としては同一として扱えられるので、加算値の補間処理が成り立つのである。

例えば、加算画像Ａ_４の画素値｛ａ_２１｝は、その斜め周辺の検出加算値｛ａ_１０，ａ_３０，ａ_１２，ａ_３２｝を用いて、下式（５）に示す補間処理により求める。なお、加算画像Ａ_４の他の画素値｛ａ^（４） _{ｉ（ｊ＋１）}｝も同様に、その斜め周辺の検出加算値から求められる。
ａ_２１＝ｗ_１’・ａ_１０＋ｗ_２’・ａ_３０＋ｗ_３’・ａ_１２＋ｗ_４’・ａ_３２
（５）

ここで、補間係数ｗ_１’〜ｗ_４’は、補間精度が最も高くなるよう予め設定されたものである。補間方法は当然従来手法（バイリニア，バイキュービック等）を用いても良いし、最適な補間係数を独自に設定するものであってもよい。また、補間に用いる検出４画素加算値も近接の４つに限らず周辺近傍のより多くのパターンの値を使っても良いことは言うまでもなく、特に限定されるものではない。

このようにして、復元推定処理に必要な重畳シフト重み付け４画素加算値｛ａ^（１） _ｉｊ，ａ^（２） _{（ｉ＋１）ｊ}，ａ^（３） _{（ｉ＋１）（ｊ＋１）}，ａ^（４） _{ｉ（ｊ＋１）}｝が全て完備される。

次に、色情報復元画像の生成手法について説明する。図３に示すように、完備された４画素加算値に対して、図１３（Ａ）等で後述する復元推定処理を適用し、第１の推定画素値｛ｖ^ｃ _ｉｊ｝を得る。推定画素値｛ｖ^ｃ _ｉｊ｝により構成される復元画像（色情報を復元推定するためのフレーム画像）はベイヤー配列の画像である。

図４に示すように、このベイヤー配列の復元画像に対してデモザイキング処理を行い、３板化原色画像の色情報復元画像Ｆ^ｃを生成する。得られた各画素の原色成分を（ｒ^ｃ _ｉｊ，ｇ^ｃ _ｉｊ，ｂ^ｃ _ｉｊ）とする。次に、下式（６）に示すように、原色成分（ｒ^ｃ _ｉｊ，ｇ^ｃ _ｉｊ，ｂ^ｃ _ｉｊ）から各画素の色差値｛Ｃｂ_ｉｊ，Ｃｒ_ｉｊ｝を算出する。
Ｃｂ_ｉｊ＝η_ｒ・ｒ^ｃ _ｉｊ＋η_ｇ・ｇ^ｃ _ｉｊ＋η_ｂ・ｂ^ｃ _ｉｊ，
Ｃｒ_ｉｊ＝ξ_ｒ・ｒ^ｃ _ｉｊ＋ξ_ｇ・ｇ^ｃ _ｉｊ＋ξ_ｂ・ｂ^ｃ _ｉｊ （６）

ここで、係数｛η_ｒ，η_ｇ，η_ｂ｝や係数｛ξ_ｒ，ξ_ｇ，ξ_ｂ｝として、例えば、原色ＲＧＢ成分値が与えられた場合に色差値を求める場合の一般的に知られている既知係数を適用する。

６．解像情報復元画像の生成手法
次に、加算画像Ａ_４を求める第２の補間手法と、求めた加算画像Ａ_４を用いて解像情報復元画像を生成する手法について説明する。

図５に示すように、第２の補間手法では、取得されている加算画像Ａ_１、Ａ_３の画素値を用いて、加算画像Ａ_２、Ａ_４の画素値を求める。加算画像Ａ_１、Ａ_３の画素値は、市松状の４画素サンプリング画像を構成している。４画素加算パターン１、３は、色と重み付け係数の関係が４画素加算パターン２、４と異なっており、第２の補間手法では、色と重み付け係数の関係を無視した補間により加算画像Ａ_２、Ａ_４を求めている。

例えば、加算画像Ａ_２の画素値｛ａ’_１２｝は、その上下左右に隣接する検出加算値｛ａ_０２，ａ_２２，ａ_１１，ａ_１３｝を用いて、下式（７）に示す補間処理により求める。なお、加算画像Ａ_２の他の画素値｛ａ^（２） _{（ｉ＋１）ｊ}｝や加算画像Ａ_４の画素値｛ａ^（４） _{ｉ（ｊ＋１）}｝も同様に、その上下左右に隣接する検出加算値から求められる。
ａ’_１２＝ｗ_１・ａ_０２＋ｗ_２・ａ_２２＋ｗ_３・ａ_１１＋ｗ_４・ａ_１３ （７）

ここで、補間係数ｗ_１〜ｗ_４は、補間精度が最も高くなるよう予め設定されたものである。補間方法は当然従来手法（バイリニア，バイキュービック等）を用いても良いし、最適な補間係数を独自に設定するものであってもよい。また、補間に用いる検出４画素加算値も近接の４つに限らず周辺近傍のより多くのパターンの値を使っても良いことは言うまでもなく、特に限定されるものではない。

補間により得られた画素値｛ａ’_１２｝は、補間に用いた画素値｛ａ_０２，ａ_２２，ａ_１１，ａ_１３｝とは、画素の配色と重み付けの関係が同様ではなく、色の関係が無視された４画素加算値となっている。配色と重み付けの関係を無視した補間では、補間により得られた画素値｛ａ’_１２｝を、補間に用いた画素値｛ａ_０２，ａ_２２｝或いは｛ａ_１１，ａ_１３｝とあたかも同様の配色と重み付けの関係であるかのように見なしているだけである。

このようにして、復元推定処理に必要な重畳シフト重み付け４画素加算値｛ａ^（１） _ｉｊ，ａ^（２） _{（ｉ＋１）ｊ}，ａ^（３） _{（ｉ＋１）（ｊ＋１）}，ａ^（４） _{ｉ（ｊ＋１）}｝が全て完備される。

次に、解像情報復元画像の生成手法について説明する。図６に示すように、完備された４画素加算値に対して、図１３（Ａ）等で後述する復元推定処理を適用し、推定画素値｛ｖ^ｒ _ｉｊ｝を得る。

なお、推定画素値｛ｖ^ｒ _ｉｊ｝により構成される復元画像（解像情報を復元推定するためのフレーム画像）は、解像度は高いが、色を含めて元の画像を復元しているわけではない。上述の画素値｛ａ’_１２｝のように配色が４画素加算パターン３である場合を例にとり、復元処理によって生成された色成分と画素値｛ｖ^ｒ _ｉｊ｝の関係について説明する。

説明を簡単にするために、復元された画素値｛ｖ^ｒ _１２，ｖ^ｒ _２２，ｖ^ｒ _１３，ｖ^ｒ _２３｝を１つの処理単位とする。この処理単位は、補間画素値｛ａ’_１２｝の加算単位に対応する。下式（８）に示すように、各画素に対応する色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）を括弧付きで表し、配色が明確に識別できるようにする。
ｖ^ｒ _２２＝ｖ^ｒ _２２（Ｒ），
ｖ^ｒ _１２＝ｖ^ｒ _１２（Ｇｒ），
ｖ^ｒ _２３＝ｖ^ｒ _２３（Ｇｂ），
ｖ^ｒ _１３＝ｖ^ｒ _１３（Ｂ） （８）

上式（８）の各画素が成分として持つ原色成分を（ｒ，ｇ，ｂ）とすれば、下式（９）の関係式が成立することが分っている。Ｇｒ画素、Ｇｂ画素は、原色成分（ｒ，ｇ，ｂ）との関係式が同じである。
ｖ^ｒ _２２（Ｒ） ＝α・ｒ_２２＋β・ｇ_２２＋γ・ｂ_２２，
ｖ^ｒ _１２（Ｇｒ）＝φ・ｒ_１２＋β・ｇ_１２＋φ・ｂ_１２，
ｖ^ｒ _２３（Ｇｂ）＝φ・ｒ_２３＋β・ｇ_２３＋φ・ｂ_２３，
ｖ^ｒ _１３（Ｂ） ＝γ・ｒ_１３＋β・ｇ_１３＋α・ｂ_１３ （９）

ここで、係数α、β、γ、φは、画素の重み付け加算において加算される画素数及び重み付け係数によって一義的に定まる係数である。

次に、この推定画素値｛ｖ^ｒ _ｉｊ｝から３板化原色画像を生成する。上式（９）において、係数の間にはα＞γ、β＞φの関係があることが分かっている。そのため、画素値ｖ^ｒ _２２（Ｒ）はＲ色成分を主成分としてもっていると見なすことができる。同様に、画素値ｖ^ｒ _１２（Ｇｒ）、ｖ^ｒ _２３（Ｇｂ）、ｖ^ｒ _１３（Ｂ）は、それぞれＧｒ色成分、Ｇｂ色成分、Ｂ色成分を主成分としてもっていると見なすことができる。即ち、ｖ_ｉｊ（Ｒ）≒Ｒ色成分、ｖ_ｉｊ（Ｇｒ）≒Ｇｒ色成分、ｖ_ｉｊ（Ｇｂ）≒Ｇｂ色成分、ｖ_ｉｊ（Ｂ）≒Ｂ色成分として、復元画像を近似的にベイヤー配列画像と見なすことができる。

図７に示すように、この近似的なベイヤー配列の復元画像に対してデモザイキング処理を行い、３板化原色画像の解像情報復元画像Ｆ^ｒを生成する。得られた各画素の原色成分を（ｒ^ｒ _ｉｊ，ｇ^ｒ _ｉｊ，ｂ^ｒ _ｉｊ）とする。次に、下式（１０）に示すように、原色成分（ｒ^ｒ _ｉｊ，ｇ^ｒ _ｉｊ，ｂ^ｒ _ｉｊ）を加算した値を解像反映値｛Ｙ_ｉｊ｝として求める。
Ｙ_ｉｊ＝ｒ^ｒ _ｉｊ＋ｇ^ｒ _ｉｊ＋ｂ^ｒ _ｉｊ （１０）

７．色情報復元画像と解像情報復元画像の合成手法
次に、上述の色情報復元画像と解像情報復元画像を合成して最終的な復元画像を得る手法について説明する。

下式（１１）に示すように、解像情報復元画像の原色成分（ｒ^ｒ _ｉｊ，ｇ^ｒ _ｉｊ，ｂ^ｒ _ｉｊ）と、色情報復元画像の原色成分（ｒ^ｃ _ｉｊ，ｇ^ｃ _ｉｊ，ｂ^ｃ _ｉｊ）が近似的に等しいとする。ここで、（ｒ_ｉｊ，ｇ_ｉｊ，ｂ_ｉｊ）は、最終復元推定画像Ｆ＝［Ｆ^ｒ，Ｆ^ｃ］の個々の画素ｖ_ｉｊの原色成分を表す。
ｒ_ｉｊ＝ｒ^ｒ _ｉｊ≒ｒ^ｃ _ｉｊ，
ｇ_ｉｊ＝ｇ^ｒ _ｉｊ≒ｇ^ｃ _ｉｊ，
ｂ_ｉｊ＝ｂ^ｒ _ｉｊ≒ｂ^ｃ _ｉｊ （１１）

上式（１１）を用いると、上式（１０）に示す解像反映値｛Ｙ_ｉｊ｝と、上式（６）に示す色差値｛Ｃｂ_ｉｊ，Ｃｒ_ｉｊ｝は、下式（１２）に示す行列式に整理される。下式（１２）を解くことにより、最終復元画像Ｆの画素ｖ_ｉｊの成分（ｒ_ｉｊ，ｇ_ｉｊ，ｂ_ｉｊ）が求められる。この最終復元画像Ｆは、解像情報と色情報の両方が復元された画像である。

以上の実施形態によれば、１フレームの原画像において重み付け重畳シフト加算して得られた加算画像Ａ_１〜Ａ_３から、高精細な原画像の復元推定画像Ｆが得られる。複数フレームを利用する場合とは異なり、１フレームのみで原画像の復元が可能なので、動きの大きい被写体に対しても像ずれ、色ずれ等による画像劣化要因を排除でき、高画質な高精細画像を得ることができる。

８．撮像装置
図８に、上述の画像データ圧縮や復元推定処理を行う撮像装置の構成例を示す。撮像装置は、撮像とデータ圧縮処理を行う撮像部１０と、高精細画像の復元処理を行う画像処理部２０を含む。画像処理部２０は、カメラ本体に内蔵されてもよいし、ＰＣ等の外部の情報処理装置により構成されてもよい。

具体的には、撮像部１０は、レンズ１１０、撮像素子１２０（撮像センサー）、加算画像生成部１３０（重畳シフト重み付け加算画像生成部）、圧縮処理部１４０、圧縮データ記録部１５０（融合圧縮データ記録部）を含む。

レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。撮像により得られたアナログ信号は、図示しないＡ／Ｄ変換部によりデジタル信号に変換される。

加算画像生成部１３０は、上述のように、画素シフトさせつつ撮像画像の画素値を加算し、撮像画像から画素加算画像Ａ_１〜Ａ_３を生成する。

圧縮処理部１４０は、画素加算画像Ａ_１〜Ａ_３から差分画像Ｄ_１、Ｄ_３を生成し、基準画像Ａ_２と差分画像Ｄ_１、Ｄ_３を圧縮する処理を行う。具体的には圧縮処理部１４０は、差分画像生成部１４１、エントロピー符号化部１４３、データ圧縮部１４４を含む。

差分画像生成部１４１は、画素加算画像Ａ_１〜Ａ_３から差分画像Ｄ_１、Ｄ_３を生成する。エントロピー符号化部１４３は、エントロピー符号化（例えばハフマン符号，ＬＺＨ等）の可逆圧縮により差分画像Ｄ_１、Ｄ_３を圧縮する。データ圧縮部１４４は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により基準画像Ａ_２を圧縮する。

圧縮データ記録部１５０は、圧縮された画像データを記録する。具体的には圧縮データ記録部１５０は、圧縮された差分画像Ｄ_１、Ｄ_３を記録する差分データ記録部１５１と、圧縮された基準画像Ａ_２を記録する基準画像データ記録部１５７を含む。

画像処理部２０は、伸張処理部２０５、推定演算部２３０（高精細画像復元推定部）、高精細静止画生成部２４０、高精細動画生成部２５０、標準動画生成部２６０、画像出力部２９０、画像選択部２９５を含む。

伸張処理部２０５は、圧縮データを伸張して加算画像Ａ_１〜Ａ_３を再生する。具体的には、伸張処理部２０５は、圧縮データ伸張部２００、加算画像再生部２１０（重み付け加算画像再生部）を含む。

圧縮データ伸張部２００は、圧縮された基準画像Ａ_２と差分画像Ｄ_１、Ｄ_３を伸張する処理を行う。加算画像再生部２１０は、基準画像Ａ_２と差分画像Ｄ_１、Ｄ_３から加算画像Ａ_１〜Ａ_３を再生する処理を行う。

推定演算部２３０は、上述のように、加算画像Ａ_１〜Ａ_３に基づいて色情報復元画像Ｆ^ｃや解像情報復元画像Ｆ^ｒを求め、これらの画像から復元画像Ｆを求める。復元された画像は、ＲＧＢベイヤー配列の画像である。

高精細静止画生成部２４０は、復元画像Ｆに対して例えば階調補正処理等の画像処理を行い、高精細静止画を生成する。このとき、画像選択部２９５により選択されたタイミングの静止画が生成される。タイミングは、ユーザーの指示により選択され、ユーザーは、例えば画像出力部２９０の出力動画を見てタイミングを選択する。

高精細動画生成部２５０は、復元画像Ｆによる動画画像に対して例えば階調補正処理等の画像処理を行い、高精細動画を生成する。標準動画生成部２６０は、高精細動画をダウンサンプリングし、例えばハイビジョン画素数の動画を標準動画として生成する。

画像出力部２９０は、高精細静止画、高精細動画、標準動画を、例えば表示装置やプリンターに出力する。

９．撮像装置の変形構成例
上記の実施形態では差分画像Ｄ_１、Ｄ_３をエントロピー符号化により圧縮する場合を例に説明したが、本実施形態はこれに限定されず、融合画像データＦ（Ａ_２，Ｄ_１、Ｄ_３）を非可逆圧縮してもよい。

図９に、融合画像データＦ（Ａ_２，Ｄ_１、Ｄ_３）を非可逆圧縮する場合の撮像装置の変形構成例を示す。この撮像装置は、撮像部１０、画像処理部２０を含む。なお以下では、図８で上述した構成要素と同一の構成要件については同一の符号を付し、適宜説明を省略する。

撮像部１０は、レンズ１１０、撮像素子１２０、加算画像生成部１３０、差分画像生成部１４１、データ記憶部１４９、圧縮データ記録部１５０、データ圧縮部１５６を含む。画像処理部２０の構成要素は、図８の画像処理部２０と同様である。

データ記憶部１４９は、融合画像データＦ（Ａ_２，Ｄ_１、Ｄ_３）を記憶する。融合画像データＦ（Ａ_２，Ｄ_１、Ｄ_３）は、加算画像生成部１３０からの基準画像Ａ_２と、差分画像生成部１４１からの差分画像Ｄ_１、Ｄ_３により構成される画像データである。データ圧縮部１５６は、例えばＭ−ＪＰＥＧやＪＰＥＧ−ＸＲ等の非可逆圧縮により融合画像データＦ（Ａ_２，Ｄ_１、Ｄ_３）を圧縮する。圧縮データ記録部１５０は、圧縮された融合画像データＦ（Ａ_２，Ｄ_１、Ｄ_３）を記録する。

１０．融合画像データの符号割り当て例
図１０に、上述の融合画像データＦ（Ａ_２，Ｄ_１、Ｄ_３）の符号割り当て例を示す。

図１０に示すように、融合画像データＦ（Ａ_２，Ｄ_１、Ｄ_３）の座標（ｉ，ｊ）の画素値を、３フレーム分で１ユニットにし、その１ユニットに４８ビットを割り当てる。具体的には、第ｋ〜第ｋ＋２のフレーム（ｋは自然数）の基準画像Ａ_２の画素値ａ^（２） _ｋ〜ａ^（２） _ｋ＋２に、それぞれ８ビットを割り当てる。第ｋ〜第ｋ＋２のフレームの差分画像Ｄ_１、Ｄ_３の画素値ａ^Ｄ１ _ｋ〜ａ^Ｄ１ _ｋ＋２、ａ^Ｄ３ _ｋ〜ａ^Ｄ３ _ｋ＋２に、それぞれ４ビットを割り当てる。ａ^（２） _ｋ〜ａ^（２） _ｋ＋２とａ^Ｄ１ _ｋ〜ａ^Ｄ１ _ｋ＋２でそれぞれ１２ビットのデータを構成し、ａ^Ｄ３ _ｋ〜ａ^Ｄ３ _ｋ＋２で１２ビットのデータを構成する。

例えば撮像画像（原画像）の画素数をＮ画素とし、画素値データを１２ビットとする。この場合、融合画像データＦ（Ａ_２，Ｄ_１、Ｄ_３）のデータ量は、撮像画像のデータ量の１／３＝（Ｎ／４画素×４８ビット）／（Ｎ画素×１２ビット×３フレーム）となる。

１１．推定演算部
図１１に、上述の推定演算部２３０の詳細な構成例を示す。推定演算部２３０は、色情報推定部２３１（第１推定部）、解像情報推定部２３２（第２推定部）、合成部２３３を含む。

色情報推定部２３１は、上述した第１の補間手法により、加算画像Ａ_２から加算画像Ａ_４を補間により求め、求めた加算画像Ａ_４と加算画像Ａ_１〜Ａ_３から色情報復元画像Ｆ^ｃを生成する。

解像情報推定部２３２は、上述した第２の補間手法により、加算画像Ａ_１、Ａ_３から加算画像Ａ_２、Ａ_４を補間により求め、求めた加算画像Ａ_２、Ａ_４と加算画像Ａ_１、Ａ_３から解像情報復元画像Ｆ^ｒを生成する。

合成部２３３は、上述した合成手法により、色情報復元画像Ｆ^ｃと解像情報復元画像Ｆ^ｒから最終的な復元画像のＲＧＢ画素値（ｒ_ｉｊ，ｇ_ｉｊ，ｂ_ｉｊ）を求める。

１２．推定演算部の変形構成例
上記の実施形態では、色情報復元画像Ｆ^ｃと解像情報復元画像Ｆ^ｒを合成して最終復元画像を得たが、色情報復元画像Ｆ^ｃのみから最終復元画像を得てもよい。図１２に、この場合の推定演算部の変形構成例を示す。推定演算部２３０は、補間処理部２３５、復元推定処理部２３６を含む。

補間処理部２３５は、上述した第１の補間手法により、加算画像Ａ_２から加算画像Ａ_４を補間により求める。復元推定処理部２３６は、求められた加算画像Ａ_４と加算画像Ａ_１〜Ａ_３から色情報復元画像Ｆ^ｃを生成し、Ｆ^ｃを最終的な復元画像として出力する。なお、色情報復元画像Ｆ^ｃに対して画像処理を行った画像を最終的な復元画像として出力してもよい。

上記の変形構成例によれば、２画像を合成する場合に比べて処理過程を少なくできるので、高速低負荷な推定演算部を構成できる。

以上の実施形態によれば、図８に示すように、撮像装置は、画像取得部（例えば撮像素子１２０）と、加算画像生成部１３０と、圧縮処理部１４０と、伸張処理部２０５と、推定演算部２３０と、画像出力部２９０を含む。

図１で説明したように、画像取得部は、撮像画像ｆｘ（高精細フレーム画像）を取得する。加算画像生成部１３０は、加算画素値（例えばａ^（１） _ｉｊ）を取得する単位である加算単位を撮像画像ｆｘの複数の画素毎（例えば４画素毎）に設定し、その加算単位に含まれる画素値を重み付け加算（上式（１））して加算画素値を求め、求めた加算画素値による加算画像Ａ_１〜Ａ_３を取得する。圧縮処理部１４０は、その加算画像Ａ_１〜Ａ_３を圧縮する。伸張処理部２０５は、圧縮された加算画像Ａ_１〜Ａ_３を伸張する。推定演算部２３０は、伸張された加算画像Ａ_１〜Ａ_３に基づいて撮像画像ｆｘの画素値ｖ_ｉｊを推定する。画像出力部２９０は、推定された画素値ｖ_ｉｊに基づく高解像画像を出力する。

この場合に、加算画像生成部１３０は、加算単位を順次画素シフトさせて、第１〜第４（広義には第１〜第ｎ）の加算画像Ａ_１〜Ａ_４のうちの第１〜第３の加算画像Ａ_１〜Ａ_３を取得する。圧縮処理部１４０は、第ｋの加算画像Ａ_ｋ（基準画像）と第ｍの加算画像Ａ_ｍ（ｋ、ｍは３以下の自然数、ｍ≠ｋ）の差分を、第ｍの差分画像Ｄ_ｍとして求め、加算画像Ａ_ｋと差分画像Ｄ_ｍを圧縮する。伸張処理部２０５は、圧縮された加算画像Ａ_ｋと差分画像Ｄ_ｍを伸張して加算画像Ａ_１〜Ａ_３を求める。推定演算部２３０は、加算画像Ａ_１〜Ａ_３に基づいて第４（広義には第ｎ）の加算画像Ａ_４を補間により求め、求めた加算画像Ａ_４と加算画像Ａ_１〜Ａ_３に基づいて撮像画像ｆｘの画素値ｖ_ｉｊを推定する。

このようにすれば、撮像画像ｆｘを効率よく圧縮することが可能になる。即ち、３枚の加算画像Ａ_１〜Ａ_３の合計画素数は撮像画像ｆｘの画素数の３／４であり、画素数が削減される。また、上述のように差分画像Ｄ_ｍの画素値はゼロ付近に偏在していると考えられるため、差分画像Ｄ_ｍのエントロピーは撮像画像ｆｘよりも小さい。そのため、差分画像Ｄ_ｍを例えばエントロピー符号化することで圧縮率を向上できる。これにより、高圧縮率の画像データから撮像画像ｆｘを復元して任意タイミングの高精細静止画を取り出すことが可能になる。また、加算画像Ａ_１〜Ａ_３を１枚の撮像画像ｆｘから生成するため、動体でもブレが少ない時間分解能が高い復元画像を得られる。

また本実施形態によれば、簡素な処理で圧縮データから撮像画像ｆｘを再生可能である。即ち、加算画像Ａ_１〜Ａ_３と、補間により得られる加算画像Ａ_４は、重畳シフト加算により得られた画像データであり、後述する復元推定処理を適用可能である。この復元推定処理は、低解像画像から高解像画像を推定する処理を、上述の特許文献１、２に比べて簡素化することができる。

ここで、第１〜第４の加算画像Ａ_１〜Ａ_４は、撮像画像ｆｘの画素値ｖ_ｉｊを推定するために必要な画像であり、巡回的な画像のうちの１巡分の画像である。即ち、仮に第５（広義には第ｎ＋１）の加算画像Ａ_５を重み付け加算により取得するとすれば、その第５の加算画像Ａ_５は第１の加算画像Ａ_１と同一の画像となり、以降、４画像毎に同じ画像が現れるということである。

また本実施形態では、図１に示すように、加算画像生成部１３０は、加算単位を、水平又は垂直（ｉ軸方向又はｊ軸方向）に１画素ずつ順次シフトさせて第１〜第３のポジション（例えば座標（０，０）、（１，０）、（１，１））に設定し、その第１〜第３のポジションにおいてそれぞれ加算画像Ａ_１〜Ａ_３を取得する。第ｍのポジションと第ｍ＋１のポジション（例えば（０，０）、（１，０））の加算単位は、共通の画素（ｖ_１０、ｖ_１１）を含む。

また本実施形態では、図８に示すように、圧縮処理部１４０は差分画像生成部１４１を有する。上式（２）に示すように、差分画像生成部１４１は、第ｋのポジションの加算画素値ａ^（２） _{（ｉ＋１）ｊ}と第ｍのポジションの加算画素値（例えばａ^（１） _ｉｊ）の差分値（ａ^Ｄ１ _ｉｊ）を、第ｍの差分画像Ｄ_ｍの画素値として求める。

以上のようにすれば、共通の画素を含みながら加算単位を順次画素シフトして加算画素値を求める重畳シフト加算を行うことができる。また、その重畳シフト加算により得られた加算画像Ａ_ｋ（基準画像）の画素値と、加算画像Ａ_ｍの画素値との差分値により、差分画像Ｄ_ｍの画素値を求めることができる。

また本実施形態では、図８等で説明したように、圧縮処理部１４０は、第ｍの差分画像Ｄ_ｍをエントロピー符号化により可逆圧縮する。

このようにすれば、上述のようにエントロピーが小さくなった差分画像Ｄ_ｍを高圧縮率で圧縮することができるため、画像データの圧縮率を向上できる。これにより、圧縮データを記録するストレージの容量を削減したり、データ通信における通信負荷を軽減できる。

また本実施形態では、画像取得部は、撮像画像ｆｘとして、複数の色（例えばＲ、Ｇｒ、Ｇｂ、Ｂ）の画素が配列された画像（例えばベイヤー配列画像）を取得する。図２に示すように、加算画像生成部１３０は、第１〜第３の色配列（４画素加算パターン１〜３）を有する加算単位を設定して第１〜第３の加算画素値｛ａ^（１） _ｉｊ，ａ^（２） _{（ｉ＋１）ｊ}，ａ^（３） _{（ｉ＋１）（ｊ＋１）}｝を取得する。図１１に示すように、推定演算部２３０は、第１の推定部（色情報推定部２３１）を有する。図２に示すように、第１の推定部は、第４の色配列（４画素加算パターン４）に対応する第４の加算画素値（例えばａ_１２、広義には｛ａ^（４） _{ｉ（ｊ＋１）}｝）を補間により求める。図３に示すように、第１の推定部は、求めた第４の加算画素値と、取得された第１〜第３の加算画素値とに基づいて、第１の推定画素値｛ｖ^ｃ _ｉｊ｝を推定する。図２で上述のように、第１の推定部は、第１〜第３の加算画素値の中の、重み付け加算における重み付けと色の対応関係が第４の色配列（４画素加算パターン４）と同一である第２（広義には第ｓ）の加算画素値に基づいて、第４の加算画素値を補間する。

このようにすれば、重み付けと色の対応関係が加算画像Ａ_４と同一の加算画像Ａ_２に基づいて加算画像Ａ_４を求めることができる。重み付けと色の対応関係が維持された加算画像Ａ_４を用いて復元推定処理を行うことで、撮像画像ｆｘが持つ色情報（色と画素値の対応関係）を高精度に復元できる。

また本実施形態では、図１１に示すように、推定演算部２３０は、第２の推定部（解像情報推定部２３２）と合成部２３３を有する。図５に示すように、第２の推定部は、第２、第４の加算画素値｛ａ^（２） _{（ｉ＋１）ｊ}，ａ^（４） _{ｉ（ｊ＋１）}｝を補間により求める。図８に示すように、第２の推定部は、求めた前記第２、第４の加算画素値と、取得された前記第１、第３の加算画素値に基づいて、第２の推定画素値｛ｖ^ｒ _ｉｊ｝を推定する。合成部２３３は、第１、第２の推定画素値｛ｖ^ｃ _ｉｊ，ｖ^ｒ _ｉｊ｝に基づいて最終的な推定画素値｛ｖ_ｉｊ｝を合成する。図５で上述のように、第２の推定部は、第２、第４の加算画素値を、前記第１、第３の加算画素値に基づいて色配列に依らず補間により求める。

このようにすれば、色配列に依らない補間により加算画像Ａ_２、Ａ_４を求めることができる。この加算画像Ａ_２、Ａ_４を用いて復元推定処理を行うことで、撮像画像ｆｘが持つ解像情報（例えば各画素の輝度値）を高精度に復元できる。即ち、図５に示すように、第１、第３の加算画素値（例えばａ_１１、ａ_２２等）は、第２、第４の加算画素値（例えばａ_１２）の上下左右に隣接する。図２の補間手法のように斜め方向に隣接する加算画素を使うよりも、近い加算画素値を用いて補間できるため、より高解像の復元が可能になる。この補間は、色配列を無視して、より近い加算画素値を用いることで可能になる。

また本実施形態では、撮像画像ｆｘは、ＲＧＢベイヤー配列の画像である。図４に示すように、第１の推定部は、ＲＧＢベイヤー配列の第１の推定画素値｛ｖ^ｃ _ｉｊ｝に対してデモザイキング処理を行い、各画素における第１のＲＧＢ画素値（ｒ^ｃ _ｉｊ，ｇ^ｃ _ｉｊ，ｂ^ｃ _ｉｊ）を求める。図７に示すように、第２の推定部は、（近似的に）ＲＧＢベイヤー配列の第２の推定画素値｛ｖ^ｒ _ｉｊ｝に対してデモザイキング処理を行い、各画素における第２のＲＧＢ画素値（ｒ^ｒ _ｉｊ，ｇ^ｒ _ｉｊ，ｂ^ｒ _ｉｊ）を求める。合成部２３３は、第１のＲＧＢ画素値に基づいて、色差値に相当する第１の画素値（色差値｛Ｃｂ_ｉｊ，Ｃｒ_ｉｊ｝）を求め（上式（６））、第２のＲＧＢ画素値に基づいて、輝度値に相当する第２の画素値（解像反映値｛Ｙ_ｉｊ｝）を求める。上式（１２）で説明したように、合成部２３３は、その第１、第２の画素値をＲＧＢ画素値に変換して最終的なＲＧＢ画素値（ｒ_ｉｊ，ｇ_ｉｊ，ｂ_ｉｊ）を求める。

このようにすれば、色情報が復元された第１の推定画素値と、解像情報が復元された第２の推定画素値とに基づいて、最終的な推定画素値を合成できる。また、第１の推定画素値から色差値に相当する画素値を求めることで、第１の推定画素値から色情報を取り出すことができる。また、第２の推定画素値から輝度値に相当する画素値を求めることで、第２の推定画素値から解像情報を取り出すことができる。

１３．復元推定処理
次に、図８等で上述の推定演算部２３０が行う推定処理について詳細に説明する。なお以下では、加算画素値｛ａ_００、ａ_１０、ａ_１１、ａ_０１｝を例に説明する（ｉ，ｊは０以上の整数）が、他の加算画素値についても同様である。また、加算単位が２×２画素毎に設定される場合を例に説明するが、これに限定されず、例えば３×３画素毎であってもよい。

図１３（Ａ）、図１３（Ｂ）に、推定画素値と中間画素値の説明図を示す。図１３（Ａ）に示す加算画素値｛ａ_００、ａ_１０、ａ_１１、ａ_０１｝は、図１で説明した加算画像Ａ_１〜Ａ_４の加算画素値｛ａ^（１） _００，ａ^（２） _１０，ａ^（３） _１１，ａ^（４） _０１｝に対応する。推定処理では、この加算画素値を用いて、最終的な推定画素値ｖ_００〜ｖ_２２を推定する。推定画素値ｖ_ｉｊは、図１で説明した撮像画像ｆｘの画素値に対応する。

図１３（Ｂ）に示すように、まず加算画素値ａ_００〜ａ_１１から中間画素値ｂ_００〜ｂ_２１（中間推定画素値）を推定する。中間画素値は２画素加算値に対応し、例えばｂ_００は画素値ｖ_００とｖ_０１の加算値に対応する。これらの中間画素値ｂ_００〜ｂ_２１から最終的な画素値ｖ_００〜ｖ_２２を推定する。

まず中間画素値を推定する処理について説明する。以下では、水平方向の最初の行の中間画素値ｂ_００〜ｂ_２０を推定する場合を例に説明する。次の行の中間画素値ｂ_０１〜ｂ_２１についても同様の手法により推定される。

図１４に示すように、中間画素値ｂ_００〜ｂ_２０は、水平方向の最初の行の加算画素値ａ_００、ａ_１０に基づいて推定される。説明を簡単にするために、例えば重み付け係数ｒ＝２とすると、加算画素値ａ_００、ａ_１０は下式（１３）で表される。
ａ_００＝ｖ_００＋（１／２）ｖ_０１＋（１／２）ｖ_１０＋（１／４）ｖ_１１，
ａ_１０＝ｖ_１０＋（１／２）ｖ_１１＋（１／２）ｖ_２０＋（１／４）ｖ_２１
（１３）

下式（１４）に示すようにｂ_００、ｂ_１０、ｂ_２０を定義する。
ｂ_００＝ｖ_００＋（１／ｒ）ｖ_０１＝ｖ_００＋（１／２）ｖ_０１，
ｂ_１０＝ｖ_１０＋（１／ｒ）ｖ_１１＝ｖ_１０＋（１／２）ｖ_１１，
ｂ_２０＝ｖ_２０＋（１／ｒ）ｖ_２１＝ｖ_２０＋（１／２）ｖ_２１ （１４）

次に、上式（１４）を用いて上式（１３）を変形すると、下式（１５）が成り立つ。
ａ_００＝ｂ_００＋（１／２）ｂ_１０，
ａ_１０＝ｂ_１０＋（１／２）ｂ_２０ （１５）

上式（１５）において、ａ_００、ａ_１０に所定の重み付け係数を掛けて差分δｉ_０を取り、上式（１４）を使って変形すると、下式（１６）が成り立つ。
δｉ_０＝ａ_１０−２ａ_００
＝（１／２）ｂ_２０−２ｂ_００ （１６）

ｂ_００を未知数（初期変数）とすると、下式（１７）に示すように、中間画素値ｂ_１０、ｂ_２０をｂ_００の関数として求めることができる。このようにして、ｂ_００を未知数として高精細な中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の組合せパターンが求められる。
ｂ_００＝（未知数），
ｂ_１０＝２（ａ_００−ｂ_００），
ｂ_２０＝４ｂ_００＋２δｉ_０＝４ｂ_００＋２（ａ_１０−２ａ_００） （１７）

次に、未知数ｂ_００を求める手法について説明する。図１５に示すように、加算画素値のパターン｛ａ_００，ａ_１０｝と中間画素値のパターン｛ｂ_００，ｂ_１０，ｂ_２０｝を比較する。そして、その誤差Ｅが最小になる未知数ｂ_００を導出し、中間画素値ｂ_００として設定する。

具体的には、加算画素値｛ａ_ｉｊ｝と中間画素値｛ｂ_ｉｊ，ｂ_{（ｉ＋１）ｊ}｝には、下式（１８）の関係が成り立つ。この下式（１８）による重み付けを考慮すると、下式（１９）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ_００，ａ_１０｝とパターン｛ｂ_００，ｂ_１０，ｂ_２０｝の類似性評価を行う。
ａ_ｉｊ＝ｂ_ｉｊ＋（１／２）ｂ_{（ｉ＋１）ｊ} （１８）

図１６に示すように、Ｅｊを最小にする未知数ｂ_００（＝α）を求め、ｂ_００の値を決定できる。そして、推定したｂ_００の値を上式（１７）に代入し、ｂ_１０，ｂ_２０が求められる。

次に、求めた中間画素値ｂ_ｉｊを用いて最終推定画素値ｖ_ｉｊを求める手法について説明する。以下では、左端垂直列（ｉ＝０列）を例に説明する。最終推定画素値ｖ_ｉｊは、中間画素値ｂ_ｉｊを求めた手法と同様に求められる。即ち、上式（１５）を下式（２０）に置き換えれば、以降の処理は同様である。
ｂ_００＝ｖ_００＋（１／２）ｖ_０１，
ｂ_０１＝ｖ_０１＋（１／２）ｖ_０２ （２０）

以上の実施形態によれば、図１３（Ａ）に示すように、第１のポジションに設定された加算単位（例えばａ_００）と、第１のポジションの次の第２のポジションに設定された加算単位（例えばａ_１０）は重畳する。上式（１６）に示すように、推定演算部２３０は、第１、第２のポジションの加算画素値ａ_００、ａ_１０の差分値δｉ_０を求める。図１３（Ｂ）に示すように、第１の中間画素値ｂ_００は、加算単位ａ_００から重畳領域（ｖ_１０、ｖ_１１）を除いた第１の領域（ｖ_００、ｖ_０１）の加算画素値である。第２の中間画素値ｂ_２０は、加算単位ａ_１０から重畳領域（ｖ_１０、ｖ_１１）を除いた第２の領域（ｖ_２０、ｖ_２１）の加算画素値である。上式（１７）に示すように、第１、第２の中間画素値ｂ_００、ｂ_２０の関係式を、差分値δｉ_０を用いて表す。図１５等に示すように、その関係式を用いて第１、第２の中間画素値ｂ_００、ｂ_２０を推定する。推定した第１の中間画素値ｂ_００を用いて加算単位に含まれる各画素の画素値（ｖ_００、ｖ_１０、ｖ_１１、ｖ_０１）を求める。

このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルターの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。

ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１３（Ａ）に示すように、加算単位ａ_００と加算単位ａ_１０が、２つの推定画素ｖ_１０、ｖ_１１を共有することである。

また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、次のポジションとは、元のポジションから画素シフトされたポジションであり、元のポジションと位置や座標が一致しないポジションのことである。

また本実施形態では、第１、第２の中間画素値（例えばｂ_００、ｂ_２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ_００、ｂ_１０、ｂ_２０｝）とする。上式（１７）に示すように、推定演算部２３０は、中間画素値パターンに含まれる中間画素値の間の関係式を加算画素値ａ_００、ａ_１０を用いて表す。図１５に示すように、中間画素値の間の関係式で表された中間画素値パターンと加算画素値とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ_００、ｂ_１０、ｂ_２０を決定する。

このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。

ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。

また本実施形態では、上式（１９）に示すように、推定演算部２３０は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ_００、ｂ_１０、ｂ_２０｝）と加算画素値（ａ_００、ａ_１０）との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ_００、ｂ_１０、ｂ_２０を決定する。

このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特許文献２）が不要である。

また本実施形態では、上式（１３）に示すように、加算単位の各画素値（例えば、ｖ_００、ｖ_１０、ｖ_０１、ｖ_１１）が重み付け加算された加算画素値（ａ_００）を取得する。取得された加算単位の加算画素値（ａ_００、ａ_１０）に基づいて、加算単位の各画素の画素値（ｖ_００、ｖ_１０、ｖ_０１、ｖ_１１）を推定する。

このようにすれば、加算単位の各画素値を重み付け加算して加算画像を取得し、取得した加算画像から高解像画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、加算単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、加算単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む加算画像を取得でき、推定画像での高周波成分の再現性を向上できる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像部、画像処理部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

１０ 撮像部、２０ 画像処理部、１００ 被写体、１１０ レンズ、
１２０ 撮像素子、１３０ 加算画像生成部、１４０ 圧縮処理部、
１４１ 差分画像生成部、１４３ エントロピー符号化部、
１４４ データ圧縮部、１４９ データ記憶部、１５０ 圧縮データ記録部、
１５１ 差分データ記録部、１５６ データ圧縮部、
１５７ 基準画像データ記録部、２００ 圧縮データ伸張部、
２０５ 伸張処理部、２１０ 加算画像再生部、２３０ 推定演算部、
２３１ 色情報推定部、２３２ 解像情報推定部、２３３ 合成部、
２３５ 補間処理部、２３６ 復元推定処理部、２４０ 高精細静止画生成部、
２５０ 高精細動画生成部、２６０ 標準動画生成部、２９０ 画像出力部、
２９５ 画像選択部、
Ａ_１〜Ａ_４ 第１〜第４の加算画像、Ｄ_１，Ｄ_３ 第１、第３の差分画像、
Ｅｊ 評価関数、Ｆ^ｃ 色情報復元画像、Ｆ^ｒ 解像情報復元画像、
ａ_ｉｊ 加算画素値、ｂ_００ 未知数、ｂ_ｉｊ 中間画素値、ｆｘ 撮像画像、
ｒ 重み付け係数、ｖ_ｉｊ 画素値、δｉ_０ 差分値

Claims (10)

1. 撮像画像を取得する画像取得部と、
   加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得する加算画像生成部と、
   前記加算画像を圧縮する圧縮処理部と、
   圧縮された前記加算画像を伸張する伸張処理部と、
   伸張された前記加算画像に基づいて前記撮像画像の画素値を推定する推定演算部と、
   前記推定演算部により推定された画素値に基づく高解像画像を出力する画像出力部と、
   を含み、
   前記加算画像生成部は、
   前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、
   前記圧縮処理部は、
   前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、
   前記伸張処理部は、
   圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、
   前記推定演算部は、
   前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定することを特徴とする撮像装置。
2. 請求項１において、
   前記加算画像生成部は、
   前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎ−１のポジションに設定し、前記第１〜第ｎ−１のポジションにおいてそれぞれ前記第１〜第ｎ−１の加算画像を取得し、
   第ｎのポジションの加算単位は、
   前記第ｎ−１のポジションの加算単位を、水平又は垂直に１画素シフトさせた加算単位であり、
   前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含むことを特徴とする撮像装置。
3. 請求項２において、
   前記圧縮処理部は、
   第ｋのポジションの前記加算画素値と第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求める差分画像生成部を有することを特徴とする撮像装置。
4. 請求項１乃至３のいずれかにおいて、
   前記圧縮処理部は、
   前記第ｍの差分画像をエントロピー符号化により可逆圧縮することを特徴とする撮像装置。
5. 請求項１乃至４のいずれかにおいて、
   前記画像取得部は、
   前記撮像画像として、複数の色の画素が配列された画像を取得し、
   前記加算画像生成部は、
   第１〜第ｎ−１の色配列を有する前記加算単位を設定して第１〜第ｎ−１の加算画素値を取得し、
   前記推定演算部は、
   第ｎの色配列に対応する第ｎの加算画素値を補間により求め、求めた前記第ｎの加算画素値と、取得された前記第１〜第ｎ−１の加算画素値とに基づいて、第１の推定画素値を推定する第１の推定部を有し、
   前記第１の推定部は、
   前記第１〜第ｎ−１の加算画素値の中の、前記重み付け加算における重み付けと色の対応関係が前記第ｎの色配列と同一である第ｓの加算画素値（ｓはｎ−１以下の自然数）に基づいて、前記第ｎの加算画素値を補間することを特徴とする撮像装置。
6. 請求項５において、
   前記推定演算部は、
   前記第ｓ、第ｎの加算画素値を補間により求め、求めた前記第ｓ、第ｎの加算画素値と、取得された前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて、第２の推定画素値を推定する第２の推定部と、
   前記第１、第２の推定画素値に基づいて最終的な推定画素値を合成する合成部と、
   を有し、
   前記第２の推定部は、
   前記第ｓ、第ｎの加算画素値を、前記第１〜第ｓ−１、第ｓ＋１〜第ｎ−１の加算画素値に基づいて色配列に依らず補間により求めることを特徴とする撮像装置。
7. 請求項６において、
   前記撮像画像が、ＲＧＢベイヤー配列の画像である場合に、
   前記第１の推定部は、
   ＲＧＢベイヤー配列の前記第１の推定画素値に対してデモザイキング処理を行い、各画素における第１のＲＧＢ画素値を求め、
   前記第２の推定部は、
   ＲＧＢベイヤー配列の前記第２の推定画素値に対してデモザイキング処理を行い、各画素における第２のＲＧＢ画素値を求め、
   前記合成部は、
   前記第１のＲＧＢ画素値に基づいて、色差値に相当する第１の画素値を求め、前記第２のＲＧＢ画素値に基づいて、輝度値に相当する第２の画素値を求め、前記第１、第２の画素値をＲＧＢ画素値に変換して最終的なＲＧＢ画素値を求めることを特徴とする撮像装置。
8. 請求項１乃至７のいずれかにおいて、
   第１のポジションに設定された前記加算単位と、前記第１のポジションの次の第２のポジションに設定された前記加算単位が重畳する場合に、
   前記推定演算部は、
   前記第１のポジションの加算画素値と、前記第２のポジションの加算画素値の差分値を求め、
   前記第１のポジションの加算単位から重畳領域を除いた第１の領域の加算画素値である第１の中間画素値と、前記第２のポジションの加算単位から前記重畳領域を除いた第２の領域の加算画素値である第２の中間画素値との関係式を、前記差分値を用いて表し、
   前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
9. 請求項８において、
   前記推定演算部は、
   前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記加算画素値を用いて表し、
   前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値とを比較して類似性を評価し、
   前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
10. 撮像画像を取得し、
    加算画素値を取得する単位である加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を取得し、
    前記加算画像を圧縮し、
    圧縮された前記加算画像を伸張し、
    伸張された前記加算画像に基づいて前記撮像画像の画素値を推定するとともに、
    前記推定演算部により推定された画素値に基づく高解像画像を出力する場合に、
    前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像のうちの第１〜第ｎ−１の加算画像を、前記加算画像として取得し、
    前記第１〜第ｎ−１の加算画像のうちの第ｋの加算画像（ｋはｎ−１以下の自然数）と第ｍの加算画像（ｍはｋ以外のｎ−１以下の自然数）の差分を、第ｍの差分画像として求め、前記第ｋの加算画像と前記第ｍの差分画像を圧縮し、
    圧縮された前記第ｋの加算画像と前記第ｍの差分画像を伸張して前記第１〜第ｎ−１の加算画像を求め、
    前記第１〜第ｎ−１の加算画像に基づいて前記第ｎの加算画像を補間により求め、求めた前記第ｎの加算画像と前記第１〜第ｎ−１の加算画像に基づいて前記撮像画像の画素値を推定することを特徴とする画像生成方法。

Images