JP2013126123A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】動きのある被写体と静止した被写体を高画質に高精細化可能な画像処理装置、撮像装置及び画像処理方法等を提供すること。
【解決手段】画像処理装置は、画像取得部、リサンプリング処理部、補間処理部、推定処理部を含む。画像取得部は、各フレーム毎に、第１加算単位群及び第２加算単位群の加算画素値を交互に取得する。リサンプリング処理部は、各フレームｆ_ｔ（ｔ＝Ｔ、Ｔ＋１、・・・）毎にリサンプリング値ａ_ｉｊ（ｔ）’を求める。補間処理部は、対象フレームｆ_Ｔ＋３で未取得の加算画素値ａ_ｉｊ（Ｔ＋３）を、対象フレームの前又は後のフレームで取得された加算画素値に基づいて補間するか否かを、リサンプリング値ａ_ｉｊ（ｔ）’の時系列的な変化に基づいて判定する。推定処理部は、加算画素値に基づいて画素値を推定する。
【選択図】 図２

Description

本発明は、画像処理装置、撮像装置及び画像処理方法等に関する。

ハイビジョン動画等の低解像画像から高精細画像を生成する手法として、種々の超解像処理が提案されている。例えば、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法や、特許文献１〜３に開示される手法等がある。

特開２００９−１２４６２１号公報 特開２００８−２４３０３７号公報 特開２０１１−１５１５６９号公報

さて、複数フレームの低解像画像を用いて超解像処理を行う（例えば特許文献３に開示される手法）と、動きのある被写体を超解像処理したときに例えば像流れが生じる等、画質が劣化するという課題がある。仮に１フレームの低解像画像を用いて超解像処理を行ったとすると、動きのある被写体については画質が改善すると考えられるが、静止した被写体については画質が低下する可能性があるという課題がある。

本発明の幾つかの態様によれば、動きのある被写体と静止した被写体を高画質に高精細化可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。

本発明の一態様は、加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第１加算単位群と第２加算単位群にグループ分けされる場合に、前記第１加算単位群及び前記第２加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得する画像取得部と、前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第１加算単位群及び前記第２加算単位群の各加算単位についてリサンプリング値を求めるリサンプリング処理部と、前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間する補間処理部と、前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定処理部と、を含む画像処理装置に関係する。

本発明の一態様によれば、各加算単位についてリサンプリング値が求められ、リサンプリング値の時系列的な変化に基づいて補間を行うか否かが判定される。補間を行うと判定された場合には、対象フレームで未取得の加算画素値が、対象フレームの前又は後のフレームで取得された加算画素値に基づいて補間される。そして、補間された加算画素値に基づいて、加算単位に含まれる画素の画素値が推定される。これにより、動きのある被写体と静止した被写体を高画質に高精細化することが可能になる。

また本発明の一態様では、前記補間処理部は、前記対象フレームでの前記リサンプリング値と、前記前又は後のフレームでの前記リサンプリング値との差が、所定値以下である場合、前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に基づいて補間してもよい。

また本発明の一態様では、前記補間処理部は、前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に置換することで、前記補間を行ってもよい。

また本発明の一態様では、前記補間処理部は、前記対象フレームでの前記未取得の加算画素値を、前記前及び後のフレームで取得された前記加算画素値に基づいて補間してもよい。

また本発明の一態様では、前記補間処理部により前記対象フレームでの前記未取得の加算画素値を補間しないと判定した場合、前記対象フレームで取得された前記加算画素値に基づいて前記未取得の加算画素値を補間する第２補間処理部を含んでもよい。

また本発明の一態様では、前記画像取得部は、前記対象フレームで、前記第１加算単位群の前記加算画素値を取得し、前記第２補間処理部は、前記第２加算単位群の前記加算画素値の候補として、複数の候補値を生成する候補値生成部と、前記第１加算単位群の前記加算画素値及び前記複数の候補値に基づいて、前記第２加算単位群の前記加算画素値の決定処理を行う決定処理部と、を有してもよい。

また本発明の一態様では、前記決定処理の対象である前記加算単位と共通の画素を有する前記加算単位を、重畳加算単位として含み、前記決定処理部は、前記複数の候補値の中から、前記画素値の定義域に基づく選択条件を満たす候補値を、前記重畳加算単位の前記加算画素値に基づいて選択し、選択した前記候補値に基づいて前記決定処理を行ってもよい。

また本発明の他の態様は、上記のいずれかに記載の画像処理装置を含む撮像装置に関係する。

また本発明の更に他の態様は、加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第１加算単位群と第２加算単位群にグループ分けされる場合に、前記第１加算単位群及び前記第２加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得し、前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第１加算単位群及び前記第２加算単位群の各加算単位についてリサンプリング値を求め、前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間し、前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する画像処理方法に関係する。

第１の補間手法についての説明図。 第１の補間手法についての説明図。 撮像装置の構成例。 画像処理装置の構成例。 第２の補間手法についての説明図。 図６（Ａ）、図６（Ｂ）は、第２の補間手法についての説明図。 第３の補間手法におけるルックアップテーブルの例。 第３の補間手法についての説明図。 最尤度補間手法についての説明図。 図１０（Ａ）、図１０（Ｂ）は、最尤度補間手法についての説明図。 図１１（Ａ）は、加算画素値と推定画素値についての説明図。図１１（Ｂ）は、中間画素値と推定画素値についての説明図。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．本実施形態の概要
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。しかしながら、ボタン操作が必要であるため、決定的瞬間の静止画をタイミングよく撮影することが難しいという課題がある。

この決定的瞬間の撮影を実現するために、超解像処理を利用して、撮影した動画から事後的に任意タイミングの高解像画像を生成する手法が考えられる。従来の超解像処理として、例えば上述のＭＬ法等や特許文献１に開示される手法がある。しかしながら、ＭＬ法等や特許文献１に開示される手法では、フィルタ演算の繰り返しにより処理負荷が大きいという課題があり、特許文献２に開示される手法では、画素値を推定する際に初期値を上手く特定できないと推定誤差が非常に大きくなるという課題がある。

そこで、本実施形態では、図１１（Ａ）、図１１（Ｂ）で後述する手法を用いて高解像画像を復元する。この手法では、互いに画素を共有する加算画素値ａ_ｉｊを、まず水平又は垂直方向のうち一方の方向に高解像化し、中間画素値ｂ_ｉｊを求める。そして、もう一方の方向に中間画素値ｂ_ｉｊを高解像化することにより、画素値ｖ_ｉｊを求める。この手法により、従来の超解像処理に比べて簡素な処理で高解像画像を得ることができる。

加算画素値ａ_ｉｊを取得する手法としては、例えば特許文献３に開示されるように、画素シフトを行いながらａ_００、ａ_１０、ａ_１１、ａ_０１をそれぞれ別個のフレームで時系列的に撮影する手法がある。この手法では、高解像画像を復元するために４フレームの低解像画像を用いることになるため、動きのある被写体では復元精度が低下するという課題がある。

そこで、本実施形態では、図５に示すように、１フレームで取得した既知の加算画素値（ａ_１０等）を用いて、そのフレームで取得されていない未知の加算画素値（ａ_１１等）を補間し、既知及び補間された加算画素値から高解像画像を復元する。このようにすれば、１フレームの低解像画像から復元を行うため、動きのある被写体に対して復元精度を向上（例えば像流れ等を抑制）できる。しかしながら、空間的な補間を行うため画像の高周波成分が失われる可能性があるという課題がある。

そこで、本実施形態では、図１に示すように既知の加算画素値に対してリサンプリング処理を行う。そして、図２に示すように、リサンプリング値の時間変化が小さい場合には、未知の加算画素値（例えばａ_ｉｊ（Ｔ＋３））を、前又は後のフレームにおける既知の加算画素値（例えばａ_ｉｊ（Ｔ＋２））で置換する。これにより、静止した被写体については前又は後ろのフレームから補間が行われるため、画像の高周波成分を維持することが可能となる。

２．第１の補間手法
次に、静止した被写体の加算画素値を前又は後ろのフレームから補間する手法について詳細に説明する。ここで、フレームとは、例えば撮像素子により画像が撮像されるタイミングや、画像処理において画像が処理されるタイミングである。あるいは、動画データにおける各画像も適宜フレームと呼ぶ。

なお以下では、撮像素子がベイヤ配列のカラーフィルターを有し、画素の色Ｒ、Ｇｒ、Ｇｂ、ＢのうちＧｒを例にとり説明するが、他の色についても同様の考え方を適用することができる。また、同色画素を加算する場合だけでなく、Ｒ、Ｇｒ、Ｇｂ、Ｂの異色画素を加算する場合にも同様の考え方を適用することができる。

図１に示すように、各フレームｆ_Ｔ、ｆ_Ｔ＋１、ｆ_Ｔ＋２、ｆ_Ｔ＋３・・・の撮影において、それぞれ市松状に加算画素値ａ_ｉｊが取得される。ｉ、ｊはゼロ以上の整数であり、それぞれ水平走査方向、垂直走査方向における画素ｖ_ｉｊの位置（又は座標）を表す。加算画素値ａ_ｉｊは、４つの画素値｛ｖ_ｉｊ，ｖ_{（ｉ＋２）ｊ}，ｖ_{（ｉ＋２）（ｊ＋２）}，ｖ_{ｉ（ｊ＋２）}｝が単純加算又は重み付け加算された値である。偶数フレームｆ_Ｔ、ｆ_Ｔ＋２・・・では、例えばａ_００、ａ_４０、ａ_２２、ａ_０４、ａ_４４が取得され、奇数フレームｆ_Ｔ＋１、ｆ_Ｔ＋３・・・では、例えばａ_２０、ａ_０２、ａ_４２、ａ_２４が取得される。

ここで、市松状とは、任意のｉ、ｊに対して全ての加算画素値ａ_ｉｊがそろった状態を完備な状態とすると、完備な加算画素値ａ_ｉｊのうちｉ、ｊともに１つおきに加算画素値ａ_ｉｊが取得された状態である。例えば、Ｇｒ画素では、ｉ＝２ａ、ｊ＝２ｂ（ａ、ｂはゼロ以上の整数）であり、全ての（ａ，ｂ）の組み合わせについてａ_ｉｊがそろった状態が完備な状態である。偶数フレームでは、（ａ，ｂ）が（偶数、偶数）及び（奇数、奇数）の組み合わせであるａ_ｉｊのみが取得される。奇数フレームでは、（ａ，ｂ）が（偶数、奇数）及び（奇数、偶数）の組み合わせであるａ_ｉｊのみが取得される。

次に、各フレームにおいて取得された既知の加算画素値ａ_ｉｊをリサンプリング（再サンプリング）し、加算画素値ａ_ｉｊ’の全てがそろった状態、つまり、完備なリサンプリング値ａ_ｉｊ’を得る。具体的には、各フレームにおいて取得されていない未知の加算画素値ａ_ｉｊを“０”とおき（アップサンプリング処理）、補間フィルタリング処理を行い、リサンプリング値ａ_ｉｊ’を求める。補間フィルタリング処理としては、例えばローパスフィルタ処理を用いればよい。

なお以下では、既知の加算画素値ａ_ｉｊを、適宜「実サンプリング値」とも呼ぶ。また、加算画素値ａ_ｉｊを、適宜「４画素加算値」とも呼ぶ。また、フレームｆ_ｔ（ｔ＝Ｔ、Ｔ＋１、・・・）における加算画素値をａ_ｉｊ（ｔ）と表す。

さて、高解像画像を復元するためには完備な４画素加算値が必要であるが、撮影で得られるのは市松状の実サンプリング値である。そのため、撮影で得られていない未知の４画素加算値を補間し、実サンプリング値と合わせて完備な４画素加算値とする必要がある。以下では、図２を用いて、未知の４画素加算値ａ_ｉｊ（ｔ）を補間する手法について説明する。

被写体を撮影した動画では、被写体の動きに応じてフレーム間で画素値が変化するが、その変化は元の高精細画像においても、それを低解像化した画像においても、大きく違いは無いであろうと思われる。即ち、フレーム間における４画素加算値ａ_ｉｊ（ｔ）の変化を観測すれば、被写体の動きを判定できる。

同一位置（ｉ，ｊ）の実サンプリング値ａ_ｉｊ（ｔ）は、１フレームおきにしか得られていないので、位置（ｉ，ｊ）においてフレーム間に動きがあるか否かをリサンプリング値ａ_ｉｊ（ｔ）’に基づいて判定する。具体的には、隣接するフレーム間においてリサンプリング値ａ_ｉｊ（ｔ）’の変化がほとんどない場合には、位置（ｉ，ｊ）において被写体に動きがないと判定する。例えば、フレームｆ_Ｔとｆ_Ｔ＋１の間の期間Ｔ〜Ｔ＋１では、下式（１）を満たす場合に像静止期間であると判定する。ここで、ｄは所定値である。

像静止期間では、４画素加算値ａ_ｉｊ（ｔ）の真値においても変化が小さく、同一値を取る確率が高いと考えられる。そのため、フレームｆ_ｔにおいて取得されていない未知の４画素加算値を、像静止期間内のフレームにおいて取得されている実サンプリング値ａ_ｉｊ（ｔ）で置換する。例えば、像静止期間［Ｔ＋２≦ｔ≦Ｔ＋３］では、実サンプリング値ａ_ｉｊ（Ｔ＋２）が存在するので、未知の４画素加算値ａ_ｉｊ（Ｔ＋３）を実サンプリング値ａ_ｉｊ（Ｔ＋２）で置換する。また、像静止期間［Ｔ＋５≦ｔ≦Ｔ＋６］では、実サンプリング値ａ_ｉｊ（Ｔ＋６）が存在するので、未知の４画素加算値ａ_ｉｊ（Ｔ＋５）を実サンプリング値ａ_ｉｊ（Ｔ＋６）で置換する。このようにすれば、像静止期間において、未知の４画素加算値と真値との誤差を小さくできる。

隣接するフレーム間においてリサンプリング値ａ_ｉｊ（ｔ）’の変化が大きい場合には、位置（ｉ，ｊ）において被写体に動きがあると判定する。例えば、フレームｆ_Ｔとｆ_Ｔ＋１の間の期間Ｔ〜Ｔ＋１では、下式（２）を満たす場合に像ずれ期間であると判定する。

像ずれ期間では、フレーム内の補間が良好でないため誤差バラツキを生じているのか、フレーム間の動きによって誤差バラツキを生じているのか不確定であるので、フレーム内で補間した値を未知の４画素加算値として採用すればよい。フレーム内で補間した値は、例えばリサンプリング値ａ_ｉｊ（ｔ）’を採用すればよい。あるいは、図５〜図１０で後述する補間手法により得られる補間値を採用してもよい。

以上では時間軸に沿って説明したが、各フレームについてみれば、位置（ｉ，ｊ）に依って像静止期間に該当する位置と像ずれ期間に該当する位置が混在している。即ち、各フレームの置換後の画像では、実サンプリング値とフレーム内補間値とが混在した画像となっている。同一フレーム画像では、動きのある像に対応する未知の４画素加算値にはフレーム内補間値が適用され、動きのない像に対応する未知の４画素加算値には実サンプリング値が適用されている。

以上のようにして完備な４画素加算値ａ_ｉｊ（ｔ）が得られ、その完備なａ_ｉｊ（ｔ）に対して復元処理を適用することで、高精細画像の画素値ｖ_ｉｊを推定する。復元処理については、図１１（Ａ）、図１１（Ｂ）で詳細に後述する。より詳細には、特開２０１１−１５１５６９号公報に記載されている。

３．第１の補間手法の変形例
上記では、動きのない像に対応する４画素加算値に限って時間軸方向（フレーム間）の補間を適用したが、本実施形態では、動きが緩やかな場合、即ち線形的な変化をする場合についても時間軸方向（フレーム間）の補間を行ってもよい。例えば、隣接するフレーム間におけるリサンプリング値ａ_ｉｊ（ｔ）’の変化がほぼ一定の場合、実サンプリング値の平均値を補間値としてもよい。例えば、期間Ｔ〜Ｔ＋２において下式（３）を満たす場合には、実サンプリング値ａ_ｉｊ（Ｔ）、ａ_ｉｊ（Ｔ＋２）の平均値を、ａ_ｉｊ（Ｔ＋１）として採用してもよい。なお、平均値に限らず一般的な補間処理を適用しても構わない。

また上記では、像ずれ期間においてリサンプリング値ａ_ｉｊ（ｔ）’を採用したが、本実施形態では、図５〜図１０で後述する第２又は第３の補間手法により補間を行ってもよい。この場合、処理順序として、まず上記の第１の補間手法を使って前又は後のフレームから実サンプリング値で補間し、残りの未知の４画素加算値に対して、後述する第２の補間手法によりフレーム内補間を行い、全ての４画素加算値を求める手順が有効である。なぜならば、フレーム内の補間は空間的周波数がいずれの方向に対しても高い場合については補間精度が良くない。第１の補間手法のように時間方向において精度良く補間ができれば、空間的周波数が高くても高精度に補間ができるからである。

４．撮像装置、画像処理装置の構成例
図３に、撮像装置の構成例を示す。図３に示す撮像装置は、レンズ１０、撮像素子２０、加算処理部３０、データ圧縮部４０、データ記録部５０、動画フレーム生成部６０、モニタ表示部７０を含む。

撮像素子２０は、レンズ１０により結像された被写体像を撮影し、画素値ｖ_ｉｊを出力する。例えば撮像素子２０は、ベイヤ配列のカラーフィルターを有する。加算処理部３０は、画素値ｖ_ｉｊを各色毎に加算し、加算画素値ａ^Ｒ _ｉｊ、ａ^Ｇｒ _ｉｊ、ａ^Ｇｂ _ｉｊ、ａ^Ｂ _ｉｊを出力する。加算画素値は、例えば市松状に取得される。データ圧縮部４０は、加算画素値ａ^Ｒ _ｉｊ、ａ^Ｇｒ _ｉｊ、ａ^Ｇｂ _ｉｊ、ａ^Ｂ _ｉｊをデータ圧縮処理する。データ記録部５０は、圧縮データを記録する。例えばデータ記録部５０は、メモリカード等の外部メモリにより構成される。

動画フレーム生成部６０は、加算画素値ａ^Ｒ _ｉｊ、ａ^Ｇｒ _ｉｊ、ａ^Ｇｂ _ｉｊ、ａ^Ｂ _ｉｊを、例えばハイビジョンの画素数にリサンプリング処理する。動画フレーム生成部６０は、リサンプリング処理後の画素をデモザイキング処理し、表示用のＲＧＢ画像データＲ_ｉｊ、Ｇ_ｉｊ、Ｂ_ｉｊを出力する。動画フレーム生成部６０は、デモザイキング処理後の画像に対して、更に種々の画像処理（例えば、高画質化処理等）を行ってもよい。モニタ表示部７０は、例えば液晶表示装置であり、ＲＧＢ画像データＲ_ｉｊ、Ｇ_ｉｊ、Ｂ_ｉｊを表示する。

図４に、上記の撮像装置により撮影された加算画素値から高解像画像を復元処理する画像処理装置の構成例を示す。図４に示す画像処理装置は、データ記録部１１０、データ伸張部１１５、伸張データ記憶部１２０、モニタ画像生成部１２５、モニタ画像表示部１３０、画像データ選択部１３５、選択フレーム記憶部１４０、補間処理部１４５、第２補間処理部１５０、高精細画像復元推定部１６０、高精細画像生成部１７０、高精細画像データ記録部１８０、画像出力部１９０を含む。

画像処理装置として、例えば撮像装置とは別体の情報処理装置（例えばＰＣ等）や、撮像装置に内蔵された画像処理装置（例えば画像処理エンジン等）が想定される。

データ記録部１１０には、撮像装置により記録された圧縮データが記録されている。例えば、データ記録部１１０は、メモリカードを挿入可能なリーダ／ライタにより構成される。データ伸張部１１５は、データ記録部１１０から読み出した圧縮データを伸張処理し、加算画素値ａ^Ｒ _ｉｊ、ａ^Ｇｒ _ｉｊ、ａ^Ｇｂ _ｉｊ、ａ^Ｂ _ｉｊを伸張データ記憶部１２０に出力する。伸張データ記憶部１２０は、例えば画像処理装置に内蔵されたメモリ（例えばＲＡＭ等）により構成される。

モニタ画像生成部１２５は、伸張データ記憶部１２０から読み出した加算画素値から表示用のＲＧＢ画像を生成し、モニタ画像表示部１３０は、そのＲＧＢ画像を表示する。ユーザー（操作者）は、モニタに表示された動画を見ながら、高精細静止画が欲しいフレームを、図示しないユーザインターフェースを介して指示する。画像データ選択部１３５は、指示されたフレームのＩＤを、選択フレームＩＤとして伸張データ記憶部１２０に出力する。伸張データ記憶部１２０は、選択フレームＩＤに対応するフレーム及びその前後フレームのデータを選択フレーム記憶部１４０に出力する。選択フレーム記憶部１４０は、例えば伸張データ記憶部１２０と同一の内蔵メモリとして構成される。

補間処理部１４５は、図１、図２で説明した第１の補間手法により補間処理を行う。補間処理部１４５は、リサンプリング処理部１４６、像静止期間検出部１４７、加算画素値置換部１４８を含む。

リサンプリング処理部１４６は、選択フレーム及びその前後フレームの加算画素値ａ^Ｒ _ｉｊ、ａ^Ｇｒ _ｉｊ、ａ^Ｇｂ _ｉｊ、ａ^Ｂ _ｉｊを実サンプリング値として、リサンプリング処理を行い、リサンプリング値を求める。像静止期間検出部１４７は、リサンプリング値に基づいて像静止期間を検出し、選択フレームにおける未知の加算画素値の位置（ｉ，ｊ）うち、実サンプリング値で置換する位置（ｉ，ｊ）の情報を出力する。加算画素値置換部１４８は、置換位置（ｉ，ｊ）の加算画素値を実サンプリング値に置換する。加算画素値置換部１４８は、置換した加算画素値と、選択フレームで元々取得されていた実サンプリングとを、第２補間処理部１５０に出力する。

第２補間処理部１５０は、補間処理部１４５で補間されなかった加算画素値を補間する。この補間手法については、図５〜図１０で詳細に後述する。第２補間処理部１５０は、候補値生成部１５１、補間値選択部１５２、補間値充当部１５３を含む。

候補値生成部１５１は、未知の加算画素値について複数の候補値を生成する。補間値選択部１５２は、各候補値から推定した中間画素値や高解像画素値について、定義域の判定を行い、定義域に矛盾しない候補値から補間値を求める。補間値充当部１５３は、求めた補間値と既知の加算画素値とを合わせて、復元処理に必要な完備な加算画素値を生成する。

高精細画像復元推定部１６０は、復元処理を行い、高精細画像の画素値ｖ_ｉｊを推定する。復元処理については、図１１（Ａ）、図１１（Ｂ）で詳細に後述する。高精細画像生成部１７０は、ベイヤ配列の画素値ｖ_ｉｊに対してデモザイキング処理を行い、ＲＧＢの高精細画像を生成する。高精細画像生成部１７０は、ＲＧＢの高精細画像に対して、種々の画像処理（例えば高画質化処理）を行ってもよい。高精細画像データ記録部１８０は、ＲＧＢの高精細画像を記録する。例えば、高精細画像データ記録部１８０は、データ記録部１１０と同一のリーダ／ライタにより構成される。画像出力部１９０は、高精細画像データを外部に出力するためのインターフェース部である。例えば、画像出力部１９０は、プリンター等の高精細画像を出力可能なデバイスに対して、データを出力する。

なお、本実施形態は図３、４の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、データ圧縮部４０や、データ伸張部１１５を省略してもよい。また、加算処理部３０の機能が撮像素子２０に内蔵され、撮像素子２０が加算画素値を出力してもよい。また、第２補間処理部１５０は、ルックアップテーブルにより補間値を選択してもよい。この場合、候補値生成部１５１を省略し、補間値選択部１５２が、図示しないルックアップテーブル記憶部を参照して補間値を決めればよい。

以上の実施形態によれば、画像処理装置は、画像取得部、リサンプリング処理部、補間処理部、推定処理部を含む。図１に示すように、加算画素値ａ_ｉｊを取得する単位である加算単位が複数の画素（例えば４画素）毎に設定される。加算単位は、第１加算単位群（例えば｛ａ_００、ａ_４０、ａ_２２、ａ_０４、ａ_４４｝）と第２加算単位群（例えば｛ａ_２０、ａ_０２、ａ_４２、ａ_２４｝）にグループ分けされる。

この場合に、画像取得部は、第１加算単位群及び第２加算単位群の加算画素値を、複数のフレームの各フレームｆ_ｔ（ｔ＝Ｔ、Ｔ＋１、・・・）毎に交互に取得する。リサンプリング処理部は、各フレーム毎に、取得された加算画素値ａ_ｉｊ（ｔ）（実サンプリング値）に対してリサンプリング処理を行い、第１加算単位群及び第２加算単位群の各加算単位についてリサンプリング値ａ_ｉｊ（ｔ）’を求める。図２で説明したように、補間処理部は、複数のフレームの中の対象フレーム（補間処理の対象となるフレーム。例えばｆ_Ｔ＋３）で未取得の加算画素値（未知の加算画素値ａ_ｉｊ（Ｔ＋３））を、対象フレームの前又は後のフレーム（例えば前のフレームｆ_Ｔ＋２）で取得された加算画素値に基づいて補間するか否かを、リサンプリング値ａ_ｉｊ（ｔ）’の時系列的な変化に基づいて判定し、未取得の加算画素値（ａ_ｉｊ（Ｔ＋３））を補間する。推定処理部は、対象フレームで取得された加算画素値、及び対象フレームで補間処理部により補間した加算画素値に基づいて、加算単位に含まれる画素の画素値ｖ_ｉｊを推定する。

例えば本実施形態では、図４に示すように、データ記録部１１０からデータを読み出す不図示の読み出し部が、画像処理装置の画像取得部に対応する。即ち、図３に示すように、撮像装置の加算処理部３０が第１、第２加算単位群を設定し、第１加算単位群の加算画素値を取得する。図４に示すように、画像処理装置は、そのデータをデータ記録部１１０から読み出すことにより、加算画素値（実サンプリング値）を取得する。また、リサンプリング処理部は図４のリサンプリング処理部１４６に対応し、補間処理部は図４の像静止期間検出部１４７、加算画素値置換部１４８に対応し、推定処理部は、図４の高精細画像復元推定部１６０に対応する。

このようにすれば、リサンプリング値ａ_ｉｊ（ｔ）’の時系列的な変化を見ることで、位置（ｉ，ｊ）において被写体に動きがあるか否かを判定できる。動きが小さいと判定した場合に、前又は後のフレームにおいて取得された加算画素値に基づいて補間することで、真値に近いと推定される値で未知の４画素加算値を補間できる。これにより、画像の中で動きが小さい領域について、復元画像の高周波成分を改善できる。

また本実施形態では、補間処理部は、対象フレーム（例えばｆ_Ｔ＋３）でのリサンプリング値（ａ_ｉｊ（Ｔ＋３）’）と、前又は後のフレーム（例えば前のフレームｆ_Ｔ＋２）でのリサンプリング値（ａ_ｉｊ（Ｔ＋２）’）との差が、所定値ｄ以下である場合、対象フレームでの未取得の加算画素値（ａ_ｉｊ（Ｔ＋３））を、前又は後のフレームで取得された加算画素値（ａ_ｉｊ（Ｔ＋２））に基づいて補間する。

より具体的には、補間処理部は、対象フレームでの未取得の加算画素値（ａ_ｉｊ（Ｔ＋３））を、前又は後のフレームで取得された加算画素値（ａ_ｉｊ（Ｔ＋２））に置換することで、補間を行う。

このようにすれば、隣接フレームにおけるリサンプリング値の差が所定値ｄ以下である場合に、位置（ｉ，ｊ）において被写体の動きが小さいと判定できる。また、前又は後のフレームにおいて取得された加算画素値そのものを補間値とすることで、真値に近いと推定される加算画素値を補間値にできる。

また本実施形態では、上式（３）で説明したように、補間処理部は、対象フレームでの未取得の加算画素値（例えばａ_ｉｊ（Ｔ＋１））を、前及び後のフレームで取得された加算画素値（ａ_ｉｊ（Ｔ）、ａ_ｉｊ（Ｔ＋２））に基づいて補間してもよい。

このようにすれば、被写体が少し動いており加算画素値が線形に変化する場合に、前後フレームの加算画素値から補間値を求めることで、より正確な補間値を採用することが可能になる。

５．第２の補間手法
次に、第１の補間手法で補間されなかった未知の加算画素値を補間する手法について詳細に説明する。なお以下では、未知の加算画素値ａ_１１が第１の補間手法で補間されなかった場合を例に説明するが、他の未知の４画素加算値ａ_ｉｊが第１の補間手法で補間されなかった場合についても同様である。

図５に示すように、未知の加算画素値ａ_１１は、隣接する既知の４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝を用いて補間する。隣接する４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝は、未知の４画素加算値ａ_１１と画素を共有しており、一方の値が変化すれば他方の値も変化する関係にある。この従属関係により尤度の高い補間値を求めることが可能となる。この点については、詳細に後述する。

まず、未知の４画素加算値ａ_１１に対して複数の候補値ａ_１１［ｘ］＝ａ_１１［１］〜ａ_１１［Ｎ］を生成する。Ｎは自然数であり、ｘはＮ以下の自然数である。候補値ａ_１１［ｘ］は、４画素加算値ａ_ｉｊの定義域（広義には所定の範囲）内の値である。例えば、Ｍを自然数として、画素値ｖ_ｉｊの定義域が［０，１，・・・，Ｍ−１］である場合、４画素加算値ａ_ｉｊの定義域は［０，１，・・・，４Ｍ−１］である。この場合、Ｎ＝４Ｍとし、定義域の全ての値を候補値ａ_１１［１］〜ａ_１１［４Ｍ］＝０〜４Ｍ−１として発生させる。

次に、候補値ａ_１１［ｘ］と４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝を用いて、各候補値についてそれぞれ８つの２画素加算値を推定する。具体的には、図６（Ａ）に示すように、水平方向において、４画素加算値｛ａ_０１，ａ_１１［ｘ］｝より２画素加算値｛ｂ_０１［ｘ］，ｂ_１１［ｘ］｝を推定し、４画素加算値｛ａ_１１［ｘ］，ａ_２１｝より２画素加算値｛ｂ_２１［ｘ］，ｂ_３１［ｘ］｝を推定する。また、垂直方向において、４画素加算値｛ａ_１０，ａ_１１［ｘ］｝より２画素加算値｛ｂ_１０［ｘ］，ｂ_１１［ｘ］｝を推定し、４画素加算値｛ａ_１１［ｘ］，ａ_１２｝より２画素加算値｛ｂ_１２［ｘ］，ｂ_１３［ｘ］｝を推定する。２画素加算値（広義には中間画素値）の推定手法については、図１１（Ａ）、図１１（Ｂ）で詳細に後述する。

次に、候補値ａ_１１［ｘ］から求めた８つの２画素加算値が、２画素加算値の取り得る範囲に矛盾するか否かを判定する。例えば、画素値ｖ_ｉｊの定義域が［０，１，・・・，Ｍ−１］である場合、２画素加算値ｂ_ｉｊの定義域は［０，１，・・・，２Ｍ−１］である。この場合、８つの２画素加算値の中で１つでも下式（４）を満たさないものがあれば、その候補値ａ_１１［ｘ］は、それに対応する２画素加算値が理論上成立しないということであるため、ａ_１１［ｘ］を候補値から除外する。

残った候補値が１つである場合には、その候補値を補間値ａ_１１とする。残った候補値が複数である場合には、その複数の候補値から補間値ａ_１１を求める。例えば、残った候補値の中で、隣接する４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝の平均値に最も近い値を、補間値ａ_１１とする。

補間値ａ_１１が決まると、既知の４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝と合わせて完備な４画素加算値ａ_ｉｊが得られる。この完備な４画素加算値ａ_ｉｊに対して復元処理を適用することで、元の高解像画像の画素値ｖ_ｉｊを推定する。

以上の実施形態によれば、図４に示すように、画像処理装置は第２補間処理部１５０を含む。第２補間処理部１５０は、補間処理部１４５により対象フレームでの未取得の加算画素値（未知の加算画素値）を補間しないと判定した場合、対象フレームで取得された加算画素値（既知の加算画素値）に基づいて未取得の加算画素値を補間する。

このようにすれば、画像の中で被写体に動きがある領域についてはフレーム内で補間を行うことができる。これにより、被写体に動きがある領域については、１フレームの加算画素値に基づいて高解像画像を復元できるため、複数フレームの加算画素値を用いる場合よりも、より被写体の動きに強い復元処理が可能になる。

また本実施形態では、図４に示すように、画像処理装置は、候補値生成部１５１、決定処理部（候補値選択部１５２）を含む。図５に示すように、画像取得部は、対象フレームで第１加算単位群の加算画素値｛ａ_１０、ａ_０１、ａ_２１、ａ_１２｝を取得する。候補値生成部１５１は、第２加算単位群の加算画素値（例えばａ_１１）の候補として、複数の候補値ａ_１１［１］〜ａ_１１［Ｎ］を生成する。決定処理部は、第１加算単位群の加算画素値｛ａ_１０、ａ_０１、ａ_２１、ａ_１２｝及び複数の候補値ａ_１１［１］〜ａ_１１［Ｎ］に基づいて、第２加算単位群の加算画素値ａ_１１を決定する処理を行う。

さて、１フレームのみを用いれば、複数フレームを用いる場合よりも、復元処理に用いるデータ量（加算画素値の数）が少なくなる可能性があり、データ量が少なければ復元処理の精度が低下する可能性がある。この点、本実施形態によれば、第２加算単位群を補間する際に複数の候補値を生成し、その中から、真値に近いと推定される高尤度の候補値を選択できる。これにより、少ないデータ量であっても復元精度を向上可能である。

なお、本実施形態では、加算画素値ａ_ｉｊが複数の画素値を加算した値であり、その複数の画素値を復元する場合を例に説明したが、加算画素値ａ_ｉｊが１画素の画素値であり、その１画素を分割した複数画素の画素値を推定する場合にも適用可能である。即ち、撮像素子の画素ピッチ（例えばｐ）よりも小さいシフト量（例えばｐ／２）で機械的な画素シフトを行いながら画像を撮影し、その画像の１画素を加算画素値ａ_ｉｊに対応させ、その１画素をシフト量に応じて分割した複数画素（例えば２^２＝４画素）を推定すればよい。

また本実施形態では、図５に示すように、第１加算単位群は、決定処理の対象である加算単位（例えばａ_１１）と共通の画素を有する加算単位を、重畳加算単位（｛ａ_１０、ａ_０１、ａ_２１、ａ_１２｝）として含む。決定処理部は、複数の候補値ａ_１１［１］〜ａ_１１［Ｎ］の中から、画素値ｖ_ｉｊの定義域［０〜Ｍ−１］に基づく選択条件（例えば上式（４））を満たす候補値を、重畳加算単位の加算画素値（｛ａ_１０、ａ_０１、ａ_２１、ａ_１２｝）に基づいて選択し、選択した候補値に基づいて決定処理を行う（例えば選択された複数の候補値の平均値を最終的な値に決定する）。

このようにすれば、決定処理の対象である加算画素値ａ_１１と、それに隣接する重畳加算画素値｛ａ_１０、ａ_０１、ａ_２１、ａ_１２｝とが、共通の画素を有することにより従属するため、定義域に矛盾しない候補値を選択することで候補値を絞ることができる。この点については、図９、図１０で詳細に後述する。

より具体的には、加算単位は、複数の画素としてｍ×ｍ画素（ｍは２以上の自然数。例えばｍ＝２）を含む。この場合に、選択条件は、１×ｍ画素又はｍ×１画素の画素値が加算された値である中間画素値ｂ_ｉｊが、画素値ｖ_ｉｊの定義域［０〜Ｍ−１］に矛盾しないという条件（上式（４））である。決定処理部は、複数の候補値の各候補値ａ_１１［ｘ］それぞれについて、各候補値ａ_１１［ｘ］及び重畳加算単位の加算画素値（｛ａ_１０、ａ_０１、ａ_２１、ａ_１２｝）に基づいて中間画素値ｂ_ｉｊ［ｘ］を求め、求めた中間画素値ｂ_ｉｊ［ｘ］が選択条件を満たす候補値ａ_１１［ｘ］を選択する。

このようにすれば、選択条件を満たす候補値を、重畳加算単位の加算画素値（｛ａ_１０、ａ_０１、ａ_２１、ａ_１２｝）に基づいて選択することができる。また、図１１（Ａ）、図１１（Ｂ）で後述するように、隣接する加算単位が共通の画素を有することにより中間画素値ｂ_ｉｊを推定することが可能となり、その中間画素値ｂ_ｉｊを用いて候補値を選択することが可能となる。

また、本実施形態では、候補値生成部は、画素値ｖ_ｉｊの定義域［０〜Ｍ−１］に基づいて加算画素値ａ_ｉｊが取り得る範囲［０〜４Ｍ−１］内の各値を、複数の候補値ａ_１１［１］〜ａ_１１［Ｎ＝４Ｍ］＝０〜４Ｍ−１として生成する。

このようにすれば、加算画素値ａ_ｉｊが取り得るあらゆる値の中から、真値に近いと推定される高尤度の候補値を選択することが可能となる。

６．第３の補間手法
次に、ルックアップテーブルを用いて未知の４画素加算値ａ_１１を補間する手法について説明する。

この補間手法では、上記の第２の補間手法を用いて予めルックアップテーブルを用意しておく。具体的には、隣接する４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝として取り得る全ての組み合わせについて第２の補間手法を適用し、２画素加算値ｂ_ｉｊの定義域を満足する候補値ａ_１１［ｘ］を絞り込む。この結果、４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝と候補値ａ_１１［ｘ］の全ての取り得る組み合わせが求まる。

図７に示すように、この組み合わせを候補値ａ_１１［ｘ］について整理し、テーブル化する。即ち、ａ_１１［１］’〜ａ_１１［Ｎ］’＝１〜Ｎとすると、ａ_１１［ｘ］’には、ａ_１１［ｘ］’を候補値として持つ４画素加算値｛ａ_０１［ｘ］，ａ_１０［ｘ］，ａ_２１［ｘ］，ａ_１２［ｘ］｝が対応することになる。同一のａ_１１［ｘ］’に対して、複数の｛ａ_０１［ｘ］，ａ_１０［ｘ］，ａ_２１［ｘ］，ａ_１２［ｘ］｝の組み合わせが対応することもあり得る。このようにテーブル化しておけば、処理の高速化の点で有効である。

実際に撮影された既知の４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝から補間値ａ_１１を求める際には、まず、それらの４画素加算値とのユークリッド距離がゼロになるような４画素加算値｛ａ_０１［ｘ］，ａ_１０［ｘ］，ａ_２１［ｘ］，ａ_１２［ｘ］｝を、ルックアップテーブルから探索する。そして、探索した４画素加算値に対応するａ_１１［ｘ］’を、未知の４画素加算値ａ_１１の補間値とすればよい。

このとき、既知の４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝の組合せパターンに対して、複数のａ_１１［ｘ］’が探索される場合がある。その場合、探索された複数のａ_１１［ｘ］’をａ_１１［ｘ１］’，ａ_１１［ｘ２］’，・・・，ａ_１１［ｘｎ］’（ｎは自然数）とすれば、下式（５）に示すように、それらの平均値をとって補間値ａ_１１とすればよい。

また、既知の４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝の組合せパターンが余りにも多すぎる場合がある。その場合、各成分の量子化を粗くした上で組合せパターンを削減した粗い離散パターンにしておき、隣接する既知の４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝が与えられたとき、それらとのユークリッド距離が最も近くなるような｛ａ_０１［ｘ］，ａ_１０［ｘ］，ａ_２１［ｘ］，ａ_１２［ｘ］｝を探索するようにしてもよい。

具体的には、次のように探索すればよい。即ち、既知の値からなるパターン（ベクトル）をＶ＝（ａ_０１，ａ_１０，ａ_２１，ａ_１２）とし、未知の４画素加算値ａ_１１［ｘ］を変数として推定した値からなるパターンをＶ［ｘ］＝（ａ_０１［ｘ］，ａ_１０［ｘ］，ａ_２１［ｘ］，ａ_１２［ｘ］）とする。下式（６）に示すように、ＶとＶ［ｘ］の距離を誤差とする評価値Ｅ［ｘ］を求める。この評価値Ｅ［ｘ］が最小になるような推定値ａ_１１［ｘ］を、尤もらしい補間値ａ_１１と判定し選択する。

未知の４画素加算値ａ_１１［ｘ］と、隣接する既知の４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝とは、互いに画素値が共有された重畳シフト加算値であるので、従属性が高く、且つ加算する元の画素値ｖ_ｉｊの取り得る範囲も限定されている。したがって、４画素加算値ａ_１１［ｘ］が決まれば、隣接する４画素加算値として推定されるパターンＶ［ｘ］＝（ａ_０１［ｘ］，ａ_１０［ｘ］，ａ_２１［ｘ］，ａ_１２［ｘ］）も所定の範囲で限定される。そのため、その推定パターンＶ［ｘ］と既知の４画素加算値パターンＶとが合致または類似性が最大になるような未知の４画素加算値ａ_１１［ｘ］を見つければ、それを補間値ａ_１１の最尤度値とおおよそ見なす（判別）ことが可能である。

即ち、図８に示すように、未知の４画素加算値ａ_１１［ｘ］の変数に対し、上式（６）の誤差評価値Ｅ［ｘ］が最小となるときの４画素加算値ａ_１１［ｘ］を、最も尤度が高い補間値ａ_１１として特定する。なお、推定値パターンＶ［ｘ］と既知の４画素加算値パターンＶが一致した場合であっても、該当する未知の４画素加算値ａ_１１［ｘ］が複数出現し、必ずしも一意的に特定できない場合がある。この場合、下記（ｉ）、（ii）のいずれかの手法により、補間値ａ_１１を決定すればよい。
（ｉ）ルックアップテーブルから得られた複数の候補値ａ_１１［ｘ］の中から、隣接する既知の４画素加算値｛ａ_０１，ａ_１０，ａ_２１，ａ_１２｝の平均値により近い値を、補間値ａ_１１として選択する。
（ii）ルックアップテーブルから得られた複数の候補値ａ_１１［ｘ］の平均値を、補間値ａ_１１とする。

７．最尤度補間手法
上述した第２、第３の補間手法では、最も真値に近いと推定される最尤度の補間値ａ_１１が決定される。この点について、原理的に説明する。

図９に示すように、水平方向のサフィックスを“Ｘ”で表し、垂直方向のサフィックスを“Ｙ”で表し、簡単のため一方の方向について説明する場合には他方の方向についてサフィックスを省略する。画素や２画素加算値ｂ_Ｘ、ｂ_Ｙに施したハッチングは、画素値を模式的に表したものであり、濃度が小さいハッチングほど画素値が大きい（明るい）ことを表す。

４画素加算値ａ_Ｘ＋１＝ａ_Ｙ＋１は補間値であり、４画素加算値ａ_Ｘ、ａ_Ｘ＋２、ａ_Ｙ、ａ_Ｙ＋２は、既知の４画素加算値である。水平方向では４画素加算値ａ_Ｘ〜ａ_Ｘ＋２から２画素加算値ｂ_Ｘ〜ｂ_Ｘ＋３が推定され、垂直方向では４画素加算値ａ_Ｙ〜ａ_Ｙ＋２から２画素加算値ｂ_Ｙ〜ｂ_Ｙ＋３が推定される。

図１０（Ａ）に、補間値ａ_Ｘ＋１が取り得る範囲を表した概念図を示す。図１０（Ａ）に示すように、ｂ_Ｘ〜ｂ_Ｘ＋３を４つの軸として表すとする。既知の４画素加算値ａ_Ｘは、下式（７）で表されることから、ベクトル（ｂ_Ｘ，ｂ_Ｘ＋１）を（１，１）軸に射影したものである。即ち、既知の４画素加算値ａ_Ｘが与えられたときに取り得る（ｂ_Ｘ，ｂ_Ｘ＋１）は、ラインＬ１上に存在することになる。同様に、既知の４画素加算値ａ_Ｘ＋２が与えられたときに取り得る（ｂ_Ｘ＋２，ｂ_Ｘ＋３）は、ラインＬ２上に存在する。なお図面では、ａ_Ｘに（１／√２）を乗じて規格化して表している。

以上により（ｂ_Ｘ＋１，ｂ_Ｘ＋２）の取り得る範囲Ｑ_１が決まるので、その範囲を射影した４画素加算値ａ_Ｘ＋１の取り得る範囲Ｒ_１が決まる。第２の補間手法を例にとれば、４画素加算値ａ_Ｘ＋１＝ａ_１１の候補値として定義域の全ての値を発生し、各候補値についてｂ_Ｘ〜ｂ_Ｘ＋３を推定する。図１０（Ａ）に示すように、その推定値の中で範囲Ｑ_１を満たさないものを（ｂ_Ｘ＋１’，ｂ_Ｘ＋２’）とすれば、既知のａ_Ｘに対する（ｂ_Ｘ’，ｂ_Ｘ＋１’）の射影を考えるとｂ_Ｘ’が負の値にならなければならない。このようなｂ_Ｘ’は定義域を満たさないことから、（ｂ_Ｘ＋１’，ｂ_Ｘ＋２’）に対応する候補値は除外されることになる。即ち、範囲Ｒ_１を満たす候補値のみが候補として残ることになる。

このように未知の４画素加算値ａ_Ｘ＋１の取り得る範囲Ｒ_１を絞ることができるのは、隣接する４画素加算値ａ_Ｘと画素を共有しており、共有部分の２画素加算値ｂ_Ｘ＋１を介してａ_Ｘ＋１とａ_Ｘの値が従属しているからである。

図１０（Ｂ）に、垂直方向において補間値ａ_Ｙ＋１が取り得る範囲を表した概念図を示す。水平方向における４画素加算値ａ_Ｘ＋１と同様にして、４画素加算値ａ_Ｙ＋１の取り得る範囲Ｒ_２が決まる。ａ_Ｘ＋１＝ａ_Ｙ＋１であるから、範囲Ｒ_１とＲ_２の共通領域が、補間値ａ_Ｘ＋１＝ａ_Ｙ＋１として取り得る範囲となる。図９に示すように、ハッチングで表した画素値を考慮すれば、水平方向では既知のａ_Ｘ、ａ_Ｘ＋２が中間値になっている。このような場合、図１０（Ａ）に示すように範囲Ｒ_１が比較的広くなり、補間値ａ_Ｘ＋１の範囲が絞れない。一方、図９に示すように、垂直方向では既知のａ_Ｙ、ａ_Ｙ＋２が小さい。このような場合、図１０（Ｂ）に示すように範囲Ｒ_２が比較的狭くなり、補間値ａ_Ｙ＋１の範囲が絞られる。このように、２つの異なる方向において定義域の判定を行うことにより、補間値の取り得る範囲、即ち候補値の数を絞ることが可能となる。

さて、図１０（Ｂ）に示すように、（ｂ_Ｙ＋１，ｂ_Ｙ＋２）が真値に一致する確率が範囲Ｑ_２において均一に分布していると仮定する。この場合、（ｂ_Ｙ＋１，ｂ_Ｙ＋２）の射影である補間値ａ_Ｙ＋１が真値である確率は、Ｐ_Ｙ＋１に示すように範囲Ｒ_２の中央付近において最大となる。そのため、定義域の判定により複数の候補値が残った場合には、その平均値を補間値ａ_Ｙ＋１とすれば、Ｐ_Ｙ＋１が最大付近となる補間値ａ_Ｙ＋１を設定することが可能である。

８．復元処理
上述の補間処理により得られた加算画素値から高解像画像を復元推定する処理について詳細に説明する。なお以下では、加算画素値｛ａ_００、ａ_１０、ａ_１１、ａ_０１｝を例に説明するが、他の加算画素値についても同様である。また、４画素加算を例に説明するが、例えば９画素加算等、他の画素数の場合にも適用可能である。

図１１（Ａ）に示す加算画素値ａ_ｉｊ（４画素加算値）は、補間処理により得られた補間値、及び既知の加算画素値に対応する。図１１（Ｂ）に示すように、まず加算画素値ａ_００〜ａ_１１から中間画素値ｂ_００〜ｂ_２１（２画素加算値）を推定し、これらの中間画素値ｂ_００〜ｂ_２１から最終的な画素値ｖ_００〜ｖ_２２を推定する。

水平方向の最初の行の中間画素値ｂ_００〜ｂ_２０を例にとり、中間画素値を推定する処理について説明する。中間画素値ｂ_００〜ｂ_２０は、水平方向の最初の行の加算画素値ａ_００、ａ_１０に基づいて推定される。画素値ａ_００、ａ_１０は下式（８）で表される。
ａ_００＝ｖ_００＋ｖ_０１＋ｖ_１０＋ｖ_１１，
ａ_１０＝ｖ_１０＋ｖ_１１＋ｖ_２０＋ｖ_２１ （８）

下式（９）に示すように中間画素値ｂ_００、ｂ_１０、ｂ_２０を定義する。
ｂ_００＝ｖ_００＋ｖ_０１，
ｂ_１０＝ｖ_１０＋ｖ_１１，
ｂ_２０＝ｖ_２０＋ｖ_２１ （９）

次に、上式（９）を用いて上式（８）を変形すると、下式（１０）が成り立つ。
ａ_００＝ｂ_００＋ｂ_１０，
ａ_１０＝ｂ_１０＋ｂ_２０ （１０）

上式（１０）をｂ_１０、ｂ_２０について解くと、下式（１１）が成り立ち、中間画素値ｂ_１０、ｂ_２０はｂ_００を未知数（初期変数）とする関数として表される。
ｂ_００＝（未知数），
ｂ_１０＝ａ_００−ｂ_００，
ｂ_２０＝ｂ_００＋δｉ_０＝ｂ_００＋（ａ_１０−ａ_００） （１１）

次に、画素値のパターン｛ａ_００，ａ_１０｝と中間画素値のパターン｛ｂ_００，ｂ_１０，ｂ_２０｝を比較し、その類似性が最も高い場合の未知数ｂ_００を求める。具体的には、下式（１２）に示す評価関数Ｅｊを求め、その評価関数Ｅｊが最小となる未知数ｂ_００を導出する。得られたｂ_００の値を上式（１１）に代入し、中間画素値ｂ_１０、ｂ_２０を求める。

次に、垂直方向の最初の列を例にとり、中間画素値ｂ_ｉｊを用いて推定画素値ｖ_ｉｊを求める手法について説明する。推定画素値ｖ_ｉｊは、中間画素値ｂ_ｉｊを求めた手法と同様に求められる。即ち、上式（１０）を下式（１３）に置き換えれば、以降の処理は同様である。
ｂ_００＝ｖ_００＋ｖ_０１，
ｂ_０１＝ｖ_０１＋ｖ_０２ （１３）

以上の実施形態によれば、図１１（Ａ）に示すように、第１のポジションに設定された第１の加算単位（例えばａ_００）と、第１のポジションがシフトされた第２のポジションに設定された第２の加算単位（例えばａ_１０）は重畳する。上式（１１）に示すように、推定演算部（図４の高精細画像復元推定部１６０）は、第１、第２の加算単位の画素値が加算された第１、第２の加算画素値ａ_００、ａ_１０の差分値δｉ_０を求める。図１１（Ｂ）に示すように、第１の中間画素値ｂ_００は、加算単位ａ_００から重畳領域（ｖ_１０、ｖ_１１）を除いた第１の領域（ｖ_００、ｖ_０１）の加算画素値である。第２の中間画素値ｂ_２０は、加算単位ａ_１０から重畳領域（ｖ_１０、ｖ_１１）を除いた第２の領域（ｖ_２０、ｖ_２１）の加算画素値である。上式（１１）に示すように、推定演算部は、第１、第２の中間画素値ｂ_００、ｂ_２０の関係式を、差分値δｉ_０を用いて表し、その関係式を用いて第１、第２の中間画素値ｂ_００、ｂ_２０を推定する。推定演算部は、推定した第１の中間画素値ｂ_００を用いて、加算単位に含まれる各画素の画素値（ｖ_００、ｖ_１０、ｖ_１１、ｖ_０１）を求める。

このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルタの繰り返し演算等の複雑な処理が不要となる。

ここで、重畳するとは、加算単位と加算単位が重なった領域を有することであり、例えば図１１（Ａ）に示すように、加算単位ａ_００と加算単位ａ_１０が、２つの推定画素ｖ_１０、ｖ_１１を共有することである。

また、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での加算単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションと位置や座標が一致しないポジションのことである。

また本実施形態では、第１、第２の中間画素値（例えばｂ_００、ｂ_２０）を含む連続する中間画素値を中間画素値パターン（ｂ_００、ｂ_１０、ｂ_２０）とする。上式（１１）に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を第１、第２の加算画素値ａ_００、ａ_１０を用いて表し、中間画素値の間の関係式で表された中間画素値パターンと、第１、第２の加算画素値とを比較して類似性を評価する。推定演算部は、その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ_００、ｂ_１０、ｂ_２０を決定する。

このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。

ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

１０ レンズ、２０ 撮像素子、３０ 加算処理部、４０ データ圧縮部、
５０ データ記録部、６０ 動画フレーム生成部、７０ モニタ表示部、
１１０ データ記録部、１１５ データ伸張部、１２０ 伸張データ記憶部、
１２５ モニタ画像生成部、１３０ モニタ画像表示部、
１３５ 画像データ選択部、１４０ 選択フレーム記憶部、１４５ 補間処理部、
１４６ リサンプリング処理部、１４７ 像静止期間検出部、
１５０ 第２補間処理部、１５１ 候補値生成部、１５２ 補間値選択部、
１５３ 補間値充当部、１６０ 高精細画像復元推定部、１７０ 高精細画像生成部、
１８０ 高精細画像データ記録部、１９０ 画像出力部、
ａ_ｉｊ 加算画素値、ａ_ｉｊ（Ｔ） 実サンプリング値、
ａ_ｉｊ（Ｔ）’ リサンプリング値、ａ_１１［ｘ］ 候補値、
ｂ_ｉｊ，ｂ_ｉｊ［ｘ］ 中間画素値、ｆ_Ｔ フレーム、ｖ_ｉｊ 画素値

Claims (9)

1. 加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第１加算単位群と第２加算単位群にグループ分けされる場合に、前記第１加算単位群及び前記第２加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得する画像取得部と、
   前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第１加算単位群及び前記第２加算単位群の各加算単位についてリサンプリング値を求めるリサンプリング処理部と、
   前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間する補間処理部と、
   前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定する推定処理部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記補間処理部は、
   前記対象フレームでの前記リサンプリング値と、前記前又は後のフレームでの前記リサンプリング値との差が、所定値以下である場合、前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に基づいて補間することを特徴とする画像処理装置。
3. 請求項１又は２において、
   前記補間処理部は、
   前記対象フレームでの前記未取得の加算画素値を、前記前又は後のフレームで取得された前記加算画素値に置換することで、前記補間を行うことを特徴とする画像処理装置。
4. 請求項１又は２において、
   前記補間処理部は、
   前記対象フレームでの前記未取得の加算画素値を、前記前及び後のフレームで取得された前記加算画素値に基づいて補間することを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記補間処理部により前記対象フレームでの前記未取得の加算画素値を補間しないと判定した場合、前記対象フレームで取得された前記加算画素値に基づいて前記未取得の加算画素値を補間する第２補間処理部と、
   を含むことを特徴とする画像処理装置。
6. 請求項５において、
   前記画像取得部は、
   前記対象フレームで、前記第１加算単位群の前記加算画素値を取得し、
   前記第２補間処理部は、
   前記第２加算単位群の前記加算画素値の候補として、複数の候補値を生成する候補値生成部と、
   前記第１加算単位群の前記加算画素値及び前記複数の候補値に基づいて、前記第２加算単位群の前記加算画素値の決定処理を行う決定処理部と、
   を有することを特徴とする画像処理装置。
7. 請求項６において、
   前記第１加算単位群は、
   前記決定処理の対象である前記加算単位と共通の画素を有する前記加算単位を、重畳加算単位として含み、
   前記決定処理部は、
   前記複数の候補値の中から、前記画素値の定義域に基づく選択条件を満たす候補値を、前記重畳加算単位の前記加算画素値に基づいて選択し、選択した前記候補値に基づいて前記決定処理を行うことを特徴とする画像処理装置。
8. 請求項１乃至７のいずれかに記載の画像処理装置を含むことを特徴とする撮像装置。
9. 加算画素値を取得する単位である加算単位が複数の画素毎に設定され、前記加算単位が、第１加算単位群と第２加算単位群にグループ分けされる場合に、前記第１加算単位群及び前記第２加算単位群の前記加算画素値を、複数のフレームの各フレーム毎に交互に取得し、
   前記各フレーム毎に、取得された前記加算画素値に対してリサンプリング処理を行い、前記第１加算単位群及び前記第２加算単位群の各加算単位についてリサンプリング値を求め、
   前記複数のフレームの中の対象フレームで未取得の加算画素値を、前記対象フレームの前又は後のフレームで取得された前記加算画素値に基づいて補間するか否かを、前記リサンプリング値の時系列的な変化に基づいて判定し、前記未取得の加算画素値を補間し、
   前記対象フレームで取得された前記加算画素値、及び前記対象フレームで前記補間処理部により補間した前記加算画素値に基づいて、前記加算単位に含まれる画素の画素値を推定することを特徴とする画像処理方法。

Images