JP2011248576A - 画像処理装置、撮像装置、プログラム及び画像処理方法 - Google Patents

Abstract

【課題】簡素な処理で低解像動画から高解像画像を取得できる画像処理装置、撮像装置、プログラム及び画像処理方法等を提供すること。
【解決手段】画像処理装置は、記憶部、補間処理部、推定演算部、画像出力部を含む。受光単位の受光値ａ_{−２，−２}〜ａ_２２が読み出されて低解像フレーム画像が取得される。記憶部は、その低解像フレーム画像を記憶する。補間処理部は、仮想受光単位の受光値ａ_１０、ａ_０１、ａ_１１を、受光値ａ_{−２，−２}〜ａ_２２に基づく補間処理により求める。推定演算部は、受光単位の受光値ａ_００と仮想受光単位の受光値ａ_１０、ａ_０１、ａ_１１に基づいて、低解像フレーム画像よりも画素ピッチが小さい推定画素値を推定する。画像出力部は、その推定画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置、プログラム及び画像処理方法等に関する。

昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。

特開２００９−１２４６２１号公報 特開２００８−２４３０３７号公報

しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。

本発明者は、この決定的瞬間の撮影を実現するために、低解像動画から任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。

本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる画像処理装置、撮像装置、プログラム及び画像処理方法等を提供できる。

本発明の一態様は、受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、を含む画像処理装置に関係する。

本発明の一態様によれば、仮想受光単位の受光値が、受光単位の受光値に基づく補間処理により求められる。その仮想受光単位の受光値と受光単位の受光値に基づいて、低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値が推定される。そして、その推定画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像が出力される。これにより、簡素な処理で低解像動画から高解像画像を取得すること等が可能になる。

また、本発明の一態様では、前記推定演算部は、第１のポジションに設定された前記受光単位または前記仮想受光単位のいずれかである第１の受光単位と、前記第１の受光単位に重畳する第２のポジションに設定された前記仮想受光単位である第２の受光単位との差分値を求め、前記差分値に基づいて前記推定画素値を推定してもよい。

このようにすれば、第１の受光単位の受光値と第２の受光単位の受光値の差分値に基づいて推定画素値が推定されることで、受光単位の受光値と仮想受光単位の受光値に基づいて推定画素値を推定できる。

また、本発明の一態様では、前記推定演算部は、前記第１の受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２の受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めてもよい。

このようにすれば、第１、第２の中間画素値の関係式が上記差分値により表され、その関係式に基づいて第１、第２の中間画素値が推定され、その第１の中間画素値に基づいて推定画素値が推定される。これにより、第１の受光単位の受光値と第２の受光単位の受光値の差分値に基づいて推定画素値を推定できる。

また、本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を、前記受光単位の受光値及び前記仮想受光単位の受光値を用いて表し、前記関係式で表された前記中間画素値パターンを、前記受光単位の受光値及び前記仮想受光単位の受光値で表される受光値パターンと比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンに含まれる中間画素値を決定してもよい。

このようにすれば、中間画素値パターンと受光値パターンの類似性が評価され、その類似性が最も高くなるように中間画素値パターンに含まれる中間画素値が決定されることで、中間画素値間の関係式に基づいて中間画素値を決定できる。

また、本発明の一態様では、前記推定演算部は、前記関係式で表された前記中間画素値パターンと、前記受光値パターンとの誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンに含まれる中間画素値を決定してもよい。

このようにすれば、評価関数を求められることで、中間画素値パターンと受光値パターンの類似性を評価できる。また、評価関数の値が最小となるように中間画素値が決定されることで、類似性が最も高くなるように中間画素値を決定できる。

また、本発明の一態様では、前記補間処理部は、前記低解像フレーム画像に含まれる前記受光単位の受光値のうち、前記仮想受光単位の周辺の複数の受光単位の受光値を重み付け加算して前記仮想受光単位の受光値を求めてもよい。

このようにすれば、仮想受光単位の受光値を、低解像フレーム画像の受光単位の受光値に基づく補間処理により求めることができる。

また、本発明の一態様では、前記受光単位が前記撮像素子の複数の画素毎に設定される場合に、前記受光単位の各画素値が加算されて前記受光単位の受光値として読み出され、前記推定演算部は、加算読み出しにより得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定してもよい。

このようにすれば、加算読み出しにより得られた受光単位の受光値に基づいて、その受光単位の各画素の画素値を推定できる。

また、本発明の一態様では、前記受光単位が前記撮像素子の複数の画素毎に設定される場合に、前記受光単位の各画素値が重み付け加算されて前記受光単位の受光値として読み出され、前記推定演算部は、重み付け加算読み出しにより得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定してもよい。

このようにすれば、重み付け加算読み出しにより得られた受光単位の受光値に基づいて、その受光単位の各画素の画素値を推定できる。

また、本発明の一態様では、前記撮像素子がカラー撮像素子であり、隣接する複数の画素が、画素の色に依らず前記受光単位に設定され、前記受光単位に設定された前記複数の画素の画素値が加算されて読み出されて前記低解像度フレーム画像が取得され、前記推定演算部は、前記低解像度フレーム画像の前記受光単位の受光値と、前記補間処理部からの前記仮想受光単位の受光値とに基づいて前記受光単位の各画素の画素値を推定し、前記画像出力部は、前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力してもよい。

また、本発明の一態様では、前記撮像素子がカラー撮像素子であり、同じ色の複数の画素が前記受光単位に設定され、前記受光単位に設定された前記複数の画素の画素値が加算されて読み出され、前記低解像度フレーム画像が取得され、前記推定演算部は、前記低解像度フレーム画像の前記受光単位の受光値と、前記補間処理部からの前記仮想受光単位の受光値とに基づいて前記受光単位の各画素の画素値を推定し、前記画像出力部は、前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力してもよい。

これらの本発明の一態様によれば、カラー撮像素子により取得された低解像フレーム画像から推定画素値を推定し、カラーの高解像フレーム画像を出力できる。

また、本発明の一態様では、前記受光単位がＮ×Ｎ画素に設定され、前記Ｎ×Ｎ画素の画素値が加算されて読み出されてＮ×Ｎ画素の受光単位の受光値が取得される場合に、前記補間処理部は、前記Ｎ×Ｎ画素の受光単位がＮ／２画素だけシフトされたＮ×Ｎ画素の仮想受光単位の受光値を補間処理により求め、前記推定演算部は、前記Ｎ×Ｎ画素の受光単位の受光値と前記Ｎ×Ｎ画素の仮想受光単位の受光値に基づいて、Ｎ／２×Ｎ／２画素の受光単位の受光値を推定し、前記補間処理部は、前記Ｎ／２×Ｎ／２画素の受光単位がＮ／４画素だけシフトされたＮ／２×Ｎ／２画素の仮想加算画素の画素値を補間処理により求め、前記推定演算部は、前記Ｎ／２×Ｎ／２画素の受光単位の受光値と前記Ｎ／２×Ｎ／２画素の仮想受光単位の受光値に基づいて、Ｎ／４×Ｎ／４画素の受光単位の受光値を推定してもよい。

このようにすれば、Ｎ×Ｎ画素の受光単位の受光値からＮ／２×Ｎ／２画素の受光単位の受光値を推定し、そのＮ／２×Ｎ／２画素の受光単位の受光値からＮ／４×Ｎ／４画素の受光単位の受光値を推定できる。これにより、推定処理を順次繰り返して推定画素値を推定できる。

また、本発明の一態様では、前記受光単位を重畳しながらシフトする画素シフトが各フレームで行われ、前記画素シフトにより前記受光単位が複数のポジションに順次設定され、複数のフレーム毎に前記受光単位が同じポジションに設定される場合に、前記補間処理部は、前記各フレームで取得された前記低解像フレーム画像に基づいて、前記各フレームにおいて前記仮想受光単位の受光値を補間処理により求め、前記推定演算部は、前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記各フレームにおいて前記推定画素値を推定し、前記画像出力部は、前記推定画素値に基づいて前記各フレームでのフレーム画像を求め、前記複数のフレームの前記フレーム画像を合成して前記高解像フレーム画像を出力してもよい。

このようにすれば、各フレームにおいて画素シフトされる受光単位の受光値に基づいて、各フレームにおいて推定画素値を推定してフレーム画像を求め、その複数のフレーム画像を合成して高解像フレーム画像を出力できる。

また、本発明の一態様では、前記画像出力部は、前記高解像フレーム画像を解像度変換してハイビジョン動画として出力し、または前記高解像フレーム画像を高解像静止画として出力してもよい。

このようにすれば、高解像フレーム画像に基づいて、ハイビジョン動画または高解像静止画を出力できる。

また、本発明の他の態様は、撮像素子と、受光値を取得する単位である受光単位を前記撮像素子に設定し、前記受光単位の受光値を読み出して低解像フレーム画像を取得する読み出し制御部と、前記読み出し制御部により取得された前記低解像フレーム画像を記憶する記憶部と、前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、を含む撮像装置に関係する。

また、本発明の他の態様では、表示部と、前記表示部に画像を表示する制御を行う表示制御部と、を含み、前記画像出力部は、前記高解像フレーム画像を解像度変換してハイビジョン動画として出力し、または前記高解像フレーム画像を高解像静止画として出力し、前記表示制御部は、前記低解像フレーム画像による動画を表示する制御と、前記ハイビジョン動画を表示する制御と、前記高解像静止画を表示する制御と、を行ってもよい。

また、本発明のさらに他の態様は、受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部として、コンピュータを機能させるプログラムに関係する。

また、本発明のさらに他の態様は、受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶し、前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求め、前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定し、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像処理方法に関係する。

受光値の補間手法の説明図。 図２（Ａ）、図２（Ｂ）は、推定処理ブロックと受光単位の説明図。 図３（Ａ）、図３（Ｂ）は、推定画素値と中間画素値の説明図。 推定画素値の第１の推定手法の説明図。 推定画素値の第１の推定手法の説明図。 推定画素値の第１の推定手法の説明図。 図７（Ａ）、図７（Ｂ）は、中間画素値と推定画素値の説明図。 推定画素値の第１の推定手法の説明図。 推定画素値の第１の推定手法の説明図。 推定画素値の第１の推定手法の説明図。 撮像装置と画像処理装置の第１の構成例。 動画撮影における補間手法の説明図。 推定画素値の第２の推定手法の説明図。 図１４（Ａ）、図１４（Ｂ）は、推定画素値の第３の推定手法の説明図。 推定画素値の第３の推定手法の説明図。 推定画素値の第３の推定手法の説明図。 図１７（Ａ）、図１７（Ｂ）は、推定画素値の第３の推定手法の説明図。 データ圧縮伸張と推定処理の手法の説明図。 データ圧縮伸張と推定処理の手法の説明図。 撮像装置と画像処理装置の第２の構成例。 推定画素値の第４の推定手法の説明図。 図２２（Ａ）、図２２（Ｂ）は、推定画素値の第４の推定手法の説明図。 推定画素値の第４の推定手法の説明図。 推定画素値の第４の推定手法の説明図。 推定画素値の第４の推定手法の説明図。 推定画素値の第４の推定手法の説明図。 推定画素値の第４の推定手法の説明図。 推定画素値の第４の推定手法の説明図。 推定画素値の第５の推定手法のフローチャート。 推定画素値の第６の推定手法の説明図。 推定画素値の第６の推定手法のフローチャート。 図３２（Ａ）、図３２（Ｂ）は、推定画素値の第７の推定手法の説明図。 撮像装置と画像処理装置の第３の構成例。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．比較例
まず、本実施形態の比較例について説明する。デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。これらのカメラでは、静止画撮影モードと動画撮影モードを切り換えて使用するものが多い。中には、動画撮影並の高速フレームレートにより高精細静止画を撮影可能とするものがあり、短時間の高速連写が可能である。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。

しかしながら、これらの手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れてしまったり、ユーザが気づいたときには既に決定的瞬間を逃してしまっているという課題がある。このように、従来の手法では撮影者のテクニックがかなり要求されるため、例えば動画を撮りつつ、その中で任意の画像を高精細画像として生成できたり、あるいはラフに撮像しておいて、その中から解像度を落とさずに高精細画像を抽出し望みの構図が選べるたりすることを可能とする方法が求められている。

このシャッターチャンスを逃さないという課題を解決するには、動画撮影により全てのシーンをもれなく撮影しておいて、その中から自由に決定的瞬間を高品位な静止画として得る手法が考えられる。この手法を実現するためには、高精細画像を高速フレームレートにより撮影可能とすることが必要である。

しかしながら、この手法の実現は容易ではない。例えば、１２００万画素の画像を６０ｆｐｓ（ｆｐｓ：フレーム／秒）で連続して撮影するためには、超高速撮像可能な撮像素子、撮像データを超高速処理する処理回路、超高速データ圧縮処理機能、莫大なデータを記録する記録手段が必要になる。このためには、複数撮像素子の使用、並列処理、大規模メモリ、高能力放熱機構などが必要になるが、小型化や低コストが求められる民生用機器においては非現実的である。動画撮影のハイビジョン（２００万画素）程度の解像度の高品位でない静止画であれば実現可能であるが、ハイビジョン程度の解像度では静止画としては不十分である。

また、高フレームレートの動画撮影を行う手法として、多画素で高精細画像が撮影できる高画素イメージセンサを用い、画素の間引き読み出しあるいは隣接画素の加算読出しによって低解像画像化し、１回の読み出しデータを低減することにより実現する手法が考えられる。しかしながら、この手法では、高精細画像を高フレームレートにより撮影することができない。

この課題を解決するためには、高フレームレートで撮影された低解像画像から高解像画像を得る必要がある。低解像画像から高解像画像を得る手法として、例えば、画素シフトにより撮影した低解像画像に対して所謂超解像処理を行い、高解像画像を生成する手法が考えられる。

しかしながら、この手法では、センサを機械的にシフトさせたり、加算読み出しをシフトさせながら行ったりする必要があるため、カメラの構成が複雑になってしまう。また、超解像処理が必要なため処理負荷が大きくなってしまう。

例えば、画素シフトによる超解像処理として、加算読み出しを用いた手法が考えられる。すなわち、低解像画像を順次位置ずらししながら読み出した後、それら複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を変形させ、高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelyhood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Covex Set）法、ＩＢＰ（Iterative Back Prohection）法などが知られている。

この超解像処理を用いた手法として、例えば上述の特許文献１に開示された手法がある。この手法では、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、それらの複数低解像画像を合成することにより高解像画像を仮定する。そして、この仮定した高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する。

しかしながら、これらの手法では、２次元フィルタを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、処理能力やコストの制限がある機器への適用は困難であるという課題がある。例えば、デジタルカメラのような小型携帯撮像装置に適用すると、処理回路の規模が大きくなり、消費電力の増大、大量の熱の発生、コストの大幅アップなどの課題が生じてしまう。

また、上述の特許文献２には、画素シフトさせた複数枚の低解像画像を使って高解像画像を生成する手法が開示されている。この手法では、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する。この画素値の推定では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。

しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、副画素の画素値変化が小さく、ほぼそれらの平均値とそれらをカバーする低解像画素値が等しくなる部分を画像から見つけ出している。そのため、初期値の設定に適当な部分が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な部分を探索する処理が必要になってしまう。

２．受光値の補間手法
そこで、本実施形態では、撮像により低解像フレーム画像を取得し、その低解像フレーム画像に基づいて画素シフトされた低解像フレーム画像を補間処理により仮想的に求め、これらの画像から高解像フレーム画像を簡素な推定処理で推定する。

まず、図１を用いて、画素シフトされた低解像フレーム画像を補間処理により求める手法について説明する。なお、以下では、撮像により取得された受光値（画素値）を受光単位（受光値取得単位）の受光値と呼び、補間処理により求められた受光値を仮想受光単位（補間受光単位）の受光値と呼ぶ。また、以下では、受光単位の受光値が４画素加算値である場合を例に説明するが、本実施形態ではこの場合に限定されず、例えば１画素の画素値や９画素加算値であってもよい。

図１に示すように、低解像フレーム画像を構成する受光単位の受光値ａ_{−２，−２}、ａ_０，−２、・・・、ａ_２２（実線の四角で示す）が撮像により取得される。具体的には、撮像素子の４画素（１画素または複数画素）毎に受光単位が設定され、その受光単位に含まれる画素の画素値が加算または重み付け加算されて読み出され、受光値が取得される。撮像素子の画素ピッチをｐとすると、受光単位のピッチは２ｐである。

次に、この低解像フレーム画像から、３つの重畳シフトされた低解像フレーム画像（以下、シフト画像と呼ぶ）をフレーム内での補間処理により求める。具体的には、低解像フレーム画像に対して水平方向にピッチｐだけシフトされた第１のシフト画像と、垂直方向にピッチｐだけシフトされた第２のシフト画像と、水平方向及び垂直方向にピッチｐだけシフトされた第３のシフト画像を求める。これらのシフト量は、実際にシフト撮像したと仮定した場合における撮像素子上でのシフト量に対応する。

例えば、図１に示すように、取得済みの受光値ａ_００に近接する３つの仮想受光単位の受光値ａ_１０、ａ_０１、ａ_１１（点線の四角で示す）は、それぞれ第１〜第３のシフト画像を構成する受光値である。仮想受光単位は、受光単位と同じ画素数の４画素に設定される。この受光値ａ_１０、ａ_０１、ａ_１１は、仮想受光単位の周辺の受光値から推定される。例えば下式（１）に示すように、受光値ａ_１０、ａ_０１、ａ_１１の推定値は、近接する受光単位の受光値に重み係数ｗ_０，ｗ_１，ｗ_２を掛けて補間推定を行うことにより求める。
ａ_００＝（既知の取得値），
ａ_１０＝（ｗ_１・ａ_０，−２＋ｗ_１・ａ_２，−２）＋（ｗ_０・ａ_００＋ｗ_０・ａ_２０）
＋（ｗ_１・ａ_０２＋ｗ_１・ａ_２２），
ａ_０１＝（ｗ_１・ａ_−２，０＋ｗ_１・ａ_−２，２）＋（ｗ_０・ａ_００＋ｗ_０・ａ_０２）
＋（ｗ_１・ａ_２０＋ｗ_１・ａ_２２），
ａ_１１＝（ｗ_２・ａ_００＋ｗ_２・ａ_２０＋ｗ_２・ａ_０２＋ｗ_２・ａ_２２） ・・・（１）

なお、本実施形態では、上述の補間処理に限定されず、種々の補間処理の手法を適用可能である。例えば、重み付け係数ｗ_０、ｗ_１、ｗ_２は、従来のベイヤ補間手法や、画素欠陥補正手法等の考え方を用いて設定されてもよい。また、多数の高解像画像サンプルに対して、重み付け係数ｗ_０、ｗ_１、ｗ_２を変化させ、上式（１）の処理を施して高解像推定画像を生成し、画像サンプルと推定画像の画素値の誤差の合計が最も小さくなるような重み付け係数ｗ_０、ｗ_１、ｗ_２を予め求めておいて推定時に適用してもよい。

３．推定画素値の第１の推定手法
次に、図２（Ａ）〜図１０を用いて、低解像フレーム画像から高解像フレーム画像を推定する手法について説明する。本実施形態では、上述のように相互に画素ピッチｐだけ重畳シフトした４画素加算値で構成される４つの低解像フレーム画像を用いて、４倍の画素数をもつ高解像フレーム画像を推定する。

まず、図２（Ａ）、図２（Ｂ）に、画素推定に用いられる推定処理ブロックと受光単位の模式的な説明図を示す。図２（Ａ）、図２（Ｂ）では、推定処理により求められる推定画素を実線の四角で示し、水平方向（水平走査方向）の画素位置をｉで示し、垂直方向の画素位置をｊで示す（ｉ、ｊは整数）。

図２（Ａ）に示すように、ｍ×ｎ画素を１ブロックとする推定処理ブロックＢｋ_００、Ｂｋ_１０、・・・を設定する。本実施形態では、この推定処理ブロック毎に、高解像フレーム画像の画素値の推定処理を行う。図２（Ｂ）には、上記の推定処理ブロックのうちの１つを模式的に示す。図２（Ｂ）に示す受光値ａ_００〜ａ_{（ｍ−１）（ｎ−１）}は、撮像により取得された低解像フレーム画像の受光値と、補間処理により求められた第１〜第３のシフト画像の受光値により構成される。

次に、図３（Ａ）〜図１０を用いて、本実施形態の画素推定手法について説明する。以下では、説明を簡単にするために、２×２画素毎に推定処理ブロックが設定され、１つの受光単位の受光値ａ_００と３つの仮想受光単位の受光値ａ_１０、ａ_０１、ａ_１１から推定する場合を例に説明する。

図３（Ａ）、図３（Ｂ）に、推定画素値と中間画素値の説明図を示す。図３（Ａ）に示すように、受光値ａ_００〜ａ_１１を用いて、最終的に推定画素値ｖ_００〜ｖ_２２を推定する。すなわち、画素ピッチ２ｐの受光単位から構成される低解像画像から、画素ピッチｐの撮像素子と同じ解像度（画素数）の高解像画像を推定する。

このとき、図３（Ｂ）に示すように、受光値ａ_００〜ａ_１１から中間画素値ｂ_００〜ｂ_２１（中間推定画素値、２画素加算値）を推定し、その中間画素値ｂ_００〜ｂ_２１から画素値ｖ_００〜ｖ_２２を推定する。この中間画素値の推定手法について、図４に示す水平方向の最初の行の中間画素値ｂ_００〜ｂ_２０を例に説明する。なお、ここでは水平方向に高解像化して中間画素を求める場合を説明するが、本実施形態では垂直方向に高解像化して中間画素を求めてもよい。

図４に示すように、受光値と中間画素値の間には、下式（２）の関係が成り立つ。
ａ_００＝ｂ_００＋ｂ_１０，
ａ_１０＝ｂ_１０＋ｂ_２０ ・・・ （２）

ｂ_００を未知数（初期変数、初期値）として上式（２）を変形すると、下式（３）に示すように、中間画素値ｂ_１０、ｂ_２０をｂ_００の関数として表すことができる。
ｂ_００＝（未知数），
ｂ_１０＝ａ_００−ｂ_００，
ｂ_２０＝ｂ_００＋δｉ_０＝ｂ_００＋（ａ_１０−ａ_００） ・・・ （３）

ここで、下式（４）に示すように、δｉ_０は１シフト離れた受光値の差分値であり、中間画素値ｂ_２０、ｂ_００の差分値に対応する。
δｉ_０＝ａ_１０−ａ_００
＝（ｂ_１０＋ｂ_２０）−（ｂ_００＋ｂ_１０）
＝ｂ_２０−ｂ_００ ・・・ （４）

このようにして、ｂ_００を未知数とする高精細な中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の組合せパターンが求められる。このｂ_００の関数として表わされた中間画素値の絶対値（値、数値）を決定するためには、未知数ｂ_００を求める必要がある。

図５に示すように、本実施形態では、受光値によるパターン｛ａ_００，ａ_１０｝と中間画素値によるパターン｛ｂ_００，ｂ_１０，ｂ_２０｝を比較する。そして、その誤差が最小になる未知数ｂ_００を導出し、導出した未知数ｂ_００を最終的な中間画素値ｂ_００として設定する。具体的には、下式（５）に示すように、誤差の評価関数Ｅｊを未知数ｂ_００の関数で表す。そして、図６に示すように、評価関数Ｅｊを最小（極小値）にする未知数ｂ_００＝α（初期値）を探索的に求める（最小二乗法）。

上式（５）に示すように、本実施形態では、中間画素値の平均値と、低域周波数成分をもつパターン｛ａ_００，ａ_１０｝の誤差評価を行う。これにより、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の推定解として高域周波数成分を多く含むパターンが導出されることを抑止できる。すなわち、仮に未知数の推定が不正確となったとしても、低域周波数成分を多く含む画像を生成することになる。そのため、低域周波数成分よりも不自然さが強調され易い高域周波数成分に誤りを含むパターンを生成することを抑止でき、画像としては見た目の自然さを失うことがない。これにより、低域周波数成分に比べて高域周波数成分が小さい自然画像に対して、合理的な画素推定が可能になる。

このようにして、中間画素値ｂ_００の値を推定し、推定したｂ_００の値を上式（３）に代入して中間画素値ｂ_１０、ｂ_２０の値を決定する。そして、同様にｂ_０１を未知数として２行目の中間画素値ｂ_０１〜ｂ_２１を推定する。

次に、推定した中間画素値ｂ_ｉｊを用いて最終的な推定画素値ｖ_ｉｊを求める手法について説明する。図７（Ａ）、図７（Ｂ）に、中間画素値と推定画素値の説明図を模式的に示す。図７（Ａ）に示すように、上述の手法で推定した３列の中間画素値ｂ_００〜ｂ_２１のうち、２列の中間画素値ｂ_００〜ｂ_１１を用いて推定を行う。図７（Ｂ）に示すように、中間画素値ｂ_００〜ｂ_１１から画素値ｖ_００〜ｖ_１２が推定される。以下では、説明を簡単にするために、図８に示す１列目の画素値ｖ_００〜ｖ_０２を例に説明する。

画素値ｖ_００〜ｖ_０２の推定は、上述の中間画素値の推定手法と同様の手法で行う。具体的には、中間画素値ｂ_００、ｂ_０１は、画素値ｖ_００〜ｖ_０２を垂直方向に２画素単位で１画素ずつシフトさせながら重畳サンプリングした値と等価である。そのため、中間画素値と推定画素値の間には、下式（６）の関係が成り立つ。
ｂ_００＝ｖ_００＋ｖ_０１，
ｂ_０１＝ｖ_０１＋ｖ_０２ ・・・ （６）

下式（７）に示すように、画素値ｖ_０１、ｖ_０２を未知数ｖ_００の関数として表すことができる。
ｖ_００＝（未知数），
ｖ_０１＝ｂ_００−ｖ_００，
ｖ_０２＝ｖ_００＋δｊ_０＝ｖ_００＋（ｂ_０１−ｂ_００） ・・・ （７）

ここで、下式（８）に示すように、δｊ_０は１シフト離れた中間画素値の差分値であり、画素値ｖ_０２、ｖ_００の差分値に対応する。
δｉ_０＝ｂ_０１−ｂ_００
＝（ｖ_０１＋ｖ_０２）−（ｖ_００＋ｖ_０１）
＝ｖ_０２−ｖ_００ ・・・ （８）

図９に示すように、中間画素値によるパターン｛ｂ_００，ｂ_１０｝と、推定画素値によるパターン｛ｖ_００，ｖ_０１、ｖ_０２｝の誤差が最小になる未知数ｖ_００を導出する。すなわち、下式（９）に示すように、誤差を評価関数Ｅｉで表し、図１０に示すように、その評価関数Ｅｉを最小にする未知数ｖ_００＝βを探索的に求める。

そして、同様の処理により２列目の画素値ｖ_１０〜ｖ_１２を求め、最終的な推定画素値ｖ_００、ｖ_０１、ｖ_１０、ｖ_１１を決定する。なお、本実施形態では、最終推定画素値により構成される画像データに適当なノイズ低減処理を施して表示画像としてもよい。また、本実施形態では、最終的な推定画素値ｖ_００、ｖ_０１、ｖ_１０、ｖ_１１は、４つの値を一度に求めるという考え方ではなく、推定処理ブロック単位で例えばｖ_００のみの１画素を最終推定画素値として採用し、水平または垂直方向に推定処理ブロック単位をずらしながら１画素ずつ最終推定画素値を順次求める方法であっても当然構わない。

ここで、上述の実施形態では、未知数ｂ_００、ｖ_００を探索的に求める場合について説明したが、本実施形態では、未知数ｂ_００、ｖ_００を直接的に求めてもよい。すなわち、上式（５）に示す誤差Ｅｊの式はｂ_００の２次関数式であるので、下式（１０）の形に式変形が可能である。そのため、Ｅｊを最小にするｂ_００の最小値αを直接的に求められる。ｖ_００の最小値βについても同様に求められる。
Ｅｊ＝（ｂ_００−α）^２＋ξ ・・・ （１０）

さて上述のように、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザ決定的瞬間をとらえることが難しいという課題がある。また、超解像処理により高解像化する手法では、大負荷の処理であるため処理回路の規模が増大する等の課題がある。また、画素シフトを用いる手法では、光学系の機械的シフトやシフト読み出しが必要なため、カメラの構成が複雑になるという課題がある。

この点、本実施形態によれば、図１に示すように、受光値ａ_{−２，−２}、ａ_０，−２、・・・、ａ_２２を取得する単位である受光単位が撮像素子（例えば、図１１に示す撮像素子１２０）に設定され、その受光単位の受光値ａ_{−２，−２}、ａ_０，−２、・・・、ａ_２２が読み出されて低解像フレーム画像が取得される。この低解像フレーム画像は、記憶部（図１１に示すデータ記録部１４０）に記憶される。そして、補間処理部（補間処理部２００）は、受光単位ａ_００のポジションからシフトされたポジションに受光単位ａ_００に重畳して設定される仮想受光単位の受光値ａ_１０、ａ_０１、ａ_１１を、受光単位の受光値ａ_{−２，−２}、ａ_０，−２、・・・、ａ_２２に基づく補間処理により求める。図３（Ａ）等に示すように、推定演算部（画素値推定演算部２１０）は、受光単位の受光値ａ_００と仮想受光単位の受光値ａ_１０、ａ_０１、ａ_１１に基づいて、低解像フレーム画像の画素ピッチ２ｐよりも小さい画素ピッチｐの推定画素値ｖ_００〜ｖ_１１を推定する。画像出力部（画像出力部３００）は、その推定画素値ｖ_００〜ｖ_１１に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する。

ここで、受光単位のポジションとは、撮像素子の受光面上での受光単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での受光単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションと位置や座標が一致しないポジションのことである。また、重畳するとは、受光単位と仮想受光単位が重なった領域を有することであり、例えば図３（Ａ）に示すように、受光単位ａ_００と仮想受光単位ａ_１０が、２つの推定画素ｖ_１０、ｖ_１１を共有することである。

これにより、簡素な処理で動画から高解像画像を取得することや、画素シフトを行わずに画像の高解像化を行うことが可能になる。例えば、上述の中間画素値の推定を用いて推定処理を簡素化できる。また、高解像静止画は、低解像動画の任意タイミングのものを事後的に生成できるため、ユーザは、決定的瞬間の高解像静止画を容易に得ることができる。また、撮影時には低解像動画（例えば３メガピクセル）を取得することで高フレームレートで撮影し、必要に応じて高解像静止画（１２メガピクセル）等を表示できる。

また、図３（Ａ）に示すように、推定演算部は、第１のポジションに設定された第１の受光単位ａ_００と、第１の受光単位に重畳する第２のポジションに設定された第２の受光単位ａ_１０との差分値δｉ_０＝ａ_１０−ａ_００を求める。そして、推定演算部は、その差分値δｉ_０に基づいて、推定画素値ｖ_００〜ｖ_１１（推定ブロック内の推定画素値）を推定する。なお、第１の受光単位は、受光単位または仮想受光単位のいずれかであればよい。すなわち、第１、第２の受光単位は、受光単位と仮想受光単位であってもよく、仮想受光単位と仮想受光単位であってもよい。

このようにすれば、重畳する受光単位の受光値ａ_１０、ａ_００の差分値δｉ_０に基づいて推定画素値ｖ_００〜ｖ_１１を推定することで、簡素な処理で高解像化を行うことが可能になる。

より具体的には、図３（Ａ）、図３（Ｂ）に示すように、第１の中間画素値ｂ_００は、第１の受光単位ａ_００から重畳領域（推定画素ｖ_１０、ｖ_１１を含む領域）を除いた第１の受光領域（推定画素ｖ_００、ｖ_０１を含む領域）の受光値である。第２の中間画素値ｂ_２０は、第２の受光単位ａ_１０から重畳領域を除いた第１の受光領域（推定画素ｖ_２０、ｖ_２１を含む領域）の受光値である。上式（３）に示すように、推定演算部は、第１の中間画素値ｂ_００と第２の中間画素値ｂ_２０との関係式を差分値δｉ_０を用いて表し、その関係式を用いて第１、第２の中間画素値ｂ_００、ｂ_２０を推定する。そして、図７（Ａ）、図７（Ｂ）に示すように、推定演算部は、第１の中間画素値ｂ_００を用いて推定画素値ｖ_００〜ｖ_１１を求める。

このようにすれば、重畳シフトされた受光値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、上述の比較例に比べて、２次元フィルタの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。

また、本実施形態では、図３（Ｂ）に示すように、第１、第２の中間画素値ｂ_００、ｂ_２０を含む連続する中間画素値｛ｂ_００、ｂ_１０、ｂ_２０｝を中間画素値パターンとする。このとき、上式（３）に示すように、推定演算部は、中間画素値パターン｛ｂ_００、ｂ_１０、ｂ_２０｝に含まれる中間画素値間の関係式を受光値ａ_００、ａ_１０を用いて表す。そして、図５に示すように、推定演算部は、関係式で表された中間画素値パターン｛ｂ_００、ｂ_１０、ｂ_２０｝を、受光値ａ_００、ａ_１０で表される受光値パターン｛ａ_００、ａ_１０｝と比較して類似性を評価し、その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ_００〜ｂ_２０を決定する。

ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、受光値パターンとは、推定処理に用いられる範囲の受光値のデータ列であり、受光単位の受光値と仮想受光単位の受光値を含むデータ列である。

このようにすれば、受光単位の受光値ａ_００と、受光単位の受光値を補間処理して求めた仮想受光単位の受光値ａ_１０とに基づいて、中間画素値ｂ_００〜ｂ_２０を推定できる。また、中間画素値パターン｛ｂ_００、ｂ_１０、ｂ_２０｝と受光値パターン｛ａ_００、ａ_１０｝を比較することで、受光値パターンに類似した高精細な中間画素値パターンを推定できる。

また、上式（５）に示すように、推定演算部は、中間画素値パターン｛ｂ_００、ｂ_１０、ｂ_２０｝と受光値パターン｛ａ_００、ａ_１０｝の誤差を表す評価関数Ｅｊを求め、評価関数Ｅｊの値が最小となる未知数ｂ_００＝α（初期値）を求め、求めたｂ_００により中間画素値ｂ_００〜ｂ_２０を決定する。

このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。すなわち、上述の比較例（特許文献２）と比べて、初期値設定に適当な画像部分の探索が不要である。

また、図１に示すように、補間処理部は、低解像フレーム画像に含まれる受光単位の受光値ａ_{−２，−２}、ａ_０，−２、・・・、ａ_２２のうち、仮想受光単位の周辺の複数の受光単位の受光値を重み付け加算して、仮想受光単位の受光値ａ_１０、ａ_０１、ａ_１１を求める。

ここで、仮想受光単位の周辺の受光単位とは、少なくとも仮想受光単位に重畳する受光単位であり、例えば、仮想受光単位ａ_１０に重畳する受光単位ａ_００、ａ_２０である。または、仮想受光単位に重畳する受光単位と、さらにその受光単位に隣接する受光単位であり、例えば、仮想受光単位ａ_１０に重畳する受光単位ａ_００、ａ_２０と、受光単位ａ_００、ａ_２０に隣接する受光単位ａ_０，−２、ａ_２，−２、ａ_０２、ａ_２２である。

このようにすれば、受光単位ａ_００に重畳して設定される仮想受光単位の受光値ａ_１０、ａ_０１、ａ_１１を、受光単位の受光値ａ_{−２，−２}、ａ_０，−２、・・・、ａ_２２に基づく補間処理により求めることができる。

４．撮像装置と画像処理装置の第１の構成例
図１１に、上述の補間処理や推定処理が適用される撮像装置と画像処理装置の第１の構成例を示す。この撮像装置１０は、撮像光学系１００（レンズ）、光学ローパスフィルタ１１０（広域通過光学ローパスフィルタ）、撮像素子１２０（撮像処理部）、画素加算処理部１３０（読み出し制御部）、データ記録部１４０（記憶部）、表示処理部１５０（表示制御部）、モニター表示部１６０（表示装置）を含む。画像処理装置２０は、補間処理部２００（重畳シフト画素加算低解像画像補間算出部）、画素値推定演算部２１０（高解像画像画素値推定演算部、推定処理部）、画像出力部３００を含む。

なお、本実施形態の撮像装置及び画像処理装置はこの構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。また、図１１では、画像処理装置２０が撮像装置１０の外部に設けられる例を図示するが、本実施形態では、画像処理装置２０が撮像装置１０の内部に設けられてもよい。

撮像装置１０は、例えばデジタルカメラや、ビデオカメラである。撮像光学系１００は、被写体を結像する。光学ローパスフィルタ１１０は、例えば撮像素子１２０の解像度に対応する帯域を通過させる。撮像素子１２０（例えば１２メガピクセル）は、例えばアナログ的に加算読み出し可能なＣＣＤ、ＣＭＯＳセンサにより構成される。画素加算処理部１３０は、例えば受光単位の設定や加算読み出しを制御し、低解像フレーム画像（例えば３メガピクセル、×１画像／１フレーム）を取得する。データ記録部１４０は、例えばメモリーカード等で実現され、低解像フレーム画像による動画を記録する。モニター表示部１６０は、動画のライブビュー表示や、再生された動画の表示を行う。

画像処理装置２０は、例えば画像処理エンジン（ＩＣ）や、ＰＣ（コンピュータ）により実現される。補間処理部２００は、低解像フレーム画像の受光値を補間してシフト画像を求める（例えば３メガピクセル、×４画像／１フレーム）。画素値推定演算部２１０は、最終推定画素値の推定を行う。画像出力部３００は、アンチエリアシングフィルタ２２０、２５０、ローパスフィルタ２３０、アンダーサンプリング部２４０を含み、最終推定画素値から静止画や動画を出力する。アンチエリアシングフィルタ２２０は、最終推定画素値をアンチエリアシング処理し、高解像静止画（例えば１２メガピクセル）を出力する。ローパスフィルタ２３０は、最終推定画素値をハイビジョンの帯域に制限する。アンダーサンプリング部２４０は、帯域制限された最終推定画素値を、ハイビジョンの画素数にアンダーサンプリングする。アンチエリアシングフィルタ２２０は、アンダーサンプリングされた画像をアンチエリアシング処理し、ハイビジョン動画（例えば２メガピクセル）を出力する。なお、アンダーサンプリングせずに、高解像動画（例えば１２メガピクセル）を出力してもよい。

図１２に、動画撮影における補間処理の手法の説明図を示す。図１２に示すように、動画撮影においては、加算読み出しにより各フレームで低解像フレーム画像が取得される。例えば、受光値ａ_００に注目すると、フレームｆ（ｔ−１）、ｆ（ｔ）、ｆ（ｔ＋１）、・・・で、ａ_００（ｔ−１）、ａ_００（ｔ）、ａ_００（ｔ＋１）、・・・が取得される。フレームｆ（ｔ）の高解像静止画が生成される場合、フレームｆ（ｔ）の低解像フレーム画像に対して補間処理が行われ、フレームｆ（ｔ）における仮想受光単位の受光値ａ_１０（ｔ）、ａ_０１（ｔ）、ａ_１１（ｔ）が求められる。そして、これらの受光値から高解像静止画を推定する処理が行われる。静止画を生成しないフレームフレームｆ（ｔ−１）、ｆ（ｔ＋１）では、補間処理は行われない。

ここで、フレームとは、例えば撮像素子により１つの低解像フレーム画像が撮影されるタイミングや、画像処理において１つの低解像フレーム画像が処理されるタイミングである。あるいは、画像データにおける１つの低解像フレーム画像や高解像フレーム画像も適宜フレームと呼ぶ。

上記構成例によれば、画像出力部３００は、高解像フレーム画像（１２メガピクセル）を解像度変換してハイビジョン動画（２メガピクセル）として出力し、または高解像フレーム画像（１２メガピクセル）を高解像静止画（１２メガピクセル）として出力する。

このようにすれば、低解像動画を高フレームレートで撮像し、その動画から事後的に任意タイミングの高解像静止画を出力できる。すなわち、ユーザがハイビジョン動画を再生しながらタイミングや構図を選んで高解像静止画を得ることができる。なお、高解像静止画やハイビジョン動画は、図示しない表示部やメモリ、プリンター等に出力される。あるいは、画像処理装置２０が撮像装置１０に含まれる場合には、高解像静止画やハイビジョン動画がモニター表示部１６０に表示されてもよい。

５．推定画素値の第２の推定手法（カラー）
上記の実施形態では、モノクロ画像の画素値推定について説明したが、本実施形態は、カラー画像の画素値推定にも適用できる。図１３を用いて、この推定画素値の第２の推定手法について説明する。

この手法では、ＲＧＢを分離せずに加算読み出しし、ＲＧＢの最終画素値を推定する。具体的には、図１１に示すように、撮像により受光値ａ_００、ａ_２０等を取得する。そして、補間処理により受光値ａ_１０、ａ_０１、ａ_１１等を求める。例えば、受光値ａ_００、ａ_１０、ａ_０１、ａ_１１は、下式（１１）で表される受光値に対応する。
ａ_００＝Ｒ_１０＋Ｇ１_００＋Ｇ２_１１＋Ｂ_０１，
ａ_１０＝Ｒ_１０＋Ｇ１_２０＋Ｇ２_１１＋Ｂ_２１，
ａ_０１＝Ｒ_１２＋Ｇ１_０２＋Ｇ２_１１＋Ｂ_０１，
ａ_１１＝Ｒ_１２＋Ｇ１_２２＋Ｇ２_１１＋Ｂ_２１ ・・・ （１１）

そして、これらの受光値に基づいて、図３（Ａ）等に示す推定処理により画素値ｖ_００、ｖ_１０、ｖ_０１、ｖ_１１を推定する。推定画素値とＲＧＢの対応関係は分かっているため、ＲＧＢの推定画素値Ｇ１_００＝ｖ_００、Ｒ_１０＝ｖ_１０、Ｂ_０１＝ｖ_０１、Ｇ２_１１＝ｖ_１１を求めることができる。

上記推定手法によれば、撮像素子がカラー撮像素子（ＲＧＢイメージセンサ）であり、隣接する複数の画素Ｇ１_００、Ｒ_１０、Ｂ_０１、Ｇ２_１１が、画素の色に依らず受光単位に設定される。受光単位に設定された隣接する複数の画素の画素値が加算されて読み出され（ａ_００＝Ｇ１_００＋Ｒ_１０＋Ｂ_０１＋Ｇ２_１１）、低解像度フレーム画像が取得される。そして、撮像により取得された受光値と補間処理により求められた受光値ａ_００、ａ_１０、ａ_０１、ａ_１１に基づいて、受光単位の各画素の画素値Ｇ１_００、Ｒ_１０、Ｂ_０１、Ｇ２_１１が推定され、推定された画素値に基づいてカラーの高解像フレーム画像が出力される。

このようにすれば、カラー撮像においても、高フレームレートで低解像フレーム画像を撮影し、その低解像フレーム画像から画素値推定を行って、任意タイミングのカラーの高解像フレーム画像を取得できる。また、隣接４画素の画素値を加算して受光値を取得するため、ランダムノイズを低減できる。また、色の区別をする必要が無く読出し画素の位置が近いため、色毎の受光単位を用いる場合に比べて高精細な推定処理が可能である。

６．推定画素値の第３の推定手法
本実施形態では、ＲＧＢを分離して加算読み出しし、ＲＧＢの最終画素値を推定してもよい。図１４（Ａ）〜図１７を用いて、この推定画素値の第３の推定手法について説明する。

まず、Ｇの画素値推定について説明する。図１４（Ａ）に示すように、受光単位の受光値として、Ｇ１画素の４画素加算値｛ａ_００，ａ_４０，・・・｝と、Ｇ２画素の４画素加算値｛ａ_１１，ａ_５１，・・・｝がサンプリングされる。図１４（Ａ）では、Ｇ１の画素を濃い網掛けの四角で表し、Ｇ２の画素を薄い網掛けの四角で表し、受光単位を実線で表し、仮想受光単位を点線で表す。次に、取得された受光値から、Ｇ１の仮想受光単位の受光値｛ａ_２０，・・・，ａ_０２，ａ_２２，・・・｝と、Ｇ２の仮想受光単位の受光値｛ａ_３１，・・・，ａ_１３，ａ_３３，・・・｝を補間処理により求める。この補間処理は、例えば上述の補間手法によりＧ１とＧ２で別個に行われてもよく、あるいはＧ１とＧ２の受光値両方を用いて一般的な補間手法により行われてもよい。例えば、受光値ａ_２０は、ａ_００とａ_４０の平均値により求められる。

Ｇの最終画素値ｖ_ｉｊは、これらの受光値から推定される。すなわち、Ｇ１の重畳する４画素加算値である下記第１のグループＧ１と、Ｇ２の重畳する４画素加算値である下記第２のグループＧ２から推定される。ここで、ＬはＬ≧０の整数である。
第１のグループＧ１：
｛ａ_００，ａ_２０，ａ_４０，・・・，ａ_{（２Ｌ）（２Ｌ）}，・・・｝
第２のグループＧ２：
｛ａ_１１，ａ_３１，ａ_５１，・・・，ａ_{（２Ｌ＋１）（２Ｌ＋１）}，・・・｝

図１４（Ｂ）に、中間画素と推定画素の説明図を示す。図１４（Ｂ）に示すように、Ｇ１の中間画素値｛ｂ_００，ｂ_２０，ｂ_４０，・・・｝と、Ｇ２の中間画素値｛ｂ_１１，ｂ_３１，・・・｝が推定される。これらの中間画素は、垂直方向の次の中間画素と重畳して設定される。そして、これらの中間画素値から、Ｇ１の推定画素値｛ｖ_００，ｖ_２０，ｖ_４０，・・・｝と、Ｇ２の推定画素値｛ｖ_１１，ｖ_３１，・・・｝が推定される。

次に、中間画素値の推定処理について説明する。なお、以下ではＧ１の中間画素値について説明するが、Ｇ２の中間画素値についても同様である。図１５に示すように、４画素加算値ａ_ｉｊの水平方向の最初の行に注目し、シフト順に画素値をａ_００，ａ_２０，ａ_４０とすると、下式（１２）が成り立つ。
ａ_００＝ｂ_００＋ｂ_２０，
ａ_２０＝ｂ_２０＋ｂ_４０ ・・・ （１２）

下式（１３）に示すように、ｂ_００を未知数（初期変数）とし、中間画素値ｂ_２０，ｂ_４０をｂ_００の関数として求める。
ｂ_００＝（未知数），
ｂ_２０＝ａ_００−ｂ_００，
ｂ_４０＝ｂ_００＋δｉ_０＝ｂ_００＋（ａ_２０−ａ_００） ・・・ （１３）

ここで、δｉ_０は、１シフト離れた受光値の差分値であり、下式（１４）で表される。
δｉ_０＝ａ_２０−ａ_００
＝（ｂ_００＋ｂ_２０）−（ｂ_２０＋ｂ_４０）
＝ｂ_４０−ｂ_００ ・・・ （１４）

次に、図１５に示すように、中間画素値｛ｂ_００，ｂ_２０，ｂ_４０｝によるパターンを近傍の同色４画素加算値である｛ａ_００，ａ_１１，ａ_２０｝と比較し、その誤差が最小となる未知数ｂ_００を導出し、その値をｂ_００に設定する。｛ａ_００，ａ_１１，ａ_２０｝は、第１のグループＧ１とその近傍の第２のグループＧ２を混合した受光値パターンである。より具体的には、誤差の評価関数として下式（１５）に示す評価関数ｅ_ｉｊを求め、評価関数ｅ_００が最小になる未知数ｂ_００を求める。ｂ_００が求まれば、ｂ_２０，ｂ_４０も上式（１３）により求められる。同様の手法を適用し、｛ｂ_０２，ｂ_２２，ｂ_４２｝等も求めることができる。

このＧ１、Ｇ２の受光値パターンと比較する手法は、Ｇ１のみの受光値パターンと比較する場合と比べて、より高い空間周波数成分が推定しやすくなる可能性が高いと考えられる。なお、本実施形態では、中間画素値パターン｛ｂ_００，ｂ_２０，ｂ_４０｝の比較対象として、Ｇ１のみの受光値パターン｛ａ_００，ａ_２０｝を用いてもよい。また、比較する近傍の４画素加算値はこれらの他にも存在するので、より推定精度が高くなる４画素加算値を選ぶことが望ましい。

次に、推定画素値ｖ_ｉｊの推定処理について説明する。なお、以下ではＧ１の推定画素値について説明するが、Ｇ２の推定画素値についても同様に求めることができる。図１６に示すように、中間推定画素値ｂ_ｉｊの垂直方向の最初の列に注目し、シフト順に画素値をｂ_００，ｂ_０２とすると、下式（１６）が成り立つ。
ｂ_００＝ｖ_００＋ｖ_０２，
ｂ_０２＝ｖ_０２＋ｖ_０４ ・・・ （１６）

下式（１７）に示すように、ｂ_００を未知数（初期変数）とし、最終推定画素値ｖ_０２，ｖ_０４をｖ_００の関数として求める。
ｖ_００＝未知数，
ｖ_０２＝ｂ_００−ｖ_００，
ｖ_０４＝ｂ_００＋δｊ_０＝ｂ_００＋（ｂ_０２−ｂ_００） ・・・ （１７）

ここで、δｊ_０は、１シフト離れた中間画素値の差分値であり、下式（１８）で表される。
δｊ_０＝ｂ_０２−ｂ_００
＝（ｖ_０２＋ｖ_０４）−（ｖ_０２＋ｖ_００）
＝ｖ_０４−ｖ_００ ・・・ （１８）

次に、図１６に示すように、最終推定画素値｛ｖ_００，ｖ_０２，ｖ_０４｝によるパターンを、その近傍の中間推定値である｛ｂ_００，ｂ_１１，ｂ_０２｝と比較し、その誤差が最小になる未知数ｖ_００を導出し、その値をｖ_００に設定する。｛ｂ_００，ｂ_１１，ｂ_０２｝は、Ｇ１の中間画素値とＧ２の中間画素値を混合した中間画素値パターンである。より具体的には、誤差の評価関数として下式（１９）に示す評価関数ｅ_ｉｊを求め、評価関数ｅ_００が最小になる未知数ｖ_００を求める。ｖ_００が求まれば、ｖ_２０も上式（１７）により求められる。同様の手法を適用し、｛ｖ_２０，ｖ_２２｝等も求めることができる。このようにして、高解像画像の最終推定画素値｛ｖ_００，ｖ_０２，ｖ_２０，ｖ_２２｝が求められる。

このＧ１、Ｇ２の中間画素値パターンと比較する手法は、Ｇ１のみの中間画素値パターンと比較する場合と比べて、より高い空間周波数成分が推定しやすくなる可能性が高いと考えられる。なお、本実施形態では、推定画素値パターン｛ｖ_００，ｖ_０２，ｖ_０４｝の比較対象として、Ｇ１のみの中間画素値パターン｛ｂ_００，ｂ_０２｝を用いてもよい。また、比較する近傍の中間画素値はこれらの他にも存在するので、より推定精度が高くなる中間画素値を選ぶことが望ましい。

次に、Ｒ、Ｂの画素値推定について説明する。以下ではＲの画素値推定について説明するが、Ｂの画素値推定についても同様に行うことができる。図１７（Ａ）に示すように、受光単位の受光値として、Ｒの４画素加算値｛ａ_１０，ａ_５０，・・・｝がサンプリングされる。図１７（Ａ）では、Ｒの画素を網掛けの四角で表し、受光単位を実線で表し、仮想受光単位を点線で表す。次に、取得された受光値から、Ｒの仮想受光単位の受光値｛ａ_３０，・・・，ａ_１２，ａ_３２，・・・｝を補間処理により求める。

図１７（Ｂ）に、中間画素と推定画素の説明図を示す。図１７（Ｂ）に示すように、Ｒの中間画素値｛ｂ_１０，ｂ_３０，ｂ_５０，・・・｝が推定される。これらの中間画素は、垂直方向の次の中間画素と重畳して設定される。そして、これらの中間画素値から、Ｒの推定画素値｛ｖ_１０，ｖ_３０，ｖ_５０，・・・｝が推定される。中間画素値と推定画素値の推定処理は、図３（Ａ）〜図１０で上述の手法と同様の手法により行われる。以上の処理によりベイヤ配列の高精細な推定画像が得られ、その画像をベイヤ補間することでＲＧＢの高解像フレーム画像が得られる。

上記推定手法によれば、撮像素子がカラー撮像素子であり、同じ色の複数の画素が受光単位に設定される（例えば図１４（Ａ）に示すＧ１、Ｇ２の受光単位）。そして、その受光単位に設定された複数の画素の画素値が加算されて読み出され（Ｇ１の受光値ａ_００、Ｇ２の受光値ａ_１１等）、低解像度フレーム画像が取得される。推定演算部（例えば、図２０に示す画素値推定演算部２１０）は、その低解像度フレーム画像の受光単位の受光値（ａ_００、ａ_１１等）と、補間処理部（補間処理部２００）からの仮想受光単位の受光値（ａ_２０、ａ_３１等）とに基づいて受光単位の各画素の画素値（ｖ_００、ｖ_２０等）を推定する。画像出力部（画像出力部３００）は、その推定された画素値に基づいて、カラーの高解像フレーム画像を出力する。

このようにすれば、カラー撮像においても、高フレームレートで低解像フレーム画像を撮影し、その低解像フレーム画像から画素値推定を行って、任意タイミングのカラーの高解像フレーム画像を取得できる。また、同色の画素値を加算して受光値を取得するため、色相関が小さい画像であっても色再現性の高い推定処理が可能であり、推定処理による偽色の発生を抑止できる。

７．データ圧縮伸張と推定処理の手法
図１８、図１９を用いて、撮像した低解像画像を圧縮伸張する処理と、伸張した低解像画像から画素値推定を行う処理の手法について説明する。

図１８に、Ｇ画素の圧縮伸張処理の説明図を示す。図１８のＡ１に示すように、Ｇ１とＧ２の４画素加算値｛ａ_００，ａ_４０，ａ_１１，ａ_５１，・・・｝が取得される。Ａ２には、この４画素加算値｛ａ_００，ａ_４０，ａ_１１，ａ_５１，・・・｝と、ベイヤ配列原画像（高解像）のＧ画素との配列関係を示す。Ａ３に示すように、ベイヤ補間（デモザイキング処理）を行って、欠落画素値｛Ｇ_１０，Ｇ_５０，Ｇ_０１，Ｇ_４１，・・・｝を求める。これらの画素値は、各欠落画素の周囲の４画素加算値を用いて補間することにより求められる。

Ａ４に示すように、ベイヤ補間後のデータは、データ圧縮によりデータ記録部に記録される。Ａ５に示すように、原画像の画素値を推定演算する際は、データ記録部に記録された圧縮データを伸張し、Ａ３に示すベイヤ補間後のデータを再生する。推定画素値ｖ_ｉｊの推定には、そのデータの中から補間値Ｇ_ｉｊではなく、４画素加算値ａ_ｉｊと対応する値が用いられる。ベイヤ補間において、どの画素が４画素加算値であるかは分かっているため、伸張されたデータのどの画素を推定処理に用いるか予め決めておけばよい。

図１９に、Ｒ画素の圧縮伸張処理の説明図を示す。なお、Ｂ画素の圧縮伸張処理も同様に行うことができる。図１９のＢ１に示すように、Ｒの４画素加算値｛ａ_１０，ａ_５０，・・・｝が取得される。Ｂ２には、この４画素加算値｛ａ_１０，ａ_５０，・・・｝と、ベイヤ配列原画像（高解像）のＲ画素との配列関係を示す。Ｂ３に示すように、ベイヤ補間を行って、欠落画素値｛Ｒ_００，Ｒ_０１，Ｒ_１１，Ｒ_４０，Ｒ_４１，Ｒ_５１，・・・｝を求める。これらの画素値は、各欠落画素の周囲の４画素加算値を用いて補間することにより求められる。推定画素値ｖ_ｉｊの推定には、圧縮伸張されたデータの中から４画素加算値ａ_ｉｊと対応する値が用いられる。

８．撮像装置と画像処理装置の第２の構成例
図２０に、上記圧縮伸張処理を行う場合の撮像装置と画像処理装置の第２の構成例を示す。この撮像装置１０は、この撮像装置１０は、撮像光学系１００、光学ローパスフィルタ１１０、撮像素子１２０、画素加算処理部１３０、データ記録部１４０、表示処理部１５０、モニター表示部１６０、ベイヤ補間処理部１７０（デモザイキング処理部）、フレームバッファ１８０、データ圧縮処理部１９０を含む。画像処理装置２０は、補間処理部２００、画素値推定演算部２１０、データ伸張処理部２６０、フレームバッファ２７０（記憶部）、フレーム選択部２８０、推定用画素加算抽出部２９０、画像出力部３００を含む。画像出力部３００は、アンダーサンプリング部３１０、アンチエリアシングフィルタ２２０，３２０、ベイヤ補間処理部３３０（デモザイキング処理部）を含む。なお、図１１で説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。

図２０に示すように、撮像により取得された低解像動画（例えば、３メガピクセル）は、ベイヤ補間処理部１７０によりベイヤ補間処理（デモザイキング処理）され、フレームバッファ１８０にバッファリングされる。バッファリングされた動画は、データ圧縮処理部１９０により圧縮処理され、データ記録部１４０に記録される。

記録データを再生する場合、データ伸張処理部２６０により動画が伸張される。伸張された動画は、アンダーサンプリング部３１０によりアンダーサンプリングされ、アンチエリアシングフィルタ３２０によりアンチエリアシング処理され、ハイビジョン動画（２メガピクセル）として再生される。

ユーザは、この再生動画から高解像静止画にしたいフレームを指定する。この指定は、フレーム選択部２８０（例えば、タッチパネル等のユーザインターフェース）を介して行われ、フレームバッファ２７０に指定フレームの情報が入力される。フレームバッファ２７０には、指定フレームの低解像画像が記憶される。この低解像画像はベイヤ補間された画像であり、推定用画素加算抽出部２９０により推定処理に用いる受光値（画素値）が抽出される。抽出された受光値は、補間処理部２００により補間処理され、画素値推定演算部２１０により推定処理される。推定画素値は、ベイヤ補間処理部３３０により、ベイヤ補間処理（デモザイキング処理）され、アンチエリアシングフィルタ２２０によりアンチエリアシング処理され、高解像静止画（１２メガピクセル）として出力される。

９．推定画素値の第４の推定手法（重み付け加算）
上述の推定手法では、受光単位内の画素値を単純加算して読み出しているが、本実施形態では、受光単位内の画素値を重み付け加算して読み出し、その受光値から推定画素値を求めてもよい。図２１〜図２８を用いて、この推定画素値の第４の推定手法について説明する。なお、以下では、ベイヤ配列のうちＧ１画素の推定処理について説明するが、Ｇ２画素やＲ画素、Ｂ画素についても同様の推定処理を適用できる。

図２１に示すように、加算読み出しの重み係数をｃ_１、ｃ_２、ｃ_３、ｃ_４とする。ｃ_１＝１とすると、重み係数は下式（２０）に示す比率関係のルールをとる（ｒは、ｒ＞１の実数）。
ｃ_１＝１，ｃ_２＝１／ｒ，ｃ_３＝１／ｒ，ｃ_４＝１／ｒ^２ ・・・ （２０）

以下では、説明を簡単にするために、ｒ＝２とおき、下式（２１）とする。
ｃ_１＝１、ｃ_２＝１／２、ｃ_３＝１／２、ｃ_４＝１／４ ・・・ （２１）

図２２（Ａ）に示すように、受光値ａ_００、ａ_２０、・・・が撮像により取得され、受光値ａ_１０、・・・、ａ_０１、ａ_１１、・・・が補間処理により求められる。図２２（Ｂ）に示すように、これらの受光値から中間画素値ｂ_００、ｂ_１０、・・・が求められ、中間画素値ｂ_００、ｂ_１０、・・・から推定画素値ｖ_００、ｖ_１０、・・・が求められる。なお、図２２（Ａ）、図２２（Ｂ）では便宜的に、ｉｊのサフィックスを図１４（Ａ）、図１４（Ｂ）と異ならせている。

まず、中間画素値の推定処理について説明する。図２３に示すように、中間画素値の水平方向の最初の行に注目し、重み付け画素加算値をシフト順にａ_００、ａ_１０、ａ_２０とすると、下式（２２）が成り立つ。
ａ_００＝ｃ_１ｖ_００＋ｃ_２ｖ_０１＋ｃ_３ｖ_１０＋ｃ_４ｖ_１１
ａ_１０＝ｃ_１ｖ_１０＋ｃ_２ｖ_１１＋ｃ_３ｖ_２０＋ｃ_４ｖ_２１ ・・・ （２２）

また、下式（２３）に示すようにｂ_００、ｂ_１０、ｂ_２０を定義し、上式（２１）を代入する。
ｂ_００＝ｃ_１ｖ_００＋ｃ_２ｖ_０１＝ｖ_００＋（１／２）ｖ_０１
ｂ_１０＝ｃ_１ｖ_１０＋ｃ_２ｖ_１１＝ｖ_１０＋（１／２）ｖ_１１
ｂ_２０＝ｃ_１ｖ_２０＋ｃ_２ｖ_２１＝ｖ_２０＋（１／２）ｖ_２１ ・・・ （２３）

次に、上式（２１）、（２３）を用いて上式（２２）を変形すると、下式（２４）が成り立つ。
ａ_００＝ｖ_００＋（１／２）ｖ_０１＋（１／２）ｖ_１０＋（１／４）ｖ_１１
＝ｂ_００＋（１／２）ｂ_１０
ａ_１０＝ｖ_１０＋（１／２）ｖ_１１＋（１／２）ｖ_２０＋（１／４）ｖ_２１
＝ｂ_１０＋（１／２）ｂ_２０ ・・・ （２４）

上式（２４）において、ａ_００、ａ_１０に所定の係数（所定の重み係数）を掛けて差分δｉ_０を取り、上式（２３）を使って変形すると、下式（２５）が成り立つ。
δｉ_０＝ａ_１０−２ａ_００
＝（１／２）ｖ_２０＋（１／４）ｖ_２１−（２ｖ_００＋ｖ_０１）
＝（１／２）ｂ_２０−２ｂ_００ ・・・ （２５）

ｂ_００を未知数とすると、下式（２６）に示すように、中間画素値ｂ_１０、ｂ_２０をｂ_００の関数として求めることができる。
ｂ_００＝（未知数），
ｂ_１０＝２（ａ_００−ｂ_００），
ｂ_２０＝４ｂ_００＋２δｉ_０＝４ｂ_００＋２（ａ_１０−２ａ_００） ・・・ （２６）

このように、ｂ_００を未知数（初期変数）として高精細な中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の組合せパターンが求められる。同様にして、２行目、３行目においてもｂ_０１、ｂ_０２を未知数として中間画素値｛ｂ_０１，ｂ_１１，ｂ_２１｝、｛ｂ_０２，ｂ_１２，ｂ_２２｝の組合せパターンが求められる。

次に、未知数ｂ_００を求める手法について説明する。図２４に示すように、受光値パターン｛ａ_００，ａ_１０｝と中間画素値パターン｛ｂ_００，ｂ_１０，ｂ_２０｝を比較する。そして、その誤差が最小になる未知数ｂ_００を導出し、中間画素値ｂ_００として設定する。

このとき、上式（２４）に示すように、受光値｛ａ_００，ａ_１０｝は、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の異なる重み付けによる隣接値の加算値となる。そのため、単純にこれらを比較しても正しい推定値が得られない。そこで、図２４に示すように、中間画素値に重み付けをして比較を行う。具体的には、中間画素値｛ｂ_ｉｊ，ｂ_{（ｉ＋１）ｊ}｝の重み付けが、ｃ_３＝ｃ_１／２、ｃ_４＝ｃ_２／２であることを利用すると、下式（２７）が成り立つことが分かる。
ａ_ｉｊ＝ｂ_ｉｊ＋（１／２）ｂ_{（ｉ＋１）ｊ} ・・・ （２７）

この上式（２７）による重み付けを考慮すると、下式（２８）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、受光値パターン｛ａ_００，ａ_１０｝と中間画素値パターン｛ｂ_００，ｂ_１０，ｂ_２０｝の類似性評価を行う。

上式（２６）を用いると、評価関数Ｅｊは、ｂ_００を初期変数とした関数で表される。したがって、図２５に示すように、Ｅｊを最小にする未知数ｂ_００（＝α）を求め、ｂ_００の値を決定できる。そして、推定したｂ_００の値を上式（２６）に代入し、ｂ_１０，ｂ_２０が求められる。なお、ｂ_００が取り得る値の範囲は０≦ｂ_００≦ａ_００であるので、この範囲にて評価関数Ｅｊの最小値を求めればよい。同様に、２行目、３行目においても、中間画素値｛ｂ_０１，ｂ_１１，ｂ_２１｝、｛ｂ_０２，ｂ_１２，ｂ_２２｝の組合せパターンがｂ_０１，ｂ_０２を未知数として求められる。

次に、求めた中間画素値ｂ_ｉｊを用いて最終推定画素値ｖ_ｉｊを求める手法について説明する。以下では、図２２（Ｂ）に示す左端垂直列（ｉ＝０列）を例に説明する。図２６に示すように、中間画素値｛ｂ_０１，ｂ_０１，ｂ_０２｝と最終推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝の関係は、下式（２９）で表される。
ｂ_００＝ｃ_１ｖ_００＋ｃ_２ｖ_０１＝ｖ_００＋（１／２）ｖ_０１，
ｂ_０１＝ｃ_１ｖ_０１＋ｃ_２ｖ_０２＝ｖ_０１＋（１／２）ｖ_０２ ・・・ （２９）

ｂ_００、ｂ_０１に所定の係数を掛けて差分δｊ_０を求めると、下式（３０）が成り立つ。
δｊ_０＝ｂ_０１−２ｂ_００
＝（ｖ_０１＋（１／２）ｖ_０２）−（２ｖ_００＋ｖ_０１）
＝（１／２）ｖ_０２−２ｖ_００ ・・・ （３０）

ｖ_００を未知数（初期変数）とすると、上式（２９）、（３０）を用いて、最終推定画素値ｖ_０１、ｖ_０２がｖ_００の関数として求められる。その関数を下式（３１）に示す。
ｖ_００＝（未知数），
ｖ_０１＝２（ｂ_００−ｖ_００），
ｖ_０２＝４ｖ_００＋２δｊ_０＝４ｖ_００＋２（ｂ_０１−２ｂ_００） ・・・ （３１）

上式（３１）の推定画素値パターン｛ｖ_００，ｖ_０１，ｖ_０２｝と、中間画素値パターン｛ｂ_００，ｂ_０１｝を比較し、その誤差Ｅｉが最小になる未知数ｖ_００を導出する。このとき、最終推定画素値｛ｖ_ｉｊ，ｖ_{（ｉ＋１）ｊ}｝の重み付けが、ｃ_２＝ｃ_１／２であることを利用すると、下式（３２）が成り立つ。
ｂ_ｉｊ＝ｖ_ｉｊ＋（１／２）ｖ_{ｉ（ｊ＋１）} ・・・ （３２）

図２７に示すように、上式（３２）に示す重み付けを考慮して、パターンの比較を行う。具体的には、下式（３３）に示す評価関数Ｅｉを求める。

そして、図２８に示すように、評価関数Ｅｉを最小にする未知数ｖ_００（＝β）を求め、求めたｖ_００を上式（３１）に代入して最終推定画素値ｖ_０１、ｖ_０２を求める。同様に、２列目においても、ｖ_１０を未知数として最終推定画素値｛ｖ_１０，ｖ_１１，ｖ_１２｝の組合せパターンを求める。

上記推定手法によれば、図２２（Ａ）に示すように、受光単位が撮像素子の複数の画素毎に設定され、その受光単位の各画素値が重み付け加算されて受光単位の受光値として読み出される（例えば、ａ_００＝ｃ_１ｖ_００＋ｃ_２ｖ_０１＋ｃ_３ｖ_１０＋ｃ_４ｖ_１１）。そして、推定演算部（例えば図２０に示す画素値推定演算部２１０）は、重み付け加算読み出しにより得られた受光単位の受光値ａ_００等と、補間処理により得られた仮想受光単位の受光値ａ_１０等に基づいて、受光単位の各画素の画素値ｖ_００等を推定する。

このようにすれば、受光単位の各画素値を重み付け加算して低解像フレーム画像を取得し、取得した低解像フレーム画像から高解像フレーム画像の画素値を推定できる。これにより、推定処理において、被写体の持つ高周波成分の再現性を向上できる。すなわち、受光単位の画素値を単純加算した場合には、矩形の窓関数を結像にコンボリューションすることになる。一方、受光単位の画素値を重み付け加算した場合には、矩形よりも高周波成分を多く含む窓関数を結像にコンボリューションすることになる。そのため、被写体の持つ高周波成分をより多く含む低解像フレーム画像を取得でき、推定画像での高周波成分の再現性を向上できる。

なお、本実施形態では、受光単位の各画素値が重み付けされず単純加算されて受光単位の受光値として読み出され（例えば、ａ_００＝ｖ_００＋ｖ_０１＋ｖ_１０＋ｖ_１１）、その加算読み出しにより得られた受光単位の受光値ａ_００等に基づいて、受光単位の各画素の画素値ｖ_００等が推定されてもよい。

１０．推定画素値の第５の推定手法
上記実施形態では、推定画素値を推定する処理を１回で行う場合について説明したが、本実施形態では、画素数を４倍にする推定処理を複数回繰り返して推定画素値を推定してもよい。図２９を用いて、この推定画素値の第５の推定手法について説明する。なお、図２９ではフローチャートを用いて説明するが、この処理は、プログラムを実行することで実現されてもよく、ハードウェアにより実現されてもよい。

この処理が開始されると、ｋ＝０（ｋはｋ≧０の整数）に設定し（ステップＳ１）、Ｎ×Ｎ画素加算値（Ｎは自然数）による低解像フレーム画像ｆｘを取得する（ステップＳ２）。

次に、画像ｆｘに対して水平方向にＮ／２画素シフトされたＮ×Ｎ画素加算値を補間処理により求め、画像ｆｘ＿ｈを生成する（ステップＳ３）。画像ｆｘに対して垂直方向にＮ／２画素シフトされたＮ×Ｎ画素加算値を補間処理により求め、画像ｆｘ＿ｖを生成する（ステップＳ４）。画像ｆｘに対して対角斜め方向（水平方向及び垂直方向）にＮ／２画素シフトされたＮ×Ｎ画素加算値を補間処理により求め、画像ｆｘ＿ｄを生成する（ステップＳ５）。

次に、画像ｆｘ、ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄを用いて推定処理を行い、高解像フレーム画像Ｆｘを生成する（ステップＳ６）。ｋが所定値より小さければ（ステップＳ７、Ｙｅｓ）、生成した画像Ｆｘを画像ｆｘに設定し（ステップＳ８）、ｋをインクリメントし、ＮにＮ／２を代入する（ステップＳ９）。そして、再びステップＳ３〜Ｓ６を繰り返す。ｋが所定値になったら（ステップＳ７、Ｎｏ）、処理を終了する。ここで、ｋの所定値は、ステップＳ３〜Ｓ６に示す処理の繰り返し回数を表す値であり、推定画素の解像度に応じた値である。例えば、Ｎ×Ｎ＝４×４画素の撮像画像から１画素相当の推定画素を推定する場合、ｋの所定値は２であり、ステップＳ３〜Ｓ６の処理が２回繰り返される。

上記推定手法によれば、ステップＳ２に示すように、受光単位がＮ×Ｎ画素に設定され、そのＮ×Ｎ画素の画素値が加算されて読み出されてＮ×Ｎ画素の受光単位の受光値（画像ｆｘ）が取得される。そして、ステップＳ３〜Ｓ５に示すように、補間処理部（例えば図１１に示す補間処理部２００）は、Ｎ×Ｎ画素の受光単位がＮ／２画素だけシフトされたＮ×Ｎ画素の仮想受光単位の受光値（画像ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄ）を補間処理により求める。ステップＳ６に示すように、推定演算部（画素値推定演算部２１０）は、Ｎ×Ｎ画素の受光単位の受光値（画像ｆｘ）とＮ×Ｎ画素の仮想受光単位の受光値（画像ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄ）に基づいて、Ｎ／２×Ｎ／２画素の受光単位の受光値（画像Ｆｘ）を推定する。

次に、ステップＳ７〜Ｓ９及びステップＳ３〜Ｓ５に示すように、補間処理部は、Ｎ／２×Ｎ／２画素の受光単位がＮ／４画素だけシフトされたＮ／２×Ｎ／２画素の仮想受光単位の受光値（画像ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄ）を補間処理により求める。そして、推定演算部は、Ｎ／２×Ｎ／２画素の受光単位の受光値（画像ｆｘ）とＮ／２×Ｎ／２画素の仮想受光単位の受光値（画像ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄ）に基づいて、Ｎ／４×Ｎ／４画素の受光単位の受光値（画像Ｆｘ）を推定する。

このようにすれば、受光単位に含まれる画素数を１／２×１／２倍にする推定処理を繰り返し行うことで、所望の解像度まで段階的に高精細化できる。これにより、受光単位に含まれる画素数を１／Ｎ×１／Ｎ倍にする推定処理を１回で行う場合に比べて、処理を簡素にできる。例えば、４×４画素の受光単位から１×１画素の推定画素を推定する場合、中間画素値間の関係式に未知数が３つ現れるため、未知数を推定する処理が複雑になってしまう。この点、上記推定処理では、各回の推定処理で未知数は１つであるため、未知数を容易に決定できる。

１１．推定画素値の第６の推定手法
上記実施形態では、加算読み出しの際に画素シフトを行わない場合を例に説明したが、本実施形態では、画素シフトしつつ加算読み出しし、複数の推定画像を合成してより高精細な高解像フレーム画像を生成してもよい。図３０、図３１を用いて、この推定画素値の第６の推定手法について説明する。

図３０に示すように、フレームｆｘにおいて受光値ａ_ｉｊ（ｘ）が取得され、フレームｆｘ＋１において１画素シフトされた受光値ａ_{ｉ＋１，ｊ}（ｘ＋１）が取得される。そして、フレームｆｘ＋４において再び受光値ａ_ｉｊ（ｘ）が取得される。次に、取得された受光値を用いて各フレームで補間処理と推定処理が行われ、各フレームにおける高解像推定画像が求められる。次に、４フレーム分（画素シフト１巡）の高解像推定画像に対して動き補償を行い、動き補償された４枚の高解像推定画像を合成して、最終的な高解像フレーム画像を出力する。高解像推定画像の合成は、例えば動き補償された４枚の高解像推定画像の各画素で平均を取る処理により行われる。この高解像フレーム画像は、４フレーム毎に出力されてもよく、各フレームで出力されてもよい。

図３１に、この推定処理の詳細なフローチャートを示す。この処理が開始されると、処理対象のフレーム番号ｘにフレーム番号ｋを設定し（ステップＳ１０１）、低解像フレーム画像ｆｘを取得する（ステップＳ１０２）。画像ｆｘに対して１画素シフトされた画像ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄを補間処理により求め（ステップＳ１０３〜Ｓ１０５）、画像ｆｘ、ｆｘ＿ｈ、ｆｘ＿ｖ、ｆｘ＿ｄに基づいて高解像推定画像Ｆｘを推定する（ステップＳ１０６）。生成された高解像推定画像Ｆｘが４つ未満の場合には（ステップＳ１０７、Ｙｅｓ）、フレーム番号ｘをインクリメントし（ステップＳ１０８）、ステップＳ１０２〜Ｓ１０６の処理を繰り返す。

生成された高解像推定画像Ｆｘが４つになると（ステップＳ１０７、Ｎｏ）、フレーム番号ｘにフレーム番号ｋを再び設定する（ステップＳ１０９）。そして、高解像推定画像Ｆｘを基準として、高解像推定画像Ｆｘ＋１、Ｆｘ＋２、Ｆｘ＋３に対して動き補償を行う（ステップＳ１１０〜Ｓ１１２）。動き補償された高解像推定画像Ｆｘ、Ｆｘ＋１、Ｆｘ＋２、Ｆｘ＋３を合成して高解像フレーム画像Ｇｘを出力する（ステップＳ１１３）。その高解像フレーム画像Ｇｘを記憶装置に記憶したり、表示装置に表示し（ステップＳ１１４）、処理を終了する。

上記推定手法によれば、受光単位を重畳しながらシフトする画素シフトが各フレームｆｘ、ｆｘ＋１、・・・で行われ、画素シフトにより受光単位が複数のポジションａ_ｉｊ（ｘ）、ａ_{ｉ＋１，ｊ}（ｘ＋１）、・・・に順次設定される。複数のフレーム（ｆｘ〜ｆｘ＋３の４フレーム）毎に受光単位が同じポジションａ_ｉｊ（ｘ）、ａ_ｉｊ（ｘ＋４）に設定される。

そして、補間処理部（例えば図１１に示す補間処理部２００）は、各フレームで取得された低解像フレーム画像に基づいて、各フレームにおいて仮想受光単位の受光値ａ_{ｉ＋１，ｊ}（ｘ）、ａ_{ｉ＋２，ｊ}（ｘ＋１）、・・・を補間処理により求める。推定演算部（画素値推定演算部２１０）は、受光単位の受光値と仮想受光単位の受光値に基づいて、各フレームにおいて推定画素値ｖ_ｉｊ（ｘ）、ｖ_ｉｊ（ｘ＋１）、・・・を推定する。画像出力部（画像出力部３００）は、推定画素値ｖ_ｉｊ（ｘ）、ｖ_ｉｊ（ｘ＋１）、・・・に基づいて各フレームでのフレーム画像（高解像推定画像）を求め、複数のフレーム（ｆｘ〜ｆｘ＋３）のフレーム画像を合成して高解像フレーム画像を出力する。

このようにすれば、各フレームで画素シフトしつつ取得された複数の低解像フレーム画像から高解像フレーム画像が推定される。これにより、画素シフトによる高周波成分を加えることができるため、画素シフトしない場合に比べて画像の高周波成分の再現性を向上できる。

１２．推定画素値の第７の推定手法
上記実施形態では、受光単位が複数の画素を含み、その受光値から撮像素子の解像度相当の画像を推定する場合について説明したが、本実施形態では、受光単位が１画素に設定され、撮像素子の解像度より高解像（高画素数）の画像を推定してもよい。図３２（Ａ）
図３２（Ｂ）を用いて、この推定画素値の第７の推定手法について説明する。

図３２（Ａ）に示すように、撮像素子の画素ピッチはｐであり、受光単位は１画素毎にピッチｐで設定される。すなわち、受光単位の受光値は、その受光単位に設定された画素の画素値である。この受光単位から受光値ａ_００が読み出され、補間処理により仮想受光単位の受光値ａ_１０、ａ_０１、ａ_１１が求められる。そして、これらの受光値ａ_００、ａ_１０、ａ_０１、ａ_１１から、ピッチｐ／２の画素に対応する推定画素値が推定され、高解像フレーム画像が求められる。例えば、この高解像化処理は、デジタルズーム画像やトリミング画像の高精細化への適用が想定される。

図３２（Ｂ）に、中間画素の説明図を示す。図３２（Ｂ）に示すように、受光値ａ_００〜ａ_１１から中間画素値ｂ_００〜ｂ_２１を推定する。この中間画素値ｂ_００〜ｂ_２１の水平方向（または垂直方向）の画素ピッチはｐ／２である。中間画素値ｂ_００〜ｂ_２１の推定処理や、最終的な推定画素値の推定処理は、上述の推定手法と同様の手法により行われる。

１３．撮像装置と画像処理装置の第３の構成例
図３３に、デジタルズーム画像の高精細化を行う場合の撮像装置と画像処理装置の第３の構成例を示す。この撮像装置１０は、撮像光学系１００、光学ローパスフィルタ１１０、撮像素子１２０、読み出し制御部１３０、データ記録部１４０、表示処理部１５０、モニター表示部１６０、フレームバッファ１８０、ズーム領域選択部１９５を含む。画像処理装置２０は、補間処理部２００、画素値推定演算部２１０、画像出力部３００を含む。画像出力部３００は、アンチエリアシングフィルタ２２０，２５０、ローパスフィルタ２３０、アンダーサンプリング部２４０を含む。なお、図１１等で説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。

図３３に示すように、読み出し制御部１３０により受光単位が１画素に設定され、撮像素子１２０（例えば１２メガピクセル）の画素値が読み出され、撮像画像（１２Ｍピクセル）が取得される。撮像画像に対してズーム領域が設定され、そのズーム領域の画像（３メガピクセル）が低解像フレーム画像として取得される。このズーム領域は、例えば図示しないユーザインターフェースを介してユーザにより選択される。低解像フレーム画像は、データ記録部１４０に記憶される。データ記録部１４０から読み出された低解像フレーム画像に対して補間処理と推定処理が行われ、推定画像（１２メガピクセル）が求められる。そして、画像出力部３００により推定画像から高精細静止画（１２メガピクセル）やハイビジョン動画（２メガピクセル）が生成される。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（受光単位、仮想受光単位、中間画素値等）と共に記載された用語（加算画素値、補間受光単位、中間推定画素値等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また補間処理部、推定演算部、画像出力部、撮像装置、画像処理装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

１０ 撮像装置、２０ 画像処理装置、１００ 撮像光学系、
１１０ 光学ローパスフィルタ、１２０ 撮像素子、１３０ 画素加算処理部、
１４０ データ記録部、１５０ 表示処理部、１６０ モニター表示部、
１７０ ベイヤ補間処理部、１８０ フレームバッファ、１９０ データ圧縮処理部、
１９５ ズーム領域選択部、２００ 補間処理部、２１０ 画素値推定演算部、
２２０ アンチエリアシングフィルタ、２３０ ローパスフィルタ、
２４０ アンダーサンプリング部、２５０ アンチエリアシングフィルタ、
２６０ データ伸張処理部、２７０ フレームバッファ、２８０ フレーム選択部、
２９０ 推定用画素加算抽出部、３００ 画像出力部、
３１０ アンダーサンプリング部、３２０ アンチエリアシングフィルタ、
３３０ ベイヤ補間処理部、
Ｂｋ_００ 推定処理ブロック、ａ_００ 受光単位の受光値、
ａ_１０，ａ_０１，ａ_１１ 仮想受光単位の受光値、ｂ_ｉｊ 中間画素値、
ｖ_ｉｊ 推定画素値、δｉ_０ 差分値、Ｅｉ 評価関数、
ｗ_０，ｗ_１，ｗ_２ 重み係数、ｆｘ フレーム、ｐ 画素ピッチ

Claims (17)

1. 受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、
   前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、
   前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、
   前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記推定演算部は、
   第１のポジションに設定された前記受光単位または前記仮想受光単位のいずれかである第１の受光単位と、前記第１の受光単位に重畳する第２のポジションに設定された前記仮想受光単位である第２の受光単位との差分値を求め、前記差分値に基づいて前記推定画素値を推定することを特徴とする画像処理装置。
3. 請求項２において、
   前記推定演算部は、
   前記第１の受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２の受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
   前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めることを特徴とする画像処理装置。
4. 請求項３において、
   前記推定演算部は、
   前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を、前記受光単位の受光値及び前記仮想受光単位の受光値を用いて表し、
   前記関係式で表された前記中間画素値パターンを、前記受光単位の受光値及び前記仮想受光単位の受光値で表される受光値パターンと比較して類似性を評価し、
   前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする画像処理装置。
5. 請求項４において、
   前記推定演算部は、
   前記関係式で表された前記中間画素値パターンと、前記受光値パターンとの誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする画像処理装置。
6. 請求項１乃至５のいずれかにおいて、
   前記補間処理部は、
   前記低解像フレーム画像に含まれる前記受光単位の受光値のうち、前記仮想受光単位の周辺の複数の受光単位の受光値を重み付け加算して前記仮想受光単位の受光値を求めることを特徴とする画像処理装置。
7. 請求項１乃至６のいずれかにおいて、
   前記受光単位が前記撮像素子の複数の画素毎に設定される場合に、前記受光単位の各画素値が加算されて前記受光単位の受光値として読み出され、
   前記推定演算部は、
   加算読み出しにより得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定することを特徴とする画像処理装置。
8. 請求項１乃至６のいずれかにおいて、
   前記受光単位が前記撮像素子の複数の画素毎に設定される場合に、前記受光単位の各画素値が重み付け加算されて前記受光単位の受光値として読み出され、
   前記推定演算部は、
   重み付け加算読み出しにより得られた前記受光単位の受光値に基づいて、前記受光単位の各画素の画素値を推定することを特徴とする画像処理装置。
9. 請求項１乃至８のいずれかにおいて、
   前記撮像素子がカラー撮像素子であり、隣接する複数の画素が、画素の色に依らず前記受光単位に設定され、前記受光単位に設定された前記複数の画素の画素値が加算されて読み出されて前記低解像度フレーム画像が取得され、
   前記推定演算部は、
   前記低解像度フレーム画像の前記受光単位の受光値と、前記補間処理部からの前記仮想受光単位の受光値とに基づいて前記受光単位の各画素の画素値を推定し、
   前記画像出力部は、
   前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力することを特徴とする画像処理装置。
10. 請求項１乃至８のいずれかにおいて、
    前記撮像素子がカラー撮像素子であり、同じ色の複数の画素が前記受光単位に設定され、前記受光単位に設定された前記複数の画素の画素値が加算されて読み出され、前記低解像度フレーム画像が取得され、
    前記推定演算部は、
    前記低解像度フレーム画像の前記受光単位の受光値と、前記補間処理部からの前記仮想受光単位の受光値とに基づいて前記受光単位の各画素の画素値を推定し、
    前記画像出力部は、
    前記推定演算部により推定された画素値に基づいて、カラーの前記高解像フレーム画像を出力することを特徴とする画像処理装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記受光単位がＮ×Ｎ画素に設定され、前記Ｎ×Ｎ画素の画素値が加算されて読み出されてＮ×Ｎ画素の受光単位の受光値が取得される場合に、
    前記補間処理部は、
    前記Ｎ×Ｎ画素の受光単位がＮ／２画素だけシフトされたＮ×Ｎ画素の仮想受光単位の受光値を補間処理により求め、
    前記推定演算部は、
    前記Ｎ×Ｎ画素の受光単位の受光値と前記Ｎ×Ｎ画素の仮想受光単位の受光値に基づいて、Ｎ／２×Ｎ／２画素の受光単位の受光値を推定し、
    前記補間処理部は、
    前記Ｎ／２×Ｎ／２画素の受光単位がＮ／４画素だけシフトされたＮ／２×Ｎ／２画素の仮想加算画素の画素値を補間処理により求め、
    前記推定演算部は、
    前記Ｎ／２×Ｎ／２画素の受光単位の受光値と前記Ｎ／２×Ｎ／２画素の仮想受光単位の受光値に基づいて、Ｎ／４×Ｎ／４画素の受光単位の受光値を推定することを特徴とする画像処理装置。
12. 請求項１乃至１１のいずれかにおいて、
    前記受光単位を重畳しながらシフトする画素シフトが各フレームで行われ、前記画素シフトにより前記受光単位が複数のポジションに順次設定され、複数のフレーム毎に前記受光単位が同じポジションに設定される場合に、
    前記補間処理部は、
    前記各フレームで取得された前記低解像フレーム画像に基づいて、前記各フレームにおいて前記仮想受光単位の受光値を補間処理により求め、
    前記推定演算部は、
    前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記各フレームにおいて前記推定画素値を推定し、
    前記画像出力部は、
    前記推定画素値に基づいて前記各フレームでのフレーム画像を求め、前記複数のフレームの前記フレーム画像を合成して前記高解像フレーム画像を出力することを特徴とする画像処理装置。
13. 請求項１乃至１２のいずれかにおいて、
    前記画像出力部は、
    前記高解像フレーム画像を解像度変換してハイビジョン動画として出力し、または前記高解像フレーム画像を高解像静止画として出力することを特徴とする画像処理装置。
14. 撮像素子と、
    受光値を取得する単位である受光単位を前記撮像素子に設定し、前記受光単位の受光値を読み出して低解像フレーム画像を取得する読み出し制御部と、
    前記読み出し制御部により取得された前記低解像フレーム画像を記憶する記憶部と、
    前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、
    前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、
    前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
    を含むことを特徴とする撮像装置。
15. 請求項１４において、
    表示部と、
    前記表示部に画像を表示する制御を行う表示制御部と、
    を含み、
    前記画像出力部は、
    前記高解像フレーム画像を解像度変換してハイビジョン動画として出力し、または前記高解像フレーム画像を高解像静止画として出力し、
    前記表示制御部は、
    前記低解像フレーム画像による動画を表示する制御と、前記ハイビジョン動画を表示する制御と、前記高解像静止画を表示する制御と、を行うことを特徴とする撮像装置。
16. 受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶する記憶部と、
    前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求める補間処理部と、
    前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定する推定演算部と、
    前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部として、
    コンピュータを機能させることを特徴とするプログラム。
17. 受光値を取得する単位である受光単位が撮像素子に設定され、前記受光単位の受光値が読み出されて低解像フレーム画像が取得される場合に、取得された前記低解像フレーム画像を記憶し、
    前記受光単位のポジションからシフトされたポジションに前記受光単位に重畳して設定される仮想受光単位の受光値を、前記低解像フレーム画像の前記受光単位の受光値に基づく補間処理により求め、
    前記受光単位の受光値と前記仮想受光単位の受光値に基づいて、前記低解像フレーム画像の画素ピッチよりも小さい画素ピッチの推定画素値を推定し、
    前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力することを特徴とする画像処理方法。

Images