JP2012119852A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び撮像方法等を提供すること。
【解決手段】撮像装置は、読み出し制御部と、補間処理部と、推定演算部と、画像出力部を含む。読み出し制御部は、複数色の画素を含む受光単位ａ_ｉｊを設定し、第１フレームにおいて、第１受光単位群の受光値を第１取得受光値として取得し、第２フレームにおいて、第２受光単位群の受光値を第２取得受光値として取得する。補間処理部は、第１フレームにおける第２受光単位群の受光値ａ_１０ ^（１）を補間受光値として求める。このとき、補間処理部は、第ｐ色配列グループの第２取得受光値ａ_ｍｎ等に基づいて、第ｐ色配列グループの補間受光値ａ_１０ ^（１）を求める。推定演算部は、取得受光値と補間受光値に基づいて、各画素ｖ_ｉｊの画素値を推定する。画像出力部は、推定された画素値に基づく画像を出力する。
【選択図】 図７

Description

本発明は、撮像装置及び撮像方法等に関する。

昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。

特開２００９−１２４６２１号公報 特開２００８−２４３０３７号公報

しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。

本発明者は、この決定的瞬間の撮影を実現するために、低解像動画から任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。

本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び撮像方法等を提供できる。

本発明の一態様は、受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、を含み、前記読み出し制御部は、複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、前記補間処理部は、前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）の前記第２取得受光値に基づいて、前記第ｐ色配列グループの前記補間受光値を求める撮像装置に関係する。

本発明の一態様によれば、複数色の画素を含む受光単位が第１受光単位群と第２受光単位群にグループ分けされる。第１フレームにおいて、第１受光単位群の受光値が第１取得受光値として取得され、第２フレームにおいて、第２受光単位群の受光値が第２取得受光値として取得される。そして、第ｐ色配列グループの第２取得受光値に基づいて、その第ｐ色配列グループの補間受光値が求められる。

これにより、取得受光値に基づく補間により補間受光値を求め、その取得受光値と補間受光値から簡素な処理で高解像画像を推定することが可能になる。また、第１受光単位群の受光値を取得することで、撮像素子から読み出すデータ量を減らしてフレームレートを向上することが可能になる。

また、本発明の一態様では、補間処理部は、第１補間受光値を、前記第１取得受光値に基づいて前記画素の色配列に依らず補間により求め、前記第ｐ色配列グループの前記第２取得受光値に基づく前記第ｐ色配列グループの前記補間受光値を第２補間受光値として求め、前記推定演算部は、前記第１取得受光値と前記第１補間受光値に基づいて、前記受光単位に含まれる各画素の画素値として第１推定画素値を推定し、前記第１取得受光値と前記第２補間受光値に基づいて、前記受光単位に含まれる各画素の画素値として第２推定画素値を推定し、前記第１推定画素値と前記第２推定画素値に基づいて、最終的な画素値を求めてもよい。

このようにすれば、第１推定画素値と第２推定画素値を推定し、これらの画素値から最終的な画素値を求めることができる。また、第ｐ色配列グループの第２取得受光値に基づく第ｐ色配列グループの第２補間受光値を求め、その第２補間受光値により第２推定画素値を求めることで、最終的な画素値の色成分を復元可能になる。

また、本発明の一態様では、前記推定演算部は、前記第２推定画素値に基づいて、前記受光単位に属する前記第１推定画素値の加算値を、各色の画素値に配分して前記最終的な画素値を求めてもよい。

また、本発明の一態様では、前記読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、前記複数色の画素として４画素を含む前記受光単位を設定し、前記推定演算部は、前記第１〜第３色のうちの第ｒ色（ｒは３以下の自然数）の前記最終的な画素値を求める場合に、前記受光単位に属する前記第ｒ色の前記第２推定画素値と前記受光単位に属する前記第２推定画素値の加算値との比を、前記受光単位に属する前記第１推定画素値の加算値に乗じて、前記第ｒ色の前記最終的な画素値を求めてもよい。

このようにすれば、第１推定画素値と第２推定画素値に基づいて、最終的な画素値を求めることが可能になる。また、第１推定画素値の加算値を第２推定画素値に基づいて配分することで、第１推定画素値の加算値を各色成分に配分して最終的な画素値の色成分を復元できる。

また、本発明の一態様では、前記推定演算部は、前記第２推定画素値に基づいて各画素の色差を求め、前記色差と前記第１推定画素値に基づいて前記最終的な画素値を求めてもよい。

また、本発明の一態様では、前記推定演算部は、前記最終的な画素値として第１〜第３色の画素値を求める場合に、前記色差として第１色差と第２色差を求め、前記第１推定画素値と前記第１色差と前記第２色差を、前記第１〜第３色の画素値と行列との積で表し、表した式により前記最終的な画素値を求めてもよい。

このようにすれば、第２推定画素値に基づいて各画素の色差を求めることで、各画素について全ての色成分の画素値を復元することが可能になる。また、第１推定画素値と色差を最終的な画素値と行列との積で表すことで、色差と第１推定画素値に基づいて最終的な画素値を求めることが可能になる。

また、本発明の一態様では、前記行列において前記第１推定画素値に対応する行の成分は、前記推定演算部による推定処理により定まる係数であってもよい。

また、本発明の一態様では、前記推定演算部は、前記第２推定画素値に対してデモザイキング処理を行って、各画素について第１〜第３色の推定画素値を求め、前記推定演算部は、前記第１〜第３色の推定画素値と、前記行列において前記第１色差に対応する行の成分との積により前記第１色差を求め、前記第１〜第３色の推定画素値と、前記行列において前記第２色差に対応する行の成分との積により前記第２色差を求めてもよい。

このようにすれば、第１推定画素値の推定処理により定まる係数や、第１色差を求める場合の係数、第２色差を求める場合の係数により行列を表すことが可能になる。

また、本発明の一態様では、前記補間処理部は、前記第１取得受光値による画像と前記第２取得受光値による画像との間の被写体の動き情報を取得し、前記動き情報に基づいて、前記第２フレームにおける前記補間受光値の位置情報を取得し、前記位置情報が表す位置の周辺の前記第ｐ色配列グループの前記第２取得受光値に基づいて前記第ｐ色配列グループの前記補間受光値を求めてもよい。

このようにすれば、第１取得受光値による画像と第２取得受光値による画像との間の被写体の動き情報に基づいて補間が行われるため、フレーム間に生じた被写体の動きを補償して第２補間受光値を求めることができる。

また、本発明の一態様では、読み出し制御部は、前記受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けしてもよい。

このようにすれば、受光単位を市松状にグループ分けすることで、第１受光単位群と第２受光単位群にそれぞれ半数の受光単位を分配できる。これにより、撮影時の読み出しデータ量を削減できるため、フレームレートの向上が可能になる。

また、本発明の他の態様は、受光値を取得する単位である受光単位であって、隣り合う前記受光単位が重畳する前記受光単位を複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、を含み、前記読み出し制御部は、第１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、前記補間処理部は、前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の前記第２取得受光値に基づいて、前記第ｒ色の前記補間受光値を補間により求める撮像装置に関係する。

本発明の他の態様によれば、第１〜第ｑ色の各色毎に設定された受光単位が第１受光単位群と第２受光単位群にグループ分けされる。第１フレームにおいて、第１受光単位群の受光値が第１取得受光値として取得され、第２フレームにおいて、第２受光単位群の受光値が第２取得受光値として取得される。そして、第ｒ色の第２取得受光値に基づいて、その第ｒ色の補間受光値が補間により求められる。

これにより、取得受光値に基づく補間により補間受光値を求め、その取得受光値と補間受光値から簡素な処理で高解像画像を推定することが可能になる。また、第１受光単位群の受光値を取得することで、撮像素子から読み出すデータ量を減らしてフレームレートを向上することが可能になる。

また、本発明の他の態様では、読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、前記各色の受光単位として４画素を含む前記受光単位を設定し、前記第ｒ色の受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けしてもよい。

このようにすれば、ベイヤ配列において受光単位を第１受光単位群と第２受光単位群にグループ分け可能である。また、各色の受光単位を市松状にグループ分けすることで、第１受光単位群と第２受光単位群にそれぞれ半数の受光単位をグループ分けできる。

また、本発明の一態様または他の態様では、前記読み出し制御部は、前記受光単位に含まれる画素の画素値を重み付け加算して読み出し、前記取得受光値を取得し、前記補間処理部は、前記重み付け加算により得られた前記取得受光値に基づいて、前記補間受光値を補間により求めてもよい。

このようにすれば、画素値を重み付け加算することで、重み付け無しの場合に比べて高周波成分を多く含む高解像フレーム画像を推定することが可能になる。

また、本発明の一態様または他の態様では、第１のポジションに設定された前記受光単位と、前記第１のポジションからシフトされた第２のポジションに設定された前記受光単位が重畳する場合に、前記推定演算部は、前記第１のポジションの受光単位の受光値と、前記第２のポジションの受光単位の受光値の差分値を求め、前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めてもよい。

このようにすれば、第１の受光単位の受光値と第２の受光単位の受光値の差分値に基づいて画素値を推定できる。これにより、簡素な処理で画素値を推定することができる。具体的には、第１、第２の中間画素値の関係式を差分値により表し、その関係式に基づいて第１、第２の中間画素値を推定し、その第１の中間画素値に基づいて画素値を推定できる。

また、本発明の一態様または他の態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を前記受光単位の受光値を用いて表し、中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンの中間画素値の値を決定してもよい。

このようにすれば、中間画素値パターンと受光値パターンの類似性が評価され、その類似性が最も高くなるように中間画素値パターンに含まれる中間画素値が決定されることで、中間画素値間の関係式に基づいて中間画素値を決定できる。

また、本発明の一態様または他の態様では、前記推定演算部は、中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンの中間画素値の値を決定してもよい。

このようにすれば、評価関数を求められることで、中間画素値パターンと受光値パターンの類似性を評価できる。また、評価関数の値が最小となるように中間画素値が決定されることで、類似性が最も高くなるように中間画素値を決定できる。

また、本発明のさらに他の態様は、受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、前記推定演算部により推定された画素値に基づく画像を出力する画像出力部する場合に、複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）の前記第２取得受光値に基づいて、前記第ｐ色配列グループの前記補間受光値を求める撮像方法に関係する。

また、本発明のさらに他の態様は、受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、前記推定演算部により推定された画素値に基づく画像を出力する画像出力部する場合に、１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記各色の前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、前記第１受光単位群の受光値を前記取得受光値として取得し、前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の受光単位の中の前記第１受光単位群の前記取得受光値に基づいて、前記第ｒ色の受光単位の中の前記第２受光単位群の前記補間受光値を補間により求める撮像方法に関係する。

撮像素子の画素配列の例。 図２（Ａ）、図２（Ｂ）は、取得受光値の取得手法についての説明図である。 重み付け加算読み出しについての説明図。 色配列パターンについての説明図。 図５（Ａ）は、第１補間受光値の補間手法についての説明図である。図５（Ｂ）は、画素値推定の手法についての説明図である。 図６（Ａ）、図６（Ｂ）は、第１フィールドにおける第１取得受光値と第２補間受光値についての説明図である。 図７（Ａ）、図７（Ｂ）は、第２補間受光値を補間により求める手法についての説明図である。 第２補間受光値を補間により求める手法についての説明図。 解像情報復元画像と色情報復元画像を合成する手法についての説明図。 図１０（Ａ）、図１０（Ｂ）は、取得受光値の第２の取得手法についての説明図である。 重み付け加算読み出しについての説明図。 Ｇｒの受光値についての説明図。 Ｇｂの受光値についての説明図。 Ｒの受光値についての説明図。 Ｂの受光値についての説明図。 図１６（Ａ）、図１６（Ｂ）は、第１フィールドにおける第１取得受光値と補間受光値についての説明図である。 図１７（Ａ）、図１７（Ｂ）は、補間受光値を補間により求める手法についての説明図である。 図１８（Ａ）、図１８（Ｂ）は、補間受光値を補間により求める手法についての説明図である。 撮像装置の第１の構成例。 撮像装置の第２の構成例。 第１フィールドにおける色成分Ｇのフィールド分割とデモザイキング処理についての説明図。 第１フィールドにおける色成分Ｒのデモザイキング処理についての説明図。 第１フィールドにおける色成分Ｂのデモザイキング処理についての説明図。 第２フィールドにおける色成分Ｇのフィールド分割とデモザイキング処理についての説明図。 第２フィールドにおける色成分Ｒのデモザイキング処理についての説明図。 第２フィールドにおける色成分Ｂのデモザイキング処理についての説明図。 図２７（Ａ）、図２７（Ｂ）は、簡易的にベイヤ画像を求める手法についての説明図である。 図２８（Ａ）は、推定処理ブロックについての説明図である。図２８（Ｂ）は、受光単位についての説明図である。 図２９（Ａ）、図２９（Ｂ）は、中間画素値と推定画素値についての説明図である。 中間画素値の推定手法についての説明図。 中間画素値の推定手法についての説明図。 中間画素値の推定手法についての説明図。 推定画素値の推定手法についての説明図。 推定画素値の推定手法についての説明図。 推定画素値の推定手法についての説明図。 図３６（Ａ）、図３６（Ｂ）は、解像情報復元画像と色情報復元画像を合成する第３の手法についての説明図である。 解像情報復元画像と色情報復元画像を合成する第３の手法についての説明図。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．比較例
まず、本実施形態の比較例について説明する。デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。これらのカメラでは、静止画撮影モードと動画撮影モードを切り換えて使用するものが多い。中には、動画撮影並の高速フレームレートにより高精細静止画を撮影可能とするものがあり、短時間の高速連写が可能である。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。

しかしながら、これらの手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れてしまったり、ユーザが気づいたときには既に決定的瞬間を逃してしまっているという課題がある。このように、従来の手法では撮影者のテクニックがかなり要求されるため、例えば動画を撮りつつ、その中で任意の画像を高精細画像として生成できたり、あるいはラフに撮像しておいて、その中から解像度を落とさずに高精細画像を抽出し望みの構図が選べるたりすることを可能とする方法が求められている。

このシャッターチャンスを逃さないという課題を解決するには、動画撮影により全てのシーンをもれなく撮影しておいて、その中から自由に決定的瞬間を高品位な静止画として得る手法が考えられる。この手法を実現するためには、高精細画像を高速フレームレートにより撮影可能とすることが必要である。

しかしながら、この手法の実現は容易ではない。例えば、１２００万画素の画像を６０ｆｐｓ（ｆｐｓ：フレーム／秒）で連続して撮影するためには、超高速撮像可能な撮像素子、撮像データを超高速処理する処理回路、超高速データ圧縮処理機能、莫大なデータを記録する記録手段が必要になる。このためには、複数撮像素子の使用、並列処理、大規模メモリ、高能力放熱機構などが必要になるが、小型化や低コストが求められる民生用機器においては非現実的である。動画撮影のハイビジョン（２００万画素）程度の解像度の高品位でない静止画であれば実現可能であるが、ハイビジョン程度の解像度では静止画としては不十分である。

また、高フレームレートの動画撮影を行う手法として、多画素で高精細画像が撮影できる高画素イメージセンサを用い、画素の間引き読み出しあるいは隣接画素の加算読出しによって低解像画像化し、１回の読み出しデータを低減することにより実現する手法が考えられる。しかしながら、この手法では、高精細画像を高フレームレートにより撮影することができない。

この課題を解決するためには、高フレームレートで撮影された低解像画像から高解像画像を得る必要がある。低解像画像から高解像画像を得る手法として、例えば、画素シフトにより撮影した低解像画像に対して所謂超解像処理を行い、高解像画像を生成する手法が考えられる。

しかしながら、この手法では、センサを機械的にシフトさせたり、加算読み出しをシフトさせながら行ったりする必要があるため、カメラの構成が複雑になってしまう。また、超解像処理が必要なため処理負荷が大きくなってしまう。

例えば、画素シフトによる超解像処理として、加算読み出しを用いた手法が考えられる。すなわち、低解像画像を順次位置ずらししながら読み出した後、それら複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を変形させ、高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelyhood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Covex Set）法、ＩＢＰ（Iterative Back Prohection）法などが知られている。

この超解像処理を用いた手法として、例えば上述の特許文献１に開示された手法がある。この手法では、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、それらの複数低解像画像を合成することにより高解像画像を仮定する。そして、この仮定した高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する。

しかしながら、これらの手法では、２次元フィルタを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、処理能力やコストの制限がある機器への適用は困難であるという課題がある。例えば、デジタルカメラのような小型携帯撮像装置に適用すると、処理回路の規模が大きくなり、消費電力の増大、大量の熱の発生、コストの大幅アップなどの課題が生じてしまう。

また、上述の特許文献２には、画素シフトさせた複数枚の低解像画像を使って高解像画像を生成する手法が開示されている。この手法では、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する。この画素値の推定では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。

しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、副画素の画素値変化が小さく、ほぼそれらの平均値とそれらをカバーする低解像画素値が等しくなる部分を画像から見つけ出している。そのため、初期値の設定に適当な部分が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な部分を探索する処理が必要になってしまう。

２．第１の補間手法
そこで、本実施形態では、撮像素子から加算読み出しにより受光値を取得し、その取得された受光値に基づいて、重畳シフトされた受光単位の受光値を補間により求める。そして、取得された受光値と補間により求めた受光値に基づいて、低解像動画中の任意タイミングの高解像フレーム画像を簡素な推定処理により求める。

図２８（Ｂ）で後述のように、重畳シフトされた受光単位は、複数画素毎に設定された受光単位ａ_００〜ａ_{（ｍ−１）（ｎ−１）}であり、隣り合う受光単位が画素を共有することで重畳している。以下では、図１〜図８を用いて、この受光単位の受光値を補間により取得する第１の手法について説明する。本実施形態では、この補間により求めた受光単位の受光値から画素値を推定するが、その推定手法については図２８（Ａ）〜図３５を用いて後述する。

なお、以下では、受光単位（受光値取得単位）に含まれる画素の画素値を加算読み出しした値を受光値（画素値）と呼ぶ。また、撮像により取得された受光値を取得受光値と呼び、補間処理により求められた受光値を補間受光値と呼ぶ。また、以下では、撮像素子がベイヤ（Bayer）配列の撮像素子であり、受光値が４画素加算値である場合を例に説明するが、本実施形態はこれに限定されない。

図１に、撮像素子の画素配列の例を示す。図１に示すように、撮像素子には、赤色Ｒ、青色Ｂ、第１緑色Ｇｒ，第２緑色Ｇｂの画素がベイヤ配列で配列される。図１〜図８では、画素の色配列を分かりやすくするために画素Ｇｒにのみハッチングを付し、Ｒ，Ｇｒ，Ｇｂ，Ｂの文字表記を適宜省略する。また、画素配列の水平方向（水平走査方向）の座標をｉで表し、垂直方向（垂直走査方向）の座標をｊで表す。また、画像処理における座標も適宜（ｉ，ｊ）で表す。

図２（Ａ）、図２（Ｂ）を用いて、取得受光値の取得手法について説明する。図２（Ａ）に示すように、受光値ａ_ｉｊを取得する受光単位（加算画素）を便宜的に四角で表す。受光値ａ_ｉｊは、その四角の頂点に位置する画素により取得される。図２（Ａ）においてハッチングされた画素は、上述のように画素Ｇｒを表す。

図２（Ａ）に示すように、フレームｆｘにおいて、第１受光単位群の受光値を取得し、次のフレームｆｘ＋１において、第２受光単位群の受光値を取得する。この第１受光単位群と第２受光単位群は、受光単位を市松状にグループ分けしたものであり、それぞれ全ての受光単位のうちの半数の受光単位である。そのため、各フレームで読み出されるデータ量は、全ての画素値ｖ_ｉｊを読み出した場合の半分である。フレームｆｘ＋２以降は、第１受光単位群の受光値と第２受光単位群の受光値を交互に取得する。

ここで、フレームとは、例えば撮像素子により取得受光値が取得される撮像動作のタイミングや、１回の撮像動作により取得された取得受光値が画像処理において処理されるタイミングである。あるいは、取得受光値や補間受光値による１枚の低解像フレーム画像や、推定処理により得られた１枚の高解像フレーム画像も適宜フレームと呼ぶ。

図２（Ｂ）に、取得受光値と補間受光値についての説明図を示す。図２（Ｂ）では、加算読み出しにより受光値が取得される受光単位を太実線の四角（読み出し４画素加算値）で表し、補間により受光値が取得される受光単位を点線の四角（動き補償による補間４画素加算値）で表す。図２（Ｂ）に示すように、本明細書では、フレームｆｘにおける受光値を第１フィールドと呼び、フレームｆｘ＋１における受光値を第２フィールドと呼ぶ。なお、本実施形態では、第１，第２フィールドは、任意の隣接した２フレームの受光値であればよい。例えば、第１フィールドがフレームｆｘ＋１の受光値であり、第２フィールドがフレームｆｘ＋２の受光値であってもよい。

第１フィールドでは、第１受光単位群の受光値を第１取得受光値として取得し、第２受光単位群の受光値を補間受光値として求める。第２フィールドでは、第２受光単位群の受光値を第２取得受光値として取得する。後述するように、第１フィールドの補間受光値は、第１，第２取得受光値に基づいて補間により求められる。このとき、第１取得受光値に基づく第１補間受光値と、第２取得受光値に基づく第２補間受光値が求められる。そして、第１取得受光値、第１補間受光値、第２補間受光値から最終的な推定画素値が求められる。

３．第１補間受光値
図３〜図５（Ｂ）を用いて、第１補間受光値を補間により求める手法について説明する。第１補間受光値は、色配列を考慮せずに求めた補間受光値であり、図９で後述するように、この第１補間受光値と第１取得受光値から解像情報復元画像（ｖ^ｒ _ｉｊ）が推定される。

まず図３を用いて、重み付け加算読み出しについて説明する。図３では、上述のように画素Ｇｒをハッチングで表している。図３に示すように、加算読み出しの重み係数をｃ_１、ｃ_２、ｃ_３、ｃ_４とする。ｃ_１＝１とすると、重み係数は下式（１）に示す比率関係のルールをとる。なお、ｒは、ｒ≧１の実数であり、重み付け加算の場合にはｒ＞１である。本実施形態では、ｒ＝１として重み付けしない単純加算を行ってもよい。
ｃ_１＝１，ｃ_２＝１／ｒ，ｃ_３＝１／ｒ，ｃ_４＝１／ｒ^２ ・・・ （１）

以下では、説明を簡単にするために、ｒ＝２とおき、下式（２）とする。
ｃ_１＝１、ｃ_２＝１／２、ｃ_３＝１／２、ｃ_４＝１／４ ・・・ （２）

次に図４を用いて、色配列パターンについて説明する。図４に示すように、受光単位内の画素の色配列（配色）は、４つの色配列パターンＡ〜Ｄに分類される。例えば、受光単位ａ_００，ａ_１０，ａ_１１，ａ_０１は、それぞれ色配列パターンＡ，Ｂ，Ｃ，Ｄの受光単位である。色配列パターンＡ〜Ｄの画素の横に付した数値１，１／２，１／４は、加算読み出しにおける重み付け係数を表す。

図４に示すように、第１フィールドでは、色配列パターンＡ，Ｂの受光単位により第１取得受光値を取得する。補間受光値は、色配列パターンＣ，Ｄの受光単位の受光値である。第２フィールドでは、色配列パターンＣ，Ｄの受光単位により第２取得受光値を取得する。後述するように、画素値推定において色情報を復元するためには、この色配列パターンを考慮した補間を行う必要がある。この色配列パターンを考慮した補間は、後述する第２補間受光値において行い、第１補間受光値では色配列パターンを考慮せずに補間を行う。

次に図５（Ａ）を用いて、第１補間受光値の補間手法について説明する。図５（Ａ）に示すように、第１補間受光値の周囲の第１取得受光値を用いて補間処理を行う。以下では、例として受光値｛ａ_０２，ａ_２２，ａ_１１，ａ_１３，ａ_１２｝に着目して説明を行う。この受光値のうち第１取得受光値｛ａ_０２，ａ_２２，ａ_１１，ａ_１３｝は、画素値をｖ_ｉｊとすると下式（３）で表される。
ａ_０２＝ｖ_０２＋（１／２）ｖ_０３＋（１／２）ｖ_１２＋（１／４）ｖ_１３，
ａ_２２＝ｖ_２２＋（１／２）ｖ_２３＋（１／２）ｖ_３２＋（１／４）ｖ_３３，
ａ_１１＝ｖ_１１＋（１／２）ｖ_１２＋（１／２）ｖ_２１＋（１／４）ｖ_２２，
ａ_１３＝ｖ_１３＋（１／２）ｖ_１４＋（１／２）ｖ_２３＋（１／４）ｖ_２４
・・・ （３）

第１補間受光値ａ_１２は、水平方向及び垂直方向に隣接する第１取得受光値｛ａ_０２，ａ_２２，ａ_１１，ａ_１３｝に基づいて求められる。具体的には、補間係数を｛ｗ_１，ｗ_２，ｗ_３，ｗ_４｝とすると、補間受光値は下式（４）により求められる。例えば、この補間係数は、補間精度が最も高くなるよう予め設定されたものである。なお、補間手法はこれに限定されず、例えばバイリニア法やバイキュービック法等を用いてもよく、最適な補間係数を独自に設定するものであってもよい。
ａ_１２＝ｗ_１・ａ_０２＋ｗ_２・ａ_２２＋
ｗ_３・ａ_１１＋ｗ_４・ａ_１３ ・・・ （４）

次に図５（Ｂ）を用いて、画素値推定の手法について説明する。画素値推定の手法については、図２８（Ａ）〜図３５で詳細に後述するため、ここでは簡単に説明する。図５（Ｂ）に示すように、受光値ａ_ｉｊから中間画素値ｂ_ｉｊを求める。中間画素値ｂ_ｉｊは、受光値ａ_ｉｊを水平方向（または垂直方向）に高解像化した画素値である。そして、中間画素値ｂ_ｉｊから推定画素値ｖ_ｉｊを求める。第１補間受光値と第１取得受光値を用いた場合、図９で後述する画素値ｖ^ｒ _ｉｊが求められる。

さて、第１補間受光値は、後述する第２補間受光値に比べて色情報（各色に対する推定画素値の配分）は不正確であるが、解像情報（推定画素値の解像度）は正確である。この点について、具体的に説明する。

上述の図４と図５（Ａ）に示すように、受光値｛ａ_０２，ａ_２２，ａ_１１，ａ_１３｝は色配列パターンＡ，Ｂであり、色配列と重み付け係数の関係が全てＲ：１／２，Ｇ：１ｏｒ１／４，Ｂ：１／２となっている。一方、第１補間受光値ａ_１２は色配列パターンＣであり、色配列と重み付け係数の関係は本来Ｒ：１，Ｇ：１／２，Ｂ：１／４となるべきであるが、色配列の異なる受光値から補間されている。このように、第１補間受光値は、色配列の異なる受光値により補間されているため色情報は正確ではない。

例えば、緑一色の画像を取得したと仮定すると、色配列パターンＡ，Ｂの受光値は１．２５となり、色配列パターンＣの受光値は１となる。このとき、色配列パターンＣの第１補間受光値は１となるのが理想的であるが、色配列パターンＡ，Ｂの取得受光値から補間されるため、その理想値とは異なる値となる。そのため、この第１補間受光値から推定された画素値ｖ^ｒ _ｉｊは、色情報が不正確な値となってしまう。

一方、解像情報の点では、第１補間受光値は、１つのフレーム内で補間されるため、複数フレームを用いて補間した場合よりも正確である。この第１補間受光値を用いて画素値推定を行った場合、色情報の復元は困難となるが、解像度の復元は可能であることが分っている。そのため、上記の補間処理を行った上で、図２８（Ａ）〜図３５で後述する画素値の推定処理を行えば、解像情報を復元した画像（画素値ｖ^ｒ _ｉｊ）を得ることができる。

４．第２補間受光値
図６（Ａ）〜図８を用いて、第２補間受光値を補間により求める手法について説明する。図２（Ｂ）で上述のように、第２補間受光値は、第２フィールドの第２取得受光値から求めた補間受光値であり、色配列を考慮した補間受光値である。図９で後述するように、この第２補間受光値と第１取得受光値から色情報復元画像（画素値ｖ^ｃ _ｉｊ）が推定される。色情報復元画像は、色配列を考慮しているため、解像情報復元画像に比べて色情報が正確である。

図６（Ａ）に、第１フィールドにおける第１取得受光値と第２補間受光値を示す。点線四角で表す受光値が第２補間受光値である。図６（Ｂ）に、これらの受光値のサンプリング位置を表した模式図を示す。図６（Ｂ）では、実線の丸で第１取得受光値を表し、点線の四角で第２補間受光値を表す。また、ａ_１０ ^（１）のように受光値の右上に付したサフィックス（１）により、第１フィールドにおけるサンプリング位置を表す。以下では、例として、着目像の位置の第２補間受光値ａ_１０ ^（１）を求める場合について説明する。

図７（Ａ）に、第２フィールドにおける第２取得受光値を示す。点線四角で表す受光値は、取得されない受光値である。図７（Ｂ）に、これらの受光値のサンプリング位置を表した模式図を示す。図７（Ｂ）では、実線の四角で第２取得受光値を表し、点線の丸で取得されない受光値を表す。また、第１フィールドの第２補間受光値を点線四角で表す。また、ａ_１０ ^（２）のように受光値の右上に付したサフィックス（２）により、第２フィールドにおけるサンプリング位置を表す。

図７（Ｂ）に示すように、第１フィールドのサンプリング位置と第２フィールドのサンプリング位置は、フレーム間の像ブレによって移動している。第２補間受光値ａ_１０ ^（１）のサンプリング位置を基準にすると、第１フィールドと第２フィールドの間の動きベクトル（広義には移動量情報）は、φ＝（ｓ_ｉ，ｓ_ｊ）で表される。ｓ_ｉは、水平方向の移動量であり、ｓ_ｊは、垂直方向の移動量である。この動きベクトルφは、第１，第２取得受光値に基づいて、ＳＳＤ（Sum of Squared Difference）等の動きベクトル検出処理により求められる。

第２補間受光値ａ_１０ ^（１）の算出は、φだけ移動したサンプリング位置の周辺に存在する第２取得受光値を用いて行われる。図４で上述のように、ａ_１０ ^（１）は色配列パターンＣの受光値であり、ａ_１０ ^（１）の算出には、同じ色配列パターンＣの第２取得受光値のみが用いられる。同じ色配列パターンの受光値で補間するため、第２補間受光値を用いた画素値推定では、色情報の復元が可能である。

図７（Ｂ）に示すように、ａ_１０ ^（１）の周囲に存在する色配列パターンＣの第２取得受光値のうちの直近４つが｛ａ_ｍｎ，ａ_{（ｍ＋２）ｎ}，ａ_{ｍ（ｎ＋２）}，ａ_{（ｍ＋２）（ｎ＋２）}｝であったとする。例えば、第２補間受光値ａ_１０ ^（１）は、これらの第２取得受光値｛ａ_ｍｎ，ａ_{（ｍ＋２）ｎ}，ａ_{ｍ（ｎ＋２）}，ａ_{（ｍ＋２）（ｎ＋２）}｝を用いて求められる。

図８を用いて、この４画素を用いる場合の第２補間受光値ａ_ｉｊの算出手法について説明する。図８に示すように、撮像素子の画素ピッチはｐであり、第２受光単位群の配列ピッチは２ｐであるとする。そうすると、動きベクトル（ｓ_ｉ，ｓ_ｊ）は、第２取得受光値ａ_ｍｎの座標（ｍ，ｎ）を用いて下式（５）で表される。ここで、下式（５）において、ｒ_ｍは、水平方向において、ａ_ｍｎの座標からａ_ｉｊの座標までの距離であり、０≦ｒ_ｍ＜２ｐである。また、ｒ_ｎは、垂直方向において、ａ_ｍｎの座標からａ_ｉｊの座標までの距離であり、０≦ｒ_ｎ＜２ｐである。
ｓ_ｉ＝ｍ・ｐ＋ｒ_ｍ，
ｓ_ｊ＝ｎ・ｐ＋ｒ_ｎ ・・・ （５）

まず、上式（５）より、０≦ｒ_ｍ＜２ｐ，０≦ｒ_ｎ＜２ｐを満たす（ｍ，ｎ）を求め、ａ_ｉｊの直近４つの第２取得受光値を決定する。次に、下式（６）を用いて、第２補間受光値ａ_ｉｊを求める。
ａ_ｉｊ＝ｗ_１・ａ_ｍｎ＋ｗ_２・ａ_{（ｍ＋２）ｎ}＋
ｗ_３・ａ_{ｍ（ｎ＋２）}＋ｗ_４・ａ_{（ｍ＋２）（ｎ＋２）} ・・・ （６）

例えば、受光値間の距離を考慮すると、ａ_ｉｊを下式（７）と表すことができる。この場合、上式（６）における補間係数ｗ_１，ｗ_２，ｗ_３，ｗ_４は、下式（８）となる。
ａ_ｉｊ＝（２ｐ−ｒ_ｎ）／２ｐ・
｛（２ｐ−ｒ_ｍ）／２ｐ・ａ_ｍｎ＋（ｒ_ｍ）／２ｐ・ａ_{（ｍ＋２）ｎ}｝＋
（ｒ_ｎ）／２ｐ・
｛（２ｐ−ｒ_ｍ）／２ｐ・ａ_{ｍ（ｎ＋２）}
＋（ｒ_ｍ）／２ｐ・ａ_{（ｍ＋２）（ｎ＋２）}｝
・・・ （７）
ｗ_１＝（２ｐ−ｒ_ｎ）（２ｐ−ｒ_ｍ）／（２ｐ）^２，
ｗ_２＝（２ｐ−ｒ_ｎ）（ｒ_ｍ）／（２ｐ）^２，
ｗ_３＝（ｒ_ｎ）（２ｐ−ｒ_ｍ）／（２ｐ）^２，
ｗ_４＝（ｒ_ｎ）（ｒ_ｍ）／（２ｐ）^２ ・・・ （８）

なお、上述の動きベクトルφ＝（ｓ_ｉ，ｓ_ｊ）は、第１取得受光値と第２取得受光値のみを用いて求めてもよいし、第１取得受光値と第２取得受光値をそれぞれ補間した受光値を用いて求めてもよい。例えば、第１取得受光値と第２取得受光値をそれぞれ色配列パターンを無視して補間処理し、その補間処理後の２画像の画像相関により動きベクトルφを求めてもよい。このようにすれば、画像相関を行う際の画素数（受光値数）を増やせるため、画像相関の精度において有利であると考えられる。

５．復元画像の合成手法
次に、図９を用いて、上述の解像情報復元画像と色情報復元画像を合成して、最終的な推定画像を求める手法について説明する。

図９に示すように、解像情報復元画像の画素値ｖ^ｒ _ｉｊと色情報復元画像の画素値ｖ^ｃ _ｉｊを用いて、最終的な推定画素値ｖ_ｉｊを求める。画素値ｖ^ｒ _ｉｊ，ｖ^ｃ _ｉｊはそれぞれ、図２８（Ａ）〜図３５で後述する推定手法により推定した画素値である。上述のように、画素値ｖ^ｒ _ｉｊは、第１補間受光値と第１取得受光値を用いて推定され、画素値ｖ^ｃ _ｉｊは、第２補間受光値と第１取得受光値を用いて推定される。

まず、下式（９）に示すように、色情報復元画像の任意の４画素｛ｖ^ｃ _ｉｊ，ｖ^ｃ _{（ｉ＋１）ｊ}，ｖ^ｃ _{ｉ（ｊ＋１）}，ｖ^ｃ _{（ｉ＋１）（ｊ＋１）}｝の合計値をＡ_ｉｊで表す。この４画素（色情報復元パターン）に割付けられた色成分｛Ｒ，（Ｇｒ＋Ｇｂ），Ｂ｝の比率｛ｒ，ｇ，ｂ｝は、下式（１０）で表される。最終的な画素値ｖ_ｉｊを求める際に、この比率｛ｒ，ｇ，ｂ｝を維持すれば、各色成分の画素値を正確に復元することができる。
Ａ_ｉｊ＝ｖ^ｃ _ｉｊ＋ｖ^ｃ _{（ｉ＋１）ｊ}＋
ｖ^ｃ _{ｉ（ｊ＋１）}＋ｖ^ｃ _{（ｉ＋１）（ｊ＋１）} ・・・ （９）
ｒ＝ｖ^ｃ _{（ｉ＋１）ｊ}／Ａ_ｉｊ，
ｇ＝（ｖ^ｃ _ｉｊ＋ｖ^ｃ _{（ｉ＋１）（ｊ＋１）}）／Ａ_ｉｊ，
ｂ＝ｖ^ｃ _{ｉ（ｊ＋１）}／Ａ_ｉｊ ・・・ （１０）

次に、比率｛ｒ，ｇ，ｂ｝を維持するために、画素値ｖ^ｒ _ｉｊを再分配して画素値ｖ_ｉｊを求める。下式（１１）に示すように、解像情報復元画像の４画素｛ｖ^ｒ _ｉｊ，ｖ^ｒ _{（ｉ＋１）ｊ}，ｖ^ｒ _{ｉ（ｊ＋１）}，ｖ^ｒ _{（ｉ＋１）（ｊ＋１）}｝の合計値をＡ_ｉｊ’（輝度値）で表す。下式（１２）に示すように、この４画素（解像情報復元パターン）の合計値Ａ_ｉｊ’を、比率｛ｒ，ｇ，ｂ｝に従って分配する。
Ａ_ｉｊ’＝ｖ^ｒ _ｉｊ＋ｖ^ｒ _{（ｉ＋１）ｊ}＋
ｖ^ｒ _{ｉ（ｊ＋１）}＋ｖ^ｒ _{（ｉ＋１）（ｊ＋１）} ・・・ （１１）
Ｒ： ｖ_{ｉ（ｊ＋１）}＝｛ｖ^ｃ _{ｉ（ｊ＋１）}／Ａ_ｉｊ｝×Ａ_ｉｊ’，
Ｇｒ＋Ｇｂ： ｖ_ｉｊ＋ｖ_{（ｉ＋１）（ｊ＋１）}
＝｛（ｖ^ｃ _ｉｊ＋ｖ^ｃ _{（ｉ＋１）（ｊ＋１）}）／Ａ_ｉｊ｝×Ａ_ｉｊ’，
Ｂ： ｖ_{（ｉ＋１）ｊ}＝｛ｖ_{（ｉ＋１）ｊ}／Ａ_ｉｊ｝×Ａ_ｉｊ’
・・・ （１２）

次に、下式（１３）に示すように、解像情報復元画像の画素値を用いて、Ｇｒの画素値ｖ_ｉｊとＧｂの画素値ｖ_{（ｉ＋１）（ｊ＋１）}を求める。このＧｒ，Ｇｂの値は、色表現としてはそれらの合計値に意味があり、個々の値は解像度に寄与するものと考える。
Ｇｒ： ｖ_ｉｊ＝｛ｖ^ｒ _ｉｊ／（ｖ^ｒ _ｉｊ＋ｖ^ｒ _{（ｉ＋１）（ｊ＋１）}）｝×
（ｖ_ｉｊ＋ｖ_{（ｉ＋１）（ｊ＋１）}），
Ｇｂ： ｖ_{（ｉ＋１）（ｊ＋１）}
＝｛ｖ^ｒ _{（ｉ＋１）（ｊ＋１）}／（ｖ^ｒ _ｉｊ＋ｖ^ｒ _{（ｉ＋１）（ｊ＋１）}）｝×
（ｖ_ｉｊ＋ｖ_{（ｉ＋１）（ｊ＋１）}）
・・・ （１３）

このようにして、最終的な推定画素値｛ｖ_ｉｊ，ｖ_{（ｉ＋１）ｊ}，ｖ_{ｉ（ｊ＋１）}，ｖ_{（ｉ＋１）（ｊ＋１）}｝（最終復元パターン）が求められる。なお、座標値ｉ，ｊは、例えば偶数である。すなわち、ｉ＝０，２，４，・・・とすることで、画素値｛ｖ_ｉｊ，ｖ_{（ｉ＋１）ｊ}，ｖ_{ｉ（ｊ＋１）}，ｖ_{（ｉ＋１）（ｊ＋１）}｝を水平方向に順次求める。また、ｊ＝０，２，４，・・・とすることで、画素値｛ｖ_ｉｊ，ｖ_{（ｉ＋１）ｊ}，ｖ_{ｉ（ｊ＋１）}，ｖ_{（ｉ＋１）（ｊ＋１）}｝を垂直方向に順次求める。

６．復元画像の第２の合成手法
図９を用いて、最終的な推定画像を求める第２の手法について説明する。第２の手法では、ＹＣｂＣｒ方式を用いて復元画像の合成を行う。

まず、下式（１４）に示すように、解像情報復元画像の画素値｛Ｒ^ｒ，Ｇｂ^ｒ，Ｇｒ^ｒ，Ｂ^ｒ｝（解像情報復元パターン）から輝度成分Ｙを求める。
Ｙ＝α_ｙ・Ｒ^ｒ＋β_ｙ・（Ｇｂ^ｒ＋Ｇｒ^ｒ）＋γ_ｙ・Ｂ^ｒ ・・・ （１４）

次に、下式（１５）に示すように、色情報復元画像の画素値｛Ｒ^ｃ，Ｇｂ^ｃ，Ｇｒ^ｃ，Ｂ^ｃ｝（色情報復元パターン）から色差成分δｂ，δｒを求める。
δｂ＝α_ｂ・Ｒ^ｃ＋β_ｂ・（Ｇｂ^ｃ＋Ｇｒ^ｃ）＋γ_ｂ・Ｂ^ｃ，
δｒ＝α_ｒ・Ｒ^ｃ＋β_ｒ・（Ｇｂ^ｃ＋Ｇｒ^ｃ）＋γ_ｒ・Ｂ^ｃ ・・・ （１５）

ここで、係数（α_ｙ，β_ｙ，γ_ｙ）は、画素値｛Ｒ^ｒ，（Ｇｂ^ｒ＋Ｇｒ^ｒ），Ｂ^ｒ｝を輝度成分Ｙに変換する変換係数である。また、係数（α_ｂ，β_ｂ，γ_ｂ），（α_ｒ，β_ｒ，γ_ｒ）は、画素値｛Ｒ^ｃ，（Ｇｂ^ｃ＋Ｇｒ^ｃ），Ｂ^ｃ｝をそれぞれ色差成分δｂ，δｒに変換する変換係数である。例えば、これらの変換係数は、ＲＧＢ方式からＹＣｂＣｒ方式への一般的な変換式の係数である。

次に、下式（１６）を解き、画素値｛Ｒ，（Ｇｒ＋Ｇｂ），Ｂ｝を求める。Ｙ，δｂ，δｒは、上式（１４），（１５）で求めた値である。下式（１６）では、画素値｛Ｒ，Ｇｂ，Ｇｒ，Ｂ｝から求まるＹ，δｂ，δｒが、上式（１４），（１５）で求めたＹ，δｂ，δｒが、と同一であると仮定している。
Ｙ＝α_ｙ・Ｒ＋β_ｙ・（Ｇｂ＋Ｇｒ）＋γ_ｙ・Ｂ，
δｂ＝α_ｂ・Ｒ＋β_ｂ・（Ｇｂ＋Ｇｒ）＋γ_ｂ・Ｂ，
δｒ＝α_ｒ・Ｒ＋β_ｒ・（Ｇｂ＋Ｇｒ）＋γ_ｒ・Ｂ ・・・ （１６）

次に、下式（１７）に示すように、解像情報復元画像の画素値｛Ｇｂ^ｒ，Ｇｒ^ｒ｝の比を用いて、Ｇｒ＋ＧｂをＧｒ，Ｇｂに分配する。このようにして、最終的な推定画素値｛Ｒ，Ｇｂ，Ｇｒ，Ｂ｝（最終復元パターン）が求められる。
Ｇｂ＝｛Ｇｂ^ｒ／（Ｇｂ^ｒ＋Ｇｒ^ｒ）｝・（Ｇｂ＋Ｇｒ），
Ｇｒ＝｛Ｇｒ^ｒ／（Ｇｂ^ｒ＋Ｇｒ^ｒ）｝・（Ｇｂ＋Ｇｒ） ・・・ （１７）

７．復元画像の第３の合成手法
第２の合成手法では、合成画像としてＲＧＢのモザイク画像を求めたが、本実施形態では、合成画像として各画素にＲＧＢ画素値が揃ったＲＧＢ画像を求めてもよい。図３６（Ａ）〜図３７を用いて、この第３の合成手法について説明する。

上述の解像情報復元画像の画素値をｖ^ｒ _ｉｊとする。ここで重要なのは、推定画素値｛ｖ^ｒ _ｉｊ｝は解像情報を表しており、下式（４６）で定義される特別な意味をもつ値となっている。すなわち、推定画素値｛ｖ^ｒ _ｉｊ｝（以下、「解像反映値」と呼ぶ）は、その画素の原色ＲＧＢ成分｛Ｒｙ_ｉｊ，Ｇｙ_ｉｊ，Ｂｙ_ｉｊ｝の成分加算値となっている。この｛Ｒｙ_ｉｊ，Ｇｙ_ｉｊ，Ｂｙ_ｉｊ｝の各値は、最終的な推定画素値｛ｖ_ｉｊ｝の同一位置において復元できたと仮定した場合の３原色の成分値を表す。
ｖ^ｒ _ｉｊ＝α_ｙ・Ｒｙ_ｉｊ＋β_ｙ・Ｇｙ_ｉｊ＋γ_ｙ・Ｂｙ_ｉｊ ・・・（４６）

なお、上式（４６）におけるα_ｖ，β_ｖ，γ_ｖは、後述する推定処理によって定まる係数値である。この係数値は、受光単位の画素数や、受光単位の色配列パターンや、ｖ^ｒ _ｉｊに対応する画素の色に応じて定まる。

次に、図３６（Ａ）、図３６（Ｂ）に示すように、上述の色情報復元画像の画素値ｖ^ｃ _ｉｊを推定する。この推定画素値｛ｖ^ｃ _ｉｊ｝は、色情報取得のためのベイヤ推定画像を構成する。なお、図３６（Ａ）において、ａ_１０等の点線四角で表す受光単位は第２補間受光値である。また、図３６（Ａ）、図３６（Ｂ）において、ハッチングで表す画素はＧｒの画素である。

図３７に示すように、このベイヤー推定画像に対してデモザイキング処理を行って原色ＲＧＢの３板化画像を生成し、３板化画像の各画素のＲＧＢ成分値｛Ｒｃ_ｉｊ，Ｇｃ_ｉｊ，Ｂｃ_ｉｊ｝を求める。次に、この処理により得られた各画素のＲ値，Ｇ値，Ｂ値に基づいて、各画素の色差｛Ｃｂ_ｉｊ，Ｃｒ_ｉｊ｝を下式（４７）により算出する。
Ｃｂ_ｉｊ＝α_ｂ・Ｒｃ_ｉｊ＋β_ｂ・Ｇｃ_ｉｊ＋γ_ｂ・Ｂｃ_ｉｊ，
Ｃｒ_ｉｊ＝α_ｒ・Ｒｃ_ｉｊ＋β_ｒ・Ｇｃ_ｉｊ＋γ_ｒ・Ｂｃ_ｉｊ ・・・（４７）

上式（４７）の係数｛α_ｂ，β_ｂ，γ_ｂ｝や係数｛α_ｒ，β_ｒ，γ_ｒ｝は、例えば、原色ＲＧＢ成分値が与えられた場合に色差値を求める一般的に知られている既知係数を適用すればよい。

次に下式（４８）に示すように、解像反映値｛ｖ^ｒ _ｉｊ｝の色成分｛Ｒｙ_ｉｊ，Ｇｙ_ｉｊ，Ｂｙ_ｉｊ｝と、色差値｛Ｃｂ_ｉｊ，Ｃｒ_ｉｊ｝の色成分｛Ｒｃ_ｉｊ，Ｇｃ_ｉｊ，Ｂｃ_ｉｊ｝とが、近似的に等しいとする。また、これらの色成分が最終的な推定画素値の色成分｛Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊ｝に等しいと仮定する。
Ｒｙ_ｉｊ≒Ｒｃ_ｉｊ＝Ｒ_ｉｊ，
Ｇｙ_ｉｊ≒Ｇｃ_ｉｊ＝Ｇ_ｉｊ，
Ｂｙ_ｉｊ≒Ｂｃ_ｉｊ＝Ｂ_ｉｊ ・・・（４８）

上式（４６）〜（４８）より、解像反映値｛ｖ_ｉｊ｝と色差値｛Ｃｂ_ｉｊ，Ｃｒ_ｉｊ｝およびそれらの変数となる原色ＲＧＢ成分｛Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊ｝の関係は、下式（４９）の行列式で表される。この下式（４９）を解くことで、解像情報と色情報を両方復元した着目フィールドｆｘの全ての画素ｖ_ｉｊの成分｛Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊ｝を求め、各画素にＲＧＢ画素値が揃ったフレーム画像Ｆｘを取得する。

このようにして、着目フレーム画像Ｆ_ｔの各画素の原色成分値｛Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊ｝が改めて求められ、連続する２枚のフィールド低解像画像｛ｆｘ，ｆｘ＋１｝から着目フィールドに対応する高精細フレーム画像Ｆｘが復元される。

さて、上述のように、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザが決定的瞬間をとらえることが難しいという課題がある。また、通常の全画素読み出しでは、フレームレートを上げることが困難なため、高解像度と高フレームレートを両立することが難しいという課題がある。

この点、本実施形態の撮像装置は、読み出し制御部（例えば図１９で後述の重み付け加算重畳シフトサンプリング処理部１２０）、補間処理部（補間処理部１８５）、推定演算部（推定演算部２１０）、画像出力部（高精細静止画データ生成部２６０）を含む。

図２（Ｂ）に示すように、読み出し制御部は、受光単位を複数の画素毎に設定し、その受光単位に含まれる画素の画素値を加算読み出しして受光値（ａ_ｉｊ等の太実線四角で表す受光値）を取得する。受光単位は、受光値を取得する単位であり、隣り合う受光単位は重畳している。補間処理部は、読み出し制御部により取得された受光値である取得受光値（ａ_ｉｊ等）に基づいて、受光値が取得されない受光単位の受光値を補間により求めて補間受光値（ａ_{ｉ（ｊ−１）}等の点線四角で表す受光値）を取得する。推定演算部は、図９で上述のように、取得受光値と補間受光値に基づいて、受光単位に含まれる各画素の画素値ｖ_ｉｊを推定する。画像出力部は、推定演算部により推定された画素値に基づく画像を出力する。

この場合に、読み出し制御部は、複数色（Ｇｒ，Ｇｂ，Ｒ，Ｂ）の画素を含む受光単位を設定し、その受光単位を第１受光単位群（ａ_ｉｊ等）と第２受光単位群（ａ_{ｉ（ｊ−１）}等）にグループ分けする。そして、第１フレームｆｘにおいて、第１受光単位群の受光値（ａ_ｉｊ等）を第１取得受光値として取得する。第１フレームｆｘの後の第２フレームｆｘ＋１において、第２受光単位群の受光値（ａ_{ｉ（ｊ−１）}等）を第２取得受光値として取得する。

補間処理部は、第１フレームｆｘにおける第２受光単位群の受光値を第２補間受光値（補間受光値）として求める。このとき、図４に示すように、複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋ＝４。色配列パターンＡ〜Ｄで分類された受光単位グループ）に受光単位をグループ分けする。図７等に示すように、補間処理部は、第１〜第ｋ色配列グループの中の第ｐ色配列グループ（例えばｐ＝３。色配列パターンＣの受光単位グループ）の第２取得受光値（ａ_ｍｎ等）に基づいて、第ｉ色配列グループの第２補間受光値（ａ_１０ ^（１））を求める。

これにより、取得受光値から簡素な処理で高解像画像を推定することが可能になる。具体的には、受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１受光単位群の受光値を取得することで、各フレームにおいて一部の受光値だけを読み出すことができる。そのため、撮像素子から読み出すデータ量を減らし、フレームレートを向上できる。また、取得受光値に基づいて補間受光値を求め、その重畳した受光単位の受光値（図２８（Ｂ）に示す受光値）に対して例えば図２８（Ａ）〜図３５で後述の推定処理を行うことで、撮像したフレームの中の任意タイミングの高解像フレーム画像を取得できる。そのため、決定的瞬間の高解像フレーム画像を事後的に取得でき、高解像度と高フレームレートを両立できる。

また、本実施形態によれば、第１〜第ｋ色配列グループに受光単位をグループ分けし、第ｐ色配列グループの第２取得受光値に基づいて、第ｐ色配列グループの第２補間受光値を補間により求める。これにより、補間受光値の色配列パターンと同じ色配列パターンの取得受光値により補間が行われる。図４等で上述のように、色配列パターンを無視して補間を行うと推定画素値の色情報が劣化するが、本実施形態では、色情報を保存することが可能である。

また、本実施形態によれば、画素の色に依らず受光単位を設定するため、図１０（Ａ）〜図１８（Ｂ）で後述する同色画素に受光単位を設定する場合と比べて、受光単位を小さくできる。これにより、受光値がより高周波数の成分を含むことができるため、推定画像の解像度を向上可能である。

ここで、受光単位が重畳するとは、隣接する受光単位と受光単位が重なった領域を有することである。例えば、後述する図２８（Ａ）に示すように、受光単位ａ_００（ｖ_００，ｖ_１０，ｖ_０１，ｖ_１１）と受光単位ａ_１０（ｖ_１０，ｖ_２０，ｖ_１１，ｖ_２１）が、２つの推定画素ｖ_１０、ｖ_１１を共有することである。また、受光単位群の受光値とは、受光単位群に属する受光単位の受光値のことである。また、第ｐ色配列グループの取得受光値（補間受光値）とは、第ｐ色配列グループに属する受光単位の取得受光値（補間受光値）のことである。

また、本実施形態では、図２（Ｂ）に示すように、補間処理部は、画素の色配列に依らず第１取得受光値に基づいて第１補間受光値を補間により求める。補間処理部は、上記のように、第ｐ色配列グループの第２取得受光値に基づく第ｐ色配列グループの補間受光値を第２補間受光値として求める。そして、図９に示すように、推定演算部は、第１取得受光値と第１補間受光値に基づいて、受光単位に含まれる各画素の画素値として第１推定画素値ｖ^ｒ _ｉｊを推定する。推定演算部は、第１取得受光値と第２補間受光値に基づいて、受光単位に含まれる各画素の画素値として第２推定画素値ｖ^ｃ _ｉｊを推定する。そして、推定演算部は、第１推定画素値ｖ^ｒ _ｉｊと第２推定画素値ｖ^ｃ _ｉｊに基づいて、最終的な画素値ｖ_ｉｊを求める。

このようにすれば、第１推定画素値ｖ^ｒ _ｉｊと第２推定画素値ｖ^ｃ _ｉｊを推定でき、これらの画素値から最終的な画素値ｖ_ｉｊを求めることができる。また、第２補間受光値を色配列パターンを考慮して求めることで、第２補間受光値から色情報を復元可能になる。これにより、第１補間受光値を色配列パターンを考慮せず求めることができる。そのため、色配列グループ毎に補間を行う場合に比べて、補間に用いる第１取得受光値の間隔を狭くでき、より広帯域の情報を含む第１補間受光値を求めることができる。そして、第１フィールドのみから高解像の第１推定画素値ｖ^ｒ _ｉｊが得られるため、被写体の動きに対する像ブレを抑制できる。

また、本実施形態では図９に示すように、推定演算部は、第２推定画素値ｖ^ｃ _ｉｊに基づいて、第１推定画素値ｖ^ｒ _ｉｊの加算値Ａ_ｉｊ’を、各色（ＲＧＢ）の画素値に配分して最終的な画素値ｖ_ｉｊを求める。この処理は、最終的な画素値が推定される推定対象の受光単位（ｖ_ｉｊ，ｖ_{（ｉ＋１）ｊ}，ｖ_{ｉ（ｊ＋１）}，ｖ_{（ｉ＋１）（ｊ＋１）}に設定された受光単位）に対して行われる。

より具体的には、読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色（ＲＧＢ）の画素である場合に、複数色の画素として４画素を含む受光単位を設定する。上式（１２）に示すように、推定演算部は、第ｒ色（例えばｒ＝１。Ｒ色）の最終的な画素値を求める場合に、その第ｒ色の第２推定画素値ｖ^ｃ _{ｉ（ｊ＋１）}と第２推定画素値の加算値Ａ_ｉｊとの比ｒ＝ｖ^ｃ _{（ｉ＋１）ｊ}／Ａ_ｉｊを、第１推定画素値の加算値Ａ_ｉｊ’に乗じて、第ｒ色の最終的な画素値ｖ_{ｉ（ｊ＋１）}を求める。

このようにすれば、第１推定画素値ｖ^ｒ _ｉｊと第２推定画素値ｖ^ｃ _ｉｊに基づいて、最終的な画素値ｖ_ｉｊを求めることが可能になる。また、第２推定画素値ｖ^ｃ _ｉｊに基づいて、第１推定画素値ｖ^ｒ _ｉｊの加算値Ａ_ｉｊ’を配分することで、第１推定画素値ｖ^ｒ _ｉｊの解像情報を維持するとともに、第２推定画素値ｖ^ｃ _ｉｊの色情報を付加できる。

また、本実施形態では上式（４７）に示すように、推定演算部は、第２推定画素値ｖ^ｃ _ｉｊに基づいて各画素の色差Ｃｂ_ｉｊ，Ｃｒ_ｉｊを求め、その色差Ｃｂ_ｉｊ，Ｃｒ_ｉｊと第１推定画素値ｖ^ｒ _ｉｊに基づいて最終的な画素値Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊを求める。

このようにすれば、第２推定画素値ｖ^ｃ _ｉｊに基づいて色差Ｃｂ_ｉｊ，Ｃｒ_ｉｊを求めることで、最終的な画素値Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊに対して第２推定画素値ｖ^ｃ _ｉｊの色情報を付加できる。また、各画素の色差Ｃｂ_ｉｊ，Ｃｒ_ｉｊを求めることで、ＲＧＢモザイク画像ではなく３板のＲＧＢ画像を復元可能になる。

また、本実施形態では上式（４９）に示すように、推定演算部は、最終的な画素値として第１〜第３色の画素値Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊを求める場合に、色差として第１色差Ｃｂ_ｉｊと第２色差Ｃｒ_ｉｊを求める。推定演算部は、第１推定画素値ｖ^ｒ _ｉｊと第１色差Ｃｂ_ｉｊと第２色差Ｃｒ_ｉｊを、第１〜第３色の画素値Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊと行列との積で表す。推定演算部は、表した式により最終的な画素値Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊを求める。

このようにすれば、所定の係数を成分とする変換行列を用いて、｛ｖ^ｒ _ｉｊ，Ｃｂ_ｉｊ，Ｃｒ_ｉｊ｝と｛Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊ｝の関係式を表すことが可能になる。そして、その関係式を解くことで最終的な画素値Ｒ_ｉｊ，Ｇ_ｉｊ，Ｂ_ｉｊを求めることができる。

また、本実施形態では、行列において第１推定画素値ｖ^ｒ _ｉｊに対応する行の成分α_ｖ，β_ｖ，γ_ｖは、推定演算部による推定処理により定まる係数である。

また、本実施形態では図３７に示すように、推定演算部は、第２推定画素値ｖ^ｃ _ｉｊに対してデモザイキング処理を行って、各画素について第１〜第３色の推定画素値Ｒｃ_ｉｊ，Ｇｃ_ｉｊ，Ｂｃ_ｉｊを求める。上式（４７）に示すように、推定演算部は、第１〜第３色の推定画素値Ｒｃ_ｉｊ，Ｇｃ_ｉｊ，Ｂｃ_ｉｊと、行列において第１色差Ｃｂ_ｉｊに対応する行の成分α_ｂ，β_ｂ，γ_ｂとの積により第１色差Ｃｂ_ｉｊを求める。推定演算部は、第１〜第３色の推定画素値Ｒｃ_ｉｊ，Ｇｃ_ｉｊ，Ｂｃ_ｉｊと、行列において第２色差Ｃｒ_ｉｊに対応する行の成分α_ｒ，β_ｒ，γ_ｒとの積により第２色差Ｃｒ_ｉｊを求める。

このようにすれば、係数｛α_ｖ，β_ｖ，γ_ｖ｝や係数｛α_ｂ，β_ｂ，γ_ｂ｝、係数｛α_ｒ，β_ｒ，γ_ｒ｝を所定の係数として変換行列を表すことができる。これにより、この変換行列を用いた関係式を解くことで、解像情報と色情報が反映された画素値を復元することができる。

ここで、デモザイキング処理とは、欠落色信号を補間により求める処理であり、例えば図１に示すベイヤ配列において座標（０，０）の画素の欠落色信号Ｒ，Ｂを補間により求める処理である。例えば、デモザイキング処理として、公知の種々の補間処理を用いればよい。

また、本実施形態では図７（Ｂ）に示すように、補間処理部は、第１取得受光値による画像（第１フィールド）と第２取得受光値による画像（第２フィールド）との間の被写体の動き情報（動きベクトルφ＝（ｓ_ｉ，ｓ_ｊ））を取得する。補間処理部は、その動き情報に基づいて、第２フレームｆｘ＋１における第２補間受光値の位置情報（サンプリング位置ａ_１０ ^（１））を取得し、その位置情報が表す位置の周辺の第２取得受光値（例えば、ａ_１０ ^（１）と同じ色配列パターンの直近の４受光値ａ_ｍｎ，ａ_{（ｍ＋２）ｎ}，ａ_{ｍ（ｎ＋２）}，ａ_{（ｍ＋２）（ｎ＋２）}）に基づいて第２補間受光値ａ_１０を補間により求める。

このようにすれば、第１取得受光値による画像と第２取得受光値による画像との間の被写体の動き情報に基づいて補間が行われるため、第１フレームｆｘと第２フレームｆｘ＋１の間に生じた被写体の動きを補償して第２補間受光値を求めることができる。

また、本実施形態では図２（Ｂ）に示すように、読み出し制御部は、受光単位を市松（checkered pattern）状にグループ分けして第１受光単位群と第２受光単位群にグループ分けする。

このようにすれば、受光単位を市松状にグループ分けすることで、第１受光単位群と第２受光単位群にそれぞれ半数の受光単位を分配できる。これにより、半数の受光単位の受光値を取得受光値として取得し、撮影時の読み出しデータ量を削減してフレームレートを向上できる。

ここで、市松状とは、格子状の配置の一種であり、２種の正方形または長方形を交互に配列することである。例えば、図２（Ｂ）に示すように、第１フィールドにおいて、取得受光値と補間受光値に対応する２種の受光単位を水平方向と垂直方向に交互に配列することである。

また、本実施形態では図３に示すように、読み出し制御部は、受光単位に含まれる画素の画素値を重み付け加算して（例えば係数１，１／２，１／４）読み出して、取得受光値を取得する。補間処理部は、その重み付け加算により得られた取得受光値に基づいて、補間受光値を補間により求める。

このようにすれば、画素値を重み付け加算することで、重み付け無しの場合に比べて高周波成分を多く含む高解像フレーム画像を推定することが可能になる。すなわち、重み付け係数をコンボリューションの窓関数と考えれば、重み付け無しの窓関数の周波数帯域よりも重み付け加算の場合の窓関数の周波数帯域の方が広い。そのため、より広帯域の情報を受光値が含むことができ、その受光値を用いた推定処理において被写体の持つ高周波成分の再現性を向上できる。

また、図３等で上述のように、重み付け加算した場合には、色配列パターンを無視した補間処理を行うと色情報の劣化が顕著に表れる。この点本実施形態では、同じ色配列パターンの受光単位（同じ色配列グループ）で第２補間受光値を求めるため、色情報の復元が可能である。

８．第２の補間手法
図１０（Ａ）〜図１８を用いて、受光値の第２の補間手法について説明する。第２の補間手法では、同色の画素値を加算読み出しして取得した取得受光値に基づいて補間処理を行うなお、図１０（Ａ）〜図１８では、上記とは異なり、受光値の取得において加算読み出しの対象となる画素をハッチングにより表す。

まず図１０（Ａ）、図１０（Ｂ）を用いて、取得受光値の第２の取得手法について説明する。図１０（Ａ）に示すように、受光値ａ_ｉｊを取得する受光単位（加算画素）を四角で表し、受光値ａ_ｉｊは、その四角の頂点に位置する画素により取得される。画素の色Ｒ，Ｇｒ，Ｇｂ，Ｂはベイヤ配列で配列され、受光値ａ_ｉｊは同色の画素により取得される。

図１０（Ａ）に示すように、フレームｆｘにおいて、第１受光単位群の受光値を取得し、次のフレームｆｘ＋１において、第２受光単位群の受光値を取得する。この第１受光単位群と第２受光単位群は、相互に補うような位置関係となっている。具体的には、第１受光単位群と第２受光単位群は、受光単位が市松状に分類されたものであり、１×１の受光単位毎に水平方向及び垂直方向に交互に配列される。各受光単位群は、全ての受光単位のうちの半数の受光単位であるため、各フレームで読み出されるデータ量は、全ての画素値ｖ_ｉｊを読み出した場合の半分である。フレームｆｘ＋２以降は、第１受光単位群の受光値と第２受光単位群の受光値を交互に取得する。

図１０（Ｂ）に、取得受光値と補間受光値についての説明図を示す。図１０（Ｂ）では、加算読み出しにより受光値が取得される受光単位を太実線の四角（読み出し４画素加算値）で表し、補間により受光値が取得される受光単位を点線の四角（動き補償による補間４画素加算値）で表す。

図１０（Ｂ）に示すように、第１フィールドでは、第１受光単位群の受光値を第１取得受光値として取得し、第２受光単位群の受光値を補間受光値として求める。第２フィールドでは、第２受光単位群の受光値を第２取得受光値として取得する。後述するように、第１フィールドの補間受光値は、同色の第２取得受光値に基づいて補間により求められる。そして、図２８（Ａ）〜図３５で後述する手法を用いて、第１取得受光値と補間受光値から最終的な推定画素値が求められる。

なお、本実施形態では、第１，第２フィールドは、任意の隣接した２フレームの受光値であればよい。例えば、第１フィールドがフレームｆｘ＋１の受光値であり、第２フィールドがフレームｆｘ＋２の受光値であってもよい。

次に、図１１を用いて、重み付け加算読み出しについて説明する。図１１では、上述のように加算対象の画素をハッチングで表している。図１１に示すように、加算読み出しの重み係数をｃ_１、ｃ_２、ｃ_３、ｃ_４とする。ｃ_１＝１とすると、重み係数は下式（１８）に示す比率関係のルールをとる。なお、ｒは、ｒ≧１の実数であり、重み付け加算の場合にはｒ＞１である。本実施形態では、ｒ＝１として重み付けしない単純加算を行ってもよい。
ｃ_１＝１，ｃ_２＝１／ｒ，ｃ_３＝１／ｒ，ｃ_４＝１／ｒ^２ ・・・ （１８）

以下では、説明を簡単にするために、ｒ＝２とおき、下式（１９）とする。
ｃ_１＝１、ｃ_２＝１／２、ｃ_３＝１／２、ｃ_４＝１／４ ・・・ （１９）

次に、各色成分Ｇｒ，Ｇｂ，Ｒ，Ｂの受光値について説明する。図１２に、Ｇｒの受光値についての説明図を示す。図１２に示すように、第１フィールドでは、例えば第１取得受光値はａ_ｉｊであり、補間受光値はａ_{（ｉ−２）ｊ}である。第２フィールドでは、例えば第２取得受光値はａ_{（ｉ−２）ｊ}である。各受光値は重み付け加算により取得され、例えば、ａ_ｉｊ＝ｖ_ｉｊ＋（１／２）ｖ_{（ｉ＋２）ｊ}＋（１／２）ｖ_{ｉ（ｊ＋２）}＋（１／４）ｖ_{（ｉ＋２）（ｊ＋２）}である。

図１３に、Ｇｂの受光値についての説明図を示す。図１３に示すように、第１フィールドでは、例えば第１取得受光値はａ_{（ｉ＋１）（ｊ＋１）}であり、補間受光値はａ_{（ｉ−１）（ｊ＋１）}である。第２フィールドでは、例えば第２取得受光値はａ_{（ｉ−１）（ｊ＋１）}である。各受光値は重み付け加算により取得され、例えば、ａ_{（ｉ＋１）（ｊ＋１）}＝ｖ_{（ｉ＋１）（ｊ＋１）}＋（１／２）ｖ_{（ｉ＋３）（ｊ＋１）}＋（１／２）ｖ_{（ｉ＋１）（ｊ＋３）}＋（１／４）ｖ_{（ｉ＋３）（ｊ＋３）}である。

図１４に、Ｒの受光値についての説明図を示す。図１４に示すように、第１フィールドでは、例えば第１取得受光値はａ_{（ｉ＋１）ｊ}であり、補間受光値はａ_{（ｉ−１）ｊ}である。第２フィールドでは、例えば第２取得受光値はａ_{（ｉ−１）ｊ}である。各受光値は重み付け加算により取得され、例えば、ａ_{（ｉ＋１）ｊ}＝ｖ_{（ｉ＋１）ｊ}＋（１／２）ｖ_{（ｉ＋３）ｊ}＋（１／２）ｖ_{（ｉ＋１）（ｊ＋２）}＋（１／４）ｖ_{（ｉ＋３）（ｊ＋２）}である。

図１５に、Ｂの受光値についての説明図を示す。図１５に示すように、第１フィールドでは、例えば第１取得受光値はａ_{ｉ（ｊ＋１）}であり、補間受光値はａ_{（ｉ−２）（ｊ＋１）}である。第２フィールドでは、例えば第２取得受光値はａ_{（ｉ−２）（ｊ＋１）}である。各受光値は重み付け加算により取得され、例えば、ａ_{ｉ（ｊ＋１）}＝ｖ_{ｉ（ｊ＋１）}＋（１／２）ｖ_{（ｉ＋２）（ｊ＋１）}＋（１／２）ｖ_{ｉ（ｊ＋３）}＋（１／４）ｖ_{（ｉ＋２）（ｊ＋３）}である。

次に、図１６（Ａ）〜図１８（Ｂ）を用いて、補間受光値を求める手法について説明する。図１０（Ｂ）で上述のように、補間受光値は、第２フィールドの第２取得受光値のうち補間受光値と同色の受光値により求められる。そして、補間受光値と第１取得受光値から推定画素値ｖ_ｉｊが推定される。この手法では、各色毎に受光値の取得と補間が行われるため、推定画素値ｖ_ｉｊの色の再現性がよいと考えられる。

図１６（Ａ）に、第１フィールドにおける色成分Ｇｒの第１取得受光値と補間受光値を示す。点線四角で表す受光値が補間受光値である。なお、以下では、色成分Ｇｒを例に説明するが、他の色成分についても同様の処理が適用される。図１６（Ｂ）に、これらの受光値のサンプリング位置を表した模式図を示す。図１６（Ｂ）では、実線の丸で第１取得受光値を表し、点線の四角で補間受光値を表す。また、ａ_２０ ^（１）のように受光値の右上に付したサフィックス（１）により、第１フィールドにおけるサンプリング位置を表す。以下では、例として、着目像の位置の補間受光値ａ_１０ ^（１）を求める場合について説明する。

図１７（Ａ）に、第２フィールドにおける第２取得受光値を示す。点線四角で表す受光値は、取得されない受光値である。図１７（Ｂ）に、これらの受光値のサンプリング位置を表した模式図を示す。図１７（Ｂ）では、実線の四角で第２取得受光値を表し、点線の丸で取得されない受光値を表す。また、第１フィールドの補間受光値を点線四角で表す。また、ａ_２０ ^（２）のように受光値の右上に付したサフィックス（２）により、第２フィールドにおけるサンプリング位置を表す。

図１７（Ｂ）に示すように、第１フィールドのサンプリング位置と第２フィールドのサンプリング位置は、フレーム間の像ブレによって移動している。補間受光値ａ_２０ ^（１）のサンプリング位置を基準にすると、第１フィールドと第２フィールドの間の動きベクトル（広義には移動量情報）は、φ＝（ｓ_ｉ，ｓ_ｊ）で表される。ｓ_ｉは、水平方向の移動量であり、ｓ_ｊは、垂直方向の移動量である。この動きベクトルφは、第１，第２取得受光値に基づいて、ＳＳＤ（Sum of Squared Difference）等の動きベクトル検出処理により求められる。

補間受光値ａ_２０ ^（１）の算出は、φだけ移動したサンプリング位置の周辺に存在する第２取得受光値を用いて行われる。図１７（Ｂ）に示すように、ａ_２０ ^（１）の周囲に存在する第２取得受光値のうちの直近４つが｛ａ_ｍｎ，ａ_{（ｍ＋２）（ｎ−２）}，ａ_{（ｍ＋４）ｎ}，ａ_{（ｍ＋２）（ｎ＋２）}｝であったとする。例えば、補間受光値ａ_２０ ^（１）は、これらの第２取得受光値｛ａ_ｍｎ，ａ_{（ｍ＋２）（ｎ−２）}，ａ_{（ｍ＋４）ｎ}，ａ_{（ｍ＋２）（ｎ＋２）}｝を用いて求められる。

図１８（Ａ），図１８（Ｂ）を用いて、この４画素を用いる場合の補間受光値ａ_ｉｊの算出手法について説明する。図１８（Ａ）に示すように、撮像素子の画素ピッチはｐであり、第２受光単位群の配列ピッチは４ｐであるとする。そうすると、動きベクトル（ｓ_ｉ，ｓ_ｊ）は、第２取得受光値ａ_ｍｎの座標（ｍ，ｎ）を用いて下式（２０）で表される。ここで、下式（２０）において、ｒ_ｍは、水平方向において、ａ_ｍｎの座標からａ_ｉｊの座標までの距離であり、０≦ｒ_ｍ＜４ｐである。また、ｒ_ｎは、垂直方向において、ａ_{（ｍ＋２）（ｎ−２）}の座標からａ_ｉｊの座標までの距離であり、０≦ｒ_ｎ＜４ｐである。
ｓ_ｉ＝ｍ・ｐ＋ｒ_ｍ，
ｓ_ｊ＝（ｎ−２）・ｐ＋ｒ_ｎ ・・・ （２０）

まず、上式（５）より、０≦ｒ_ｍ＜４ｐ，０≦ｒ_ｎ＜４ｐを満たす（ｍ，ｎ）を求め、ａ_ｉｊの直近４つの第２取得受光値を決定する。次に、下式（２１）を用いて、補間受光値ａ_ｉｊを求める。
ａ_ｉｊ＝ｗ_１・ａ_ｍｎ＋ｗ_２・ａ_{（ｍ＋２）（ｎ−２）}＋
ｗ_３・ａ_{（ｍ＋４）ｎ}＋ｗ_４・ａ_{（ｍ＋２）（ｎ＋２）} ・・・ （２１）

図１８（Ｂ）に、各受光値のサンプリング位置を表した模式図を示す。図１８（Ｂ）に示すように、ａ_ｉｊと｛ａ_ｍｎ，ａ_{（ｍ＋２）（ｎ−２）}，ａ_{（ｍ＋４）ｎ}，ａ_{（ｍ＋２）（ｎ＋２）}｝の距離をφ１，φ２，φ３，φ４とする。例えば、上式（２１）の補間係数ｗ_１〜ｗ_４は、距離の関数をｆ（φｘ）として下式（２２）により表してもよい。
ｗ_１＝ｆ（φ１），
ｗ_２＝ｆ（φ２），
ｗ_３＝ｆ（φ３），
ｗ_４＝ｆ（φ４） ・・・ （２２）

なお、ｆ（φｘ）は、適切な重み付けを定義する関数であり、例えばバイリニア法やバイキュービック法等の既知の手法により求められる。あるいは、ｆ（φｘ）は、統計的な手法により設定されてもよい。すなわち、通常の全画素読み出しにより高解像画像を撮像し、その高解像画像の画素値を実際に加算して補間受光値を求める。そして、補間係数ｗ_１〜ｗ_４を仮定して補間した補間受光値と比較し、仮定値を変更しながら最も値が近くなる補間係数ｗ_１〜ｗ_４に決定する。この補間係数を求める手法としては、例えばニューラルネット等の種々の手法がある。また、求めたｆ（φｘ）は、例えば非線形的なルックアップテーブルにより実現される。

上記の実施形態によれば、読み出し制御部（例えば図２０で後述の重み付け加算重畳シフトサンプリング処理部３２０）、補間処理部（補間処理部４３０）、推定演算部（高精細静止画復元処理部４４０）、画像出力部（画像出力部４５０）を含む。

図１０（Ｂ）に示すように、読み出し制御部は、受光単位を複数の画素毎に設定し、その受光単位に含まれる画素の画素値を加算読み出しして受光値（ａ_ｉｊ等の太実線四角で表す受光値）を取得する。受光単位は、受光値を取得する単位であり、隣り合う受光単位は重畳している。補間処理部は、読み出し制御部により取得された受光値である取得受光値（ａ_ｉｊ等）に基づいて、受光値が取得されない受光単位の受光値を補間により求めて補間受光値（ａ_{（ｉ−２）ｊ}等の点線四角で表す受光値）を取得する。推定演算部は、図２８（Ｂ）〜図３５で後述のように、取得受光値と補間受光値に基づいて、受光単位に含まれる各画素の画素値ｖ_ｉｊを推定する。画像出力部は、推定演算部により推定された画素値に基づく画像を出力する。

この場合に、図１２〜図１５に示すように、読み出し制御部は、第１〜第ｑ色（ｑは自然数。例えばＲ，Ｇｒ，Ｇｂ，Ｂのｑ＝４）の各色毎に受光単位を設定し、その受光単位を第１受光単位群と第２受光単位群にグループ分けする。図１０（Ｂ）に示すように、読み出し制御部は、第１フレームｆｘにおいて、第１受光単位群の受光値（ａ_ｉｊ等）を第１取得受光値として取得する。第１フレームｆｘの後の第２フレームｆｘ＋１において、第２受光単位群の受光値（ａ_{（ｉ−２）ｊ}等）を第２取得受光値として取得する。

補間処理部は、第１フレームｆｘにおける第２受光単位群の受光値（ａ_{（ｉ−２）ｊ}等）を補間受光値として求める。このとき、図１７（Ａ）に示すように、補間処理部は、第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数。例えばｒ＝１、Ｇｒ色）の第２取得受光値（ａ_ｍｎ，ａ_{（ｍ＋２）（ｎ−２）}，ａ_{（ｍ＋４）ｎ}，ａ_{（ｍ＋２）（ｎ＋２）}）に基づいて、第ｒ色の補間受光値（ａ_２０ ^（１））を補間により求める。

これにより、取得受光値から簡素な処理で高解像画像を推定することが可能になる。具体的には、受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１受光単位群の受光値を取得することで、各フレームにおいて一部の受光値だけを読み出すことができる。そのため、撮像素子から読み出すデータ量を減らし、フレームレートを向上できる。また、取得受光値に基づいて補間受光値を求め、その重畳した受光単位の受光値（図２８（Ｂ）に示す受光値）に対して例えば図２８（Ａ）〜図３５で後述の推定処理を行うことで、撮像したフレームの中の任意タイミングの高解像フレーム画像を取得できる。そのため、決定的瞬間の高解像フレーム画像を事後的に取得でき、高解像度と高フレームレートを両立できる。

また、本実施形態によれば、第１〜第ｑ色の各色毎に受光単位を設定し、第ｒ色の取得受光値に基づいて第ｒ色の補間受光値を補間により求める。これにより、補間受光値の色と同じ色の取得受光値により補間が行われるため、上述の異色加算の場合に比べて色情報の復元が容易に実現可能である。

また、本実施形態では図１２〜図１５に示すように、読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、各色（色成分Ｒ，Ｇｒ，Ｇｂ，Ｂ）の受光単位として４画素を含む受光単位を設定する。そして、読み出し制御部は、第ｒ色の受光単位を市松（checkered pattern）状にグループ分けして第１受光単位群と第２受光単位群にグループ分けする。

このようにすれば、ベイヤ配列において本実施形態の補間手法を実現可能である。また、受光単位を市松状にグループ分けすることで、第１受光単位群と第２受光単位群にそれぞれ半数の受光単位を分配できる。これにより、半数の受光単位の受光値を取得受光値として取得し、撮影時の読み出しデータ量を削減してフレームレートを向上できる。

ここで、市松状とは、格子状の配置の一種であり、２種の正方形または長方形を交互に配列することである。例えば、図１２に示すように、第１フィールドにおいて、取得受光値（太実線四角で表す）と補間受光値（点線四角で表す）に対応する２種の受光単位を水平方向と垂直方向に交互に配列することである。

９．撮像装置の第１の構成例
図１９に、上述の異色加算を行う第１の補間手法を用いる場合の撮像装置の構成例を示す。この撮像装置は、レンズ１００、撮像センサ１１０（広義には、撮像素子）、重み付け加算重畳シフトサンプリング処理部１２０（読み出し制御部）、ノイズ低減処理部１３０、簡易動画像生成部１４０（表示制御部）、モニタ表示部１５０（表示部）、動画データ圧縮部１６０、動画データ記録部１７０（記憶部）、動画データ伸張部１８０、補間処理部１８５、推定演算部２１０、デモザイキング処理部２３０（３板化処理部）、基本画質向上処理部２４０（画像処理部）、動画データ生成部２５０（第１画像出力部）、高精細静止画データ生成部２６０（第２画像出力部）を含む。

なお、本実施形態は図１９の構成に限定されず、その構成要素の一部（例えばモニタ表示部１５０）を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。また、構成要素の一部が他の装置として構成されてもよく、例えば、動画データ伸張部１８０以降の構成要素が、ＰＣ等で構成される画像処理装置に含まれてもよい。

重み付け加算重畳シフトサンプリング処理部１２０は、第１フィールドの第１取得受光値ｆ_ｋと第２フィールドの第２取得受光値ｆ_ｋ＋１を、撮像センサ１１０から読み出す処理を行う。受光値ｆ_ｋ，ｆ_ｋ＋１は、異色画素の加算読み出しにより取得された受光値である。例えば、加算読み出しは、ＣＭＯＳセンサ等の撮像素子からアドレス指定により画素値を読み出して加算することで実現される。ノイズ低減処理部１３０は、受光値ｆ_ｋ，ｆ_ｋ＋１のノイズ低減処理を行う。

簡易動画像生成部１４０は、受光値ｆ_ｋ，ｆ_ｋ＋１から簡易動画を生成する。簡易動画は、推定処理を経ずに生成した動画であり、例えば動画撮影中のモニタ表示に用いられる。簡易動画の生成手法については、図２７（Ａ）等で後述する。モニタ表示部１５０は、簡易動画像生成部１４０からの簡易動画を表示する。

動画データ圧縮部１６０は、受光値ｆ_ｋ，ｆ_ｋ＋１のデータ圧縮処理を行う。動画データ記録部１７０は、受光値ｆ_ｋ，ｆ_ｋ＋１の圧縮データを記録する。動画データ記録部１７０は、内部メモリであってもよく、メモリカード等の外部メモリであってもよい。動画データ伸張部１８０は、受光値ｆ_ｋ，ｆ_ｋ＋１の圧縮データを伸張する処理を行う。

補間処理部１８５は、伸張処理された受光値ｆ_ｋ，ｆ_ｋ＋１に基づいて、第１補間受光値と第２補間受光値を補間により求める処理を行う。推定演算部２１０は、第１取得受光値ｆ_ｋと第１，第２補間受光値に基づいて、撮像素子の各画素に対応する推定画素値を推定する処理を行う。具体的には、推定演算部２１０は、解像情報復元画像生成部１９０（第１推定演算部）、色情報復元画像生成部２００（第２推定演算部）、画像合成部２２０を含む。

解像情報復元画像生成部１９０は、第１取得受光値ｆ_ｋと第１補間受光値から解像情報復元画像（図９で上述のｖ^ｒ _ｉｊ）を推定処理により求める。色情報復元画像生成部２００は、第１取得受光値ｆ_ｋと第２補間受光値から色情報復元画像（ｖ^ｃ _ｉｊ）を推定処理により求める。画像合成部２２０は、これらの復元画像から最終復元画像（ｖ_ｉｊ）を求める。最終復元画像（高解像フレーム画像）は、ベイヤ配列のモザイク画像である。

デモザイキング処理部２３０は、最終復元画像をデモザイキング（３板化）する処理を行う。基本画質向上処理部２４０は、デモザイキング処理後の画像に対してノイズ低減処理や階調補正処理等の画像処理を行う。動画データ生成部２５０は、画像処理後の画像をアンダーサンプリングする処理を行ってハイビジョン動画を生成し、そのハイビジョン動画をハイビジョンディスプレーに対して出力する。高精細静止画データ生成部２６０は、高精細ディスプレーや高精細プリンターに対して、動画中の任意タイミングの静止画を出力する。例えば、静止画取得のタイミングは、タッチパネル等の操作部を介してユーザにより指定される。静止画の解像度は例えば、撮像センサ１１０と同じ１２メガピクセルである。

１０．撮像装置の第２の構成例
上述の同色加算を行う第２の補間手法を用いる場合の撮像装置の構成例を示す。この撮像装置は、レンズ３００、撮像センサ３１０（広義には、撮像素子）、重み付け加算重畳シフトサンプリング処理部３２０（読み出し制御部）、ノイズ低減処理部３３０、フィールド分割部３４０、デモザイキング処理部３５０（３板化処理部）、画質向上処理部３６０、動画データ生成部３７０、動画データ圧縮部３８０、動画データ記録部３９０（記憶部）、動画データ伸張部４００、動画データ生成部４１０（表示制御部）、重畳シフト加算画像抽出部４２０（取得受光値抽出部）、補間処理部４３０、高精細静止画復元処理部４４０（推定演算部）、画像出力部４５０を含む。

なお、本実施形態は図２０の構成に限定されず、その構成要素の一部（例えばフィールド分割部３４０）を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。また、構成要素の一部が他の装置として構成されてもよく、例えば、動画データ伸張部４００以降の構成要素が、ＰＣ等で構成される画像処理装置に含まれてもよい。

重み付け加算重畳シフトサンプリング処理部３２０は、第１，第２取得受光値ｆ_ｋ（Ｇ），ｆ_ｋ（Ｒ），ｆ_ｋ（Ｂ）を撮像センサ１１０から読み出す処理を行う。受光値ｆ_ｋ（Ｇ），ｆ_ｋ（Ｒ），ｆ_ｋ（Ｂ）は、それぞれ色成分Ｇ，Ｒ，Ｂの画素の加算読み出しにより取得された受光値である。例えば、加算読み出しは、ＣＭＯＳセンサ等の撮像素子からアドレス指定により画素値を読み出して加算することで実現される。ノイズ低減処理部３３０は、受光値ｆ_ｋ（Ｇ），ｆ_ｋ（Ｒ），ｆ_ｋ（Ｂ）のノイズ低減処理を行う。

フィールド分割部３４０は、受光値ｆ_ｋ（Ｇ）のデータを、受光値ｆ_ｋ（Ｇｘ）と受光値ｆ_ｋ（Ｇｙ）に分割する。デモザイキング処理部３５０は、受光値ｆ_ｋ（Ｇｘ），ｆ_ｋ（Ｇｙ），ｆ_ｋ（Ｒ），ｆ_ｋ（Ｂ）をデモザイキング（３板化）する処理を行う。フィールド分割とデモザイキング処理については、図２１〜図２６で後述する。デモザイキング処理後の受光値をＦ_ｋで表すとすれば、デモザイキング処理後の画像として２つの画像Ｆ_ｋ（Ｒ）＋Ｆ_ｋ（Ｇｘ）＋Ｆ_ｋ（Ｂ），Ｆ_ｋ（Ｒ）＋Ｆ_ｋ（Ｇｙ）＋Ｆ_ｋ（Ｂ）が出力される。

画質向上処理部３６０は、この２つの画像に対してノイズ低減処理や階調補正処理等の画像処理を行う。動画データ生成部３７０は、画像処理後の２つの画像から動画データを生成する。この動画データは、推定処理を経ずに生成された動画であり、受光単位の解像度と同程度の解像度である。Ｆ_ｋ（Ｇ）としてＦ_ｋ（Ｇｘ）があれば動画を作成可能であるが、受光値のサンプリング位置が異なるＦ_ｋ（Ｇｙ）を用いることで、Ｇ成分の画像品質を改善可能と考えられる。

動画データ圧縮部３８０は、動画データの圧縮処理を行う。動画データ記録部３９０は、圧縮処理された動画データを記録する。動画データ記録部３９０は、内部メモリであってもよく、メモリカード等の外部メモリであってもよい。動画データ伸張部４００は、圧縮処理された動画データを伸張する処理を行う。動画データ生成部４１０は、伸張処理された動画データをアンダーサンプリングする処理を行ってハイビジョン動画を生成し、そのハイビジョン動画をハイビジョンディスプレーに対して出力する。

重畳シフト加算画像抽出部４２０は、伸張処理された動画データから、第１フィールドの第１取得受光値ｆ_ｋと第２フィールドの第２取得受光値ｆ_ｋ＋１を抽出する。補間処理部４３０は、第１フィールドの補間受光値を、第２取得受光値ｆ_ｋ＋１に基づく補間により求める処理を行う。高精細静止画復元処理部４４０は、補間受光値と第１取得受光値ｆ_ｋから画素値を推定する処理を行う。推定画素値は、撮像センサ３１０と同じ画素数のベイヤ配列のモザイク画像である。画像出力部４５０は、推定画素値に対してデモザイキング処理等を行い、任意タイミングの静止画を高精細ディスプレーや高精細プリンターに対して出力する。例えば、静止画取得のタイミングは、タッチパネル等の操作部を介してユーザにより指定される。

１１．デモザイキング処理の手法
図２０で上述のフィールド分割とデモザイキング処理について説明する。

図２１に、第１フィールドにおける色成分Ｇのフィールド分割とデモザイキング処理についての説明図を示す。Ｇｒの画素と受光値を斜め縞のハッチングで表し、Ｇｂの画素と受光値をグレーのハッチングで表す。また、デモザイキング処理による補間値を横縞のハッチングで表す。図２１に示すように、第１フィールドの色成分Ｇでは、受光値をｆ_ｋ（Ｇｘ_１）とｆ_ｋ（Ｇｙ_１）に分割して取得する。そして、受光値ｆ_ｋ（Ｇｘ_１），ｆ_ｋ（Ｇｙ_１）をそれぞれデモザイキング処理し、補間された画像Ｆ_ｋ（Ｇｘ_１），Ｆ_ｋ（Ｇｙ_１）を出力する。

図２２に、第１フィールドにおける色成分Ｒのデモザイキング処理についての説明図を示す。Ｒの画素と受光値をグレーのハッチングで表す。図２２に示すように、第１フィールドの色成分Ｒでは、受光値ｆ_ｋ（Ｒ_１）を取得する。そして、受光値ｆ_ｋ（Ｒ_１）をデモザイキング処理し、補間された画像Ｆ_ｋ（Ｒ_１）を出力する。

図２３に、第１フィールドにおける色成分Ｂのデモザイキング処理についての説明図を示す。Ｂの画素と受光値をグレーのハッチングで表す。図２３に示すように、第１フィールドの色成分Ｂでは、受光値ｆ_ｋ（Ｂ_１）を取得する。そして、受光値ｆ_ｋ（Ｂ_１）をデモザイキング処理し、補間された画像Ｆ_ｋ（Ｂ_１）を出力する。

図２４に、第２フィールドにおける色成分Ｇのフィールド分割とデモザイキング処理についての説明図を示す。図２４に示すように、第２フィールドの色成分Ｇでは、受光値をｆ_ｋ＋１（Ｇｘ_２）とｆ_ｋ＋１（Ｇｙ_２）に分割して取得する。そして、受光値ｆ_ｋ＋１（Ｇｘ_２）とｆ_ｋ＋１（Ｇｙ_２）をそれぞれデモザイキング処理し、補間された画像Ｆ_ｋ＋１（Ｇｘ_２）とＦ_ｋ＋１（Ｇｙ_２）を出力する。

図２５に、第２フィールドにおける色成分Ｒのデモザイキング処理についての説明図を示す。図２５に示すように、第２フィールドの色成分Ｒでは、受光値ｆ_ｋ＋１（Ｒ_２）を取得する。そして、受光値ｆ_ｋ＋１（Ｒ_２）をデモザイキング処理し、補間された画像Ｆ_ｋ＋１（Ｒ_２）を出力する。

図２６に、第２フィールドにおける色成分Ｂのデモザイキング処理についての説明図を示す。図２６に示すように、第２フィールドの色成分Ｂでは、受光値ｆ_ｋ＋１（Ｂ_２）を取得する。そして、受光値ｆ_ｋ＋１（Ｂ_２）をデモザイキング処理し、補間された画像Ｆ_ｋ＋１（Ｂ_２）を出力する。

１２．簡易動画の生成手法
図１９で上述した簡易動画の生成手法について説明する。上述の異色混合加算の場合、受光値そのものは色を表せないため、カラー動画を表示するためには推定処理が必要となる。例えば、モニタ表示などの低解像度の動画像をリアルタイムで生成する際にも、推定処理が必要となってしまい、それなりの処理能力をもったハード処理などが求められる。そのため、本実施形態では、推定処理よりも簡易的な手法により一般的な動画用ベイヤ画像を求め、システム構成の処理負荷を低減させる。

図２７（Ａ）、図２７（Ｂ）を用いて、簡易的にベイヤ画像を求める手法について説明する。以下では、Ｇｒの画素値Ｇｒ_００を簡易的に求める場合を例に説明する。ＲＧｒＧｂＢ混合の受光値は、下式（２３）〜（２６）で表される。ここで、ｒはｒ≧１の実数である。
ａ_００＝１・Ｇ_００＋（１／ｒ）・Ｒ_１０＋
（１／ｒ）・Ｂ_０１＋（１／ｒ^２）・Ｇ_１１ ・・・ （２３）
ａ_１０＝１・Ｒ_１０＋（１／ｒ）・Ｇ_２０＋
（１／ｒ）・Ｇ_１１＋（１／ｒ^２）・Ｂ_２１ ・・・ （２４）
ａ_０１＝１・Ｂ_０１＋（１／ｒ）・Ｇ_１１＋
（１／ｒ）・Ｇ_０２＋（１／ｒ^２）・Ｒ_１２ ・・・ （２５）
ａ_１１＝１・Ｇ_１１＋（１／ｒ）・Ｂ_２１＋
（１／ｒ）・Ｒ_１２＋（１／ｒ^２）・Ｇ_２２ ・・・ （２６）

上式（２３）にｒを乗じて上式（２４）を引くと、下式（２７）となる。また、上式（２５）にｒを乗じて上式（２６）を引くと、下式（２８）となる。
ｒ・ａ_００−ａ_１０＝［ｒ・Ｇ_００＋Ｂ_０１］−
［（１／ｒ）・Ｇ_２０＋（１／ｒ^２）・Ｂ_２１］
・・・ （２７）
ｒ・ａ_０１−ａ_１１＝［Ｇ_０２＋ｒ・Ｂ_０１］−
［（１／ｒ^２）・Ｇ_２２＋（１／ｒ）・Ｂ_２１］
・・・ （２８）

次に、上式（２７）にｒを乗じて上式（２８）を引き、左辺をＡ_Ｇｒと置くと、下式（２９）となる。Ａ_Ｇｒ＝ｒ（ｒ・ａ_００−ａ_１０）−（ｒ・ａ_０１−ａ_１１）は、受光値を用いて求める。この受光値として、例えば第１，第２フィールドの取得受光値を合わせた受光値を用いる。あるいは、第１フィールドの取得受光値を補間処理した受光値を用いてもよい。
Ａ_Ｇｒ＝ｒ（ｒ・ａ_００−ａ_１０）−（ｒ・ａ_０１−ａ_１１）
＝［ｒ^２・Ｇ_００＋（１／ｒ^２）・Ｇ_２２］−［Ｇ_２０＋Ｇ_０２］
＝ｒ^２・［Ｇ_００＋（１／ｒ^４）・Ｇ_２２−
（１／ｒ^２）・Ｇ_２０−（１／ｒ^２）・Ｇ_０２］
・・・ （２９）

上式（２９）において、ｒを１よりもある程度大きくとると仮定すると、下式（３０）が成り立つとみなすことができる。そのため、上式（２９）より下式（３１）となり、画素値Ｇｒ_００は下式（３２）により求められる。
（１／ｒ^４）・Ｇ_２２−（１／ｒ^２）・Ｇ_２０−（１／ｒ^２）・Ｇ_０２ ≒ ０
・・・ （３０）
Ａ_Ｇｒ≒ｒ^２・Ｇ_００ ・・・ （３１）
Ｇ_００≒Ａ_Ｇｒ ／ｒ^２ ・・・ （３２）

下式（３３）に示すように、Ｒ_１０，Ｂ_０１，Ｇ_１１についても同様に、受光値ａ_ｉｊから近似的に求めることができる。
Ａ_Ｒ＝ｒ（ｒ・ａ_１０−ａ_２０）−（ｒ・ａ_１１−ａ_２１）≒ｒ^２・Ｒ_１０，
Ａ_Ｂ＝ｒ（ｒ・ａ_０１−ａ_１１）−（ｒ・ａ_０２−ａ_１２）≒ｒ^２・Ｂ_０１，
Ａ_Ｇｂ＝ｒ（ｒ・ａ_１１−ａ_２１）−（ｒ・ａ_１２−ａ_２２）≒ｒ^２・Ｇ_１１
・・・ （３３）

なお、上記ではＧ_００，Ｒ_１０，Ｂ_０１，Ｇ_１１に着目しているが、他の画素値についても同様の手法により求めることができる。また、上記のように受光値ａｉｊから任意の画素値を求めることができれば、動画用としての低解像画像を生成する手法は、種々用いることができる。例えば、求めた画素値から低解像動画を間引き的に生成してもよい。あるは、求めた画素値を用いて、同色の隣接した複数画素を加算して低解像動画を生成してもよい。

１３．画素値の推定手法
図２８（Ａ）〜図２５を用いて、上述の取得受光値と補間受光値から高解像フレーム画像の画素値を推定する手法について説明する。以下では、受光単位が４画素を含み、その受光単位に含まれる４画素の画素値を受光値に基づいて推定する場合を例に説明する。

まず、図２８（Ａ）、図２８（Ｂ）に、画素推定に用いられる推定処理ブロックと受光単位の模式的な説明図を示す。図２８（Ａ）、図２８（Ｂ）では、水平方向（水平走査方向）の画素位置をｉで示し、垂直方向の画素位置をｊで示す（ｉ、ｊは整数）。また、図２８（Ａ）では、推定処理ブロックを点線四角で表し、受光単位を実線四角で表す。図２８（Ｂ）では、受光単位を点線四角で表し、推定画素を実線四角で表す。

図２８（Ａ）に示すように、ｍ×ｎ画素を１ブロックとする推定処理ブロックＢｋ_００、Ｂｋ_１０、・・・を設定する。本実施形態では、この推定処理ブロック毎に、高解像フレーム画像の画素値の推定処理を行う。図２８（Ｂ）には、推定処理ブロックＢｋ_００を模式的に示す。図２８（Ｂ）に示す受光値ａ_００〜ａ_{（ｍ−１）（ｎ−１）}は、撮像により取得された取得受光値と、補間処理により求められた補間受光値により構成される。

図２９（Ａ）に示すように、ａ_００，ａ_２０等の実線で表す受光値が撮像により取得され、ａ_１０，ａ_０１等の点線で表す受光値が補間処理により求められる。受光値の取得は、図３や図１１で上述した重み付け加算読み出しにより行われる。なお以下では、同色の画素値を加算読み出しする場合について説明するが、異色の画素値を加算読み出しする場合についても同様の処理を適用できる。また以下では、Ｇｒ画素の推定処理について説明するが、Ｇｂ画素やＲ画素、Ｂ画素についても同様の処理を適用できる。

図２９（Ｂ）に示すように、上記の受光値から中間画素値ｂ_００、ｂ_１０、・・・が求められ、中間画素値ｂ_００、ｂ_１０、・・・から推定画素値ｖ_００、ｖ_１０、・・・が求められる。なお、図２９（Ａ）、図２９（Ｂ）では便宜的に、ｉｊのサフィックスを推定対象の画素にのみ付している。

まず、中間画素値の推定処理について説明する。図３０に示すように、中間画素値の水平方向の最初の行に注目し、重み付け画素加算値をシフト順にａ_００、ａ_１０、ａ_２０とすると、下式（３４）が成り立つ。
ａ_００＝ｃ_１ｖ_００＋ｃ_２ｖ_０１＋ｃ_３ｖ_１０＋ｃ_４ｖ_１１
ａ_１０＝ｃ_１ｖ_１０＋ｃ_２ｖ_１１＋ｃ_３ｖ_２０＋ｃ_４ｖ_２１ ・・・ （３４）

また、下式（３５）に示すようにｂ_００、ｂ_１０、ｂ_２０を定義し、重み付け係数ｃ_１＝１、ｃ_２＝１／２、ｃ_３＝１／２、ｃ_４＝１／４を代入する。なお、重み付け係数はこれに限定されず、ｃ_１＝１，ｃ_２＝１／ｒ，ｃ_３＝１／ｒ，ｃ_４＝１／ｒ^２（ｒ≧１）であればよい。
ｂ_００＝ｃ_１ｖ_００＋ｃ_２ｖ_０１＝ｖ_００＋（１／２）ｖ_０１
ｂ_１０＝ｃ_１ｖ_１０＋ｃ_２ｖ_１１＝ｖ_１０＋（１／２）ｖ_１１
ｂ_２０＝ｃ_１ｖ_２０＋ｃ_２ｖ_２１＝ｖ_２０＋（１／２）ｖ_２１ ・・・ （３５）

次に、上式（３５）を用いて上式（３４）を変形すると、下式（３６）が成り立つ。
ａ_００＝ｖ_００＋（１／２）ｖ_０１＋（１／２）ｖ_１０＋（１／４）ｖ_１１
＝ｂ_００＋（１／２）ｂ_１０
ａ_１０＝ｖ_１０＋（１／２）ｖ_１１＋（１／２）ｖ_２０＋（１／４）ｖ_２１
＝ｂ_１０＋（１／２）ｂ_２０ ・・・ （３６）

上式（３６）において、ａ_００、ａ_１０に所定の係数（所定の重み係数）を掛けて差分δｉ_０を取り、上式（３５）を使って変形すると、下式（３７）が成り立つ。
δｉ_０＝ａ_１０−２ａ_００
＝（１／２）ｖ_２０＋（１／４）ｖ_２１−（２ｖ_００＋ｖ_０１）
＝（１／２）ｂ_２０−２ｂ_００ ・・・ （３７）

ｂ_００を未知数とすると、下式（３８）に示すように、中間画素値ｂ_１０、ｂ_２０をｂ_００の関数として求めることができる。
ｂ_００＝（未知数），
ｂ_１０＝２（ａ_００−ｂ_００），
ｂ_２０＝４ｂ_００＋２δｉ_０
＝４ｂ_００＋２（ａ_１０−２ａ_００） ・・・ （３８）

このように、ｂ_００を未知数（初期変数）として高精細な中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の組合せパターンが求められる。同様にして、２行目、３行目においてもｂ_０１、ｂ_０２を未知数として中間画素値｛ｂ_０１，ｂ_１１，ｂ_２１｝、｛ｂ_０２，ｂ_１２，ｂ_２２｝の組合せパターンが求められる。

次に、未知数ｂ_００を求める手法について説明する。図３１に示すように、受光値パターン｛ａ_００，ａ_１０｝と中間画素値パターン｛ｂ_００，ｂ_１０，ｂ_２０｝を比較する。そして、その誤差が最小になる未知数ｂ_００を導出し、中間画素値ｂ_００として設定する。

このとき、上式（３６）に示すように、受光値｛ａ_００，ａ_１０｝は、中間画素値｛ｂ_００，ｂ_１０，ｂ_２０｝の異なる重み付けによる隣接値の加算値となる。そのため、単純にこれらを比較しても正しい推定値が得られない。そこで、図３１に示すように、中間画素値に重み付けをして比較を行う。具体的には、中間画素値｛ｂ_ｉｊ，ｂ_{（ｉ＋１）ｊ}｝の重み付けが、ｃ_３＝ｃ_１／２、ｃ_４＝ｃ_２／２であることを利用すると、下式（３９）が成り立つことが分かる。
ａ_ｉｊ＝ｂ_ｉｊ＋（１／２）ｂ_{（ｉ＋１）ｊ} ・・・ （３９）

この上式（３９）による重み付けを考慮すると、下式（４０）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、受光値パターン｛ａ_００，ａ_１０｝と中間画素値パターン｛ｂ_００，ｂ_１０，ｂ_２０｝の類似性評価を行う。

上式（３８）を用いると、評価関数Ｅｊは、ｂ_００を初期変数とした関数で表される。したがって、図３２に示すように、Ｅｊを最小にする未知数ｂ_００（＝α）を求め、ｂ_００の値を決定できる。そして、推定したｂ_００の値を上式（３８）に代入し、ｂ_１０，ｂ_２０が求められる。なお、ｂ_００が取り得る値の範囲は０≦ｂ_００≦ａ_００であるので、この範囲にて評価関数Ｅｊの最小値を求めればよい。同様に、２行目、３行目においても、中間画素値｛ｂ_０１，ｂ_１１，ｂ_２１｝、｛ｂ_０２，ｂ_１２，ｂ_２２｝の組合せパターンがｂ_０１，ｂ_０２を未知数として求められる。

次に、求めた中間画素値ｂ_ｉｊを用いて最終推定画素値ｖ_ｉｊを求める手法について説明する。以下では、図２９（Ｂ）に示す左端垂直列（ｉ＝０列）を例に説明する。図３３に示すように、中間画素値｛ｂ_０１，ｂ_０１，ｂ_０２｝と最終推定画素値｛ｖ_００，ｖ_０１，ｖ_０２｝の関係は、下式（４１）で表される。
ｂ_００＝ｃ_１ｖ_００＋ｃ_２ｖ_０１＝ｖ_００＋（１／２）ｖ_０１，
ｂ_０１＝ｃ_１ｖ_０１＋ｃ_２ｖ_０２＝ｖ_０１＋（１／２）ｖ_０２ ・・・ （４１）

ｂ_００、ｂ_０１に所定の係数を掛けて差分δｊ_０を求めると、下式（４２）が成り立つ。
δｊ_０＝ｂ_０１−２ｂ_００
＝（ｖ_０１＋（１／２）ｖ_０２）−（２ｖ_００＋ｖ_０１）
＝（１／２）ｖ_０２−２ｖ_００ ・・・ （４２）

ｖ_００を未知数（初期変数）とすると、上式（４１）、（４２）を用いて、最終推定画素値ｖ_０１、ｖ_０２がｖ_００の関数として求められる。その関数を下式（４３）に示す。
ｖ_００＝（未知数），
ｖ_０１＝２（ｂ_００−ｖ_００），
ｖ_０２＝４ｖ_００＋２δｊ_０
＝４ｖ_００＋２（ｂ_０１−２ｂ_００） ・・・ （４３）

上式（４３）の推定画素値パターン｛ｖ_００，ｖ_０１，ｖ_０２｝と、中間画素値パターン｛ｂ_００，ｂ_０１｝を比較し、その誤差Ｅｉが最小になる未知数ｖ_００を導出する。このとき、最終推定画素値｛ｖ_ｉｊ，ｖ_{（ｉ＋１）ｊ}｝の重み付けが、ｃ_２＝ｃ_１／２であることを利用すると、下式（４４）が成り立つ。
ｂ_ｉｊ＝ｖ_ｉｊ＋（１／２）ｖ_{ｉ（ｊ＋１）} ・・・ （４４）

図３４に示すように、上式（４４）に示す重み付けを考慮して、パターンの比較を行う。具体的には、下式（４５）に示す評価関数Ｅｉを求める。

そして、図３５に示すように、評価関数Ｅｉを最小にする未知数ｖ_００（＝β）を求め、求めたｖ_００を上式（４３）に代入して最終推定画素値ｖ_０１、ｖ_０２を求める。同様に、２列目においても、ｖ_１０を未知数として最終推定画素値｛ｖ_１０，ｖ_１１，ｖ_１２｝の組合せパターンを求める。

上記の実施形態によれば、図２９（Ａ）に示すように、第１のポジションに設定された受光単位ａ_００と、第１のポジションからシフトされた第２のポジションａ_１０に設定された受光単位が重畳する。この場合に、図３０に示すように、推定演算部は、第１のポジションの受光単位の受光値と、第２のポジションの受光単位の受光値の差分値δｉ_０＝ａ_１０−ａ_００を求める。推定演算部は、第１のポジションの受光単位ａ_００から重畳領域（図２９（Ａ）に示すｖ_１０，ｖ_１１）を除いた第１の受光領域（ｖ_００，ｖ_０１）の受光値である第１の中間画素値（図２９（Ｂ）に示すｂ_００）と、第２のポジションの受光単位ａ_１０から重畳領域を除いた第２の受光領域（ｖ_２０，ｖ_２１）の受光値である第２の中間画素値（ｂ_２０）との関係式を、差分値δｉ_０を用いて表す（上式（３８））。推定演算部は、その関係式を用いて第１、第２の中間画素値ｂ_００，ｂ_２０を推定し、推定した第１の中間画素値ｂ_００を用いて受光単位ａ_００の各画素の画素値ｖ_００〜ｖ_１１を求める。

このようにすれば、重畳する受光単位の受光値ａ_１０、ａ_００の差分値δｉ_０に基づいて推定画素値ｖ_００〜ｖ_１１を推定することで、簡素な処理で高解像化を行うことが可能になる。すなわち、重畳シフトされた受光値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、上述の比較例に比べて、２次元フィルタの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。

ここで、受光単位のポジションとは、撮像素子の受光面上での受光単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での受光単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションと位置や座標が一致しないポジションのことである。

また、本実施形態では、図２９（Ｂ）に示すように、第１、第２の中間画素値ｂ_００、ｂ_２０を含む連続する中間画素値｛ｂ_００、ｂ_１０、ｂ_２０｝を中間画素値パターンとする。このとき、上式（３８）に示すように、推定演算部は、中間画素値パターン｛ｂ_００、ｂ_１０、ｂ_２０｝に含まれる中間画素値間の関係式を受光値ａ_００、ａ_１０を用いて表す。そして、図３１に示すように、推定演算部は、関係式で表された中間画素値パターン｛ｂ_００、ｂ_１０、ｂ_２０｝を、受光値ａ_００、ａ_１０で表される受光値パターン｛ａ_００、ａ_１０｝と比較して類似性を評価し、その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ_００〜ｂ_２０を決定する。

このようにすれば、取得受光値または補間受光値である受光値ａ_００，ａ_１０に基づいて、中間画素値ｂ_００〜ｂ_２０を推定できる。また、中間画素値パターン｛ｂ_００、ｂ_１０、ｂ_２０｝と受光値パターン｛ａ_００、ａ_１０｝を比較することで、受光値パターンに類似した高精細な中間画素値パターンを推定できる。

ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、受光値パターンとは、推定処理に用いられる範囲の受光値のデータ列であり、取得受光値と補間受光値が含まれる。

また、上式（４０）に示すように、推定演算部は、中間画素値パターン｛ｂ_００、ｂ_１０、ｂ_２０｝と受光値パターン｛ａ_００、ａ_１０｝の誤差を表す評価関数Ｅｊを求め、評価関数Ｅｊの値が最小となる未知数ｂ_００＝α（初期値）を求め、求めたｂ_００により中間画素値ｂ_００〜ｂ_２０を決定する。

このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。すなわち、上述の比較例（特許文献２）と比べて、初期値設定に適当な画像部分の探索が不要である。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（撮像素子、読み出し制御部、画像出力部等）と共に記載された用語（撮像センサ、重み付け加算重畳シフトサンプリング処理部、高精細静止画データ生成部等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また読み出し制御部、補間処理部、推定演算部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

１００ レンズ、１１０ 撮像センサ、
１２０ 重み付け加算重畳シフトサンプリング処理部、１３０ ノイズ低減処理部、
１４０ 簡易動画像生成部、１５０ モニタ表示部、１６０ 動画データ圧縮部、
１７０ 動画データ記録部、１８０ 動画データ伸張部、１８５ 補間処理部、
１９０ 解像情報復元画像生成部、２００ 色情報復元画像生成部、
２１０ 推定演算部、２２０ 画像合成部、２３０ デモザイキング処理部、
２４０ 基本画質向上処理部、２５０ 動画データ生成部、
２６０ 高精細静止画データ生成部、３００ レンズ、３１０ 撮像センサ、
３２０ 重み付け加算重畳シフトサンプリング処理部、３３０ ノイズ低減処理部、
３４０ フィールド分割部、３５０ デモザイキング処理部、３６０ 画質向上処理部、
３７０ 動画データ生成部、３８０ 動画データ圧縮部、３９０ 動画データ記録部、
４００ 動画データ伸張部、４１０ 動画データ生成部、
４２０ 重畳シフト加算画像抽出部、４３０ 補間処理部、
４４０ 高精細静止画復元処理部、４５０ 画像出力部、
Ｂ 青色、Ｂｋ_００ 推定処理ブロック、ｃ_１〜ｃ_４ 重み付け係数、
Ｅｉ，Ｅｊ 評価関数、Ｇ 緑色、Ｇｒ 第１緑色、Ｇｂ 第２緑色、Ｒ 赤色、
ａ_ｉｊ 受光値、ｂ_ｉｊ 中間画素値、ｂ_００ 未知数、ｆｘ フレーム、
ｖ_ｉｊ 最終推定画素値、ｖ_００ 未知数、ｖ^ｒ _ｉｊ 第１推定画素値、
ｖ^ｃ _ｉｊ 第２推定画素値、ｗ_１〜ｗ_４ 補間係数、δｂ，δｒ 色差成分、
δｉ_０，δｊ_０ 差分値

Claims (18)

1. 受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、
   前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、
   前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
   前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、
   を含み、
   前記読み出し制御部は、
   複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、
   前記補間処理部は、
   前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）の前記第２取得受光値に基づいて、前記第ｐ色配列グループの前記補間受光値を求めることを特徴とする撮像装置。
2. 請求項１において、
   前記補間処理部は、
   第１補間受光値を、前記第１取得受光値に基づいて前記画素の色配列に依らず補間により求め、前記第ｐ色配列グループの前記第２取得受光値に基づく前記第ｐ色配列グループの前記補間受光値を第２補間受光値として求め、
   前記推定演算部は、
   前記第１取得受光値と前記第１補間受光値に基づいて、前記受光単位に含まれる各画素の画素値として第１推定画素値を推定し、
   前記第１取得受光値と前記第２補間受光値に基づいて、前記受光単位に含まれる各画素の画素値として第２推定画素値を推定し、
   前記第１推定画素値と前記第２推定画素値に基づいて、最終的な画素値を求めることを特徴とする撮像装置。
3. 請求項２において、
   前記推定演算部は、
   前記第２推定画素値に基づいて、前記受光単位に属する前記第１推定画素値の加算値を、各色の画素値に配分して前記最終的な画素値を求めることを特徴とする撮像装置。
4. 請求項３において、
   前記読み出し制御部は、
   撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、前記複数色の画素として４画素を含む前記受光単位を設定し、
   前記推定演算部は、
   前記第１〜第３色のうちの第ｒ色（ｒは３以下の自然数）の前記最終的な画素値を求める場合に、前記受光単位に属する前記第ｒ色の前記第２推定画素値と前記受光単位に属する前記第２推定画素値の加算値との比を、前記受光単位に属する前記第１推定画素値の加算値に乗じて、前記第ｒ色の前記最終的な画素値を求めることを特徴とする撮像装置。
5. 請求項２において、
   前記推定演算部は、
   前記第２推定画素値に基づいて各画素の色差を求め、前記色差と前記第１推定画素値に基づいて前記最終的な画素値を求めることを特徴とする撮像装置。
6. 請求項５において、
   前記推定演算部は、
   前記最終的な画素値として第１〜第３色の画素値を求める場合に、前記色差として第１色差と第２色差を求め、前記第１推定画素値と前記第１色差と前記第２色差を、前記第１〜第３色の画素値と行列との積で表し、表した式により前記最終的な画素値を求めることを特徴とする撮像装置。
7. 請求項６において、
   前記行列において前記第１推定画素値に対応する行の成分は、前記推定演算部による推定処理により定まる係数であることを特徴とする撮像装置。
8. 請求項６において、
   前記推定演算部は、
   前記第２推定画素値に対してデモザイキング処理を行って、各画素について第１〜第３色の推定画素値を求め、
   前記推定演算部は、
   前記第１〜第３色の推定画素値と、前記行列において前記第１色差に対応する行の成分との積により前記第１色差を求め、前記第１〜第３色の推定画素値と、前記行列において前記第２色差に対応する行の成分との積により前記第２色差を求めることを特徴とする撮像装置。
9. 請求項１乃至８のいずれかにおいて、
   前記補間処理部は、
   前記第１取得受光値による画像と前記第２取得受光値による画像との間の被写体の動き情報を取得し、
   前記動き情報に基づいて、前記第２フレームにおける前記補間受光値の位置情報を取得し、前記位置情報が表す位置の周辺の前記第ｐ色配列グループの前記第２取得受光値に基づいて前記第ｐ色配列グループの前記補間受光値を求めることを特徴とする撮像装置。
10. 請求項１乃至９のいずれかにおいて、
    前記読み出し制御部は、
    前記受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けすることを特徴とする撮像装置。
11. 受光値を取得する単位である受光単位であって、隣り合う前記受光単位が重畳する前記受光単位を複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、
    前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、
    前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
    前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、
    を含み、
    前記読み出し制御部は、
    第１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、
    第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、
    前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、
    前記補間処理部は、
    前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の前記第２取得受光値に基づいて、前記第ｒ色の前記補間受光値を補間により求めることを特徴とする撮像装置。
12. 請求項１１において、
    前記読み出し制御部は、
    撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、前記各色の受光単位として４画素を含む前記受光単位を設定し、前記第ｒ色の受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けすることを特徴とする撮像装置。
13. 請求項１乃至１２のいずれかにおいて、
    前記読み出し制御部は、
    前記受光単位に含まれる画素の画素値を重み付け加算して読み出し、前記取得受光値を取得し、
    前記補間処理部は、前記重み付け加算により得られた前記取得受光値に基づいて、前記補間受光値を補間により求めることを特徴とする撮像装置。
14. 請求項１乃至１３のいずれかにおいて、
    第１のポジションに設定された前記受光単位と、前記第１のポジションの後の第２のポジションに設定された前記受光単位が重畳する場合に、
    前記推定演算部は、
    前記第１のポジションの受光単位の受光値と、前記第２のポジションの受光単位の受光値の差分値を求め、
    前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
    前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めることを特徴とする撮像装置。
15. 請求項１４において、
    前記推定演算部は、
    前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を前記受光単位の受光値を用いて表し、
    中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、
    前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンの中間画素値の値を決定することを特徴とする撮像装置。
16. 請求項１５において、
    前記推定演算部は、
    中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンの中間画素値の値を決定することを特徴とする撮像装置。
17. 受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、
    前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、
    前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、
    前記推定演算部により推定された画素値に基づく画像を出力する場合に、
    複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、
    前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）の前記第２取得受光値に基づいて、前記第ｐ色配列グループの前記補間受光値を求めることを特徴とする撮像方法。
18. 受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、
    前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、
    前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、
    前記推定演算部により推定された画素値に基づく画像を出力する場合に、
    第１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、
    第１フレームにおいて、前記第１受光単位群の受光値を第１取得受光値として取得し、
    前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を第２取得受光値として取得し、
    前記第１フレームにおける前記第２受光単位群の受光値を前記補間受光値として求める場合に、前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の前記第２取得受光値に基づいて、前記第ｒ色の前記補間受光値を補間により求めることを特徴とする撮像方法。