JP2012099870A - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP2012099870A
JP2012099870A JP2010243132A JP2010243132A JP2012099870A JP 2012099870 A JP2012099870 A JP 2012099870A JP 2010243132 A JP2010243132 A JP 2010243132A JP 2010243132 A JP2010243132 A JP 2010243132A JP 2012099870 A JP2012099870 A JP 2012099870A
Authority
JP
Japan
Prior art keywords
value
light
light reception
unit
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010243132A
Other languages
English (en)
Inventor
Shinichi Imaide
愼一 今出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010243132A priority Critical patent/JP2012099870A/ja
Publication of JP2012099870A publication Critical patent/JP2012099870A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び撮像方法等を提供すること。
【解決手段】撮像装置は、読み出し制御部と、補間処理部と、推定演算部と、画像出力部を含む。読み出し制御部は、複数色の画素を含む受光単位ａｉｊを設定し、受光単位ａｉｊを第１受光単位群（太実線四角で表す）と第２受光単位群（点線四角で表す）にグループ分けし、第１受光単位群の受光値を取得受光値として取得する。補間処理部は、第１〜第ｋ色配列グループに受光単位をグループ分けし、第ｐ色配列グループのうちの第１受光単位群の取得受光値に基づいて、第ｐ色配列グループのうちの第２受光単位群の補間受光値を補間により求める。推定演算部は、取得受光値と補間受光値に基づいて、各画素ｖｉｊの画素値を推定する。画像出力部は、推定された画素値に基づく画像を出力する。
【選択図】 図４

Description

本発明は、撮像装置及び撮像方法等に関する。
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。
特開２００９−１２４６２１号公報 特開２００８−２４３０３７号公報
しかしながら、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザがシャッターチャンスに気付いたときには既に決定的瞬間を逃していることが多いという課題がある。
本発明者は、この決定的瞬間の撮影を実現するために、低解像動画から任意タイミングの高解像静止画を生成することを考えている。例えば、特許文献１、２には、画素シフトにより取得された低解像画像から高解像画像を合成する手法が開示されている。しかしながら、この手法では、画素シフトによる撮像が必要となるためカメラの構成が複雑となってしまう。また、高解像化処理の負荷が大きいことや、画素値の推定が困難な場合があるという課題がある。
本発明の幾つかの態様によれば、簡素な処理で低解像動画から高解像画像を取得できる撮像装置及び撮像方法等を提供できる。
本発明の一態様は、受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、を含み、前記読み出し制御部は、複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、前記第１受光単位群の受光値を前記取得受光値として取得し、前記補間処理部は、前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）のうちの前記第１受光単位群の前記取得受光値に基づいて、前記第ｐ色配列グループのうちの前記第２受光単位群の前記補間受光値を補間により求めることを特徴とする撮像装置に関係する。
本発明の一態様によれば、複数色の画素を含む受光単位が第１受光単位群と第２受光単位群にグループ分けされ、その第１受光単位群の受光値が取得受光値として取得される。そして、第１〜第ｋ色配列グループに受光単位がグループ分けされ、第ｐ色配列グループの第１受光単位群の取得受光値に基づいて、その第ｐ色配列グループの第２受光単位群の補間受光値が補間により求められる。
これにより、取得受光値に基づく補間により補間受光値を求め、その取得受光値と補間受光値から簡素な処理で高解像画像を推定することが可能になる。また、第１受光単位群の受光値を取得することで、撮像素子から読み出すデータ量を減らしてフレームレートを向上することが可能になる。
また、本発明の一態様では、前記読み出し制御部は、前記第ｐ色配列グループに属する前記受光単位のうちの半数の前記受光単位の受光値を、前記第１受光単位群の前記取得受光値として取得してもよい。
このようにすれば、第ｐ色配列グループのうちの半数の受光単位の受光値を取得受光値として取得できるため、全画素読み出しの場合に比べて読み出すデータ量を半分にすることが可能になる。
また、本発明の一態様では、前記読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、前記複数色の画素として４画素を含む前記受光単位を設定し、前記補間処理部は、前記第１〜第ｋ色配列グループとして、前記４画素の色配列が各色配列グループで異なる第１〜第４色配列グループに前記受光単位をグループ分けし、前記読み出し制御部は、前記第１〜第４色配列グループの各色配列グループにおいて、前記受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けしてもよい。
このようにすれば、ベイヤ配列において受光単位を第１〜第４色配列グループにグループ分けできる。また、各色配列グループにおいて受光単位を市松状にグループ分けすることで、第ｐ色配列グループの半数の受光単位を第１受光単位群にグループ分けできる。
また、本発明の一態様では、前記読み出し制御部は、第１フレームにおいて、前記第１受光単位群の受光値を前記取得受光値として取得し、前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を前記取得受光値として取得し、前記補間処理部は、前記第１フレームにおいて、前記第１受光単位群の中の前記第ｐ色配列グループの前記取得受光値に基づいて、前記第２受光単位群の中の前記第ｐ色配列グループの受光値を前記補間受光値として補間により求め、前記第２フレームにおいて、前記第２受光単位群の中の前記第ｐ色配列グループの前記取得受光値に基づいて、前記第１受光単位群の中の前記第ｐ色配列グループの受光値を前記補間受光値として補間により求めてもよい。
このようにすれば、第ｐ色配列グループの取得受光値に基づいて第ｐ色配列グループの補間受光値を補間により求めることができる。そして、第１フレームにおいて、第１受光単位群の取得受光値に基づいて第２受光単位群の補間受光値を求め、第２フレームにおいて、第２受光単位群の取得受光値に基づいて第１受光単位群の補間受光値を求めることができる。
また、本発明の他の態様は、受光値を取得する単位である受光単位であって、隣り合う前記受光単位が重畳する前記受光単位を複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、を含み、前記読み出し制御部は、第１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記各色の前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、前記第１受光単位群の受光値を前記取得受光値として取得し、前記補間処理部は、前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の受光単位の中の前記第１受光単位群の前記取得受光値に基づいて、前記第ｒ色の受光単位の中の前記第２受光単位群の前記補間受光値を補間により求める撮像装置に関係する。
本発明の他の態様によれば、第１〜第ｑ色の各色毎の受光単位が第１受光単位群と第２受光単位群にグループ分けされ、その第１受光単位群の受光値が取得受光値として取得される。そして、第ｒ色の受光単位の中の第１受光単位群の取得受光値に基づいて、その第ｒ色の受光単位の中の第２受光単位群の受光値が補間受光値として補間により求められる。
これにより、取得受光値に基づく補間により補間受光値を求め、その取得受光値と補間受光値から簡素な処理で高解像画像を推定することが可能になる。また、第１受光単位群の受光値を取得することで、撮像素子から読み出すデータ量を減らしてフレームレートを向上することが可能になる。
また、本発明の他の態様では、前記読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、第１〜第３色（ｑ＝３）のうちの前記第ｒ色の受光単位として４画素を含む前記受光単位を設定し、前記第ｒ色の受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けしてもよい。
このようにすれば、ベイヤ配列において第ｒ色の受光単位として４画素を含む受光単位を設定できる。また、第ｒ色の受光単位を市松状にグループ分けすることで、第ｒ色の受光単位の半数を第１受光単位群にグループ分けできる。
また、本発明の一態様または他の態様では、前記読み出し制御部は、前記受光単位に含まれる画素の画素値を重み付け加算して読み出し、前記取得受光値を取得し、前記補間処理部は、前記重み付け加算により得られた前記取得受光値に基づいて、前記補間受光値を補間により求めてもよい。
このようにすれば、画素値を重み付け加算することで、重み付け無しの場合に比べて高周波成分を多く含む高解像フレーム画像を推定することが可能になる。
また、本発明の一態様または他の態様では、第１のポジションに設定された前記受光単位と、前記第１のポジションからシフトされた第２のポジションに設定された前記受光単位が重畳する場合に、前記推定演算部は、前記第１のポジションの受光単位の受光値と、前記第２のポジションの受光単位の受光値の差分値を求め、前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めてもよい。
このようにすれば、第１の受光単位の受光値と第２の受光単位の受光値の差分値に基づいて画素値を推定できる。これにより、簡素な処理で画素値を推定することができる。具体的には、第１、第２の中間画素値の関係式を差分値により表し、その関係式に基づいて第１、第２の中間画素値を推定し、その第１の中間画素値に基づいて画素値を推定できる。
また、本発明の一態様または他の態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を前記受光単位の受光値を用いて表し、中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンの中間画素値の値を決定してもよい。
このようにすれば、中間画素値パターンと受光値パターンの類似性が評価され、その類似性が最も高くなるように中間画素値パターンに含まれる中間画素値が決定されることで、中間画素値間の関係式に基づいて中間画素値を決定できる。
また、本発明の一態様または他の態様では、前記推定演算部は、中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンの中間画素値の値を決定してもよい。
このようにすれば、評価関数を求められることで、中間画素値パターンと受光値パターンの類似性を評価できる。また、評価関数の値が最小となるように中間画素値が決定されることで、類似性が最も高くなるように中間画素値を決定できる。
また、本発明のさらに他の態様は、受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、前記推定演算部により推定された画素値に基づく画像を出力する画像出力部する場合に、複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、前記第１受光単位群の受光値を前記取得受光値として取得し、前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）のうちの前記第１受光単位群の前記取得受光値に基づいて、前記第ｐ色配列グループのうちの前記第２受光単位群の前記補間受光値を補間により求める撮像方法に関係する。
また、本発明のさらに他の態様は、受光値を取得する単位である受光単位であって、隣り合う前記受光単位が重畳する前記受光単位を複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、前記推定演算部により推定された画素値に基づく画像を出力する場合に、第１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記各色の前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、前記第１受光単位群の受光値を前記取得受光値として取得し、前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の受光単位の中の前記第１受光単位群の前記取得受光値に基づいて、前記第ｒ色の受光単位の中の前記第２受光単位群の前記補間受光値を補間により求める撮像方法に関係する。
撮像素子の画素配列の例。 図２（Ａ）、図２（Ｂ）は、取得受光値の取得手法についての説明図である。 受光単位内の画素の色配列についての説明図。 色配列パターン毎の補間処理についての説明図。 図５（Ａ）、図５（Ｂ）は、取得受光値の第２の取得手法についての説明図である。 Ｇｒ，Ｇｂにおける補間手法についての説明図。 Ｇｒ，Ｇｂにおける補間手法についての説明図。 低解像動画のＧ成分の第１の生成手法についての説明図。 低解像動画のＧ成分の第２の生成手法についての説明図。 図１０（Ａ）は、Ｒにおける補間手法についての説明図である。図１０（Ｂ）は、低解像動画のＲ成分の生成手法についての説明図である。 図１１（Ａ）は、Ｂにおける補間手法についての説明図である。図１１（Ｂ）は、低解像動画のＢ成分の生成手法についての説明図である。 撮像装置の構成例。 図１３（Ａ）は、推定処理ブロックについての説明図である。図１３（Ｂ）は、受光単位についての説明図である。 重み付け加算読み出しについての説明図。 図１５（Ａ）、図１５（Ｂ）は、中間画素値と推定画素値についての説明図である。 中間画素値の推定手法についての説明図。 中間画素値の推定手法についての説明図。 中間画素値の推定手法についての説明図。 推定画素値の推定手法についての説明図。 推定画素値の推定手法についての説明図。 推定画素値の推定手法についての説明図。
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
１．比較例
まず、本実施形態の比較例について説明する。デジタルカメラやビデオカメラの製品には、静止画撮影を主とするデジタルカメラに動画撮影機能をもたせたものや、動画撮影を主とするビデオカメラに静止画撮影機能をもたせたものがある。これらのカメラでは、静止画撮影モードと動画撮影モードを切り換えて使用するものが多い。中には、動画撮影並の高速フレームレートにより高精細静止画を撮影可能とするものがあり、短時間の高速連写が可能である。このような機器を使えば、静止画と動画の撮影を一つの機器でまかなえるという利便さがある。
しかしながら、これらの手法では、多くの人が求めるシャッターチャンスを逃さず高品位な静止画を得ることが難しいという課題がある。例えば、動画撮影中に高品位静止画を撮影するモードに瞬時に切り替える方法では、動画が途切れてしまったり、ユーザが気づいたときには既に決定的瞬間を逃してしまっているという課題がある。このように、従来の手法では撮影者のテクニックがかなり要求されるため、例えば動画を撮りつつ、その中で任意の画像を高精細画像として生成できたり、あるいはラフに撮像しておいて、その中から解像度を落とさずに高精細画像を抽出し望みの構図が選べるたりすることを可能とする方法が求められている。
このシャッターチャンスを逃さないという課題を解決するには、動画撮影により全てのシーンをもれなく撮影しておいて、その中から自由に決定的瞬間を高品位な静止画として得る手法が考えられる。この手法を実現するためには、高精細画像を高速フレームレートにより撮影可能とすることが必要である。
しかしながら、この手法の実現は容易ではない。例えば、１２００万画素の画像を６０ｆｐｓ（ｆｐｓ：フレーム／秒）で連続して撮影するためには、超高速撮像可能な撮像素子、撮像データを超高速処理する処理回路、超高速データ圧縮処理機能、莫大なデータを記録する記録手段が必要になる。このためには、複数撮像素子の使用、並列処理、大規模メモリ、高能力放熱機構などが必要になるが、小型化や低コストが求められる民生用機器においては非現実的である。動画撮影のハイビジョン（２００万画素）程度の解像度の高品位でない静止画であれば実現可能であるが、ハイビジョン程度の解像度では静止画としては不十分である。
また、高フレームレートの動画撮影を行う手法として、多画素で高精細画像が撮影できる高画素イメージセンサを用い、画素の間引き読み出しあるいは隣接画素の加算読出しによって低解像画像化し、１回の読み出しデータを低減することにより実現する手法が考えられる。しかしながら、この手法では、高精細画像を高フレームレートにより撮影することができない。
この課題を解決するためには、高フレームレートで撮影された低解像画像から高解像画像を得る必要がある。低解像画像から高解像画像を得る手法として、例えば、画素シフトにより撮影した低解像画像に対して所謂超解像処理を行い、高解像画像を生成する手法が考えられる。
しかしながら、この手法では、センサを機械的にシフトさせたり、加算読み出しをシフトさせながら行ったりする必要があるため、カメラの構成が複雑になってしまう。また、超解像処理が必要なため処理負荷が大きくなってしまう。
例えば、画素シフトによる超解像処理として、加算読み出しを用いた手法が考えられる。すなわち、低解像画像を順次位置ずらししながら読み出した後、それら複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。そして、仮定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように高精細画像を変形させ、高精細画像を推定する。この超解像処理として、ＭＬ（Maximum-Likelyhood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Covex Set）法、ＩＢＰ（Iterative Back Prohection）法などが知られている。
この超解像処理を用いた手法として、例えば上述の特許文献１に開示された手法がある。この手法では、動画撮影時に画素シフトさせた低解像画像を時系列的に順次撮影し、それらの複数低解像画像を合成することにより高解像画像を仮定する。そして、この仮定した高解像画像に対して上記の超解像処理を施し、尤度の高い高解像画像を推定する。
しかしながら、これらの手法では、２次元フィルタを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理を用いている。そのため、非常に処理の規模が大きくなったり、処理時間が増大したりしてしまい、処理能力やコストの制限がある機器への適用は困難であるという課題がある。例えば、デジタルカメラのような小型携帯撮像装置に適用すると、処理回路の規模が大きくなり、消費電力の増大、大量の熱の発生、コストの大幅アップなどの課題が生じてしまう。
また、上述の特許文献２には、画素シフトさせた複数枚の低解像画像を使って高解像画像を生成する手法が開示されている。この手法では、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する。この画素値の推定では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
しかしながら、この手法では、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。この手法では、初期値を設定するために、副画素の画素値変化が小さく、ほぼそれらの平均値とそれらをカバーする低解像画素値が等しくなる部分を画像から見つけ出している。そのため、初期値の設定に適当な部分が撮影画像から見つけられないと、初期値の推定が困難になってしまう。また、初期値の設定に適当な部分を探索する処理が必要になってしまう。
２．受光値の補間手法
そこで、本実施形態では、撮像素子から加算読み出しにより受光値を取得し、その取得された受光値に基づいて、重畳シフトされた受光単位の受光値を補間により求める。そして、取得された受光値と補間により求めた受光値に基づいて、低解像動画中の任意タイミングの高解像フレーム画像を簡素な推定処理により求める。
図１３（Ｂ）で後述のように、重畳シフトされた受光単位は、複数画素毎に設定された受光単位ａ００〜ａ（ｍ−１）（ｎ−１）であり、隣り合う受光単位が画素を共有することで重畳している。以下では、図１〜図４を用いて、この受光単位の受光値を補間により取得する手法について説明する。本実施形態では、この補間により求めた受光単位の受光値から画素値を推定するが、その推定手法については図１３（Ａ）〜図２１を用いて後述する。
なお、以下では、受光単位（受光値取得単位）に含まれる画素の画素値を加算読み出しした値を受光値（画素値）と呼ぶ。また、撮像により取得された受光値を取得受光値と呼び、補間処理により求められた受光値を補間受光値と呼ぶ。また、以下では、撮像素子がベイヤ（Bayer）配列の撮像素子であり、受光値が４画素加算値である場合を例に説明するが、本実施形態はこれに限定されない。
図１に、撮像素子の画素配列の例を示す。図１に示すように、撮像素子には、赤色Ｒ、青色Ｂ、第１緑色Ｇｒ，第２緑色Ｇｂの画素がベイヤ配列で配列される。図１〜図４においては、画素の色配列を分かりやすくするために画素Ｇｒにのみハッチングを付し、Ｒ，Ｇｒ，Ｇｂ，Ｂの文字表記を適宜省略する。また、画素配列の水平方向（水平走査方向）の座標をｉで表し、垂直方向（垂直走査方向）の座標をｊで表す。また、画像処理における座標も適宜（ｉ，ｊ）で表す。
図２（Ａ）、図２（Ｂ）を用いて、取得受光値の取得手法について説明する。図２（Ａ）に示すように、受光値ａｉｊを取得する受光単位（加算画素）を四角で表し、受光値ａｉｊは、その四角の頂点に位置する画素により取得される。図２（Ａ）においてハッチングされた画素は、上述のように画素Ｇｒを表す。
図２（Ａ）に示すように、フレームｆｘにおいて、第１受光単位群の受光値を取得し、次のフレームｆｘ＋１において、第２受光単位群の受光値を取得する。この第１受光単位群と第２受光単位群は、それぞれ、全ての受光単位のうちの半数の受光単位であるため、各フレームで読み出されるデータ量は、全ての画素値ｖｉｊを読み出した場合の半分である。フレームｆｘ＋２以降は、第１受光単位群の受光値と第２受光単位群の受光値を交互に取得する。
ここで、フレームとは、例えば撮像素子により取得受光値が取得される撮像動作のタイミングや、１回の撮像動作により取得された取得受光値が画像処理において処理されるタイミングである。あるいは、取得受光値や補間受光値による１枚の低解像フレーム画像や、推定処理により得られた１枚の高解像フレーム画像も適宜フレームと呼ぶ。
図２（Ｂ）に、フレームｆｘにおける取得受光値と補間受光値についての説明図を示す。図２（Ｂ）では、加算読み出しにより受光値が取得される受光単位を太実線の四角（検出４画素加算）で表し、補間により受光値が取得される受光単位を点線の四角（補間４画素加算）で表す。図２（Ｂ）に示すように、取得受光値と補間受光値は、２×２の受光単位毎に水平方向及び垂直方向に交互に配列される。
図３に、受光単位内の画素の色配列についての説明図を示す。図３に示すように、受光単位内の画素の色配列（配色）は、４つの色配列パターンＡ〜Ｄに分類される。例えば、受光単位ａ００，ａ１０，ａ１１，ａ０１は、それぞれ色配列パターンＡ，Ｂ，Ｃ，Ｄの受光単位である。
図１４等で後述するように、画素値の加算読み出しにおいて、画素値を重み付けした重み付け加算が行われる。図３では、色配列パターンＡ〜Ｄの画素の横に付した数値１，１／２，１／４が、その重み付け係数を表している。すなわち、原画像の画素値をｖｉｊとすれば、重み付けされた取得受光値ａｉｊは、下式（１）により表される。
ａｉｊ＝１・ｖｉｊ＋（１／２）ｖ（ｉ＋１）ｊ＋
（１／２）ｖｉ（ｊ＋１）＋（１／４）ｖ（ｉ＋１）（ｊ＋１）
・・・ （１）
このような重み付け加算された取得受光値により補間を行う場合、色配列に対して同様な重み付けがされている取得受光値により補間を行わないと、画素値ｖｉｊの推定処理おいて色情報が失われてしまう。例えば、緑一色の画像を取得したと仮定すると、色配列パターンＡ，Ｂの取得受光値は、１．２５，１と異なった値となる。このとき、補間受光値も、色配列パターンＡ，Ｂで１．２５，１となることが理想的である。しかしながら、色配列パターンを混在させて補間を行うと、その理想的な補間受光値とは異なる補間受光値となってしまう。そのため、本実施形態では、色配列パターン毎に補間処理を行い、色情報が正確な補間受光値を取得する。
図４に、色配列パターン毎の補間処理についての説明図を示す。なお本明細書では、色配列パターンＡ〜Ｄで分類された受光単位のグループを、それぞれ第１〜第４色配列グループと呼ぶ。
図４のＥ１に示すように、第１色配列グループの受光単位は、太実線四角で表す第１受光単位群と点線四角で表す第２受光単位群に市松状にグループ分けされる。図４では、第１受光単位群の受光値は、撮像により取得される取得受光値であり、第２受光単位群の受光値は、補間により求められる補間受光値である。
Ｅ２に示すように、補間受光値は、その周囲の第１色配列グループの取得受光値に基づいて補間により求められる。具体的には、補間受光値の水平または垂直の近傍に存在する取得受光値を用いて補間処理を行う。すなわち、補間係数を｛ｗ１，ｗ２，ｗ３，ｗ４｝とすると、補間受光値は下式（２）により求められる。例えば、この補間係数は、補間精度が最も高くなるよう予め設定されたものである。なお、補間手法はこれに限定されず、例えばバイリニア法やバイキュービック法等を用いてもよく、最適な補間係数を独自に設定するものであってもよい。
ａｉｊ＝ｗ１・ａ（ｉ−２）ｊ＋ｗ２・ａ２（ｊ−２）＋
ｗ３・ａ（ｉ＋２）ｊ＋ｗ４・ａｉ（ｊ＋２） ・・・ （２）
第２〜第４色配列グループについても同様に、第１受光単位群と第２受光単位群に市松状にグループ分けされる。そして、第２〜第４色配列グループの補間受光値は、それぞれ第２〜第４色配列グループの取得受光値に基づいて補間により求められる。このように、色配列グループ毎に補間処理が行われる。
なお上記では、第１受光単位群により受光値を取得して補間処理を行う場合を例に説明したが、第２受光単位群により受光値を取得して補間処理を行う場合についても処理は同様である。
さて、上述のように、静止画撮影モードと動画撮影モードを切り替える手法では、ユーザが決定的瞬間をとらえることが難しいという課題がある。また、通常の全画素読み出しでは、フレームレートを上げることが困難なため、高解像度と高フレームレートを両立することが難しいという課題がある。
この点、本実施形態の撮像装置は、読み出し制御部（例えば図１２で後述の４画素加算サンプリング処理部１１０）、補間処理部（シフト重畳画素加算値生成部２２０）、推定演算部（画素値復元推定演算部２４０）、画像出力部（静止画データ出力部２５０）を含む。
図２（Ｂ）に示すように、読み出し制御部は、受光単位を複数の画素毎に設定し、その受光単位に含まれる画素の画素値を加算読み出しして受光値（ａｉｊ等の太実線四角で表す受光値）を取得する。受光単位は、受光値を取得する単位であり、隣り合う受光単位は重畳している。補間処理部は、読み出し制御部により取得された受光値である取得受光値（ａｉｊ等）に基づいて、受光値が取得されない受光単位の受光値を補間により求めて補間受光値（ａｉ（ｊ−１）等の点線四角で表す受光値）を取得する。推定演算部は、取得受光値と補間受光値に基づいて、受光単位に含まれる各画素の画素値ｖｉｊを推定する。画像出力部は、推定演算部により推定された画素値に基づく画像を出力する。
この場合に、読み出し制御部は、複数色（Ｇｒ，Ｇｂ，Ｒ，Ｂ）の画素を含む受光単位を設定し、その受光単位を第１受光単位群（ａｉｊ等）と第２受光単位群（ａｉ（ｊ−１）等）にグループ分けし、第１受光単位群の受光値を取得受光値として取得する。図３に示すように、補間処理部は、複数色の画素の色配列（色配列パターンＡ〜Ｄ）が各色配列グループで異なる第１〜第ｋ色配列グループ（第１〜第ｋの受光単位グループ。例えばｋ＝４）に受光単位をグループ分けする。図４に示すように、補間処理部は、第１〜第ｋ色配列グループの中の第ｐ色配列グループ（例えばｐ＝１）のうちの第１受光単位群の取得受光値（Ｅ１において太実線四角で表す受光値）に基づいて、第ｐ色配列グループのうちの第２受光単位群の補間受光値（Ｅ１において点線四角で表す受光値）を補間により求める。
これにより、取得受光値から簡素な処理で高解像画像を推定することが可能になる。具体的には、受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１受光単位群の受光値を取得することで、各フレームにおいて一部の受光値だけを読み出すことができる。そのため、撮像素子から読み出すデータ量を減らし、フレームレートを向上できる。また、取得受光値に基づいて補間受光値を求め、その重畳した受光単位の受光値（図１３（Ｂ）に示す受光値）に対して例えば図１３（Ａ）〜図２１で後述の推定処理を行うことで、撮像したフレームの中の任意タイミングの高解像フレーム画像を取得できる。そのため、決定的瞬間の高解像フレーム画像を事後的に取得でき、高解像度と高フレームレートを両立できる。
また、本実施形態によれば、第１〜第ｋ色配列グループに受光単位をグループ分けし、第ｐ色配列グループの取得受光値に基づいて、第ｐ色配列グループの補間受光値を補間により求める。これにより、補間受光値の色配列パターンと同じ色配列パターンの取得受光値により補間が行われる。図３で上述のように、色配列パターンを無視して補間を行うと推定画素値の色情報が劣化するが、本実施形態では、色情報を保存することが可能である。
また、本実施形態によれば、画素の色に依らず受光単位を設定するため、図６〜図１１で後述する同色画素に受光単位を設定する場合と比べて、受光単位を小さくできる。これにより、受光値がより高周波数の成分を含むことができるため、推定画像の解像度を向上可能である。
また、本実施形態によれば、１フレームにおいて取得された取得受光値から高解像フレーム画像を推定できるため、被写体の動きに対して撮像画像のブレを抑制可能である。すなわち、複数フレームに亘って取得した受光値を用いて推定を行う場合に比べて、ブレを抑制できる。
ここで、受光単位が重畳するとは、隣接する受光単位と受光単位が重なった領域を有することである。例えば、後述する図１５（Ａ）に示すように、受光単位ａ００（ｖ００，ｖ１０，ｖ０１，ｖ１１）と受光単位ａ１０（ｖ１０，ｖ２０，ｖ１１，ｖ２１）が、２つの推定画素ｖ１０、ｖ１１を共有することである。また、受光単位群の受光値とは、受光単位群に属する受光単位の受光値のことである。また、第ｐ色配列グループのうちの受光単位群とは、第ｐ色配列グループに属する受光単位のうちの受光単位群に属する受光単位のことである。
また、図４に示すように本実施形態では、読み出し制御部は、第ｐ色配列グループに属する受光単位のうちの半数の受光単位の受光値を、第１受光単位群の取得受光値として取得する。
このようにすれば、撮像素子から全画素値を読み出した場合に比べてデータ量を半分にすることができるため、フレームレートを２倍にすることが可能になる。これにより、フレームレートを向上するとともに、事後的に高解像フレーム画像を取得することも可能になる。
また、図３に示すように本実施形態では、読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、複数色の画素として４画素を含む受光単位を設定する。図４に示すように、補間処理部は、第１〜第ｋ色配列グループとして、４画素の色配列が各色配列グループで異なる第１〜第４色配列グループに受光単位をグループ分けする。読み出し制御部は、その第１〜第４色配列グループの各色配列グループにおいて、受光単位を市松（checkered pattern）状にグループ分けして第１受光単位群と第２受光単位群にグループ分けする。
このようにすれば、ベイヤ配列において本実施形態の補間手法を実現可能である。また、各色配列グループにおいて受光単位を市松状にグループ分けすることで、第ｐ色配列グループの半数の受光単位を第１受光単位群にグループ分けできる。これにより、第ｐ色配列グループの半数の受光単位の受光値を、取得受光値として取得できる。
ここで、市松状とは、格子状の配置の一種であり、２種の正方形または長方形を交互に配列することである。例えば、図４のＥ１に示すように、第１色配列グループにおいて、取得受光値と補間受光値に対応する２種の受光単位を水平方向と垂直方向に交互に配列することである。
また、図２に示すように本実施形態では、読み出し制御部は、第１フレームｆｘにおいて、第１受光単位群の受光値を取得受光値として取得する。第１フレームｆｘの後の第２フレームｆｘ＋１において、第２受光単位群の受光値を取得受光値として取得する。
そして図４に示すように、第１フレームｆｘにおいて、補間処理部は、第１受光単位群の中の第ｐ色配列グループ（例えばｉ＝１）の取得受光値（Ｅ１に示す太実線四角）に基づいて、第２受光単位群の中の第ｐ色配列グループの受光値を補間受光値（点線四角）として補間により求める。一方、第２フレームｆｘ＋１において、補間処理部は、第２受光単位群の中の第ｐ色配列グループの取得受光値（点線四角）に基づいて、第１受光単位群の中の第ｐ色配列グループの受光値を補間受光値（太実線四角）として補間により求める。
このようにすれば、第１受光単位群の受光値と第２受光単位群の受光値を交互に取得して補間することができる。これにより、補間される受光値の位置が各フレームで移動するため、動画として見た場合に平均化されて画質を向上できる可能性がある。
また、図３に示すように本実施形態では、読み出し制御部は、受光単位に含まれる画素の画素値を重み付け加算して（例えば係数１，１／２，１／４）読み出して、取得受光値を取得する。補間処理部は、その重み付け加算により得られた取得受光値に基づいて、補間受光値を補間により求める。
このようにすれば、画素値を重み付け加算することで、重み付け無しの場合に比べて高周波成分を多く含む高解像フレーム画像を推定することが可能になる。すなわち、重み付け係数をコンボリューションの窓関数と考えれば、重み付け無しの窓関数の周波数帯域よりも重み付け加算の場合の窓関数の周波数帯域の方が広い。そのため、より広帯域の情報を受光値が含むことができ、その受光値を用いた推定処理において被写体の持つ高周波成分の再現性を向上できる。
また、図３等で上述のように、重み付け加算した場合には、色配列パターンを無視した補間処理を行うと色情報の劣化が顕著に表れる。この点本実施形態では、同じ色配列パターンの受光単位（同じ色配列グループ）で補間処理を行うため、色情報の保存が可能である。
３．受光値の第２の補間手法
図５（Ａ）〜図１１を用いて、同色の画素値を加算読み出しして取得した取得受光値に基づいて補間処理を行う第２の補間手法について説明する。なお、図５（Ａ）〜図１１では、上記とは異なり、受光値の取得において加算読み出しの対象となる画素をハッチングにより表す。
図５（Ａ）、図５（Ｂ）を用いて、取得受光値の第２の取得手法について説明する。図５（Ａ）に示すように、受光値ａｉｊを取得する受光単位（加算画素）を四角で表し、受光値ａｉｊは、その四角の頂点に位置する画素により取得される。画素の色Ｒ，Ｇｒ，Ｇｂ，Ｂはベイヤ配列で配列され、受光値ａｉｊは同色の画素により取得される。図５（Ａ）に示すように、各フレームにおいて、同じ受光単位群の受光値を取得する。
図５（Ｂ）に示すように、受光単位は、第１受光単位群と第２受光単位群に市松状に分類されている。図５（Ｂ）では、第１受光単位群を太実線の四角で表し、第２受光単位群を点線の四角で表す。第１受光単位群の受光値は、撮像により取得される取得受光値（４画素加算の検出値）であり、第２受光単位群の受光値は、補間により求められる補間受光値（４画素加算の補間値）である。取得受光値と補間受光値は、１×１の受光単位毎に水平方向及び垂直方向に交互に配列される。第１受光単位群は、全ての受光単位のうちの半数の受光単位であるため、各フレームで読み出されるデータ量は、全ての画素値ｖｉｊを読み出した場合の半分である。
次に、図６〜図７を用いて、Ｇｒ，Ｇｂにおける補間手法について説明する。図６のＦ１に、Ｇｒの取得受光値と補間受光値を示す。Ｆ１において、ハッチングされた画素はＧｒの画素である。Ｆ２に示すように、Ｇｒの取得受光値は市松状である。Ｆ３に、Ｇｂの取得受光値と補間受光値を示す。Ｆ３において、ハッチングされた画素はＧｂの画素である。Ｆ４に示すように、Ｇｂの取得受光値は市松状である。これらＧｒ，Ｇｂの取得受光値を記録する際には、Ｆ５に示す配列のデータとして記録する。
図７のＦ６に示すように、この記録データに基づいて、Ｇｒ，Ｇｂの補間受光値を補間により求める。具体的には、Ｆ７に示すように、補間受光値をａｉｊとすると、そのａｉｊの周辺の取得受光値により補間を行う。より具体的には、下式（３）により補間受光値ａｉｊを求める。すなわち、ａｉｊがＧｒの補間受光値である場合には、ａｉｊの水平方向及び垂直方向に隣接するＧｒの取得受光値とａｉｊの斜め方向に隣接するＧｂの取得受光値を用いて補間を行う。ａｉｊがＧｂの補間受光値である場合には、ａｉｊの水平方向及び垂直方向に隣接するＧｂの取得受光値とａｉｊの斜め方向に隣接するＧｒの取得受光値を用いて補間を行う。
ａｉｊ＝（ｗｇ１・ａ（ｉ−２）ｊ＋ｗｇ２・ａｉ（ｊ−２）＋
ｗｇ３・ａ（ｉ＋２）ｊ＋ｗｇ４・ａｉ（ｊ＋２））＋
（ｗｇ５・ａ（ｉ＋１）（ｊ−１）＋ｗｇ６・ａ（ｉ−１）（ｊ＋１））
・・・（３）
ここで、上式（３）においてｗｇ１〜ｗｇ６は補間係数である。この補間係数ｗｇ１〜ｗｇ６は、例えば予め補間精度が最適になるように決められたものである。あるいは、補間係数ｗｇ１〜ｗｇ６は、既存のベイヤ補間手法や、画素欠陥補正手法などの考え方を用いて設定してもよい。あるいは、補間受光値ａｉｊを、取得受光値を用いた２次元ローパスフィルタリングにより求めてもよい。
さて、取得受光値と補間受光値を用いて任意タイミングの高解像フレーム画像を推定する手法については後述するが、補間前の取得受光値のみから低解像動画を取得したい場合がある。例えば、撮影中の動画を、推定処理を介さず低解像のまま表示部に表示する場合や、高解像フレーム画像を取得するタイミングを指定するために低解像動画を表示する場合である。図８〜図９では、低解像動画の緑色Ｇ成分（Ｇｒ，Ｇｂ）を生成する手法について説明する。
図８に、第１の生成手法についての説明図を示す。図８のＧ１に示すように、Ｇｒ，Ｇｂの取得受光値の記録データから低解像動画のＧ成分を生成する。Ｇ２に示すように、記録データの取得受光値から間引きをし、取得受光値の配列を変更する。ａ００，ａ４０等はＧｒの取得受光値であり、ａ１１，ａ５１等はＧｂの取得受光値である。Ｇ３に示すように、この取得受光値をベイヤ補間し、横縞のハッチングで表す補間値を求める。この補間後のデータを低解像動画のＧ画素値として用いる。
図９に、第２の生成手法についての説明図を示す。この手法は、適正重心位置の取得受光値を用いて低解像動画を生成する手法である。図９のＨ１に示すように、記録データの取得受光値からＧｒの取得受光値を取り出す。このＧｒの取得受光値は、水平方向及び垂直方向に等間隔な受光単位により取得された受光値であり、重心位置が同じ受光値が配列されたものとなる。Ｈ２に示すように、このＧｒの取得受光値をベイヤ補間し、横縞のハッチングで表す補間値を求める。
この手法では、図８のＧ２に示すように、水平方向及び垂直方向に等間隔でない重心位置が異なる取得受光値を用いた動画に比べて、重心位置が適正なため高画質になる可能性がある。本実施形態では、Ｇｒの重畳した受光単位の受光値を取得しているため、このような低解像動画の生成が可能になる。
次に、図１０（Ａ）を用いて、Ｒにおける補間手法について説明する。図１０（Ａ）において、ハッチングされた画素はＲの画素である。図１０（Ａ）に示すように、Ｒの取得受光値は市松状に取得され、補間受光値をａｉｊとすると、そのａｉｊの周辺の取得受光値により補間を行う。より具体的には、下式（４）により補間受光値ａｉｊを求める。すなわち、補間受光値ａｉｊの水平方向及び垂直方向に隣接するＲの取得受光値を用いて補間を行う。
ａｉｊ＝ｗｒ１・ａ（ｉ−２）ｊ＋ｗｒ２・ａｉ（ｊ−２）＋
ｗｒ３・ａ（ｉ＋２）ｊ＋ｗｒ４・ａｉ（ｊ＋２） ・・・ （４）
ここで、上式（４）においてｗｒ１〜ｗｒ４は補間係数である。この補間係数ｗｒ１〜ｗｒ４は、例えば予め補間精度が最適になるように決められたものである。あるいは、補間係数ｗｒ１〜ｗｒ４は、既存のベイヤ補間手法や、画素欠陥補正手法などの考え方を用いて設定してもよい。あるいは、補間受光値ａｉｊを、取得受光値を用いた２次元ローパスフィルタリングにより求めてもよい。
図１０（Ｂ）に、取得受光値のみから低解像動画のＲ成分を生成する手法について説明する。図１０（Ｂ）のＩ１に示すように、Ｒの取得受光値の記録データは、市松状に取得受光値が配列されたデータである。Ｉ２に示すように、その取得受光値をベイヤ補間（デモザイキング）し、横縞のハッチングで表す補間値を求める。この補間後のデータを低解像動画のＲ画素値として用いる。
次に、図１１（Ａ）を用いて、Ｂにおける補間手法について説明する。図１１（Ａ）において、ハッチングされた画素はＢの画素である。図１１（Ａ）に示すように、Ｂの取得受光値は市松状に取得され、補間受光値をａｉｊとすると、そのａｉｊの周辺の取得受光値により補間を行う。より具体的には、下式（５）により補間受光値ａｉｊを求める。すなわち、補間受光値ａｉｊの水平方向及び垂直方向に隣接するＢの取得受光値を用いて補間を行う。
ａｉｊ＝ｗｂ１・ａ（ｉ−２）ｊ＋ｗｂ２・ａｉ（ｊ−２）＋
ｗｂ３・ａ（ｉ＋２）ｊ＋ｗｂ４・ａｉ（ｊ＋２） ・・・ （５）
ここで、上式（５）においてｗｂ１〜ｗｂ４は補間係数である。この補間係数ｗｂ１〜ｗｂ４は、例えば予め補間精度が最適になるように決められたものである。あるいは、補間係数ｗｂ１〜ｗｂ４は、既存のベイヤ補間手法や、画素欠陥補正手法などの考え方を用いて設定してもよい。あるいは、補間受光値ａｉｊを、取得受光値を用いた２次元ローパスフィルタリングにより求めてもよい。
図１１（Ｂ）に、取得受光値のみから低解像動画のＢ成分を生成する手法について説明する。図１１（Ｂ）のＪ１に示すように、Ｂの取得受光値の記録データは、市松状に取得受光値が配列されたデータである。Ｊ２に示すように、その取得受光値をベイヤ補間（デモザイキング）し、横縞のハッチングで表す補間値を求める。この補間後のデータを低解像動画のＢ画素値として用いる。
なお、上式（３）〜（５）の補間係数ｗｇ１〜ｗｇ６，ｗｒ１〜ｗｒ４，ｗｂ１〜ｗｂ４は、統計的な手法により設定してもよい。すなわち、通常の全画素読み出しにより高解像画像を撮像し、その高解像画像の画素値を実際に加算して補間受光値を求める。そして、補間係数ｗｇ１〜ｗｇ６等を仮定して補間した補間受光値と比較し、仮定値を変更しながら最も値が近くなる補間係数ｗｇ１〜ｗｇ６等に決定する。この仮定値を変更しながら比較する手法には、ルックアップテーブルやニューラルネット等の種々の手法がある。
上記の実施形態によれば、撮像装置は、読み出し制御部（例えば図１２で後述の４画素加算サンプリング処理部１１０）、補間処理部（シフト重畳画素加算値生成部２２０）、推定演算部（画素値復元推定演算部２４０）、画像出力部（静止画データ出力部２５０）を含む。
図５（Ｂ）に示すように、読み出し制御部は、受光単位を複数の画素毎に設定し、その受光単位に含まれる画素の画素値を加算読み出しして受光値（ａｉｊ等の太実線四角で表す受光値）を取得する。受光単位は、受光値を取得する単位であり、隣り合う受光単位は重畳している。補間処理部は、読み出し制御部により取得された受光値である取得受光値（ａｉｊ等）に基づいて、受光値が取得されない受光単位の受光値を補間により求めて補間受光値（ａｉ（ｊ−１）等の点線四角で表す受光値）を取得する。推定演算部は、取得受光値と補間受光値に基づいて、受光単位に含まれる各画素の画素値ｖｉｊを推定する。画像出力部は、推定演算部により推定された画素値に基づく画像を出力する。
この場合に、読み出し制御部は、第１〜第ｑ色（ｑ＝３）の各色毎に受光単位を設定する。図６等に示すように、読み出し制御部は、各色の受光単位を第１受光単位群（太実線四角で表す受光単位）と第２受光単位群（点線四角で表す受光単位）にグループ分けし、第１受光単位群の受光値を取得受光値として取得する。図７に示すように、補間処理部は、第１〜第ｑ色のうちの第ｒ色（例えば緑色Ｇｒ，Ｇｂ）の受光単位の中の第１受光単位群の取得受光値に基づいて、第ｒ色の受光単位の中の第２受光単位群の補間受光値を補間により求める。
これにより、取得受光値から簡素な処理で高解像画像を推定することが可能になる。具体的には、受光単位を第１受光単位群と第２受光単位群にグループ分けし、第１受光単位群の受光値を取得することで、各フレームにおいて一部の受光値だけを読み出すことができる。そのため、撮像素子から読み出すデータ量を減らし、フレームレートを向上できる。また、取得受光値に基づいて補間受光値を求め、その重畳した受光単位の受光値（図１３（Ｂ）に示す受光値）に対して例えば図１３（Ａ）〜図２１で後述の推定処理を行うことで、撮像したフレームの中の任意タイミングの高解像フレーム画像を取得できる。そのため、決定的瞬間の高解像フレーム画像を事後的に取得でき、高解像度と高フレームレートを両立できる。
また、本実施形態によれば、第１〜第ｑ色の各色毎に受光単位を設定し、第ｒ色の取得受光値に基づいて第ｒ色の補間受光値を補間により求める。これにより、補間受光値の色と同じ色の取得受光値により補間が行われるため、上述の異色加算の場合に比べて色情報の保存が容易に実現可能である。
また、本実施形態によれば、１フレームにおいて取得された取得受光値から高解像フレーム画像を推定できるため、被写体の動きに対して撮像画像のブレを抑制可能である。すなわち、複数フレームに亘って取得した受光値を用いて推定を行う場合に比べて、ブレを抑制できる。
また、図５（Ｂ）に示すように本実施形態では、読み出し制御部は、撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、第１〜第３色（ｑ＝３）のうちの第ｒ色の受光単位として４画素を含む受光単位を設定する。読み出し制御部は、第ｒ色の受光単位を市松状にグループ分けして第１受光単位群（太実線四角）と第２受光単位群（点線四角）にグループ分けする。
このようにすれば、ベイヤ配列において本実施形態の補間手法を実現可能である。また、各色の受光単位を市松状にグループ分けすることで、各色の半数の受光単位を第１受光単位群にグループ分けできる。これにより、全体の半数の受光単位の受光値を取得受光値として取得できる。そのため、撮像素子から全画素値を読み出した場合に比べてデータ量を半分にすることができ、フレームレートを２倍にすることが可能になる。
４．撮像装置
図１２に、上述した補間処理と後述する画素値推定処理を行う撮像装置の構成例を示す。この撮像装置は、広域通過光学ローパスフィルタ１００（広義には光学ローパスフィルタ）、４画素加算サンプリング処理部１１０（読み出し制御部）、ノイズ低減処理部１２０、画像信号処理部１３０、ベイヤ補間処理部１４０、Ｇ合成部１５０、３板化データ記憶部１６０（記憶部）、表示処理部１７０（表示制御部）、モニタ表示部１８０（表示部）、画質向上画像処理部１９０（画像処理部）、データ圧縮部２００、データ記録部２０５、データ伸張部２１０、シフト重畳画素加算値生成部２２０（補間処理部）、高精細化希望フレーム画像選択部２３０（フレーム選択部）、画素値復元推定演算部２４０（推定演算部）、静止画データ出力部２５０（画像出力部）、Ｇ画像再生成部２６０、標準画質動画生成部２７０（動画生成部）、標準画質動画出力部２８０（動画出力部）、Ｇ画像再生成部２９０、高画質動画生成部３００（動画生成部）、高画質動画出力部３１０（動画出力部）を含む。
なお、本実施形態は図１２の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。また、構成要素の一部が他の装置として構成されてもよく、例えば、データ伸張部２１０以降の構成要素が、ＰＣ等で構成される画像処理装置に含まれてもよい。
広域通過光学ローパスフィルタ１００は、光学系により結像された画像の帯域を、撮像素子の画素ピッチに対応する帯域に制限する。４画素加算サンプリング処理部１１０は、その帯域制限された画像をセンシングした撮像素子の画素値を加算読み出しして、図２等で上述の受光値を取得する。例えば、加算読み出しは、ＣＭＯＳセンサ等の撮像素子からアドレス指定により画素値を読み出して加算することで実現される。ノイズ低減処理部１２０は、取得受光値のノイズ低減処理を行う。
画像信号処理部１３０は、取得受光値を各色成分の受光値に分離する。ベイヤ補間処理部１４０は、Ｒ成分とＢ成分の取得受光値のベイヤ補間処理を行う。Ｇ合成部１５０は、Ｇｒ成分とＧｂ成分の取得受光値を１つのＧ成分データ（図６のＦ５に示すデータ）に変換する処理を行う。３板化データ記憶部１６０は、ベイヤ補間処理部１４０からのデータとＧ合成部１５０からのデータを記憶する。表示処理部１７０は、３板化データ記憶部１６０からのデータをモニタ表示部１８０に表示する制御を行う。例えば、表示処理部１７０は、図８等で上述の処理をＧ成分データに対して行う。
画質向上画像処理部１９０は、３板化データ記憶部１６０からの低解像動画のノイズ低減処理や階調補正処理等の画像処理を行う。データ圧縮部２００は、低解像動画のデータ圧縮処理を行う。データ記録部２０５は、低解像動画の圧縮データを記録する。データ記録部２０５は、内部メモリであってもよく、メモリカード等の外部メモリであってもよい。
データ伸張部２１０は、低解像動画の圧縮データを伸張する処理を行う。シフト重畳画素加算値生成部２２０は、伸張されたデータの中から取得受光値を取り出し、上述の補間処理を行って補間受光値を求める。例えば、補間処理を行うフレームは、高精細化希望フレーム画像選択部２３０を介してユーザにより設定される。高精細化希望フレーム画像選択部２３０は、例えばタッチパネル等の操作部により構成される。画素値復元推定演算部２４０は、取得受光値と補間受光値から画素値を推定する処理を行う。例えば、推定処理は、後述する手法により実現される。静止画データ出力部２５０は、推定画素値に対して例えば帯域制限処理等を行って、高解像フレーム画像を出力する。例えば、高解像フレーム画像は、撮像素子の画素数と同じ画素数の画像である。
Ｇ画像再生成部２６０は、データ伸張部２１０からのＧ成分データに対して、図８で上述のベイヤ補間処理を行う。標準画質動画生成部２７０は、推定処理を行わず、加算読み出しの解像度相当の動画を生成する。標準画質動画出力部２８０は、その動画を表示部や外部装置に対して出力する処理を行う。
Ｇ画像再生成部２９０は、データ伸張部２１０からのＧ成分データに対して、図９で上述の重心位置を考慮したベイヤ補間処理を行う。高画質動画生成部３００は、推定処理を行わず、加算読み出しの解像度相当の動画を生成する。高画質動画出力部３１０は、重心位置を考慮して生成された動画を表示部や外部装置に対して出力する処理を行う。
なお、上記では、図６〜図１１で上述した同色画素の加算読み出しの場合を例に説明したが、本実施形態はこれに限定されない。例えば、図２〜図５で上述した異色画素の加算読み出しの場合、画像信号処理部１３０や、ベイヤ補間処理部１４０、Ｇ合成部１５０が色別の処理を行わず、異色加算された取得受光値をスルーする処理を行えばよい。
５．画素値の推定手法
図１３（Ａ）〜図２１を用いて、上述の取得受光値と補間受光値から高解像フレーム画像の画素値を推定する手法について説明する。以下では、受光単位が４画素を含み、その受光単位に含まれる４画素の画素値を受光値に基づいて推定する場合を例に説明する。
まず、図１３（Ａ）、図１３（Ｂ）に、画素推定に用いられる推定処理ブロックと受光単位の模式的な説明図を示す。図１３（Ａ）、図１３（Ｂ）では、水平方向（水平走査方向）の画素位置をｉで示し、垂直方向の画素位置をｊで示す（ｉ、ｊは整数）。また、図１３（Ａ）では、推定処理ブロックを点線四角で表し、受光単位を実線四角で表す。図１３（Ｂ）では、受光単位を点線四角で表し、推定画素を実線四角で表す。
図１３（Ａ）に示すように、ｍ×ｎ画素を１ブロックとする推定処理ブロックＢｋ００、Ｂｋ１０、・・・を設定する。本実施形態では、この推定処理ブロック毎に、高解像フレーム画像の画素値の推定処理を行う。図１３（Ｂ）には、推定処理ブロックＢｋ００を模式的に示す。図１３（Ｂ）に示す受光値ａ００〜ａ（ｍ−１）（ｎ−１）は、撮像により取得された取得受光値と、補間処理により求められた補間受光値により構成される。
図１４に、画素値を重み付け加算する手法についての説明図を示す。なお以下では、Ｇｒ画素の加算読み出しと推定処理について説明するが、Ｇｂ画素やＲ画素、Ｂ画素についても同様の処理を適用できる。また、異色の画素値を加算読み出しする場合についても同様の処理を適用できる。
図１４に示すように、加算読み出しの重み係数をｃ１、ｃ２、ｃ３、ｃ４とする。ｃ１＝１とすると、重み係数は下式（６）に示す比率関係のルールをとる。なお、ｒは、ｒ≧１の実数であり、重み付け加算の場合にはｒ＞１である。本実施形態では、ｒ＝１として重み付けしない単純加算を行ってもよい。
ｃ１＝１，ｃ２＝１／ｒ，ｃ３＝１／ｒ，ｃ４＝１／ｒ２ ・・・ （６）
以下では、説明を簡単にするために、ｒ＝２とおき、下式（７）とする。
ｃ１＝１、ｃ２＝１／２、ｃ３＝１／２、ｃ４＝１／４ ・・・ （７）
図１５（Ａ）に示すように、ａ００，ａ２０等の実線で表す受光値が撮像により取得され、ａ１０，ａ０１等の点線で表す受光値が補間処理により求められる。図１５（Ｂ）に示すように、これらの受光値から中間画素値ｂ００、ｂ１０、・・・が求められ、中間画素値ｂ００、ｂ１０、・・・から推定画素値ｖ００、ｖ１０、・・・が求められる。なお、図１５（Ａ）、図１５（Ｂ）では便宜的に、サフィックスｉｊを推定対象の画素にのみ付している。
まず、中間画素値の推定処理について説明する。図１６に示すように、中間画素値の水平方向の最初の行に注目し、重み付け画素加算値をシフト順にａ００、ａ１０、ａ２０とすると、下式（８）が成り立つ。
ａ００＝ｃ１ｖ００＋ｃ２ｖ０１＋ｃ３ｖ１０＋ｃ４ｖ１１
ａ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＋ｃ３ｖ２０＋ｃ４ｖ２１ ・・・ （８）
また、下式（９）に示すようにｂ００、ｂ１０、ｂ２０を定義し、上式（７）を代入する。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１
ｂ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＝ｖ１０＋（１／２）ｖ１１
ｂ２０＝ｃ１ｖ２０＋ｃ２ｖ２１＝ｖ２０＋（１／２）ｖ２１ ・・・ （９）
次に、上式（７）、（９）を用いて上式（８）を変形すると、下式（１０）が成り立つ。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１
＝ｂ００＋（１／２）ｂ１０
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
＝ｂ１０＋（１／２）ｂ２０ ・・・ （１０）
上式（１０）において、ａ００、ａ１０に所定の係数（所定の重み係数）を掛けて差分δｉ０を取り、上式（９）を使って変形すると、下式（１１）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｖ２０＋（１／４）ｖ２１−（２ｖ００＋ｖ０１）
＝（１／２）ｂ２０−２ｂ００ ・・・ （１１）
ｂ００を未知数とすると、下式（１２）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０
＝４ｂ００＋２（ａ１０−２ａ００） ・・・ （１２）
このように、ｂ００を未知数（初期変数）として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。同様にして、２行目、３行目においてもｂ０１、ｂ０２を未知数として中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンが求められる。
次に、未知数ｂ００を求める手法について説明する。図１７に示すように、受光値パターン｛ａ００，ａ１０｝と中間画素値パターン｛ｂ００，ｂ１０，ｂ２０｝を比較する。そして、その誤差が最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
このとき、上式（１０）に示すように、受光値｛ａ００，ａ１０｝は、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の異なる重み付けによる隣接値の加算値となる。そのため、単純にこれらを比較しても正しい推定値が得られない。そこで、図１７に示すように、中間画素値に重み付けをして比較を行う。具体的には、中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝の重み付けが、ｃ３＝ｃ１／２、ｃ４＝ｃ２／２であることを利用すると、下式（１３）が成り立つことが分かる。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ ・・・ （１３）
この上式（１３）による重み付けを考慮すると、下式（１４）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、受光値パターン｛ａ００，ａ１０｝と中間画素値パターン｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
上式（１２）を用いると、評価関数Ｅｊは、ｂ００を初期変数とした関数で表される。したがって、図１８に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（１２）に代入し、ｂ１０，ｂ２０が求められる。なお、ｂ００が取り得る値の範囲は０≦ｂ００≦ａ００であるので、この範囲にて評価関数Ｅｊの最小値を求めればよい。同様に、２行目、３行目においても、中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンがｂ０１，ｂ０２を未知数として求められる。
次に、求めた中間画素値ｂｉｊを用いて最終推定画素値ｖｉｊを求める手法について説明する。以下では、図１５（Ｂ）に示す左端垂直列（ｉ＝０列）を例に説明する。図１９に示すように、中間画素値｛ｂ０１，ｂ０１，ｂ０２｝と最終推定画素値｛ｖ００，ｖ０１，ｖ０２｝の関係は、下式（１５）で表される。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１，
ｂ０１＝ｃ１ｖ０１＋ｃ２ｖ０２＝ｖ０１＋（１／２）ｖ０２ ・・・ （１５）
ｂ００、ｂ０１に所定の係数を掛けて差分δｊ０を求めると、下式（１６）が成り立つ。
δｊ０＝ｂ０１−２ｂ００
＝（ｖ０１＋（１／２）ｖ０２）−（２ｖ００＋ｖ０１）
＝（１／２）ｖ０２−２ｖ００ ・・・ （１６）
ｖ００を未知数（初期変数）とすると、上式（１５）、（１６）を用いて、最終推定画素値ｖ０１、ｖ０２がｖ００の関数として求められる。その関数を下式（１７）に示す。
ｖ００＝（未知数），
ｖ０１＝２（ｂ００−ｖ００），
ｖ０２＝４ｖ００＋２δｊ０
＝４ｖ００＋２（ｂ０１−２ｂ００） ・・・ （１７）
上式（１７）の推定画素値パターン｛ｖ００，ｖ０１，ｖ０２｝と、中間画素値パターン｛ｂ００，ｂ０１｝を比較し、その誤差Ｅｉが最小になる未知数ｖ００を導出する。このとき、最終推定画素値｛ｖｉｊ，ｖ（ｉ＋１）ｊ｝の重み付けが、ｃ２＝ｃ１／２であることを利用すると、下式（１８）が成り立つ。
ｂｉｊ＝ｖｉｊ＋（１／２）ｖｉ（ｊ＋１） ・・・ （１８）
図２０に示すように、上式（１８）に示す重み付けを考慮して、パターンの比較を行う。具体的には、下式（１９）に示す評価関数Ｅｉを求める。
そして、図２１に示すように、評価関数Ｅｉを最小にする未知数ｖ００（＝β）を求め、求めたｖ００を上式（１７）に代入して最終推定画素値ｖ０１、ｖ０２を求める。同様に、２列目においても、ｖ１０を未知数として最終推定画素値｛ｖ１０，ｖ１１，ｖ１２｝の組合せパターンを求める。
上記の実施形態によれば、図１５（Ａ）に示すように、第１のポジションに設定された受光単位ａ００と、第１のポジションからシフトされた第２のポジションａ１０に設定された受光単位が重畳する。この場合に、図１６に示すように、推定演算部は、第１のポジションの受光単位の受光値と、第２のポジションの受光単位の受光値の差分値δｉ０＝ａ１０−ａ００を求める。推定演算部は、第１のポジションの受光単位ａ００から重畳領域（図１５（Ａ）に示すｖ１０，ｖ１１）を除いた第１の受光領域（ｖ００，ｖ０１）の受光値である第１の中間画素値（図１５（Ｂ）に示すｂ００）と、第２のポジションの受光単位ａ１０から重畳領域を除いた第２の受光領域（ｖ２０，ｖ２１）の受光値である第２の中間画素値（ｂ２０）との関係式を、差分値δｉ０を用いて表す（上式（１２））。推定演算部は、その関係式を用いて第１、第２の中間画素値ｂ００，ｂ２０を推定し、推定した第１の中間画素値ｂ００を用いて受光単位ａ００の各画素の画素値ｖ００〜ｖ１１を求める。
このようにすれば、重畳する受光単位の受光値ａ１０、ａ００の差分値δｉ０に基づいて推定画素値ｖ００〜ｖ１１を推定することで、簡素な処理で高解像化を行うことが可能になる。すなわち、重畳シフトされた受光値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、上述の比較例に比べて、２次元フィルタの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
ここで、受光単位のポジションとは、撮像素子の受光面上での受光単位の位置や座標のことであり、あるいは、推定処理における推定画素値データ（画像データ）上での受光単位の位置や座標のことである。また、シフトされたポジションとは、元のポジションと位置や座標が一致しないポジションのことである。
また、本実施形態では、図１５（Ｂ）に示すように、第１、第２の中間画素値ｂ００、ｂ２０を含む連続する中間画素値｛ｂ００、ｂ１０、ｂ２０｝を中間画素値パターンとする。このとき、上式（１２）に示すように、推定演算部は、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝に含まれる中間画素値間の関係式を受光値ａ００、ａ１０を用いて表す。そして、図１７に示すように、推定演算部は、関係式で表された中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝を、受光値ａ００、ａ１０で表される受光値パターン｛ａ００、ａ１０｝と比較して類似性を評価し、その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００〜ｂ２０を決定する。
このようにすれば、取得受光値または補間受光値である受光値ａ００，ａ１０に基づいて、中間画素値ｂ００〜ｂ２０を推定できる。また、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝を比較することで、受光値パターンに類似した高精細な中間画素値パターンを推定できる。
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、受光値パターンとは、推定処理に用いられる範囲の受光値のデータ列であり、取得受光値と補間受光値が含まれる。
また、上式（１４）に示すように、推定演算部は、中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と受光値パターン｛ａ００、ａ１０｝の誤差を表す評価関数Ｅｊを求め、評価関数Ｅｊの値が最小となる未知数ｂ００＝α（初期値）を求め、求めたｂ００により中間画素値ｂ００〜ｂ２０を決定する。
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。すなわち、上述の比較例（特許文献２）と比べて、初期値設定に適当な画像部分の探索が不要である。
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（読み出し制御部、補間処理部、推定演算部等）と共に記載された用語（４画素加算サンプリング処理部、シフト重畳画素加算値生成部、画素値復元推定演算部等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また読み出し制御部、補間処理部、推定演算部、画像出力部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
１００ 広域通過光学ローパスフィルタ、１１０ ４画素加算サンプリング処理部、
１２０ ノイズ低減処理部、１３０ 画像信号処理部、１４０ ベイヤ補間処理部、
１５０ Ｇ合成部、１６０ ３板化データ記憶部、１７０ 表示処理部、
１８０ モニタ表示部、１９０ 画質向上画像処理部、２００ データ圧縮部、
２０５ データ記録部、２１０ データ伸張部、
２２０ シフト重畳画素加算値生成部、
２３０ 高精細化希望フレーム画像選択部、２４０ 画素値復元推定演算部、
２５０ 静止画データ出力部、２６０ Ｇ画像再生成部、２７０ 標準画質動画生成部、
２８０ 標準画質動画出力部、２９０ Ｇ画像再生成部、３００ 高画質動画生成部、
３１０ 高画質動画出力部、
Ｂ 青色、Ｂｋ００ 推定処理ブロック、Ｅｉ，Ｅｊ 評価関数、Ｇ 緑色、
Ｇｒ 第１緑色、Ｇｂ 第２緑色、Ｒ 赤色、ａｉｊ 受光値、ｂｉｊ 中間画素値、
ｂ００ 未知数、ｆｘ フレーム、ｖｉｊ 最終推定画素値、ｖ００ 未知数、
ｗｂ１〜ｗｂ４，ｗｇ１〜ｗｇ６，ｗｒ１〜ｗｒ４ 補間係数、δｉ０，δｊ０ 差分値

Claims (12)

  1. 受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、
    前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、
    前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
    前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、
    を含み、
    前記読み出し制御部は、
    複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、前記第１受光単位群の受光値を前記取得受光値として取得し、
    前記補間処理部は、
    前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）のうちの前記第１受光単位群の前記取得受光値に基づいて、前記第ｐ色配列グループのうちの前記第２受光単位群の前記補間受光値を補間により求めることを特徴とする撮像装置。
  2. 請求項１において、
    前記読み出し制御部は、
    前記第ｐ色配列グループに属する前記受光単位のうちの半数の前記受光単位の受光値を、前記第１受光単位群の前記取得受光値として取得することを特徴とする撮像装置。
  3. 請求項２において、
    前記読み出し制御部は、
    撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、前記複数色の画素として４画素を含む前記受光単位を設定し、
    前記補間処理部は、
    前記第１〜第ｋ色配列グループとして、前記４画素の色配列が各色配列グループで異なる第１〜第４色配列グループに前記受光単位をグループ分けし、
    前記読み出し制御部は、
    前記第１〜第４色配列グループの各色配列グループにおいて、前記受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けすることを特徴とする撮像装置。
  4. 請求項１乃至３のいずれかにおいて、
    前記読み出し制御部は、
    第１フレームにおいて、前記第１受光単位群の受光値を前記取得受光値として取得し、
    前記第１フレームの後の第２フレームにおいて、前記第２受光単位群の受光値を前記取得受光値として取得し、
    前記補間処理部は、
    前記第１フレームにおいて、前記第１受光単位群の中の前記第ｐ色配列グループの前記取得受光値に基づいて、前記第２受光単位群の中の前記第ｐ色配列グループの受光値を前記補間受光値として補間により求め、
    前記第２フレームにおいて、前記第２受光単位群の中の前記第ｐ色配列グループの前記取得受光値に基づいて、前記第１受光単位群の中の前記第ｐ色配列グループの受光値を前記補間受光値として補間により求めることを特徴とする撮像装置。
  5. 受光値を取得する単位である受光単位であって、隣り合う前記受光単位が重畳する前記受光単位を複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得する読み出し制御部と、
    前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得する補間処理部と、
    前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
    前記推定演算部により推定された画素値に基づく画像を出力する画像出力部と、
    を含み、
    前記読み出し制御部は、
    第１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記各色の前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、前記第１受光単位群の受光値を前記取得受光値として取得し、
    前記補間処理部は、
    前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の受光単位の中の前記第１受光単位群の前記取得受光値に基づいて、前記第ｒ色の受光単位の中の前記第２受光単位群の前記補間受光値を補間により求めることを特徴とする撮像装置。
  6. 請求項５において、
    前記読み出し制御部は、
    撮像素子の画素がベイヤ配列の第１〜第３色の画素である場合に、第１〜第３色（ｑ＝３）のうちの前記第ｒ色の受光単位として４画素を含む前記受光単位を設定し、前記第ｒ色の受光単位を市松状にグループ分けして前記第１受光単位群と前記第２受光単位群にグループ分けすることを特徴とする撮像装置。
  7. 請求項１乃至６のいずれかにおいて、
    前記読み出し制御部は、
    前記受光単位に含まれる画素の画素値を重み付け加算して読み出し、前記取得受光値を取得し、
    前記補間処理部は、前記重み付け加算により得られた前記取得受光値に基づいて、前記補間受光値を補間により求めることを特徴とする撮像装置。
  8. 請求項１乃至７のいずれかにおいて、
    第１のポジションに設定された前記受光単位と、前記第１のポジションからシフトされた第２のポジションに設定された前記受光単位が重畳する場合に、
    前記推定演算部は、
    前記第１のポジションの受光単位の受光値と、前記第２のポジションの受光単位の受光値の差分値を求め、
    前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
    前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位の各画素の画素値を求めることを特徴とする撮像装置。
  9. 請求項８において、
    前記推定演算部は、
    前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンの中間画素値間の関係式を前記受光単位の受光値を用いて表し、
    中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値とを比較して類似性を評価し、
    前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンの中間画素値の値を決定することを特徴とする撮像装置。
  10. 請求項９において、
    前記推定演算部は、
    中間画素値間の関係式で表された前記中間画素値パターンと前記受光単位の受光値との誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンの中間画素値の値を決定することを特徴とする撮像装置。
  11. 受光値を取得する単位であって、隣り合う受光単位が重畳する前記受光単位を、複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、
    前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、
    前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、
    前記推定演算部により推定された画素値に基づく画像を出力する画像出力部する場合に、
    複数色の画素を含む前記受光単位を設定し、前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、前記第１受光単位群の受光値を前記取得受光値として取得し、
    前記複数色の画素の色配列が各色配列グループで異なる第１〜第ｋ色配列グループ（ｋは自然数）に前記受光単位をグループ分けし、前記第１〜第ｋ色配列グループの中の第ｐ色配列グループ（ｐはｋ以下の自然数）のうちの前記第１受光単位群の前記取得受光値に基づいて、前記第ｐ色配列グループのうちの前記第２受光単位群の前記補間受光値を補間により求めることを特徴とする撮像方法。
  12. 受光値を取得する単位である受光単位であって、隣り合う前記受光単位が重畳する前記受光単位を複数の画素毎に設定し、前記受光単位に含まれる画素の画素値を加算読み出しして前記受光値を取得し、
    前記読み出し制御部により取得された前記受光値である取得受光値に基づいて、前記受光値が取得されない前記受光単位の受光値を補間により求めて補間受光値を取得し、
    前記取得受光値と前記補間受光値に基づいて、前記受光単位に含まれる各画素の画素値を推定し、
    前記推定演算部により推定された画素値に基づく画像を出力する場合に、
    第１〜第ｑ色（ｑは自然数）の各色毎に前記受光単位を設定し、前記各色の前記受光単位を第１受光単位群と第２受光単位群にグループ分けし、前記第１受光単位群の受光値を前記取得受光値として取得し、
    前記第１〜第ｑ色のうちの第ｒ色（ｒはｑ以下の自然数）の受光単位の中の前記第１受光単位群の前記取得受光値に基づいて、前記第ｒ色の受光単位の中の前記第２受光単位群の前記補間受光値を補間により求めることを特徴とする撮像方法。
JP2010243132A 2010-10-29 2010-10-29 撮像装置及び撮像方法 Withdrawn JP2012099870A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010243132A JP2012099870A (ja) 2010-10-29 2010-10-29 撮像装置及び撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010243132A JP2012099870A (ja) 2010-10-29 2010-10-29 撮像装置及び撮像方法

Publications (1)

Publication Number Publication Date
JP2012099870A true JP2012099870A (ja) 2012-05-24

Family

ID=46391349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010243132A Withdrawn JP2012099870A (ja) 2010-10-29 2010-10-29 撮像装置及び撮像方法

Country Status (1)

Country Link
JP (1) JP2012099870A (ja)

Similar Documents

Publication Publication Date Title
JP5306563B2 (ja) 撮像装置及び画像生成方法
US9325918B2 (en) Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program
JP5220777B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5341010B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
WO2011148760A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5853166B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP5006814B2 (ja) 撮像装置
JP5096645B1 (ja) 画像生成装置、画像生成システム、方法、およびプログラム
WO2009145201A1 (ja) 画像処理装置、画像処理方法及び撮像装置
JP5889049B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5513978B2 (ja) 撮像装置、集積回路および画像処理方法
JP2011097568A (ja) 撮像装置
WO2012147523A1 (ja) 撮像装置及び画像生成方法
JP4810807B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP5159461B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP2013126123A (ja) 画像処理装置、撮像装置及び画像処理方法
WO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP2012142676A (ja) 撮像装置及び画像生成方法
JP2006262382A (ja) 画像処理装置
JP4339671B2 (ja) 撮像装置
JP2012099870A (ja) 撮像装置及び撮像方法
WO2012147630A1 (ja) 撮像装置及び画像生成方法
JP2012253490A (ja) 固体撮像装置、撮像装置及び画像生成方法
JP2012119852A (ja) 撮像装置及び撮像方法
JP2013125999A (ja) 画像処理装置、撮像装置及び画像処理方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140107