JP2013223208A - 撮像処理装置 - Google Patents

Abstract

【課題】演算量ならびに回路規模を削減しながら、光量を確保しＳ／Ｎを改善しつつ、色にじみの発生を低減した画像を得る。
【解決手段】撮像処理装置は、単板カラー撮像素子と画像処理部とを備えている。単板カラー撮像素子は、第１色成分の光を第１露光時間および第２露光時間の各々で検出し、第２色成分および第３色成分の光を第１露光時間で検出する。画像処理部は、第１色成分の光を検出した第１画素および第２画素の画素値に基づいて得られた、被写体の第１色成分の動画像を受け取り、評価式を予め定められた所定の条件で満足する動画像を、新たな動画像として求める。評価式は、画素値の分布に関する拘束条件項であって、第１色成分の動画像を構成する画像の、複数のラインにわたって配置されている画素群を一方向に配列された画素群として並び替えたときの画素群の画素値の分布に関する拘束条件項を含む。
【選択図】図１５Ａ

Description

本願は、動画像を生成する撮像処理装置および撮像処理方法に関する。

従来の撮像処理装置においては、高解像度化を図る目的で撮像素子の画素数が増加する傾向にあった。撮像素子全体のサイズを大きくするには限界があるため、各画素を小型化せざるを得ない。その一方、画素寸法が小型化されるほど、撮像素子の１画素に入射する光量が減少していた。その結果、各画素の信号対雑音比（Ｓ／Ｎ）の低下につながり、画質を維持することが困難であった。

特許文献１は、赤、緑、青のそれぞれ光を検出する３枚の撮像素子を利用し、露光時間を制御して得られる信号を処理することによって、高解像度で高フレームレートかつ高感度の画像の復元を実現することを開示している。この技術では、２種類の解像度の撮像素子が用いられている。一方の高解像度の画像を生成する撮像素子からは長時間露光で画素信号が読み出され、他方の低解像度の画像を生成する撮像素子からは短時間露光で画素信号が読み出される。これにより、光量が確保されていた。

さらに、特許文献２は、特許文献１の手法を単板カメラに拡張し、単板カメラであっても各画素の信号対雑音比（Ｓ／Ｎ）の低下を抑えながら、画質の維持を実現することを開示している。

特開２００９−１０５９９２号公報 特許第４５９８１６２号明細書

特許文献１および２の技術は、演算量ならびに回路規模が比較的多かった。そのため、演算量がより少なく、回路規模が小さい装置の開発が求められていた。

本願の、限定的ではない例示的なある実施形態は、演算量ならびに回路規模を削減しながら、光量を確保しＳ／Ｎを改善しつつ、色にじみの発生を低減することができる撮像処理の技術を提供する。

本発明のある実施形態にかかる撮像処理装置は、第１露光時間で画素値を読み出すことが可能な第１種類の複数の画素および前記第１露光時間よりも長い第２露光時間で画素値を読み出すことが可能な第２種類の複数の画素を有する単板カラー撮像素子と、前記第１種類の複数の画素から前記第１露光時間で読み出された画素値と、前記第２種類の複数の画素から前記第２露光時間で読み出された画素値とに基づいて、所定のフレームレートを有する新たな動画像を生成する画像処理部とを備えている。前記単板カラー撮像素子は、第１色成分の光を前記第１露光時間および前記第２露光時間の各々で検出し、第２色成分および第３色成分の光を前記第１露光時間で検出する。前記画像処理部は、前記第１色成分の光を検出した前記第１画素および前記第２画素の画素値に基づいて得られた、被写体の前記第１色成分の動画像を受け取り、（ａ）前記第１露光時間で読み出された前記第１色成分の動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、（ｂ）前記第２露光時間で読み出された前記第１色成分の動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差、および（ｃ）画素値の分布に関する拘束条件項であって、前記第１色成分の動画像を構成する画像の、複数のラインにわたって配置されている画素群を一方向に配列された画素群として並び替えたときの前記画素群の画素値の分布に関する拘束条件項を含む評価式を設定し、前記評価式を予め定められた所定の条件で満足する動画像を、前記新たな動画像として求める。

前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、前記拘束条件項を設定してもよい。

前記画像処理部は、前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。

前記画像処理部は、前記第１色成分の動画像を構成する画像の、２ラインにわたって配置されている画素群を一方向に配列された画素群として並び替えたときの前記画素群の画素値の分布に関する拘束条件項を設定してもよい。

前記第１色成分の動画像を構成する画像は、直交する第１方向および第２方向に沿って配列された画素群によって構成されており、前記第２方向に沿って隣接する第１ラインおよび第２ラインに関し、前記第１色成分の画素群は、第１方向に沿って、前記第１ラインおよび前記第２ラインに交互に配列され、前記画像処理部は、交互に配列された前記第１色成分の画素群を、一方向に配列された画素群として並び替えたときの前記画素群の画素値の分布に関する拘束条件項を設定してもよい。

前記画像処理部は、前記第１露光時間で読み出された画素値に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えていてもよい。

前記撮像処理装置は、前記第１露光時間で読み出された画素値に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部とをさらに備えていてもよい。

本発明のある例示的な実施形態によれば、撮像処理装置は、演算量ならびに回路規模を削減しながら、光量を確保しＳ／Ｎを改善しつつ、色にじみの発生を低減した画像を生成することができる。

本発明の例示的な一実施形態による撮像処理装置１００の構成を示すブロック図である。 単板カラー撮像素子１０２の一例を示す図である。 単時間露光画素と長時間露光画素の配置の例を示す図である。 図３の各画素の露光時間を模式的に示す図である。 本発明の実施形態１による単板カラー撮像素子１０２の構成例を示すブロック図である。 本発明の例示的な一実施形態による画素アレイにおける読み出し信号線および出力信号線の結線図である。 単時間露光画素と長時間露光画素の配置の別の例を示す図である。 画像処理部１０５の詳細な構成の一例を示す図である。 撮像処理装置１００の処理の手順を示すフローチャートである。 （ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。 共役勾配法の処理手順を示す図である。 図１１に示す処理を行うための画像生成部２０２の構成例を示す図である。 準ニュートン法の処理手順を示す図である。 ベイヤ配列中にジグザクに配列されているＧ画素群を、そのジグザグの順序で一方向に並べなおした方向ベクトルｘ’および方向ベクトルｙ’を説明するための模式図である。 図１４の画素配列における各画素に座標位置を付記した図である。 ベイヤ配列中にジグザクに存在するＧ画素を一方向に並べなおした方向ベクトルｘ’ および方向ベクトルｙ’を説明するための模式図である。 動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置２００の構成を示すブロック図である。 本発明の他の例示的な一実施形態による撮像処理装置４００の構成を示すブロック図である。 短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理を行い、その後、各色画像を縮小して表示部８０２に表示するための各色画像を生成する処理の概念図である。 短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理およびアスペクト比の変更処理を行って表示部８０２に表示するための各色画像を生成する処理の概念図である。

まず、上述の特許文献１および２に関して、発明者が見出した先行技術の問題点を説明する。

上述の特許文献１および２においては、いずれも滑らかさの拘束として、ｘ方向とｙ方向の２方向の拘束条件を利用していた。これは、画像に関して２次元的なメモリアクセスが必要となる。これにより、特許文献１および２では、演算量ならびに回路規模が増大していた。

以下、添付の図面を参照しながら、本発明の一実施形態にかかる撮像処理装置等を説明する。

（実施形態１）
図１は、本実施形態における撮像処理装置１００の構成を示すブロック図である。撮像処理装置１００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、画像処理部１０５とを備えている。以下、撮像処理装置１００の各構成要素を詳細に説明する。

光学系１０１は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像する。

単板カラー撮像素子１０２は、赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタアレイが各画素に装着された撮像素子である。図２は、単板カラー撮像素子１０２の一例を示す。単板撮像素子の各画素（フォトダイオード）に対応して、ベイヤ配列と呼ばれる配列のカラーフィルタアレイが装着されている。図中の「Ｒ」、「Ｇ」、「Ｂ」はそれぞれ「赤」、「緑」、「青」のフィルタを示している。

単板カラー撮像素子１０２の各画素は、光学系１０１によって結ばれた光（光学像）を、それぞれに対応して設けられた赤、緑または青のフィルタを通して受け取る。各画素は、画素単位で光電変換を行い、各画素に入射した光の量に応じた画素値（画素信号）を出力する。同じフレーム時刻に撮影された、同じ色成分の画素信号により、その色成分ごとの画像が得られる。全ての色成分の画像により、カラー画像が得られる。

以下、本明細書および図面において、赤、緑、青の光を検出する画素を、それぞれ「Ｒ」、「Ｇ」、「Ｂ」によって表すとする。撮像素子の各画素から出力される画素信号は、Ｒ，Ｇ，Ｂいずれかの色に関する画素値を持つ。

この説明から明らかな通り、撮像素子の各画素は、各色のカラーフィルタを透過した光を受け、受けた光の強さに応じた信号を出力する撮像素子の１単位である。

読み出し制御部１０３は、図２に示す配列の単板カラー撮像素子１０２から所定の露光時間毎に画像信号を読み出して動画像として取得する。読み出し方法は以下に詳細に説明するとおりである。読み出し制御部１０３の読み出し動作は、制御部１０４による制御に基づいて実行される。

図３は、短時間露光画像と長時間露光画像の配置の例を示している。画素信号の読み出しは、２ライン単位で行われる。図３において、Ｒ，Ｇ，Ｂの添え字Ｓは短時間露光を示し、添え字Ｌは長時間露光を示す。また、本明細書および図面では、下付文字の「Ｓ」によって短時間（Ｓｈｏｒｔ）露光を表し、下付文字の「Ｌ」によって長時間（Ｌｏｎｇ）露光を表すこともある。

本願明細書では、「短時間露光」とは、一般的な動画撮影時の１フレームの時間だけ露光することを意味する。例えば「短時間露光」とは、フレームレートが３０フレーム／秒（３０ｆｐｓ）の場合には１／３０秒の露光時間で露光することに相当する。フレームレートが６０フレーム／秒（６０ｆｐｓ）の場合には１／６０秒である。一方、長時間露光とは、１フレームの露光に要する時間よりも長い時間、例えば２フレームから１０フレーム程度、露光をすることを意味する。

図４は、図３の各画素の露光時間を模式的に示している。図面の左右方向が時間軸ｔである。長時間露光画像は、ＲＧＧＢ４画素のうちのＧ１画素のみである。つまり、Ｒ／Ｂ画素はすべて短時間露光画像であり、Ｇのみ長時間露光画像と短時間露光画像が混在する。また、２ラインごとに、短時間露光のＧ画素と短時間露光のＲ画素のライン、短時間露光のＢ画素と長時間露光のＧ画素のラインが繰り返されている例である。

読み出し制御部１０３は、制御部１０４の制御信号に基づいて単板カラー撮像素子１０２の各画素に対する読み出しパルス信号、リセット信号を制御することで、画素毎に露光時間を切り替える。短時間露光時には、読み出し制御部１０３は１フレーム時間ごとに画素値を読み出し、１フレーム画像の画素信号を読み出す。また長時間露光時には、読み出し制御部１０３は、複数フレーム時間にわたって、単板カラー撮像素子１０２を露光し、露光期間が終了した後、画素信号を読み出す。

図５は、本実施形態に係る単板カラー撮像素子１０２の構成例を示すブロック図である。

画素アレイ６０１は、同一シーンのカラー画像のＲ成分、Ｇ成分、Ｂ成分について、入射光の強度を電気信号に変換する光電変換機能を有する。

第１色成分ＡＤ変換部６０２は、画素アレイ６０１のＧ画素の出力に対して、アナログ−デジタル変換を行う。第１色成分ＨＳＲ（水平シフトレジスタ）６０３は、第１色成分ＡＤ変換部６０２の出力を受け取り、受け取った出力を水平転送し、第１色成分であるＧ画素の画素信号を撮像素子の外部に出力する。

第２色成分ＡＤ変換部６０４は、画素アレイ６０１のＲ画素及びＢ画素の出力信号をアナログ−デジタル変換する。第２色成分ＨＳＲ（水平シフトレジスタ）６０５は、第２色成分ＡＤ変換部６０４の出力を受け取り、受け取った出力を水平転送し、Ｒ画素及びＢ画素の画素信号を撮像素子の外部に出力する。

図６は、画素アレイ６０１の詳細な構成を示す。

本実施形態の固体撮像素子は、図６に示すように、行および列状に配列された複数の画素（ＧＬ、ＲＳ、ＢＳ、ＧＳ、・・・）と、各々が、行方向に配列された複数の画素に接続された複数の読み出し信号線７０１、７０２と、各々が、列方向に配列された複数の画素に接続された複数の出力信号線７０３、７０４、７０５、７０６とを備えている。複数の画素（ＧＬ、ＲＳ、ＢＳ、ＧＳ、・・・）にそれぞれ入射する光の色成分は、カラーフィルタアレイによって調節されている。

読み出し信号線７０１、７０２は、短時間露出によって撮像を行う画素の群に接続された複数の第１読み出し信号線７０１と、長時間露出によって撮像を行う画素の群に接続された複数の第２読み出し信号線７０２とに分かれている。

出力信号線７０３はＧＬ画素で共有され、ＧＬ画素の画素出力信号を伝達する。出力信号線７０４はＢＳ画素で共有され、ＢＳ画素の画素出力信号を伝達する。出力信号線７０５はＧＳ画素で共有され、ＧＳ画素の画素出力信号を伝達する。出力信号線７０６はＲＳ画素で共有され、ＲＳ画素の画素出力信号を伝達する。より詳細には、ＧＬ画素、ＧＳ画素の出力信号はそれぞれ出力信号線７０３、７０５を通して、同図中、上向きに出力される。同様に、ＲＳ画素、ＢＳ画素の出力信号はそれぞれ出力信号線７０４、７０６を通して、同図中、下向きに出力され、ＡＤ変換部６０４に入力される。そのため、ＧＬ画素とＧＳ画素の各出力信号を同じ側のＡＤ変換部で変換できるので特性が揃いやすい。さらに、ＧＬ画素とＧＳ画素を一度の読み出しで得られるので、処理も高速化可能である。さらに、２系統同時なので素子自体の読み出しも高速に実現できる。ここでいう「２系統」とは、ＧＬ画素の出力信号線７０３とＧＳ画素の出力信号線７０５とによる２種類の信号線という意味のみならず、Ｇ画素に関するＡＤ変換部６０２方向への信号線群と、Ｒ／Ｂ画素に関するＡＤ変換部６０４方向への信号線群という２種類の信号線群という意味も持つ。

なお、読み出し制御部１０３は、素子から画素信号を読み出した後でそれらを加算してもよい。具体的には、読み出し制御部１０３は１フレーム期間ごとに全ての画素ラインから画素信号を読み出す。そしてあるラインについては、連続する複数フレーム分の画素信号が得られた後に、それらを加算する。このとき、複数フレームの同じ画素座標値の画素信号同士が加算される。この結果、画素信号が加算された画素については、読み出し制御部１０３は、複数フレーム期間にわたって露光された画素の画素信号と実質的に同じ画素信号を出力することができる。本願明細書では、フレーム期間よりも長い露光時間で検出される画素信号には、画素信号の加算によって長時間露光された画素信号も含むとする。

なお、長時間露光画素の露光時間であるフレーム期間に関しては、予め定めておくとする。複数の画像フレームに関して画素毎のフレーム加算演算を行うことによって長時間露光画像を生成する場合には、加算するフレーム数を予め定めておけばよい。

また、本願の撮像処理装置における画素配置は図３に限ったものではない。たとえば、図７に示したように、２ラインごとに、長時間露光のＧ画素と短時間露光のＲ画素のライン、短時間露光のＢ画素と短時間露光のＧ画素のラインが繰り返されるようにしても構わない。

再び図１を参照する。

画像処理部１０５は、短時間露光画像データと長時間露光画像データを受け取り、これらに画像処理を行うことによって、各Ｇ画素における画素値を推定し、さらに、高解像度カラー動画像を生成する。

図８は、画像処理部１０５の詳細な構成の一例を示す。画像処理部１０５は、動き検出部２０１および画像生成部２０２を有する。

図９は、撮像処理装置１００の処理の手順を示すフローチャートである。まず概要を説明する。

ステップＳ４０１において、画像処理部１０５は、フレームレートが画素ごとに異なる動画像をそれぞれ読み出し制御部１０３から取得する。

ステップＳ４０２において、画像処理部１０５の動き検出部２０１は、取得した画像のうちの短時間露光画像を用いて生成画像の画素毎の動きを検出する。

ステップＳ４０３およびＳ４０４において、画像生成部２０２は、動き拘束条件を設定し、滑らかさ拘束を設定する。

ステップＳ４０５において画像生成部２０２は、まず第１色成分画像であるＧ画像のみを生成する。

ステップＳ４０６において、画像生成部２０２は生成したＧ画像と取得したＲ／Ｂ画像を利用し、公知のデモザイキング処理を行なうことにより、カラー画像を生成する。

ステップＳ４０７において、画像生成部２０２は生成した動画像を出力する。

以下、上述した各ステップの詳細を説明する。

動き検出部２０１は、１フレーム期間露光されて得られた画素信号によって形成される画像（短時間露光画像）を受け取る。動き検出部２０１は短時間露光画像を利用して、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、短時間露光で撮影された画素値から動き（オプティカルフロー）を検出する。公知技術として、例えばＰ． Ａｎａｎｄａｎ． “Ｃｏｍｐｕｔａｔｉｏｎａｌ ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｖｉｓｕａｌ ｍｏｔｉｏｎ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ． ２， ｐｐ． ２８３−３１０， １９８９が知られている。

図１０（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部２０１は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図１０（ａ）に示す窓領域Ａを設定し、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。

探索範囲は、図１０（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲Ｃが設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平方和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。

（数１）および（数２）において、Ｉ（ｘ、ｙ、ｔ）は画像すなわち画素値の時空間的な分布であり、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。本実施形態では、図３において短時間露光で撮影した画像の画素値を利用して、その画像をＲＧＢの各色毎に補間拡大した後、下記数３によって輝度成分を求め、動き検出を行う。

なお、Ｉ（ｘ，ｙ，ｔ）は、（数３）に限らず、単純なＲＧＢ値の加算等にしてもよい。

動き検出部２０１は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルとする。具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求め、動きベクトルを生成する。

上記の様にして得られた（数１）または（数２）を最小にする（ｕ，ｖ）の近傍での（ｕ，ｖ）の値の分布に対して、１次ないし２次関数を当てはめる（等角フィッテング法やパラボラフィッティング法として知られる公知の技術）ことによって、サブピクセル精度の動き検出を行う。

＜各画素におけるＧの画素値の生成処理＞
画像生成部２０２は、次式で表される評価関数Ｊ（評価式）を最小化して、各画素におけるＧの画素値を計算する。

ここで、Ｈ₁は長時間露光のサンプリング過程、Ｈ₂は短時間露光のサンプリング過程、ｆは新たに生成すべき高空間解像度かつ高時間解像度のＧ画像である。また、λ_Lおよびλ_Sは重みである。単板カラー撮像素子１０２によって撮像されたＧの短時間露光画像をｇ_S、長時間露光画像をｇ_Lとする。Ｍはべき指数、Ｑは生成すべき画像ｆが満たすべき条件、すなわち拘束条件である。

（数４）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。

（数４）の第１項は、生成すべきＧ画像ｆを、長時間露光のサンプリング過程Ｈ₁によってサンプリングして得られた画像と、実際に長時間露光画像として得られた、ｇ_Lとの差の演算を意味する。長時間露光のサンプリング過程Ｈ₁を予め定めておき、この差分を最小化するｆを求めると、そのｆは、長時間露光によって得られたｇ_Lと最もよく整合するといえる。第２項についても同様に、差分を最小化するｆは、短時間露光によって得られたｇ_Sと最もよく整合するといえる。また、第３項は、解ｆを一意に決定するための拘束条件項である。

そして、（数４）の評価関数Ｊを最小化するＧ画像ｆは、長時間露光および短時間露光によって得られたｇ_Lおよびｇ_sの両方を総合的によく満足するといえる。画像生成部２０２は、（数４）を最小化するＧ画像ｆを計算することで、Ｓ／Ｎが改善されたＲＧＢ画像の画素値を生成する。

（数４）のＪの最小化は、∂Ｊ／∂ｆ＝０となるＲＧＢ画像ｆを求めることによって行う。この計算は、（数４）においてＭ＝２でかつ、Ｑがｆの２次形式の場合には、上述のJのfによる偏微分∂J/∂ｆがｆの1次式になるため、線形最適化問題となり連立方程式Ａｆ＝ｂの計算に帰着する。すなわち、（数４）をｆで偏微分すると、以下のとおりである。

Ｑ₁はＱがｆの２次形式の場合、定数マトリックス（ｆを含まないマトリックス）である。

この式を変形して以下の連立方程式を解くことにより、ＲＧＢ画像ｆを計算する。

一方、Ｍ＝１の場合や、Ｍ＝３以上の整数の場合、また、Ｍが整数でない場合には、非線形最適化問題となる。

計算が線形最適化問題になる場合、図１１に示す共役勾配法の手順により評価関数Ｊを最小にするＧ画像ｆを計算することができる。図１２は、図１１に示す処理を行うための画像生成部２０２の構成例を示す。画像生成部２０２は、係数演算部５０１と、ベクトル演算部５０２と、演算部５０３とを有している。

係数演算部５０１は、係数行列Ａを計算する。ベクトル演算部５０２は、定数ベクトルｂを計算する。演算部５０３は、演算によって得られた行列Ａおよびベクトルｂを用いて、Ａｆ＝ｂの連立方程式を解く。図１１に示す処理は、主として演算部５０３の処理である。行列Ａおよびベクトルｂが求まり、制御部１０４から初期値および終了条件が与えられると図１１の処理が開始される。図１１の終了条件は、図１１に示すｋ＋１ステップ目での残差ｒ_k+1が十分小さくなったときである。

これにより、評価関数Ｊを最小化するＧ画像ｆを求めることができる。なお、図１１に示すアルゴリズムは公知であるため、詳細な説明は省略する。

一方、計算が非線形最適化問題となる場合には、図１３に示す準ニュートン法の手順により、Ｊを最小にするｆを計算することができる。この手法によるJの最小化、極小化は、ｆの初期解から始めて、Jのｆに関する勾配を用いて、よりJを小さくする様に、反復計算により解ｆを更新する。図１３においてＫｋは、ｓ_k≡ｆ_k+1−ｆ_k、ｙ_k＝∇Ｊ（ｆ_k）とおき、準ニュートン法のなかのＤＦＰ法では、以下のように計算する。

また、準ニュートン法のなかのＢＦＧＳ法では以下のように計算する。

以下、（数４）に関してより詳しく説明する。

画像ｆ、ｇ_Lおよびｇ_Sは、動画像の各Ｇ画素値を要素とする縦ベクトルである。縦ベクトルをどのように生成するかは種々考えられる。以下では、Ｇ画像についてベクトル表記は、図１４に示すようにジグザグに配列されている画素群（Ｇｓ画素およびＧＬ画素）の画素値を、そのジグザグの順序で並べて生成された縦ベクトルを意味する。関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆの要素数は、例えば、生成すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００／２×３０＝３０００００００となる。２で除算している理由は、画像ｆはＧ画素値を要素とする縦ベクトルであり、図１４などに示されている通り、Ｇ画素（Ｇｓ画素およびＧＬ画素）の数は、全体の画素数の半分だからである。

Ｇ画像ｆの縦横の画素数および信号処理に用いるフレーム数は、画像処理部１０５によって設定される。

長時間露光のサンプリング過程Ｈ₁は、行数がｇ_Lの要素数と等しく、列数がｆの要素数と等しい行列である。また、短時間露光サンプリング過程Ｈ₂は、行数がｇ_Sの要素数と等しく、列数がｆの要素数と等しい行列である。

現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数４）を最小化するｆを単一の処理で求めることはできない。本願の撮像処理装置では、２ラインごと（例えば幅２０００画素×高さ２画素）のみで処理を行なうことが可能なため、メモリアクセスを大幅に削減することができる。

このように、時間的、空間的な部分領域についてｆの一部を求める処理を繰り返すことにより、生成すべき動画像ｆを計算することができる。

次に、長時間露光のサンプリング過程Ｈ₁の定式化を簡単な例を用いて説明する。以下では、幅４画素（ｘ＝１，２，３，４）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１，２）の画像をベイヤ配列の単板カラー撮像素子１０２で撮像し、ｙ＝１のラインにおいて２フレーム分時間加算する場合のｇ_Lの撮像過程について考える。ここでは、例えば図３の最も左上の４画素ｘ２画素に対応して、ｙ＝２である２つの画素（ｘ，ｙ）＝（２，２）、および、（４，２）におけるＧ_Lのｔ＝１，２を想定している。

得られるＧ画像ｆの要素は、ｔ＝１、２を含めて以下の（数９）のように表される。

（数９）において、Ｇ₁₁₁〜Ｇ₄₂₂は各画素におけるＧの画素値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。

上記（数９）のうち、長時間露光を求めるために必要なのは、位置（２，２）についてはＧ₂₂₁およびＧ₂₂₂、位置（４，２）についてはＧ₄₂₁およびＧ₄₂₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。

行列Ｈ₁は、長時間露光のサンプリング過程であることを考慮して設定される。すなわち、ｙ＝１および２のラインにおける長時間露光の画素を得るためには、（ｘ，ｙ）＝（２，２）の位置におけるｔ＝１、２の各画素値を加算し、また（ｘ，ｙ）＝（４，２）の位置におけるｔ＝１、２の各画素値を加算する必要がある。これらによれば、長時間露光画像の撮像過程は以下のように定式化される。

次に、短時間露光のサンプリング過程Ｈ₂の定式化を簡単な例を用いて説明する。先の例と同様に、幅４画素（ｘ＝１，２，３，４）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１、２）の画像をベイヤ配列の撮像素子で撮像する場合について考える。

先のサンプリング過程Ｈ₁の例と同様、この例もまた、図３の最も左上の４画素ｘ２画素を想定する。ただし短時間露光であるため、図３のｙ＝１における短時間露光画素Ｇｓの画素値が、ｔ＝１および２について必要となる。すなわち、画素（ｘ，ｙ）＝（１，１）、および、（３，１）におけるＧｓの画素値が、ｔ＝１および２について必要となる。なお、得られるＧ画像ｆの要素は、（数９）の通りである。

上記（数９）のうち、短時間露光を求めるために必要なのは、位置（１，１）についてはＧ₁₁₁およびＧ₁₁₂、位置（３，１）についてはＧ₃₁₁およびＧ₃₁₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。

（数１２）の第１行および第２行が時刻ｔ＝１に関し、第３行および第４行が時刻ｔ＝２に関している。これらによれば、短時間露光ラインの撮像過程は以下のように定式化される。

（数１１）や（数１３）は、Ｇ画像ｆをベイヤ配列の単板撮像素子により露光時間を変えて撮像し、ｇ_L、ｇ_Sを得る過程を示す。逆に、ｇ_L、ｇ_Sからｆを生成する問題は、一般に逆問題といわれる。拘束条件Ｑのない場合、下記（数１４）を最小化するｆは無数に存在する。

このことは、サンプリングされない画素値に任意の値を入れても（数１４）が成り立つことから、容易に説明できる。そのため、（数１４）の最小化によってＧ画像ｆを一意に解くことはできない。

そこで、Ｇ画像ｆについての一意な解を得るために、拘束条件Ｑを導入する。Ｑとして、画素値ｆの分布に関する滑らかさの拘束や、ｆから得られる画像の動きの分布に関する滑らかさの拘束を与える。以下、それぞれの拘束の与え方を説明する。

まず、Ｇ画像ｆの画素値の分布に関する滑らかさの拘束としては、（数１５）もしくは（数１６）の拘束式を用いる。

ここで、ｘ’は図１４に示したように、ベイヤ配列中にジグザグに配列されているＧ画素群をそのジグザグの順序で一方向に並べなおした方向ベクトルである。図１５Ａおよび１５Ｂを参照しながら説明する。まず図１５Ａは図１４の画素配列における各画素に座標位置を付記した図である。この図において、２個の添字は順にｘ、ｙの値を示す。図１５Ｂは、図１５Ａにおいてジグザグに配列されていた画素群を、その順序で一方向に並べ直した図である。このとき、図示される方向にｘ‘軸およびｙ’軸を設定する。このｘ‘軸の方向が、上述した方向ベクトルの向きである。上述した例では、実際の画素は２ラインにわたって交互に配置されていたが、画素の配置を一方向に配列された画素として並び替えて処理する。

本明細書においては、実際の画素が複数のラインに亘って分散している状況であっても、画素の配置を並べ替えて一方向の画素として取り扱う。なお、図１５Ａおよび１５Ｂによれば、左から右に向かって１つの方向が規定されている。しかしながら、右から左に向かって１つの方向が規定されていてもよいし、上から下、下から上など、任意の方向に沿って一方向が規定され得る。

もちろん、Ｇ画像ｆの画素値の分布に関する滑らかさの拘束として、Ｒ画素値やＢ画素値も利用するようにしても構わない。この場合、滑らかさの拘束としては、（数１７）もしくは（数１８）の拘束式を用いる。

ここで、Ｃｉは以下の式でｆの要素のＲ，Ｇ，Ｂ値を変換したものである。

ここで、Ｒ，Ｂは、図２および図３に示す配列の単板カラー撮像素子１０２のＲ画素、およびＢ画素を補間処理することによって、図２および図３に示す配列の単板カラー撮像素子１０２のＧ画素位置におけるＲ画素値、および、Ｂ画素値を求めたものである。補間処理としては、既存の公知技術である、バイリニア補間処理やバイキュービック補間処理を利用すればよい。

（数１９）において、Ｃ₁、Ｃ₂、Ｃ₃を一般的な画像におけるＲＧＢの画素値の分布の第１主成分から、第３主成分にすることにより、滑らかさ拘束についての正則化パラメータの調整をＲＧＢ空間で行う場合よりも容易にできる。すなわち、Ｃ₁成分は輝度にほぼ等しく、Ｃ₂、Ｃ₃成分は２つの色成分とみなせ、個別にλｃｉを調整することによって、新たに生成される画像に対する滑らかさ拘束の各項の影響を制御できる。λ_C1からλ_C3の値は、３板撮影等で全画素読み出しした画素値が事前に用意できる場合には、生成画像のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）が最良となるように決めればよい。

なお、ＰＳＮＲは（数２０）で定義される。

ここで、ｆｍａｘは画素値の最大値（例えば、８ビット時２５５、１０ビット時１０２３）であり、σは正解画像と生成画像との差の標準偏差である。

一方、そうでない場合には、上記の値をもとにマニュアル操作で新たに生成した画質をみながらλｃｉを決めればよい。（数４）に示す通り、拘束条件Ｑも評価関数Ｊの一部を構成する。したがって、評価関数Ｊの値をできるだけ小さくするためには、拘束条件Ｑも小さい方が好ましい。

（数１５）および（数１７）に関しては、画素値ｆの分布の変化が少ないほど、Ｑの値は小さくなる。（数１６）および（数１８）に関しては、画素値ｆの分布の変化が一定であるほど、Ｑの値は小さくなる。これらが、画素値ｆの分布に関する滑らかさの拘束条件となる。

また、（数１４）で｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数４）、（数１４）におけるべき指数Ｍと同様に、演算量の観点から１または２が望ましい。

なお、上記の偏微分値∂Ｇ／∂ｘ’、∂²Ｇ／∂ｘ’²は、着目画素近傍の画素値による差分展開により、例えば（数２１）により近似計算できる。

差分展開は上記（数２１）に限らず、例えば（数２２）の様に、近傍の他の画素を参照するようにしてもよい。

（数２２）は（数２１）による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、０≦α≦１の範囲のαで重み付けをして、以下の式を採用してもよい。

差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、演算量や回路規模を少しでも小さくするために、（数２１）を用いてもよい。

（数１５）、（数１６）に示したような、動画像ｆの画素値の分布に関する滑らかさの拘束を導入して（数４）を解く問題に対しては、公知の解法、例えば有限要素法等の変分問題の解法を用いて計算することができる。

また、以上のように、ＲＧＢ画像ｆを１ライン目のＧと、２ライン目のＧとの２ラインごとに、２ラインごとに独立に計算することが可能なため、１次元上でのメモリアクセスのみで処理を行なうことができ、演算量ならびに回路規模を削減することができる。例えば、生成すべき動画像を横２０００画素、縦１０００画素とすると、幅１０００画素×高さ２画素ごとに処理することが可能である。そのため、メモリアクセスを大幅に削減することができる。

次に、ＲＧＢ画像ｆに含まれる画像の動きの分布に関する滑らかさの拘束を説明する。

ＲＧＢ画像ｆに含まれる画像の動きの分布に関する滑らかさの拘束としては、下記（数２４）または（数２５）を用いる。

ここで、ｕは動画像ｆから得られる各画素についての動きベクトルのｘ’方向の成分を要素とする縦ベクトル、ｖは動画像ｆから得られる各画素についての動きベクトルのｙ’方向の成分を要素とする縦ベクトルである。なお、ｘ’方向およびｙ’方向は、図１５Ａおよび図１５Ｂに示した、ベイヤ配列中にジグザクに配置されているＧ画素を一方向に並べなおした方向ベクトルである。

ｆから得られる画像の動きの分布に関する滑らかさの拘束としては、（数２４）、（数２５）に限らず、例えば（数２６）、（数２７）に示す１階または２階の方向微分としてもよい。

さらに、（数２８）〜（数３１）に示すように、（数２４）〜（数２７）の拘束条件を、ｆの画素値のこう配に応じて適応的に変化させてもよい。これにより、画像内のエッジ（輝度変化が不連続な境界）部分に対する滑らかさ拘束の影響を、画像の平坦部分と比べて小さくすることができるため、画像内のエッジをより鮮明に再現することができる。

ここで、ｗ（ｘ’，ｙ’）は、ｆの画素値のこう配に関する重み関数であり、（数３２）に示す画素値のこう配の成分の、べき乗和によって定義される。

また、（数３２）に示す輝度こう配の成分の２乗和の代わりに、（数３３）に示す方向微分の、べき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。

ここで、ベクトルｎ_maxおよび角度θは方向微分が最大になる方向であり、下記（数３４）によって与えられる。

このような重み関数を導入することにより、ｆの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、新たに生成される画像ｆが必要以上に平滑化されることを防ぐことができる。

（数２４）〜（数３１）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解く問題に関しては、ｆについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。新たに生成すべき画像ｆと動き情報（ｕ，ｖ）が相互に依存するためである。

この問題に対しては、公知の解法、例えばＥＭアルゴリズム等を用いた変分問題の解法を用いて計算することができる。その際、繰り返し計算に、新たに生成すべき画像ｆと動き情報（ｕ，ｖ）の初期値が必要になる。

ｆの初期値としては、入力画像の補間拡大画像を用いればよい。一方、動き情報（ｕ，ｖ）としては、動き検出部２０１において（数１）ないし（数２）を計算して求めた動き情報を用いる。その結果、画像処理部１０５が、上述のごとく、（数２４）〜（数３１）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解くことにより、処理結果の画質を向上させることができる。

画像処理部１０５における処理は、（数１５）、（数１６）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数２４）〜（数３１）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数３５）のように同時に用いてもよい。

ここで、Ｑ_fはｆの画素値のこう配に関する滑らかさの拘束、Ｑ_uvはｆから得られる画像の動きの分布に関する滑らかさの拘束、λ₁およびλ₂はＱ_f とＱ_uvの拘束に関する重みである。

なお、ここでは複数の拘束条件の式について説明したが、これらの最適な組み合わせは、コスト、演算規模、回路規模等の装置の状況に応じて決定すればよい。例えば、画質が最もよくなるものを選択するようにすればよい。「画質が最もよくなる」とは、例えばその映像を確認する者の主観に基づいて決定することができる。

画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数４）を解く問題も、公知の解法（例えばＥＭアルゴリズム等を用いた変分問題の解法）を利用することができる。

また、動きに関する拘束は、（数２４）〜（数３１）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆを関数ｆ（ｘ’，ｙ’，ｔ）として表すと、（数３６）のように表すことができる。

ｆをベクトルとして、画像全体について考えると、各画素における残差は下記（数３７）に示すようにベクトル表現することができる。

残差の平方和は下記（数３８）に示すように表すことができる。

（数３７）、（数３８）において、Ｈ_mはベクトルｆの要素数（時空間の総Ｇ画素数）×ｆの要素数の行列である。Ｈ_mでは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。

動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。

（数３８）をＱ_mとおき、拘束条件を（数３９）のようにしてもよい。

ここで、λ₃は拘束条件Ｑ_mに関する重みである。

以上述べた方法により、動き検出部２０１でＧ_SとＲ_SとＢ_Sの短時間露光画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたＧ動画像を画像処理部１０５で信号対雑音比（Ｓ／Ｎ）を向上させ、色にじみの少ない新たな動画像を生成することができる。

さらに、こうして生成したＧ画像と、Ｒ_SとＢ_Sの短時間露光画像を利用し、公知のデモザイキング処理を行なうことにより、画像処理部１０５は信号対雑音比（Ｓ／Ｎ）を向上させ、色にじみの少ない新たな動画像を生成することができる。本願の撮像処理装置は、２ラインごとに処理を行なうため、１次元上でのメモリアクセスのみで処理を行なうことができ、演算量ならびに回路規模を削減することができる。

また、本願の撮像処理装置は、Ｇ画像のみを生成し、Ｒ／Ｂ画素に関しては入力画像をそのまま利用することにより、演算量ならびに回路規模を削減しながら、色ずれを生じさせることなく、Ｓ／Ｎをより改善することができる。

なお、上述した画像処理部１０５におけるＲ，Ｇ，Ｂの画素値の計算方法は一例であり、他の計算方法を採用してもよい。

他の方法として、例えば最急勾配法などの反復演算型の最適化手法を用いて望ましい目的画像を求めてもよい。

以上説明したように、実施形態１によれば、単板撮像素子に時間加算の機能を付加し、２ラインごとに時間加算された入力画像から新たな画像を生成することによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートで、色にじみの少ない画像（時間加算を行なわずに全画素を読み出した画像）を推定し生成することができる。

（実施形態１の変形例）
実施形態１では、画像処理部１０５における処理に、（数１０）や（数１２）を用いた劣化拘束、動き検出を用いた動き拘束、画素値の分布に関する滑らかさ拘束の全てを用いる場合を主に述べた。

種々の拘束のうち、特に動き拘束については演算量が多く、装置の計算機資源を必要とする。そこで本変形例においては、これらの拘束のうち動き拘束を用いない処理を説明する。

図１６は、動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置２００の構成を示すブロック図である。画像処理部１０５の画像生成部１１１は、動き拘束を用いることなく、新たな画像を生成する。

図１６において、図１および図８と同じ動作をする構成要素には、図１および図８と同一の符号を付し、説明を省略する。

従来の技術では、動き拘束を用いない場合、処理結果に明らかな画質の低下が生じる。

しかしながら、本発明では顕著な画質低下を生じさせずに動き拘束を省くことができる。その理由は、Ｇ画像を生成する際、２ラインでジグザグ方向にスキャンすることにより、単板カラー撮像素子１０２の長時間露光および短時間露光を行うそれぞれの画素が、順番に混在しているためである。短時間露光によって撮影された画素と長時間露光によって撮影された画素が順番に混在するため、動き拘束を用いずに画像を生成した際に、短時間露光によって撮影された画素値が色にじみの発生を抑える効果がある。さらに、動き拘束条件を課すことなく新たな動画像を生成するため、演算量ならびに回路規模を低減することができる。

以下に、画像生成部１１１による高画質化処理を説明する。

（数４）においてＭ＝２とし、Ｑとして（数１７）ないし（数１８）を用い、これらの式におけるｍを２とする。そして、１階微分、２階微分の差分展開として（数２１）、（数２２）、（数２３）のいずれかを用いると、評価式Ｊはｆの２次式となる。評価式を最小化するｆの計算は、（数４０）により、ｆについての連立方程式の計算に帰着する。

ここで、解くべき連立方程式を（数４１）のようにおく。

（数４１）において、ｆは生成する画素数（１フレームのＧ画素数×処理するフレーム数）分の要素を持つため、（数４１）の計算量は通常、非常に大規模になる。しかし、本願の撮像処理装置では、２ラインごと（例えば幅１０００画素×高さ２画素×処理するフレーム数）のみで処理を行なうことが可能なため、メモリアクセスを大幅に削減し、演算量ならびに回路規模を削減することができる。

このような連立方程式の解法として、共役勾配法や最急降下法等の繰り返し計算により解ｆを収束させる方法（繰り返し法）が一般的に用いられる。

動き拘束を用いずにｆを求める際には、評価関数が劣化拘束項と滑らかさ拘束項だけになるため、処理がコンテンツに依存しなくなる。このことを利用すると、連立方程式（数４１）の係数行列Ａの逆行列をあらかじめ計算でき、これを用いることで直接法により画像処理を行うようにできる。

（数１８）に示す滑らかさ拘束を用いる場合、ｘ’方向の２階偏微分は、例えば、（数２１）に示すように１，−２，１の３つの係数のフィルタとなり、その２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。これらの係数は、水平方向のフーリエ変換と逆変換とで係数行列を挟むことにより、対角化することができる。同様に、長時間露光の劣化拘束も、時間方向のフーリエ変換と逆フーリエ変換とで係数行列を挟むことにより、対角化することができる。すなわち、（数４２）のように行列をΛと置くことができる。

これにより、１行あたりのノンゼロ係数の数を係数行列Ａと比べて低減させることができる。その結果、Λの逆行列Λ^-1の計算が容易になる。そして、（数４３）および（数４４）により、ｆを直接法により、繰り返し計算を行わずに、より少ない演算量と回路規模で求めることができる。

（実施形態２）
近年、多くの機器において電子式ビューファインダが利用され始めている。しかしながら、特許文献１に記載の技術によってそのような電子式ビューファインダを実現しようとすると、撮影時にビューファインダに色にじみや遅延のない映像を表示することが困難であった。その理由は、ある１つの色について全画素で長時間露光をしているためである。

これに対して、本発明の実施形態２では、第１色から第３色までのすべてで、一部またはすべての画素を短時間露光で撮影している。そのため、本実施形態では、短時間露光で撮影された画素の情報をビューファインダに表示することにより、遅延や色にじみのない映像を撮影者に提示する。

図１７は、本実施形態における撮像処理装置４００の構成を示すブロック図である。図１７において、図１と同一の動作をするものについては、図１と同一の符号を付し、説明を省略する。

撮像処理装置４００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、画像処理部１０５と、表示制御部８０１と、表示部８０２とを備えている。

単板カラー撮像素子１０２によって短時間露光撮影された画素信号は、表示制御部８０１に入力される。

表示制御部８０１は、入力された短時間露光画像の画素信号に表示のための処理を施す。たとえば表示制御部８０１は、簡単な補間処理によって、ＲＧＢ各色のサンプリング位置を揃え、また、アスペクト比を調整する。本願の撮像処理装置では、ＲＧＧＢ４画素のうち、ＲＧＢ３画素を短時間露光で撮影する。そのため、表示制御部８０１は、これらの短時間露光画素を補間処理することで、表示のための処理を行なう。

一例として、図１８は、短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理を行い、その後、各色画像を縮小して表示部８０２に表示するための各色画像を生成する処理の概念図である。他の例として、図１９は、短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理およびアスペクト比の変更処理を行って表示部８０２に表示するための各色画像を生成する処理の概念図である。表示制御部８０１は、図１８および図１９に示すような処理を行った後、各色画像に、サンプリング位置を揃えるための位置合わせ処理を行い、表示部８０２に表示する。

撮影者は、表示された画像を見ることで、構図やフォーカス調整を行うことができる。

以上述べたように、本発明にかかる撮像処理装置は、光学系、撮像素子、読み出し制御部、画像処理部を有し、小型撮像素子による高解像度かつ高感度撮影向けの技術として有用である。

なお、上述の実施形態では、読み出し制御部１０３、制御部１０４、画像処理部１０５、表示制御部８０１は異なる構成要素として図示し、説明した。また、表示制御部５０９および画像処理部５１０（図１３）も異なる構成要素として図示し、説明した。これらは各々が別個のプロセッサによって実現され得る。しかしながらその構成は一例である。２以上の構成要素の機能を、１つのプロセッサによって実現してもよい。もちろん、全ての構成要素の機能を、１つのプロセッサによって実現してもよい。その場合には、たとえば上述した各構成要素の動作に対応する動作を行うためのプログラムモジュールを用意しておき、当該プロセッサがある時点においていずれか１つのまたは複数のプログラムモジュールを実行すればよい。これにより、上述した各構成要素の動作が１つプロセッサによって実現されることになる。

上述したある例示的な実施形態によれば、撮像処理装置の単板カラー撮像素子は、所定のフレームレートに対応する露光時間で露光して得られた画素信号が読み出される複数の第１画素（短時間露光画素）および当該所定のフレームレートよりも長い露光時間で露光して得られた画素信号が読み出される複数の第２画素（長時間露光画素）を有している。この単板カラー撮像素子は、第１色成分の光を第１画素および第２画素の各々で検出し、第２色成分および第３色成分の光は第１画素で検出する画素が複数設けられている。この単板カラー撮像素子を用いることで、２ラインごとに第１色成分について、あるフレームレートで動画像の画素信号と、当該フレームレートよりも長い露光時間で撮影された動画像の画素信号とが得られる。これにより、第１色成分の動画像を常に長時間露光によって撮影した場合と比較して、被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。

本願の他の例示的な実施形態によれば、撮像処理装置は、複数の画素を、２種類の画素、すなわち長時間露光の画素と、短時間露光の画素とに分け、各種類の画素から信号を読み出す。そして、読み出し信号に対して、新たな画像を生成する処理を行うことにより、全て長時間露光のみによって画像信号を得た場合と比較して被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。

なお、本明細書における画像処理部１０５は装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した画像処理部１０５の動作を行ってもよい。そのようなコンピュータプログラムは、たとえば図９のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。

上述の実施形態においては、Ｒ，ＧおよびＢの３色でカラー動画像を撮影し、Ｇのみ短時間露光と長時間露光の両方で撮像するとして説明した。しかしながら、これらの色成分の分け方は一例である。例えば、シアン、マゼンタ、イエローの３色のカラーフィルタを用いてもよい。また、３色ではなく、２色または４色以上のフィルタを用いてもよい。

本発明の撮像装置および処理装置は、低光量時の高解像度撮影や小型画素による撮像に有用である。また、プログラムとしても適用が可能である。

１００ 撮像処理装置
１０１ 光学系
１０２ 単板カラー撮像素子
１０３ 読み出し制御部
１０４ 制御部
１０５ 画像処理部

Claims (7)

1. 第１露光時間で画素値を読み出すことが可能な第１種類の複数の画素および前記第１露光時間よりも長い第２露光時間で画素値を読み出すことが可能な第２種類の複数の画素を有する単板カラー撮像素子と、
   前記第１種類の複数の画素から前記第１露光時間で読み出された画素値と、前記第２種類の複数の画素から前記第２露光時間で読み出された画素値とに基づいて、所定のフレームレートを有する新たな動画像を生成する画像処理部と
   を備えた撮像処理装置であって、
   前記単板カラー撮像素子は、第１色成分の光を前記第１露光時間および前記第２露光時間の各々で検出し、第２色成分および第３色成分の光を前記第１露光時間で検出し、
   前記画像処理部は、
   前記第１色成分の光を検出した前記第１画素および前記第２画素の画素値に基づいて得られた、被写体の前記第１色成分の動画像を受け取り、
   （ａ）前記第１露光時間で読み出された前記第１色成分の動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、
   （ｂ）前記第２露光時間で読み出された前記第１色成分の動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差、および
   （ｃ）画素値の分布に関する拘束条件項であって、前記第１色成分の動画像を構成する画像の、複数のラインにわたって配置されている画素群を一方向に配列された画素群として並び替えたときの前記画素群の画素値の分布に関する拘束条件項
   を含む評価式を設定し、前記評価式を予め定められた所定の条件で満足する動画像を、前記新たな動画像として求める、撮像処理装置。
2. 前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、前記拘束条件項を設定する、請求項１に記載の撮像処理装置。
3. 前記画像処理部は、前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項２に記載の撮像処理装置。
4. 前記画像処理部は、前記第１色成分の動画像を構成する画像の、２ラインにわたって配置されている画素群を一方向に配列された画素群として並び替えたときの前記画素群の画素値の分布に関する拘束条件項を設定する、請求項１に記載の撮像処理装置。
5. 前記第１色成分の動画像を構成する画像は、直交する第１方向および第２方向に沿って配列された画素群によって構成されており、
   前記第２方向に沿って隣接する第１ラインおよび第２ラインに関し、前記第１色成分の画素群は、第１方向に沿って、前記第１ラインおよび前記第２ラインに交互に配列され、
   前記画像処理部は、交互に配列された前記第１色成分の画素群を、一方向に配列された画素群として並び替えたときの前記画素群の画素値の分布に関する拘束条件項を設定する、請求項４に記載の撮像処理装置。
6. 前記画像処理部は、
   前記第１露光時間で読み出された画素値に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、
   前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部と
   を備えた、請求項１から４のいずれかに記載の撮像処理装置。
7. 前記第１露光時間で読み出された画素値に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、
   前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部と
   をさらに備えた、請求項１から６のいずれかに記載の撮像処理装置。

Images