JP2013223211A - 撮像処理装置、撮像処理方法、およびプログラム - Google Patents

Abstract

【課題】光量を確保しＳ／Ｎを改善しつつ、色にじみを低減した画像を得る。
【解決手段】撮像処理装置は、第１のフレームレートおよびそれよりも低い第２のフレームレートで読み出される画素の両方を有する単板カラー固体撮像素子であって、該単板カラー固体撮像素子は、前記第１および第２のフレームレートで読み出される画素が３：１の割合で交互に並ぶ水平行と、前記２種の画素が１：３の割合で交互に並ぶ水平行が、垂直方向に交互に並んでいる。また、該撮像処理装置は、入力カラー画像をＲＧＢの３色成分に分離する画像分離部４０１、各色の前記第１のフレームレートの出力画像を生成する単色画像処理部４０２、４０３ならびに４０４、および各色の出力画像からカラー画像を生成する画像統合部４０５を有し、単色画像処理部では、画素値の空間的な滑らかさに関する拘束を、同一垂直・水平ライン上あるいは斜め方向に隣接する同色画素同士に対して適用する。
【選択図】図４

Description

本願は、動画像を生成する撮像処理装置、撮像処理方法および画像処理プログラムに関する。

従来の撮像処理装置においては、高解像度化を図る目的で撮像素子の画素数が増加する傾向にあった。しかし、撮像素子全体のサイズを大きくするには限界があるため、各画素を小型化せざるを得ない。その一方、画素寸法が小型化されるほど、撮像素子の１画素に入射する光量が減少していた。その結果、各画素の信号対雑音比（Ｓ／Ｎ）の低下につながり、画質を維持することが困難であった。

特許文献１は、赤、緑、青のそれぞれ光を検出する３枚の撮像素子を利用し、露出時間を制御して得られる信号を処理することによって、高解像度で高フレームレートかつ高感度の画像の復元を実現することを開示している。この技術では、２種類の解像度の撮像素子が用いられている。一方の高解像度な撮像素子は長時間露出で画素信号を読み出し、他方の低解像度な撮像素子は短時間露出で画素信号を読み出す。これにより、光量を確保していた。

さらに、特許文献２は、特許文献１の手法を単板カメラに拡張し、単板カメラであっても各画素の信号対雑音比（Ｓ／Ｎ）の低下を抑えながら、画質の維持を実現することを開示している。

特開２００９−１０５９９２号公報 国際公開ＷＯ２０１０／０９００２５号公報

本発明の実施形態は、動きぶれに起因する画質の低下を低減することができる撮像処理の技術を提供する。

ある実施形態において、撮像処理装置は、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができる、単板カラー撮像素子と、前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成する画像処理部とを備え、前記画像処理部は、前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項とを含む評価式を設定し、前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、前記評価式を最小化する動画像を、前記新たな動画像として求める。

ある実施形態において、前記画像処理部は、前記第１色画素から前記第１のフレームレートで読み出された画素値と、前記第１色画素から前記第２のフレームレートで読み出された画素値とに基づいて、第１のフレームレートの第１色動画像を生成する第１の単色画像処理部と、前記第２色画素から前記第１のフレームレートで読み出された画素値と、前記第２色画素から前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの第２色動画像を生成する第２の単色画像処理部と、前記第３色画素から前記第１のフレームレートで読み出された画素値と、前記第３色画素から前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの第３色動画像を生成する第３の単色画像処理部とを備え、前記第１、第２および第３動画像から前記カラー動画像を生成する。

ある実施形態において、前記画像処理部は、前記第１の単色画像処理部から出力された前記第１色動画像と、前記第２の単色画像処理部から出力された前記第２色動画像と、前記第３の単色画像処理部から出力された前記第３色動画像とを格納するメモリを備える。

ある実施形態において、前記画像処理部は、前記評価式は、前記第１の差、第２の差、および拘束条件項の各々に乗算された重み係数を含む。

ある実施形態において、前記第１色画素、第２色画素および第３色画素は、それぞれ、緑色画素、赤色画素および青色画素である。

ある実施形態において、前記画像処理部は、前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像または前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項を前記評価式に含める。

ある実施形態において、画像処理方法は、単板カラー撮像素子から得られる画素値に基づいて画像処理を行う画像処理方法であって、前記単板カラー撮像素子は、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができ、前記単板カラー撮像素子によって前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とを取得するステップと、前記第１のフレームレートで読み出された前記画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成するステップとを含み、前記新たな動画像を生成するステップにおいて、前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項とを含む評価式を設定し、前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、前記評価式を最小化する動画像を、前記新たな動画像として求める。

ある実施形態において、前記第１のフレームレートの新たな動画像を生成するステップは色ごとに実行し、その後、前記第１のフレームレートのカラー画像を生成するステップを含む。

ある実施形態において、画像処理プログラムは、単板カラー撮像素子から得られる画素値に基づいて画像処理を行うための画像処理プログラムであって、前記単板カラー撮像素子は、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができ、コンピュータに、前記単板カラー撮像素子によって前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とを取得するステップと、前記第１のフレームレートで読み出された前記画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成するステップとを実行させ、前記新たな動画像を生成するステップにおいて、前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項とを含む評価式を設定し、前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、前記評価式を最小化する動画像を、前記新たな動画像として求める。

ある実施形態において、前記第１のフレームレートの新たな動画像を生成するステップは色ごとに実行し、その後、前記第１のフレームレートのカラー画像を生成するステップを含む。

本発明によれば、複数の色の各々について、フレームレートが異なる画像を得て画像処理を行うため、動きぶれに起因する画質の低下を低減することができる。

本発明の実施形態１による撮像処理装置１００の構成を示すブロック図 単板カラー撮像素子１０２の画素配列の一例を示す図 本発明における単時間露出画像と長時間露出画像の配置の例を示す図 実施形態１のカラー画像処理部１０５の内部構成を示す図 共役勾配法の処理手順を示すフローチャート 図５に示す処理を行うためのＲ画像処理部４０２の構成例を示す図 実施形態１の画像分離部４０１により取り出したＲ画素の配列の例を示す図 実施形態１の画像分離部４０１により取り出したＧ画素の配列の例を示す図 実施形態１のＧ画素に対する滑らかさ拘束の適用範囲を示す図 実施形態１の画像分離部４０１により取り出したＢ画素の配列の例を示す図 実施形態２のカラー画像処理部１０５の内部構成例を示す図 （ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図 実施形態２のカラー画像処理部１０５の他の内部構成例を示す図 実施形態３の画素配列の例を示す図 実施形態１のＲ画素に対する滑らかさ拘束の適用範囲を示す図 実施形態１のＢ画素に対する滑らかさ拘束の適用範囲を示す図 単板カラー固体撮像素子１０２の構成の例を示す図 単板カラー固体撮像素子１０２の画素アレイ１７０１の詳細な構成を示す図 第１実施形態における滑らかさ拘束の適用範囲の他の例を示す図 単板カラー撮像素子１０２の画素アレイ１７０１のカラーフィルタの配列の他の例を示す図 本発明の一態様における撮像処理装置が備える単板カラー撮像素子における画素配置の例を示す平面図

前述の従来技術では、Ｇ成分画像を長時間露出で撮像する。このため、例えば被写体がシステム規定の検出範囲よりも大きく動く場合や、被写体の変形を伴うような複雑な動きをする場合などＲＢ成分画像で動きの検出がうまく動作しなかった場合に、Ｇ成分の動きぶれが除去しきれずに復元画像に残る。また、被写体の変形を伴うような複雑な動きをする場合などＲＢ成分画像で動きの検出がうまく動作しなかった場合も同様である。Ｇ成分の動きぶれが除去しきれずに復元画像に残ると、緑色またはその補色であるマゼンタの色にじみが発生する。そのため、多くの場合得られた動画像の画質は高かったものの、動きの検出が困難な一部の範囲においては、復元した画像上に前記色にじみが見られることがあり、画質改善の余地があった。また、特許文献２においても、さらなるＳ／Ｎの改善が望まれている。

本発明の一態様における撮像処理装置は、単板カラー撮像素子と画像処理部とを備える。この単板カラー撮像素子では、図２１に例示されるように、第１画素ユニットと第２画素ユニットとが行および列状に交互に配列されている。第１画素ユニットでは、２個の第１色画素（１Ｓ，１Ｌ）、１個の第２色画素（２Ｓ）、および１個の第３色画素（３Ｓ）がベイヤ配列を形成するように配列されている。第２画素ユニットでは、２個の第１色画素（１Ｓ，１Ｌ）、１個の第２色画素（２Ｌ）、および１個の第３色画素（３Ｌ）がベイヤ配列を形成するように配列されている。ある実施形態において、第１色画素、第２色画素および第３色画素が、それぞれ、緑の画素、赤の画素および青の画素に対応される。３つの色は、緑、赤および青に限定されず、これらの補色であってもよい。第１画素ユニットおよび第２画素ユニットは、画素の周期的な二次元配列を構成する要素にすぎず、各々の画素ユニットの間に特別な境界が設けられているわけではない。また、現実の画素の配列を固定したまま、各画素ユニットを例えば１画素分だけ相対的に移動させてもよい。

第１画素ユニットにおける２個の第１色画素（１Ｓ，１Ｌ）の一方（１Ｓ）、第２色画素（２Ｓ）および第３色画素（３Ｓ）、ならびに第２画素ユニットにおける２個の第１色画素（１Ｓ，１Ｌ）の一方あって第１画素ユニットにおける第１色画素の前記一方（１Ｓ）と同じ行に位置する第１色画素（１Ｓ）からは画素値が第１のフレームレート（Ｓ： Ｓｈｏｒｔ）で読み出される。

また、第１画素ユニットにおける２個の第１色画素（１Ｓ，１Ｌ）の他方（１Ｌ）、ならびに第２画素ユニットにおける２個の第１色画素の他方（１Ｌ）、第２色画素（２Ｌ）および第３色画素（３Ｌ）からは画素値が、第１のフレームレートよりも低い第２のフレームレート（Ｌ： Ｌｏｎｇ）で読み出される。

画像処理部は、第１のフレームレートで読み出された画素値と、第２のフレームレートで読み出された画素値とに基づいて、第１のフレームレートの新たな動画像を生成する。実施形態における画像処理部は、第１のフレームレートで読み出された画素値と、第２のフレームレートで読み出された画素値とに基づいて、第１のフレームレートの新たな動画像を生成する処理を、色毎に実行する。そして、色ごとに得られた第１のフレームレートの動画像から第１のフレームレートのカラー画像を得ることが可能になる。

以下、添付の図面を参照しながら、本発明による撮像処理装置の実施形態を詳細に説明する。

（実施形態１）
図１は、本実施形態における撮像処理装置１００の構成を示すブロック図である。撮像処理装置１００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、カラー画像処理部１０５とを備えている。以下、撮像処理装置１００の各構成要素を詳細に説明する。

光学系１０１は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像する。

単板カラー撮像素子１０２は、赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタアレイが各画素に装着された撮像素子である。図２は、単板カラー撮像素子１０２の一例を示す。単板撮像素子の各画素（フォトダイオード）に対応して、ベイヤ配列と呼ばれる配列のカラーフィルタアレイが装着されている。図中の"Ｒ"、"Ｇｒ"および"Ｇｂ"、"Ｂ"はそれぞれ「赤」、「緑」、「青」のフィルタを示している。ここで、"Ｇｒ"とはＲ成分のカラーフィルタと同一の行に配置されるＧ成分のカラーフィルタを示し、"Ｇｂ"とはＢ成分のカラーフィルタと同一の行に配置されるＧ成分のカラーフィルタを示す。

単板カラー撮像素子１０２の各画素は、光学系１０１によって結ばれた光（光学像）を、それぞれに対応して設けられた赤、緑または青のフィルタを通して受け取る。各画素は、画素単位で光電変換を行い、各画素に入射した光の量に応じた画素値（画素信号）を出力する。同じフレーム時刻に撮影された、同じ色成分の画素信号により、その色成分ごとの画像が得られる。全ての色成分の画像により、カラー画像が得られる。

以下、本明細書および図面において、赤、緑、青の光を検出する画素を、それぞれ"Ｒ"、"Ｇ"、"Ｂ"によって表すとする。撮像素子の各画素から出力される画素信号は、Ｒ，Ｇ，Ｂいずれかの色に関する画素値を持つ。以下、赤、緑、青の色成分の光を検出する画素を、それぞれＲ画素、Ｇ画素ならびにＢ画素と呼ぶ。また、図３において"Ｇｒ"、"Ｇｂ"と記載のある位置の画素については、それぞれＧｒ画素、Ｇｂ画素と呼ぶ。ここでいう"Ｇ画素"とは、Ｇｒ画素とＧｂ画素を総称したものである。

この説明から明らかな通り、撮像素子の各画素は、各色のカラーフィルタを透過した光を受け、受けた光の強さに応じた信号を出力する撮像素子の１単位である。

読み出し制御部１０３は、図２に示す配列の単板カラー撮像素子１０２の各画素の電荷（画素値）の露出時間（または読み出しタイミング）を独立して読み出す。読み出し方法は以下に詳細に説明するとおりである。読み出し制御部１０３の読み出し動作は、制御部１０４による制御に基づいて実行される。

図３に、本実施形態における短時間露出画像と長時間露出画像の配置の例を示している。画素信号の読み出しは、ライン単位で行われる。図３において、Ｒ、Ｇｒ、Ｇｂ、Ｂの添え字Ｓは短時間露出を示し、添え字Ｌは長時間露出を示す。

本願明細書では、「短時間露出」とは、一般的な動画撮影時の１フレームの時間だけ露光することを意味する。例えば「短時間露出」とは、フレームレートが３０フレーム／秒（３０ｆｐｓ）の場合には１／３０秒の露出時間で露光することに相当する。フレームレートが６０フレーム／秒（６０ｆｐｓ）の場合には１／６０秒である。一方、長時間露出とは、１フレームの露光に要する時間よりも長い時間、例えば２フレームから１０フレーム程度の露光することを意味する。

図１７に、本実施形態にかかる単板カラー固体撮像素子１０２の構成の一例を示す。単板カラー固体撮像素子１０２は、画素アレイ１７０１、Ｇ成分ＡＤ変換部１７０２、Ｇ成分ＨＳＲ１７０３、ＲＢ成分ＡＤ変換部１７０４、ＲＢ成分ＨＳＲ１７０５ならびに撮像制御部１７０６を備える。画素アレイ１７０１は、図３に示すカラーフィルタ配置および長時間露光の画素・短時間露光の画素の配置が実装され、各色成分の入射光を光電変換する。Ｇ成分ＡＤ変換部１７０２は、画素アレイ１７０１から得られたＧ画素の出力信号を、アナログ‐デジタル変換する。Ｇ成分ＨＳＲ１７０３は、Ｇ成分ＡＤ変換部１７０２の出力を、単板カラー固体撮像素子１０２の外部に出力する。ＲＢ成分ＡＤ変換部１７０４は、画素アレイ１７０１から得られたＲおよびＢ画素の出力信号をアナログ‐デジタル変換する、ＲＢ成分ＨＳＲ１７０５は、ＲＢ成分ＡＤ変換部１７０４の出力を、単板カラー固体撮像素子１０２の外部に出力する。撮像制御部１７０６は、長時間および短時間のそれぞれの露出時間に対応する読み出し信号を、画素アレイ１７０１に供給する。

また、図１８に、画素アレイ１７０１の詳細な構成の一例を示す。図１８において、長時間露出で撮像する画素（添え字Ｌ）については、長時間読み出し信号線１８０１が接続され、長時間露出・低フレームレートで読み出される。短時間露出の画素（添え字Ｓ）については、短時間読み出し信号線１８０２が接続され、短時間露出・高フレームレートで読み出される。前記長時間読み出し信号線１８０１および短時間読み出し信号線１８０２は、図１７における撮像制御部１７０６に接続されており、撮像制御部１７０６からそれぞれの露出時間に対応する読み出し信号を受け取る。この構成は、上下に隣接する２つの画素で長時間読み出し信号線１８０１あるいは短時間読み出し信号線１８０２を共有するため、２つの水平画素列を同時に読み出すことができ、読み出しの高速化を図ることができる。また、図１８の構成において、同時に読み出された画素の出力信号が互いに混合することを避けるために、Ｇ信号出力線１８０３とＲＢ信号出力線１８０４がそれぞれ別個に設けられている。

再び図１を参照する。

カラー画像処理部１０５は、短時間露出画像データと長時間露出画像データを受け取り、これらに画像処理を行うことによって、各画素における画素値（例えば、Ｒ，Ｇ，Ｂの画素値）を推定し、高解像度カラー動画像を生成する。

図４に、カラー画像処理部１０５の詳細な構成の一例を示す。カラー画像処理部１０５は、画像分離部４０１、Ｒ画像処理部４０２、Ｇ画像処理部４０３、Ｂ画像処理部４０４および画像統合部４０５を備える。画像分離部４０１は、図４に示すように、Ｒ、Ｇｒ、Ｇｂ、Ｂのすべての色成分を含む入力画像を、Ｒ成分の画素のみを含む画像（以下Ｒ成分画像）、Ｇ成分のみの画素を含む画像（Ｇ成分画像）ならびにＢ成分の画素のみを含む画像（Ｂ成分画像）の３つに分解する。なお図４においては、図３におけるＧｒＬ画素とＧｂＬ画素を併せてＧＬと表記し、また同図におけるＧｒＳ画素とＧｂＳ画素を併せてＧＳと表記している。Ｒ画像処理部４０２は、ＲＬ画素およびＲＳ画素の画素値から、画像処理を行うことによって各Ｒ画素位置における出力画像の画素値を生成する。Ｇ画像処理部４０３は、ＧＬ画素およびＧＳ画素の画素値から、画像処理を行うことによって各Ｇ画素位置における出力画像の画素値を生成する。Ｂ画像処理部４０４は、ＢＬ画素およびＢＳ画素の画素値から、画像処理を行うことによって各Ｂ画素位置における出力画像の画素値を生成する。

、画像統合部４０５は、Ｒ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４から出力された各色成分画像を統合し、最終的なカラー画像を生成する。画像統合部４０５の具体的例は、メモリである。Ｒ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４から出力された各データがメモリ内に記録され得る。このメモリから各色のデータを読み出せば、カラー画像を得ることができる。従って、最終的なカラー画像の生成とは、カラー画像を表示することではなく、カラー画像を構成する各色のデータを揃えることを意味する。各色のデータは、同一メモリ内の異なる領域に分けて格納されてもよいし、異なるメモリに分けて格納されてもよい。また、各色のデータが混在した形でメモリ内に格納されてもよい。

次に、図４におけるＲ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４の詳細な動作について説明する。これらのそれぞれの処理内容は一部を除いて同一であり、これ以降Ｒ画像処理部４０２を例にとって説明する。Ｒ画像処理部４０２における処理内容の説明の後、Ｇ画像処理部４０３、Ｂ画像処理部４０４における処理の、Ｒ画像処理部４０２との差分点について述べる。

＜各画素におけるＲ画素値の生成処理＞
Ｒ画像処理部４０２は、次式で表される評価関数（評価式）Ｊ_Rを最小化して、各々のＲの画素値を計算する。

ここで、Ｈ_1Rは長時間露出のサンプリング過程、Ｈ_2Rは短時間露出のサンプリング過程、ｆ_Rは新たに生成すべき高空間解像度かつ高時間解像度のＲＧＢ画像である。また、λ_LRおよびλ_SRは重み係数である。単板カラー撮像素子１０２によって撮像されたＲの短時間露出画像をｇ_SR、長時間露出画像をｇ_LRとする。Ｍはべき指数、Ｑは生成すべき画像ｆ_Rが満たすべき条件、すなわち拘束条件である。

（数１）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。

（数１）の第１項は、生成すべきＲ画像ｆ_Rを、長時間露出のサンプリング過程Ｈ_1Rによってサンプリングして得られた画像と、実際に長時間露出画像として得られた、ｇ_LRとの差の演算を意味する。長時間露出のサンプリング過程Ｈ_1Rを予め定めておき、この差分を最小化するｆ_Rを求めると、そのｆ_Rは、長時間露出によって得られたｇ_LRと最もよく整合するといえる。第２項についても同様に、差分を最小化するｆ_Rは、短時間露出によって得られたｇ_SRと最もよく整合するといえる。また、第３項は、解ｆ_Rを一意に決定するための拘束条件（拘束条件項）である。

そして、（数１）の評価関数Ｊ_Rを最小化するＲ画像ｆ_Rは、長時間露出および短時間露出によって得られたｇ_LRおよびｇ_sRの両方を総合的によく満足するといえる。画像生成部２０２は、数１を最小化するＲ画像ｆ_Rを計算することで、Ｓ／Ｎが改善されたＲ画像の画素値を生成する。

（数１）のＪ_Rの最小化は、∂Ｊ_R／∂ｆ_R＝０となるＲ画像ｆ_Rを求めることによって行う。この計算は、（数１）においてＭ＝２でかつ、Ｑがｆ_Rの２次形式の場合には、上述のJのf_Rによる偏微分∂J_R/∂ｆ_Rがｆ_Rの1次式になるため、線形最適化問題となり連立方程式Ａ_Rｆ_R＝ｂ_Rの計算に帰着する。すなわち、（数１）をｆ_Rで偏微分すると、以下のようになる。

（数２）において、Ｑがｆ_Rの２次形式であることを仮定し、次のように書き直す。

ここでＱ_Mは列数がｆ_Rの要素数に等しい行列であり、||・||はベクトルのノルムを表す。（数２）に（数３）を代入し、右辺＝０とおいて変形することで以下の連立方程式を得、Ｒ画像ｆ_Rを計算できる。

一方、Ｍ＝１の場合や、Ｍ＝３以上の整数の場合、また、Ｍが整数でない場合には、非線形最適化問題となる。

図５は、共役勾配法の処理手順を示す。計算が線形最適化問題になる場合、図５に示す共役勾配法の手順により評価関数Ｊ_Rを最小にするＲ画像ｆ_Rを計算することができる。図６は、図５に示す処理を行うためのＲ画像処理部４０２の構成例を示す。Ｒ画像処理部４０２は、係数演算部５０１と、ベクトル演算部５０２と、演算部５０３とを有している。なお、図４のＧ画像処理部４０３、Ｂ画像処理部４０２についても、図６のＲ画像処理部４０２の構成と同様に実現できる。

係数演算部５０１は、係数行列Ａ_Rを計算する。ベクトル演算部５０２は、定数ベクトルｂ_Rを計算する。演算部５０３は、演算によって得られた行列Ａ_Rおよびベクトルｂ_Rを用いて、Ａ_Rｆ_R＝ｂ_Rの連立方程式を解く。図５に示す処理は、主として演算部５０３の処理である。行列Ａ_Rおよびベクトルｂ_Rが求まり、制御部１０４から初期値および終了条件が与えられると図５の処理が開始される。図５の終了条件は、図５に示すｋ＋１ステップ目での残差ｒ_k+1が十分小さくなったときである。

これにより、評価関数Ｊ_Rを最小化するＲ画像ｆ_Rを求める。なお、図５に示すアルゴリズムは公知であるため、詳細な説明は省略する。

以下、（数１）に関してより詳しく説明する。

画像ｆ_R、ｇ_LRおよびｇ_SRは、動画像の各画素値を要素とする縦ベクトルである。以下では、画像についてベクトル表記は、画素値をラスタースキャン順に並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆ_Rの要素数は、例えば、生成すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。

Ｒ画像ｆ_Rの縦横の画素数および信号処理に用いるフレーム数は、カラー画像処理部１０５あるいはＲ画像処理部４０２によって設定される。

長時間露出のサンプリング過程Ｈ_1Rは、行数がｇ_LRの要素数と等しく、列数がｆ_Rの要素数と等しい行列である。また、短時間露出サンプリング過程Ｈ_2Rは、行数がｇ_SRの要素数と等しく、列数がｆ_Rの要素数と等しい行列である。

現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数１）を最小化するｆ_Rを単一の処理で求めることはできない。この場合、時間的、空間的な部分領域についてｆ_Rの一部を求める処理を繰り返すことにより、生成すべき動画像ｆ_Rを計算することができる。

次に、長時間露出のサンプリング過程Ｈ_1Rの定式化を簡単な例を用いて説明する。図７には、幅４画素（ｘ＝１〜４）、高さ４画素（ｙ＝１〜４）、２フレーム（ｔ＝１，２）の画像をベイヤ配列の単板カラー撮像素子１０２で撮像し、画像分離部４０１によってＲ成分画像のみが取り出された場合の画素配列を示す。これは、図３に示す画素配列において、左側半分の４×４画素の領域に対し、画像分離部４０１における処理を適用したものと同等である。以下、図７の画素配列で、長時間露出で撮像する画素（図３中で"ＲＬ"の記載がある画素）において２フレーム分時間蓄積する場合のｇ_LRの撮像過程について考える。

得られるＲ画像ｆ_Rの要素は、ｔ＝１、２を含めて以下の（数５）のように表される。

（数５）において、Ｒ₁₁₁〜Ｒ₃₃₂は各画素におけるＲの画素値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。

上記（数５）のうち、長時間露出を求めるために必要なのは、位置（１，１）にあるＲ₁₁₁およびＲ₁₁₂、位置（３，３）にあるＲ₃₃₁およびＲ₃₃₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。

行列Ｈ_1Rは、長時間露出のサンプリング過程であることを考慮して設定される。すなわち、位置（１，１）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（１，１）の位置におけるｔ＝１、２の各画素値を加算する必要がある。また、位置（３，３）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（３，３）の位置におけるｔ＝１、２の各画素値を加算する必要がある。これらによれば、長時間露出画像の撮像過程は以下のように定式化される。

次に、短時間露出のサンプリング過程Ｈ_2Rの定式化を簡単な例を用いて説明する。先の例と同様に、図７に示すＲ画素の配列の場合について考える。

この場合は短時間露出であるため、図３の画素配列の左半分における短時間露出画素Ｒｓの画素値が、ｔ＝１および２について必要となる。

得られるＲ画像ｆ_Rの要素は、（数５）の通りであるが、このうち短時間露出を求めるために必要なのは、位置（３，１）についてはＲ₃₁₁およびＲ₃₁₂、位置（１，３）についてはＲ₁₃₁およびＲ₁₃₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。

（数８）の第１〜４列が時刻ｔ＝１に関し、第５〜８列が時刻ｔ＝２に関している。これらによれば、短時間露出ラインの撮像過程は以下のように定式化される。

（数７）や（数９）は、Ｒ画像ｆ_Rをベイヤ配列の単板撮像素子により露出時間を変えて撮像しｇ_LR、ｇ_SRを得る過程を示す。逆に、ｇ_LR、ｇ_SRからｆ_Rを生成する問題は、一般に逆問題といわれる。拘束条件Ｑのない場合、下記（数１０）を最小化するｆ_Rは無数に存在する。

このことは、サンプリングされない画素値に任意の値を入れても（数１０）が成り立つことから、容易に説明できる。そのため、（数１０）の最小化によってＲ画像ｆ_Rを一意に解くことはできない。

そこで、Ｒ画像ｆ_Rについての一意な解を得るために、拘束条件Ｑを導入する。Ｑとして、画素値ｆ_Rの分布に関する滑らかさの拘束を与える。以下、この拘束の与え方を説明する。

まず、Ｒ画像ｆ_Rの画素値の分布に関する滑らかさの拘束としては、（数１１）もしくは（数１２）の拘束式を用いる。

（数１）に示す通り、拘束条件Ｑも評価関数Ｊ_Rの一部を構成する。したがって、評価関数Ｊ_Rの値をできるだけ小さくするためには、拘束条件Ｑも小さい方が好ましい。

（数１１）に関しては、画素値ｆ_Rの分布の変化が少ないほど、Ｑの値は小さくなる。（数１１）に関しては、画素値ｆ_Rの分布の変化が一定であるほど、Ｑの値は小さくなる。これらが、画素値ｆ_Rの分布に関する滑らかさの拘束条件となる。

また、（数１０）で｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数１）、（数１０）におけるべき指数Ｍと同様に、演算量の観点から１または２が望ましい。

さらに、画像ｆの画素値の分布に関する滑らかさの拘束としては、下記（数１３）あるいは（数１４）のいずれかのＱを用いて、ｆ_Rの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。なお、こう配とは、画像ｆ_Rの画素値の分布関数ｆ_Rを位置について１階微分することによって得られる。

（数１３）および（数１４）において、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記（数１５）に示す画素値のこう配成分のべき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなるようにすると、ｆ_Rのこう配に応じて拘束条件を適応的に変化できる。

このような重み関数を導入することにより、新たに生成される画像ｆ_Rが必要以上に平滑化されることを防ぐことができる。また、（数１５）に示す輝度こう配の成分の２乗和の代わりに、（数１６）に示す方向微分の、べき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。

ここで、ベクトルｎ_maxおよび角度θは方向微分が最大になる方向であり、下記（数１７）によって与えられる。

（数１１）、（数１２）、（数１３）〜（数１７）に示したような、動画像ｆ_Rの画素値の分布に関する滑らかさの拘束を導入して（数１）を解く問題に対しては、公知の解法、例えば有限要素法等の変分問題の解法を用いて計算することができる。

なお、ここでは複数の拘束条件の式について説明したが、これらの最適な組み合わせは、コスト、演算規模、回路規模等の装置の状況に応じて決定すればよい。例えば、画質が最もよくなるものを選択するようにすればよい。「画質が最もよくなる」とは、例えばその映像を確認する者の主観に基づいて決定することができる。

評価関数Ｊ_Rの一例を（数１８）に示す。

評価関数Ｊ_Rは、生成したい高解像度カラー画像（目的画像）ｆ_Rを構成する赤色の画像の関数として定義される。ここで、（数１８）右辺の第１項、第２項は、（数１）におけるべき指数Ｍを２としたものと同一である。

低解像度化画像および入力画像の対応画素位置における画素値の差の２乗和を、評価関数の評価条件として設定する（（数１８）の右辺第１項および第２項）。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す。

（数１８）の右辺第３項は画像ｆ_Rの画素値の分布に関する滑らかさの拘束を記述するものであり、これは画素配列を考慮したものであってもよい。この場合、Ｒ画像ｆ_Rの画素値の分布に関する滑らかさの拘束として、ｘおよびｙの２階偏微分は、例えば１，−２，１の３つの係数のフィルタとなり、その２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。本実施形態ではｘ方向の滑らかさを考慮し、図３の画素配置において、図１５に示すような、水平方向に隣接するＲ画素同士で滑らかさ拘束の演算を行う。これの定式化は、（数１８）に示すとおり、ある行列Ｑ_SRとｆ_Rとの積の２次ノルムとしても表現できるし、ｆ_Rの要素から直接計算もできる。（数１７）の行列Ｑ_SRについて、前記の２階偏微分フィルタ（係数１，−２，１）に対応するものをＱ_SR1、その２乗（係数１，−４，６，−４，１）に対応するものをＱ_SR2とおいたとき、Ｑ_SR1とｆ_R、ならびにＱ_SR2とｆ_Rの積の２次ノルムの２乗をｆ_Rの要素から直接求める形で表現すると、次のような形となる。

（数２０）および（数２１）において、Ｒ_xytは位置（ｘ，ｙ）、時刻ｔにおけるＲ画素値を示す。

また、（数１）における評価関数Ｊ_Rにおいて、重み係数λ_LR、λ_SRを調整することにより、生成される画像の画質を調整することができる。すなわち、ノイズがランダムである場合、長時間露出のノイズレベルは短時間露出のノイズレベルと比較して、小さなものとなる。そのため、λ_LRを大きな重みとした場合、長時間露出に関する拘束条件を優先するため、ノイズ抑制効果が大きくなり、Ｓ／Ｎをより改善されることができる。一方、λ_SRを大きな重みとした場合、短時間露出に関する拘束条件を優先するため、ノイズ抑制効果はそれほど大きくないが、エッジ情報などの高周波成分が残った、解像度感のある画像を生成することができる。λ_LR、λ_SRの値は、３板撮影等で全画素読み出しした画素値が事前に用意できる場合には、生成画像のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）が最良となるように決めればよい。また、撮影シーンを解析することによって、重みの値を決定するようにしても構わない。

これは、例えば、画像の輝度値を検出することによって行うようにしてもかまわない。画像の輝度値が低い場合、ノイズレベルが高いと推定できる。そこで、画像の平均輝度値が閾値よりも低い場合、λ_LRの大きさをλ_SRと比較して大きくなるように設定することで、ノイズ抑制効果をあげ、また、画像の平均輝度値が閾値よりも低い場合、λ_SRの大きさをλ_LRと比較して大きくなるように設定することで、エッジ情報などの高周波成分が残るようにする。

また、例えば、時間的、または空間的な輝度のばらつきを検出することによって行うようにしてもかまわない。輝度のばらつきが大きい場合、ノイズレベルが高いと推定できる。そこで、輝度のばらつきが閾値よりも高い場合、λ_LRの大きさをλ_SRと比較して大きくなるように設定することで、ノイズ抑制効果をあげ、また、輝度のばらつきが閾値よりも低い場合、λ_SRの大きさをλ_LRと比較して大きくなるように設定することで、エッジ情報などの高周波成分が残るようにする。

以上のように、評価関数Ｊ_Rにおける重み係数を撮影シーンによって決定することにより、常に最適な画質の画像を生成することができる。

本実施形態では、長時間露出画像における、蓄積フレーム数を予め定めておくことを前提としているが、この決定方法について詳述する。ノイズがランダムなノイズである場合、蓄積フレーム数を多くすると、長時間露出のノイズレベルは短時間露出のノイズレベルと比較して、小さなものとなる。そのため、ノイズ抑制効果が大きくなり、Ｓ／Ｎをより改善することができる。一方、蓄積フレーム数を少なくすると、短時間露出画像により近い画像が生成されるため、ノイズ抑制効果はそれほど大きくないが、エッジ情報などの高周波成分が残った、解像度感のある画像を生成することができる。そこで、例えば、蓄積するフレーム数をユーザが指定するようにしてもかまわない。これは、制御部１０４にユーザインターフェイスを有することにより実現する。ユーザインターフェイスはカメラにおけるマニュアル絞り調整機能やマニュアル露出調整機能のような公知の構成でかまわない。前述のように、蓄積フレーム数によって画質が変化するため、このようなインターフェイスを有することにより、ユーザの嗜好に合わせた画像を生成することが可能になる。

Ｇ画像処理部４０３における処理は、Ｒ画像処理部４０２における処理に対してサンプリング過程と空間に対する滑らかさ拘束の形が異なる。図８は、前記のＲ画像処理部４０２の説明と同様に、図３に示す画素配列の左半分の画素群から画像分離部４０１によってＧ画素のみを取り出した場合の画素配列の図である。このとき、求めるべきＧ画像をｆ_Gとすると、ｆ_Gは次式のように表される。

上記（数２２）のうち、長時間露出を求めるために必要なのは、位置（２，１）にあるＧ₂₁₁およびＧ₂₁₂、位置（４，１）にあるＧ₄₁₁およびＧ₄₁₂、位置（２，３）にあるＧ₂₃₁およびＧ₂₃₂、位置（４，３）にあるＧ₄₃₁およびＧ₄₃₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。

行列Ｈ_1Gは、長時間露出のサンプリング過程であることを考慮して設定される。すなわち、位置（２，１）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（２，１）の位置におけるｔ＝１、２の各画素値を加算する必要がある。また、位置（４，１）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（４，１）の位置におけるｔ＝１、２の各画素値を加算する必要がある。位置（ｘ，ｙ）＝（２，３）および（４，３）の長時間露出の画素も同様である。これらによれば、長時間露出画像の撮像過程は以下のように定式化される。

次に、短時間露出のサンプリング過程Ｈ_2Gの定式化について、図８に示すＧ画素の配列の場合について考える。

この場合は短時間露出であるため、図３の画素配列の左半分における短時間露出画素Ｇｓの画素値が、ｔ＝１および２について必要となる。

得られるＧ画像ｆ_Gの要素は、（数２２）の通りであるが、このうち短時間露出を求めるために必要なのは、位置（１，２）についてはＧ₁₂₁およびＧ₁₂₂、位置（３，２）についてはＧ₃₂₁およびＧ₃₂₂、位置（１，４）についてはＧ₁₄₁およびＧ₁₄₂、位置（３，４）についてはＧ₃₄₁およびＧ₃₄₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。

（数２５）の第１〜８列が時刻ｔ＝１に関し、第９〜１６列が時刻ｔ＝２に関している。これらによれば、短時間露出ラインの撮像過程は以下のように定式化される。

また、画像ｆ_Gの画素値の分布に関する滑らかさの拘束は、前記Ｒ画像処理部４０２の（数１９）〜（数２１）と同じように表現できる。このとき、２階偏微分の１，−２，１の３つの係数のフィルタを、図９に示すような、隣接する２つの行にまたがるジグザグ型に適用する。つまり、（数２０）と同様にＧ画素値から直接滑らかさ拘束項を計算する場合は、図９の画素配置において、Ｇ画素の滑らかさの拘束Ｑ_G1を（数２７）に示す形とする。

また、Ｒ画像処理部４０２における処理と同様に、２階偏微分のフィルタの２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。同様に図９（Ｂ）のような斜め方向のフィルタ演算を行う場合、Ｇ画像に対して（数２１）に対応する式を立てると、フィルタ演算は（数２７）の形となる。

（数２７）および（数２８）において、Ｇ_xytは位置（ｘ，ｙ）、時刻ｔにおけるＧ画素値を示す。

Ｂ画像処理部４０４における処理は、Ｒ画像処理部４０２における処理に対してサンプリング過程と空間に対する滑らかさ拘束の形が異なる。図１０は、前記のＲ画像処理部４０２およびＧ画像処理部４０３の説明と同様に、図３に示す画素配列の左半分の画素群から画像分離部４０１によってＢ画素のみを取り出した場合の画素配列の図である。このとき、求めるべきＢ画像をｆ_Bとすると、ｆ_Bは次式のように表される。

上記（数２９）のうち、長時間露出を求めるために必要なのは、位置（２，２）にあるＢ₂₂₁およびＢ₂₂₂および位置（４，４）にあるＢ₄₄₁およびＢ₄₄₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。

行列Ｈ_1Bは、長時間露出のサンプリング過程であることを考慮して設定される。すなわち、位置（２，２）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（２，２）の位置におけるｔ＝１，２の各画素値を加算する必要がある。また、位置（４，４）における長時間露出の画素を得るためには、（ｘ，ｙ）＝（４，４）の位置におけるｔ＝１，２の各画素値を加算する必要がある。これらによれば、長時間露出画像の撮像過程は以下のように定式化される。

次に、短時間露出のサンプリング過程Ｈ_2Bの定式化について、図１０に示すＢ画素の配列の場合について考える。

この場合は短時間露出であるため、図３の画素配列の左半分における短時間露出画素Ｂｓの画素値が、ｔ＝１および２について必要となる。

得られるＢ画像ｆ_Bの要素は、（数２９）の通りであるが、このうち短時間露出を求めるために必要なのは、位置（４，２）におけるＢ₄₂₁およびＢ₄₂₂、位置（２，４）におけるＢ₂₄₁およびＢ₂₄₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義する。

（数３２）の第１〜４列が時刻ｔ＝１に関し、第５〜８列が時刻ｔ＝２に関している。これらによれば、短時間露出ラインの撮像過程は以下のように定式化される。

また、画像ｆ_Bの画素値の分布に関する滑らかさの拘束は、２階偏微分のフィルタを、図１６（Ａ）に示すように同一の行に属するＢ画素に水平方向に適用する。Ｒ画像処理部４０２における（数１９）、あるいはＧ画像処理部４０３における（数２７）と同様の式を立てると、Ｂ画素の滑らかさの拘束Ｑ_B1は（数３４）に示す形で表現できる。

また、Ｒ画像処理部４０２およびＧ画像処理部４０３における処理と同様に、２階偏微分のフィルタの２乗を考えた場合、フィルタ演算は（数２８）の形で与えられる。

同様に、（数３４）および（数３５）において、Ｂ_xytは位置（ｘ，ｙ）、時刻ｔにおけるＢ画素値を示す。

また、本実施形態に係る単板カラー固体撮像素子１０２のカラーフィルタ配列は、図２に示されるものに限定されない。例えば、図２中の破線で囲まれた４画素について、図２０に示す配列であってもかまわない。

以上説明したように、実施形態１によれば、単板撮像素子に画素ごとの露出時間の個別設定の機能を付加し、画素毎に長時間蓄積された入力画像から新たな画像を生成することによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートで、動きぶれの少ない画像を推定し生成することができる。

さらに、本実施形態では、画素値の空間的滑らかさに関する拘束条件を、ＲおよびＢ画像については水平方向（図１５（Ａ）および図１６（Ａ））、Ｇ画像については４５°の角度の一方向（図９）に限定することにより、滑らかさ拘束計算にかかる演算回数を低減している。また隣接する短時間露光画素と長時間露光画素を用いて滑らかさ拘束を適用するため、長時間露光画素の動きぶれ低減が容易になり、Ｓ／Ｎをより改善することができる。

また、Ｒ／Ｇ／Ｂ別々に処理を行なうことで、負の色相関が存在する被写体に関しても、画像を劣化させることなく、動きぶれの少ない画像を推定し生成することができる。

なお、本実施形態において、画素値の空間的な滑らかさに関する拘束条件の適用範囲は上述の説明に限定されるものではない。Ｒ画像処理部４０２については、例えば図１５（Ｂ）に示すように、同一水平ライン上のＲ画素でなく垂直ライン上のＲ画素としてもかまわないし、その両方を用いてもかまわない。垂直ライン上の同色画素を用いる場合は、前記の（数２０）に相当するＱ_R1、（数２１）に相当するＱ_R2は次のように表される。

同一水平ライン上のＲ画素と同一垂直ライン上のＲ画素の両方を用いる場合は、次のように表現できる。

Ｂ画像処理部４０４についても、Ｒ画像処理部４０２と同様、図１６（Ｂ）に示すような同一垂直ライン上のＢ画素を用いたり、また水平ライン上のＢ画素と垂直ライン上のＢ画素の両方を用いることができる。それぞれの場合のＱ_B1およびＱ_B2（（数３４）および（数３５））は、同一垂直ライン上のＢ画素を用いる場合は（数４０）と（数４１）、水平・垂直の両方を用いる場合は（数８２）と（数８３）によって表される。

Ｇ画像処理部４０３については、図９に示すとおり、画素値の空間的な滑らかさの拘束を４５°の方向に適用するが、これは、図１９に示すような、１３５°の方向に適用するのでもかまわないし、それらの両方を併用してもかまわない。図１９の方向に滑らかさ拘束を用いる場合は、Ｑ_G1およびＱ_G2はそれぞれ（数４４）、（数４５）のように表され、図９の方向と図１９の方向を併用する場合は、（数４５）および（数４７）のように表される。

このような構成にすると、特に画素値の空間的な滑らかさの拘束を（数３８）、（数３９）、（数４２）、（数４３）、（数４６）および（数４７）に示す形にした場合に、滑らかさ拘束をｘｙの二次元方向の広範囲の画素を用いて適用することでより大きなノイズ平滑化効果が得られ、さらなるＳ／Ｎの改善が可能となる。

なお、本実施形態にかかるＲ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４において、（数４）によって得られる連立方程式を解くことで出力画像ｆ_R、ｆ_Gまたはｆ_Bを得るが、この連立方程式の解法は、図５に示した共役勾配法に限られるものではない。以下、Ｒ画像処理部４０２を例にとり、他の解法の例を示す。

（数１）においてＭ＝２とし、Ｑとして（数２１）の第２式を用いると、評価式Ｊ_Rはｆ_Rの２次式となる。評価式を最小化するｆ_Rの計算は、（数４８）により、ｆ_Rについての連立方程式の計算に帰着する。

ここで、解くべき連立方程式を（数４９）のようにおく。

（数４９）において、ｆ_Rは生成する画素数（１フレームの画素数×処理するフレーム数）分の要素を持つため、（数４９）の計算量は通常、非常に大規模になる。このような大規模な連立方程式の解法として、共役勾配法や最急降下法等の繰り返し計算により解ｆ_Rを収束させる方法（繰り返し法）が一般的に用いられる。

ところが、（数４９）においては、評価関数がサンプリング過程の拘束項と空間的な滑らかさ拘束項だけであるため、処理がコンテンツに依存しない。このことを利用すると、連立方程式（数４９）の係数行列Ａの逆行列をあらかじめ計算でき、これを用いることで直接法により画像処理を行うようにできる。

（数２１）に示す滑らかさ拘束を用いる場合、ｘおよびｙの２階偏微分は、例えば、（数１９）に示すように１，−２，１の３つの係数のフィルタとなり、その２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。これらの係数は、水平方向のフーリエ変換と逆変換とで係数行列を挟むことにより、対角化することができる。同様に、長時間露出のサンプリング過程の拘束も、時間方向のフーリエ変換と逆フーリエ変換とで係数行列を挟むことにより、対角化することができる。すなわち、（数５０）のように行列をΛと置くことができる。

これにより、一行あたりの非ゼロ係数の数を係数行列Ａと比べて低減させることができる。その結果、Λの逆行列Λ^-1の計算が容易になる。そして、（数５１）および（数５２）により、繰り返し計算を行わずに、ｆ_Rをより少ない演算量と回路規模で求めることができる。

なお、本実施形態におけるＲ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４は、それぞれ、別々のハードウェア構成である必要はなく、１つの単色画像処理部が時分割で各処理を行ってもよい。

（実施形態２）
本発明にかかる撮像処理装置では、Ｒ画像処理部４０２、Ｇ画像処理部４０３およびＢ画像処理部４０４における画像処理法として、出力画像ｆ（ｆ_R、ｆ_G、ｆ_B）に含まれる画像の動きの分布に関する滑らかさの拘束を用いることができる。本実施形態では、動きの分布の滑らかさの拘束を用いた処理方法について述べる。

本実施形態にかかるカラー画像処理部１０５の構成を図１１に示す。図中の画像分離部１１０１と画像統合部１１０８の機能は、第１実施形態における画像分離部４０１と画像統合部４０５のものと同一である。本実施形態では、Ｒ画像生成部１１０２、Ｇ画像生成部１１０４ならびにＢ画像生成部１１０６に対し、それぞれＲ動き検出部１１０３、Ｇ動き検出部１１０５ならびにＢ動き検出部１１０７が付加されている。

図１１におけるＲ動き検出部１１０３、Ｇ動き検出部１１０５とＢ動き検出部１１０７で行われる処理は、基本的に同一である。以下Ｒ動き検出部１１０３を例にとって詳細を説明する。Ｒ動き検出部１１０３は、１フレーム期間露出されて得られた画素信号によって形成される画像（短時間露出画像）を受け取る。Ｒ動き検出部１１０３は短時間露出画像を利用して、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、短時間露出で撮影された画素値から動き（オプティカルフロー）を検出する。公知技術として、例えばＰ． Ａｎａｎｄａｎ． “Ｃｏｍｐｕｔａｔｉｏｎａｌ ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｖｉｓｕａｌ ｍｏｔｉｏｎ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ． ２， ｐｐ． ２８３−３１０， １９８９が知られている。

図１２（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。Ｒ動き検出部１１０３は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図１２（ａ）に示す窓領域Ａを設定し、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。

探索範囲は、図１２（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲Ｃが設定される。また、パターンの類似の度合い（程度）は、（数５３）に示す残差平飽和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数５４）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。

（数５３）および（数５４）において、Ｉ（ｘ、ｙ、ｔ）は画像すなわち画素値の時空間的な分布であり、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。

Ｒ動き検出部１１０３は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルとする。具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求め、動きベクトルを生成する。

上記の様にして得られた（数５３）または（数５４）を最小にする（ｕ，ｖ）の近傍での（ｕ，ｖ）の値の分布に対して、１次ないし２次関数を当てはめる（等角フィッテング法やパラボラフィッティング法として知られる公知の技術）ことによって、サブピクセル精度の動き検出を行う。

次に、本実施形態におけるＲ画像生成部１１０２、Ｇ画像生成部１１０４およびＢ画像生成部１１０６での処理内容の、Ｒ画像ｆ_R、Ｇ画像ｆ_GあるいはＢ画像ｆ_Bに含まれる画像の動きの分布に関する滑らかさの拘束について、Ｒ画像生成部１１０２を例にとり説明する。

Ｒ画像ｆ_Rに含まれる画像の動きの分布に関する滑らかさの拘束としては、下記（数５５）または（数５６）を用いる。

ここで、ｕは動画像ｆ_Rから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆ_Rから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。

ｆ_Rから得られる画像の動きの分布に関する滑らかさの拘束としては、（数５５）、（数５６）に限らず、例えば（数５７）、（数５８）に示す１階または２階の方向微分としてもよい。

さらに、（数５９）〜（数６２）に示すように、（数５５）〜（数５８）の拘束条件を、ｆ_Rの画素値のこう配に応じて適応的に変化させてもよい。これにより、画像内のエッジ（輝度変化が不連続な境界）部分に対する滑らかさ拘束の影響を、画像の平坦部分と比べて小さくすることができるため、画像内のエッジをより鮮明に再現することができる。

ここで、ｗ（ｘ，ｙ）は、ｆ_Rの画素値のこう配に関する重み関数と同一であり、（数１５）に示す画素値のこう配の成分の、べき乗和、または、（数１６）に示す方向微分の、べき乗によって定義される。

このような重み関数を導入することにより、ｆ_Rの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、新たに生成される画像ｆ_Rが必要以上に平滑化されることを防ぐことができる。

（数５５）〜（数６２）に示したような、画像ｆ_Rから得られる動きの分布に関する滑らかさの拘束を導入して（数１）を解く問題に関しては、ｆ_Rについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。新たに生成すべき画像ｆ_Rと動き情報（ｕ，ｖ）が相互に依存するためである。

この問題に対しては、公知の解法、例えばＥＭアルゴリズム等を用いた変分問題の解法を用いて計算することができる。その際、繰り返し計算に、新たに生成すべき画像ｆ_Rと動き情報（ｕ，ｖ）の初期値が必要になる。

ｆ_Rの初期値としては、入力画像の補間拡大画像を用いればよい。一方、動き情報（ｕ，ｖ）としては、動き検出部２０１において（数１）ないし（数２）を計算して求めた動き情報を用いる。その結果、カラー画像処理部１０５が、上述のごとく、（数５５）〜（数６２）に示したような、画像ｆ_Rから得られる動きの分布に関する滑らかさの拘束を導入して（数１）を解くことにより、処理結果の画質を向上させることができる。

Ｒ画像生成部１１０２における処理は、第１実施形態の（数１０）〜（数１５）、（数１８）、（数１９）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数５５）〜（数６２）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数６３）のように同時に用いることができる。

ここで、Ｑ_fはｆ_Rの画素値のこう配に関する滑らかさの拘束、Ｑ_uvはｆ_Rから得られる画像の動きの分布に関する滑らかさの拘束、λ₁およびλ₂はＱ_fとＱ_uvの拘束に関する重みである。

また、動きに関する拘束は、（数５５）〜（数６２）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆ_Rを関数ｆ_R（ｘ，ｙ，ｔ）として表すと、（数６４）のように表すことができる。

ｆ_Rをベクトルとして、画像全体について考えると、各画素における残差は下記（数６５）に示すようにベクトル表現することができる。

残差の平方和は下記（数６６）に示すように表すことができる。

（数６５）、（数６６）において、Ｈ_mはベクトルｆ_Rの要素数（時空間の総画素数）×ｆ_Rの要素数の行列である。Ｈ_mでは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。

画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数１）を解く問題も、公知の解法（例えばＥＭアルゴリズム等を用いた変分問題の解法）を利用することができる。

（数６６）をＱ_mとおき、（数６３）と組み合わせて拘束条件を（数６７）のようにしてもよい。

ここで、λ₃は拘束条件Ｑ_mに関する重みである。

本実施形態において、図１１中の画像分離部１１０１によって得られるＲ短時間画像、Ｇ短時間画像およびＢ短時間画像から動き検出を行う場合、例えば線形補間等の補間拡大処理により各色成分画像の欠損部分を補った上で行えばよい。

なお、本実施形態における動き検出では、図１１に示すように、Ｒ、Ｇ、Ｂそれぞれの色成分の短時間露出画像を補間拡大した画像から、それぞれの色に対して別々に動き情報を求めてもよいし、例えばＲ、Ｇ、Ｂすべての色成分の短時間露出画像から輝度画像を生成し、輝度画像上で全色成分の動き情報を一度に求め、それぞれの色成分の処理に用いてもよい。この場合は、例えば図１３のように、画像分離部１３０１によってＲＧＢ各色成分に分離する前に動き検出を行い、そこで求められた動き情報を各色成分の画像生成部に提供することができる。

動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。

以上述べた方法により、Ｒ動き検出部１１０３、Ｇ動き検出部１１０５およびＢ動き検出部１１０７、あるいは動き検出部１３０２によって、ＲＧＢの短時間露出の動画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたＲＧＢの動画像をカラー画像処理部１０５で高時空間解像度化することができる。

（実施形態３）
本発明にかかる撮像処理装置にかかる画像処理は、前記実施形態１および２に記載したような、ＲＧＢの色成分ごとに別個に処理する方式に限らず、ＲＧＢ全色成分を一度に処理するような構成にしてもかまわない。

本実施形態においては、このような３色成分を同時に処理するような場合の撮像処理装置の構成について述べる。

本実施形態にかかる撮像処理装置で行う画像処理は、連立方程式を解くという点で前記実施形態１および２と同じである（例えば実施形態１における（数４））。それらの例と異なる点は、本実施形態の構成では実施形態１および２で用いていた画像分離部４０１あるいは１１０１、１３０１を有しないこと、サンプリング過程を記述する式の形が異なること、および空間的な画素値の滑らかさ拘束の形状が異なることである。なお、本実施形態においても、前記第２実施形態のように、画像中の動きの情報を用いることができる。このとき、各画素の動きの検出は、図１３の構成のときに行う方法と同一の方法で実現できる。

図１４は、図３に示す画素配列の左半分の画素群を取り出した図であり、いま画像処理によりこれらの画素の値を求めることを考える。本実施形態においては、図中に示される４×４画素の値を一度に求める。このとき、求めるべきＲＧＢ画像をｆとすると、ｆは次式のように表される。

上記（数６８）のうち、長時間露光を求めるために必要なのは、位置（１，１）にあるＲ₁₁₁およびＲ₁₁₂、位置（２，１）にあるＧ₂₁₁およびＧ₂₁₂、位置（４，１）にあるＧ₄₁₁およびＧ₄₁₂、位置（２，２）にあるＢ₂₂₁およびＧ₂₂₂、位置（３，２）にあるＧ₂₃₁およびＧ₂₃₂、位置（３，３）にあるＲ₃₃₁およびＲ₃₃₂、位置（４，３）にあるＧ₄₃₁およびＧ₄₃₂、位置（４，４）にあるＢ₄₄₁およびＧ₄₄₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。

これによれば、長時間露光画像の撮像過程は以下のように定式化される。

次に、短時間露光のサンプリング過程Ｈ₂の定式化について、図１４に示す画素配列の場合について考える。

得られるＲＧＢ画像ｆの要素は、（数６８）の通りであり、このうち短時間露光を求めるために必要なのは、位置（３，１）についてはＲ₃₁₁およびＲ₃₁₂、位置（１，２）についてはＧ₁₂₁およびＧ₁₂₂、位置（３，２）についてはＧ₃₂₁およびＧ₃₂₂、位置（４，２）についてはＢ₄₂₁およびＢ₄₂₂、位置（１，３）についてはＲ₁₃₁およびＲ₁₃₂、位置（４，１）についてはＧ₁₄₁およびＧ₁₄₂、位置（２，４）についてはＧ₂₄₁およびＧ₂₄₂、位置（３，４）についてはＧ₃₄₁およびＧ₃₄₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。

（数７１）の第１〜１６列が時刻ｔ＝１に関し、第１７〜３２列が時刻ｔ＝２に関している。これらによれば、短時間露光画素の撮像過程は以下のように定式化される。

本実施形態においても、各画素値を求める際に空間的な画素値の滑らかさの拘束条件を適用することができる。本実施形態の構成では、ＲＧＢすべての色成分の画素値を一度に求めるが、このときの空間的滑らかさ拘束は、前記第１実施形態のような、各色成分ごとに個別に処理する方法（第１実施形態における（数１９）、（数２０）、（数２５）、（数２８）、（数３４）、（数３５））でも可能であるし、ＲＧＢの３色が張る空間から別の３次元空間に変換し、その空間上で適用することも可能である。以下、ＲＧＢ空間を他の空間に変換したうえで空間的滑らかさ拘束を適用する場合について説明する。

ＲＧＢ画像ｆの画素値の分布に関する滑らかさの拘束としては、（数７３）もしくは（数７４）の拘束式を用いる。

この拘束条件Ｑは、評価関数Ｊの一部を構成する。評価関数Ｊは、第１実施形態の（数１）と同様の形であるが、ＲＧＢ全色の画素値を対象とするため、（数１）における評価関数Ｊ_RをＪと記す。

なお、（数７３）、（数７４）で｜｜はベクトルのノルムを表す。べき指数ｍの値は、前記第１実施形態での説明と同様に、演算量の観点から１または２が望ましい。ここで、Ｃ_iは以下の式でｆの要素のＲ，Ｇ，Ｂ値を変換したものである。

（数７５）において、Ｃ₁、Ｃ₂、Ｃ₃を一般的な画像におけるＲＧＢの画素値の分布の第１主成分から、第３主成分にすることにより、滑らかさ拘束についての正則化パラメータの調整をＲＧＢ空間で行う場合よりも容易にできる。すなわち、Ｃ₁成分は輝度にほぼ等しく、Ｃ₂、Ｃ₃成分は２つの色成分とみなせ、個別にλ_ciを調整することによって、新たに生成される画像に対する滑らかさ拘束の各項の影響を制御できる。λ_C1からλ_C3の値は、３板撮影等で全画素読み出しした画素値が事前に用意できる場合には、生成画像のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）が最良となるように決めればよい。

なお、ＰＳＮＲは（数７６）で定義される。

ここで、ｆ_maxは画素値の最大値（例えば、８ビット時２５５、１０ビット時１０２３）であり、σは正解画像と生成画像との差の標準偏差である。

一方、そうでない場合には、上記の値をもとにマニュアル操作で新たに生成した画質をみながらλ_ciを決めればよい。

なお、上記の偏微分値∂Ｃ_i／∂ｘ、∂Ｃ_i／∂ｙ、∂²Ｃ_i／∂ｘ²、∂²Ｃ_i／∂ｙ²は、着目画素近傍の画素値による差分展開により、例えば（数７７）により近似計算できる。

差分展開は上記（数７７）に限らず、例えば（数７８）の様に、近傍の他の画素を参照するようにしてもよい。

（数７６）は（数７７）による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、０≦α≦１の範囲のαで重み付けをして、以下の式を採用してもよい。

差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、回路規模や演算量を少しでも小さくするために、（数７７）を用いてもよい。

なお、画像ｆの画素値の分布に関する滑らかさの拘束としては、（数７３）、（数７４）に限らず、例えば、（数８０）に示す２階の方向微分の絶対値のｍ乗を用いても良い。

ここで、ベクトルｎ_minおよび角度θは１階の方向微分の２乗が最小になる方向であり、下記（数８１）によって与えられる。

さらに、画像ｆの画素値の分布に関する滑らかさの拘束としては、下記（数８２）から（数８４）のいずれかのＱを用いて、ｆの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。なお、こう配とは 画像ｆの画素値の分布関数ｆを位置について１階微分することによって得られる。

（数８２）から（数８４）において、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記（数８５）に示す画素値のこう配成分のべき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなるようにすると、ｆのこう配に応じて拘束条件を適応的に変化できる。

このような重み関数を導入することにより、新たに生成される画像ｆが必要以上に平滑化されることを防ぐことができる。

また、（数８５）に示す輝度こう配の成分の２乗和の代わりに、（数８６）に示す方向微分の、べき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。

ここで、ベクトルｎ_maxおよび角度θは方向微分が最大になる方向であり、下記（数８７）によって与えられる。

（数７３）、（数７４）、（数７８）〜（数８４）に示したような、動画像ｆの画素値の分布に関する滑らかさの拘束を導入する場合は、前記第１実施形態と同様に、公知の解法、例えば有限要素法等の変分問題の解法を用いて計算することができる。

本実施形態により、（数７５）に示すように各色成分間の相関を画像処理に導入することができ、特に正の色相関が存在する被写体に関して、より高画質の動きぶれの少ない画像を推定し生成することができる。

以上説明してきたように、本発明の実施形態における撮像処理装置によれは、所定のフレームレートに対応する露出時間で露光して得られた画素信号が読み出される短時間露出画像と比較し、前記短時間露出画像よりもフレームレートが低くより長い露出時間で読み出す画素を配置することにより、撮像時に蓄積する光量を増加し、より高いＳ／Ｎの画像を得ることができる。また、すべての画素を低フレームレート・長時間露出で読み出した画像の動きぶれ除去処理を行う場合に比べ、短時間露出の画素を配置し、読み出し信号に対して画像復元処理を行うことにより、被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。

本発明の撮像装置および処理装置は、低光量時の高解像度撮影や小型画素による撮像に有用である。

また、本発明は、画像処理プログラムとしても適用が可能である。画像処理プログラムは、例えばコンピュータに画像処理方法のステップを実行させるプログラムであり、例えば一時的でなく有形の記録媒体に記録され得る。

１００ 撮像処理装置
１０１ 光学系
１０２ 単板カラー撮像素子
１０３ 読み出し制御部
１０４ 制御部
１０５ 画像処理部
４０１ 画像分離部
４０２ Ｒ画像処理部
４０３ Ｇ画像処理部
４０４ Ｂ画像処理部

Claims (10)

1. ２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、
   前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができる、単板カラー撮像素子と、
   前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成する画像処理部と、
   を備え、
   前記画像処理部は、
   前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、
   前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、
   前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項と、
   を含む評価式を設定し、
   前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、
   前記評価式を最小化する動画像を、前記新たな動画像として求める、撮像処理装置。
2. 前記画像処理部は、
   前記第１色画素から前記第１のフレームレートで読み出された画素値と、前記第１色画素から前記第２のフレームレートで読み出された画素値とに基づいて、第１のフレームレートの第１色動画像を生成する第１の単色画像処理部と、
   前記第２色画素から前記第１のフレームレートで読み出された画素値と、前記第２色画素から前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの第２色動画像を生成する第２の単色画像処理部と、
   前記第３色画素から前記第１のフレームレートで読み出された画素値と、前記第３色画素から前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの第３色動画像を生成する第３の単色画像処理部と、
   を備え、
   前記第１、第２および第３動画像から前記カラー動画像を生成する、請求項１に記載の撮像処理装置。
3. 前記画像処理部は、
   前記第１の単色画像処理部から出力された前記第１色動画像と、前記第２の単色画像処理部から出力された前記第２色動画像と、前記第３の単色画像処理部から出力された前記第３色動画像とを格納するメモリを備える、請求項２に記載の撮像処理装置。
4. 前記画像処理部は、
   前記評価式は、前記第１の差、第２の差、および拘束条件項の各々に乗算された重み係数を含む、請求項１に記載の撮像処理装置。
5. 前記第１色画素、第２色画素および第３色画素は、それぞれ、緑色画素、赤色画素および青色画素である、請求項１から４のいずれかに記載の単板カラー固体撮像素子。
6. 前記画像処理部は、
   前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像または前記第３色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、
   前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項を前記評価式に含める、請求項１から５のいずれかに記載の撮像処理装置。
7. 単板カラー撮像素子から得られる画素値に基づいて画像処理を行う画像処理方法であって、
   前記単板カラー撮像素子は、
   ２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、
   前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができ、
   前記単板カラー撮像素子によって前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とを取得するステップと、
   前記第１のフレームレートで読み出された前記画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成するステップと、
   を含み、
   前記新たな動画像を生成するステップにおいて、
   前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、
   前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、
   前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項と、
   を含む評価式を設定し、
   前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、
   前記評価式を最小化する動画像を、前記新たな動画像として求める、画像処理方法。
8. 前記第１のフレームレートの新たな動画像を生成するステップは色ごとに実行し、その後、前記第１のフレームレートのカラー画像を生成するステップを含む、請求項７に記載の画像処理方法。
9. 単板カラー撮像素子から得られる画素値に基づいて画像処理を行うための画像処理プログラムであって、
   前記単板カラー撮像素子は、
   ２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第１画素ユニットと、２個の第１色画素、１個の第２色画素、および１個の第３色画素がベイヤ配列を形成するように配列された第２画素ユニットとが行および列状に交互に配列された単板カラー撮像素子であって、
   前記第１画素ユニットにおける前記２個の第１色画素の一方、前記第２色画素および前記第３色画素、ならびに前記第２画素ユニットにおける前記２個の第１色画素の一方であって前記第１画素ユニットにおける前記第１色画素の前記一方と同じ行に位置する第１色画素からは画素値を第１のフレームレートで読み出し、前記第１画素ユニットにおける前記２個の第１色画素の他方、ならびに前記第２画素ユニットにおける前記２個の第１色画素の他方、前記第２色画素および前記第３色画素からは画素値を、前記第１のフレームレートよりも低い第２のフレームレートで読み出することができ、
   コンピュータに、
   前記単板カラー撮像素子によって前記第１のフレームレートで読み出された画素値と、前記第２のフレームレートで読み出された画素値とを取得するステップと、
   前記第１のフレームレートで読み出された前記画素値と、前記第２のフレームレートで読み出された画素値とに基づいて、前記第１のフレームレートの新たな動画像を生成するステップと、
   を実行させ、
   前記新たな動画像を生成するステップにおいて、
   前記第１のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第１のフレームレートでサンプリングして得られた動画像との第１の差と、
   前記第２のフレームレートで読み出された画素値に基づいて得られた前記第１の色成分の動画像、前記第２の色成分の動画像または前記第３の色成分の動画像と、前記新たな動画像を前記第２のフレームレートでサンプリングして得られた動画像との第２の差と、
   前記新たな動画像における画素値の分布の変化が少なくなるほど、または前記新たな動画像における前記画素値の変化が一定になるほど、小さくなる拘束条件項と、
   を含む評価式を設定し、
   前記第１色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の斜め方向における画素値を用いて算出し、かつ、前記第２色画素および前記第３色画素についての前記拘束条件項を、前記単板カラー固体撮像素子の垂直および水平方向における画素値を用いて算出し、
   前記評価式を最小化する動画像を、前記新たな動画像として求める、画像処理プログラム。
10. 前記第１のフレームレートの新たな動画像を生成するステップは色ごとに実行し、その後、前記第１のフレームレートのカラー画像を生成するステップを含む、請求項９に記載の画像処理プログラム。

Images