JP2014146872A5 - - Google Patents

Description

また、本発明の一態様では、撮像データのフレーム間の相関を判定するフレーム相関判定部をさらに含み、前記使用フレーム数決定部は、前記フレーム相関判定部の判定結果に基づいて、使用フレーム数を決定してもよい。

本実施形態では、参照画像を用いた補間処理として、ガイデッドフィルタ（Guided Filter、ガイデッドイメージフィルタ）を用い、補間処理前の画像に対して補間処理を行って出力画像を生成する。ガイデッドフィルタでは、出力画像は参照画像の線形変換で表されると考える。そして、下記の式（４）に示すように、画素値を推定したい画素位置周辺での局所領域ｋのコスト関数Ｅ（ａ _ｋ 、ｂ _ｋ ）を最小化するように、最小二乗法により係数ａ _ｋ 及びｂ _ｋ が算出される。

ここで、ｉは画素の番号を、ｋは局所領域の番号を、Ｉ _ｉ は参照画像における画素ｉの画素値を、ｐ _ｉ は補間処理前の画像における画素ｉの画素値（信号成分）を、ω _ｋ は、補間処理前の画像の局所領域ｋ内において信号成分を有する画素の画素数を、εは所与の平滑化パラメータを、Ｍ_ｉ は、画素ｉにおけるバイナリマスクを表す。Ｍ _ｉ は、補間処理前の画像において信号成分を有する画素に対しては１となり、信号成分を有しない画素に対しては０となる。また、ａ _ｋ 、ｂ _ｋ は、下式（５）で用いるために算出されるべき係数パラメータであり、計算開始時には適当な初期値が用いられる。

そして、全局所領域に対する係数ａ _ｋ 及びｂ _ｋ が算出されると、補間対象となる信号成分を有さない画素に対して式（５）により出力画素値ｑ_ｉが算出される。

なお、式（５）において、｜ω｜は、局所領域内の全画素数（局所領域数）である。
本実施形態では、ステップＳ４０７で得られた補間画像を参照画像として使用し、参照画像とは異なるバンドを１バンドずつ補間対象の画像として使用する。参照画像を用いた補間処理を行うことで、参照画像の高周波成分を保持した補間画像を生成することが可能である。

また、参照画像とは、参照バンドの画素値のみが、全ての画素に対して求められた画像のことをいう。例えば、図１では画像ＲＩＭが、図９では画像ＲＩＭ９が、図１０では画像ＲＩＭ１０が参照画像である。

Claims (15)

1. 複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部と、
   取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部と、
   出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部と、
   前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部と、
   前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記参照画像生成部で使用する参照画像生成用フレーム数を決定する使用フレーム数決定部を含むことを特徴とする画像処理装置。
3. 請求項２において、
   前記画像取得部は、
   第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
   前記使用フレーム数決定部は、
   前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を第１のフレーム数に決定し、
   前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を、前記第１のフレーム数よりも多い第２のフレーム数に決定することを特徴とする画像処理装置。
4. 請求項３において、
   前記第１のカラーフィルタは、
   前記カラーフィルタアレイにおいて、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されるカラーフィルタであり、
   前記第２のカラーフィルタは、
   前記カラーフィルタアレイにおいて、前記第１のカラーフィルタとは異なる位置に配置されるカラーフィルタであることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記補間画像生成部で使用する補間画像生成用フレーム数を決定する使用フレーム数決定部を含むことを特徴とする画像処理装置。
6. 請求項５において、
   前記画像取得部は、
   第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
   前記使用フレーム数決定部は、
   前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を第３のフレーム数に決定し、
   前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を、前記第３のフレーム数よりも少ない第４のフレーム数に決定することを特徴とする画像処理装置。
7. 請求項２乃至６のいずれかにおいて、
   撮像データのフレーム間の相関を判定するフレーム相関判定部をさらに含み、
   前記使用フレーム数決定部は、
   前記フレーム相関判定部の判定結果に基づいて、使用フレーム数を決定することを特徴とする画像処理装置。
8. 請求項１乃至７のいずれかにおいて、
   前記参照バンド選択部は、
   前記過去フレームにおける前記出力画像において、前記複数のバンドのうち、被写体の色特性と最も強い相関を持つバンドを前記参照バンドとして選択することを特徴とする画像処理装置。
9. 請求項１乃至８のいずれかにおいて、
   前記参照バンド選択部は、
   前記過去フレームの前記出力画像の高周波成分及び輝度の少なくとも一方の評価を行うことにより、前記参照バンドを選択することを特徴とする画像処理装置。
10. 請求項１乃至９のいずれかにおいて、
    前記参照バンド選択部は、
    画像を複数の領域に分割した部分領域毎に、前記参照バンドを選択することを特徴とする画像処理装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記画像取得部は、
    奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置される第１のカラーフィルタと、前記第１のカラーフィルタとは異なる位置に配置され、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタとを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
    前記参照画像生成部は、
    前記参照バンド選択部により前記参照バンドが未選択の場合には、前記第１のカラーフィルタの画像データに対して前記補間処理を行うことにより、前記参照画像を生成することを特徴とする画像処理装置。
12. 請求項１乃至１１のいずれかにおいて、
    前記画像取得部は、
    分光感度特性が異なる４バンド以上のカラーフィルタが配置された前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得することを特徴とする画像処理装置。
13. 請求項１乃至１２のいずれかに記載の画像処理装置を含むことを特徴とする撮像装置。
14. 複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得し、
    取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成し、
    出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択し、
    前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成し、
    前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成することを特徴とする画像処理方法。
15. 複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部と、
    取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部と、
    出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部と、
    前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部と、
    前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部として、
    コンピューターを機能させることを特徴とするプログラム。