JP2019161564A - 画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラム - Google Patents

Abstract

【課題】高品質な合成画像データを得ることができる画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムを提供する。【解決手段】取得部（２１）は、ＲＧＢの色要素を有する複数の画像データを取得する。分割部（２３）は、各画像データを複数の領域に分割する。演算部（２４）は、各画像データの領域毎のずれ量を演算する。色補間部（２８）は、各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う。【選択図】図９

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムに関する。

特許文献１には、イメージセンサを画素単位（例えば１画素単位）で移動（微小振動）させながら撮影した複数の画像データを合成して合成画像データを得る、いわゆるマルチショット合成と呼ばれる撮影技術が開示されている。マルチショット合成では、通常の１ショット画像データより高精細（高画質、高精度）な合成画像データを得ることができる。

特開２０１６−２１９９７４号公報

マルチショット合成に用いられる複数の画像データは、ベイヤ配列のＲＧＢのカラーフィルタが配置されたイメージセンサにより撮像される。しかし、複数の画像データを合成する際、ベイヤ配列のＲＧＢの色要素が揃う確率を考慮すると、２画素×２画素の４画素のベイヤ配列に２つ用意されているＧ要素（Ｇｒ、Ｇｂ）と比較して、各１つのＲ要素とＢ要素が不安定になりやすい（信頼性が低くなりやすい）という問題がある。

本発明は、以上の問題意識に基づいてなされたものであり、高品質な合成画像データを得ることができる画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムを提供することを目的とする。

本実施形態の画像処理装置は、ＲＧＢの色要素を有する複数の画像データを取得する取得部と、各画像データを複数の領域に分割する分割部と、各画像データの領域毎のずれ量を演算する演算部と、各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間部と、を有することを特徴としている。

本実施形態の画像処理方法は、ＲＧＢの色要素を有する複数の画像データを取得する取得ステップと、各画像データを複数の領域に分割する分割ステップと、各画像データの領域毎のずれ量を演算する演算ステップと、各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間ステップと、を有することを特徴としている。

本実施形態の画像処理プログラムは、ＲＧＢの色要素を有する複数の画像データを取得する取得ステップと、各画像データを複数の領域に分割する分割ステップと、各画像データの領域毎のずれ量を演算する演算ステップと、各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間ステップと、をコンピュータに実行させることを特徴としている。

本実施形態の撮影装置は、ＲＧＢの色要素を有する複数の画像データを取得する取得部と、各画像データを複数の領域に分割する分割部と、各画像データの領域毎のずれ量を演算する演算部と、各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間部と、を有することを特徴としている。

本実施形態の撮影方法は、ＲＧＢの色要素を有する複数の画像データを取得する取得ステップと、各画像データを複数の領域に分割する分割ステップと、各画像データの領域毎のずれ量を演算する演算ステップと、各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間ステップと、を有することを特徴としている。

本実施形態の撮影プログラムは、ＲＧＢの色要素を有する複数の画像データを取得する取得ステップと、各画像データを複数の領域に分割する分割ステップと、各画像データの領域毎のずれ量を演算する演算ステップと、各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間ステップと、をコンピュータに実行させることを特徴としている。

本発明によれば、高品質な合成画像データを得ることができる画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムを提供することができる。

本実施形態の画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムを搭載したカメラユニット付き電子機器の概略構成を示すブロック図である。 画素ずらしマルチショット合成モードの一例を示す概念図である。 画像データのブロック分割の一例を示す概念図である。 連写で撮影した４枚の画像データの１枚を基準画像データに設定するとともに残りの３枚を比較画像データに設定した場合を示す概念図である。 基準画像データと補助画像データの撮影範囲の一例を示す第１の概念図である。 基準画像データと補助画像データの撮影範囲の一例を示す第２の概念図である。 基準画像データと比較画像データを合成して合成画像を得る場合を示す概念図である。 Ｇ要素の色補間の一例を示す概念図である。 Ｒ要素の色補間の一例を示す第１の概念図である。 Ｒ要素の色補間の一例を示す第２の概念図である。 Ｂ要素の色補間の一例を示す第１の概念図である。 Ｂ要素の色補間の一例を示す第２の概念図である。 重み付け加算及び／又は複製加算の方向の一例を示す概念図である。

図１は、本実施形態の画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラムを搭載したカメラユニット付き電子機器１の概略構成を示すブロック図である。本実施形態の画像処理方法、画像処理プログラム、撮影方法及び撮影プログラムは、電子機器１に内蔵されたコンピュータに所定の処理ステップを実行させることにより実現される。

電子機器１は、例えば、デジタルカメラ、携帯電話、ゲーム機器等の撮影機能を搭載した各種機器とすることができるが、本実施形態では、電子機器１がデジタルカメラである場合を例示して説明する。あるいは、電子機器１は、撮影機能を搭載することなく、画像データの入力を受けて当該画像データに画像処理を施すＰＣ等の各種機器とすることもできる。詳しくは後述するが、本実施形態の電子機器１は、一例として手振れを利用したＲＲＳ撮影（画素ずらしマルチショット合成モード）を実行できるので、手振れを起こし易い撮影機能を有する携帯型の電子機器に搭載して好適である。

デジタルカメラ１は、カメラユニット（撮影部、取得部）１０と、画像処理装置２０と、メモリ（例えばＲＡＭ）３０と、記録媒体（例えばＵＳＢメモリ）４０と、表示装置（例えばＬＣＤ）５０と、入力装置６０と、センサ７０と、防振ユニット８０と、ＣＰＵ９０と、これらの各構成要素を直接的又は間接的に接続するバス１００とを有している。

カメラユニット１０は、撮影光学系（図示略）と、イメージセンサ（撮像素子）１１（図２）とを有している。撮影光学系による被写体像はイメージセンサ１１の受光面上に結像され、マトリックス状に配置された検出色の異なる複数の画素によって電気信号に変換され、画像データとして画像処理装置２０に出力される。画像処理装置２０は、カメラユニット１０による画像データに所定の画像処理を施す。画像処理装置２０により画像処理が施された画像データは、メモリ３０に一時的に記録される。メモリ３０に記録された画像データは、ユーザの選択・決定に従って、記録媒体４０に保存され、表示装置５０に表示される。

入力装置６０は、例えば、電源スイッチ、レリーズスイッチ、各種機能の選択・設定を実行するためのダイヤルスイッチ、四方向スイッチ、タッチパネル等から構成される。センサ７０は、例えば、デジタルカメラ１のボディ本体に加えられる加速度、角速度、角加速度を検出する加速度検出器、角速度検出器、角加速度検出器等から構成される。センサ７０による出力は、デジタルカメラ１のボディ本体の振れを示す振れ検出信号として、ＣＰＵ９０に入力される。

防振ユニット８０は、カメラユニット１０の撮影光学系とイメージセンサ１１の少なくとも一方を移動部材として、当該移動部材を撮影光学系の光軸と異なる方向に（例えば撮影光学系の光軸と直交する平面内で）駆動する。ＣＰＵ９０は、防振ユニット８０を駆動制御する。ＣＰＵ９０は、センサ７０からデジタルカメラ１のボディ本体の振れを示す振れ検出信号の入力を受けて、防振ユニット８０によって移動部材を撮影光学系の光軸と異なる方向に駆動する。これにより、イメージセンサ１１における被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。

デジタルカメラ１は、防振ユニット８０を利用して、カメラユニット１０のイメージセンサ１１を撮影光学系の光軸と異なる方向に（例えば撮影光学系の光軸と直交する平面内で）微細に移動させながら時系列に複数回の撮影を行い、その画像データを１枚に合成（画像データの単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成）することで、超高精細（高画質、高精度）な画像データを生成する撮影モード（マルチショット合成モード）を搭載している。以下ではこの撮影モードを「ＲＲＳ（リアル・レゾリューション・システム）撮影モード」、「画素ずらしマルチショット合成モード」又は「マルチショット合成モード」と呼ぶことがある。「ＲＲＳ撮影モード（画素ずらしマルチショット合成モード、マルチショット合成モード）」では、１画素あたり１つの色情報のみを取得する従来のベイヤ方式と異なり、１画素毎にＲＧＢ各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像データを描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。

図２Ａ〜図２Ｄは、本実施形態の画素ずらしマルチショット合成モード（ＲＲＳ撮影モード）の一例を示す概念図である。図２Ａ〜図２Ｄにおいて、イメージセンサ１１は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂのいずれかが配置されている。各画素は、前面のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（色帯域）の光を光電変換し、その強さ（輝度）に応じた電荷を蓄積する。より具体的に、図２Ａの基準位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ下方に相対移動させた図２Ｂの位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ右方に相対移動させた図２Ｃの位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ上方に相対移動させた図２Ｄの位置で１枚の画像を撮影し、最後に図２Ａの基準位置に戻る。このように、光軸直交平面内で、太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像が、ＲＡＷ画像データとして、画像処理装置２０に入力される。画像処理装置２０は、イメージセンサ１１が時系列に撮影した４枚の画像データを合成して合成画像データを得る。

防振ユニット８０を利用したＲＲＳ撮影（画素ずらしマルチショット合成）では、イメージセンサ１１の画素単位の移動を保証するために、デジタルカメラ１のボディ本体を三脚等で位置決め固定しなければならない。これに対し、本実施形態では、防振ユニット８０を利用することなく、且つ、デジタルカメラ１のボディ本体を撮影者が手持ちした状態でも、ＲＲＳ撮影を実行可能である。すなわち、イメージセンサ１１を能動的に動かすのではなく、撮影者の手振れ（揺らぎ）によるショット毎の画像のずれを利用して、ＲＲＳ撮影を行う。以下では、この撮影モードを「手振れ利用ＲＲＳ撮影モード（手振れ利用画素ずらしマルチショット合成モード、手振れ利用マルチショット合成モード）」と呼ぶことがある。手振れ利用ＲＲＳ撮影モードでは、防振ユニット８０を利用したＲＲＳ撮影と同様に複数枚（例えば４枚）の画像データを得ることができる。

デジタルカメラ１の入力装置６０を操作することで、「手振れ利用ＲＲＳ撮影モード（手振れ利用画素ずらしマルチショット合成モード、手振れ利用マルチショット合成モード）」と「防振ユニット８０を利用したＲＲＳ撮影モード（画素ずらしマルチショット合成モード、マルチショット合成モード）」、さらにはそれ以外の撮影モードを切り替えることができる。また、デジタルカメラ１０の表示装置５０は、入力装置６０により設定されている撮影モードを表示することができる。

上述したように、デジタルカメラ１のカメラユニット１０及び／又は画像処理装置２０が取得する複数の画像データは、ベイヤ配列のＲＧＢのカラーフィルタが配置されたイメージセンサ１１（図２）により撮影したものとすることができる。このため、複数の画像データは、ベイヤ配列のＲＧＢの色要素を有している。より具体的には、２×２の４つのベイヤ配列に２つのＧ要素（Ｇｒ、Ｇｂ）と各１つのＲ要素とＢ要素を有している。

ここで、複数の画像データ及び／又はこれを合成した合成画像データにおいて、ＲＧＢのいずれかの色要素に欠陥がある場合は、当該欠陥のある色要素を色補完することがある。しかし、複数の画像データを合成する際、ベイヤ配列のＲＧＢの色要素が揃う確率を考慮すると、２×２の４つのベイヤ配列に２つ用意されているＧ要素（Ｇｒ、Ｇｂ）と比較して、各１つのＲ要素とＢ要素が不安定になりやすい（信頼性が低くなりやすい）という問題がある。

本実施形態の画像処理装置２０は、ＲＧＢの色要素のいずれに対しても好適な色補間を実行することができる。以下では、この色補間機能を含んだ画像処理装置２０の構成及び作用効果について詳細に説明する。なお、以下では、適宜、複数の画像データとして、ＲＲＳ撮影（画素ずらしマルチショット合成、マルチショット合成）のために取得した４枚の画像データを用いる場合を例示して説明する。

画像処理装置２０は、取得部２１と、マッチング部２２と、分割部２３と、演算部２４と、第１の選択部２５と、第２の選択部２６と、合成部２７と、色補間部２８とを有している。

取得部２１は、カメラユニット１０（イメージセンサ１１）が撮影した複数（４枚）の画像データを取得する。複数の画像データは、それぞれ、ベイヤ配列のＲＧＢの色要素を有している。

取得部２１が取得する複数の画像データは、カメラユニット１０が撮影したものに限定されることはなく、種々の設計変更が可能である。例えば、複数の画像データは、手振れを利用することなく連写撮影によって得た複数の画像データ、さらに指定のフォルダ、クラウドストレージ、動画等といった記録済みの画像群が存在する中から、構図やアングル、撮影時間、画質的特徴が近しい複数の画像データを選択・抽出することができる。

マッチング部２２は、例えば、パターンマッチング等の画像の一致度を評価する手法、及び／又は、センサ７０の出力を利用して、取得部２１が取得した複数の画像データが手振れ利用ＲＲＳ撮影（手振れ利用画素ずらしマルチショット合成モード、手振れ利用マルチショット合成モード）に適しているか否かを判定する。複数の画像データの枚数には自由度があり、その具体的な枚数は問わない。例えば、複数の画像データが同構図や同アングルで連写モードを利用して撮影されたものである場合、当該複数の画像データは手振れ利用ＲＲＳ撮影に適していると判定される可能性が高い。一方、複数の画像データが構図やアングルを異ならせて時間的にずらして撮影されたものである場合、当該複数の画像データは手振れ利用ＲＲＳ撮影に適していないと判定される可能性が高い。マッチング部２２は、複数の画像データが手振れ利用ＲＲＳ撮影に適していると判定した場合は当該手振れ利用ＲＲＳ撮影を続行し、複数の画像データが手振れ利用ＲＲＳ撮影に適していないと判定した場合は当該手振れ利用ＲＲＳ撮影を中止することができる。

複数の画像データが手振れ利用ＲＲＳ撮影に適していないとマッチング部２２が判定した場合、手振れ利用ＲＲＳ撮影に適した複数データの画像が揃うまで、不要なフレームを捨てながら、カメラユニット１０による撮影を繰り返すことができる。その際、手振れ利用ＲＲＳ撮影に適した複数の画像データを得やすくするために、撮影条件を設定（制限）することができる。例えば、ＩＳＯ感度、シャッタ速度、絞り開度、焦点距離、撮影距離、環境の明るさ等の撮影条件を設定（制限）することができる。また、信号対雑音比（Ｓ／Ｎ比）が悪い場合には、カメラユニット１０による撮影枚数を増やすことができる。

マッチング部２２は、画像処理装置２０から省略することも可能である。

分割部２３は、取得部２１が取得した複数の画像データまたはマッチング部２２による判定処理を受けた複数の画像データの各画像データを複数の領域に分割する。具体的に、分割部２３は、各画像データをベイヤ配列のＲＧＢの色要素に対応する複数のブロック領域に分割する。

図３Ａ、図３Ｂは、画像データのブロック分割の一例を示す概念図である。図３Ａでは、画像データをベイヤ配列のＲＧＢの色要素に対応する４×４の１６のブロック領域に分割している。図３Ｂでは、画像データをベイヤ配列のＲＧＢの色要素に対応する８×８の６４のブロック領域に分割している。画像データをブロック分割する領域の数は種々の設計変更が可能であり、例えば、１６×１６の２５６のブロック領域に分割する態様、３２×３２の１０２４のブロック領域に分割する態様が可能である。

演算部２４は、取得部２１が取得した複数の画像データまたはマッチング部２２による判定処理を受けた複数の画像データの各画像データと、分割部２３が分割したブロック領域とに基づいた演算を実行する。より具体的に、演算部２４は、各画像データの領域毎のずれ量（画素ずれ量、位置ずれ量）を演算する。

演算部２４は、例えば、特許第４７６０９２３号公報に開示されているブロックマッチング等の技術を用いて、各画像データの領域毎のずれ量を確実かつ精密に演算することができる。また演算部２４は、以下で説明する各種の手法によっても、各画像データの領域毎のずれ量を確実かつ精密に演算することができる。

演算部２４は、例えば、センサ７０を構成する加速度検出器、角速度検出器、角加速度検出器の少なくとも１つの出力に基づいて、各画像データの領域毎のずれ量を演算することができる。

演算部２４は、イメージセンサ１１の画素出力に基づいて、ピクセル毎又はサブピクセル毎に、各画像データの領域毎のずれ量を演算することができる。さらに、演算部２４は、イメージセンサ１１の画素出力に基づいて、ＲＧＢプレーン毎に、各画像データの領域毎のずれ量を演算することができる。その際、演算部２４は、ＲＧＢプレーンのうちの特定のＲＧＢプレーンだけを使用してもよいし、使用するＲＧＢプレーンを変動させてもよい。例えば、第１の画像データと第２の画像データの領域毎のずれ量を演算するときにはＧプレーンを使用して、第３の画像データと第４の画像データの領域毎のずれ量を演算するときにはＲプレーンを使用するといった柔軟な対応が可能である。

演算部２４は、上述したセンサ７０の出力を利用した演算態様とイメージセンサ１１の画素出力を利用した演算態様を組み合わせることができる。すなわち、センサ７０の出力を利用して各画像データの領域毎のずれ量の方向性におおよその見当をつけた後に、イメージセンサ１１の画素出力を利用して各画像データの領域毎の精密なずれ量を検出することができる。

演算部２４は、イメージセンサ１１の画素出力に特定用途の画素出力が含まれている場合、当該特定用途の画素出力を除外するか、低い重み付けを与えて各画像データの領域毎のずれ量を検出することができる。特定用途の画素出力とは、例えば、撮影に無関係な位相差検出画素などを含むことができる。

第１の選択部２５は、演算部２４が演算した各画像データの領域毎のずれ量に基づいて、複数の画像データから合成対象画像データを選択する。より具体的に、第１の選択部２５は、複数の画像データのいずれかの画像データを基準画像データに設定するとともに残りの画像を比較画像データに設定して、基準画像データと比較画像データの画素ずれ量に応じて、比較画像データから合成対象画像データを選択する。

図４は、連写で撮影した４枚の画像データの１枚を基準画像データに設定するとともに残りの３枚を比較画像データ１〜比較画像データ３に設定した場合を示す概念図である。図４Ａが基準画像データを示しており、図４Ｂ〜図４Ｄが比較画像データ１〜比較画像データ３を示している。見た目で判別するのは難しいが、基準画像データと比較画像データ１〜比較画像データ３の間には、微小画素（例えば数画素）レベルの画素ずれが存在している。この画素ずれは、例えば、デジタルカメラ１のボディ本体を持つ撮影者の手振れ（揺らぎ）に起因する。本実施形態では、基準画像データと比較画像データ１〜比較画像データ３の間の画素ずれを、防振ユニット８０を利用したＲＲＳ撮影におけるイメージセンサ１１の駆動量（図２参照）と同視することにより、防振ユニット８０を利用することなく手振れ利用ＲＲＳ撮影を実行する。

第１の選択部２５は、基準画像データの画素座標（ｄｘ、ｄｙ）を（０、０）と定義したときに、画素ずれ量である比較画像データの画素座標（ｄｘ、ｄｙ）が次のパターンとなるような画像の組み合わせを探す。
（Ａ）基準画像データ：（ｄｘ、ｄｙ）＝（０、０）
（Ｂ）比較画像データ：（ｄｘ、ｄｙ）＝（偶数、奇数）
（Ｃ）比較画像データ：（ｄｘ、ｄｙ）＝（奇数、奇数）
（Ｄ）比較画像データ：（ｄｘ、ｄｙ）＝（奇数、偶数）

理想的には、画素ずれ量である比較画像データの画素座標（ｄｘ、ｄｙ）は整数画素であることが好ましいが、実際的には、そのようなケースは殆ど存在せず、（Ａ）〜（Ｄ）を満足する合成対象画像データを選択することは困難である。そこで、第１の選択部２５は、例えば、−０．２５＜Ｅ_{ａｌｌｏｗａｂｌｅ}＜０．２５を満足する１画素以下の許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を設定して合成対象画像データを選択する。より具体的に、第１の選択部２５は、（Ａ）〜（Ｄ）を次の（Ａ’）〜（Ｄ’）に置き換えて、合成対象画像データを選択する。なお、（Ａ’）〜（Ｄ’）においてＥ_{ａｌｌｏｗａｂｌｅ}＝０とすれば、（Ａ）〜（Ｄ）と（Ａ’）〜（Ｄ’）は等価である。
（Ａ’）基準画像データ：（ｄｘ、ｄｙ）＝（０、０）
（Ｂ’）比較画像データ：（ｄｘ、ｄｙ）＝（偶数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）
（Ｃ’）比較画像データ：（ｄｘ、ｄｙ）＝（奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）
（Ｄ’）比較画像データ：（ｄｘ、ｄｙ）＝（奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、偶数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）

許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を−０．２５＜Ｅ_{ａｌｌｏｗａｂｌｅ}＜０．２５の範囲内で設定することにより、偶数画素か奇数画素かを問うことなく、整数画素に近い範囲の画素座標だけをピックアップして高精度・高信頼性の合成対象画像データを選択することができる。例えば、ある画素座標が「−２．９０」や「３．２２」であれば、許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を適用することで、当該画素座標が「３」に近いと判断して当該画素座標を選択する。一方、ある画素座標が「−２．６４」や「３．３８」であれば、許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を適用しても、当該座標が「３」に近いとは判断せず、当該画素座標を選択しない。なお、許容誤差Ｅ_{ａｌｌｏｗａｂｌｅ}を−０．５＜Ｅ_{ａｌｌｏｗａｂｌｅ}＜０．５の範囲内で設定することで、奇数画素と偶数画素の中間付近の画素を必ず偶数画素か奇数画素のいずれかに振り分けることができる。例えば、奇数画素と偶数画素の中間値の近傍にある画素座標「３．４８」と「３．５３」があった場合、「３．４８」が「３」に近いと判断され、「３．５３」が「４」に近いと判断される。

第１の選択部２５は、複数の画像データの中から、上記（Ａ’）を満足する基準画像データを設定するとともに、上記（Ｂ’）を満足する比較画像データ及び／又は上記（Ｄ’）を満足する比較画像データを合成対象画像データとして選択する。これにより、後述する画像合成時に、１画素毎に２つのＧ（Ｇｒ、Ｇｂ）を色情報成分として含ませることが可能になる。

より好ましくは、第１の選択部２５は、複数の画像データの中から、上記（Ａ’）を満足する基準画像データを設定するとともに、上記（Ｂ’）を満足する比較画像データ、上記（Ｃ’）を満足する比較画像データ及び上記（Ｄ’）を満足する比較画像データを合成対象画像データとして選択する。これにより、後述する画像合成時に、１画素毎にＲＧＢの各色の色情報成分を含ませることが可能になる。

第１の選択部２５は、比較画像データから合成対象画像データを選択できなかったとき、Ｅ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を広げて、合成対象画像データの選択を再試行することができる。例えば、第１の選択部２５は、１回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の絶対値を０．０１に設定し、２回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．０５に設定し、３回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．１０に設定し、４回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．１５に設定し、５回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．２０に設定し、６回目の合成対象画像の選択ではＥ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．２５に設定することができる。第１の選択部２５は、Ｅ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を０．２５に設定しても合成対象画像データを選択できなかったとき、合成対象画像データの選択を中止することができる。Ｅ_{ａｌｌｏｗａｂｌｅ}の境界値（絶対値）を段階的に広げていくことにより、合成対象画像データの選択の精度を段階的に緩くすることができる。

第１の選択部２５は、比較画像データから合成対象画像データを選択できなかったとき、基準画像データ（及び比較画像データ）を再設定して、合成対象画像データの選択を再試行することができる。画素ずれ量は基準画像データとの関係で規定されるので、複数の画像データのいずれを基準画像データに設定するかにより、合成対象画像データを選択できる場合と選択できない場合がある。従って、基準画像データを再設定して合成対象画像データの選択を再試行すれば、当該合成対象画像データの選択が成功する可能性がある。すなわち、ある画像データを基準画像データに設定して合成対象画像データの選択に失敗した場合であっても、別の画像データを基準画像データに設定すれば合成対象画像データの選択に成功する場合がある。

第１の選択部２５は、画素ずれ量である比較画像データの画素座標（ｄｘ、ｄｙ）が所定のエラー閾値（例えば数十画素）を超えている場合には、合成対象画像データの選択を中止することができる。

第１の選択部２５は、画像処理装置２０から省略することも可能である。

第２の選択部２６は、演算部２４が演算した各画像データの領域毎のずれ量に基づいて、各画像データから色補間に用いる基準画像データと補助画像データを選択する。第２の選択部２６は、演算部２４が演算した各画像データの中から、上記（Ａ）及び／又は（Ａ’）を満足する基準画像データと、上記（Ｂ）及び／又は（Ｂ’）を満足する補助画像データを選択する。あるいは、第２の選択部２６は、演算部２４が演算した各画像データの中から、上記（Ａ）及び／又は（Ａ’）を満足する基準画像データと、上記（Ｄ）及び／又は（Ｄ’）を満足する補助画像データを選択する。

図５、図６は、基準画像データと補助画像データの撮影範囲の一例を示す概念図である。

図５は、基準画像データの撮影範囲の一部である画素座標が（０、０）であるときに（図５Ａ）、補助画像データの撮影範囲の一部である画素座標が（１、０）である場合を描いている（図５Ｂ）。つまり、基準画像データにおいて太線で囲った撮影範囲の一部が、補助画像データでは、１画素分だけ右側にシフトしている（図５Ａ、図５Ｂ）。

図６は、基準画像データの撮影範囲の一部である画素座標が（０、０）であるときに（図６Ａ）、補助画像データの撮影範囲の一部である画素座標が（０、−１）である場合を描いている（図６Ｂ）。つまり、基準画像データにおいて太線で囲った撮影範囲の一部が、補助画像データでは、１画素分だけ下側にシフトしている（図６Ａ、図６Ｂ）。

合成部２７は、演算部２４が演算した各画像データの領域毎のずれ量に応じて、第１の選択部２５が選択した合成対象画像データ（基準画像データと比較画像データから選択した合成対象画像データ）を相対移動して合成画像データを得る。ここで、「合成対象画像データを相対移動する」とは、当該合成対象画像データが相対移動するように当該合成対象画像データを修正することを意味する。

合成部２７は、演算部２４が演算した各画像データの領域毎のずれ量に応じて、合成対象画像データ（基準画像データと比較画像データから選択した合成対象画像データ）が重なるように、当該画像データを相対移動させることができる。

合成部２７は、演算部２４による各画像データの領域毎のずれ量の演算精度とは異なる移動精度で、合成対象画像データ（基準画像データと比較画像データから選択した合成対象画像データ）を相対移動させることができる。例えば、演算部２４によるずれ量の演算精度をサブピクセル単位とする一方、合成部２７による合成対象画像データ（基準画像データと比較画像データから選択した合成対象画像データ）の移動精度をピクセル単位としてもよい。

合成部２７によって相対移動させられた基準画像データと比較画像データ（合成対象画像データ）の画素座標は、上記の（Ａ）〜（Ｄ）と（Ａ’）〜（Ｄ’）の例に倣うと、例えば、次の（Ａ”）〜（Ｄ”）により表される。Ｅ_{ａｌｌｏｗａｂｌｅ}を許容誤差として無視すれば、（Ａ”）〜（Ｄ”）で表される４枚の画像データは、防振ユニット８０を利用したＲＲＳ撮影で使用される４枚の画像データ（図２Ａ〜図２Ｄ）と完全に一致する。勿論、許容誤差としてのＥ_{ａｌｌｏｗａｂｌｅ}が残存しても、防振ユニット８０を利用したＲＲＳ撮影と等価な４枚の画像データが得られる。
（Ａ”）基準画像データ：（ｄｘ、ｄｙ）＝（０、０）
（Ｂ”）比較画像データ：（ｄｘ、ｄｙ）＝（０＋Ｅ_{ａｌｌｏｗａｂｌｅ}、１＋Ｅ_{ａｌｌｏｗａｂｌｅ}）
（Ｃ”）比較画像データ：（ｄｘ、ｄｙ）＝（１＋Ｅ_{ａｌｌｏｗａｂｌｅ}、１＋Ｅ_{ａｌｌｏｗａｂｌｅ}）
（Ｄ”）比較画像データ：（ｄｘ、ｄｙ）＝（１＋Ｅ_{ａｌｌｏｗａｂｌｅ}、０＋Ｅ_{ａｌｌｏｗａｂｌｅ}）

図７は、基準画像データと比較画像データ１〜比較画像データ３を合成して合成画像データを得る場合を示す概念図である。合成部２７による合成画像データは、１画素毎に２つのＧ（Ｇｒ、Ｇｂ）の色情報成分又はＲＧＢ各色の色情報成分を含んでいるので、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。

色補間部２８は、複数の画像データ及び／又はこれを合成した合成画像データにおいて、ＲＧＢのいずれかの色要素に欠陥がある場合に、当該欠陥のある色要素を色補完する。色補間部２８は、演算部２４が演算した各画像データの領域毎のずれ量に基づいて、ＲＧＢの色要素の少なくとも１つについての色補間を行う。

色補間部２８は、Ｇ要素の色補間を行う場合とＲ要素及び／又はＢ要素の色補間を行う場合で色補間の態様を切り替える。以下、ＲＧＢの色要素のそれぞれの色補間を行う場合に分けて説明する。

色補間部２８は、Ｇ要素の色補間を行う場合、基準画像データのＧ要素と補助画像データのＧ要素のずれ量に基づいてＧ要素の総和を求めることによりＧ要素の色補間を行う。

図８Ａ〜図８Ｃは、Ｇ要素の色補間の一例を示す概念図である。図８Ａは、図５Ａ、図６Ａに示す基準画像データにおいて太線で囲った撮影範囲の一部のＧ要素だけを抜粋して描いたものである。図８Ｂは、図５Ｂ、図６Ｂに示す補助画像データにおいて太線で囲った撮影範囲の一部のＧ要素だけを抜粋して描いたものである。図８Ｃは、図８ＡのＧ要素と図８ＢのＧ要素の総和を描いたものである。図８ＣのＧ要素によれば、複数の画像データ及び／又はこれを合成した合成画像データにおいて、Ｇ要素に欠陥がある場合であっても、当該欠陥のあるＧ要素を好適に色補間することができる。このように、基準画像データと補助画像データにＲ要素とＢ要素が揃っていなくても、Ｇ要素が揃っていれば、Ｇ要素を好適に色補間することができる。

色補間部２８は、Ｒ要素の色補間を行う場合、基準画像データのＲ要素と補助画像データのＲ要素のずれ量に基づいてＲ要素の総和を求め、Ｒ要素の総和に基づいた重み付け加算及び／又は複製加算によりＲ要素の色補間を行う。

図９Ａ〜図９Ｅは、Ｒ要素の色補間の一例を示す第１の概念図である。図９Ａは、図５Ａに示す基準画像データにおいて太線で囲った撮影範囲の一部のＲ要素だけを抜粋して描いたものである。図９Ｂは、図５Ｂに示す補助画像データにおいて太線で囲った撮影範囲の一部のＲ要素だけを抜粋して描いたものである。図９Ｃは、図９ＡのＲ要素と図９ＢのＲ要素の総和を描いたものである。図９Ｃにおいて、太線で囲った撮影範囲の一部を上方から下方に向かって第１列、第２列、第３列、第４列（各列は左右方向に延びている）に分割したとき、Ｒ要素の総和は、第１列と第３列にのみ位置している。図９Ｄでは、第１列のＲ要素に重み付けを行って又はそのまま複製して第２列に加算するとともに、第３列のＲ要素に重み付けを行って又はそのまま複製して第４列に加算する。図９Ｅは、重み付け加算及び／又は複製加算を行った後のＲ要素の総和を描いたものである。図９ＥのＲ要素によれば、複数の画像データ及び／又はこれを合成した合成画像データにおいて、Ｒ要素に欠陥がある場合であっても、当該欠陥のあるＲ要素を好適に色補間することができる。

図１０Ａ〜図１０Ｅは、Ｒ要素の色補間の一例を示す第２の概念図である。図１０Ａは、図６Ａに示す基準画像データにおいて太線で囲った撮影範囲の一部のＲ要素だけを抜粋して描いたものである。図１０Ｂは、図６Ｂに示す補助画像データにおいて太線で囲った撮影範囲の一部のＲ要素だけを抜粋して描いたものである。図１０Ｃは、図１０ＡのＲ要素と図１０ＢのＲ要素の総和を描いたものである。図１０Ｃにおいて、太線で囲った撮影範囲の一部を左方から右方に向かって第１列、第２列、第３列、第４列（各列は上下方向に延びている）に分割したとき、Ｒ要素の総和は、第１列と第３列にのみ位置している。図１０Ｄでは、第１列のＲ要素に重み付けを行って又はそのまま複製して第２列に加算するとともに、第３列のＲ要素に重み付けを行って又はそのまま複製して第４列に加算する。図１０Ｅは、重み付け加算及び／又は複製加算を行った後のＲ要素の総和を描いたものである。図１０ＥのＲ要素によれば、複数の画像データ及び／又はこれを合成した合成画像データにおいて、Ｒ要素に欠陥がある場合であっても、当該欠陥のあるＲ要素を好適に色補間することができる。

図１１Ａ〜図１１Ｅは、Ｂ要素の色補間の一例を示す第１の概念図である。図１１Ａは、図５Ａに示す基準画像データにおいて太線で囲った撮影範囲の一部のＢ要素だけを抜粋して描いたものである。図１１Ｂは、図５Ｂに示す補助画像データにおいて太線で囲った撮影範囲の一部のＢ要素だけを抜粋して描いたものである。図１１Ｃは、図１１ＡのＢ要素と図１１ＢのＢ要素の総和を描いたものである。図１１Ｃにおいて、太線で囲った撮影範囲の一部を上方から下方に向かって第１列、第２列、第３列、第４列（各列は左右方向に延びている）に分割したとき、Ｂ要素の総和は、第２列と第４列にのみ位置している。図１１Ｄでは、第２列のＢ要素に重み付けを行って又はそのまま複製して第１列に加算するとともに、第４列のＢ要素に重み付けを行って又はそのまま複製して第３列に加算する。図１１Ｅは、重み付け加算及び／又は複製加算を行った後のＢ要素の総和を描いたものである。図１１ＥのＢ要素によれば、複数の画像データ及び／又はこれを合成した合成画像データにおいて、Ｂ要素に欠陥がある場合であっても、当該欠陥のあるＢ要素を好適に色補間することができる。

図１２Ａ〜図１２Ｅは、Ｂ要素の色補間の一例を示す第２の概念図である。図１２Ａは、図６Ａに示す基準画像データにおいて太線で囲った撮影範囲の一部のＢ要素だけを抜粋して描いたものである。図１２Ｂは、図６Ｂに示す補助画像データにおいて太線で囲った撮影範囲の一部のＢ要素だけを抜粋して描いたものである。図１２Ｃは、図１２ＡのＢ要素と図１２ＢのＢ要素の総和を描いたものである。図１２Ｃにおいて、太線で囲った撮影範囲の一部を左方から右方に向かって第１列、第２列、第３列、第４列（各列は上下方向に延びている）に分割したとき、Ｂ要素の総和は、第２列と第４列にのみ位置している。図１２Ｄでは、第２列のＢ要素に重み付けを行って又はそのまま複製して第１列に加算するとともに、第４列のＢ要素に重み付けを行って又はそのまま複製して第３列に加算する。図１２Ｅは、重み付け加算及び／又は複製加算を行った後のＢ要素の総和を描いたものである。図１２ＥのＢ要素によれば、複数の画像データ及び／又はこれを合成した合成画像データにおいて、Ｂ要素に欠陥がある場合であっても、当該欠陥のあるＢ要素を好適に色補間することができる。

色補間部２８は、Ｒ要素及び／又はＢ要素の重み付け加算及び／又は複製加算を行うにあたり、重み付け加算及び／又は複製加算の方向を統一する。

図１３Ａ〜図１３Ｂは、重み付け加算及び／又は複製加算の方向の一例を示す概念図である。図１３Ａ〜図１３Ｂ中の“Ｘ”は、重み付け加算及び／又は複製加算を行う前後の色要素の座標（実数で表される画素座標）を示している。図１３Ａでは、座標Ｘの色要素に重み付けを行って又はそのまま複製して下方に加算している。図１３Ｂでは、座標Ｘの色要素に重み付けを行って又はそのまま複製して上方に加算している。図１３Ｃは、座標Ｘの色要素に重み付けを行い又はそのまま複製する点は図１３Ａ、図１３Ｂと共通であるが、その加算方向が上方と下方に分散している。色補間部２８は、図１３Ａ、図１３Ｂのように、座標Ｘの色要素の重み付け加算及び／又は複製加算の方向を統一する。

複数のベイヤ画像から全てのピクセルのＲＧＢの各要素を色補完する場合、基準画像データと補助画像データの２枚があればＧ成分は必要な状態を満たせるが、Ｒ成分とＢ成分は欠落し易い傾向がある。このとき、補助画像データの理想的な位置は、基準画像データに対する相対位置が「水平方向が奇数画素かつ垂直方向が偶数画素だけずれている位置（上記の式（Ｄ）、式（Ｄ’）、式（Ｄ”）、図５Ａ、図５Ｂ）」あるいは「水平方向が偶数画素かつ垂直方向が奇数画素だけずれている位置（上記の式（Ｂ）、式（Ｂ’）、式（Ｂ”）、図６Ａ、図６Ｂ）」となる。Ｒ要素とＢ要素がベイヤ画像のどこで不足（欠落）しているかは、補助画像データが上記のいずれの位置に近いものであるかによって決まる。

Ｒ要素とＢ要素を色補完する方法として、隣接画素（いずれかの画素）を重み付け加算及び／又は複製加算することが挙げられる。画素の複製による色補間を行う場合、Ｇ要素の理想位置とのずれ量は最大で１画素分であるが、Ｒ要素とＢ要素の理想位置とのずれ量は２画素分になることが考えられる。領域毎に補助画像データの理想的な位置とのずれ量が変化すると、領域によって偽色の強さが変わってしまい、領域の変わり目（境界部）で不自然な画像データとなってしまう。

本実施形態では、補助画像データの理想位置に対するずれの方向に応じて、Ｒ要素とＢ要素の色補間の方向を、例えば、縦方向であれば上下の画素のうちより近いものを参照し、横方向であれば左右の画素のうちより近いものを参照するように制御する。理想位置とのずれ量を抑えることで、偽色による画像データの不自然さを低減することが可能になる。仮に、Ｒ要素とＢ要素の重み付け加算及び／又は複製加算の方向が１ピクセル毎に変わると、合成画像データにギザギザや縞などが生じてしまう。そこで、基準画像データの隣接位置については、距離が等しく色要素のずれは同等なので、補助画像データの複製方向に合わせている（図１３Ａ〜図１３Ｃ）。

このように本実施形態では、取得部２１が、ベイヤ配列のＲＧＢの色要素を有する複数の画像データを取得し、分割部２３が、各画像データを複数の領域に分割し、演算部２４が、各画像データの領域毎のずれ量を演算し、色補間部２８が、各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う。これにより、高品質な合成画像データを得ることができる。

本実施形態では、解像感・輝度に対して支配的なＧ要素については、基準画像データのＧ要素と補助画像データのＧ要素のずれ量に基づいてＧ要素の総和を求めることによりＧ要素の色補間を行い、その他のＲ要素／Ｂ要素については、基準画像データのＲ要素／Ｂ要素と補助画像データのＲ要素／Ｂ要素のずれ量に基づいてＲ要素／Ｂ要素の総和を求め、Ｒ要素／Ｂ要素の総和に基づいた重み付け加算／複製加算によりＲ要素／Ｂ要素の色補間を行う。このように、Ｇ要素の色補間を行う場合とＲ要素／Ｂ要素の色補間を行う場合で色補間の態様を切り替えている。これにより、撮影枚数が少なくても、基準画像データと補助画像データの最低２ショットあれば、ＲＧＢの色要素の全てについて好適な色補間が可能になり、解像感に優れた高品質なショットを揃えることで高品質な合成画像データを得ることができる。

以上の実施形態では、複数の画像データにおけるＲＧＢの色要素がベイヤ配列となっている場合を例示して説明したが、複数の画像データにおけるＲＧＢの色要素がベイヤ配列以外であってもよい。

１ デジタルカメラ（カメラユニット付き電子機器）
１０ カメラユニット（撮影部、取得部）
１１ イメージセンサ（撮像素子）
２０ 画像処理装置
２１ 取得部
２２ マッチング部
２３ 分割部
２４ 演算部
２５ 第１の選択部
２６ 第２の選択部
２７ 合成部
２８ 色補間部
３０ メモリ
４０ 記録媒体
５０ 表示装置
６０ 入力装置
７０ センサ
８０ 防振ユニット
９０ ＣＰＵ
１００ バス

Claims (11)

1. ＲＧＢの色要素を有する複数の画像データを取得する取得部と、
   各画像データを複数の領域に分割する分割部と、
   各画像データの領域毎のずれ量を演算する演算部と、
   各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間部と、
   を有することを特徴とする画像処理装置。
2. 前記色補間部は、Ｇ要素の色補間を行う場合とＲ要素及び／又はＢ要素の色補間を行う場合で色補間の態様を切り替える、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 各画像データの領域毎のずれ量に基づいて基準画像データと補助画像データを選択する選択部をさらに有し、
   前記色補間部は、前記基準画像データのＧ要素と前記補助画像データのＧ要素のずれ量に基づいてＧ要素の総和を求めることによりＧ要素の色補間を行う、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 各画像データの領域毎のずれ量に基づいて基準画像データと補助画像データを選択する選択部をさらに有し、
   前記色補間部は、前記基準画像データのＲ要素及び／又はＢ要素と前記補助画像データのＲ要素及び／又はＢ要素のずれ量に基づいてＲ要素及び／又はＢ要素の総和を求め、前記Ｒ要素及び／又はＢ要素の総和に基づいた重み付け加算及び／又は複製加算によりＲ要素及び／又はＢ要素の色補間を行う、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記色補間部は、前記重み付け加算及び／又は前記複製加算の方向を統一する、
   ことを特徴とする請求項３又は請求項４に記載の画像処理装置。
6. 前記選択部は、前記基準画像データの画素座標（ｄｘ、ｄｙ）を（０、０）と定義したとき、画素座標（ｄｘ、ｄｙ）が（偶数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）及び／又は（奇数＋Ｅ_{ａｌｌｏｗａｂｌｅ}、偶数＋Ｅ_{ａｌｌｏｗａｂｌｅ}）となる前記補助画像データを選択し、Ｅ_{ａｌｌｏｗａｂｌｅ}は−０．２５＜Ｅ_{ａｌｌｏｗａｂｌｅ}＜０．２５を満足する、
   ことを特徴とする請求項３から請求項５のいずれかに記載の画像処理装置。
7. ＲＧＢの色要素を有する複数の画像データを取得する取得ステップと、
   各画像データを複数の領域に分割する分割ステップと、
   各画像データの領域毎のずれ量を演算する演算ステップと、
   各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間ステップと、
   を有することを特徴とする画像処理方法。
8. ＲＧＢの色要素を有する複数の画像データを取得する取得ステップと、
   各画像データを複数の領域に分割する分割ステップと、
   各画像データの領域毎のずれ量を演算する演算ステップと、
   各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間ステップと、
   をコンピュータに実行させることを特徴とする画像処理プログラム。
9. ＲＧＢの色要素を有する複数の画像データを取得する取得部と、
   各画像データを複数の領域に分割する分割部と、
   各画像データの領域毎のずれ量を演算する演算部と、
   各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間部と、
   を有することを特徴とする撮影装置。
10. ＲＧＢの色要素を有する複数の画像データを取得する取得ステップと、
    各画像データを複数の領域に分割する分割ステップと、
    各画像データの領域毎のずれ量を演算する演算ステップと、
    各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間ステップと、
    を有することを特徴とする撮影方法。
11. ＲＧＢの色要素を有する複数の画像データを取得する取得ステップと、
    各画像データを複数の領域に分割する分割ステップと、
    各画像データの領域毎のずれ量を演算する演算ステップと、
    各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う色補間ステップと、
    をコンピュータに実行させることを特徴とする撮影プログラム。

Images