JP2014027526A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】簡易な構成で高精度のデモザイク処理を実行する装置、方法を提供する。
【解決手段】ＲＡＷ画像から処理対象領域である注目局所領域を選択し、入力画像に基づく基準色画像を生成する。さらに、注目局所領域と異なる位相を持ち、かつ基準色画像に基づいて注目局所領域と類似度が高いと判定される類似局所領域を選択する。さらに、注目局所領域と類似局所領域との合成処理によって注目局所領域の構成画素の各画素位置にＲＧＢ各画素値を設定したＲＧＢ設定局所領域画像を生成する。さらに、異なる注目局所領域対応のＲＧＢ設定局所領域画像を合成して入力ＲＡＷ画像の構成画素の各画素位置にＲＧＢ各画素値を設定したＲＧＢ画像を生成する。
【選択図】図３

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、例えばカメラの撮像素子出力であるＲＡＷ画像、すなわち各画素に特定色の画素値のみが設定されたＲＡＷ画像の各画素にＲＧＢ等の各色を設定するデモザイク処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。

デジタルカメラ等の撮像装置に利用される撮像素子には、例えばＲＧＢ配列からなるカラーフィルタが装着され、各画素に特定の波長光を入射する構成となっている。
具体的には、例えばベイヤ（Ｂａｙｅｒ）配列を持つカラーフィルタが多く利用されている。

ベイヤ配列の撮像画像は、撮像素子の各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像となる。カメラの画像処理部は、このモザイク画像に対して画素値補間などの様々な信号処理を施して各画素にＲＧＢの全画素値を設定するデモザイク処理を行い、カラー画像を生成して出力する。

デモザイク処理の従来手法として、まばらのＲＧＢ各色のデータに対して線形フィルタを適用して周囲の同一色の画素値の線形補間を実行して各画素に対応するＲＧＢ各色を算出して設定する手法がある。しかし、この方法は、計算コストは低いが、出力精度（復元精度）が悪いという問題がある。

特許文献１（特開２００２−６４８３５号公報）は、高度なデモザイク処理手法を開示している。具体的には画像の斜め線や細線の部分等に対応したクラス分類適応処理により、画像の特徴に応じたデモザイク処理を実現する手法を示している。
また、画素位置毎に勾配方向を推定してデモザイクを行う手法も存在する。
しかし、これらの従来手法は、画素位置毎のデモザイク精度のばらつきにより、出力画像の画質が悪化するという共通のリスクが存在する。

さらに、特許文献２（特許第４２１４４０９号公報）は、超解像を利用したデモザイク手法を開示している。しかし、この手法は、画素値の最適化のため繰り返し処理を必要するため、計算コストが高く、処理時間を要するという問題がある。また入力として複数枚の画像を必要とし、必要とするメモリ容量の増大などの問題もある。

特開２００２−６４８３５号公報 特許第４２１４４０９号公報

本開示は、例えば上記問題点に鑑みてなされたものであり、簡易精度な構成で、高精度なデモザイク処理を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の一実施例の処理に従えば、局所領域単位の異なる位相の類似領域の合成処理によるデモザイクを行ない、画素位置に応じたデモザイク精度ばらつきを低減した処理を実現することができる。

本開示の第１の側面は、
各画素に特定色の画素値のみが設定されたＲＡＷ画像を入力画像とし、該入力画像の各画素位置に複数色の画素値を設定する画像処理部を有し、
前記画像処理部は、
前記入力画像から処理対象領域である注目局所領域を選択する局所領域選択部と、
前記入力画像に基づく基準色画像を生成する基準色画像生成部と、
前記注目局所領域と異なる位相を持ち、かつ前記基準色画像に基づいて前記注目局所領域と類似度が高いと判定した類似局所領域を選択する類似局所領域選択部と、
前記注目局所領域と前記類似局所領域との合成処理によって前記注目局所領域の構成画素の各画素位置に複数色の画素値を設定した複数色設定局所領域画像を生成する位相合成部と、
前記位相合成部が生成する異なる注目局所領域対応の複数色設定局所領域画像を入力し、入力する複数色対応局所領域画像を合成して前記入力画像の構成画素の各画素位置に複数色の画素値を設定した複数色設定画像を生成する局所領域合成部を有する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記入力画像は、各画素位置にＲＧＢのいずれか一色の画素値のみが設定されたＲＡＷ画像であり、前記位相合成部は、前記注目局所領域の構成画素の各画素位置にＲＧＢ全色の画素値を設定したＲＧＢ設定局所領域画像を生成し、前記局所領域合成部は、前記入力画像の構成画素の各画素位置にＲＧＢ全色の画素値を設定したＲＧＢ設定画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記基準色画像生成部は、前記ＲＡＷ画像のサンプリング周波数より低周波の基準色画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記基準色画像生成部は、前記ＲＡＷ画像のサンプリング周波数より低周波の輝度画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記基準色画像生成部は、前記ＲＡＷ画像に含まれる最多画素数を持つ色の画素に対応するサンプリング周波数ｆｓと、ナイキスト周波数の１／２であるｆｓ／４の範囲にカットオフ周波数を持つ基準色画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記ＲＡＷ画像はベイヤ配列画像であり、前記類似局所領域選択部は、前記注目局所領域と異なる３種類の位相に対応する３つの異なる位相対応の３つの類似局所領域を選択し、前記位相合成部は、前記注目局所領域と前記３つの異なる位相対応の３つの類似局所領域との合成処理によって前記注目局所領域の構成画素の各画素位置にＲＧＢ各色の画素値を設定したＲＧＢ色設定局所領域画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記ＲＡＷ画像はベイヤ配列画像であり、前記類似局所領域選択部は、前記注目局所領域と異なる位相の１つの類似局所領域を選択し、前記位相合成部は、前記注目局所領域と前記１つの類似局所領域との合成処理を実行し、さらに、該合成処理において、画素値が取得できない画素位置の画素値を補間処理によって算出して前記注目局所領域の構成画素の各画素位置にＲＧＢ各色の画素値を設定したＲＧＢ色設定局所領域画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、さらに、類似局所領域合成部を有し、前記類似局所領域選択部は、前記注目局所領域と異なる位相を持ち、かつ前記基準色画像に基づいて前記注目局所領域と類似度が高いと判定した類似局所領域を、各位相単位で複数選択する処理を実行して、選択した類似局所領域を前記類似局所領域合成部に出力し、前記類似局所領域合成部は、各位相単位の複数の類似局所領域の合成処理により、各位相単位の１つの類似局所領域データを生成して前記位相合成部に出力する。

さらに、本開示の画像処理装置の一実施態様において、前記類似局所領域合成部は、各位相単位の複数の類似局所領域の合成処理に際して、各類似局所領域の前記長目局所領域に対する類似度に応じた重みに応じた重み付き加算を適用した合成処理を実行して各位相単位の１つの類似局所領域データを生成する。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像処理部が、各画素に特定色の画素値のみが設定されたＲＡＷ画像を入力画像とし、該入力画像の各画素位置に複数色の画素値を設定する画像処理を実行し、
前記画像処理において、
前記入力画像から処理対象領域である注目局所領域を選択する局所領域選択部と、
前記入力画像に基づく基準色画像を生成する基準色画像生成処理と、
前記注目局所領域と異なる位相を持ち、かつ前記基準色画像に基づいて前記注目局所領域と類似度が高いと判定した類似局所領域を選択する類似局所領域選択処理と、
前記注目局所領域と前記類似局所領域との合成処理によって前記注目局所領域の構成画素の各画素位置に複数色の画素値を設定した複数色設定局所領域画像を生成する位相合成処理と、
前記位相合成部が生成する異なる注目局所領域対応の複数色設定局所領域画像を入力し、入力する複数色対応局所領域画像を合成して前記入力画像の構成画素の各画素位置に複数色の画素値を設定した複数色設定画像を生成する局所領域合成処理を実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像処理部に、各画素に特定色の画素値のみが設定されたＲＡＷ画像を入力画像とし、該入力画像の各画素位置に複数色の画素値を設定する画像処理を実行させ、
前記画像処理において、
前記入力画像から処理対象領域である注目局所領域を選択する局所領域選択部と、
前記入力画像に基づく基準色画像を生成する基準色画像生成処理と、
前記注目局所領域と異なる位相を持ち、かつ前記基準色画像に基づいて前記注目局所領域と類似度が高いと判定した類似局所領域を選択する類似局所領域選択処理と、
前記注目局所領域と前記類似局所領域との合成処理によって前記注目局所領域の構成画素の各画素位置に複数色の画素値を設定した複数色設定局所領域画像を生成する位相合成処理と、
前記位相合成部が生成する異なる注目局所領域対応の複数色設定局所領域画像を入力し、入力する複数色対応局所領域画像を合成して前記入力画像の構成画素の各画素位置に複数色の画素値を設定した複数色設定画像を生成する局所領域合成処理を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、簡易な構成で高精度のデモザイク処理を実行する装置、方法が実現される。
具体的には、ＲＡＷ画像から処理対象領域である注目局所領域を選択し、入力画像に基づく基準色画像を生成する。さらに、注目局所領域と異なる位相を持ち、かつ基準色画像に基づいて注目局所領域と類似度が高いと判定される類似局所領域を選択する。さらに、注目局所領域と類似局所領域との合成処理によって注目局所領域の構成画素の各画素位置にＲＧＢ各画素値を設定したＲＧＢ設定局所領域画像を生成する。さらに、異なる注目局所領域対応のＲＧＢ設定局所領域画像を合成して入力ＲＡＷ画像の構成画素の各画素位置にＲＧＢ各画素値を設定したＲＧＢ画像を生成する。
本構成により、簡易な構成で高精度のデモザイク処理を実行する装置、方法が実現される。

本開示の画像処理装置の一実施例としての撮像素子の構成例について説明する図である。 撮像素子の構成について説明する図である。 本開示の画像処理装置の画像処理部の構成と処理について説明する図である。 本開示の画像処理装置の実行する基準色画像の生成例について説明する図である。 本開示の画像処理装置の実行する類似局所領域の探索処理について説明する図である。 本開示の画像処理装置の実行する異なる位相の類似局所領域の探索処理について説明する図である。 本開示の画像処理装置の実行する異なる位相の類似局所領域の合成処理について説明する図である。 本開示の画像処理装置の実行する異なる位相の類似局所領域の合成処理について説明する図である。 本開示の画像処理装置の実行する異なる位相の類似局所領域の合成処理について説明する図である。 本開示の画像処理装置の実行する異なる位相の類似局所領域の合成処理の効果について説明する図である。 本開示の画像処理装置の実行する２つの異なる位相の類似局所領域の合成処理について説明する図である。 本開示の画像処理装置の実行する２つの異なる位相の類似局所領域の合成処理について説明する図である。 本開示の画像処理装置の実行する２つの異なる位相の類似局所領域の合成処理について説明する図である。 本開示の画像処理装置の画像処理部の構成と処理について説明する図である。 本開示の画像処理装置の実行する２つの異なる位相の類似局所領域合成処理について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．画像処理装置の構成例と動作例について
１−１．画像処理装置の構成について
１−２．画像処理装置の動作について
２．本開示の画像処理装置の実行するデモザイク処理の第１実施例について
３．その他の実施例について
３−１．第２実施例：位相合成部１０４において特定位相の類似領域のみを利用した合成処理と、画素値補間を行なう実施例
３−２．第３実施例：所定の類似度以上の類似局所領域をすべて用いた処理を実行する実施例
４．本開示の構成のまとめ

［１．画像処理装置の構成例と動作例について］
まず、本開示の画像処理装置の構成例と動作例について説明する。

（１−１．画像処理装置の構成について）
図１は、本開示の画像処理装置の一実施例である撮像装置１０の構成例を示す図である。撮像装置１０は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。

光学系は、被写体の光画像を集光するレンズ１１、レンズ１１からの光画像の光量を調整する絞り１２、および集光された光画像を光電変換して電気信号に変換する撮像素子（イメージセンサ）１３から構成される。
撮像素子１３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなる。

撮像素子１３は、例えば図２に示すようにＲＧＢ各画素によって構成されたベイヤ（Ｂａｙｅｒ）配列を持つ色フィルタ（カラーフィルタ）を有する撮像素子である。
各画素には、色フィルタの配列に応じたＲＧＢいずれかの色に対応する画素値が設定されることになる。
なお、図２に示す配列は撮像素子１３の画素配列の一例であり、撮像素子１３は、この他の様々な設定の配列とすることが可能である。

図１に戻り、撮像装置１０の構成についての説明を続ける。
信号処理系は、サンプリング回路１４、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１５、および画像処理部（ＤＳＰ）１６から構成される。

サンプリング回路１４は、例えば、相関２重サンプリング回路（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）によって実現され、撮像素子１３からの電気信号をサンプリングしてアナログ信号を生成する。これにより、撮像素子１３において発生するノイズが軽減される。サンプリング回路１４において得られるアナログ信号は、撮像された被写体の画像を表示させる画像信号である。

Ａ／Ｄ変換部１５は、サンプリング回路１４から供給されるアナログ信号をデジタル信号に変換して、画像処理部１６に供給する。
画像処理部１６は、Ａ／Ｄ変換部１５から入力されるデジタル信号に所定の画像処理を施す。
具体的には、先に図２を参照して説明した各画素単位でＲＧＢのいずれかの一色の画素値データからなる画像データ（モザイク画像）に対して、各画素位置にＲＧＢの全色に対応する画素値を設定するデモザイク処理を実行する。
このデモザイク処理については、後段で詳細に説明する。
なお、画像処理部１２６は、このデモザイク処理の他、ホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理も実行する。

記録系は、画像信号を符号化または復号する符号化／復号部１７と、画像信号を記録するメモリ１８とから構成される。
符号化／復号部１７は、画像処理部１６によって処理されたデジタル信号である画像信号を符号化してメモリ１８に記録する。また、メモリ１８から画像信号を読み出して復号し、画像処理部１６に供給する。

表示系は、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部１９、ビデオエンコーダ２０、および表示部２１から構成される。
Ｄ／Ａ変換部１９は、画像処理部１６によって処理された画像信号をアナログ化してビデオエンコーダ２０に供給し、ビデオエンコーダ２０は、Ｄ／Ａ変換部１９からの画像信号を表示部２１に適合する形式のビデオ信号にエンコードする。
表示部２１は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により実現され、ビデオエンコーダ２０におけるエンコードで得られたビデオ信号に基づいて、ビデオ信号に対応する画像を表示する。また、表示部２１は、被写体の撮像時にはファインダとしても機能する。

制御系は、タイミング生成部２２、操作入力部２３、ドライバ２４、および制御部（ＣＰＵ）２５から構成される。また、画像処理部１６、符号化／復号部１７、メモリ１８、タイミング生成部２２、操作入力部２３、および制御部２５は、バス２６を介して相互に接続されている。

タイミング生成部２２は、撮像素子１３、サンプリング回路１４、Ａ／Ｄ変換部１５、および画像処理部１６の動作のタイミングを制御する。操作入力部２３は、ボタンやスイッチなどからなり、ユーザによるシャッタ操作やその他のコマンド入力を受け付けて、ユーザの操作に応じた信号を制御部２５に供給する。

ドライバ２４には所定の周辺機器が接続され、ドライバ２４は接続された周辺機器を駆動する。例えばドライバ２４は、周辺機器として接続された磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出して制御部２５に供給する。

制御部２５は、撮像装置１０の全体を制御する。例えば、制御部２５は、プログラム実行機能を有するＣＰＵ等からなり、メモリ１８、あるいは、ドライバ２４を介して、ドライバ２４に接続されている記録媒体から制御用プログラムを読み出して、制御用プログラムや操作入力部２３からのコマンド等に基づいて、撮像装置１０全体の動作を制御する。

（１−２．画像処理装置の動作について）
次に、図１に示す撮像装置１０の動作について説明する。
撮像装置１０は、被写体からの入射光、すなわち被写体の光画像をレンズ１１および絞り１２を介して撮像素子１３に入射し、撮像素子１３によって光電変換して電気信号を生成する。

撮像素子１３で得られた電気信号は、サンプリング回路１４によってノイズ成分が除去され、Ａ／Ｄ変換部１５によってデジタル化された後、画像処理部１６が内蔵する図示せぬフレームバッファ等の画像メモリに一時的に格納される。

なお、通常の状態、つまりシャッタ操作がされる前の状態では、タイミング生成部２２による信号処理系に対するタイミングの制御により、画像処理部１６の画像メモリ（フレームバッファ）には、一定のフレームレートで、絶えずＡ／Ｄ変換部１５からの画像信号が上書きされる。画像処理部１６の画像メモリ内の画像信号は、Ｄ／Ａ変換部１９によってデジタル信号からアナログ信号に変換され、ビデオエンコーダ２０によってビデオ信号に変換されて、ビデオ信号に対応する画像が表示部２１に表示される。

表示部２１は、撮像装置１０のファインダとしての機能も担っており、ユーザは、表示部２１に表示される画像を見ながら構図を定め、操作入力部２３としてのシャッタボタンを押下して、画像の撮像を指示する。

シャッタボタンが押下されると、制御部２５は、操作入力部２３からの信号に基づいて、タイミング生成部２２に対し、シャッタボタンが押下された直後の画像信号が保持されるように指示する。これにより、画像処理部１６の画像メモリに画像信号が上書きされないように、信号処理系が制御される。

その後、画像処理部１６は、画像メモリに保持されている画像信号に対する信号処理、例えばデモザイク処理、ホワイトバランス調整処理等の各種の信号処理を実行し、処理後の画像データを符号化／復号部１７に出力する。
符号化／復号部１７は、画像処理部１６から入力した画像データを符号化してメモリ１８に記録する。以上のような撮像装置１０の動作によって、１枚の画像信号の取込みが完了する。

［２．本開示の画像処理装置の実行するデモザイク処理の第１実施例について］
次に、本発明を適用した撮像装置の画像処理部１６の実行するデモザイク処理の第１の実施例について説明する。
図２は、図１の撮像装置１０の画像処理部１６の実行するデモザイク処理の詳細を説明する図である。

画像処理部１６には、Ａ／Ｄ変換部１５から、ＲＡＷ画像５１が入力される。
ＲＡＷ画像５１は、各画素にＲＧＢいずれかの画素値のみが設定された画像である。ここでは、図２に示すベイヤ（Ｂａｙｅｒ）配列に従った画素配列を持つＲＡＷ画像５１を入力したものとして説明する。

ＲＡＷ画像５１は、画像処理部１６の基準色算出部１０１と、局所領域選択部１０２に入力される。
基準色算出部１０１は、ＲＡＷ画像５１を入力し、入力画像に基づいて、各画素位置に対応する基準色画素値を算出し、全画素に基準色画素値を設定した基準色画像を生成して類似局所領域選択部１０３に出力する。
基準色は、例えば輝度値Ｙが利用される。基準色算出部１０１は、入力ＲＡＷ画像５１の全画素位置に各画素値対応の輝度値Ｙを算出し、全画素に輝度値を設定した輝度画像を生成して類似局所領域選択部１０３に出力する。

基準色算出部１０１の実行する基準色画像の生成処理例について、図４を参照して説明する。
なお、本実施例では基準色＝輝度（Ｙ）とし、基準色算出部１０１は、ＲＡＷ画像５１の各画素に輝度（Ｙ）値を設定した輝度画像１１１を生成する。
なお、この他、基準色としては例えばベイヤ配列における最大画素数を持つＧ色を利用してもよい。Ｇ色を基準色とした場合、基準色算出部１０１は、輝度画像ではなく全画素にＧ画素を設定したＧ画像を生成する。
ここでは基準色＝Ｙ（輝度）として、基準色算出部１０１は、輝度画像１１１を生成するものとして説明する。

図４（ａ）は、基準色算出部１０１に入力するＲＡＷ画像５１に相当する。すなわち、先に図２を参照して説明したベイヤ配列の画像である。
基準色算出部１０１は、この図４（ａ）に示すＲＡＷ画像５１に基づいて、図４（ｂ）に示す全画素に基準色（本例では輝度Ｙ）を設定した基準色画像（輝度画像）を生成する。
基準色算出部１０１は、図３に示す基準色画像（輝度画像）１１１を生成して、類似局所領域選択部１０３に出力する。

基準色算出部１０１は、図４（ａ）に示すＲＡＷ画像５１から、図４（ｂ）に示す輝度画像を生成するために、例えばＲＡＷ画像５１の設定画素値であるＲＧＢ各画素値に対してローパスフィルタを適用する。すなわち、ローパスフィルタ（ＬＰＦ）を適用して、ＲＡＷ画像５１に設定された画素値の低周波成分を抽出して、各画素に対応する基準色画素値（輝度値）を算出する。

具体的には、例えば輝度値の算出対象となる注目画素を中心とする所定領域単位、例えば５×５画素程度の領域単位で画素単位のフィルタ係数を設定したローパスフィルタ（ＬＰＦ）を適用して、領域単位の低周波成分を算出して、注目画素の基準画素値（輝度値）とする。

このようなローパスフィルタ（ＬＰＦ）適用処理により、入力画像のサンプリング周波数ｆｓより低域の基準色を全画素に設定することができる。
なお、本例では、基準色としてＲＧＢ各色の画素値に基づく基準色（輝度Ｙ）を算出しているが、例えばＧの情報のみを用いて基準色を算出する設定としてもよい。

なお、ＬＰＦ適用処理等によって生成する図４（ｂ）に示す輝度値等の基準色（本例では輝度Ｙ）からなる基準色画像は、カットオフ周波数（振幅が０．５になる周波数）が、ＲＡＷ画像に含まれる最多画素数の色の画素に対応するサンプリング周波数ｆｓと、ナイキスト周波数の１／２であるｆｓ／４の範囲、すなわち、
カットオフ周波数＝ｆｓ／４〜ｆｓ、
上記の範囲となる設定とすることが好ましい。
なお、ｆｓは、ＲＡＷ画像５１中、最も多い画素のサンプリング周波数である。本例では、ＲＡＷ画像５１中、最も多い画素はＧ画素でありＧ画素のサンプリング周波数＝ｆｓとする。

このように、基準色画像は、
カットオフ周波数＝ｆｓ／４〜ｆｓ
このような設定とすることが好ましい。

このような設定とした基準色画像が好ましい理由は、以下の通りである。
基準色算出部１０１の生成する基準色画像は、類似局所領域選択部１０３において、類似領域を選択するために用いられる。
基準色算出部１０１の生成する基準色画像のカットオフ周波数が小さすぎる、すなわち、振幅が０になる周波数が小さくなりすぎると、基準色（輝度値＝Ｙ）の高周波情報が失われ過ぎ、結果として、類似局所領域選択部１０３における類似領域の検索精度が低下してしまう。

一方、基準色算出部１０１の生成する基準色画像のカットオフ周波数が大きすぎる、すなわち、振幅が０になる周波数が大きくなりすぎると、元々のＲＡＷ画像５１に設定されたＲＧＢ各色に高周波成分が強い場合、注目画素に設定する予定の色と異なる色（異なる位相）による影響が強くなる。この場合も、類似局所領域選択部１０３における類似領域の検索精度が低下してしまう。
なお、この場合、目的の設定色と異なる色の高周波成分の影響の大きい類似度判定による処理結果として、出力画像に偽色等のアーティファクトが発生する可能性が高まる。

図３に戻り、画像処理部１６の処理についての説明を続ける。
局所領域選択部１０２は、色フィルタ配列のイメージセンサで撮像された画像を入力し、ある局所領域、例えばｎ×ｎ画素の矩形領域をデモザイク処理の処理対象とする注目領域（注目局所領域）として順次、選択する。ただし、ｎは２以上の整数である。
局所領域選択部１０２が処理対象として選択した注目局所領域情報は、ＲＡＷ画像５１とともに、類似局所領域選択部１０３に入力される。

類似局所領域選択部１０３は、基準色算出部１０１が生成した基準色画像（輝度画像）１１１を利用して、局所領域選択部１０２が選択したデモザイク処理対象である注目局所領域と類似性の高い局所領域、すなわち類似領域（類似局所領域）を周辺領域から探索する。
なお、類似性は、基準色画像（本実施例では輝度画像）に基づいて判断する。

類似局所領域選択部１０３は、この類似領域の選択処理に際して、局所領域選択部１０２が選択した注目局所領域と異なる位相、すなわち、注目局所領域の色配列とは異なる色配列の異なる位相を持つ類似領域を探索して選択する処理を行なう。

図５、図６を参照して、類似局所領域選択部１０３の実行する長目局所領域の位相と異なる位相を持つ類似局所領域の選択処理の具体例について説明する。
図５（１）は、入力ＲＡＷ画像２０１内から局所領域選択部１０２が処理対象として選択した局所領域（注目局所領域）Ｐｒ２１０に類似する類似領域２１１ａ〜２１１ｃの探索例を示している。なお、この探索処理は、注目局所領域の近傍に所定面積の探索範囲２０２を設定して行なうことが好ましい。

前述したように、類似局所領域選択部１０３は、類似局所領域の選択処理に際して、局所領域選択部１０２が選択した注目局所領域の位相（色配列）と異なる位相を持つ領域から基準色画像（輝度画像）１１１に基づいて類似度が高いと判断される類似局所領域を選択する処理を行なう。
例えば、図５（１）に示す局所領域（注目領域）Ｐｒ２１０が、図５（２）に示す位相（色配列）を有するものとする。
すなわち、
ＲＧＲＧ
ＧＢＧＢ
ＲＧＲＧ
ＧＢＧＢ
この４×４の位相（色配列）を有するものとする。

例えばＲＡＷ画像５１が、ベイヤ（Ｂａｙｅｒ）配列である場合、局所領域を４×４の色配列とした場合、図６に示す（ａ）〜（ｄ）の４種類の異なる位相を持つ局所領域が存在する。

類似局所領域選択部１０３は、局所領域選択部１０２がデモザイク処理対象として選択した注目局所領域の位相とは異なる位相を有する局所領域であり、基準色画像１１を用いた類似度判定に従って類似すると判定される類似局所領域を探索し選択する処理を行なう。

局所領域選択部１０２がデモザイク処理対象として選択した注目局所領域の位相が図５（２）に示す位相、すなわち図６（ａ）の位相であった場合、類似局所領域選択部１０３は、この注目局所領域の位相と異なる位相の類似局所領域を探索する。
すなわち、図６（ａ）の位相と異なる位相を持つ図６（ｂ）〜（ｄ）の３つの異なる位相の類似局所領域を探索する。

類似局所領域選択部１０３は、
図６（ｂ）の位相を持つ類似局所領域、
図６（ｃ）の位相を持つ類似局所領域、
図６（ｄ）の位相を持つ類似局所領域、
これらの位相を持つ類似局所領域を注目局所領域の近傍に設定した探索範囲から選択する。それぞれの位相について、最も類似度の高い類似局所領域を１つずつ選択する。

なお、注目局所領域と類似局所領域との局所領域間の類似度は、基準色算出部１０１が生成した基準色画像（輝度画像）１１１を利用して判定する。
具体的には、基準色算出部１０１が生成した基準色画像（輝度画像）１１１の局所領域の画素値（本例では輝度（Ｙ）値）の差分絶対値（ＳＡＤ）、あるいは差分二乗差（ＳＳＤ）の比較に基づいて実行する。
基準色画像の局所領域の画素値（本例では輝度（Ｙ）値）の差分絶対値（ＳＡＤ）、あるいは差分二乗差（ＳＳＤ）の算出は、以下に示す（式１）、（式２）に従って実行する。

類似局所領域選択部１０３は、上記（式１）で算出するＳＡＤ、あるいは上記（式２）で算出するＳＳＤに基づいて、注目局所領域と類似局所領域との局所領域間の類似度を算出し、各位相ごとに最も類似する局所領域を１つずつ選択する。
なお、ＳＡＤやＳＳＤは値が小さいほど類似度が大きいことを示す指標である。

類似局所領域選択部１０３は、各位相ごとに最も類似度の高い類似局所領域を選択し、これらの類似局所領域と、デモザイク処理対象として局所領域選択部１０２が選択した注目局所領域を併せて、位相合成部１０４に出力する。

位相合成部１０４は、
局所領域選択部１０２が選択した注目局所領域と、
類似局所領域選択部１０３が選択した注目局所領域と異なる位相の類似局所領域を合成して、注目局所領域の全画素位置に全色、すなわちＲＧＢ各色を設定した注目局所領域単位のＲＧＢ画像１１４（複数色設定局所領域画像）を生成して局所領域合成部１０５に出力する。

例えば、ＲＡＷ画像５１が、ベイヤ配列の場合の処理は以下の処理となる。
局所領域選択部１０２が選択した局所領域（注目領域）が図６（ａ）の位相であるとする。
類似局所領域選択部１０３が選択した注目領域と異なる位相の類似領域は、図６（ｂ）〜（ｄ）の３つの異なる位相を持つ類似領域となる。

位相合成部１０４は、
図６（ａ）に示す位相を持つ局所領域選択部１０２が選択した局所領域（注目領域）と、
図６（ｂ）〜（ｄ）に示す位相を持つ類似局所領域選択部１０３が選択した類似領域、
これら４つの異なる位相を持つ局所領域を合成する。
この合成処理によって、局所領域内の全画素位置において、ＲＧＢ全色を揃えることができる。

例えば、局所領域内の全画素位置において、Ｒ画素を設定する処理について説明する。
図６（ａ）〜（ｄ）に示す４つの異なる位相の局所領域から理解されるように、例えば、Ｒ画素は、（ａ）〜（ｄ）の各局所領域において以下の座標位置に設定されている。
（ａ）の局所領域において、座標位置（０，０）、（２，０），（０，２），（２，２）に設定されている。
（ｂ）の局所領域において、座標位置（１，０）、（３，０），（１，２），（３，２）に設定されている。
（ｃ）の局所領域において、座標位置（１，１）、（３，１），（１，３），（３，３）に設定されている。
（ｄ）の局所領域において、座標位置（０，１）、（０，３），（２，１），（２，３）に設定されている。

これらの（ａ）〜（ｄ）に示すＲ画素を選択取得して合成することで、局所領域内の全画素位置において、Ｒ画素を設定することが可能となる。
すなわち、図７に示すように、（ａ）〜（ｄ）のそれぞれ異なる位相のＲ画素を選択して合成することで、４×４画素の局所領域の１６画素、（０，０）〜（３，３）の全ての画素位置のＲ画素値を設定したＲ画像を生成することができる。

Ｂ画素も同様であり、図６（ａ）〜（ｄ）に示す４つの異なる位相の局所領域において、Ｂ画素は以下の座標位置に設定されている。
（ａ）の局所領域において、座標位置（１，１）、（３，１），（１，３），（３，３）に設定されている。
（ｂ）の局所領域において、座標位置（０，１）、（２，１），（０，３），（２，３）に設定されている。
（ｃ）の局所領域において、座標位置（０，０）、（２，０），（０，２），（２，２）に設定されている。
（ｄ）の局所領域において、座標位置（１，０）、（３，０），（１，２），（３，２）に設定されている。

これらの（ａ）〜（ｄ）に示すＢ画素を選択取得して合成することで、局所領域内の全画素位置において、Ｂ画素を設定することが可能となる。
すなわち、図８に示すように、（ａ）〜（ｄ）のそれぞれ異なる位相のＢ画素を選択して合成することで、４×４画素の局所領域の１６画素、（０，０）〜（３，３）の全ての画素位置のＢ画素値を設定したＢ画像を生成することができる。

Ｇ画素については、図６（ａ）〜（ｄ）に示す４つの異なる位相の局所領域のＧ画素を合成すると１画素につき、２つのＧ画素値がえられる。
すなわち、図６（ａ）〜（ｄ）に示す４つの異なる位相の局所領域において、Ｇ画素は以下の座標位置に設定されている。
（ａ）の局所領域において、座標位置（１，０）、（３，０），（０，１），（２，１）、（１，２），（３，２）、（０，３），（２，３）に設定されている。
（ｂ）の局所領域において、座標位置（０，０）、（２，０），（１，１），（３，１）、（０，２），（２，２）、（１，３），（３，３）に設定されている。
（ｃ）の局所領域において、座標位置（１，０）、（３，０），（０，１），（２，１）、（１，２），（３，２）、（０，３），（２，３）に設定されている。
（ｄ）の局所領域において、座標位置（０，０）、（２，０），（１，１），（３，１）、（０，２），（２，２）、（１，３），（３，３）に設定されている。

これらの（ａ）〜（ｄ）に示すＧ画素を選択取得して合成すると、局所領域内の全画素位置において、２つのＧ画素を設定することが可能となる。
すなわち、図９に示すように、（ａ）〜（ｄ）のそれぞれ異なる位相のＧ画素を選択して合成することで、４×４画素の局所領域の１６画素、（０，０）〜（３，３）の全ての画素位置について２つ分のＧ画素値を設定したＧ画像を生成することができる。

例えばこの１画素に付き２つ分のＧ画素値をそれぞれ対応画素位置で加算平均することで、１つのＧ画像を生成することができる。
あるいは、加算平均ではなく、より類似度の高い局所領域のＧ画素値のみを選択し、類似度の低い局所領域のＧ画素値を利用しない設定として、各画素につき１つのＧ画素値のみを選択する設定として１つのＧ画像を生成する構成としてもよい。

局所領域選択部１０２〜位相合成部１０４の処理は、処理対象とする局所領域（注目領域）を順次ずらして、入力ＲＡＷ画像５１のすべての画素位置に対する処理を実行し、ＲＡＷ画像を構成する画素位置全てにおいて局所領域単位のＲ画像、Ｂ画像、Ｇ画像を生成する。

位相合成部１０４の生成した局所領域ＲＧＢ画像は、順次、局所領域合成部１０５に出力される。図３に示す局所領域ＲＧＢ画像１１４（複数色設定局所領域画像）である。

局所領域合成部１０５は、位相合成部１０４の生成した局所領域ＲＧＢ画像１１４を順次、入力し、これらを統合する合成処理を実行して、入力ＲＡＷ画像の全ての画素位置にＲ画素を設定したＲ画像、全ての画素位置にＧ画素を設定したＧ画像、全ての画素位置にＢ画素を設定したＢ画像、これらからなるＲＧＢ画像５２（複数色設定画像）を生成して出力する。

図３に示す画像処理部１６は、上記のシーケンスに従って、各画素位置にＲＧＢいずれか一色の画素値のみが設定されたモザイク画像であるＲＡＷ画像５１の各画素位置にＲＧＢ各画素値を全て設定するデモザイク処理を実行して、ＲＧＢ画像５２を生成して出力する。

なお、デモザイク処理の処理対象となる注目局所領域のずらし方は、局所領域単位で重複領域を設けない設定、例えば４×４画素の局所領域単位で、順次ずらして処理を行なう構成としてもよい。
あるいは、１画素単位、１行単位、１列単位でずらし、重複領域を持つ局所領域（注目領域）を、順次設定して処理を行なう構成としてもよい。

ただし、重複領域を持つ局所領域を設定して処理を行なう場合、各局所領域対応の処理により、同一画素位置に対して複数のＲＧＢ画素値が位相合成部１０４から局所領域合成部１０５に出力される。

この場合は、局所領域合成部１０５は、これらの同一画素位置のＲＧＢ各画素値の加算平均によって、各画素位置の最終的なＲＧＢ各画素値を算出する。
このような平均化処理により、局所領域毎の出力精度のばらつきを軽減させることができ、最終出力画像の精度をさらに高めることがきる。

このように、本開示の画像処理装置において実行するデモザイク処理は、以下の各処理を実行して行われる。
（ステップ１）ＲＡＷ画像に基づく例えば輝度画像等の基準色画像を生成する。
（ステップ２）デモザイク処理対象として選択した局所領域（注目領域）に対する類似度を基準色画像に基づいて判定し、局所領域の構成画素位置にＲＧＢ各画素が全て設定できるような位相の異なる類似局所領域を選択する。
（ステップ３）処理対象として選択した局所領域（注目領域）と、位相の異なる類似領域のＲＧＢ各画素値を合成して、局所領域単位のＲＧＢ画像を生成する。
（ステップ４）局所領域単位のＲＧＢ画像を統合して入力ＲＡＷ画像全体の各画素にＲＧＢ各画素値を設定したＲＧＢ画像を生成する。

本開示の画像処理装置においては、上述の各ステップ１〜４の処理に従って、デモザイク処理を実行する。

なお、図３に示す画像処理部１６の構成における基準色算出部１０１は、入力ＲＡＷ画像５１のサンプリング周波数より低域の基準色を算出し、類似局所領域選択部１０３では、この基準色画像に基づく類似度判定によって、類似局所領域を探索する。
これらの処理によって、入力画像のノイズに対するロバスト性が向上する。

つまり、基準色算出部１０１は、例えば入力ＲＡＷ画像５１に対する低域算出用のローパスフィルタを適用して基準色画像、例えば輝度画像を生成する。この低域画像に基づく類似度判定を行なうことで、類似する局所領域を探索する際のノイズ耐性が向上する、というメリットがある。

図１０はベイヤ配列の撮像素子（イメージセンサ）で撮像されたＲＡＷ画像とエッジを示している。
例えば、上述した処理に従って処理対象として選択した注目局所領域１８１がエッジ上にある場合を想定する。
基準色画像（例えば輝度画像）に基づく類似度判定を行なうと、エッジ上の注目局所領域１８１と類似する類似局所領域１８２は、やはり、エッジ上に検出される。

上述した本開示の処理では、このエッジ上から選択される類似局所領域の各画素値を合成して注目局所領域１８１を構成する各画素のＲＧＢ画素値を設定することになり、結果として、エッジ上のＲＧＢ画素値を精度よく再現することが可能となる。
例えば、注目局所領域１８１のＧ画素１９１の位置に対するＢ画素値は、類似局所領域１８２に含まれるエッジ上のＢ画素１９２の画素値として設定され、エッジ上のＲＧＢ画素値を精度よく再現することが可能となる。

なお、輝度画像等の基準色画像１１１に基づいて類似局所領域を探索するのは、入力ＲＡＷ画像５１そのままでは複数の位相が存在するため、異なる位相の類似度を同一基準で算出することができないからである。
なお、上述の実施例では、基準色画像として輝度画像を用いたが、例えばベイヤ配列における最大画素数を持つＧ色を基準色としてＧ画像からなる基準画像を設定して処理を実行する構成としてもよい。

［３．その他の実施例について］
次に、上述した第１実施例と異なる処理を実行するその他の実施例について説明する。

（３−１．第２実施例：位相合成部１０４において特定位相の類似領域のみを利用した合成処理と、画素値補間を行なう実施例）
まず、本開示の画像処理装置の第２実施例として、位相合成部１０４において特定位相の類似領域のみを利用した合成処理と、画素値補間を行なって局所領域単位のＲＧＢ画像を生成する実施例について説明する。

本実施例２の画像処理装置も、先に説明した実施例１と同様、例えば図１に示す撮像装置によって構成される。
画像処理部１６の構成も先の実施例１において説明した図３に示す構成を有する。
実施例２では、類似局所領域選択部１０３の類似領域探索処理と、位相合成部１０４の実行する合成処理が実施例１とは異なる処理となる。

前述の第１実施例では、位相合成部１０４は、ベイヤ配列のＲＡＷ画像から選択される異なる４位相の注目局所領域と類似局所領域を合成して局所領域内の全画素位置にＲＧＢ全色の画素値を設定する処理を実行していた。
本実施例２では、位相合成部１０４において、２つの異なる位相からなる局所領域、すなわち、注目局所領域と、注目局所領域と異なるもう１つの類似局所領域の２つの局所領域のみを用いた合成処理を行なう。

なお、この２位相の類似領域の合成処理のみによっては、全ての画素位置にＲＧＢ画素値を設定することができないが、画素値を設定できない画素位置については、補間処理を適用して画素値の設定を行なう。

例えば、局所領域選択部１０２で選択された注目領域である注目局所領域の位相が図６（ａ）に示す位相であるとする。
この場合、類似局所領域選択部１０３は、探索する局所領域の位相を、Ｇの位相が異なる図６（ｂ）に示す位相を持つ類似領域と、図６（ｄ）に示す位相を持つ類似領域のみとする。
類似局所領域選択部１０３は、局所領域選択部１０２で選択された注目領域である局所領域のＧの位相と同一の位相を持つ類似領域、すなわち図６（ｃ）に示す類似領域についての探索は実行しない。

類似局所領域選択部１０３は、注目領域とＧ位相の異なる類似領域、すなわち、図６（ｂ），（ｄ）の類似領域を選択し、さらに、この２位相のうち、注目領域と類似度の高い方の位相を最終的に選択して、この選択した１つの類似局所領域データを注目局所領域データに併せて位相合成部１０４に出力する。
なお、類似度判定は、前述の実施例と同様、輝度画像等の基準色画像に基づいて実行する。

例えば、処理対象となる注目局所領域に対して最も類似度の高い類似領域が、図６（ｂ）に示す位相を持つ領域であった場合、類似局所領域選択部１０３は、この１つの類似局所領域を選択して位相合成部１０４に出力する。
位相合成部１０４は、類似局所領域選択部１０３で選択した図６（ｂ）に示す位相を持つ類似局所領域と、図６（ａ）に示す位相を持つ注目局所領域を組み合わせた合成処理によって局所領域単位のＲＧＢ画像１１４（複数色設定局所領域画像）を生成する。

しかし、２つの異なる位相の局所領域を利用した合成処理によって取得可能な画素値は、図１１に示す合成画像の設定となる。
すなわち、Ｇ画素値については、２つの異なる位相の局所領域の画素値に基づいて、注目局所領域の全画素対応の画素値を取得できる。
しかし、ＲＢ画素値については、局所領域の１／２の画素位置の画素値は取得できるが、残りの１／２画素位置の画素値は取得できない。

同様に、類似度の高い類似領域が、図６（ｄ）に示す位相を持つ領域であった場合、合成処理によって取得可能な画素値は、図１２に示す合成画像の設定となる。
すなわち、Ｇ画素値については、２つの異なる位相の局所領域の画素値に基づいて、注目局所領域の全画素対応の画素値を取得できる。
しかし、ＲＢ画素値については、局所領域の１／２の画素位置の画素値は取得できるが、残りの１／２画素位置の画素値は取得できない。

このように、いずれの場合も、Ｇについては全画素位置の画素値が取得できるが、ＲＢについては、５０％の画素位置の情報が不足することになる。
局所領域内の全画素位置でＲＧＢ揃えるためには、ＲＢの不足分（５０％）について算出する必要がある。

このような場合、位相合成部１０４は、局所領域のＧ画素の低周波成分と、ＲＢ画素の低周波成分の相関を利用して補間処理を行なう。
具体的には、以下の（式３）、または（式４）を適用して、合成処理のみでは取得できないＲＢの各画素値を算出する。

なお、上記（式３）、（式４）において、
Ａは、ＲまたはＢを意味する。
ｃｅｎｔｅｒは、画素値算出位置、
Ａｃｅｎｔｅｒは、画素値算出位置において算出する画素値（Ｒ画素値またはＢ画素値）
Ｇｃｅｎｔｅｒは、画素値算出位置（Ａｃｅｎｔｅｒの画素位置）のＧ画素値、
ａｖｇＡは画素値算出位置周辺のＡ画素値の平均画素値、
ａｖｇＧは画素値算出位置周辺のＡ位置のＧの平均画素値、
これらを表している。

例えば、一例として、２つの位相の局所領域の合成処理によって得られる画像が、図１１に示す合成画像である場合の補間処理の例について説明する。
図１３に示す画像（１），（２）は、図１１に示す２つの合成画像に相当する。

図１３に示す合成画像（１）の画素位置２０１は、合成画像からは、Ｒ画素値が取得できない位置である。この画素位置２０１にＲ画素値を設定する際に、上記の（式３）または（式４）を適用する。
画素値算出位置（ｃｅｎｔｅｒ）として、算出画素値をＲ画素値（Ｒｃｅｎｔｅｒ）とする。

この場合、例えば、上記（式３）または（式４）に適用する各パラメータは、以下のような設定となる。
Ｇｃｅｎｔｅｒは、画素位置２０２のＧ画素値、
ａｖｅＡ＝ａｖｅＲは、画素位置２０１の上下のＲ画素値の平均値、
ａｖｅＧは、画素位置２０２のＧ画素と、画素位置２０２の上下のＧ画素、これら３つのＧ画素の平均値、
このようなパラメータの設定として、上記の（式３）または（式４）を適用して、画素値算出位置（ｃｅｎｔｅｒ）２０１のＲ画素値（Ｒｃｅｎｔｅｒ）を算出することができる。

その他の画素位置についても同様の処理によって、図１３（１）に示す合成画像のＢ画素位置におけるＲ画素値を算出することができる。
図１３（１）に示す合成画像のＲ画素位置に対するＢ画素値についても同様であり、上記（式３）または（式４）を適用して算出することができる。

このように、上記の（式３）または（式４）のいずれかを適用すれば、デモザイク処理対象となる局所領域である注目局所領域内の全画素位置にＲＧＢ画素値を設定することができる。

このように、２つのみの異なる位相の局所領域を利用した合成画像からでも、上記の（式３）や（式４）を適用した補間処理によって、デモザイク処理対象とする注目局所領域の全画素位置にＲＧＢ全色を設定することができる。

なお、この処理は、前述した実施例において説明した４位相の局所領域を適用する処理と比較すると、以下のメリットがある。
処理対象とする位相が減った分、探索処理と合成処理のコスト削減が実現される。
全てのパターンの位相の類似領域が見つかりにくい場合でもロバストに動作する。
これらのメリットがある。

例えば、注目局所領域に類似する異なる位相の類似領域が見つからない場所でも２位相であれば似ているものが見つかる場合があり、その場合、類似度の高い２位相の類似領域を利用して合成した方が類似度の低い４位相の局所領域を無理やり合成するより、よい結果が期待できる。

また、位相合成部１０４は、上述した２位相合成と、先の実施例１において説明した４位相合成を、選択的に適用するハイブリッド方式を実行する構成としてもよい。
例えば、類似度が高い（基準を満たす）異なる位相の４つの類似領域が所定の探索良識から検出された場合には、４位相合成を実行し、検出できなかった場合は、ば２位相合成を実行するといった処理を実行する。
このような処理を実行する構成とすることで、解像度性能を低下させることなく、処理のロバスト性も向上させることができる。

（３−２．第３実施例：所定の類似度以上の類似局所領域をすべて用いた処理を実行する実施例）
次に、本開示の画像処理装置の第３実施例について説明する。
本実施例３の画像処理装置も、先に説明した実施例１と同様、例えば図１に示す撮像装置によって構成される。
撮像装置の画像処理部１６の構成と処理について、図１４を参照して説明する。図１４に示す画像処理部は、先に実施例１の画像処理部１６の構成として説明した図３に示す構成と類似した構成を有する。
異なる点は、図１４に示すように、類似局所領域選択部１０３の後段に類似局所領域合成部３１１を追加した点である。

基準色算出部１０１、局所領域選択部１０２、位相合成部１０４、局所領域合成部１０５は、先に実施例１として、図３を参照して説明した処理と同様の処理を実行する構成であり、説明は省略する。

ここでは、新たに加わった類似局所領域合成部３１１の処理を中心として説明する。
類似局所領域合成部３１１は、基準色画像を適用した局所領域単位の類似度判定を行ない、類似性の高い局所領域を位相毎に選択し合成する。

前述した第１実施例では、類似局所領域選択部１０３は、各位相ごとに最大類似の局所領域１つずつ選択し、位相合成部１０４において合成していた。

本実施例では、類似局所領域選択部１０３は、ある基準、例えば予め定めた閾値としての類似度以上の類似度を持つ類似局所領域を全て選択する。
すなわち、本実施例では、類似局所領域選択部１０３は、各位相ごとに１つの類似局所領域ではなく、各位相ごとに、既定のしきい値以上の類似度を持つ類似局所領域を全て選択して類似局所領域合成部３１１に出力する。

類似局所領域合成部３１１は、各位相単位の複数の類似局所領域を合成して、各位相単位の１つの類似局所領域画素データを生成して、位相合成部１０４に出力する。

類似局所領域合成部３１１の実行する処理について、図１５を参照して説明する。
図１５には、類似局所領域選択部１０３の選択した特定位相の所定の類似度基準を満たすｎ個の類似局所領域群（（Ｐ１）〜（Ｐｎ））を示している。
Ｓ（Ｐｉ）は局所領域Ｐｉの類似度を示す。

類似局所領域合成部３１１は、これら、予め設定した類似度基準を満たすｎ個の類似局所領域群（（Ｐ１）〜（Ｐｎ））を適用し、以下に示す（式５）に従って、これらｎ個の類似局所領域群（（Ｐ１）〜（Ｐｎ））の各画素値に基づいて、１つの位相に対応する局所類似領域合成画像を生成する。以下に示す（式５）は、類似度が大きい類似局所領域の画素値ほど重みが大きくなる設定として、各類似局所領域の対応画素位置の画素値を重み小付け加算して出力画素値を算出する式である。

上記（式５）に従って算出するｐ（ｘ，ｙ）は、合成処理によって算出する特定位相の局所類似領域の画素位置（ｘ，ｙ）の画素値を示す。

このように、一定の類似度を持つ同一位相の類似局所領域の対応画素の画素値を類似度に応じて重み付け加算を行い、各位相対応の類似局所領域データを生成し、生成した類似局所領域データを位相合成部１０４に出力する。

この処理を行なうことで、第１の実施例では位相毎に１つの局所領域のみが寄与していたが、本実施例では類似する局所領域全てが類似度の重みづけで寄与することになるため、ノイズ低減の効果が付加される。その後の処理は第１の実施例と同様である。

なお、各実施例においては、ベイヤ配列を持つＲＡＷ画像を入力した場合の処理として説明したが、本開示の処理は、他の色配列の撮影画像に適用することも可能である。撮影画像の色配列が持つ位相数だけ類似局所領域選択を行い、選択した類似局所領域を合成すれば、局所領域の前画素にすべての色の画素値を設定することが可能であり、上述した各実施例と同様の処理が可能となる。

また、上述した各実施例では、例えばベイヤ配列等の特定の色フィルタ配列を持つ撮像素子で撮像された画像を入力して、デモザイク処理を実行した例をせつめいしたが、デモザイク処理の前ステップとして、入力画像に対するノイズ低減処理を実行する構成としてもよい。

ノイズ低減処理をデモザイク処理の前ステップとして実行することで。ノイズ低減効果をより向上させることができる。なお、ノイズ低減処理方法としては、例えば、εフィルタ、バイラテラルフィルタ、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓ、Ｗａｖｅｌｅｔ Ｓｈｒｉｎｋａｇｅなど、様々な手法が適用可能である。

以上、本開示の画像処理装置の複数の実施例について説明してきた。
上述した本開示のデモザイク処理は、以下のような特徴を有する。
局所領域単位の位相合成によるデモザイクにより、従来の画素位置毎にデモザイク精度のばらつきが生じるリスクが大幅に低減される。
画像の自己相似性を利用して、周辺から類似領域であり、かつ異なる位相を持つ類似領域を集めて、位相合成することにより、超解像効果が得られ、高精度のデモザイク結果が得られる。
基準色を算出し、基準色により局所領域間の類似度を判断することにより、類似するが異なる位相の局所領域を容易に判定することが可能となる。
入力画像を、複数枚利用することなく、１枚の入力画像から、高精度のデモザイク結果を得ることが可能となる。

［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 各画素に特定色の画素値のみが設定されたＲＡＷ画像を入力画像とし、該入力画像の各画素位置に複数色の画素値を設定する画像処理部を有し、
前記画像処理部は、
前記入力画像から処理対象領域である注目局所領域を選択する局所領域選択部と、
前記入力画像に基づく基準色画像を生成する基準色画像生成部と、
前記注目局所領域と異なる位相を持ち、かつ前記基準色画像に基づいて前記注目局所領域と類似度が高いと判定した類似局所領域を選択する類似局所領域選択部と、
前記注目局所領域と前記類似局所領域との合成処理によって前記注目局所領域の構成画素の各画素位置に複数色の画素値を設定した複数色設定局所領域画像を生成する位相合成部と、
前記位相合成部が生成する異なる注目局所領域対応の複数色設定局所領域画像を入力し、入力する複数色対応局所領域画像を合成して前記入力画像の構成画素の各画素位置に複数色の画素値を設定した複数色設定画像を生成する局所領域合成部を有する画像処理装置。

（２）前記入力画像は、各画素位置にＲＧＢのいずれか一色の画素値のみが設定されたＲＡＷ画像であり、前記位相合成部は、前記注目局所領域の構成画素の各画素位置にＲＧＢ全色の画素値を設定したＲＧＢ設定局所領域画像を生成し、前記局所領域合成部は、前記入力画像の構成画素の各画素位置にＲＧＢ全色の画素値を設定したＲＧＢ設定画像を生成する前記（１）に記載の画像処理装置。
（３）前記基準色画像生成部は、前記ＲＡＷ画像のサンプリング周波数より低周波の基準色画像を生成する前記（１）または（２）に記載の画像処理装置。

（４）前記基準色画像生成部は、前記ＲＡＷ画像のサンプリング周波数より低周波の輝度画像を生成する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記基準色画像生成部は、前記ＲＡＷ画像に含まれる最多画素数を持つ色の画素に対応するサンプリング周波数ｆｓと、ナイキスト周波数の１／２であるｆｓ／４の範囲にカットオフ周波数を持つ基準色画像を生成する前記（１）〜（４）いずれかに記載の画像処理装置。

（６）前記ＲＡＷ画像はベイヤ配列画像であり、前記類似局所領域選択部は、前記注目局所領域と異なる３種類の位相に対応する３つの異なる位相対応の３つの類似局所領域を選択し、前記位相合成部は、前記注目局所領域と前記３つの異なる位相対応の３つの類似局所領域との合成処理によって前記注目局所領域の構成画素の各画素位置にＲＧＢ各色の画素値を設定したＲＧＢ色設定局所領域画像を生成する前記（１）〜（５）いずれかに記載の画像処理装置。

（７）前記ＲＡＷ画像はベイヤ配列画像であり、前記類似局所領域選択部は、前記注目局所領域と異なる位相の１つの類似局所領域を選択し、前記位相合成部は、前記注目局所領域と前記１つの類似局所領域との合成処理を実行し、さらに、該合成処理において、画素値が取得できない画素位置の画素値を補間処理によって算出して前記注目局所領域の構成画素の各画素位置にＲＧＢ各色の画素値を設定したＲＧＢ色設定局所領域画像を生成する前記（１）〜（５）いずれかに記載の画像処理装置。

（８）前記画像処理部は、さらに、類似局所領域合成部を有し、前記類似局所領域選択部は、前記注目局所領域と異なる位相を持ち、かつ前記基準色画像に基づいて前記注目局所領域と類似度が高いと判定した類似局所領域を、各位相単位で複数選択する処理を実行して、選択した類似局所領域を前記類似局所領域合成部に出力し、前記類似局所領域合成部は、各位相単位の複数の類似局所領域の合成処理により、各位相単位の１つの類似局所領域データを生成して前記位相合成部に出力する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記類似局所領域合成部は、各位相単位の複数の類似局所領域の合成処理に際して、各類似局所領域の前記長目局所領域に対する類似度に応じた重みに応じた重み付き加算を適用した合成処理を実行して各位相単位の１つの類似局所領域データを生成する前記（８）に記載の画像処理装置。

さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、簡易な構成で高精度のデモザイク処理を実行する装置、方法が実現される。
具体的には、ＲＡＷ画像から処理対象領域である注目局所領域を選択し、入力画像に基づく基準色画像を生成する。さらに、注目局所領域と異なる位相を持ち、かつ基準色画像に基づいて注目局所領域と類似度が高いと判定される類似局所領域を選択する。さらに、注目局所領域と類似局所領域との合成処理によって注目局所領域の構成画素の各画素位置にＲＧＢ各画素値を設定したＲＧＢ設定局所領域画像を生成する。さらに、異なる注目局所領域対応のＲＧＢ設定局所領域画像を合成して入力ＲＡＷ画像の構成画素の各画素位置にＲＧＢ各画素値を設定したＲＧＢ画像を生成する。
本構成により、簡易な構成で高精度のデモザイク処理を実行する装置、方法が実現される。

１０ 撮像装置
１１ レンズ
１２ 絞り
１３ 撮像素子
１４ サンプリング回路
１５ Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部
１６ 画像処理部（ＤＳＰ）
１７ 符号化／復号部
１８ メモリ
１９ Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部
２０ ビデオエンコーダ
２１ 表示部
２２ タイミング生成部
２３ 操作入力部
２４ ドライバ
２５ 制御部
５１ ＲＡＷ画像
５２ ＲＧＢ画像
１０１ 基準色算出部
１０２ 局所領域選択部
１０３ 類似局所領域選択部
１０４ 位相合成部
１０５ 局所領域合成部
３１１ 類似局所領域合成部

Claims (11)

1. 各画素に特定色の画素値のみが設定されたＲＡＷ画像を入力画像とし、該入力画像の各画素位置に複数色の画素値を設定する画像処理部を有し、
   前記画像処理部は、
   前記入力画像から処理対象領域である注目局所領域を選択する局所領域選択部と、
   前記入力画像に基づく基準色画像を生成する基準色画像生成部と、
   前記注目局所領域と異なる位相を持ち、かつ前記基準色画像に基づいて前記注目局所領域と類似度が高いと判定した類似局所領域を選択する類似局所領域選択部と、
   前記注目局所領域と前記類似局所領域との合成処理によって前記注目局所領域の構成画素の各画素位置に複数色の画素値を設定した複数色設定局所領域画像を生成する位相合成部と、
   前記位相合成部が生成する異なる注目局所領域対応の複数色設定局所領域画像を入力し、入力する複数色対応局所領域画像を合成して前記入力画像の構成画素の各画素位置に複数色の画素値を設定した複数色設定画像を生成する局所領域合成部を有する画像処理装置。
2. 前記入力画像は、各画素位置にＲＧＢのいずれか一色の画素値のみが設定されたＲＡＷ画像であり、
   前記位相合成部は、
   前記注目局所領域の構成画素の各画素位置にＲＧＢ全色の画素値を設定したＲＧＢ設定局所領域画像を生成し、
   前記局所領域合成部は、
   前記入力画像の構成画素の各画素位置にＲＧＢ全色の画素値を設定したＲＧＢ設定画像を生成する請求項１に記載の画像処理装置。
3. 前記基準色画像生成部は、
   前記ＲＡＷ画像のサンプリング周波数より低周波の基準色画像を生成する請求項１に記載の画像処理装置。
4. 前記基準色画像生成部は、
   前記ＲＡＷ画像のサンプリング周波数より低周波の輝度画像を生成する請求項１に記載の画像処理装置。
5. 前記基準色画像生成部は、
   前記ＲＡＷ画像に含まれる最多画素数を持つ色の画素に対応するサンプリング周波数ｆｓと、ナイキスト周波数の１／２であるｆｓ／４の範囲にカットオフ周波数を持つ基準色画像を生成する請求項１に記載の画像処理装置。
6. 前記ＲＡＷ画像はベイヤ配列画像であり、
   前記類似局所領域選択部は、
   前記注目局所領域と異なる３種類の位相に対応する３つの異なる位相対応の３つの類似局所領域を選択し、
   前記位相合成部は、
   前記注目局所領域と前記３つの異なる位相対応の３つの類似局所領域との合成処理によって前記注目局所領域の構成画素の各画素位置にＲＧＢ各色の画素値を設定したＲＧＢ色設定局所領域画像を生成する請求項１に記載の画像処理装置。
7. 前記ＲＡＷ画像はベイヤ配列画像であり、
   前記類似局所領域選択部は、
   前記注目局所領域と異なる位相の１つの類似局所領域を選択し、
   前記位相合成部は、
   前記注目局所領域と前記１つの類似局所領域との合成処理を実行し、さらに、該合成処理において、画素値が取得できない画素位置の画素値を補間処理によって算出して前記注目局所領域の構成画素の各画素位置にＲＧＢ各色の画素値を設定したＲＧＢ色設定局所領域画像を生成する請求項１に記載の画像処理装置。
8. 前記画像処理部は、さらに、類似局所領域合成部を有し、
   前記類似局所領域選択部は、
   前記注目局所領域と異なる位相を持ち、かつ前記基準色画像に基づいて前記注目局所領域と類似度が高いと判定した類似局所領域を、各位相単位で複数選択する処理を実行して、選択した類似局所領域を前記類似局所領域合成部に出力し、
   前記類似局所領域合成部は、
   各位相単位の複数の類似局所領域の合成処理により、各位相単位の１つの類似局所領域データを生成して前記位相合成部に出力する請求項１に記載の画像処理装置。
9. 前記類似局所領域合成部は、
   各位相単位の複数の類似局所領域の合成処理に際して、各類似局所領域の前記長目局所領域に対する類似度に応じた重みに応じた重み付き加算を適用した合成処理を実行して各位相単位の１つの類似局所領域データを生成する請求項８に記載の画像処理装置。
10. 画像処理装置において実行する画像処理方法であり、
    画像処理部が、各画素に特定色の画素値のみが設定されたＲＡＷ画像を入力画像とし、該入力画像の各画素位置に複数色の画素値を設定する画像処理を実行し、
    前記画像処理において、
    前記入力画像から処理対象領域である注目局所領域を選択する局所領域選択部と、
    前記入力画像に基づく基準色画像を生成する基準色画像生成処理と、
    前記注目局所領域と異なる位相を持ち、かつ前記基準色画像に基づいて前記注目局所領域と類似度が高いと判定した類似局所領域を選択する類似局所領域選択処理と、
    前記注目局所領域と前記類似局所領域との合成処理によって前記注目局所領域の構成画素の各画素位置に複数色の画素値を設定した複数色設定局所領域画像を生成する位相合成処理と、
    前記位相合成部が生成する異なる注目局所領域対応の複数色設定局所領域画像を入力し、入力する複数色対応局所領域画像を合成して前記入力画像の構成画素の各画素位置に複数色の画素値を設定した複数色設定画像を生成する局所領域合成処理を実行する画像処理方法。
11. 画像処理装置において画像処理を実行させるプログラムであり、
    画像処理部に、各画素に特定色の画素値のみが設定されたＲＡＷ画像を入力画像とし、該入力画像の各画素位置に複数色の画素値を設定する画像処理を実行させ、
    前記画像処理において、
    前記入力画像から処理対象領域である注目局所領域を選択する局所領域選択部と、
    前記入力画像に基づく基準色画像を生成する基準色画像生成処理と、
    前記注目局所領域と異なる位相を持ち、かつ前記基準色画像に基づいて前記注目局所領域と類似度が高いと判定した類似局所領域を選択する類似局所領域選択処理と、
    前記注目局所領域と前記類似局所領域との合成処理によって前記注目局所領域の構成画素の各画素位置に複数色の画素値を設定した複数色設定局所領域画像を生成する位相合成処理と、
    前記位相合成部が生成する異なる注目局所領域対応の複数色設定局所領域画像を入力し、入力する複数色対応局所領域画像を合成して前記入力画像の構成画素の各画素位置に複数色の画素値を設定した複数色設定画像を生成する局所領域合成処理を実行させるプログラム。

Images