JP2005136917A - 画像処理方法、画像処理装置、画像処理プログラムおよび撮像システム - Google Patents

Abstract

【課題】 高輝度被写体を撮影して得た画像データに対して、非結像光による画像を視認性を低下させる画像処理を行う。
【解決手段】 結像光に応じた第１の画像成分と非結像光に応じた第２の画像成分とを含む画像データを処理する画像処理装置において、画像データを取得する画像取得手段３２と、画像データに対し、第２の画像成分を第１の画像成分に対して特徴付けるエッジ処理を行うエッジ処理手段３３とを有する。さらに、エッジ処理画像に基づいて第２の画像成分領域を特定し、第２の画像成分の視認性を低減させる補正処理を行う補正手段３３を有する。
【選択図】 図４

Description

本発明は、結像光に応じた第１の画像成分と非結像光に応じた第２の画像成分とを含む画像データの処理技術に関し、さらに詳しくは、第２の画像成分を目立ちにくくするための画像処理技術に関するものである。

回折面を有する光学素子（回折光学素子）は、光の回折効果を積極的に利用する素子であり、回折光学素子に入射する光を回折次数ごとに分離する作用や、所定の回折次数光のみを集光させる作用などを有する。

例えば、集光作用を有するように設計された回折光学素子は、厚みが小さい、非球面波を生成できる、レンズ設計でいう分散が負の値を持つ、といった特徴を持っている。このため、コンパクトでありながら、光学系の収差補正に有効であり、かついわゆる色消し効果を得ることができるというメリットがある。

但し、回折光学素子に入射した光は、複数の次数の回折光に分離される。このうち結像に用いる成分、つまり結像次数は１つのみであり、その他の次数成分は結像次数成分と異なる位置に焦点を有する不要な回折次数光（以下、不要回折光という）として存在し、像面上でフレアとなって存在してしまう。

このため、回折面を鋸歯状にして、結像次数にのみ光を集中させるといった工夫がなされる場合もあるが、可視光領域の全体に渡って不要回折光を抑えることは困難である。したがって、カメラレンズのような撮影光学系を構成する素子としての実用化が難しかった。

このような問題に対して、図１に示すように、それぞれ回折面２０１ａ，２０２ａを有する回折光学素子２０１，２０２を積層することによって、これまでの単層型の回折光学素子よりも不要次数の回折効率を大幅に低減する技術が提案されている。このような積層型の回折光学素子（ＤＯレンズ）２００によれば、色収差を良好に補正しつつ、高い結像性能を有し、かつコンパクトなカメラレンズを実現できる。

ところが、ＤＯレンズを用いる場合であっても、非常に強い輝度（光量）の被写体を撮影する際には、その強い輝度に引き上げられて不要回折光の強度も大きくなる。例えば、あるＤＯレンズにおいて、図２に示すように、結像に用いる回折次数光（以下、結像回折光という）の結像特性に対して不要回折光の結像特性の最高輝度値が１００００：１であるとする。このレンズを用いて、８ｂｉｔのデジタル画像取得が可能なカメラに装着して暗室中で点光源を撮影する場合に、結像回折光による像が８ｂｉｔの範囲内で撮影されるように露出を設定すると、不要回折光によるフレアの最高輝度は２５６／１００００＝０．０２５６となり、撮影画像中にはほとんど現れない。

しかし、露出を１００００倍にすると、結像回折光による像に対応する画素の輝度は完全に飽和し、さらに不要回折光によるフレアの最高輝度が２５６となり、結像回折光の像と重なっていない領域において、図３のようにはっきりと認識できる像となってしまう。

このように、不要回折光によるフレア像の発生は、撮影環境によっては不可避なものとなってしまう。

一方、デジタルカメラのようなデジタル撮像装置においては、ＣＣＤやＣＭＯＳセンサといった光電変換素子で取得した被写体像の画像データを視覚的に良好な画像に変換する画像処理が行われる。

特許文献１および２においては、回折面を有する光学系を用いたデジタル撮像装置において、撮影画像中の回折面によって生じる不要回折光によるフレア成分を、撮影画像自体を被写体像成分と近似して、その像に不要回折次数の結像特性と回折効率の重みを掛けてフレア像として算出し、撮影画像から減算することによって、不要回折光によるフレアを補正する技術が提案されている。
特開平９−２３８３５７号公報（段落００２１〜００２７、図６等） 特開平１１−１２２５３９号公報（段落００３４〜００４３、図６等）

しかしながら、実際的なＤＯレンズは、結像次数が不要次数の回折効率よりも十分に大きく、撮影画像において結像次数の像の輝度が飽和しないような輝度では、不要回折光が視覚的に目立ってくることは無い。このため、このような撮影において、上記特許文献にて提案された技術は、実際的なＤＯレンズを用いる場合に意味をなさない。

また、実際的なＤＯレンズを用いても、不要回折光によるフレアが撮影画像中に現れてくるような場合においては、結像光の像の輝度は確実に飽和している。このため、上記特許文献にて提案の手法を用いても、輝度飽和によって被写体像成分自体を正確に求められないため、補正すべきフレア成分を見積もることができない。

さらに、特許文献２には、このような輝度飽和が起こる場合には露出の異なる複数回の被写体撮影をほぼ同時に行い、輝度飽和をしていない撮影画像を基に被写体像成分を算出する手法が提案されている。しかし、輝度飽和がどの程度の露出でおさまるかを知る手段がない状態でほぼ同時に複数回の撮影を行うことは、現実的には極めて困難であり、特に動きのある被写体に対しては有効な手段ではない。また、撮像機器に設定された露出では、輝度飽和を抑えられない可能性もある。

このような問題から、不要回折光が問題となるようなハイライトを含む画像において、結像回折光の輝度分布を輝度飽和の問題を回避して撮影することは、特殊な環境下でない限り事実上不可能であり、不要回折光を除去する手法としては有効でない。

本発明は、特に輝度の高い被写体を撮影して得た画像データにおいて、非結像光の像に応じた画像を特定し、該画像を視認しにくくするように画像処理を行うことで、高画質な画像を得られるようにした画像処理プログラム、画像処理装置および撮像システムを提供することを目的としている。

上記の目的を達成するために、本発明の画像処理プログラムは、結像光に応じた第１の画像成分と非結像光に応じた第２の画像成分とを含む画像データの処理を行う画像処理方法であって、画像データを取得するステップと、画像データに対し、第２の画像成分を第１の画像成分に対して特徴付けるエッジ処理を行うステップとを有する。

また、本発明の画像処理装置は、結像光に応じた第１の画像成分と非結像光に応じた第２の画像成分とを含む画像データを処理する画像処理装置において、画像データを取得する画像取得手段と、画像データに対し、第２の画像成分を第１の画像成分に対して特徴付けるエッジ処理を行うエッジ処理手段とを有する。

ここで、上記画像データを複数の領域に分割し、該分割領域ごとに異なるエッジ処理を行うようにしてもよい。

また、エッジ処理が行われた画像データに対して色相値に変換する処理を行うようにしてもよい。

さらに、画像データにおける輝度飽和画素を検出し、少なくともエッジ処理（エッジ処理又は色相値に変換する処理）が行われた画像データを用いて、第２の画像成分の領域を特定する領域特定処理を行うようにしてもよい。

また、上記検出された輝度飽和画素のうち第２の画像成分に関わる画素を特定する画素特定処理を行い、該特定された画素を基準として、第２の画像成分の領域を特定する領域特定処理を行うようにしてもよい。

なお、画素特定処理において、複数色の画像データのうちすべての色の画像データにおいて輝度が飽和している画素を輝度飽和画素として検出するようにしてもよい。

そして、このように特定された領域において、第２の画像成分の視認性を低減させる補正処理を行うようにしてもよい。

なお、本発明は、第１の画像成分が、特定の回折次数の光により形成された像に応じた画像であり、第２の画像成分が上記特定の回折次数以外の回折次数の光により形成された像に応じた画像である場合に特に有用である。

本発明によれば、エッジ処理によって第２の画像成分を第１の画像成分に対して特徴付けることができるので、その後に行う第２の画像成分の領域の特定処理や該第２の画像成分の視認性を低減させる補正処理を容易に行えるようにすることができる。

そして、本発明を、回折作用により分離された回折光により形成された像に応じた第１および第２の画像成分を含む画像データに対して適用することにより、不要な回折光の像（フレア像）に応じた第２の画像成分の領域特定および補正処理を行い易くなり、主たる画像（第１の画像成分）に影響を与えることなくフレア画像を目立ちにくくすることができる。

なお、画像データの分割領域ごとに異なるエッジ処理を行うようにすれば、例えば画像データ作成時（撮影時）における撮影画角に応じて第２の画像成分の出現の仕方が変化するような場合でも、適正なエッジ処理を行いうことができ、第２の画像成分の誤った領域特定処理や補正処理を回避することができる。

また、エッジ処理が行われた画像データに対して色相値に変換する処理を行うようにすれば、色相値に変換する処理を行わない場合に比べてデータとして取り扱いを容易にすることができる。

さらに、画像データにおける輝度飽和画素を検出し、該検出された輝度飽和画素を基準として第２の画像成分の領域を特定することにより、高輝度被写体を撮影して得た画像データに対しても適切な第２の画像成分の領域特定および補正処理を行うことができる。特に、Ｒ，Ｇ，Ｂ等の複数色の画像データのうちすべての色の画像データにおいて輝度が飽和している画素を輝度飽和画素として検出して領域特定の基準となる画素を選択することにより、一部の色の画像データにおいてのみ輝度が飽和した画素のすべてに対して領域特定処理等を行う場合に比べて、コンピュータ若しくは画像処理装置の処理負担を軽減することができる。

以下、本発明の実施例について図面を参照しながら説明する。

図４には、本発明の実施例１である撮像システム（画像処理装置を含む）としてのデジタルスチルカメラのシステムブロック図を示す。図４中の点線矢印は、処理命令の流れを示しており、実線矢印はデータの流れを示している。

図４に示すデジタルカメラは、撮像部１０と、コントローラ２０と、電気信号処理部３０と、出力画像メモリ４０とを有する。このうち、撮像部１０は、回折面を有する回折光学素子を含む撮影光学系１１と、ＣＣＤやＣＭＯＳセンサ等により構成された撮像素子１２とを有する。撮像部１０は、撮影光学系１１により被写体像を撮像素子１２の受光面上に結像させ、該撮像素子１２からの電気信号を出力する。

電気信号処理部３０は、Ａ／Ｄ変換部３１と、画像データ変換部３２と、フレア処理部３３と、デジタル信号処理部３４と、圧縮処理部３５とを有し、撮像素子１２からの電気信号を、表示可能な映像信号に変換する。画像データ変換部３２は、Ａ／Ｄ変換部３１からのデジタル信号を画像データに変換し、フレア処理部３３は該画像データに対して、後述するように画像劣化成分の補正（フレア補正処理）を行う。すなわち、本実施例は、フレア補正処理をハードウェアにより行う場合の例を示している。なお、画像データ変換部３２およびフレア処理部３３により、本デジタルスチルカメラにおける画像処理装置が構成される。

コントローラ２０は、ＣＰＵやメモリを有し、デジタルスチルカメラ全体の制御を司るとともに、画像データ以外の各種データを記憶する。

出力画像メモリ４０は、電気信号処理部３０から出力された映像信号を保存する。

撮影光学系１１は、これに含まれる複数のレンズユニットのうち少なくとも１つとして、図１に示したような積層型の回折光学素子２００を用いている。積層型回折光学素子２００に入射した被写体からの光のうち、積層型回折光学素子２００の回折作用を受けた１次回折光成分を撮影光（結像光）として用いることにより、色収差が良好に補正され、コンパクトで高い結像性能を有する撮影光学系が構成される。

また、積層型回折光学素子２００の回折作用を受けて１次回折光成分と分離された不要回折光（０次や２次の回折光成分）もある程度低減されているので、撮像素子１２の輝度値のダイナミックレンジ内に収まる光強度を持った被写体を撮影する際には、不要回折光により発生するフレアはほとんど視認できないレベルに収まる。また、本実施例においては、撮影光学系１１は、画角による結像特性の変化の小さい望遠レンズであるとする。

図５Ａには、本実施例のデジタルスチルカメラにおける処理動作のアルゴリズムを表すフローチャートを示す。ＣＰＵ部２０は、内部メモリに格納したプログラムに従って上記各部に動作指令を出力し、それぞれの処理を行わせる。これにより、ハイライトを含む被写体を撮影した際に発生する不要回折光に応じたフレア画像（以下、単にフレア画像という）の補正処理が行われる。

まずコントローラ２０は、ステップ（図中にはＳと記す）１０１において、デジタルカメラに設けられた撮影スイッチがオン操作されることに応じて、撮像部１０に、撮像素子１２による光電変換動作（撮影動作）を開始させる。撮影光学系１１により形成された被写体像は撮像素子１２の受光面上に結像する。撮像素子１２は、複数の受光画素を有し、それぞれの画素が、受光した光信号の強度に応じた電気信号を出力する。

ここで、撮影光学系１１は、ズーム機能と可変絞り機能とを有し、撮影時のズームステート、絞り量およびレンズ繰り出し量は、不図示のセンサを介してコントローラ２０に検出される。

また、撮像素子１２の受光面（画素面）には、図７に示すように、画素ごとに赤（Ｒ）用、緑（Ｇ）用および青（Ｂ）用のカラーフィルタが規則的に配列されており、これによりＲ用、Ｇ用およびＢ用の画素が形成されている。そして各色の画素から出力された電気信号をもとに、後述する各色の画像データ（原画像データ）が生成される。なお、撮像素子１２の露光時間や露光タイミングは、コントローラ２０によって制御され、また各受光画素からの電気信号は電気信号処理部３０に転送される。

ステップ１０２では、コントローラ２０は、電気信号処理部３０のＡ／Ｄ変換部３１に、撮像部１０から転送されてきた電気信号をデジタル信号に変換させる。該デジタル信号は、画像データ変換部３２に転送される。

ステップ１０３では、コントローラ２０は、画像データ変換部３２に、Ａ／Ｄ変換部３１からのデジタル信号を画像（階調）データに変換させる。ここで、撮像素子１２において、Ｒ，Ｇ，Ｂの各表色用の画素からの電気信号に基づくデータは１表色のデータであるので、画像データ変換処理によって表色毎に画素補間処理を行い、表色ごとに全画素分の原画像データを生成する。

この際の画素補間処理は、画像データの輝度に非線形性を与えなければ、どのような形式を用いてもよい。このようにして得られた各表色の原画像データは、フレア処理部３３へと転送される。

ステップ１０４では、コントローラ２０は、フレア処理部３３に、フレア補正処理を行わせる。フレア処理部３３は、図６に示すように、エッジ処理部３３ａと、輝度飽和画素検出部３３ｂと、フレア発生有無検出部３３ｃと、フレア補正処理部３３ｄとを有する。フレア処理部３３においては、特に画像に悪影響を与える０次と２次の不要回折光に応じたフレア画像の検出および補正を行う。

画像データ変換部３３から転送されてきた各表色の原画像データは、まずエッジ処理部３３ａに転送される。エッジ処理部３３ａにおいては、後に行うフレア発生の有無の検出を良好かつ容易に行うための前処理としてのエッジ処理を行う。

ここで、エッジ処理を行う理由について説明する。図８には、結像面（撮像素子１２の受光面）上における不要回折光によるフレア像を模式的に示す。本実施例では、結像回折光の回折次数を１次とした場合を例とする。

図８（ａ）に示すように、不要回折光（０，２次回折光）は、結像回折光（１次回折光）の像の周辺に大きな像を形成し、その像の径は回折次数が結像回折次数から離れるにつれて大きくなる。

一般に、ある回折次数の不要回折光に着目したとき、その不要回折光の像の形状は波長毎に変化する。不要回折光が大きなぼけ像となる場合は、青領域から赤領域にかけて、ぼけ像の径が徐々に大きくなる。そして、この不要回折光の像を、Ｒ，Ｇ，Ｂチャンネルの色分解系を有するカメラで撮影すると、不要回折光に応じたフレア画像は図８（ｂ）のように、輝度断面は図８（ｃ）のようになる。

このようなことから、不要回折光の像はＲ，Ｇ，Ｂごとに径がずれて形成される。このため、この淵領域においては、中心側から外縁に向かって、白色→黄色→赤色と色が滲む傾向がある。

画像データに現れたフレア画像を補正するためには、この色滲み領域を検出し、フレア画像の発生領域もしくは視覚的に最も有害な色滲み領域を視覚的に良好な画像となるように補正すればよい。

しかしながら、このフレア画像領域若しくは色滲み領域の検出は、撮影画像（原画像データ）をそのまま用いて行うことは好ましくない。撮影画像において不要回折光に応じたフレア画像が発生している場合、結像光に応じた背景画像の輝度とフレア画像の輝度とが混ざった画像となっているため、それらが合わさった状態でフレア画像の輝度分布もしくは色分布を用いてフレア画像領域を正しく判定することは極めて困難だからである。

上記の理由から、背景画像の輝度の影響を除外し、フレア画像領域の輝度成分のみを浮き彫りにする（言い換えれば、背景画像に対してフレア画像を特徴付ける）ための処理が必要となり、その処理をエッジ処理部３３ａによるエッジ処理で行う。

以下、エッジ処理の内容を示す。このエッジ処理では、背景画像の輝度を相対的に弱くして、フレア画像領域又は色滲み領域の特徴を際立たせる処理を行う。

手順としては、まずある表色の処理対象画素を設定し、該対象画素とその周辺領域の画素との輝度値の差を算出する。この処理を全表色の画像データの全画素に関して行うことにより、Ｒ，Ｇ，Ｂ各色のエッジ処理済みの画像（以下、エッジ画像という）が得られる。

より具体的に説明すると、対象画素に左、右、上、下方向の４つの指定方向にて隣接する所定画素幅分の画素の輝度平均値と対象画素の輝度値との差をそれぞれ求める。所定画素幅の値は、不要回折光の各表色の像の半径ずれ程度に設定する。図８（ｃ）に示す場合の半径ずれΔＲｂｇ、ΔＲｇｒがこれに相当し、そのいずれを用いても、もしくは両者の
平均を用いてもよい。

上記４方向での輝度値の差の値において、負の値になっているものがあれば、輝度差の値を零又は所定の正の値に設定する。そして、上記指定４方向での輝度値の差の和を取り、対象画素におけるエッジ処理結果値として設定する。

輝度値の差分を得る処理を上記４方向で行う理由は、様々な方向に発生し得る色滲みを検出するためである。したがって、輝度値の差分を得る処理の方向は、上記４方向に限らず、例えば、対象画素を中心とする動径方向における外向きおよび内向き方向と、該動径に垂直に交わる線分の方向等としてもよい。また、有効に色滲みを抽出できるのであれば、処理方向数は４方向以外でも構わない。

エッジ処理における各種パラメータは、コントローラ２０の内部メモリに格納されており、それらのデータを用いてエッジ処理が実行される。

このようなエッジ処理を全表色の画像データの全画素に対して行うと、フレア画像（色滲み領域）の輪帯が背景画像に対して強く浮かび上がったエッジ画像が得られる。

図９（ａ），（ｂ）には、エッジ画像とその輝度断面を示している。このエッジ画像において、フレア画像特有の輪帯輝度分布もしくは色相分布を調べることで、フレア画像の発生を検知できる。

本実施例では、ステップ１０５にて、コントローラ２０からの指令に応じて、エッジ画像データを更に色相分布データとしての画像データに変換し、その色相画像データを、フレア発生有無検出部３３ｃに転送する。

図１０（ａ），（ｂ）には、図９（ａ），（ｂ）に示したエッジ画像を色相分布を示す画像（色相画像）に変換した結果を示す。この色相変換を行うことで、３チャンネルあった画像データのうち１チャンネルのみ取り扱うことができるようになり、以下のフレア検出処理の簡略化を図ることができる。

上記エッジ処理と並行して、もしくはエッジ処理の終了後に、ステップ１０６では、コントローラ２０からの指令に応じて、輝度飽和画素検出部（画素特定手段）３３ｂにおいて撮影画像（画像データ）における輝度飽和画素の検出を行う。具体的には、各表色の画像データにおいて輝度が飽和している（輝度値がダイナミックレンジの上限値以上である）画素を検出していき、これら検出された輝度飽和画素のうち、全ての表色にて輝度が飽和している画素のアドレスのみを抽出する。

次に、後処理としてのステップ１０７〜１１３では、この全表色での輝度飽和画素を基点として、フレア画像が発生しているか否か（フレア画像の発生条件を満たしているか否か）を調べ、フレア画像が発生しているとの判別の基点となった輝度飽和画素を基準とした色滲みの補正処理を行う。

ここで、全ての表色での輝度飽和画素を基点とするのは、一般に、不要回折光によるフレアを引き起こすような強い光量を発する被写体は、太陽光や夜に点灯する電灯のような周辺の被写体に比べて極めて輝度の大きい白色光である場合がほとんどだからである。このような光源によるハイライトがカメラに入射した場合、光源の色が赤もしくは青がかった色であっても、光源の分光特性は青もしくは赤の波長領域に裾構造を有している。そして不要回折光によるフレアが発生するほどのハイライトが入射すれば、この裾領域の分光特性も輝度飽和が起こるほどの光量となる。このため、上記のように全ての表色で輝度が飽和している画素のみを基点として補正処理を行うことにより、不要回折光によるフレアが発生するほどのハイライトは入射していないが、たまたまある表色において輝度が飽和した画素を対象画素とする無駄な処理を削減することが可能となる。

こうして輝度飽和画素の検出処理により得られた輝度飽和画素のアドレスデータは、フレア発生有無検出部（領域特定手段）３３ｃに転送される。

ステップ１０７およびステップ１０８では、コントローラ２０の指令に応じて、フレア発生有無検出部３３ｃは、輝度飽和画素検出部３３ｂで得られた輝度飽和画素のアドレスを基点とし、エッジ処理部３３ａで得られた色相画像データを用いて、フレア画像領域を特定する処理を行う。

フレア発生有無検出部３３ｃでの具体的な処理内容を、図５Ｂを参照しつつ説明する。まず、ステップ２０１では、輝度飽和画素を基点として、その画素から左、右、上、下方向に複数の検査方向を設定し、ステップ２０２〜２０６で、フレア画像のＲｅｄ成分、Ｇｒｅｅｎ成分、Ｂｌｕｅ成分の上記検査方向での指定領域における色相平均値を算出する。この複数の検査方向における指定領域は、結像回折光成分の重心を基準とした、０，２次の不要回折光によるフレア画像を特徴付けるためのエッジ処理方向における有値領域に相当する。

図１１には、上記指定領域（色相平均計算領域）を模式的に示す。フレア画像のＲｅｄ成分、Ｇｒｅｅｎ成分、Ｂｌｕｅ成分のそれぞれの色相平均計算領域は、処理対象画素の位置を基準として左、右、上、下方向に設定されている。

そして、ステップ２０７において、上記４方向のうち、少なくとも１方向における各色成分の色相平均値が下記の（１）式で示す条件を満たしているか否かを判別する。満たしている場合には、その処理対象画素（輝度飽和画素）をフレア画像の発生に関わる画素、つまりはフレア画像を引き起こした光源像に対応する画素（フレア発生基点画素）である可能性を有するフレア発生暫定画素と判別する。そして、フレア発生暫定画素に対して、それを示すフラグを立てる。

ＨＢ−ＨＧ＞ΔＨＢＧ
ＨＧ−ＨＲ＞ΔＨＧＲ ・・・（１）
但し、ＨＢ，ＨＧ，ＨＲはそれぞれ、Ｂ，Ｇ，Ｒ成分の色相平均値、ΔＨＢＧ，ΔＨＧ
ＲはそれぞれＢ−Ｇ間およびＧ−Ｒ間の色相平均値差の最低値（パラメータ値）である。

上記パラメータ値ΔＨＢＧ，ΔＨＧＲは、撮影光学系１１の光学的構成に依存した不要
回折光の理論値・実測値等から算出される値であり、これをコントローラ２０の内部メモリに格納してフレア発生有無検出に使用する。

そして、上記処理を輝度飽和画素の全てに対して順次実行することにより（ステップ１０７，１０８）、フレア発生暫定画素の全てを抽出することができる。

但し、このように抽出されたフレア発生暫定画素の中には、フレア画像は発生していないのに偶然上記（１）式の条件を満たして抽出された点も混ざっている可能性がある。このため、本実施例では、ステップ１０９〜１１１において、フレア発生暫定画素に対して、このような誤検出で抽出された画素を対象から除外するための処理を行い、フレア発生基点画素の抽出精度を高める。

この誤検出除去処理に関して以下に説明する。本処理は、フレア発生暫定画素の全てに対して順次行われる。本処理では、図１２に示すように、まず対象画素を設定し、その画素を基点として回転する動径を設定する。

この動径の長さは、０，２次の不要回折光によるフレア画像の最大半径と同じか、もしくはこれよりも少し大きい値に設定されている。また、その動径方向においては、０，２次の不要回折光によるフレア画像に上記エッジ処理を施した際のＲ，Ｇ，Ｂの各色滲み領域が図１２のように設定されている。このため、該動径を回転させた際に、色相画像における各色滲み領域と動径とが交差する領域の色相平均値を該領域ごとに算出し、その値を再度（１）式の条件にかけ、該条件を満たしている対象画素のみをフレア発生基点画素として特定する（ステップ１１０）。

誤検出除去処理に用いられる各種パラメータは、コントローラ２０の内部メモリに格納されている。この誤検出除去処理により、色滲み（フレア画像）の基点となっている画素のみを精度良く抽出することができる。

なお、上記誤検出除去処理のみをステップ１０６で検出された全ての輝度飽和画素に対して行っても同様の結果が得られるが、処理に時間がかかるため、まずフレア発生暫定画素を選別した後に誤検出除去処理でフレア発生基点画素を特定する方が、誤検出除去処理の対象画素を削減でき、処理時間の短縮を図ることができる。フレア発生有無検出部３３ｃによって検出されたフレア発生基点画素のアドレスは、フレア補正処理部３３ｄに転送される。

次に、ステップ１１２において、コントローラ２０の指令に応じて、フレア補正処理部３３ｄは、フレア発生基点画素を基準としてフレア画像の発生領域（フレア画像領域）を決定する。

図５Ｂに示すように、フレア画像領域の決定処理は、全てのフレア発生基点画素に対して０，２次の不要回折光の結像特性に応じたフレア像の範囲をコンボリューションすることで行う（ステップ３０１〜３０３）。図１３にその概略図を示す。この際のコンボリューションする０，２次の不要回折光の結像特性もしくはその特性パラメータは、コントローラ２０の内部メモリに格納されたデータを用いる。

そして、ステップ１１３では、上記決定処理によって得られたフレア画像領域に対してのみフレア補正処理を行う。

ここで行うフレア補正処理は、視覚的に特に目立つフレア画像の色滲みを低減するための色変換処理であり、フレア画像領域内の色相を背景画像領域の色相に合わせるように変換し、フレア画像領域内の彩度を落とし、さらに色相および彩度に平均化（平滑化）フィルタをかけるという手順で行う。これにより、撮影画像（原画像データ）に対してフレア画像成分の視認性が低減された良好な画像（データ）が得られる。フレア補正処理部３３ｄによってフレア画像成分が低減された補正画像データは、デジタル信号処理部３４に転送される。

ステップ１１４では、コントローラ２０からの指令に応じて、デジタル信号処理部３４が、補正画像データに対する輝度色分離処理、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整処理およびエッジ強調処理等、観賞用の画像としてより好ましい画像データとなるように各種画像処理を施す。画像処理部３４による画像処理済みの画像データは、圧縮処理部（出力手段）３５に転送される。

ステップ１１５では、コントローラ２０からの指令に応じて、圧縮処理部３５が、所定の画像圧縮処理方法によって、画像処理済み画像データの圧縮を行う、画像圧縮方法は、ＪＰＥＧ、ＴＩＦＦ、ＪＰＥＧ２０００等の画像データが圧縮できる手法であればいかなる手法を用いてもよい。圧縮された画像データは、出力画像データとして出力画像メモリ４０に転送され、格納される。また、画像処理済み画像データを、不図示のディスプレイ（出力手段）に表示させるようにしてもよい。

出力画像を格納する出力画像メモリ４０は、カメラに対して着脱が可能な記憶媒体であり、この記録媒体を介して他の情報端末機器への出力画像の直接的な転送が可能となる。出力画像メモリ４０としては、書き換え可能なメモリであれば、半導体メモリ、磁気メモリ、光ディスクその他の汎用メモリ等、どのような形態のものでもよい。

以上説明したように、本実施例によれば、回折光学素子を含む撮影光学系１１を備えたデジタルスチルカメラにおいて、ハイライトを有する被写体を撮影する場合でも、不要回折光に応じたフレア画像を良好に補正することができ、コンパクトでかつ高性能なデジタルカメラを得ることができる。

なお、本発明は、本実施例で説明した形態のデジタルスチルカメラに限らず、各種の撮像システムに適用することができる。例えば、撮像素子に関しては単板式でも３板式でもよく、その他の仕様でもよい。また、デジタルスチルカメラではなく、デジタルビデオカメラであってもよい。

また、本実施例では、０，２次の不要回折光によるフレア画像を検出および補正する場合について説明したが、より高次の不要回折光によるフレア画像を検出、補正する処理としてもよい。また、高次の不要回折光に対して処理を行うかどうかの判断を、低次の不要回折光によるフレア画像の発生の程度を参照して行うようにしてもよい。

また、本実施例では、不要回折光によるフレア画像の発生および補正処理に際して、望遠レンズを前提として説明し、結像特性の画角依存性を考慮していないが、これを考慮した仕様としてもよい。

また、本実施例では、エッジ画像を色相画像に変換して処理する場合について説明したが、Ｒ，Ｇ，Ｂのエッジ画像の輝度データを用いてフレア画像の有無の検出（フレア画像領域の特定）を行うようにしてもよい。また、色相画像データあるいはＲ，Ｇ，Ｂのエッジ画像の輝度データをエリア分割し、該エリア毎の色相値・輝度値等の統計量からフレア画像の有無を検出してもよい。また、標準的なフレア画像の輝度分布データを用いた、エッジ画像に対するパターンマッチングを行ってフレア画像領域を特定するようにしてもよい。

また、本実施例では、フレア補正処理において色滲みの補正処理を行う場合について説明したが、本発明のフレア補正処理はこれに限られない。例えば、フレア発生基点画素の大きさに応じて被写体輝度分布を推定し、０，２次フレアとのコンボリューションをとって原画像データから減算してもよい。また、輝度飽和画素検出部３３ｂにおいて輝度飽和画素が存在しない場合は、エッジ処理部３３ａにおけるエッジ処理、フレア発生有無検出部３３ｂにおけるフレア画像の有無の検出処理、フレア補正処理部３３ｃにおけるフレア画像の補正処理をスキップすることが好ましい。

図１４には、本発明の実施例２である画像処理装置としてのコンピュータのシステムブロック図を示す。このコンピュータは、コンピュータの駆動命令、演算処理を行うＣＰＵ（コントローラ）５０と、外部からのデータの取り込みを担うデータ入力インターフェース６０と、ユーザーがコンピュータに所定の処理を行う命令を入力するための処理命令入力インターフェース７０と、コンピュータのオペレーティングシステムや各種データを保存するハードディスク８０と、ＣＰＵ５０からの命令に応じた動作を実行する際に必要となる情報を一時的に記憶するＲＡＭ９０と、ＧＵＩや画像等のデータを表示するための画像表示部１００とを備えている。これらは、処理信号や各種データを伝送するバスによって互いに接続されている。

このコンピュータは、図１に示したような積層型回折光学素子２００を含む撮影光学系を備えた撮像システムで撮像された画像データや、撮影時の光学系機種名，撮影光学系のズームステート，Ｆナンバー，レンズ繰り出し量等の光学特性データや、撮影光学系の結像特性データをデータ入力インターフェース６０を介してハードディスク８０に取り込む。そして、撮影画像中における上記回折光学素子により発生する不要回折光によるフレア画像の発生の有無検出処理、フレア画像領域に対する補正処理を行った後に観賞用画像とするための画像処理を行い、良好な画像を提供する。

以下に、本実施例のコンピュータにより実行される画像処理プログラムを、図１５Ａのフローチャートに沿って説明する。本コンピュータには、既にユーザーによる処理命令入力インターフェース７０を介した入力により、データ入力部インターフェース６０から撮像システムによって撮像された画像データ、さらには各画像撮影時のレンズのステートデータや、各レンズステートでの結像特性データがハードディスク８０に格納されている。また、撮像された画像データは、撮像システムの撮像素子から出力されるデータの輝度に対して非線形な処理を行っていないＲＡＷ画像データである。

また、撮像システムの表色系は、ＲＧＢ表色系を有し、ＲＡＷ画像データもそれに準拠した表色となっている。

ステップ４０１において、処理命令入力インターフェース７０を介して処理実行命令が入力されると、ハードディスク８０からＲＡＭ３３に処理アプリケーション、処理パラメータ、画像データ、各画像撮影時のレンズのステートデータおよび各レンズステートでの結像特性データが転送される。以下、ＲＡＭ９０に展開されたデータを用いてＣＰＵ５０が演算処理を行う。

ステップ４０２では、ＲＡＷ画像データを画像データ変換処理する。ＲＡＷ画像データは、図７に示すようにカラーフィルタが受光面（画素面）に規則的に配列された撮像素子の各色画素からの電気信号もとに生成されたデータであるが、各画素に対応するデータ成分は１表色のデータであるので、画像データ変換処理によって表色毎に画素補間を行い、各表色の全画素データである原画像データが生成される。

次に、ステップ４０３において、フレア画像に対する背景画像の影響を減じて（言い換えれば、背景画像に対してフレア画像を特徴付けて）、フレア画像の検出を容易にするために、原画像データに対してエッジ処理を行う。

ここでのエッジ処理は、有効なフレア画像検出を行うために、Ｒ，Ｇ，Ｂの各フレア画像の淵領域が重なり合わない、もしくは若干重なり合う程度に抽出できるような処理でよい。但し、撮影光学系又はカメラの機種、ズームステート、Ｆナンバー、レンズ繰り出し量、画角等によって、最適なエッジ処理パラメータが異なる。この最適なエッジ処理パラメータは、撮影光学系の各状態での結像特性の計算値もしくは実測値を用いてあらかじめ算出し、ハードディスク８０に格納しておけばよい。また、最適なエッジ処理パラメータを、処理命令入力インターフェース７０を介してユーザーが指定できる仕様としてもよい。

ここで、画角に関するエッジ処理パラメータについて詳しく説明する。不要回折光によるフレアは、像面と光軸との交差点に該当する軸上点およびそれ以外の点である軸外点においてその結像特性が異なる。

これを図１６（ａ），（ｂ）の模式図により示す。図１６（ａ）に示す軸上点においては、結像回折光である１次の回折光の像を中心に、他の回折次数の不要回折光の像が重なり、回折次数が結像回折次数から離れるにつれてその半径は大きくなる。

一方、軸外点においては、結像回折光の像を中心に、その回折次数に対して小さい次数、の像および大きい次数の像が、その重心を軸上点を基準とした動径方向に沿って、互いに別々の方向に分離していく。その分離幅は、結像回折次数から離れるほど大きくなる。また、不要回折光の像は、画角が大きくなるに従って、同心円形状から楕円形状となっていく。

このように、画角に応じて不要回折光の結像特性が変化するため、エッジ処理を画像中の領域に応じて変更する必要がある。具体的には、画像データの全領域Ａを、図１７に示すように分割し、それぞれの分割領域ａごとに異なるエッジ処理を行う。

図１８に、ある１つの分割領域に対するエッジ処理の概略を示す。エッジ処理では、処理対象画素が属する分割領域を判定し、その分割領域の中心に対して軸上点から引かれた線分の２方向と、それと垂直に交わる線分方向における両方向との４方向を設定する。そして、処理対象画素と上記４方向における指定画素数分の隣接画素輝度平均値との差分をそれぞれ求める。該差分が負の値の場合は、該差分値として零又は所定の正の値をセットする。こうして求めた差分値を全て足し合わせる。なお、上記４方向における指定画素数は、予めハードディスク８０に格納されている。

この処理を全表色の全画像に対して実行し、さらに補正処理を行うフレア画像を引き起こした不要回折光の次数が複数ある場合は、次数ごとにエッジ処理を行う。その後、ステップ４０４にて、実施例１と同様に、得られたエッジ画像を色相画像に変換する。

また、エッジ処理を行う前の原画像データを基に、原画像データにおいて全表色とも輝度が飽和している画素の位置（アドレス）を検出する。ここで、ステップ４０５では、検出された輝度飽和画素に対して、この後に行われる輝度飽和画素を基点としたフレア画像の有無検出処理の計算時間を短縮するために、一定の間隔で間引きを行い、処理対象となる輝度飽和画素を減じる。ここにいう一定の間隔は、予めハードディスク８０に格納されている値あるいは処理命令入力インターフェース７０を介して指定される値である。また、軸上点から軸外点にかけて、間引き率を変化させるようにしてもよい。

続いて、ステップ４０７〜４０８では、フレア画像の有無検出処理に入る。エッジ処理、色相値に変換する処理がなされた色相画像データと、輝度飽和画素の検出処理および画素の間引き処理を経て得られた輝度飽和画素のアドレスデータとを用いて、フレア画像の有無検出を行う。ここでの処理は、処理対象となる輝度飽和画素のアドレスデータを順次設定し（ステップ４０８）、それぞれの画素位置に入射した結像次数光に対して異なる次数の回折光によりフレア画像が発生したかどうかを検出する処理を行う。そして、フレア画像の発生基点と判別された画素は、フレア発生基点画素として特定される。

ここで、上記フレア画像の有無検出処理の例を、図１５Ｂのフローチャートおよび図１９を用いて説明する。まず、ステップ５０１では、処理対象となる輝度飽和画素を設定し、その画素位置がどの分割領域（画像領域）に属するかを調べる。

次に、ステップ５０２では、その画像領域における不要回折光の結像特性もしくは検出パラメータを参照して、処理対象画素を基準とした各回折次数光のフレア画像の重心位置を得る。そして、その重心位置を基点として、軸上点と処理対象画素とを結ぶ線分の方向における２方向を設定する。さらに、各回折次数光のフレア画像の重心位置を基点として、その点を通り、上記線分と垂直な線分の方向における２方向を設定する。次に、こうして設定された４方向における、フレア画像に上記エッジ処理を施した際のＲ領域、Ｇ領域、Ｂ領域に相当する線分領域の色相平均値を得て（ステップ５０３〜５０６）、それら色相値が以下の（２）式の条件を満たすか否かを判定する。

ＨＢｍｉｎ＜ＨＢ＜ＨＢｍａｘ
ＨＧｍｉｎ＜ＨＧ＜ＨＧｍａｘ
ＨＲｍｉｎ＜ＨＲ＜ＨＲｍａｘ ・・・（２）
但し、ＨＢ，ＨＧ，ＨＲはそれぞれ、Ｂ，Ｇ，Ｒ領域における色相平均値であり、ＨＢｍｉｎ，ＨＧｍｉｎ，ＨＲｍｉｎ はそれぞれ、Ｂ，Ｇ，Ｒの色相範囲の下限値（パラメータ値）であり、ＨＢｍａｘ，ＨＧｍａｘ，ＨＲｍａｘ はそれぞれ、Ｂ，Ｇ，Ｒの色相範囲の上限値（パラメータ値）である。

上記パラメータ値ＨＢｍｉｎ，ＨＧｍｉｎ，ＨＲｍｉｎ，ＨＢｍａｘ，ＨＧｍａｘ，ＨＲｍａｘは、処理している画像データを撮影したカメラの撮影光学系による不要回折光の理論値あるいは実測値をもとに見積もった、不要回折光によるフレア画像に上記エッジ処理を施した際に取り得る各表色位置での色相平均値の範囲を与えるパラメータ値であり、ハードディスク８０に格納されている。

（２）式の条件の検査を上記４方向全てに対して行い（ステップ５０５，５０６）、４方向中１方向でも該条件を満たし、かつ結像次数に対する次数の差分の絶対値が等しい他の回折次数光（例えば、１次が結像次数である場合には、０次と２次が対応関係にある）における判定も満たしていれば（ステップ５０７）、その処理対象画素をフレア発生基点画素として特定する。この処理を全対象画素に対して行い、フレア発生基点画素データを得る。

次に、ステップ４１１では、フレア画像の発生領域の算出処理を行う。この処理では、フレア画像の有無検出処理で検出されたフレア発生基点画素データを基に、フレア画像の発生領域を特定する。

フレア画像の発生領域の決定は、図１５Ｂに示すステップ６０１〜６０４にて、全てのフレア発生基点画素に対して、順次、不要回折光の結像特性に応じた像の範囲をコンボリューションすることで行う。この際、コンボリューションする不要回折光の結像特性もしくはその特性パラメータは、回折次数および画像領域（分割領域）ごとに異なるので、フレア発生基点画素がどの画像領域に属するかを判別し、その画像領域において補正対象不要回折光の結像特性形状データをハードディスク８０から展開して得る。

次に、ステップ４１２では、このフレア発生領域の決定処理によって得られたフレア画像領域に対してのみフレア補正処理を行う。フレア補正処理は、視覚的に特に目立つ不要回折光によるフレア画像の色滲みを低減する処理である。具体的には、フレア画像領域の色相を背景画像領域の色相に合わせるように変換し、彩度を落とし、さらに色相および彩度に平均化フィルタをかけるという手順で行う。これにより、撮影画像（原画像データ）に対してフレア画像成分の視認性が低減された良好な画像（データ）が得られる。

フレア補正処理によってフレア画像成分が低減された補正画像データには、ステップ４１３にてデジタル信号処理が行われる。ここでは、輝度色分離処理、ホワイトバランス調整、グレイバランス調整、濃度調整、カラーバランス調整、エッジ強調等、観賞用の画像としてより好ましい画像となるように各種の画像処理が施される。

デジタル信号処理がなされた画像データは、ステップ４１４にて、所定の画像圧縮処理方法により圧縮される。圧縮された画像データは、ハードディスク８０に出力され、格納される。

なお、ユーザーの処理命令入力インターフェース７０を介した入力により、圧縮保存した画像データを展開し、画像表示部１００に表示することで該画像を観賞することができる。

以上説明したように、本実施例によれば、コンピュータを用いて、不要回折光に応じたフレア画像を含む撮影画像における該フレア画像の視認性を低減することができる。したがって、回折光学素子を含む撮影光学系を備えたカメラが、不要回折光によるフレア画像の補正機能を有しない場合であっても、該カメラでハイライトを有する被写体を撮影して得た画像データを該コンピュータに取り込むことにより、フレア画像成分の視認性が抑制された良好な画像を得ることができる。

なお、本実施例において説明した画像処理プログラム又は画像処理装置としてのコンピュータは、上述したような構成・機能に限定されるものではない。例えば、不要回折光に応じたフレア画像の有無を検出する際に、エッジ画像もしくはエッジ処理後に色相変換された画像（色相画像）と、ハードディスク８０に格納された不要回折光の結像特性を示すエッジ画像もしくは色相画像との相関演算を行うことで、フレア画像の有無検出を行ってもよい。

また、フレア補正処理として、前述したような色変換処理（色相変換、彩度劣化および色相・彩度の平滑化処理）ではなく、フレア画像の輝度を減算して補正する等、他の補正処理を行ってもよい。

なお、本発明を実施し得る形態としては以下のようなものが挙げられる。

（１）結像性能を向上させる回折光学素子を具備するレンズ、該レンズにより結ばれた像を光電変換により電気信号に変換する撮像素子、該撮像素子からの信号を画像表示デバイス表示用の画像信号に最適化する信号処理部、回折光学素子による不要回折光フレアの検知、補正を行うフレア処理部、および回折光学素子による不要回折光の結像特性あるいはそれに関するデータを記憶するメモリ部を搭載するデジタル撮像システム又は画像処理装置であって、
前記フレア処理部において撮像画像をその画素間あるいは画像領域間でのデータの相違を示す値に変換する処理を経て、不要回折光によるフレア画像の検出あるいは発生量の推定を行い、該検出あるいは発生量の推定結果から前記フレア画像の補正を行うことを特徴とする撮像システム又は画像処理装置。

（２）前記撮影画像をその画素間あるいは画像領域間でのデータの相違を示す値に変換する処理が、処理対象とする画素あるいは処理対象とする画像領域と、他の画素あるいは画像領域との表色毎の輝度値の差分を求める処理であること、あるいはその表色毎の輝度値の差分値を色相値に変換する処理であることを特徴とする（１）に記載の撮像システム又は画像処理装置。

（３）前記画素間あるいは画像領域間でのデータの相違を示す値に変換する処理は、撮影画像における全画素あるいは全画像領域を順次処理対象画素として設定して行われることを特徴とする（１）又は（２）に記載の撮像システム又は画像処理装置。

（４）前記輝度値の差分を求める処理において、処理対象とする画素の輝度値と、その点を基点として画像中の任意方向へ伸ばした線分に交差する画像領域中の任意画像領域における輝度平均値あるいは同領域中の輝度値を用いて求められる値との差分を求めることを特徴とする（２）又は（３）に記載の撮像システム又は画像処理装置。

（５）前記画素間あるいは画像領域間でのデータの相違を示す値に変換する処理が、前記処理対象とする画素の輝度値と、その点を基点として画像中の任意方向へ伸ばした線分に交差する画像領域中の任意画像領域における輝度平均値あるいは同領域中の輝度値を用いて求められる値との差分を求める差分算出処理を、複数の任意方向に対して行った各差分算出値の総和を得る処理であることを特徴とする（２）から（４）のいずれか１つに記載の撮像システム又は画像処理装置。

（６）前記輝度値の差分を求める処理において、処理対象とする画素の輝度値と、その点を基点として画像中の任意方向へ伸ばした線分に交差する画像領域中の任意画像領域における輝度平均値あるいは同領域中の輝度値を用いて求められる値との差分が負の値になった場合、その値を零もしくは任意の正の値に変換することを特徴とする（４）又は（５）に記載の撮像システム又は画像処理装置。

（７）前記撮影画像をその画素間あるいは画像領域間でのデータの相違を示す値に変換する処理のパラメータを、撮影画像における位置、撮影時の撮像システムの設定値、および検出対象とする前記回折光学素子による不要回折光の回折次数により変更することを特徴とする（１）から（６）のいずかれ１つに記載の撮像システム又は画像処理装置。

（８）前記撮像システムの設定値が、撮影時における撮像システムのズームステート、絞り径、レンズ繰り出し量、ホワイトバランス調整量のうち１つ以上を含むことを特徴とする（７）、に記載の撮像システム又は画像処理装置。

（９）前記撮影画像をその画素間あるいは画像領域間でのデータの相違を示す値に変換する処理のパラメータは、その輝度値の差分を求める処理における、処理対象画素の輝度値との差分を算出するための輝度値算出対象となる画像領域の処理対象画素からの相対的な位置、領域の大きさであることを特徴とする（７）又は（８）に記載の撮像システム又は画像処理装置。

（１０）前記処理対象画素の輝度値との差分を算出するための輝度値算出対象となる画像領域の大きさが、撮像素子上に結ぶ回折光学素子を具備するレンズの結像回折次数における結像位置中心から差分算出方向に伸ばした線分と、検出対象としている不要回折次数の表色毎の結像特性の淵との各交差点間を結ぶ領域の大きさもしくはその領域を基として範囲を変調した領域の大きさであることを特徴とする（７）から（９）のいずれか１つに記載の撮像システム又は画像処理装置。

（１１）前記フレア処理部における回折光学素子による不要回折光フレアの検出あるいは発生量の推定が、前記撮影画像をその画素間あるいは画像領域間でのデータの相違を示す値に変換する処理を行った画像に対して、前記メモリ部に格納された、回折光学素子による不要回折光の結像特性あるいはそれを基に算出したデータを用いた比較あるいは演算を行うことによりなされることを特徴とする（１）から（１０）のいずれか１つに記載の撮像システム又は画像処理装置。

（１２）前記メモリ部に格納された、回折光学素子による不要回折光の結像特性を基に算出したデータが、前記撮影画像をその画素間あるいは画像領域間でのデータの相違を示す値に変換する処理と同じ処理を、不要回折光の結像特性像に対して行ったデータであること、あるいは更にそのデータの表色毎の輝度分布もしくは色相分布の特徴を表すデータに変換したものであることを特徴とする（１１）に記載の撮像システム又は画像処理装置。

（１３）前記不要回折光フレアの検出あるいは発生量の推定を行う処理が、撮影画像における画素あるいは画像領域を順次対象画素、対象画像領域として設定し、設定した画素あるいは画像領域を基点として行うものであることを特徴とする（１１）又は（１２）に記載の撮像システム又は画像処理装置。

（１４）前記フレア処理部における回折光学素子による不要回折光フレアの検出あるいは発生量の推定の処理が行われる前に、撮影画像中において画像輝度値が一定値を超える画素を検出する高輝度検出処理を経て、そこで検出された高輝度画素のみを演算対象画素として回折光学素子による不要回折光フレアの検出あるいは発生量の推定の処理を行うことを特徴とする（１１）から（１３）のいずれか１つに記載の撮像システム又は画像処理装置。

（１５）前記高輝度検出処理において高輝度と定義する画像輝度が、画像輝度飽和値であることを特徴とする（１３）又は（１４）に記載の撮像システム又は画像処理装置。

（１６）前記不要回折光フレアの検出あるいは発生量の推定を行う処理において、検出対象画像領域を任意の割合で画素間引き、あるいは画像領域間引きした上で不要回折光フレア検出処理を行うことを特徴とする（１３）から（１５）のいずれか１つに記載の撮像システム又は画像処理装置。

（１７）前記フレア処理部における回折光学素子による不要回折光フレアの検出あるいは発生量の推定の処理は、処理対象点を基点として、該基点から所定方向の所定の位置にある画像領域における表色毎の輝度分布、あるいは輝度を用いて算出される値、あるいは色相分布、あるいは色相値を用いて算出される値を、前記メモリ部に格納されたデータと比較若しくは演算することにより行われることを特徴とする（１１）から（１６）に記載の撮像システム又は画像処理装置。

（１８）前記処理対象基点からの所定の方向が、画像データ上方向、下方向、左方向、右方向、撮影画像中の軸上点を基準とする動径外側方向、動径内側方向、動径方向と垂直に交わる方向の右回り方向、左回り方向のうちの何れか、もしくはこれらの組合せであることを特徴とする（１７）に記載の撮像システム又は画像処理装置。

（１９）前記処理対象点を基点とする所定方向の所定の位置が、前記回折光学素子による結像回折次数の結像位置中心を基点として前記所定方向へ伸ばした線分と、検出対象としている不要回折次数の表色毎の結像特性の淵の各交差点間を結ぶ領域、もしくはその領域を基として範囲を変調した領域であることを特徴とする（１７）又は（１８）に記載の撮像システム又は画像処理装置。

（２０）前記フレア処理部における回折光学素子による不要回折光フレアの検出処理が、画像中の前記処理対象点を基点とする所定方向で互いに位置の異なる所定位置における色相値を比較し、色相値の差が、前記メモリ部に格納されたデータよりも大きい場合に不要回折光フレアが発生していると判断する処理であること、もしくは画像中の前記処理対象点を基点とする所定方向での、互いに位置の異なる所定位置における色相値の何れか１つもしくは複数が、前記メモリ部に格納されたデータの範囲内に入っている場合に不要回折光フレアが発生していると判断する処理であることを特徴とする（１７）から（１９）のいずれかに記載の撮像システム又は画像処理装置。

（２１）前記フレア処理部における回折光学素子による不要回折光フレアの発生量の推定の処理が、画像中の前記処理対象点を基点とする所定方向で互いに位置の異なる所定位置における色相値を比較し、所定の表色間での色相値の差を前記メモリ部に格納されたデータと比較することで不要回折光フレアの発生量を推定する処理であること、もしくは画像中の前記処理対象点を基点とする所定方向で互いに位置の異なる所定位置における色相値を前記メモリ部に格納されたデータと比較することで不要回折光フレアの発生量を推定する処理であることを特徴とする（１７）から（２０）に記載の撮像システム又は画像処理装置。

（２２）前記フレア処理部における回折光学素子による不要回折光フレアの検出処理において、処理対象点を基点とした動径方向の色相分布特性あるいは任意の動径領域での色相平均値、あるいは互いに異なる任意の複数の動径領域での色相平均値を算出し、その分布特性あるいは色相平均値を前記メモリ部に格納されたデータと比較することでフレア発生の有無を検出することを特徴とする（１７）に記載の撮像システム又は画像処理装置。

（２３）前記フレア処理部における回折光学素子による不要回折光フレアの検出処理において、前記処理対象点を基点として、該基点から所定方向の所定の位置にある画像領域における色相分布あるいは色相値を用いて算出される値を、前記メモリ部に格納されたデータと比較することによりフレアの有無の検出を行う処理と、前記処理対象点を基点とした動径方向の色相分布特性、あるいは任意の動径領域での色相平均値、あるいは互いに異なる任意の複数の動径領域での色相平均値を算出し、その分布特性、あるいは色相平均値を前記メモリ部に格納されたデータと比較することでフレア発生の有無を検出する処理を複合させてフレア発生の有無を検出することを特徴とする（１７）から（２１）に記載の撮像システム又は画像処理装置。

（２４）前記不要回折光フレアの検出、発生量の推定の処理における処理対象点を基点とした所定方向の所定の位置、および検出、発生量の推定の際に比較量として用いる前記メモリ部に格納されたデータが、処理対象点が属する像面上の位置によって変化することを特徴とする（１７）から（２３）に記載の撮像システム又は画像処理装置。

（２５）前記不要回折光フレアの補正を行う補正対象領域が、前記フレアの検出、発生量の推定の処理においてフレアが発生していると判断された処理対象画素もしくは処理対象画像領域に対し、前記メモリ内部に格納されたその位置におけるもしくはその位置に属する補正対象とする回折次数の不要回折光フレアの結像特性の領域、もしくはそれから得られるデータが指定する領域を設定することで得られることを特徴とする（１７）から

（２４）に記載の撮像システム又は画像処理装置。

（２６）前記フレアが発生していると判断された処理対象画素もしくは処理対象画像領域に対し、前記メモリ内部に格納されたその位置における、もしくはその位置に属する補正対象とする回折次数の不要回折光フレアの結像特性の領域、もしくはそれにから得られるデータが指定する領域を設定する処理において、処理対象画素もしくは処理対象画像領域と結像回折成分の結像位置中心と一致させ、結像回折成分と相対的な位置関係に基づいて、補正対象とする回折次数の不要回折光フレアの結像特性の領域もしくはそれから得られるデータが指定する領域を設定することを特徴とする（２５）に記載の撮像システム又は画像処理装置。

（２７）結像性能を向上させる回折光学素子を具備する光学系を介して被写体の像を結像する手段を経て得られた電子画像に対して回折光学素子による不要回折光の結像特性、あるいはそれに関するデータを用いて回折光学素子による不要回折光フレアの検知、補正を行うフレア処理を有する画像処理方法であって、前記フレア処理において撮像画像をその画素間あるいは画像領域間でのデータの相違を示す値に変換する処理を経て、回折光学素子不要回折光フレアの検出あるいは発生量の推定を行い、検出あるいは発生量推定結果から回折光学素子不要回折光フレアの補正を行うことを特徴とする画像処理方法。

（２８）前記撮影画像をその画素間あるいは画像領域間でのデータの相違を示す値に変換する処理が、処理対象とする画素あるいは処理対象とする画像領域と、他の画素あるいは画像領域との表色毎の輝度値の差分を求める処理であること、あるいはその表色毎の輝度値の差分値を色相値に変換する処理であることを特徴とする（２７）に記載の画像処理方法。

積層型回折光学素子の模式図である。 結像回折光と不要回折光の像面上での輝度断面図である。 高輝度点像の撮影により得られたフレア画像の模式図である。 本発明の実施例１である撮像システムの構成を示すブロック図である。 実施例１の撮像システムにおける処理動作を示すフローチャートである。 実施例１の撮像システムにおける処理動作を示すフローチャートである。 実施例１の撮像システムにおけるフレア処理部の構成を示すブロック図である。 実施例１の撮像システムにおける撮像素子の各表色画素の配置例を示す図である。 （ａ）は−１次〜３次の回折光の結像特性を示す概略図、（ｂ）は０，２次の回折光の結像特性を示す概略図、（ｃ）は０，２次の回折光の輝度断面図である。 （ａ）はエッジ処理画像におけるフレア画像成分の概略図、（ｂ）は該フレア画像の輝度断面図である。 （ａ）は色相画像の概略図、（ｂ）は該色相画像の輝度断面図である。 実施例１におけるフレア画像の有無検出処理を説明する概略図である 実施例１における誤検出除去処理を説明する概略図である。 実施例１におけるフレア画像領域の決定処理を説明する概略図である。 本発明の実施例２である画像処理装置としてのコンピュータの構成を示すブロック図である。 実施例２における画像処理プログラムを示すフローチャートである。 実施例２における画像処理プログラムを示すフローチャートである。 （ａ）は−１次〜３次の回折光の軸上点での結像特性を示す概略図、（ｂ）は軸外点での結像特性を示す概略図である。 エッジ処理を行う画像データの領域分割例を示す概略図である。 分割領域に属するエッジ処理対象画素でのエッジ処理を説明する概略図である。 分割領域に属する対象画素を基点としたフレア画像の有無検出処理を説明する概略図である。

符号の説明

１０ 撮像部
１１ 撮影光学系
１２ 撮像素子
２０ コントローラ
３０ 電気信号処理部
３１ Ａ／Ｄ変換部
３２ 画像データ変換部
３３ フレア処理部
３３ａ エッジ処理部
３３ｂ 輝度飽和画素検出部
３３ｃ フレア発生有無検出部
３３ｄ フレア補正処理部
３４ デジタル信号処理部
３５ 圧縮処理部
４０ 出力画像メモリ
５０ ＣＰＵ
６０ データ入力インターフェース
７０ 処理命令入力インターフェース
８０ ハードディスク
９０ ＲＡＭ
１００ 画像表示部
２０１，２０２ 回折光学素子

Claims (19)

1. 結像光に応じた第１の画像成分と非結像光に応じた第２の画像成分とを含む画像データの処理を行う画像処理方法であって、
   前記画像データを取得するステップと、
   前記画像データに対し、前記第２の画像成分を前記第１の画像成分に対して特徴付けるエッジ処理を行うステップとを有することを特徴とする画像処理方法。
2. 前記エッジ処理を行うステップにおいて、前記画像データを複数の領域に分割し、該分割領域ごとに異なるエッジ処理を行うことを特徴とする請求項１に記載の画像処理方法。
3. 前記エッジ処理が行われた画像データに対して色相値に変換する処理を行うステップを有することを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記エッジ処理が行われたエッジ画像データ又は該エッジ画像データに色相値に変換する処理を行った色相画像データを用いて、前記第２の画像成分の領域を特定する領域特定処理を行うステップを有することを特徴とする請求項１から３のいずれか１つに記載の画像処理方法。
5. 前記画像データにおける輝度飽和画素を検出し、前記エッジ処理が行われたエッジ画像データ又は該エッジ画像データに色相値に変換する処理を行った色相画像データを用いて、前記検出された輝度飽和画素のうち前記第２の画像成分に関わる画素を特定する画素特定処理を行うステップと、
   前記特定された画素を基準として、前記第２の画像成分の領域を特定する領域特定処理を行うステップとを有することを特徴とする請求項１から３のいずかれ１つに記載の画像処理方法。
6. 前記画素特定処理において、複数色の前記画像データのうちすべての色の画像データにおいて輝度が飽和している画素を前記輝度飽和画素として検出することを特徴とする請求項５に記載の画像処理方法。
7. 前記領域特定処理を、前記エッジ画像データ又は前記色相画像データと、メモリに記憶された領域特定用データとを用いて行うことを特徴とする請求項４又は５に記載の画像処理方法。
8. 前記特定された領域において、前記第２の画像成分の視認性を低減させる補正処理を行うステップを有することを特徴とする請求項１から７のいずれか１つに記載の画像処理方法。
9. 前記第１の画像成分が、特定の回折次数の光に応じた画像であり、前記第２の画像成分が前記特定の回折次数以外の回折次数の光に応じた画像であることを特徴とする請求項１から８のいずれか１つに記載の画像処理方法。
10. 結像光に応じた第１の画像成分と非結像光に応じた第２の画像成分とを含む画像データを処理する画像処理装置であって、
    前記画像データを取得する画像取得手段と、
    前記画像データに対し、前記第２の画像成分を前記第１の画像成分に対して特徴付けるエッジ処理を行うエッジ処理手段とを有することを特徴とする画像処理装置。
11. 前記エッジ処理手段において、前記画像データを複数の領域に分割し、該分割領域ごとに異なるエッジ処理を行うことを特徴とする請求項１０に記載の画像処理装置。
12. 前記エッジ処理が行われた画像データに対して色相値に変換する処理を行う色相変換手段を有することを特徴とする請求項１０又は１１に記載の画像処理装置。
13. 前記エッジ処理が行われたエッジ画像データ又は該エッジ画像データに色相値に変換する処理を行った色相画像データを用いて、前記第２の画像成分の領域を特定する領域特定手段を有することを特徴とする請求項１０から１２のいずれか１つに記載の画像処理装置。
14. 前記画像データにおける輝度飽和画素を検出し、前記エッジ処理が行われたエッジ画像データ又は該エッジ画像データに色相値に変換する処理を行った色相画像データを用いて、前記検出された輝度飽和画素のうち前記第２の画像成分に関わる画素を特定する画素特定手段と、
    前記特定された画素を基準として、前記第２の画像成分の領域を特定する領域特定手段とを有することを特徴とする請求項１０から１３のいずれか１つに記載の画像処理装置。
15. 前記画素特定手段は、複数色の前記画像データのうちすべての色の画像データにおいて輝度が飽和している画素を前記輝度飽和画素として検出することを特徴とする請求項１４に記載の画像処理装置。
16. 前記特定された領域において、前記第２の画像成分の視認性を低減させる処理を行う補正手段とを有することを特徴とする請求項１０から１５のいずれか１つに記載の画像処理装置。
17. 前記第１の画像成分が、特定の回折次数の光に応じた画像であり、前記第２の画像成分が前記特定の回折次数以外の回折次数の光に応じた画像であることを特徴とする請求項１０から１６のいずれか１つに記載の画像処理装置。
18. 回折面を含む光学系と、
    該光学系により形成された光学像を光電変換する撮像素子と、
    前記撮像素子を用いて取得した画像データを処理する請求項１０から１７のいずれか１つに記載の画像処理装置と、
    前記画像処理装置により処理された画像データを出力する出力手段とを有することを特徴とする撮像システム。
19. 請求項１から９のいずれか１つに記載の画像処理方法をコンピュータに実行させるプログラムであることを特徴とする画像処理プログラム。

Images