JP2009134383A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】空間的な特徴を持たない被写体を画素単位で識別する。
【解決手段】特徴量抽出部４１は、可視光および非可視光の範囲において複数の色を含む画像より画素毎に、基準色と各色との比率を要素とする特徴量を画素毎に抽出し、識別部４２に供給する。識別部４２は、抽出された特徴量を利用して画素毎に被写体を識別し、識別結果を識別結果保持部４３に記憶させる。そして、全ての画素について識別結果が記憶されると、識別結果保持部４３は、全画素について識別結果を出力する。本発明は、撮像装置に適用することができる。
【選択図】図２

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、画像上の局所領域毎に被写体を認識できるようにした画像処理装置および方法、並びにプログラムに関する。

近年、被写体認識機能を搭載したデジタルカメラ、ビデオカメラ、セキュリティカメラなどが発売されている。被写体認識の利用用途は様々で、被写体に最適な露出、ホワイトバランス、AF（Auto Focus）の制御、顔の検出、被写体の追尾などに使用されている。

顔認識としては、空間的な輝度の勾配などを利用して顔の認識をする方法がある。この方法は、人間の顔の空間的な特徴を利用することで顔の認識を行っている。

肌色認識としては、RGB（Red Green Blue）色空間で表現されていた色情報をHSV（Hue，Saturation，Brightness）色空間の色情報に変換して表現することにより、肌色を認識する方法がある。HSV表色系は色相Hと明度Vが独立しているため、写真の明るさに影響されることなく色合いを調べることができる。このため、HSV色空間の色相Hのある範囲を指定することで、明るさなどに影響されることなく肌色の指定が可能になる。

また、RGBの３原色に輝度Yeを加えた４色の分光感度を有する撮像素子で得られた情報から、被写体の拡張色度点を算出し、既知の被写体の拡張色度点との距離を比較することで被写体識別を行う方法が提案されている（特許文献１参照）。RGBの３原色の色信号に基づいて算出される色度点は２次元の値であるのに対し、RGBおよびYeの４色による拡張色度点は３次元の値となり、被写体識別精度が向上するとされている。

特開２００３−０３０６４６号公報

しかしながら、上述したように、輝度やRGBの3原色により被写体を認識するようにした場合、輝度またはRGBの値が似たような被写体に対しては、その後、RGB色空間をHSV空間に変換するように特徴量を表現する空間を変換したり、特徴量の種類を変更して抽出するようにしても、可視光線の領域で得られる情報には限りがあり被写体の識別が困難な状況を解消できないことがあった。

また、従来の空間的な特徴量を利用した認識方法では、顔のように被写体が空間的な特徴を持っている被写体である場合に限っては、認識が可能であるが、空間的な特徴を持たない、例えば、空や樹木の葉など形が多様であり、特定の空間的な特徴を持たない被写体の場合、必ずしも認識には利用することができないことがあった。

さらに、RGBの３原色以外に他の可視光の色を追加することで、特徴量を表現する空間を拡張し、認識精度を向上させる場合、可視光の範囲で似たような分光特性の被写体同士のとき、可視光の範囲で色をいくら追加しても識別は困難であることがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、可視光に加えて非可視光を利用して画素毎に被写体を認識することにより、従来の可視光を利用した場合に比べて、より高い精度で被写体の識別を可能にし、また、画素毎に被写体を識別することで、空間的な特徴を持たない被写体の識別を可能にするものである。

本発明の一側面の画像処理装置は、可視光および非可視光の範囲において複数の色を含む画像より、基準色と各色との比率を要素とする特徴量を局所領域毎に抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された特徴量を利用して局所領域毎に被写体を識別する識別手段とを含む。

前記局所領域は、画素単位の領域とすることができる。

前記非可視光には、紫外光および赤外光を含ませるようにすることができる。

前記基準色には、可視光の範囲の色を含ませるようにすることができる。

前記可視光および非可視光の範囲において複数の色からなる画像を撮像する撮像手段をさらに含ませるようにすることができる。

前記特徴量抽出手段には、前記局所領域毎に基準色と各色との比率を要素とする特徴ベクトルを特徴量として抽出させるようにすることができる。

前記特徴量抽出手段には、前記局所領域毎に基準色と各色との比率を要素とする特徴量を抽出させるのに加えて、局所領域毎に空間的な特徴量を抽出させ、前記識別手段には、前記特徴量抽出手段で抽出された基準色と各色との比率を要素とする特徴量を利用して局所領域毎に被写体を識別させるのに加えて、前記特徴量抽出手段で抽出された空間的な特徴量を利用して被写体を識別させるようにすることができる。

本発明の一側面の画像処理方法は、可視光および非可視光の範囲において複数の色を含む画像より、基準色と各色との比率を要素とする特徴量を局所領域毎に抽出する特徴量抽出ステップと、前記特徴量抽出ステップの処理で抽出された特徴量を利用して前記局所領域毎に被写体を識別する識別ステップとを含む。

本発明の一側面のプログラムは、可視光および非可視光の範囲において複数の色を含む画像より、基準色と各色との比率を要素とする特徴量を局所領域毎に抽出する特徴量抽出ステップと、前記特徴量抽出ステップの処理で抽出された特徴量を利用して前記局所領域毎に被写体を識別する識別ステップとを含む処理をコンピュータに実行させる。

本発明のプログラム格納媒体に格納されたプログラムは、請求項９に記載のプログラムが格納されている。

本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、可視光および非可視光の範囲において複数の色を含む画像より、基準色と各色との比率を要素とする特徴量が局所領域毎に抽出され、抽出された特徴量が利用されて局所領域毎に被写体が識別される。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の一側面によれば、特に、画素毎に高い精度で被写体の識別を可能にすることで、空間的な特徴を持たない被写体を識別することが可能となる。

図１は、本発明を適用した一実施の形態の構成を示す撮像装置である。

図１の撮像装置１は、撮像部１１により画像を撮像し、撮像した画像について、画像処理部１２が画素単位で被写体を認識し、認識した被写体に応じて、ホワイトバランス、色再現、ガンマ補正、および色差輪郭補正を行った上で撮像した画像を表示部１４に表示する。また、撮像部１１は、CCD（Charge Coupled Devices）またはCMOS（Complementary Metal Oxide Semiconductor）などで可視光および非可視光を含む光を撮像可能な撮像素子、および、光学ブロックなどから構成されている。撮像部１１は、制御部１３により光学ブロックや撮像素子が撮像している被写体に最適となるように、露出、または、フォーカスなどが調整される。撮像部１１は、制御部１３により調整された状態で、画像を撮像し、撮像した画像を画像処理部１２に供給する。

画像処理部１２は、撮像部１１より供給されてきた画像に処理を加えて表示部１４に表示する。画像処理部１２のデモザイク処理部２１は、撮像部１１より供給されてきた画像のデータのうち、画素毎に撮像された全色を揃えることにより、デモザイク処理し、処理結果を被写体識別処理部２６に供給する。また、デモザイク処理部２１は、デモザイク処理した処理結果のうち、RGBの３原色のデータをホワイトバランス処理部２２に供給する。

ホワイトバランス処理部２２は、被写体識別処理部２６より供給される画素単位の被写体の識別結果に基づいて、デモザイク処理部２１より供給されてくるRGBのデータが、色温度が異なる光源状態でも、白色を正確に白く映し出すようにホワイトバランスを調整し、調整したRGBのデータをリニアマトリクス処理部２３に供給する。

リニアマトリクス処理部２３は、被写体識別処理部２６より供給される画素単位の被写体の識別結果に基づいて、入力されたRGBのデータを、例えば、３×３のマトリクス状の変換行列で変換し、変換結果となるリニアマトリクス処理されたRGBのデータをガンマ処理部２４に供給する。

ガンマ処理部２４は、被写体識別処理部２６より供給される画素単位の被写体の識別結果に基づいて、リニアマトリクス処理されたRGBのデータが所望のガンマ特性となるように入出力特性を変換し、変換結果となるRGBのデータを色差輪郭補正処理部２５に供給する。

色差輪郭補正処理部２５は、被写体識別処理部２６より供給される画素単位の被写体の識別結果に基づいて、ガンマ処理されたRGBのデータに対し、輝度、および色差変換を行い、色差については強調などの補正、輝度については高周波の強調などによる輪郭補正を行い、補正結果をLCD（Liquid Crystal Display）などからなる表示部１４に出力して表示させる。

撮像部１１から色差輪郭補正処理部２５までのデータ処理の流れは、一般的なカメラ内で行われている処理であるが、撮像部１１とデモザイク処理部２１で非可視光を扱っているところが通常と異なる。また、被写体識別処理部２６は、デモザイク処理部２１により画素毎に可視光および非可視光の複数の色が揃ったデータを利用して、被写体を識別し、識別結果をホワイトバランス処理部２２、リニアマトリクス処理部２３、ガンマ処理部２４、色差輪郭補正処理部２５、および制御部１３に供給する。制御部１３は、撮像部１１を構成している撮像素子、および光学ブロックを制御する。より具体的には、制御部１３は、露出やフォーカスを制御する。また、制御部１３は、被写体識別処理部２６より供給される画素単位の被写体の識別結果に基づいて、被写体に最適な露出およびフォーカスを制御する。

すなわち、制御部１３は、例えば、被写体として人を検出したら人に合焦させたり、被写体が白飛びしないように露出を制御する。また、被写体識別処理部２６より出力される被写体の識別結果は、ホワイトバランス処理部２２およびリニアマトリックス処理部２３において、認識した被写体に最適な色再現、例えば、人肌を検出したら好ましい肌色になるような処理や、ガンマ処理部２４において、検出された被写体が黒潰れや白とびしないような最適なガンマ補正、および、色差輪郭補正処理部２５において、検出された被写体に最適な色差補正や輪郭補正処理を行うのに利用される。

以上から、図１のような構成において、通常のRGB画像も得ることができ、かつ、可視光および非可視光を利用した被写体識別を行うことで被写体に最適な信号処理を行うことが可能となる。

次に、図２を参照して、被写体識別処理部２６の構成例について説明する。

特徴量抽出部４１は、図１のデモザイク処理部２１の出力の画素毎のデータを順次取得し、特徴量を抽出し、抽出した結果を識別部４２に供給する。識別部４２は、特徴ベクトル保持部４４に予め被写体毎に分類されて記憶されている特徴量である特徴ベクトルを読み出し、特徴量抽出部４１で抽出された特徴量とを、例えば、特徴ベクトル空間における距離の近さなどを類似度として利用して比較し、最も類似度の高いものを、その画素の被写体として識別する。そして、特徴量抽出部４１は、その識別結果を、画素単位で識別結果保持部４３に保持させる。識別結果保持部４３は、全画素の被写体識別結果を保持し、全画素について被写体の識別処理が終了すると、識別結果保持部４３に保持されている画素単位での被写体の識別結果を、ホワイトバランス処理部２２、リニアマトリクス処理部２３、ガンマ処理部２４、色差輪郭補正処理部２５、および制御部１３にそれぞれ供給する。

次に、図３のフローチャートを参照して、撮像処理について説明する。

ステップＳ１において、撮像部１１は、図示せぬ撮像を指示する操作部などが使用者により操作されるなどして、制御部１３により制御されて、画像の撮像が指示されたか否かを判定し、指示されたと判定されるまで、同様の処理を繰り返す。ステップＳ１において、例えば、画像の撮像が指示されたと判定された場合、ステップＳ２において、制御部１３は、後述する被写体識別処理部２６の識別結果に基づいて、撮像部１１の光学ブロックおよび撮像素子を制御して、適正な露出およびフォーカスを実現し、適正な撮像状態に設定する。そして、撮像部１１は、制御部１３により適正な撮像状態に制御された状態で、可視光および非可視光を含む帯域の光により画像を撮像し、撮像した画像における画素単位のデータを画像処理部１２に供給する。この画素単位のデータは、RGBの３原色の情報に加えて、紫外光UV、および赤外光IRを含めた画素値の情報からなるものである。尚、最初の処理においては、制御部１３には、被写体識別処理部２６より画素単位の被写体の識別結果が供給されてきていないので、制御部１３は、所定の設定値に基づいて、撮像部１１の露出やフォーカスを調整する。また、以下、RGBの３原色の情報、および、紫外光UV、および赤外光IRについては、単にR，G，B，UV，IRと称するものとする。

ステップＳ３において、デモザイク処理部２１は、撮像部１１より供給されてきた画像のデータのうち、画素毎に撮像された全色を揃えることにより、デモザイク処理し、処理結果を被写体識別処理部２６に供給する。また、デモザイク処理部２１は、デモザイク処理した処理結果のうち、RGBの３原色のデータをホワイトバランス処理部２２に供給する。

ステップＳ４において、被写体識別処理部２６は、被写体識別処理を実行し、画素単位で被写体を識別し、識別結果をホワイトバランス処理部２２、リニアマトリクス処理部２３、ガンマ処理部２４、色差輪郭補正処理部２５、および制御部１３に供給する。尚、被写体識別処理については、詳細を後述する。

ステップＳ５において、ホワイトバランス処理部２２、リニアマトリクス処理部２３、ガンマ処理部２４、色差輪郭補正処理部２５、および制御部１３は、それぞれ被写体識別処理部２６より供給される画素単位の被写体の識別結果に基づいて、最適な状態に設定する。

ステップＳ６において、ホワイトバランス処理部２２は、デモザイク処理部２１より供給されてくるRGBのデータが、色温度が異なる光源状態でも、白色を正確に白く映し出すようにホワイトバランスを調整し、調整済みのRGBのデータをリニアマトリクス処理部２３に供給する。

ステップＳ７において、リニアマトリクス処理部２３は、入力されたRGBのデータを、マトリクス状の変換行列で変換し、処理結果となるRGBのデータをガンマ処理部２４に供給する。

ステップＳ８において、ガンマ処理部２４は、リニアマトリックス処理されたRGBのデータが所望のガンマ特性となるように入出力特性を変換し、変換結果となるRGBのデータを色差輪郭補正処理部２５に供給する。

ステップＳ９において、色差輪郭補正処理部２５は、ガンマ処理されたRGBのデータに対し、色差については強調などの補正、輝度については高周波の強調などによる輪郭補正を行い、補正結果を表示部１４に出力して表示させる。

以上の処理により、撮像された画素単位の被写体の識別結果に基づいて、最適な状態で撮像された画像が表示される。尚、この例においては、撮像された画像が、表示部１４に表示される例について説明してきたが、当然のことながら、表示されるだけでなく、図示せぬ記録媒体に記録させるようにしてもよいし、図示せぬネットワークを介して、配信するなどしてもよい。

次に、図４のフローチャートを参照して、図２の被写体識別処理部２６による被写体識別処理について説明する。

ステップＳ２１において、特徴量抽出部４１は、供給されてきた画像のうち、未処理の画素のいずれか１画素を処理対象画素に設定する。

ステップＳ２２において、特徴量抽出部４１は、処理対象画素における３原色R，G，Bおよび紫外光UV，赤外光IRの情報を取得する。

ステップＳ２３において、特徴量抽出部４１は、処理対象画素の特徴量として、例えば、以下の式（１）で示される特徴ベクトルFVを抽出し、識別部４２に供給する。

・・・（１）

式（１）において、特徴ベクトルFVは、要素ν１乃至ν４から構成されるベクトルであり、要素ν１乃至ν４は、IR，R，B，UVをそれぞれGにより正規化したものにより構成される。この特徴ベクトルは、式（１）で示されるように構成されることにより、そもそもR，G，B，IR，UVの５次元からなる情報を１次元削減して４次元とすることができるので、扱う情報量を低減させることが可能になる。また、色の情報は、通常露出が変われば画素値も比例して変化するが色の比率は変化しないので、式（１）のように特徴ベクトルが構成されることにより、露出に影響されない特徴量を構成することが可能となる。

ステップＳ２４において、識別部４２は、特徴量抽出部４１より供給されてきた特徴量である特徴ベクトルと、特徴ベクトル保持部４４に記憶されている様々な被写体毎に対応付けて記憶されている全ての特徴ベクトルとの類似度として、例えば、ベクトル空間の距離を計算する。

すなわち、例えば、被写体が樹葉であるような場合、樹葉は、クロロフィル（葉緑素）を含み、光合成を行うため、図５で示されるように、波長が450 nm乃至680nmの可視光を吸収することがわかっている。尚、図５においては、横軸は波長の長さを、縦軸は光の吸収量をそれぞれ表している。また、図５においては、実線と点線との２線が示されているが、２種類のクロロフィルにおける吸収量を表している。

しかしながら、さらに、樹葉は、熱に弱いクロロフィルを保護するため、図６で示されるように、熱を伝える赤外光IRを構成する750nm乃至1300nm付近の波長については、高い反射率で反射していることが知られている。尚、図６においては、横軸は、波長の長さを、縦軸は、反射率をそれぞれ表している。この680nm乃至750nmにおける急激な反射率が変化する範囲はレッドエッジと呼ばれており、可視光と非可視光とにより得られる特徴的な情報である。ここで、図６において、波長ａ乃至ｂの範囲が、Bの帯域であり、波長ｂ乃至ｃが、Gの帯域であり、波長ｃ乃至ｄの範囲が、Rの帯域であり、波長ｄ乃至ｅの範囲において、レッドエッジが発生する帯域である。

このように葉には、可視光においては、Gの帯域の光を反射し、非可視光において、レッドエッジの発生する帯域の光を強く反射するため、この特性に対応した特徴ベクトルが構成される。したがって、処理対象画素の被写体が樹葉である場合、処理対象画素の特徴ベクトルは、上述したような特徴を備えた特徴ベクトルとの距離が近いことになる。このため、樹葉は、人間の目には緑色に見えるが、これは、可視光において、R，Bに比べ相対的にGの帯域の光を反射するためである。

同様にして、例えば、大気中においては、大気分子によりレイリー散乱が発生し、波長の短い光ほど散乱する。このため、赤外光は、被写体が青空であるようなとき、散乱されないため暗く写るが、雲などには氷の粒が存在し、赤外光を散乱させるため、明るく写る。したがって、被写体が青空であれば、特徴ベクトルは、赤外光IRが小さく、雲などであれば赤外光IRが大きくなる。

さらに、例えば、被写体が人間の皮膚であるような場合、皮膚を構成するメラノサイト（色素細胞）により、紫外光UVを吸収して、いわゆる日焼けをすることが知られている。このため、人間の皮膚は、紫外光UVを吸収し易い。したがって、被写体が人間の皮膚である場合、特徴ベクトルにおいて、紫外光UVの比率は小さい。

特徴ベクトル保持部４４には、被写体に対応して複数の特徴ベクトルが登録されており、識別部４２は、抽出された特徴ベクトルと、これらの記憶されている特徴ベクトル群との距離を求め、例えば、被写体が青空として登録されている複数の特徴ベクトル群との距離の平均を、抽出された特徴ベクトルと青空の特徴ベクトルとの類似度として求め、被写体が樹葉として登録されている複数の特徴ベクトル群との距離の平均を、抽出された特徴ベクトルと葉の特徴ベクトルとの類似度として求め、被写体が人間の皮膚として登録されている複数の特徴ベクトル群との距離の平均を、抽出された特徴ベクトルと皮膚との特徴ベクトルとの類似度として求める。尚、以上においては、同一の被写体として登録されている特徴ベクトル群との距離の平均を類似度とする例について説明してきたが、処理対象画素と被写体となる画素との類似度が定義できるものであればよく、その他の類似度であってもよい。

ステップＳ２５において、識別部４２は、求められた所定の被写体として登録されている特徴ベクトルと、抽出された特徴ベクトルとの類似度が最も高く、最も類似していると考えられる被写体を、処理対象画素の被写体として識別する。すなわち、識別部４２は、例えば、抽出された特徴ベクトルと青空の特徴ベクトルとの類似度、抽出された特徴ベクトルと樹葉の特徴ベクトルとの類似度、および抽出された特徴ベクトルと皮膚との特徴ベクトルとの類似度とを比較し、類似度の最も高い被写体を、処理対象画素の被写体として識別する。

ステップＳ２６において、識別部４２は、処理対象画素と対応付けて、識別結果となる被写体の情報を識別結果保持部４３に保持させる。

ステップＳ２７において、特徴量抽出部４１は、未処理の画素が存在するか否かを判定し、未処理の画素があると判定された場合、処理は、ステップＳ２１に戻る。すなわち、ステップＳ２７において、未処理の画素がないと判定されるまで、ステップＳ２１乃至Ｓ２７の処理が繰り返される。そして、ステップＳ２７において、未処理の画素が存在しない、すなわち、供給されてきた画像の全ての画素について被写体が識別された場合、ステップＳ２８において、識別結果保持部４３は、保持されている全ての画素の被写体の情報を、識別結果としてホワイトバランス処理部２２、リニアマトリクス処理部２３、ガンマ処理部２４、色差輪郭補正処理部２５、および制御部１３に供給する。

以上の処理により、被写体識別において可視光に加えて非可視光利用を利用することで、その識別精度を向上させることが可能となる。

すなわち、例えば、可視光としてR，G，Bを考えた場合、撮像した結果のR，G，Bの画素値が似たような値になる被写体同士については、その後どのような特徴空間に落とし込んでも、識別は困難である。しかしながら、上述の識別方法においては、非可視光を利用することで、可視光では分光反射特性が同様の被写体であっても、非可視光領域で反射特性が異なるものについては、識別することが可能となる。すなわち、例えば、可視光による認識において、肌色系の壁の前で手をかざしても、手の肌色と背景の壁の色の識別が困難であるが、非可視光における人肌の分光特性(紫外光UVを吸収し赤外光IRを発する)と壁の分光特性の違いを利用することで、背景の壁と人肌の識別が、可視光において同一の配色であっても可能になる。なお、以上においては、非可視光は、紫外光および赤外光であるものとする。

また、以上の処理により、画素単位で被写体を識別することが可能となる。すなわち、形が様々な被写体、例えば、空、人肌、樹葉などにおいても識別が可能となる。このように画素単位で被写体を識別することができるので、その被写体の画像中の位置や、画像中の占有率も算出することができ、シーン解析などに応用することも可能となる。

さらに、画素毎の被写体識別にさらに空間的な認識を組み合わせることで、さらに被写体の認識精度を向上させるようにしてもよい。すなわち、例えば、空間的な特徴を利用することにより、例えば、目鼻口などの空間的な配置から顔画像が認識された上で、処理対象画素の特徴ベクトルと、人肌の特徴ベクトルとだけを比較するようにすることで、認識精度を向上させると共に、処理速度を向上させることが可能となる。

また、以上においては、撮像を可視光のR，G，Bの３色、並びに、非可視光の紫外光UV、および赤外光IRの２色としたが、可視光および非可視光の色数はこれと異なってもよく、さらに、多くの色を選ぶことにより認識精度を向上させることも可能となる。

尚、以上においては、予め設定された被写体毎に特徴ベクトルを保持させることにより、識別部４２が、抽出された特徴ベクトルとを比較して、類似度の高い被写体を処理対象画素の被写体を識別する例について説明してきたが、識別部４２を、サンプル画像に基づいた機械学習により生成される、非線形な識別器とするようにしてもよい。その際、特徴ベクトル保持部４４に代えて、識別器に必要とされるパラメータを保持させる保持部が設けられる。結果として、識別器により被写体が識別されるので、処理速度を向上させることが可能となる。また、パラメータのみを保持すればよく、被写体ごとに複数の特徴ベクトルを保持する必要がなくなるので、保持部の記憶容量を小さくすることが可能となる。識別器としては、例えば、MLP（多層パーセプトロン）、SVM（サポートベクターマシン）、または、アダブーストなどが考えられる。

ところで、上述したIR，R，G，B，UVは、以下の式（２）で表現される。

・・・（２）

式（２）において、L_λは、光源の分光特性を表しており、O_λは、物体の分光反射特性を表しており、C_λは、撮像部１１の分光特性を表している。

すなわち、光源の分光特性、物体の分光反射特性、カメラの分光特性を掛け合わせた特性の積分値が各色として観測される。

識別したい被写体の分光反射特性とカメラの分光特性については、撮影により変動することなく固定であるが、光源の分光特性はどの光源下で撮影したかにより変動する。このため、観測値が識別対象の被写体かどうかを識別するには、識別したい被写体の分光反射特性とカメラの分光特性とを予め調べる必要があり、これらと多種の光源の分光特性を色々組み合わせた理論値を算出し、観測値と比較することで識別が可能となる。

また、別手段で光源の種類や分光特性を推定することで、理論値を算出し、観測値と比較することで識別することも可能である。

さらに、色々な光源下で識別対象被写体を撮影し、得られた観測値を利用して識別用の特徴ベクトル群を生成してもよいし、得られた観測値を学習データとして機械学習により識別器を生成することで、識別の際に、光源の分光特性、物体の分光反射特性、カメラの分光特性を使用することなしに被写体識別をすることも可能である。

なお、被写体別に識別器を生成してもよいが、被写体のさらに光源別に識別器を生成してもよい。また、機械学習で生成した識別器による識別においては、光源の分光特性、物体の分光反射特性、カメラの分光特性から理論値を算出して識別するより、高速に識別が行えるというメリットがある。

ところで、以上においては、識別部４２が、特徴量抽出部４１より供給されてくる特徴ベクトルの全てについて、特徴ベクトル保持部４４に保持されている、被写体毎に予め登録されている特徴ベクトルとの類似度を求め、最も類似度の高い特徴ベクトルに対応する被写体を処理対象画素の被写体として設定する例について説明してきたが、１個の識別部が全ての特徴ベクトル群との類似度を求めると、予め保持されている特徴ベクトルの数が膨大なものとなると処理に時間が掛かる恐れがある。そこで、被写体毎に類似度を演算する識別部を設けるようにして、最も大きな類似度を持つ被写体を選択するようにしても良い。

図７は、被写体毎に類似度を演算する識別部を設けるようにして、最も大きな類似度を持つ被写体を選択するようにした被写体識別処理部２６の構成例を示している。尚、図７の被写体識別処理部２６において、図２の被写体識別処理部２６と同一の構成については、同一の符号を付すものとし、適宜、その説明は省略するものとする。

すなわち、図７において、図２の被写体識別処理部２６と異なる点は、特徴量抽出部４１、および識別部４２に代えて被写体毎に特徴量抽出部６１、識別部６２−１乃至６２−N、および選択部６３が設けられている点である。

特徴量抽出部６１は、特徴量抽出部４１と基本的に同一の機能を備えており、抽出した特徴量を識別部６２−１乃至６２−Nに供給する。識別部６２−１乃至６２−Nは、それぞれN種類の被写体に対応して設けられており、例えば、識別部６２−１が、抽出された特徴量と被写体１として青空を示す特徴ベクトルとの類似度を求め、識別部６２−２が、抽出された特徴量と被写体２として樹葉を示す特徴ベクトルとの類似度を求め、識別部６２−３が、抽出された特徴量と被写体３として人肌を示す特徴ベクトルとの類似度を求めるなどし、それぞれの類似度を選択部６３に供給する。選択部６３は、被写体１乃至Ｎのそれぞれに求められた、供給された特徴量と、抽出された特徴ベクトルとの類似度のうち、最も高いものを処理対象画素の被写体であるものとみなし、対応する情報を識別結果保持部４３に記憶させる。

次に、図８のフローチャートを参照して、図７の被写体識別処理部２６による被写体識別処理について説明する。尚、図８のフローチャートにおけるステップＳ４１乃至Ｓ４３、およびＳ５０乃至Ｓ５２の処理については、図４のフローチャートを参照して説明したステップＳ２１乃至Ｓ２３、およびＳ２６乃至Ｓ２８の処理と同様であるので、その説明は省略する。

ステップＳ４３において、特徴量抽出部６１は、処理対象画素の特徴量として、例えば、以下の式（１）で示される特徴ベクトルFVを抽出し、識別部６２−１乃至６２−Ｎに供給する。

ステップＳ４４において、図示せぬカウンタｐが１に初期化される。

ステップＳ４５において、識別部６２−ｐは、特徴量抽出部６１より供給されてきた特徴量である特徴ベクトルと、特徴ベクトル保持部４４に記憶されている被写体ｐに対応付けて記憶されている特徴ベクトルとの類似度として、例えば、ベクトル空間の距離を計算する。

ステップＳ４６において、識別部６２−ｐは、求められた被写体ｐとして登録されている特徴ベクトル群と、抽出された特徴ベクトルとの類似度を選択部６３に供給する。

ステップＳ４７において、カウンタｐがＮ＋１であるか否かが判定され、Ｎ＋１ではない、すなわち、全ての識別部６２−１乃至６２−ｐが、被写体１乃至Ｎについて類似度を計算したか否かが判定され、Ｎ＋１ではない、すなわち、全ての被写体について類似度が計算されていないと判定された場合、ステップＳ４８において、カウンタｐが１インクリメントされて、処理は、ステップＳ４５に戻る。すなわち、ステップＳ４７において、カウンタｐがＮ＋１であると判定されて、全ての識別部６２−１乃至６２−Ｎが、被写体１乃至Ｎについて類似度を計算したと判定した場合、処理は、ステップＳ４９に進む。

ステップＳ４９において、選択部６３は、識別部６２−１乃至６２−Ｎより供給されてきた、処理対象画素の特徴ベクトルと、被写体１乃至Ｎの特徴ベクトル群とのそれぞれの類似度のうち、最も類似度が高い被写体を選択し、処理対象画素の被写体を識別する。

尚、以上の処理においては、ステップＳ４５乃至Ｓ４８の処理が繰り返されることにより、識別部６２−１から順次識別部６２−Ｎまでの識別部により、それぞれに対応する被写体１乃至Ｎとの類似度が求められる例について説明してきたが、フローチャートの記載の都合で順次処理される形式となっているが、実際は、識別部６２−１乃至６２−Ｎが、それぞれの被写体１乃至Ｎとの類似度を並列処理により求めることになる。結果として、処理対象画素の被写体の識別にかかる処理時間を短縮させることが可能となる。

以上においては、識別部６２−１乃至６２−Ｎの全てに対して同一の特徴量が供給されてくる例について説明してきたが、例えば、被写体毎に類似度を求めるのに最適な特徴量のみを使用して被写体との類似度を求めるようにしても良い。

図９は、被写体毎に類似度を求めるのに最適な特徴量のみを使用して被写体との類似度を求めるようにした被写体識別処理部２６の構成例を示している。尚、図９の被写体識別処理部２６において、図２または図７の被写体識別処理部２６と同一の構成については、同一の符号を付すものとし、適宜、その説明は省略するものとする。

すなわち、図９において、図２または図７の被写体識別処理部２６と異なる点は、特徴量抽出部４１、および識別部４２に代えて被写体毎に特徴量抽出部８１−１乃至８１−Ｎ、および識別部８２−１乃至８２−Nが設けられている点である。

特徴量抽出部８１−１乃至８１−Ｎは、処理対象画素の情報より、類似度を求めるのに最適な特徴量を、それぞれ識別部８２−１乃至８２−Nに供給する。すなわち、例えば、被写体１が人肌である場合、IR，R，G，B，UVの情報をHSV色空間の情報に変換して、HSVの情報からなる特徴ベクトルを生成して、識別部８２−１に供給する。識別部８２−１は、このHSVの情報からなる特徴ベクトルと、予め特徴ベクトル保持部４４に保持されている情報から得られるHSVの特徴ベクトルとに基づいて、類似度を計算する。

また、例えば、被写体２が樹葉である場合、IR，R，G，B，UVの情報のうち、その一部のみから特徴ベクトルを生成して、識別部８２−２に供給する。識別部８２−２は、このIR，R，G，B，UVの情報のうちの一部のみからなる特徴ベクトルと、予め特徴ベクトル保持部４４に保持されている、同一の種類の情報からなる特徴ベクトルとに基づいて、類似度を計算する。

このように、識別部６２−１乃至６２−Nは、それぞれN種類の被写体に対応して設けられており、それぞれの被写体との類似度を選択部６３に供給する。

次に、図１０のフローチャートを参照して、図９の被写体識別処理部２６による被写体識別処理について説明する。尚、図１０のフローチャートにおけるステップＳ６１乃至Ｓ６３、およびＳ６７乃至Ｓ７２の処理については、図８のフローチャートを参照して説明したステップＳ４１，Ｓ４２，Ｓ４４、およびＳ４７乃至Ｓ５２の処理と同様であるので、その説明は省略する。

ステップＳ６３において、図示せぬカウンタｐが１に初期化される。

ステップＳ６４において、特徴量抽出部８１−ｐは、処理対象画素の特徴量として、被写体ｐの識別に最適な情報からなる特徴ベクトルを、識別部８２−ｐに供給する。

ステップＳ６５において、識別部８２−ｐは、特徴量抽出部８１−ｐより供給されてきた、被写体ｐの識別に最適な特徴量である特徴ベクトルと、特徴ベクトル保持部４４に記憶されている被写体ｐに対応付けて記憶されており、その識別に最適な情報からなる特徴ベクトルとの類似度として、例えば、ベクトル空間の距離を計算する。

尚、以上の処理においては、ステップＳ６４乃至Ｓ６８の処理が繰り返されることにより、識別部８２−１から順次識別部８２−Ｎまでの識別部により、それぞれに対応する被写体１乃至Ｎとの類似度が求められる例について説明してきたが、フローチャートの記載の都合で順次処理される形式となっているが、実際は、特徴量抽出部８１−１乃至８１−Ｎおよび識別部８２−１乃至８２−Ｎが、それぞれの被写体１乃至Ｎとの類似度を並列処理により求めることになる。結果として、処理対象画素の被写体の識別にかかる処理時間を短縮させることが可能となる。また、被写体の特性に合わせた特徴量からなる特徴ベクトルにより類似度が求められるので、識別の精度を向上させることが可能となる。さらに、不要な情報を省いて、識別に効率のよいパラメータだけを特徴量として使用することができるので、流通するデータ量を低減させると共に、識別の精度を向上させることが可能となる。

以上によれば、可視光のみならず非可視光で被写体となる特徴ベクトルを設定することで、画素毎に高い精度で被写体を識別することが可能なる。結果として、画像中の画素単位で、空間的な特徴を持たない被写体を識別することが可能となる。

ところで、上述した一連の情報処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１１は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明を適用した撮像装置の構成例を示すブロック図である。 被写体識別処理部の構成例を説明する図である。 撮像処理を説明するフローチャートである。 図２の被写体識別処理部による被写体識別処理を説明するフローチャートである。 被写体識別処理を説明する図である。 被写体識別処理を説明する図である。 その他の被写体識別処理部の構成例を説明する図である。 図７の被写体識別処理部による被写体識別処理を説明するフローチャートである。ある。 その他の被写体識別処理部の構成例を説明する図である。 図９の被写体識別処理部による被写体識別処理を説明するフローチャートである。ある。 パーソナルコンピュータの構成例を説明する図である。

符号の説明

１ 撮像装置， １１ 撮像部， １２ 画像処理部， １３ 制御部， １４ 表示部， ２１ デモザイク処理部， ２２ ホワイトバランス処理部， ２３ リニアマトリクス処理部， ２４ ガンマ処理部， ２５ 色差輪郭補正処理部， ４１ 特徴量抽出部， ４２ 識別部， ４３ 識別結果保持部， ４４ 特徴ベクトル保持部， ６１ 特徴量抽出部， ６２−１乃至６２−Ｎ 識別部， ６３ 選択部， ８１−１乃至８１−Ｎ 特徴量抽出部， ８２−１乃至８２−Ｎ 識別部

Claims (10)

1. 可視光および非可視光の範囲において複数の色を含む画像より、基準色と各色との比率を要素とする特徴量を局所領域毎に抽出する特徴量抽出手段と、
   前記特徴量抽出手段で抽出された特徴量を利用して前記局所領域毎に被写体を識別する識別手段と
   を含む画像処理装置。
2. 前記局所領域は、画素単位の領域である
   請求項１に記載の画像処理装置。
3. 前記非可視光は、紫外光および赤外光を含む
   請求項１に記載の画像処理装置。
4. 前記基準色は、可視光の範囲の色を含む
   請求項１に記載の画像処理装置。
5. 可視光および非可視光の範囲において複数の色からなる画像を撮像する撮像手段をさらに含む
   請求項１に記載の画像処理装置。
6. 前記特徴量抽出手段は、前記局所領域毎に基準色と各色との比率を要素とする特徴ベクトルを特徴量として抽出する
   請求項１に記載の撮像装置。
7. 前記特徴量抽出手段は、前記局所領域毎に基準色と各色との比率を要素とする特徴量を抽出するのに加えて、局所領域毎に空間的な特徴量を抽出し、
   前記識別手段は、前記特徴量抽出手段で抽出された基準色と各色との比率を要素とする特徴量を利用して局所領域毎に被写体を識別するのに加えて、前記特徴量抽出手段で抽出された空間的な特徴量を利用して被写体を識別する
   請求項１に記載の撮像装置。
8. 前記可視光および非可視光の範囲において複数の色を含む画像より、基準色と各色との比率を要素とする特徴量を局所領域毎に抽出する特徴量抽出ステップと、
   前記特徴量抽出ステップの処理で抽出された特徴量を利用して前記局所領域毎に被写体を識別する識別ステップと
   を含む画像処理方法。
9. 可視光および非可視光の範囲において複数の色を含む画像より、基準色と各色との比率を要素とする特徴量を局所領域毎に抽出する特徴量抽出ステップと、
   前記特徴量抽出ステップの処理で抽出された特徴量を利用して前記局所領域毎に被写体を識別する識別ステップと
   を含む処理をコンピュータに実行させるプログラム。
10. 請求項９に記載のプログラムが格納されているプログラム格納媒体。

Images