JP2005039408A - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2005039408A JP2005039408A JP2003198337A JP2003198337A JP2005039408A JP 2005039408 A JP2005039408 A JP 2005039408A JP 2003198337 A JP2003198337 A JP 2003198337A JP 2003198337 A JP2003198337 A JP 2003198337A JP 2005039408 A JP2005039408 A JP 2005039408A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- color
- specific object
- result information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】画像中の人間の肌などの色再現性の向上などを可能にする新規な画像処理装置。
【解決手段】物体識別部２００は、マルチバンド画像データ１００より分光反射率データを取得し、得られた分光反射率データに基づいて画像中の人間の肌などの特定物体の領域を識別して識別結果情報２０１を生成する。データ処理部３００は、マルチバンド画像データ１００を画像出力装置４００への出力色信号データ３０１に変換するが、その変換パラメータを識別結果情報２０１に従って領域毎に制御することにより、例えば、人間の肌の領域について記憶色を考慮した色再現を可能し、あるいは、特定物体の領域の明るさに応じて画像全体の明度補正を行う。
【選択図】 図１
【解決手段】物体識別部２００は、マルチバンド画像データ１００より分光反射率データを取得し、得られた分光反射率データに基づいて画像中の人間の肌などの特定物体の領域を識別して識別結果情報２０１を生成する。データ処理部３００は、マルチバンド画像データ１００を画像出力装置４００への出力色信号データ３０１に変換するが、その変換パラメータを識別結果情報２０１に従って領域毎に制御することにより、例えば、人間の肌の領域について記憶色を考慮した色再現を可能し、あるいは、特定物体の領域の明るさに応じて画像全体の明度補正を行う。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データ処理に係り、より具体的には、入力された画像データからプリンタ等の画像出力装置に出力するのに適した色信号データを生成する技術に関する。
【０００２】
【従来の技術】
デジタルカメラなどの多くの撮像機器では、被写体像は色分解フィルタ（ＲＧＢフィルタ又はＣＭＹフィルタ）を通し色分解されてから撮像され、その出力画像データは色信号（ＲＧＢ信号又はＣＭＹ信号）のデータである。なお、本明細書において、「被写体」は主要被写体のみならず背景なども含む、画像に写っているもの全てを意味する。
【０００３】
一方、透過波長域の異なる多種類のフィルタを通して被写体を撮影するマルチバンドカメラ等の撮影機器機により、多チャンネルの信号からなるマルチバンド画像データを得ることが可能になってきている。このようなマルチバンド画像データによれば、被写体の分光反射率を精度良く求めることができる（例えば特許文献１，２，３参照）。また、マルチバンド画像データから、３色又は４色以上の色剤を用いる画像出力装置に出力するための色信号データを生成することもできる（例えば特許文献３，４参照）。
【０００４】
なお、必ずしもマルチバンド画像データを対象とするものではないが、画像の色補正を目的として、入力画像を複数領域に分割し、各領域毎に複数の入力プロファイルの中から適切な入力プロファイルを選択し、選択された入力プロファイルを用いて領域画像をデバイスインデペンデントカラー画像に変換し、各領域のデバイスインデペンデントカラー画像を合成した後に所定の出力プロファイルを用いてデバイスデペンデントカラー画像に変換する如き色再現装置及び方法が特許文献５に記載されている。
【０００５】
【特許文献１】
特開２００１−２２９３０号公報
【特許文献２】
特開２００１−８３００９号公報
【特許文献３】
特開２０００−３３３１８６号公報
【特許文献４】
特開２００２−２５４７０８号公報
【特許文献５】
特開２０００−３４１４９９号公報
【０００６】
【発明が解決しようとする課題】
プリンタ等の画像出力装置で画像を出力する場合、例えば、人の肌の色、草木の緑、青空の色といった記憶色と言われる色の部分を、より好ましい色で再現するために、人の肌などの部分の明度又は彩度を上げるような処理が行われることがある。しかし、ＲＧＢ信号やＣＭＹ信号で表現された画像では、人の肌の部分を的確に識別することは非常に難しい。人の肌も肌色の机もＲＧＢ値やＣＭＹ値が同じ値をとることがあるからである。
【０００７】
よって、現状では、画像に付加されたタグ等によって例えばポートレート画像であるか否かを判断し、ポートレート画像ならば、肌色に相当するＲＧＢ値又はＣＭＹ値を持つ部分を一律に記憶色として補正するような方法が採用されることが多い。しかし、このような方法では、例えば画像内に人の肌と同様色の机があった場合に、机の色が不自然な色で再現されるような不都合がある。
【０００８】
したがって、本発明の目的は、以上に述べたような画像の補正処理などを適切に行うための新規な画像処理装置及び方法を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１の発明は、透過波長域の異なる複数のフィルタを通して被写体を撮影して得られたマルチバンド画像データが入力され、前記マルチバンド画像データより、画像中の特定物体の領域を識別して識別結果情報を生成する物体識別手段と、前記マルチバンド画像データに対し所定のデータ処理を施すデータ処理手段とを有し、前記データ処理手段は前記データ処理を前記識別結果情報に従って制御する手段を含むことを特徴とする画像処理装置である。
【００１０】
請求項２の発明は、請求項１の発明の画像処理装置において、前記物体識別手段が、前記マルチバンド画像データより分光反射率データを取得する手段を含み、該手段により得られた分光反射率データに基づいて特定物体の領域の識別を行うことを特徴とするものである。
【００１１】
請求項３の発明は、請求項２の発明の画像処理装置において、前記分光反射率データを取得する手段が、特定物体の識別に有効な一部の波長域に関する分光反射率データのみを取得することを特徴とするものである。
【００１２】
請求項４の発明は、請求項２の発明の画像処理装置において、前記物体識別手段が、分光分布に基づいて特定物体の領域を識別する手段をさらに含むことを特徴とするものである。
【００１３】
請求項５の発明は、請求項１，２，３又は４の発明の画像処理装置において、前記データ処理が前記マルチバンド画像データを色信号データに変換する処理であり、該変換のための変換パラメータが、前記データ処理を制御する手段により前記識別結果情報に従って領域毎に制御されることを特徴とするものである。
【００１４】
請求項６の発明は、請求項１，２，３又は４の発明の画像処理装置において、前記データ処理が前記マルチバンド画像データを色信号データに変換する処理であり、該処理には色信号データの明度補正が含まれ、画像全体に対する該明度補正のための補正パラメータが、前記データ処理を制御する手段により、前記識別結果情報により示される特定物体の領域における明るさに基づいて制御されることを特徴とするものである。
【００１５】
請求項７の発明は、被写体を色分解フィルタを通して撮影することにより得られた色信号データ、及び、前記被写体を特定の透過波長域を有する１種類以上のフィルタを介して撮影して得られた１チャンネル以上の分光信号データが入力され、前記色信号データ及び前記分光信号データより、画像中の特定物体の領域を識別して識別結果情報を生成する物体識別手段と、前記色信号データに対し所定のデータ処理を施すデータ処理手段とを有し、前記データ処理手段は前記データ処理を前記識別結果情報に従って制御する手段を含み、前記物体識別手段は、前記色信号データの色判定を行う手段と前記分光信号データのレベル判定を行う手段を含み、前記色判定の結果及び前記レベル判定の結果に基づいて特定物体の領域を識別することを特徴とする画像処理装置である。
【００１６】
請求項８の発明は、請求項７の発明の画像処理装置において、前記データ処理が前記色信号データの他の表色系又は同一の表色系の色信号データへ変換する処理であり、該変換のための変換パラメータが領域毎に、前記データ処理を制御する手段により前記識別結果情報に従って制御されることを特徴とするものである。
【００１７】
請求項９の発明は、請求項７の発明の画像処理装置において、前記データ処理が前記色信号データの明度補正を含み、画像全体に対する前記明度補正のための補正パラメータが、前記データ処理を制御する手段により、前記識別結果情報により示される特定物体の領域における明るさに基づいて制御されることを特徴とするものである。
【００１８】
請求項１０の発明は、透過波長域の異なる複数のフィルタを通して被写体を撮影して得られたマルチバンド画像データより分光反射率データを取得し、得られた分光反射率データに基づいて画像中の特定物体の領域を識別して識別結果情報を生成する物体識別ステップと、前記マルチバンド画像データの色信号データへの変換を行うデータ処理ステップとを有し、前記データ処理ステップにおいて、前記変換のための変換パラメータを領域毎に前記識別結果情報に従って制御することを特徴とする画像処理方法である。
【００１９】
請求項１１の発明は、透過波長域の異なる複数のフィルタを通して被写体を撮影して得られたマルチバンド画像データより分光反射率データを取得し、得られた分光反射率データに基づいて画像中の特定物体の領域を識別して識別結果情報を生成する物体識別ステップと、前記マルチバンド画像データの色信号データへの変換及び明度補正の処理を行うデータ処理ステップとを有し、前記データ処理ステップにおいて、画像全体に対する前記明度補正のための補正パラメータを、前記識別結果情報により示される特定物体の領域における明るさに基づいて制御することを特徴とする画像処理方法である。
【００２０】
【発明の実施の形態】
［実施の形態Ａ］
図１は、本発明の１つの実施の形態に係る画像処理装置の全体ブロック図である。
【００２１】
この実施の形態に係る画像処理装置に対する入力画像データ１００は、いわゆるマルチバンドカメラ等を用い、透過波長域が異なる複数種類のフィルタを通して被写体を撮影して得られたマルチバンド画像データである。これは、例えば、可視光波長域４１０ｎｍ〜７１０ｎｍの波長域を１６帯域に分割して撮影した、１６チャンネルの信号からなるマルチバンド画像データである。これは一例であって、波長域は可視光域のみに必ずしも限定する必要はなく、また、よりチャンネル数（バンド数）が多い（例えば３２チャンネルの）マルチバンド画像データ、あるいは、よりチャンネル数が少ない（例えば８チャンネルの）マルチバンド画像データを入力画像データ１００とすることも可能である。このような入力画像データ１００は、マルチバンドカメラ等の撮影手段から直接入力することもメモリ等を介して入力することも可能であるが、ここに示す例ではバッファ記憶のためのメモリ等を含む画像入力部１１０を介して入力画像データ１００が入力されるものとしている。また、必要に応じて、撮影条件を変えて同一対象を撮影した２フレームの画像データが入力画像データ１００として入力される場合もあるが、これについては後述する。
【００２２】
この実施形態に係る画像処理装置は、前記画像入力部１１０、物体識別部２００及びデータ処理部３００から構成され、入力画像データ１００は物体識別部２００及びデータ処理部３００に入力される。
【００２３】
物体識別部２００は、入力画像データ１００より、画像中の１以上の特定の物体の領域を識別する処理を行う手段である。ここで、「物体」とは、個体などの有形なものに限らず、気体、液体などの無形のものも含み、物体識別部２００における識別対象となり得るものの総称である。物体識別部２００により識別された特定物体の領域の情報は識別結果情報２０１として出力され、これはデータ処理部３００に入力される。
【００２４】
例えば、１種類の特定物体の領域を識別する場合で、領域識別単位を１画素としたときには、識別結果情報２０１は入力画像の各画素に対応した１ビットの情報で表される。すなわち、ある画素のビットは、当該画素が特定物体の領域に含まれるならば”１”、含まれないならば”０”に設定される。２種類以上の特定物体の領域を識別する場合には、各画素に対応した２ビット以上の情報として識別結果情報２０１を表すことができる。特定物体の領域の識別単位を１画素より大きな単位、例えばｎ×ｍ画素の領域とすることも可能であり、この場合には、その識別単位に対応した１ビット又は複数ビットの情報として識別結果情報２０１を表現することができる。ただし、以上は例示にすぎず、識別結果情報２０１の表現形式は基本的に任意である。
【００２５】
データ処理部３００は、マルチバンド画像データ１００に対し特定の処理を施す手段であるが、その処理内容が識別結果情報２０１に従って制御される。ここに示す例では、データ処理部３００は、入力画像データ１００であるマルチバンド画像データから、プリンタ等の画像出力装置４００へ出力するのに適した色信号データ３０１を生成するが、そのための色変換や明度補正が識別結果情報２０１に従って制御される。
【００２６】
このような画像処理装置は、独立した装置として実現可能であるが、マルチバンドカメラ等の他の機器の組み込み装置として実現することも可能である。後述のように、この画像処理装置をパソコン等のコンピュータ上でソフトウェアにより実現することも可能である。
【００２７】
以下、この実施の形態の実施例について説明する。
【００２８】
［実施例Ａ１］
この実施形態Ａの一実施例によれば、物体識別部２００は図２に示す構成とされ、また、データ処理部３００は図３に示す構成とされる。
【００２９】
図２において、本実施例の物体識別部２００は分光反射率算出手段２１０、光源分光分布データ記憶手段２１１、分光反射率比較手段２１２、物体分光反射率データ記憶手段２１３、分光分布比較手段２１４、物体分光分布データ記憶手段２１５、識別結果出力手段２１６、制御手段２１７及び指示／条件入力手段２１８から構成される。
【００３０】
本実施例においては、指示／条件入力手段２１８によって、識別対象となる１以上の特定物体を指定することができる。また、指示／条件入力手段２１８によって、特定物体の識別方法として、分光反射率を利用する方法と、分分光分布を利用する方法を指定することができる。
【００３１】
まず、分光反射率を利用した物体識別に関して説明する。分光反射率算出手段２１０は、入力画像データ１００であるマルチバンド画像データから分光反射率を算出する手段である。マルチバンド画像データは、各画素の分光分布データを持っており、そのデータは（被写体の分光反射率）×（光源の分光エネルギー）となっている。したがって、簡単には、マルチバンド画像データの各画素のデータを光源の分光分布データで割ることにより、各画素位置での分光反射率を求めることができる。光源の分光分布データの取得及び分光反射率の算出の方法は、指示／条件入力手段２１８により指定することができる。本実施例では、その方法として、次のＡ方法，Ｂ方法，Ｃ方法のいずれかを利用可能であり、指示／条件入力手段２１８により指定することができる。
【００３２】
Ａ方法：光源分光分布データ記憶手段２１１に予め記憶されている光源の分光分布データを利用する方法である。光源分光分布データ記憶手段２１１には、いくつかの典型的な光源の分光分布データ、例えば、自然光源（晴天、曇天）、蛍光灯、白熱灯、１種類以上のストロボ光源などの分光分布データが予め記憶されている。ここに記憶されている光源のいずれかの分光分布データを分光反射率算出に利用したい場合には、指示／条件入力手段２１８より撮影条件（晴天、雨天、蛍光灯など）を指定する。例えば、晴天が指定された場合には、制御手段２１７の制御により、光源分光分布データ記憶手段２１１に記憶されている晴天の分光分布データが分光反射率算出手段２１０に与えられる。分光反射率算出手段２１０は、与えられた光源の分光分布データでマルチバンド画像データを割ることにより、被写体の分光反射率を算出する。
【００３３】
Ｂ方法：分光反射率が既知のマクベスチャート等の物体を被写体とともに撮影したマルチバンド画像データが入力される。このマルチバンド画像データ中のマクベスチャート等の物体の分光分布データを既知の分光反射率で割ることにより、撮影時の光源の分光分布データを取得する方法である。この方法が指示／条件入力手段２１８により指定された場合には、制御手段２１７の制御により、物体分光反射率データ記憶手段２１３に予め記憶されているマクベスチャート等の分光反射率データが分光反射率算出手段２１０に与えられ、分光反射率算出手段２１０では、この分光反射率データを用いて光源の分光分布を取得し、それを用いて被写体のデータを割ることにより被写体の分光反射率を算出する。
【００３４】
Ｃ方法：前記特許文献２に記載された方法である。この方法が指定された場合には、制御部２１７の制御により、補助光源（例えばストロボ光源）の分光分布データが光源分光分布データ記憶手段２１１より読み出されて分光反射率算出手段２１０に与えられる。そして、まず、前記補助光源を用いて撮影した第１のマルチバンド画像データが入力され、次に、補助光源を用いずに同一の被写体を撮影したマルチバンド画像データが入力される。分光反射率算出手段２１０は、第１のマルチバンド画像データと第２のマルチバンド画像データの差データを求め、それを補助光源の分光分布データで割ることにより、被写体の分光反射率を算出する。
【００３５】
なお、指示／条件入力手段２１８は、人が直接的に操作する手段であっても、マルチバンド画像データに付加されている撮影条件などの情報の解析により自動的に指示／条件を入力する手段であっても、さらには、マルチバンドカメラから出力される撮影条件信号などを単に制御手段２１７に中継する手段であってもよく、いずれの態様も本発明に包含される。
【００３６】
分光反射率比較手段２１２は、分光反射率算出手段２１０により求められた分光反射率データと、物体分光反射率データ記憶手段２１３に予め記憶されている１つ以上の特定物体の分光反射率データとの比較を、領域識別単位（画素又は画素群）毎に行い、ある特定物体の分光反射率データとの一定度合い以上の一致が得られた領域識別単位を、当該特定物体の領域と判定する手段である。識別対象となる特定物体は、指示／条件入力手段２１８から指定することができる。制御手段２１７は、指定された物体を特定物体として選択し、指定されないない場合にはデフォルトの１以上の物体を特定物体として選択し、選択した物体の分光反射率データを物体反射率データ記憶手段２１３より読み出して分光反射率比較手段２１２に与える。
【００３７】
分光反射率は、色のような心理物理量とは異なり、被写体に依存する純粋な物理量である。よって、これを用いることで、被写体が何であるかを高精度に特定することが可能になる。例えば、人の肌と、肌色の机が撮影された場合、ＲＧＢ値では同じ肌色を示すことがあり得るが、分光反射率によれば両者を精度よく判別できる。分光反射率によれば、植物の緑、青空の青といったものも精度良く識別することができる。
【００３８】
例えば、人間の肌を識別するとする。一概に人間の肌といっても、個人差があり、さらには体の部位によって肌の分光反射率は異なる。また、人種、年齢、性別等によっても分光反射率は異なる。しかし、ある程度の傾向は見られ、分光反射率データを１６次元空間の点とすると、人間の肌として、ある部分空間を設定することは可能である。よって、分光反射率データがこの部分空間内にある場合にのみ人間の肌と判定することにより、人間の肌の領域を高精度に識別可能となる。そのような部分空間は、多くの人間の肌の分光反射率データを集め、分光反射率空間内でのそれらのデータの分布を見ることにより定義することができる。物体分光反射率データ記憶手段２１３に記憶されている分光反射率データは、そのようにして定義された人肌などの特定物体の分光反射率空間内の部分空間を表すデータである。分光反射率比較手段２１２の比較で一定度合い以上の一致が得られるのは、領域識別単位の分光反射率データがそのような部分空間内にあるときである。
【００３９】
分光反射率算出手段２１０で算出される分光反射率は、特定の物体の識別のためのものであるから、必ずしも全ての波長域の分光反射率を算出する必要はない。例えば、特定物体として人肌を識別する場合には、人肌に特徴的ないくつかの波長域の分光反射率だけを算出すれば足りる。このように、特定物体の識別に有効な波長域についてのみ分光反射率を算出するようにすると、分光反射率算出手段２１０の演算負荷が軽減され処理速度の向上に寄与する。このような態様も当然に本発明に包含される。
【００４０】
前述のように、本実施例においては、分光反射率を算出せず、分光分布から特定の物体の領域を識別する方法を選択することができる。指示／条件入力手段２１８により、この方法が指定された場合、制御部２１７の制御により、選択された１つ以上の特定物体の分光分布データが物体分光分布データ記憶手段２１５より読み出されて分光分布比較手段２１４に送られる。分光分布比較手段２１４は、マルチバンド画像データの領域識別単位（画素又は画素群）毎に、その分光分布と特定物体の分光分布との比較を行い、一定度合い以上の一致が得られた領域識別単位を当該特定物体の領域と判定する。このような分光分布による物体識別は、分光反射率を利用する方法に比べ識別精度は低いが、光源の分光分布を知る必要がなく、必要な演算量も少なくなるため、処理の高速化に有利である。したがって、識別する物体やその種類数、必要とされる識別精度などに応じて、分光分布を利用する物体識別方法と分光反射率を利用する物体識別方法とを適応的に使い分けできることは有益である。
【００４１】
識別結果出力手段２１６は、制御手段２１７の制御により、分光反射率比較手段２１２又は分光比較手段２１４により得られた識別結果に基づいて、前述したような識別結果情報２０１を生成し出力する。
【００４２】
なお、図示しないが、マルチバンド画像データより画像中のエッジを検出する手段を設け、分光反射率比較手段２１２又は分光分布比較手段２１４によって特定物体と識別された領域であって、かつ、エッジで囲まれた領域を特定物体の領域と判定するようにしてもよい。このような判定は、例えば識別結果出力手段２１６で行えばよい。このような態様も本発明に包含される。
【００４３】
図３において、本実施例のデータ処理部３００は、第１の変換手段３１０と第２の変換手段３１２により、入力画像データ１００であるマルチバンド画像データをプリンタ等の画像出力手段４００へ出力するのに適した色信号データ３０１に変換する処理が行われ、第２の変換手段３１１の段階で識別結果情報２０１に従った変換の制御が行われる。
【００４４】
第１の変換手段３１０では、マルチバンド画像データを色信号データ３１１に変換する。本実施例では色信号データ３１１はＲＧＢ信号データとするが、例えば、Ｌ＊ａ＊ｂ＊信号などに変換してもよく、そのような態様も本発明に包含される。
【００４５】
より具体的には、第１の変換手段３１０では、マルチバンド画像データより、分光分布データＰ（λ）、ＸＹＺ表色系の等色関数ｘ（λ）、ｙ（λ）、ｚ（λ）を用いて、以下の式により三刺激値ＸＹＺを求め、次に、この三刺激値からＲＧＢ信号への変換を当該色信号の定義に従って行う。
Ｘ＝∫Ｐ（λ）ｘ（λ） ｄλ（λ＝３８０ｎｍ〜７８０ｎｍ）
Ｙ＝∫Ｐ（λ）ｙ（λ） ｄλ（λ＝３８０ｎｍ〜７８０ｎｍ）
Ｚ＝∫Ｐ（λ）ｚ（λ） ｄλ（λ＝３８０ｎｍ〜７８０ｎｍ）
【００４６】
第２の変換手段３１２は、ＲＧＢ信号データ３１１を、プリンタ等の画像出力装置４００に出力するための色信号データ３０１に変換する。本実施例では、色信号データ３０１はＣＭＹＫ信号データとする。その変換の方法は基本的には任意であるが、本実施例では色変換テーブルを用いた線形補間演算による方法を用いるもとのとして説明する。この方法では、図４のように入力色空間（ここではＲＧＢ空間）を格子状に分割し、各格子点に対して色変換パラメータ、すなわち出力用の色信号の値（ここではＣＭＹＫの各値）を設定した色変換テーブルを用いる。格子点間の入力色に関しては、近傍の８つの格子点のパラメータを用いて線形補間により出力色値を求める。このような変換のための色変換テーブル３１４が複数種類用意されており、その中の１つが識別結果情報２０１に従って領域毎に変換制御手段３１３により選択され、その色変換テーブルを用いて第２の変換手段３１２による変換が行われる。つまり、第２の変換手段３１２で用いられる変換パラメータが識別結果情報２０１に従って切り替えられることになる。
【００４７】
例えば、物体識別部２００で、人間の肌を特定物体として物体識別が行われた場合、特定物体と識別された領域については、特定物体（人間の肌）の色を良好に再現する目的に適した色変換テーブルを用いてＲＧＢからＣＭＹＫへの色変換が行われ、それ以外の領域では標準的な色変換テーブルを用いた色変換が行われる。このような構成により、人間の肌の領域に対してのみ記憶色を考慮した色再現が可能となる。なお、人間の肌色、植物の緑色、青空の色などの記憶色と呼ばれる色の物体について物体識別を行えば、それぞれの記憶色を考慮した色再現が可能となる。
【００４８】
［実施例Ａ２］
実施形態Ａの他の一実施例によれば、物体識別部２００は前記実施例Ａ１と同じ構成とされ、データ処理部３００は図５に示す構成とされる。
【００４９】
図５において、本実施例のデータ処理部３００は、入力画像データ１００であるマルチバンド画像データを色信号データ３２１に変換する色変換手段３２０と、この色信号データ３２１の明度補正を行ってプリンタやディスプレイなどの画像出力装置４００に出力する色信号データ３０１を生成する明度補正手段３２２を有する。本実施例においては、色変換手段３２０は前記実施例Ａ１における第１の変換手段３１０と同一の手段であり、マルチバンド画像データより三刺激値ＸＹＺを求め、これをＲＧＢ信号に変換する。すなわち、本実施例では色信号データ３２１はＲＧＢ信号データである。ただし、色信号データ３２１を前記実施例Ａ１に関連して述べたようにＬ＊ａ＊ｂ＊信号などにすることも可能であり、そのような態様も本発明に包含される。
【００５０】
明度補正手段３２２は、色信号デー３２１に明度補正を施して出力色信号データ３０１を生成する。本実施例では色信号データ３０１はＲＧＢ信号データであるが、画像出力装置４００の種類によってはＣＭＹＫ信号データとすることもでき、そのような態様も本発明に包含され。明度補正手段３２２では、後述のようにγ補正により明度補正が行われる。
【００５１】
本実施例のデータ処理部３００は、明度補正手段３２２による明度補正の制御のための補正制御手段３２３を有する。この補正制御手段３２３は、物体識別部２００により識別された特定物体の領域の明るさが適切となるように画像全体に対する明度補正を制御するもので、輝度ヒストグラム算出手段３２４とテーブル切り替え手段３２５からなる。
【００５２】
輝度ヒストグラム算出手段３２４は、識別結果情報２０１により示される特定物体の領域における輝度のヒストグラムを求める手段である。本実施例では、色変換手段３２０で算出される三刺激値ＸＹＺの中の輝度値であるＹ値が輝度ヒストグラムの算出に用いられるが、例えば、色信号データ３２１（ＲＧＢ信号データ）のＧデータを輝度データとみなして輝度ヒストグラムを算出することも可能であり、かかる態様も本発明に包含される。また、色信号データ３２１がＬ＊ａ＊ｂ＊データならば、Ｌ値を用いて輝度ヒストグラムを算出することも可能であり、かかる態様も本発明に包含される。
【００５３】
テーブル切り替え手段３２５は、求められた特定物体の領域における輝度ヒストグラムに基づいて、複数種類の補正テーブル３２６（ここではγ補正テーブル）の中から、特定物体の領域を適切な明るさにするために適切なものを選択する。この選択された補正テーブルを用いて、明度補正手段３２２で画像全体に対する明度補正が行われる。補正テーブルの切り替えとは、明度補正パラメータ（ここではγ係数）を切り替えることに相当する。すなわち、テーブル切り替え手段３２５は、特定物体の領域における明るさに応じて明度補正パラメータを切り替えるための手段である。より具体的に述べれば、特定物体の領域の輝度ヒストグラムから、特定物体の領域が暗いと判断される場合には、例えば図６に示す上に凸の特性カーブＡを持つ補正テーブルが選択される。これと逆に、特定物体の領域が明るすぎると判断される場合には、図６に示す下に凸の特性カーブＢを持つ補正テーブルが選択される。図６にはＡ，Ｂ２種類の特性カーブが示されているが、特性カーブＡ，Ｂの中間的な特性カーブを持つ補正テーブルも用意され、特定物体領域の明るさに応じて適当と判断される補正カーブの補正テーブルが選択される。このような補正カーブ（補正パラメータ）の制御により、例えば、人間の肌の領域が適切な明るさとなるように画像全体の明るさが補正された色信号データ３０１を得ることができる。
【００５４】
補正テーブル３２６は色信号データ３２１の各成分つまりＲＧＢ各成分に対応して用意することも可能であるが、補正による色バランスの乱れを減らすために、例えばＧ成分用の補正テーブルだけを用意し、Ｒ，Ｂ成分についてはＧ成分と同じ比率で補正するのが一般的である。
【００５５】
なお、本実施例では明度補正手段３２２を色変換手段３２０と独立させて設けているが、色変換手段３２０の変換パラメータを制御することによって、同様の明度補正を行うことも可能である。このように、色変換手段３２０で明度補正手段を兼ねる態様も本発明に包含される。
【００５６】
［実施形態Ｂ］
図７は、本発明の他の実施の形態に係る画像処理装置の全体ブロック図である。
【００５７】
この実施の形態に係る画像処理装置に対する入力画像データ５００は、被写体を色分解フィルタを通して撮影することにより得られた色信号データ５０１と、それと同じ被写体を、特定物体の識別に有効な透過波長域を有する１種類又は数種類のフィルタを介して撮影して得られた１チャンネル又は数チャンネルの分光信号データ５０２からなる。ここに示す例では、色信号データ５０１はＲＧＢ信号データであるが、ＣＭＹ信号データとすることも可能であり、かかる態様も本実施形態に包含される。また、特定物体として例えば人間の肌を識別する場合には、人間の肌の分光反射率において特徴的な１つ又は２，３の波長域の分光信号データ５０２を入力すればよい。
【００５８】
このような入力画像データ５００は、撮影手段から直接入力することもメモリ等を介して入力することも可能であるが、ここに示す例ではバッファ記憶のためのメモリ等を含む画像入力部５１０を介して入力画像データ５００が入力されるものとしている。
【００５９】
この実施形態に係る画像処理装置は、前記画像入力部５１０、物体識別部６００及びデータ処理部７００から構成され、入力画像データ５００は物体識別部２００に入力され、また、入力画像データ５００中の色信号データ（ＲＧＢ信号データ）５０１はデータ処理部７００に入力される。
【００６０】
物体識別部６００は、入力画像データ５００から、１以上の特定の物体の領域を識別する処理を行う手段である。物体識別部６００により識別された特定物体の領域の情報は識別結果情報６０１として出力され、これはデータ処理部７００に入力される。識別結果情報６０１は前記実施形態Ａにおける識別結果情報２０１と同様な表現形式とすることができる。
【００６１】
データ処理部７００は、入力画像データ５００中の色信号データ（ＲＧＢ信号データ）５０１に対し特定の処理を施す手段であるが、その処理内容が識別結果情報６０１に従って制御される。ここに示す例では、データ処理部７００において、色信号データ５０１から、プリンタ等の画像出力装置８００へ出力するのに適した色信号データ７０１を生成するが、そのための色変換や明度補正が識別結果情報に従って制御される。
【００６２】
このような画像処理装置は、独立した装置として実現可能であるが、画像撮影機器の組み込み装置として実現することも可能である。後述のように、この画像処理装置をパソコン等のコンピュータ上でソフトウェアにより実現することも可能である。
【００６３】
以下、この実施の形態の実施例について説明する。
【００６４】
［実施例Ｂ１］
この実施形態Ｂの一実施例によれば、物体識別部６００は図８に示す構成とされ、また、データ処理部７００は図９に示す構成とされる。
【００６５】
図８において、本実施例の物体識別部６００は色判定手段６１０、レベル判定手段６１１、領域判定手段６１２及び識別結果出力手段６１３からなる。
【００６６】
色判定手段６１０は、色信号データ（ＲＧＢ信号データ）５０１により表される色が、識別しようとする特定の物体の色とみなし得るか否かを領域識別単位（画素又は画素群）毎に判定する手段である。より具体的には、入力色空間内の特定の物体（例えば人間の肌）の色が含まれる部分空間を予め定義しておき、入力色がその部分空間に含まれるか否かを判定する。レベル判定手段６１１は、分光信号データ５０２の各波長域のレベルが、特定物体について予め定義されたレベル範囲に含まれるか否かを領域識別単位毎に判定する手段である。領域判定手段６１２は、色判定手段６１０で特定物体の色と判定され、かつ、レベル判定手段６１１で特定物体のレベル範囲と判定された領域を特定物体の領域と判定する手段である。このように、色とレベルの両方を利用する特定物体識別方法によれば、色判定又はレベル判定のみによる方法に比べ識別精度が向上する。
【００６７】
識別結果出力手段６１３は、領域判定手段６１２による判定結果、すなわち特定物体の領域識別結果を表す識別結果情報６０１を生成し出力する。
【００６８】
ここでは便宜上、識別対象の物体は１種類として説明するが、前記実施形態Ａと同様に複数種類の物体のうちの１つ又は複数を指定できるようにしてもよい。この場合には、色判定及びレベル判定のための色データ及びレベルデータが物体対応に予め用意されることになる。かかる態様も本実施形態に包含されることは当然である。
【００６９】
図示しないが、色信号データ（ＲＧＢ信号データ）６１０より画像中のエッジを検出する手段を設け、領域判定手段６１２で、エッジで囲まれた領域のみを特定物体の領域と判定するようにしてもよい。このような態様も本実施形態に包含される。
【００７０】
図９において、本実施例のデータ処理部７００は、色信号データ（ＲＧＢ信号データ）５０１をプリンタ等の画像出力手段４００へ出力するのに適した色信号データ７０１に変換する色変換手段７１０を有する。本実施例では、色信号データ７０１はＣＭＹＫ信号データであるが、ＲＧＢ信号データなどでもよく、かかる態様も本実施形態に包含される。
【００７１】
色変換手段７１０における変換の方法は基本的には任意であるが、本実施例では前記実施例Ａ１の第２の変換手段３１２と同じ変換方法が用いられるものとする。
【００７２】
データ処理部７００は、色変換手段７１０による色変換のための色変換テーブル７１２を有する。色変換テーブル７１２としては、特定物体の領域の色変換のための色変換テーブルと、それ以外の領域の色変換に適用される色変換テーブルが用意される。データ処理部７００は、識別結果情報７０１に従って領域毎に、色変換手段７１０で利用される色変換テーブル７１２を選択することにより色変換パラメータを切り替える変換制御手段７１３を有する。
【００７３】
例えば、物体識別部６００で、人間の肌を特定物体として物体識別が行われた場合、特定物体と識別された領域については、特定物体（人間の肌）の色を良好に再現する目的に適した色変換テーブルを用いてＲＧＢからＣＭＹＫへの色変換が行われ、それ以外の領域では標準的な色変換テーブルを用いた色変換が行われる。このような構成により、人間の肌に対してのみ記憶色を考慮した色再現が可能となる。植物の緑色、青空の色などの記憶色と呼ばれる色の物体について物体識別を行えば、それぞれの記憶色を考慮した色再現が可能となることは明白である。
【００７４】
［実施例Ｂ２］
実施形態Ｂの他の一実施例によれば、物体識別部６００は前記実施例Ｂ１と同じ構成とされるが、データ処理部７００は図１０に示す構成とされる。
【００７５】
図１０において、本実施例のデータ処理部７００は、色信号データ（ＲＧＢ信号データ）５０１の明度補正を行ってプリンタやディスプレイなどの画像出力装置８００に出力する色信号データ７０１を生成する明度補正手段７２０を有する。本実施例では色信号データ７０１はＲＧＢ信号データである。明度補正はγ補正により行われる。
【００７６】
本実施例のデータ処理部７００は、明度補正手段７２０による明度補正の制御のための補正制御手段７２１を有する。この補正制御手段７２１は、物体識別部６００により識別された特定物体の領域の明るさが適切となるように画像全体に対する明度補正を制御するもので、輝度ヒストグラム算出手段７２２とテーブル切り替え手段７２３からなる。
【００７７】
輝度ヒストグラム算出手段７２２は、識別結果情報６０１により示される特定物体の領域における輝度ヒストグラムを求める手段である。本実施例では、色信号データ５０１がＲＧＢ信号データであるので、そのＧ信号データを輝度データをみなして輝度ヒストグラムの算出が行われる。
【００７８】
テーブル切り替え手段７２３は、求められた特定物体の領域の輝度ヒストグラムに基づいて、複数種類の補正テーブル７２４（ここではγ補正テーブル）の中から、特定物体領域を適切な明るさに補正するための補正テーブルを選択する。この選択された補正テーブルを用いて、明度補正手段７２０で画像全体に対する明度補正が行われる。補正テーブルの切り替えとは、明度補正パラメータ（ここではγ係数）を切り替えることに相当する。すなわち、テーブル切り替え手段７２３は、特定物体の領域の輝度ヒストグラムに応じて明度補正パラメータを切り替えるための手段である。より具体的に述べれば、特定物体の領域の輝度ヒストグラムから、特定物体の領域が暗いと判断される場合には、例えば図６に示す上に凸の特性カーブＡを持つ補正テーブルが選択される。これと逆に、特定物体の領域が明るすぎると判断される場合には、図６に示す下に凸の特性カーブＢを持つ補正テーブルが選択される。図６にはＡ，Ｂ２種類の特性カーブが示されているが、特性カーブＡ，Ｂの中間的な特性カーブを持つ補正テーブルも用意され、特定物体領域の明るさに応じて適当と判断される補正カーブが選択される。このような補正カーブ（補正パラメータ）の制御により、例えば、人間の肌の領域が適切な明るさとなるように画像全体が明度補正された色信号データ７０１を得ることができる。
【００７９】
補正テーブル７２４はＲＧＢ各成分に対応して用意することも可能であるが、補正による色バランスの乱れを減らすために、例えばＧ成分用の補正テーブルだけを用意し、Ｒ，Ｂ成分についてはＧ成分と同じ比率で補正するのが一般的である。
【００８０】
以上に説明した本発明の画像処理装置における処理の手順は、本発明の画像処理方法の手順でもある。したがって、本発明の画像処理方法についての説明を繰り返さないが、本発明の画像処理方法の手順をパソコンやマイクロコンピュータなどのコンピュータ上でソフトウェア処理により容易に実現し得ることは明白である。そのためのプログラムは、アプリケーションプログラムの形をとることもできるが、プリンタドライバなどの画像出力装置用のドライバの形をとることが実際的であろう。また、本発明の画像処理装置はハードウェアとして実現し得ることは当然であるが、さらに、コンピュータ上でソフトウェア処理により実現し得ることも明白である。本発明の画像処理装置又は方法をコンピュータ上で実現するためのプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種記録（記憶）媒体も本発明に包含される。
【００８１】
【発明の効果】
以上の説明から明らかなように、（１）請求項１乃至１１の発明によれば、例えば記憶色と呼ばれる色の物体などが含まれる画像に対し適切な処理が可能となる。特に、（２）請求項２，７，１０の発明によれば、人間の肌などの特定の物体を高精度に識別できるため、その識別結果に応じた処理制御の精度も向上する。（３）請求項３の発明によれば、分光反射率データを求めるための演算量が減り物体識別のための処理を高速化できる。（４）請求項４の発明によれば、必要とされる識別精度や識別すべき特定物体の種類数などに応じて、分光反射率による物体識別と分光分布による物体識別の使い分けが可能となる。（５）請求項５，８，１０の発明によれば、人間の肌などの記憶色と呼ばれる色の物体が含まれる画像に対し領域毎に記憶色を考慮した色変換などを行うことができる。（６）請求項６，９，１１の発明によれば、特定物体が含まれる画像に対し、特定物体の領域が適当な明るさとなるように明度補正を行うことができる、等々の効果をえられる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の全体ブロック図である。
【図２】本発明の第１の実施形態の第１及び第２の実施例における物体識別部のブロック図である。
【図３】本発明の第１の実施形態の第１の実施例におけるデータ処理部のブロック図である。
【図４】色変換方法の説明図である。
【図５】本発明の第１の実施形態の第２の実施例におけるデータ処理部のブロック図である。
【図６】明度補正テーブルの説明図である。
【図７】本発明の第２の実施形態に係る画像処理装置の全体ブロック図である。
【図８】本発明の第２の実施形態の第１及び第２の実施例における物体識別部のブロック図である。
【図９】本発明の第２の実施形態の第１の実施例におけるデータ処理部のブロック図である。
【図１０】本発明の第２の実施形態の第２の実施例におけるデータ処理部のブロック図である。
【符号の説明】
１１０ 画像入力部
２００ 物体識別部
２１０ 分光反射率算出手段
２１２ 分光反射率比較手段
２１４ 分光分布比較手段
２１６ 識別結果出力手段
３００ データ処理部
３１０ 第１の変換手段
３１２ 第２の変換手段
３１３ 変換制御手段
３１４ 色変換テーブル
３２０ 色変換手段
３２２ 明度補正手段
３２３ 補正制御手段
３２４ 輝度ヒストグラム算出手段
３２５ テーブル切り替え手段
３２６ 補正テーブル
５１０ 画像入力部
６００ 物体識別部
６１０ 色判定手段
６１１ レベル判定手段
６２２ 領域判定手段
６１３ 識別結果出力手段
７００ データ処理部
７１０ 色変換手段
７１２ 色変換テーブル
７１３ 変換制御手段
７２０ 明度補正手段
７２１ 補正制御手段
７２２ 輝度ヒストグラム算出手段
７２３ テーブル切り替え手段
７２４ 補正テーブル
【発明の属する技術分野】
本発明は、画像データ処理に係り、より具体的には、入力された画像データからプリンタ等の画像出力装置に出力するのに適した色信号データを生成する技術に関する。
【０００２】
【従来の技術】
デジタルカメラなどの多くの撮像機器では、被写体像は色分解フィルタ（ＲＧＢフィルタ又はＣＭＹフィルタ）を通し色分解されてから撮像され、その出力画像データは色信号（ＲＧＢ信号又はＣＭＹ信号）のデータである。なお、本明細書において、「被写体」は主要被写体のみならず背景なども含む、画像に写っているもの全てを意味する。
【０００３】
一方、透過波長域の異なる多種類のフィルタを通して被写体を撮影するマルチバンドカメラ等の撮影機器機により、多チャンネルの信号からなるマルチバンド画像データを得ることが可能になってきている。このようなマルチバンド画像データによれば、被写体の分光反射率を精度良く求めることができる（例えば特許文献１，２，３参照）。また、マルチバンド画像データから、３色又は４色以上の色剤を用いる画像出力装置に出力するための色信号データを生成することもできる（例えば特許文献３，４参照）。
【０００４】
なお、必ずしもマルチバンド画像データを対象とするものではないが、画像の色補正を目的として、入力画像を複数領域に分割し、各領域毎に複数の入力プロファイルの中から適切な入力プロファイルを選択し、選択された入力プロファイルを用いて領域画像をデバイスインデペンデントカラー画像に変換し、各領域のデバイスインデペンデントカラー画像を合成した後に所定の出力プロファイルを用いてデバイスデペンデントカラー画像に変換する如き色再現装置及び方法が特許文献５に記載されている。
【０００５】
【特許文献１】
特開２００１−２２９３０号公報
【特許文献２】
特開２００１−８３００９号公報
【特許文献３】
特開２０００−３３３１８６号公報
【特許文献４】
特開２００２−２５４７０８号公報
【特許文献５】
特開２０００−３４１４９９号公報
【０００６】
【発明が解決しようとする課題】
プリンタ等の画像出力装置で画像を出力する場合、例えば、人の肌の色、草木の緑、青空の色といった記憶色と言われる色の部分を、より好ましい色で再現するために、人の肌などの部分の明度又は彩度を上げるような処理が行われることがある。しかし、ＲＧＢ信号やＣＭＹ信号で表現された画像では、人の肌の部分を的確に識別することは非常に難しい。人の肌も肌色の机もＲＧＢ値やＣＭＹ値が同じ値をとることがあるからである。
【０００７】
よって、現状では、画像に付加されたタグ等によって例えばポートレート画像であるか否かを判断し、ポートレート画像ならば、肌色に相当するＲＧＢ値又はＣＭＹ値を持つ部分を一律に記憶色として補正するような方法が採用されることが多い。しかし、このような方法では、例えば画像内に人の肌と同様色の机があった場合に、机の色が不自然な色で再現されるような不都合がある。
【０００８】
したがって、本発明の目的は、以上に述べたような画像の補正処理などを適切に行うための新規な画像処理装置及び方法を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１の発明は、透過波長域の異なる複数のフィルタを通して被写体を撮影して得られたマルチバンド画像データが入力され、前記マルチバンド画像データより、画像中の特定物体の領域を識別して識別結果情報を生成する物体識別手段と、前記マルチバンド画像データに対し所定のデータ処理を施すデータ処理手段とを有し、前記データ処理手段は前記データ処理を前記識別結果情報に従って制御する手段を含むことを特徴とする画像処理装置である。
【００１０】
請求項２の発明は、請求項１の発明の画像処理装置において、前記物体識別手段が、前記マルチバンド画像データより分光反射率データを取得する手段を含み、該手段により得られた分光反射率データに基づいて特定物体の領域の識別を行うことを特徴とするものである。
【００１１】
請求項３の発明は、請求項２の発明の画像処理装置において、前記分光反射率データを取得する手段が、特定物体の識別に有効な一部の波長域に関する分光反射率データのみを取得することを特徴とするものである。
【００１２】
請求項４の発明は、請求項２の発明の画像処理装置において、前記物体識別手段が、分光分布に基づいて特定物体の領域を識別する手段をさらに含むことを特徴とするものである。
【００１３】
請求項５の発明は、請求項１，２，３又は４の発明の画像処理装置において、前記データ処理が前記マルチバンド画像データを色信号データに変換する処理であり、該変換のための変換パラメータが、前記データ処理を制御する手段により前記識別結果情報に従って領域毎に制御されることを特徴とするものである。
【００１４】
請求項６の発明は、請求項１，２，３又は４の発明の画像処理装置において、前記データ処理が前記マルチバンド画像データを色信号データに変換する処理であり、該処理には色信号データの明度補正が含まれ、画像全体に対する該明度補正のための補正パラメータが、前記データ処理を制御する手段により、前記識別結果情報により示される特定物体の領域における明るさに基づいて制御されることを特徴とするものである。
【００１５】
請求項７の発明は、被写体を色分解フィルタを通して撮影することにより得られた色信号データ、及び、前記被写体を特定の透過波長域を有する１種類以上のフィルタを介して撮影して得られた１チャンネル以上の分光信号データが入力され、前記色信号データ及び前記分光信号データより、画像中の特定物体の領域を識別して識別結果情報を生成する物体識別手段と、前記色信号データに対し所定のデータ処理を施すデータ処理手段とを有し、前記データ処理手段は前記データ処理を前記識別結果情報に従って制御する手段を含み、前記物体識別手段は、前記色信号データの色判定を行う手段と前記分光信号データのレベル判定を行う手段を含み、前記色判定の結果及び前記レベル判定の結果に基づいて特定物体の領域を識別することを特徴とする画像処理装置である。
【００１６】
請求項８の発明は、請求項７の発明の画像処理装置において、前記データ処理が前記色信号データの他の表色系又は同一の表色系の色信号データへ変換する処理であり、該変換のための変換パラメータが領域毎に、前記データ処理を制御する手段により前記識別結果情報に従って制御されることを特徴とするものである。
【００１７】
請求項９の発明は、請求項７の発明の画像処理装置において、前記データ処理が前記色信号データの明度補正を含み、画像全体に対する前記明度補正のための補正パラメータが、前記データ処理を制御する手段により、前記識別結果情報により示される特定物体の領域における明るさに基づいて制御されることを特徴とするものである。
【００１８】
請求項１０の発明は、透過波長域の異なる複数のフィルタを通して被写体を撮影して得られたマルチバンド画像データより分光反射率データを取得し、得られた分光反射率データに基づいて画像中の特定物体の領域を識別して識別結果情報を生成する物体識別ステップと、前記マルチバンド画像データの色信号データへの変換を行うデータ処理ステップとを有し、前記データ処理ステップにおいて、前記変換のための変換パラメータを領域毎に前記識別結果情報に従って制御することを特徴とする画像処理方法である。
【００１９】
請求項１１の発明は、透過波長域の異なる複数のフィルタを通して被写体を撮影して得られたマルチバンド画像データより分光反射率データを取得し、得られた分光反射率データに基づいて画像中の特定物体の領域を識別して識別結果情報を生成する物体識別ステップと、前記マルチバンド画像データの色信号データへの変換及び明度補正の処理を行うデータ処理ステップとを有し、前記データ処理ステップにおいて、画像全体に対する前記明度補正のための補正パラメータを、前記識別結果情報により示される特定物体の領域における明るさに基づいて制御することを特徴とする画像処理方法である。
【００２０】
【発明の実施の形態】
［実施の形態Ａ］
図１は、本発明の１つの実施の形態に係る画像処理装置の全体ブロック図である。
【００２１】
この実施の形態に係る画像処理装置に対する入力画像データ１００は、いわゆるマルチバンドカメラ等を用い、透過波長域が異なる複数種類のフィルタを通して被写体を撮影して得られたマルチバンド画像データである。これは、例えば、可視光波長域４１０ｎｍ〜７１０ｎｍの波長域を１６帯域に分割して撮影した、１６チャンネルの信号からなるマルチバンド画像データである。これは一例であって、波長域は可視光域のみに必ずしも限定する必要はなく、また、よりチャンネル数（バンド数）が多い（例えば３２チャンネルの）マルチバンド画像データ、あるいは、よりチャンネル数が少ない（例えば８チャンネルの）マルチバンド画像データを入力画像データ１００とすることも可能である。このような入力画像データ１００は、マルチバンドカメラ等の撮影手段から直接入力することもメモリ等を介して入力することも可能であるが、ここに示す例ではバッファ記憶のためのメモリ等を含む画像入力部１１０を介して入力画像データ１００が入力されるものとしている。また、必要に応じて、撮影条件を変えて同一対象を撮影した２フレームの画像データが入力画像データ１００として入力される場合もあるが、これについては後述する。
【００２２】
この実施形態に係る画像処理装置は、前記画像入力部１１０、物体識別部２００及びデータ処理部３００から構成され、入力画像データ１００は物体識別部２００及びデータ処理部３００に入力される。
【００２３】
物体識別部２００は、入力画像データ１００より、画像中の１以上の特定の物体の領域を識別する処理を行う手段である。ここで、「物体」とは、個体などの有形なものに限らず、気体、液体などの無形のものも含み、物体識別部２００における識別対象となり得るものの総称である。物体識別部２００により識別された特定物体の領域の情報は識別結果情報２０１として出力され、これはデータ処理部３００に入力される。
【００２４】
例えば、１種類の特定物体の領域を識別する場合で、領域識別単位を１画素としたときには、識別結果情報２０１は入力画像の各画素に対応した１ビットの情報で表される。すなわち、ある画素のビットは、当該画素が特定物体の領域に含まれるならば”１”、含まれないならば”０”に設定される。２種類以上の特定物体の領域を識別する場合には、各画素に対応した２ビット以上の情報として識別結果情報２０１を表すことができる。特定物体の領域の識別単位を１画素より大きな単位、例えばｎ×ｍ画素の領域とすることも可能であり、この場合には、その識別単位に対応した１ビット又は複数ビットの情報として識別結果情報２０１を表現することができる。ただし、以上は例示にすぎず、識別結果情報２０１の表現形式は基本的に任意である。
【００２５】
データ処理部３００は、マルチバンド画像データ１００に対し特定の処理を施す手段であるが、その処理内容が識別結果情報２０１に従って制御される。ここに示す例では、データ処理部３００は、入力画像データ１００であるマルチバンド画像データから、プリンタ等の画像出力装置４００へ出力するのに適した色信号データ３０１を生成するが、そのための色変換や明度補正が識別結果情報２０１に従って制御される。
【００２６】
このような画像処理装置は、独立した装置として実現可能であるが、マルチバンドカメラ等の他の機器の組み込み装置として実現することも可能である。後述のように、この画像処理装置をパソコン等のコンピュータ上でソフトウェアにより実現することも可能である。
【００２７】
以下、この実施の形態の実施例について説明する。
【００２８】
［実施例Ａ１］
この実施形態Ａの一実施例によれば、物体識別部２００は図２に示す構成とされ、また、データ処理部３００は図３に示す構成とされる。
【００２９】
図２において、本実施例の物体識別部２００は分光反射率算出手段２１０、光源分光分布データ記憶手段２１１、分光反射率比較手段２１２、物体分光反射率データ記憶手段２１３、分光分布比較手段２１４、物体分光分布データ記憶手段２１５、識別結果出力手段２１６、制御手段２１７及び指示／条件入力手段２１８から構成される。
【００３０】
本実施例においては、指示／条件入力手段２１８によって、識別対象となる１以上の特定物体を指定することができる。また、指示／条件入力手段２１８によって、特定物体の識別方法として、分光反射率を利用する方法と、分分光分布を利用する方法を指定することができる。
【００３１】
まず、分光反射率を利用した物体識別に関して説明する。分光反射率算出手段２１０は、入力画像データ１００であるマルチバンド画像データから分光反射率を算出する手段である。マルチバンド画像データは、各画素の分光分布データを持っており、そのデータは（被写体の分光反射率）×（光源の分光エネルギー）となっている。したがって、簡単には、マルチバンド画像データの各画素のデータを光源の分光分布データで割ることにより、各画素位置での分光反射率を求めることができる。光源の分光分布データの取得及び分光反射率の算出の方法は、指示／条件入力手段２１８により指定することができる。本実施例では、その方法として、次のＡ方法，Ｂ方法，Ｃ方法のいずれかを利用可能であり、指示／条件入力手段２１８により指定することができる。
【００３２】
Ａ方法：光源分光分布データ記憶手段２１１に予め記憶されている光源の分光分布データを利用する方法である。光源分光分布データ記憶手段２１１には、いくつかの典型的な光源の分光分布データ、例えば、自然光源（晴天、曇天）、蛍光灯、白熱灯、１種類以上のストロボ光源などの分光分布データが予め記憶されている。ここに記憶されている光源のいずれかの分光分布データを分光反射率算出に利用したい場合には、指示／条件入力手段２１８より撮影条件（晴天、雨天、蛍光灯など）を指定する。例えば、晴天が指定された場合には、制御手段２１７の制御により、光源分光分布データ記憶手段２１１に記憶されている晴天の分光分布データが分光反射率算出手段２１０に与えられる。分光反射率算出手段２１０は、与えられた光源の分光分布データでマルチバンド画像データを割ることにより、被写体の分光反射率を算出する。
【００３３】
Ｂ方法：分光反射率が既知のマクベスチャート等の物体を被写体とともに撮影したマルチバンド画像データが入力される。このマルチバンド画像データ中のマクベスチャート等の物体の分光分布データを既知の分光反射率で割ることにより、撮影時の光源の分光分布データを取得する方法である。この方法が指示／条件入力手段２１８により指定された場合には、制御手段２１７の制御により、物体分光反射率データ記憶手段２１３に予め記憶されているマクベスチャート等の分光反射率データが分光反射率算出手段２１０に与えられ、分光反射率算出手段２１０では、この分光反射率データを用いて光源の分光分布を取得し、それを用いて被写体のデータを割ることにより被写体の分光反射率を算出する。
【００３４】
Ｃ方法：前記特許文献２に記載された方法である。この方法が指定された場合には、制御部２１７の制御により、補助光源（例えばストロボ光源）の分光分布データが光源分光分布データ記憶手段２１１より読み出されて分光反射率算出手段２１０に与えられる。そして、まず、前記補助光源を用いて撮影した第１のマルチバンド画像データが入力され、次に、補助光源を用いずに同一の被写体を撮影したマルチバンド画像データが入力される。分光反射率算出手段２１０は、第１のマルチバンド画像データと第２のマルチバンド画像データの差データを求め、それを補助光源の分光分布データで割ることにより、被写体の分光反射率を算出する。
【００３５】
なお、指示／条件入力手段２１８は、人が直接的に操作する手段であっても、マルチバンド画像データに付加されている撮影条件などの情報の解析により自動的に指示／条件を入力する手段であっても、さらには、マルチバンドカメラから出力される撮影条件信号などを単に制御手段２１７に中継する手段であってもよく、いずれの態様も本発明に包含される。
【００３６】
分光反射率比較手段２１２は、分光反射率算出手段２１０により求められた分光反射率データと、物体分光反射率データ記憶手段２１３に予め記憶されている１つ以上の特定物体の分光反射率データとの比較を、領域識別単位（画素又は画素群）毎に行い、ある特定物体の分光反射率データとの一定度合い以上の一致が得られた領域識別単位を、当該特定物体の領域と判定する手段である。識別対象となる特定物体は、指示／条件入力手段２１８から指定することができる。制御手段２１７は、指定された物体を特定物体として選択し、指定されないない場合にはデフォルトの１以上の物体を特定物体として選択し、選択した物体の分光反射率データを物体反射率データ記憶手段２１３より読み出して分光反射率比較手段２１２に与える。
【００３７】
分光反射率は、色のような心理物理量とは異なり、被写体に依存する純粋な物理量である。よって、これを用いることで、被写体が何であるかを高精度に特定することが可能になる。例えば、人の肌と、肌色の机が撮影された場合、ＲＧＢ値では同じ肌色を示すことがあり得るが、分光反射率によれば両者を精度よく判別できる。分光反射率によれば、植物の緑、青空の青といったものも精度良く識別することができる。
【００３８】
例えば、人間の肌を識別するとする。一概に人間の肌といっても、個人差があり、さらには体の部位によって肌の分光反射率は異なる。また、人種、年齢、性別等によっても分光反射率は異なる。しかし、ある程度の傾向は見られ、分光反射率データを１６次元空間の点とすると、人間の肌として、ある部分空間を設定することは可能である。よって、分光反射率データがこの部分空間内にある場合にのみ人間の肌と判定することにより、人間の肌の領域を高精度に識別可能となる。そのような部分空間は、多くの人間の肌の分光反射率データを集め、分光反射率空間内でのそれらのデータの分布を見ることにより定義することができる。物体分光反射率データ記憶手段２１３に記憶されている分光反射率データは、そのようにして定義された人肌などの特定物体の分光反射率空間内の部分空間を表すデータである。分光反射率比較手段２１２の比較で一定度合い以上の一致が得られるのは、領域識別単位の分光反射率データがそのような部分空間内にあるときである。
【００３９】
分光反射率算出手段２１０で算出される分光反射率は、特定の物体の識別のためのものであるから、必ずしも全ての波長域の分光反射率を算出する必要はない。例えば、特定物体として人肌を識別する場合には、人肌に特徴的ないくつかの波長域の分光反射率だけを算出すれば足りる。このように、特定物体の識別に有効な波長域についてのみ分光反射率を算出するようにすると、分光反射率算出手段２１０の演算負荷が軽減され処理速度の向上に寄与する。このような態様も当然に本発明に包含される。
【００４０】
前述のように、本実施例においては、分光反射率を算出せず、分光分布から特定の物体の領域を識別する方法を選択することができる。指示／条件入力手段２１８により、この方法が指定された場合、制御部２１７の制御により、選択された１つ以上の特定物体の分光分布データが物体分光分布データ記憶手段２１５より読み出されて分光分布比較手段２１４に送られる。分光分布比較手段２１４は、マルチバンド画像データの領域識別単位（画素又は画素群）毎に、その分光分布と特定物体の分光分布との比較を行い、一定度合い以上の一致が得られた領域識別単位を当該特定物体の領域と判定する。このような分光分布による物体識別は、分光反射率を利用する方法に比べ識別精度は低いが、光源の分光分布を知る必要がなく、必要な演算量も少なくなるため、処理の高速化に有利である。したがって、識別する物体やその種類数、必要とされる識別精度などに応じて、分光分布を利用する物体識別方法と分光反射率を利用する物体識別方法とを適応的に使い分けできることは有益である。
【００４１】
識別結果出力手段２１６は、制御手段２１７の制御により、分光反射率比較手段２１２又は分光比較手段２１４により得られた識別結果に基づいて、前述したような識別結果情報２０１を生成し出力する。
【００４２】
なお、図示しないが、マルチバンド画像データより画像中のエッジを検出する手段を設け、分光反射率比較手段２１２又は分光分布比較手段２１４によって特定物体と識別された領域であって、かつ、エッジで囲まれた領域を特定物体の領域と判定するようにしてもよい。このような判定は、例えば識別結果出力手段２１６で行えばよい。このような態様も本発明に包含される。
【００４３】
図３において、本実施例のデータ処理部３００は、第１の変換手段３１０と第２の変換手段３１２により、入力画像データ１００であるマルチバンド画像データをプリンタ等の画像出力手段４００へ出力するのに適した色信号データ３０１に変換する処理が行われ、第２の変換手段３１１の段階で識別結果情報２０１に従った変換の制御が行われる。
【００４４】
第１の変換手段３１０では、マルチバンド画像データを色信号データ３１１に変換する。本実施例では色信号データ３１１はＲＧＢ信号データとするが、例えば、Ｌ＊ａ＊ｂ＊信号などに変換してもよく、そのような態様も本発明に包含される。
【００４５】
より具体的には、第１の変換手段３１０では、マルチバンド画像データより、分光分布データＰ（λ）、ＸＹＺ表色系の等色関数ｘ（λ）、ｙ（λ）、ｚ（λ）を用いて、以下の式により三刺激値ＸＹＺを求め、次に、この三刺激値からＲＧＢ信号への変換を当該色信号の定義に従って行う。
Ｘ＝∫Ｐ（λ）ｘ（λ） ｄλ（λ＝３８０ｎｍ〜７８０ｎｍ）
Ｙ＝∫Ｐ（λ）ｙ（λ） ｄλ（λ＝３８０ｎｍ〜７８０ｎｍ）
Ｚ＝∫Ｐ（λ）ｚ（λ） ｄλ（λ＝３８０ｎｍ〜７８０ｎｍ）
【００４６】
第２の変換手段３１２は、ＲＧＢ信号データ３１１を、プリンタ等の画像出力装置４００に出力するための色信号データ３０１に変換する。本実施例では、色信号データ３０１はＣＭＹＫ信号データとする。その変換の方法は基本的には任意であるが、本実施例では色変換テーブルを用いた線形補間演算による方法を用いるもとのとして説明する。この方法では、図４のように入力色空間（ここではＲＧＢ空間）を格子状に分割し、各格子点に対して色変換パラメータ、すなわち出力用の色信号の値（ここではＣＭＹＫの各値）を設定した色変換テーブルを用いる。格子点間の入力色に関しては、近傍の８つの格子点のパラメータを用いて線形補間により出力色値を求める。このような変換のための色変換テーブル３１４が複数種類用意されており、その中の１つが識別結果情報２０１に従って領域毎に変換制御手段３１３により選択され、その色変換テーブルを用いて第２の変換手段３１２による変換が行われる。つまり、第２の変換手段３１２で用いられる変換パラメータが識別結果情報２０１に従って切り替えられることになる。
【００４７】
例えば、物体識別部２００で、人間の肌を特定物体として物体識別が行われた場合、特定物体と識別された領域については、特定物体（人間の肌）の色を良好に再現する目的に適した色変換テーブルを用いてＲＧＢからＣＭＹＫへの色変換が行われ、それ以外の領域では標準的な色変換テーブルを用いた色変換が行われる。このような構成により、人間の肌の領域に対してのみ記憶色を考慮した色再現が可能となる。なお、人間の肌色、植物の緑色、青空の色などの記憶色と呼ばれる色の物体について物体識別を行えば、それぞれの記憶色を考慮した色再現が可能となる。
【００４８】
［実施例Ａ２］
実施形態Ａの他の一実施例によれば、物体識別部２００は前記実施例Ａ１と同じ構成とされ、データ処理部３００は図５に示す構成とされる。
【００４９】
図５において、本実施例のデータ処理部３００は、入力画像データ１００であるマルチバンド画像データを色信号データ３２１に変換する色変換手段３２０と、この色信号データ３２１の明度補正を行ってプリンタやディスプレイなどの画像出力装置４００に出力する色信号データ３０１を生成する明度補正手段３２２を有する。本実施例においては、色変換手段３２０は前記実施例Ａ１における第１の変換手段３１０と同一の手段であり、マルチバンド画像データより三刺激値ＸＹＺを求め、これをＲＧＢ信号に変換する。すなわち、本実施例では色信号データ３２１はＲＧＢ信号データである。ただし、色信号データ３２１を前記実施例Ａ１に関連して述べたようにＬ＊ａ＊ｂ＊信号などにすることも可能であり、そのような態様も本発明に包含される。
【００５０】
明度補正手段３２２は、色信号デー３２１に明度補正を施して出力色信号データ３０１を生成する。本実施例では色信号データ３０１はＲＧＢ信号データであるが、画像出力装置４００の種類によってはＣＭＹＫ信号データとすることもでき、そのような態様も本発明に包含され。明度補正手段３２２では、後述のようにγ補正により明度補正が行われる。
【００５１】
本実施例のデータ処理部３００は、明度補正手段３２２による明度補正の制御のための補正制御手段３２３を有する。この補正制御手段３２３は、物体識別部２００により識別された特定物体の領域の明るさが適切となるように画像全体に対する明度補正を制御するもので、輝度ヒストグラム算出手段３２４とテーブル切り替え手段３２５からなる。
【００５２】
輝度ヒストグラム算出手段３２４は、識別結果情報２０１により示される特定物体の領域における輝度のヒストグラムを求める手段である。本実施例では、色変換手段３２０で算出される三刺激値ＸＹＺの中の輝度値であるＹ値が輝度ヒストグラムの算出に用いられるが、例えば、色信号データ３２１（ＲＧＢ信号データ）のＧデータを輝度データとみなして輝度ヒストグラムを算出することも可能であり、かかる態様も本発明に包含される。また、色信号データ３２１がＬ＊ａ＊ｂ＊データならば、Ｌ値を用いて輝度ヒストグラムを算出することも可能であり、かかる態様も本発明に包含される。
【００５３】
テーブル切り替え手段３２５は、求められた特定物体の領域における輝度ヒストグラムに基づいて、複数種類の補正テーブル３２６（ここではγ補正テーブル）の中から、特定物体の領域を適切な明るさにするために適切なものを選択する。この選択された補正テーブルを用いて、明度補正手段３２２で画像全体に対する明度補正が行われる。補正テーブルの切り替えとは、明度補正パラメータ（ここではγ係数）を切り替えることに相当する。すなわち、テーブル切り替え手段３２５は、特定物体の領域における明るさに応じて明度補正パラメータを切り替えるための手段である。より具体的に述べれば、特定物体の領域の輝度ヒストグラムから、特定物体の領域が暗いと判断される場合には、例えば図６に示す上に凸の特性カーブＡを持つ補正テーブルが選択される。これと逆に、特定物体の領域が明るすぎると判断される場合には、図６に示す下に凸の特性カーブＢを持つ補正テーブルが選択される。図６にはＡ，Ｂ２種類の特性カーブが示されているが、特性カーブＡ，Ｂの中間的な特性カーブを持つ補正テーブルも用意され、特定物体領域の明るさに応じて適当と判断される補正カーブの補正テーブルが選択される。このような補正カーブ（補正パラメータ）の制御により、例えば、人間の肌の領域が適切な明るさとなるように画像全体の明るさが補正された色信号データ３０１を得ることができる。
【００５４】
補正テーブル３２６は色信号データ３２１の各成分つまりＲＧＢ各成分に対応して用意することも可能であるが、補正による色バランスの乱れを減らすために、例えばＧ成分用の補正テーブルだけを用意し、Ｒ，Ｂ成分についてはＧ成分と同じ比率で補正するのが一般的である。
【００５５】
なお、本実施例では明度補正手段３２２を色変換手段３２０と独立させて設けているが、色変換手段３２０の変換パラメータを制御することによって、同様の明度補正を行うことも可能である。このように、色変換手段３２０で明度補正手段を兼ねる態様も本発明に包含される。
【００５６】
［実施形態Ｂ］
図７は、本発明の他の実施の形態に係る画像処理装置の全体ブロック図である。
【００５７】
この実施の形態に係る画像処理装置に対する入力画像データ５００は、被写体を色分解フィルタを通して撮影することにより得られた色信号データ５０１と、それと同じ被写体を、特定物体の識別に有効な透過波長域を有する１種類又は数種類のフィルタを介して撮影して得られた１チャンネル又は数チャンネルの分光信号データ５０２からなる。ここに示す例では、色信号データ５０１はＲＧＢ信号データであるが、ＣＭＹ信号データとすることも可能であり、かかる態様も本実施形態に包含される。また、特定物体として例えば人間の肌を識別する場合には、人間の肌の分光反射率において特徴的な１つ又は２，３の波長域の分光信号データ５０２を入力すればよい。
【００５８】
このような入力画像データ５００は、撮影手段から直接入力することもメモリ等を介して入力することも可能であるが、ここに示す例ではバッファ記憶のためのメモリ等を含む画像入力部５１０を介して入力画像データ５００が入力されるものとしている。
【００５９】
この実施形態に係る画像処理装置は、前記画像入力部５１０、物体識別部６００及びデータ処理部７００から構成され、入力画像データ５００は物体識別部２００に入力され、また、入力画像データ５００中の色信号データ（ＲＧＢ信号データ）５０１はデータ処理部７００に入力される。
【００６０】
物体識別部６００は、入力画像データ５００から、１以上の特定の物体の領域を識別する処理を行う手段である。物体識別部６００により識別された特定物体の領域の情報は識別結果情報６０１として出力され、これはデータ処理部７００に入力される。識別結果情報６０１は前記実施形態Ａにおける識別結果情報２０１と同様な表現形式とすることができる。
【００６１】
データ処理部７００は、入力画像データ５００中の色信号データ（ＲＧＢ信号データ）５０１に対し特定の処理を施す手段であるが、その処理内容が識別結果情報６０１に従って制御される。ここに示す例では、データ処理部７００において、色信号データ５０１から、プリンタ等の画像出力装置８００へ出力するのに適した色信号データ７０１を生成するが、そのための色変換や明度補正が識別結果情報に従って制御される。
【００６２】
このような画像処理装置は、独立した装置として実現可能であるが、画像撮影機器の組み込み装置として実現することも可能である。後述のように、この画像処理装置をパソコン等のコンピュータ上でソフトウェアにより実現することも可能である。
【００６３】
以下、この実施の形態の実施例について説明する。
【００６４】
［実施例Ｂ１］
この実施形態Ｂの一実施例によれば、物体識別部６００は図８に示す構成とされ、また、データ処理部７００は図９に示す構成とされる。
【００６５】
図８において、本実施例の物体識別部６００は色判定手段６１０、レベル判定手段６１１、領域判定手段６１２及び識別結果出力手段６１３からなる。
【００６６】
色判定手段６１０は、色信号データ（ＲＧＢ信号データ）５０１により表される色が、識別しようとする特定の物体の色とみなし得るか否かを領域識別単位（画素又は画素群）毎に判定する手段である。より具体的には、入力色空間内の特定の物体（例えば人間の肌）の色が含まれる部分空間を予め定義しておき、入力色がその部分空間に含まれるか否かを判定する。レベル判定手段６１１は、分光信号データ５０２の各波長域のレベルが、特定物体について予め定義されたレベル範囲に含まれるか否かを領域識別単位毎に判定する手段である。領域判定手段６１２は、色判定手段６１０で特定物体の色と判定され、かつ、レベル判定手段６１１で特定物体のレベル範囲と判定された領域を特定物体の領域と判定する手段である。このように、色とレベルの両方を利用する特定物体識別方法によれば、色判定又はレベル判定のみによる方法に比べ識別精度が向上する。
【００６７】
識別結果出力手段６１３は、領域判定手段６１２による判定結果、すなわち特定物体の領域識別結果を表す識別結果情報６０１を生成し出力する。
【００６８】
ここでは便宜上、識別対象の物体は１種類として説明するが、前記実施形態Ａと同様に複数種類の物体のうちの１つ又は複数を指定できるようにしてもよい。この場合には、色判定及びレベル判定のための色データ及びレベルデータが物体対応に予め用意されることになる。かかる態様も本実施形態に包含されることは当然である。
【００６９】
図示しないが、色信号データ（ＲＧＢ信号データ）６１０より画像中のエッジを検出する手段を設け、領域判定手段６１２で、エッジで囲まれた領域のみを特定物体の領域と判定するようにしてもよい。このような態様も本実施形態に包含される。
【００７０】
図９において、本実施例のデータ処理部７００は、色信号データ（ＲＧＢ信号データ）５０１をプリンタ等の画像出力手段４００へ出力するのに適した色信号データ７０１に変換する色変換手段７１０を有する。本実施例では、色信号データ７０１はＣＭＹＫ信号データであるが、ＲＧＢ信号データなどでもよく、かかる態様も本実施形態に包含される。
【００７１】
色変換手段７１０における変換の方法は基本的には任意であるが、本実施例では前記実施例Ａ１の第２の変換手段３１２と同じ変換方法が用いられるものとする。
【００７２】
データ処理部７００は、色変換手段７１０による色変換のための色変換テーブル７１２を有する。色変換テーブル７１２としては、特定物体の領域の色変換のための色変換テーブルと、それ以外の領域の色変換に適用される色変換テーブルが用意される。データ処理部７００は、識別結果情報７０１に従って領域毎に、色変換手段７１０で利用される色変換テーブル７１２を選択することにより色変換パラメータを切り替える変換制御手段７１３を有する。
【００７３】
例えば、物体識別部６００で、人間の肌を特定物体として物体識別が行われた場合、特定物体と識別された領域については、特定物体（人間の肌）の色を良好に再現する目的に適した色変換テーブルを用いてＲＧＢからＣＭＹＫへの色変換が行われ、それ以外の領域では標準的な色変換テーブルを用いた色変換が行われる。このような構成により、人間の肌に対してのみ記憶色を考慮した色再現が可能となる。植物の緑色、青空の色などの記憶色と呼ばれる色の物体について物体識別を行えば、それぞれの記憶色を考慮した色再現が可能となることは明白である。
【００７４】
［実施例Ｂ２］
実施形態Ｂの他の一実施例によれば、物体識別部６００は前記実施例Ｂ１と同じ構成とされるが、データ処理部７００は図１０に示す構成とされる。
【００７５】
図１０において、本実施例のデータ処理部７００は、色信号データ（ＲＧＢ信号データ）５０１の明度補正を行ってプリンタやディスプレイなどの画像出力装置８００に出力する色信号データ７０１を生成する明度補正手段７２０を有する。本実施例では色信号データ７０１はＲＧＢ信号データである。明度補正はγ補正により行われる。
【００７６】
本実施例のデータ処理部７００は、明度補正手段７２０による明度補正の制御のための補正制御手段７２１を有する。この補正制御手段７２１は、物体識別部６００により識別された特定物体の領域の明るさが適切となるように画像全体に対する明度補正を制御するもので、輝度ヒストグラム算出手段７２２とテーブル切り替え手段７２３からなる。
【００７７】
輝度ヒストグラム算出手段７２２は、識別結果情報６０１により示される特定物体の領域における輝度ヒストグラムを求める手段である。本実施例では、色信号データ５０１がＲＧＢ信号データであるので、そのＧ信号データを輝度データをみなして輝度ヒストグラムの算出が行われる。
【００７８】
テーブル切り替え手段７２３は、求められた特定物体の領域の輝度ヒストグラムに基づいて、複数種類の補正テーブル７２４（ここではγ補正テーブル）の中から、特定物体領域を適切な明るさに補正するための補正テーブルを選択する。この選択された補正テーブルを用いて、明度補正手段７２０で画像全体に対する明度補正が行われる。補正テーブルの切り替えとは、明度補正パラメータ（ここではγ係数）を切り替えることに相当する。すなわち、テーブル切り替え手段７２３は、特定物体の領域の輝度ヒストグラムに応じて明度補正パラメータを切り替えるための手段である。より具体的に述べれば、特定物体の領域の輝度ヒストグラムから、特定物体の領域が暗いと判断される場合には、例えば図６に示す上に凸の特性カーブＡを持つ補正テーブルが選択される。これと逆に、特定物体の領域が明るすぎると判断される場合には、図６に示す下に凸の特性カーブＢを持つ補正テーブルが選択される。図６にはＡ，Ｂ２種類の特性カーブが示されているが、特性カーブＡ，Ｂの中間的な特性カーブを持つ補正テーブルも用意され、特定物体領域の明るさに応じて適当と判断される補正カーブが選択される。このような補正カーブ（補正パラメータ）の制御により、例えば、人間の肌の領域が適切な明るさとなるように画像全体が明度補正された色信号データ７０１を得ることができる。
【００７９】
補正テーブル７２４はＲＧＢ各成分に対応して用意することも可能であるが、補正による色バランスの乱れを減らすために、例えばＧ成分用の補正テーブルだけを用意し、Ｒ，Ｂ成分についてはＧ成分と同じ比率で補正するのが一般的である。
【００８０】
以上に説明した本発明の画像処理装置における処理の手順は、本発明の画像処理方法の手順でもある。したがって、本発明の画像処理方法についての説明を繰り返さないが、本発明の画像処理方法の手順をパソコンやマイクロコンピュータなどのコンピュータ上でソフトウェア処理により容易に実現し得ることは明白である。そのためのプログラムは、アプリケーションプログラムの形をとることもできるが、プリンタドライバなどの画像出力装置用のドライバの形をとることが実際的であろう。また、本発明の画像処理装置はハードウェアとして実現し得ることは当然であるが、さらに、コンピュータ上でソフトウェア処理により実現し得ることも明白である。本発明の画像処理装置又は方法をコンピュータ上で実現するためのプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種記録（記憶）媒体も本発明に包含される。
【００８１】
【発明の効果】
以上の説明から明らかなように、（１）請求項１乃至１１の発明によれば、例えば記憶色と呼ばれる色の物体などが含まれる画像に対し適切な処理が可能となる。特に、（２）請求項２，７，１０の発明によれば、人間の肌などの特定の物体を高精度に識別できるため、その識別結果に応じた処理制御の精度も向上する。（３）請求項３の発明によれば、分光反射率データを求めるための演算量が減り物体識別のための処理を高速化できる。（４）請求項４の発明によれば、必要とされる識別精度や識別すべき特定物体の種類数などに応じて、分光反射率による物体識別と分光分布による物体識別の使い分けが可能となる。（５）請求項５，８，１０の発明によれば、人間の肌などの記憶色と呼ばれる色の物体が含まれる画像に対し領域毎に記憶色を考慮した色変換などを行うことができる。（６）請求項６，９，１１の発明によれば、特定物体が含まれる画像に対し、特定物体の領域が適当な明るさとなるように明度補正を行うことができる、等々の効果をえられる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の全体ブロック図である。
【図２】本発明の第１の実施形態の第１及び第２の実施例における物体識別部のブロック図である。
【図３】本発明の第１の実施形態の第１の実施例におけるデータ処理部のブロック図である。
【図４】色変換方法の説明図である。
【図５】本発明の第１の実施形態の第２の実施例におけるデータ処理部のブロック図である。
【図６】明度補正テーブルの説明図である。
【図７】本発明の第２の実施形態に係る画像処理装置の全体ブロック図である。
【図８】本発明の第２の実施形態の第１及び第２の実施例における物体識別部のブロック図である。
【図９】本発明の第２の実施形態の第１の実施例におけるデータ処理部のブロック図である。
【図１０】本発明の第２の実施形態の第２の実施例におけるデータ処理部のブロック図である。
【符号の説明】
１１０ 画像入力部
２００ 物体識別部
２１０ 分光反射率算出手段
２１２ 分光反射率比較手段
２１４ 分光分布比較手段
２１６ 識別結果出力手段
３００ データ処理部
３１０ 第１の変換手段
３１２ 第２の変換手段
３１３ 変換制御手段
３１４ 色変換テーブル
３２０ 色変換手段
３２２ 明度補正手段
３２３ 補正制御手段
３２４ 輝度ヒストグラム算出手段
３２５ テーブル切り替え手段
３２６ 補正テーブル
５１０ 画像入力部
６００ 物体識別部
６１０ 色判定手段
６１１ レベル判定手段
６２２ 領域判定手段
６１３ 識別結果出力手段
７００ データ処理部
７１０ 色変換手段
７１２ 色変換テーブル
７１３ 変換制御手段
７２０ 明度補正手段
７２１ 補正制御手段
７２２ 輝度ヒストグラム算出手段
７２３ テーブル切り替え手段
７２４ 補正テーブル
Claims (13)
- 透過波長域の異なる複数のフィルタを通して被写体を撮影して得られたマルチバンド画像データが入力され、
前記マルチバンド画像データより、画像中の特定物体の領域を識別して識別結果情報を生成する物体識別手段と、
前記マルチバンド画像データに対し所定のデータ処理を施すデータ処理手段とを有し、
前記データ処理手段は前記データ処理を前記識別結果情報に従って制御する手段を含むことを特徴とする画像処理装置。 - 前記物体識別手段は、前記マルチバンド画像データより分光反射率データを取得する手段を含み、該手段により得られた分光反射率データに基づいて特定物体の領域の識別を行うことを特徴とする請求項１に記載の画像処理装置。
- 前記分光反射率データを取得する手段は、特定物体の識別に有効な一部の波長域に関する分光反射率データのみを取得することを特徴とする請求項２に記載の画像処理装置。
- 前記物体識別手段は分光分布に基づいて特定物体の領域を識別する手段をさらに含むことを特徴とする請求項２に記載の画像処理装置。
- 前記データ処理は前記マルチバンド画像データを色信号データに変換する処理であり、該変換のための変換パラメータが、前記データ処理を制御する手段により前記識別結果情報に従って領域毎に制御されることを特徴とする請求項１，２，３又は４に記載の画像処理装置。
- 前記データ処理は前記マルチバンド画像データを色信号データに変換する処理であり、該処理には色信号データの明度補正が含まれ、画像全体に対する該明度補正のための補正パラメータが、前記データ処理を制御する手段により前記識別結果情報により示される特定物体の領域における明るさに基づいて制御されることを特徴とする請求項１，２，３又は４に記載の画像処理装置。
- 被写体を色分解フィルタを通して撮影することにより得られた色信号データ、及び、前記被写体を特定の透過波長域を有する１種類以上のフィルタを介して撮影して得られた１チャンネル以上の分光信号データが入力され、
前記色信号データ及び前記分光信号データより、画像中の特定物体の領域を識別して識別結果情報を生成する物体識別手段と、
前記色信号データに対し所定のデータ処理を施すデータ処理手段とを有し、
前記データ処理手段は前記データ処理を前記識別結果情報に従って制御する手段を含み、
前記物体識別手段は、前記色信号データの色判定を行う手段と前記分光信号データのレベル判定を行う手段を含み、前記色判定の結果及び前記レベル判定の結果に基づいて特定物体の領域を識別することを特徴とする画像処理装置。 - 前記データ処理は前記色信号データの他の表色系又は同一の表色系の色信号データへ変換する処理であり、該変換のための変換パラメータが領域毎に、前記データ処理を制御する手段により前記識別結果情報に従って制御されることを特徴とする請求項７に記載の画像処理装置。
- 前記データ処理は前記色信号データの明度補正を含み、画像全体に対する前記明度補正のための補正パラメータが、前記データ処理を制御する手段により、前記識別結果情報により示される特定物体の領域における明るさに基づいて制御されることを特徴とする請求項７に記載の画像処理装置。
- 透過波長域の異なる複数のフィルタを通して被写体を撮影して得られたマルチバンド画像データより分光反射率データを取得し、得られた分光反射率データに基づいて画像中の特定物体の領域を識別して識別結果情報を生成する物体識別ステップと、
前記マルチバンド画像データの色信号データへの変換を行うデータ処理ステップとを有し、
前記データ処理ステップにおいて、前記変換のための変換パラメータを前記識別結果情報に従って領域毎に制御することを特徴とする画像処理方法。 - 透過波長域の異なる複数のフィルタを通して被写体を撮影して得られたマルチバンド画像データより分光反射率データを取得し、得られた分光反射率データに基づいて画像中の特定物体の領域を識別して識別結果情報を生成する物体識別ステップと、
前記マルチバンド画像データの色信号データへの変換及び明度補正の処理を行うデータ処理ステップとを有し、
前記データ処理ステップにおいて、画像全体に対する前記明度補正のための補正パラメータを、前記識別結果情報により示される特定物体の領域における明るさに基づいて制御することを特徴とする画像処理方法。 - 請求項１０又は１１に記載の物体識別ステップ及びデータ処理ステップをコンピュータにより実行させるプログラム。
- 請求項１２に記載のプログラムが記録されたコンピュータが読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003198337A JP2005039408A (ja) | 2003-07-17 | 2003-07-17 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003198337A JP2005039408A (ja) | 2003-07-17 | 2003-07-17 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005039408A true JP2005039408A (ja) | 2005-02-10 |
Family
ID=34208143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003198337A Pending JP2005039408A (ja) | 2003-07-17 | 2003-07-17 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005039408A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006242909A (ja) * | 2005-03-07 | 2006-09-14 | Toyota Central Res & Dev Lab Inc | 対象物の部位判別装置 |
| JP2009160105A (ja) * | 2007-12-28 | 2009-07-23 | Panasonic Electric Works Co Ltd | 生体情報計測装置 |
| JP2010055546A (ja) * | 2008-08-29 | 2010-03-11 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| WO2019026190A1 (ja) * | 2017-08-01 | 2019-02-07 | オリンパス株式会社 | 被写体特定装置および被写体特定方法 |
| CN113099191A (zh) * | 2021-03-22 | 2021-07-09 | 浙江大华技术股份有限公司 | 一种图像处理方法及装置 |
| CN118177962A (zh) * | 2024-05-15 | 2024-06-14 | 深圳市美莱雅智能科技有限公司 | 基于肤色识别的输出能量控制方法、装置、介质及脱毛仪 |
-
2003
- 2003-07-17 JP JP2003198337A patent/JP2005039408A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006242909A (ja) * | 2005-03-07 | 2006-09-14 | Toyota Central Res & Dev Lab Inc | 対象物の部位判別装置 |
| JP2009160105A (ja) * | 2007-12-28 | 2009-07-23 | Panasonic Electric Works Co Ltd | 生体情報計測装置 |
| JP2010055546A (ja) * | 2008-08-29 | 2010-03-11 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| US8854501B2 (en) | 2008-08-29 | 2014-10-07 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for processing spectral image data |
| WO2019026190A1 (ja) * | 2017-08-01 | 2019-02-07 | オリンパス株式会社 | 被写体特定装置および被写体特定方法 |
| US10989596B2 (en) | 2017-08-01 | 2021-04-27 | Olympus Corporation | Subject identification device and subject identification method |
| CN113099191A (zh) * | 2021-03-22 | 2021-07-09 | 浙江大华技术股份有限公司 | 一种图像处理方法及装置 |
| CN118177962A (zh) * | 2024-05-15 | 2024-06-14 | 深圳市美莱雅智能科技有限公司 | 基于肤色识别的输出能量控制方法、装置、介质及脱毛仪 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7969483B2 (en) | White balance control method, imaging apparatus and storage medium storing white balance control program | |
| US7835569B2 (en) | System and method for raw image processing using conversion matrix interpolated from predetermined camera characterization matrices | |
| JP4955235B2 (ja) | デジタルカメラおよびゲイン算出方法 | |
| US6160579A (en) | Image processing apparatus and method | |
| EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
| US7773127B2 (en) | System and method for RAW image processing | |
| US20040095478A1 (en) | Image-capturing apparatus, image-processing apparatus, image-recording apparatus, image-processing method, program of the same and recording medium of the program | |
| US20080211925A1 (en) | White balance correction apparatus and method | |
| JP5080934B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
| US20020106206A1 (en) | Image-capturing device | |
| WO2004045219A1 (ja) | 光源推定装置、光源推定方法、撮像装置および画像処理方法 | |
| WO2007037327A1 (ja) | 画像信号処理装置及び画像信号処理プログラム | |
| WO2012024163A2 (en) | Image capture with identification of illuminant | |
| JP2007036462A (ja) | 画像処理装置 | |
| JPH11113018A (ja) | 撮像装置 | |
| JP2005039408A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| US20070120984A1 (en) | Imaging device | |
| JP2000333185A (ja) | 撮影装置並びにホワイトバランス調整方法および装置 | |
| JP5070921B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
| US7535503B2 (en) | Image processing apparatus, image processing program, and image processing method for performing edge enhancement processing | |
| JP4529210B2 (ja) | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
| JPH10224645A (ja) | 画像濃度調整装置及び画像濃度調整方法 | |
| KR101903428B1 (ko) | 연관 이미지간 컬러 보정 시스템 및 보정방법 | |
| WO2007032324A1 (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2005078171A (ja) | 分光画像データ処理方法および分光画像データ処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080125 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080528 |