JP2004538555A

JP2004538555A - デジタル画像を分類する方法

Info

Publication number: JP2004538555A
Application number: JP2002590083A
Authority: JP
Inventors: デン、イニン; トレッター、ダニエル・アール
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2001-05-14
Filing date: 2002-05-14
Publication date: 2004-12-24
Also published as: TW550518B; US20020181767A1; EP1395953A1; US6580824B2; WO2002093484A1

Abstract

セピア調デジタル画像（３１０）を分類する方法およびシステムを説明する。例示的な方法は、デジタル画像（３１０）のＲＧＢ値を色相・彩度・明度（ＨＳＶ）値に変換すること（１００）を含む。所定明度または彩度閾値（３７０）を上回らないデジタル画像（３１０）のピクセルを、画像（３１０）から除去する（１１０）。残りのピクセルを分析し（１２０）、分析の結果に基づいてセピア調画像として分類する（１３０）。さらに、セピア調画像を認識するようにシステムをトレーニングする方法を開示する。

Description

【技術分野】
【０００１】
本発明は、デジタル画像データベースおよび分類システムに関し、特に、デジタルフォーマットに変換されたセピア調写真の分類に関する。
【背景技術】
【０００２】
自動画像分類は、特に特別な種類の画像、すなわちセピア調の白黒写真を分類する際に、多くの重要な応用性を有する。これらの画像には、本来白黒であった古い写真からスキャンされたものもある。長年の間に、それらは、フィルム紙の化学反応により徐々に黄色または茶色になる。また、他のセピア調画像の多くは、見た目を古くするために化学的にかまたはデジタルに特別に製作されている。
【０００３】
セピア調の写真の分類は、いくつかの適用において有用である。特別な色調であるために、多くの汎用カラー画像処理技術は、これらの画像に対してうまく作用しない。たとえば、画像形成システムにおける、単に皮膚の色に基づいて顔を検出する顔検出アルゴリズムは、皮膚の色が変化したためこれらの写真に対して正しい結果をもたらさない可能性がある。セピア調の画像を検出することにより、システムは、これらの画像をあり得る誤りを回避するように適切に処理することができる。たとえば、目尻等、色変化に対して変化しない特徴を使用する代替アルゴリズムを使用して、顔を検出することができる。したがって、画像認識システムの検出精度を、大幅に向上させることができる。
【０００４】
また、セピア調画像は、自動色バランスまたは画質向上プロセスに問題をもたらす可能性もある。セピア調では色が狭く集中しているため、画像を、誤って色がアンバランスであるとみなす可能性がある。これらの画像に対する色補正は、望ましくないカラーアーティファクトをもたらす可能性がある。カラー画像形成プロセスは、いかなる種類の画像が処理されているかを事前に知る場合、適当に反応しより優れた結果に達することができる。
【０００５】
セピア調画像分類の別の適用は、画像インデックス化にある。大型の画像データベースまたは集まりは、画像を有効に類別し、効率的に走査し、迅速に検索することができるように、優れたインデックス化機構が必要である。従来のシステムは、たとえば、ファイル作成日付、ファイル名、ファイル拡張等、画像ファイルに関する記述的情報を使用して、特定の情報をデータベースに格納しデータベースから検索する。画像分類のこの形態は、いかなる他のデジタル情報の分類とも大きくは異ならない。
【０００６】
ファイル情報に依存することにより、ファイルに関するおおまかな情報のみを取得することができるが、本質的に画像に関する情報をまったく取得することができない。たとえば、画像ファイルは、画像のタイプまたは内容とは関係のない名前を有する場合があり、たとえば、白黒画像が「color_image（カラー画像）」というファイル名を有する可能性がある。花、犬等、画像の内容に基づく分類を提供する他のシステムもある。実際には、これは通常、キーワード注釈によって行われ、それは面倒な作業である。
【０００７】
過去何年かの間に、画像データベースで使用するように設計された画像分類技術が提案されてきた。しかしながら、これらの従来技術のいずれも、セピア調画像を識別することを扱っていなかった。これらの従来技術の例には、以下の論文がある。
【非特許文献１】
S. F. Chang、W. ChenおよびH. Sundaram著「Semantic visual templates: linking visual features to semantics」Proc. of IEEE Intl. Conf. on Image Processing、vol.3、p.531-35、1998。
【非特許文献２】
S. PaekおよびS.-F. Chang著「A Knowledge engineering approach for image classification based on probabilistic reasoning systems」Proc. of Intl. Conf. On Multimedia & Expo、2000。R. Qian、N. Haering
【非特許文献３】
I. Sezan著「A computational approach to semantic event detection」Proc. of IEEE Conf. Computer Vision and Pattern Recognition、vol.1、p.200-06、1999。
【非特許文献４】
M. SzummerおよびR. W. Picard著「Indoor-outdoor image classification」Proc. of IEEE Workshop on Content-Based Access of Image and Video Libraries、p.42-51、1998。
【非特許文献５】
A.Vailaya、M.Figueiredo、A.JainおよびH.-J.Zhang著「A Bayesian framework for semantic classification of outdoor vacation images」Proc. of SPIE: Storage and Retrieval for Image and Video databases VII、vol. 3656、p.415-26、1999。
【非特許文献６】
A.VailayaおよびA.Jain著「Detecting sky and vegetation in outdoor images」Proc. of SPIE: Storage and Retrieval for Image and Video databases 2000、vol. 3972、p.411-20、2000。
【非特許文献７】
N.VasconcelosおよびA.Lippman著「A Bayesian framework for semantic content characterization」Proc. of IEEE Conf. on Computer Vision and Pattern Recognition、p.566-71、1999。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
画像データベースは、しばしば、色の解像度が異なるカラー画像（たとえば、１６、２５６、１６ビットおよび２４ビット色）、グレイスケール画像、白黒画像、セピア調画像等、異なる特徴を有する画像を含む。従来の画像分類技術は、自動セピア調画像分類を扱わない。セピア調画像は、従来の画像処理技術で使用される場合に難題をもたらす可能性があり、多くのセピア調画像は価値のある古い写真であるため、画像自体の特性を分析し画像がセピア調画像であるか否かにしたがって画像を分類することができる画像分類システムを有することが望ましい。
【課題を解決するための手段】
【０００９】
本発明は、セピア調を含むデジタル画像を分類する方法およびシステムに関する。例示的な方法は、デジタル画像の第１の色空間の値を色相・彩度・明度（ＨＳＶ）値に変換すること、彩度閾値および明度閾値のうちの少なくとも１つを下回るデジタル画像のいかなるピクセルも除去すること、除去するステップの後で、デジタル画像の残りのピクセルを分析すること、デジタル画像の残りのピクセルの分析に基づいて、デジタル画像をセピア調画像として分類することとを含む。
【００１０】
代替実施形態は、セピア調画像の所定色分布に基づいて残りのピクセルの各々がセピア調である確率を推定すること、デジタル画像がセピア調画像である確率を求めることとを提供する。
【００１１】
セピア調画像を検出するようにシステムをトレーニングする例示的な方法は、複数のトレーニング画像の第１の色空間の値をＨＳＶ値に変換することであって、トレーニング画像はセピア調画像である、変換すること、複数のトレーニング画像の各々に対し彩度閾値および明度閾値のうちの少なくとも１つを下回るトレーニング画像のいかなるピクセルも除去すること、除去するステップの後に、複数のトレーニング画像に対し残りのピクセルに対するＨＳＶ値の色分布を推定することとを含む。
【００１２】
本発明の上記特徴および利点、ならびに本発明の追加の特徴および利点は、図面を参照して本発明の以下の詳細な説明からより理解されよう。
【発明を実施するための最良の形態】
【００１３】
図１は、セピア調画像を分類する例示的な方法のフローチャートを示す。ステップ１００では、デジタル画像の第１の色空間の値を、色相・彩度・明度値（ＨＳＶ）に変換する。当業者は、デジタル画像を、カラー画像、グレイスケール画像、セピア調画像からなるグループのうちの少なくとも１つを含む、画像データベースに格納された複数のデジタル画像から検索することができることを理解するであろう。さらに、第１の色空間は、色空間のいかなる既知の表現であってもよい。しかしながら、限定のためでなく説明のために、残りの説明では、第１の色空間を赤、緑、青（ＲＧＢ）色空間と呼ぶ。したがって、説明した変換は、ＲＧＢからＨＳＶである。
【００１４】
例示的な方法では、ＲＧＢ値を正規化する（すなわち、０〜１．０の範囲を有するようにする）。そして、変換式を次のように与えることができる。
【００１５】
Max＝Max（R,G,B）
Min＝Min（R,G,B）
Val＝Max
If（Val＝０）Sat＝０, else Sat＝１−Min／Val
If（Sat＝０）Hueは不確定、 else
Hue＝
（Ｇ−Ｂ）／（Max−Min）×６０ if（Ｒ＝Max∧（Ｇ−Ｂ）≧０）
（Ｇ−Ｂ）／（Max−Min）×６０＋３６０ if（Ｒ＝Max∧（Ｇ−Ｂ）＜０）
（２．０＋（Ｂ−Ｒ）／（Max−Min））×６０ if（Ｇ＝Max）
（４．０＋（Ｒ−Ｇ）／（Max−Min））×６０ if（Ｂ＝Max）
ここで、Ｈの範囲は０〜３６０度であり、Ｓの範囲は０〜１．０であり、Ｖの範囲は０〜１．０である。しかしながら、当業者は、他の変換式を使用することができることを理解するであろう。さらに、白黒画像を、ＲＧＢからＨＳＶへの色空間変換ステップにおいて直接識別することができ、それ以上考慮しなくてもよいことが理解されよう。
【００１６】
ステップ１１０において、彩度閾値および明度閾値のうちの少なくとも１つを下回るデジタル画像のいかなるピクセルも除去する。彩度または明度の低いピクセルを考慮しないのは、それらがその色相値にかかわらずグレイとして見える傾向にあるためである。ピクセルを、以下の基準に基づいて除去する。
【００１７】
（１−Ｓ）^３＋（１−Ｖ）^３≧ｃ^３
ここで、ｃは０．９４に設定された閾値であり、Ｓは０〜１．０の範囲の彩度値であり、Ｖは０〜１．０の範囲の明度値である。
【００１８】
ステップ１２０において、除去するステップの後、デジタル画像の残りのピクセルを分析する。ステップ１３０において、デジタル画像の残りのピクセルの分析に基づいて、デジタル画像をセピア調画像として分類する。分類には、画像に対して実行することができる、検索、表示、タグ付け、格納等のうちの少なくとも１つが含まれる。たとえば、プロセスは、画像データベースのセピア調画像にタグ付けすることができ、それにより、別のプログラムがそのタグ付けされたセピア調画像に対して特別な画像処理手続きを実行することができ、あるいはそのセピア調タグに基づいて画像データベースから画像を検索することができる。
【００１９】
任意に、ステップ１２２において、セピア調画像の所定の色分布に基づいて残りのピクセルの各々がセピア調であるという確率を求めることにより、分析を実行する。所定の色分布を、後述するトレーニング段階で求めることができる。そして、ステップ１２４において、デジタル画像がセピア調画像である確率を求める。ステップ１２６において、デジタル画像がセピア調画像である確率を、セピア調画像を識別するための所定閾値と比較する。たとえば、デジタル画像がセピア調画像である確率が所定閾値より大きい場合、画像がセピア調であると判定する。当業者は、セピア調画像を識別するための所定閾値を、トレーニング段階中に求めることも可能であることを理解するであろう。
【００２０】
図２を参照して、セピア調画像を検出するようにシステムをトレーニングする方法のフローチャートを示す。ステップ２００において、複数のトレーニング画像のＲＧＢ値を、ＨＳＶ値に変換する。トレーニング画像は、好ましくはセピア調画像である。当業者は、トレーニング画像のセットにおいてセピア調画像ではない画像を使用してもよいことを理解するであろう。しかしながら、その場合、トレーニング画像を、セピア調であるか否か識別しなければならない。ステップ２１０において、複数のトレーニング画像の各々に対し、彩度閾値および明度閾値のうちの少なく１つを下回るトレーニング画像のいかなるピクセルも除去する。そして、ステップ２３０において、複数のトレーニング画像に対し、残りのピクセルのＨＳＶ値の色分布を推定する。任意に、ステップ２４０において、画像をセピア調画像として分類する際の閾値を確立する。当業者は、トレーニングプロセスのためのＲＧＢからＨＳＶへの変換、彩度閾値および明度閾値を、分類プロセスに対して上述したように求めることを理解するであろう。したがって、説明および式は繰返さない。
【００２１】
本発明の理解を容易にするために、本発明の多くの態様を、コンピュータベースシステムの要素によって実行される動作のシーケンスに関して説明する。実施形態の各々において、専用回路（たとえば、専用機能を実行するために相互接続されたディスクリート論理ゲート）によるか、１つまたは複数のプロセッサによって実行されているプログラム命令によるか、またはその両方の組合せにより、あらゆる動作を実行することができることが理解されよう。さらに、本発明を、プロセッサに対し本明細書で説明した技術を実行させるコンピュータ命令の適当なセットが格納された、任意の形態のコンピュータ読取可能記憶媒体内で完全に具体化されるようにみなしてもよい。このため、本発明のあらゆる態様を、多くの異なる形態で具体化することができ、かかる形態のすべてが、本発明の範囲内にあるように企図される。本発明のあらゆる態様の各々に対し、実施形態のかかる形態のいずれも、本明細書では、説明する動作を実行する「ロジック」と呼ぶ。
【００２２】
図３は、上述したトレーニングプロセスから取得された閾値を使用するコンピュータベースシステム３００のブロック図である。たとえば、上述したように、ブロック３２０において、新たな入力画像３１０の各々に対し、デジタル画像の第１の色空間の値を色相・彩度・明度（ＨＳＶ）値に変換するロジックを使用して、ＲＧＢからＨＳＶへの色空間変換を施す。そして、ブロック３４０において、彩度閾値および明度閾値のうちの少なくとも１つを下回るデジタル画像のいかなるピクセルも除去するロジックを使用して、画像の彩度または明度が低いピクセルを除去する。残りのピクセルを使用することにより、最尤推定を使用してこの画像がセピア調である確率を推定する。各ピクセルを、入力データの独立したサンプルであるとみなす。ピクセルｉがセピア調である確率を、ブロック３５０によって提供される所定の色分布（たとえば、図２のトレーニングプロセスから確定されるような）から直接推定することができる。そして、以下の式により、ブロック３６０において、デジタル画像の残りのピクセルを分析するロジックを使用して、画像全体に対して結合対数確率log（P）を計算することができる。
【数１】

【００２３】
ここで、Ｎは残りのピクセルの総数であり、ｐ_ｉはピクセルｉがセピア調である確率であり、log（P）は、画像がセピア調である確率を示す。セピア調写真の計算された確率値は、概して、標準カラー写真よりずっと高い。したがって、ブロック３７０によって提供される単純な閾値を使用して、セピア調画像からカラー画像を分離することができる。たとえば、閾値を、−５．２に設定する。これにより、ブロック３８０において、log（P）が−５．２より大きい場合、デジタル画像の残りのピクセルの分析に基づいてデジタル画像をセピア調画像として分類するロジックを使用して、画像をセピア調であると判定する。
【００２４】
図４は、本発明の別の実施形態によるコンピュータベースのトレーニングシステム４００のブロック図である。たとえば、上述したように、ブロック４２０において、各トレーニング画像４１０に対してＲＧＢからＨＳＶへの色空間変換を施す。そして、ブロック４４０において、彩度または明度が低いピクセルを除去する。ブロック４６０において、ＨＳＶ空間を、Ｈ、ＳおよびＶ次元に沿って均一に分割しセルにする。たとえば、Ｈ次元を３６のセルに分割することができ、Ｓ次元を４つのセルに分割することができ、Ｖ次元を４つのセルに分割することができる。そして、トレーニング画像の残りのピクセルの各々を、そのＨＳＶ値に基づいてセルのうちの１つに割当てる。各セルに対する値を、各セルの残りのピクセルをカウントすることによって確立する。そして、各セルに対する値を、各セルに対する値を残りのピクセルの総数で除算することにより正規化する。結果は、ブロック４８０において、トレーニング画像の色分布を特徴付ける３６×４×４次元ベクトルである。また、この色分布を、トレーニング画像における残りのピクセルに対する確立密度関数の概算と見ることも可能である。通常、セピア調画像の色は、大部分が黄色および赤色の周囲に集中する。したがって、これらの色に対応するセルは、残りのピクセルの大部分を含むことになる。
【００２５】
上記の内容は、本発明の原理、好ましい実施形態および動作のモードを説明した。しかしながら、本発明は、上述した特定の実施形態に限定されない。たとえば、各セピア調画像を、その確率に基づいてさらに分類することができる。そして、閾値に非常に近かった画像に対し、手作業で見直すためにタグ付けすることができる。さらに、セピア調画像の大部分が閾値に近かった場合、これは、システムを再トレーニングするためにトレーニング画像の新たなセットが必要であることを指示するものとしての役割を果たすことができる。
【００２６】
したがって、上述した実施形態を、限定的なものではなく例示的なものとしてみなすべきであり、添付の特許請求の範囲によって画定される本発明の範囲から逸脱することなく、当業者によりそれらの実施形態において変形を行うことができることが理解されるべきである。
【図面の簡単な説明】
【００２７】
【図１】本発明の例示的な方法のフローチャート。
【図２】本発明のトレーニング方法のフローチャート。
【図３】本発明の例示的なシステムのブロック図。
【図４】本発明の例示的なトレーニングシステムのブロック図。

Claims

デジタル画像の第１の色空間の値を色相・彩度・明度（ＨＳＶ）値に変換すること、
彩度閾値および明度閾値のうちの少なくとも１つを下回る前記デジタル画像のいかなるピクセルも除去すること、
該除去するステップの後で、前記デジタル画像の残りのピクセルを分析すること、
前記デジタル画像の前記残りのピクセルの前記分析に基づいて、該デジタル画像をセピア調画像として分類すること、
とを含むデジタル画像を分類する方法。
前記分析することは、
セピア調画像の所定色分布に基づいて前記残りのピクセルの各々がセピア調である確率を求めること、
Ｎが前記残りのピクセルの総数であり、ｐ_ｉが各残りのピクセルｉがセピア調である確率であり、log（P）が、前記画像がセピア調である確率を示す場合に、前記デジタル画像がセピア調画像である確率を、log(P)=(1/N)Σlog(p_i)によって求めること、
前記デジタル画像がセピア調画像である前記確率を、セピア調画像を識別するための所定閾値と比較することを含み、セピア調画像を識別するための前記所定閾値は−５．２であり、log（P）が−５．２より大きい場合、前記デジタル画像はセピア調画像として分類される、請求項１に記載のデジタル画像を分類する方法。
前記デジタル画像は、カラー画像、グレイスケール画像、セピア調画像からなるグループのうちの少なくとも１つを含む画像データベースの１つの画像である、請求項１に記載のデジタル画像を分類する方法。
前記分類することは、前記分類するステップに基づいて、前記画像を検索すること、表示すること、タグ付けすること、格納することのうちの少なくとも１つを実行することを含む、請求項１に記載のデジタル画像を分類する方法。
セピア調画像を検出するようにシステムをトレーニングする方法であって、
複数のトレーニング画像の第１の色空間の値をＨＳＶ値に変換することを含み、該トレーニング画像はセピア調画像であり、
前記複数のトレーニング画像の各々に対し彩度閾値および明度閾値のうちの少なくとも１つを下回る該トレーニング画像のいかなるピクセルも除去すること、
該除去するステップの後に、前記複数のトレーニング画像に対し残りのピクセルに対するＨＳＶ値の色分布を推定すること、
を含むシステムをトレーニングする方法。
画像がセピア調画像として分類される際の閾値を確立すること
をさらに含む請求項５に記載のシステムをトレーニングする方法。
Ｈ、Ｓ、Ｖ次元に沿ってＨＳＶ空間を均一にセルに分割すること、
前記トレーニング画像の前記残りのピクセルの各々を、各残りのピクセルの前記ＨＳＶ値に基づいて前記セルのうちの１つに割当てること、
各セルの前記残りのピクセルをカウントすることにより各セルに対する値を確立すること、
前記残りのセルの総数で除算することにより、各セルに対する前記値を正規化することを含み、前記Ｈ次元には３６のセルがあり、前記Ｓ次元には４つのセルがあり、前記Ｖ次元には４つのセルがある、請求項５に記載のシステムをトレーニングする方法。
彩度閾値および明度閾値のうちの少なくとも１つを、ｃが閾値であり、Ｓが彩度値であり、Ｖが明度値である場合に、（１−Ｓ）^３＋（１−Ｖ）^３≧ｃ^３によって求め、ここで、ｃは約０．９４であり、Ｓは０〜１．０までの範囲であり、Ｖは０〜１．０までの範囲である、請求項１または５に記載のシステムをトレーニングする方法。
前記第１の色空間はＲＧＢであり、前記デジタル画像の前記ＲＧＢ値を、０〜１．０までの範囲となるように正規化し、ＲＧＢからＨＳＶへの前記変換を、
Max＝Max（R,G,B）
Min＝Min（R,G,B）
Val＝Max
If（Val＝０）Sat＝０, else Sat＝１−Min／Val
If（Sat＝０）Hueは未定義, else
Hue＝
（Ｇ−Ｂ）／（Max−Min）×６０ if（Ｒ＝Max∧（Ｇ−Ｂ）≧０）
（Ｇ−Ｂ）／（Max−Min）×６０＋３６０ if（Ｒ＝Max∧（Ｇ−Ｂ）＜０）
（２．０＋（Ｂ−Ｒ）／（Max−Min））×６０ if（Ｇ＝Max）
（４．０＋（Ｒ−Ｇ）／（Max−Min））×６０ if（Ｂ＝Max）
によって確定し、ここで、Ｈの範囲は０〜３６０度であり、Ｓの範囲は０〜１．０であり、Ｖの範囲は０〜１．０である、請求項１または５に記載のシステムをトレーニングする方法。
請求項１に記載の方法にしたがってデジタル画像を分類するコンピュータベースシステムであって、
デジタル画像の第１の色空間の値を色相・彩度・明度（ＨＳＶ）値に変換するロジックと、
彩度閾値および明度閾値のうちの少なくとも１つを下回る前記デジタル画像のいかなるピクセルも除去するロジックと、
該除去するステップの後で、前記デジタル画像の残りのピクセルを分析するロジックと、
前記デジタル画像の前記残りのピクセルの前記分析に基づいて、前記デジタル画像をセピア調画像として分類するロジックと、
を備えるコンピュータベースシステム。